8K超高分辨率視頻處理系統分析與設計

作者 林文富 劉偉儉 廣東威創(chuàng )視訊科技股份有限公司(廣州 廣東 510000)

*基金項目：2014年產(chǎn)學(xué)研專(zhuān)項項目，支持小間距LED顯示的多屏實(shí)時(shí)處理器系統的研發(fā)(編號：2014Y2-00211)

林文富(1982-)，男，碩士，中級電子工程師，研究方向：視頻處理;劉偉儉，男，博士，中級電子工程師，研究方向：視頻處理及顯示技術(shù)。

摘要：隨著(zhù)視頻技術(shù)的不斷發(fā)展，分辨率從480P發(fā)展到1080P;當我們還沒(méi)有完全意識到4K電視將一統天下的時(shí)候， 2016年8月，里約奧運會(huì )已經(jīng)開(kāi)始了8K的直播。8K視頻要求需要處理每幀約33M像素的數據量，海量的數據處理為目前的視頻處理系統帶來(lái)了一個(gè)非常大的挑戰。在目前的大屏幕拼墻領(lǐng)域，從視頻采集到視頻傳輸與處理各個(gè)環(huán)節來(lái)看，目前的視頻處理平臺均無(wú)法滿(mǎn)足。因此，本文針對現在的8K帶寬進(jìn)行分析，設計了一個(gè)全新的8K視頻處理平臺，使得8K視頻可以在大屏幕拼接領(lǐng)域得到廣泛應用。

引言

　　8K的標準早在幾年前就已經(jīng)確立，8K的視頻源隨后也逐步出現。2012年8月23日，聯(lián)合國旗下的國際電訊聯(lián)盟(International Telecommunication Union - ITU)通過(guò)了以日本NHK電視臺所建議的7680x4320解像度^[2]作為國際的8K超高畫(huà)質(zhì)電視(Super Hi-Vision - SHV)標準;2013年，日本NHK制作電影《珍饈美味》，使用8K分辨率(7680×4320)拍攝、制作和放映，清晰度是1080p的16倍，在未經(jīng)壓縮的情況下，8K視頻(24fps)每秒的容量即可達到1GB;2015年，NHK采用8K技術(shù)直播加拿大女足世界杯;2016年8月5日，第31屆夏季奧林匹克運動(dòng)會(huì )在巴西的里約熱內盧舉行，8K直播是一個(gè)亮點(diǎn)。

　　隨著(zhù)標準的確立，8K攝像機發(fā)展也非常迅速。2012年，NHK推出的的Super Hi-Vision視頻采集攝像機，體積較大;2013年以后的Super Hi-Vision視頻采集攝像機則小巧便攜許多。Sony F65RS即為目前市場(chǎng)上的一款8K攝像機。Panavision 2016年6月正式發(fā)布DXL。 Panavision DXL號稱(chēng)是最完整的攝影機系統，配有一個(gè)35.5兆像素的8K CMOS傳感器，可以以最高60 fps錄制8K視頻。

　　8K帶來(lái)的圖像效果是非常逼真的，可以帶來(lái)超越傳統廣電畫(huà)質(zhì)的精細感，同時(shí)，8K的彩色還原度達到75.8%，可以看到4K和1080p里看不到的色彩。但是，在8K視頻處理方面，因為其巨大的數據量，存在很大的問(wèn)題。以8K視頻24幀為例，如果每位色深達到6bit，處理單路8K的數據帶寬需要高達14.3Gbps。在目前的拼墻領(lǐng)域，能處理單路的最大分辨率只能達到4K，尚無(wú)專(zhuān)業(yè)處理器能處理8K的分辨率。如此巨大的數據量，在視頻采集端，需要有專(zhuān)用的芯片來(lái)采集;在進(jìn)行數據傳輸時(shí)候，也需要針對如此高的帶寬專(zhuān)門(mén)設計數據傳輸通道來(lái)進(jìn)行傳輸^[3];視頻處理這塊，目前還沒(méi)有專(zhuān)門(mén)芯片來(lái)進(jìn)行8K視頻的疊加、縮放等處理。針對這些現狀，在大屏處理領(lǐng)域對這些問(wèn)題都是一個(gè)很大的挑戰。

1 8K視頻處理系統結構和工作原理

　　8K視頻處理系統的困難主要在于帶寬這塊，因此，基于目前的芯片處理水平，設計其處理系統的主要思路是對視頻進(jìn)行分割處理。一路8K視頻，最終通過(guò)視頻處理器后，輸出16路1080p的視頻。工作原理主要是通過(guò)索喜的8K解碼芯片將碼流變成4路HDMI2.0輸出，4路HDMI2.0最終分解成16路1080p視頻在拼接墻上顯示。具體的視頻處理框圖如圖2所示。每個(gè)HDMI2.0相當于一個(gè)4K的視頻，8K相當于4個(gè)4K視頻的組合。HDMI2.0的碼流出來(lái)后，通過(guò)高速的FPGA芯片，解碼HDMI2.0后，將每路的HDMI2.0信號再次分解成4路1080p的視頻流，方便后續高速信號傳輸與處理。在高速邏輯芯片內將2路1080P視頻進(jìn)行數據串行化傳輸，每對serdes對的速率高達6.25Gbps。針對大屏幕拼墻的特殊應用，每對高速serdes對還進(jìn)入一個(gè)高速交叉模塊，該模塊主要功能是對視頻信號進(jìn)行調度，類(lèi)似矩陣功能，滿(mǎn)足拼接顯示的需要。串行化視頻經(jīng)過(guò)傳輸路徑到達后端的FPGA芯片后，在芯片內進(jìn)行解串處理，同時(shí)，以1080p為單位在邏輯內部做視頻處理，包括疊加、縮放、圖像增強和旋轉等，處理完畢后，輸出到TMDS編碼芯片SII1164。最后，sII1164以DVI的形式輸出視頻到拼接墻。

　　在具體的處理器系統里，圖2中功能模塊會(huì )分到幾個(gè)板塊里完成，分別是8K信號采集板、高速信號交換板和信號輸出處理板。其中，8K信號采集板完成8K信號的解碼、分割與serdes發(fā)送功能，交換板完成高速信號的交叉分發(fā)功能，信號輸出處理板完成信號的解串、視頻處理與輸出功能。

2 8K視頻信號處理

　　整個(gè)系統設計的關(guān)鍵在于8K視頻信號的處理。截止到目前為止，因為8K的標準沒(méi)有非常明確，相應的視頻處理芯片廠(chǎng)家也在觀(guān)望，所以，相關(guān)的8K視頻處理芯片非常少。如目前SiI9779、SiI9630等廠(chǎng)家宣傳支持8K，但是最終也沒(méi)有推出該功能。目前主推8K技術(shù)的是日本NHK，其預計在2020年的東京奧運會(huì )上進(jìn)行8K直播。富士通株式會(huì )社與松下電器產(chǎn)業(yè)株式會(huì )社對兩家公司的系統LSI業(yè)務(wù)進(jìn)行合并，成立索喜科技有限公司(Socionext)。新品牌體現了公司的核心業(yè)務(wù)在于SoC及具有競爭優(yōu)勢的Imaging(視頻和成像領(lǐng)域)和OpticalTransport Network(光纖通信網(wǎng)絡(luò )領(lǐng)域)技術(shù)領(lǐng)域意義。Socionext在2016年推出一款單芯片8K處理芯片SCH801A。SCH801A與日本超高清衛星廣播HEVC編碼的標準ARIB STD-B32第一部分一致，能夠單芯片單通道解碼8K 60P，其配備一個(gè)PCI Express二代插槽，4路HDMI 2.0 Tx外部接口。8K的視頻碼流通過(guò)前端芯片SCH801A解碼后，輸出4路HMDI2.0的視頻信號。從帶寬上來(lái)看，HDMI2.0的最高帶寬高達18Gbps，4個(gè)通道加起來(lái)帶寬可達72Gbps，足夠傳輸一路8K的視頻信號。

　　在本設計中是采用高速FPGA進(jìn)行HDMI2.0信號的解碼，通過(guò)HDMI的解碼模塊來(lái)將標準的HDMI信號轉換為并行的data數據。具體HDMI的解碼模塊設計框圖如圖3。TMDS數據進(jìn)入Deskew模塊進(jìn)行數據的重新對齊與重排;數據進(jìn)入TMDS decoder模塊，從模塊中分離出video data與AUX data。視頻數據進(jìn)入視頻采樣模塊，分離出clk、HS、VS和video data。輔助數據進(jìn)入Auxiliary Packet Capture模塊，分離出控制數據包和音頻數據等。視頻數據分離出后，為了方便在拼墻處理器中進(jìn)行數據傳輸，在通過(guò)FPGA的并串轉換模塊時(shí)，轉為串行數據進(jìn)行傳輸。每對HDMI的信號通過(guò)2對高速的serdes信號進(jìn)行傳輸，方便視頻調度模塊進(jìn)行調度。

3 視頻調度模塊

　　在該模塊中，主要是視頻信號調度、時(shí)鐘處理模塊、通信模塊、CPU系統模塊等為各個(gè)模塊業(yè)務(wù)控制的核心。視頻信號交叉調度模塊采用高速串行空分交換技術(shù)，調度高速串行數據信號，傳輸該高速串行數據信號。根據預定的輸入端口與輸出端口的對應關(guān)系，將各輸入的高速串行數據信號通過(guò)相應的端口輸出，傳輸到相應的視頻處理模塊中。

　　時(shí)鐘處理模塊用來(lái)產(chǎn)生參考時(shí)鐘信號，并將所生成的參考時(shí)鐘信號提供給各個(gè)8K視頻模塊、各個(gè)視頻信號處理模塊、信號擴展交換平臺等。8K視頻模塊、視頻信號處理模塊及信號擴展交換平臺等在本單板提供的系統參考時(shí)鐘的同步下，分別產(chǎn)生用于本模塊高速串行處理業(yè)務(wù)所需的模塊時(shí)鐘。

　　CPU系統模塊還負責各個(gè)8K視頻模塊及視頻信號處理模塊等系統控制，各個(gè)模塊與主控交叉板之間的通信方式采用以太網(wǎng)方式進(jìn)行信息交換，同時(shí)，各模塊間在以太網(wǎng)通信異常時(shí)，可以切換到備份通道中進(jìn)行系統控制，提高系統可靠性。

4 視頻處理模塊

　　視頻信號處理模塊對視頻信號調度后的高速串行信號進(jìn)行解串行化、切割、縮放、疊加等處理，最后輸出處理后的圖像信號。

　　通過(guò)圖像信號采集模塊對信號的串行化處理和主控交叉模塊的調度，在視頻信號處理模塊的輸入端口可獲得任意需要的輸入信號，輸入的信號是高速的串行信號，必須進(jìn)行解串后才能進(jìn)行信號之后的處理。解串行化是串行化的逆向過(guò)程。輸入信號的分辨率與所需顯示的窗口大小通常都是不相同的，從解串行化模塊還原出的圖像必須進(jìn)行縮放處理，同時(shí)，顯示的窗口可能跨多個(gè)顯示單元，每個(gè)單元只顯示一部分，通過(guò)切割截取所需的圖像數據，并進(jìn)行相應的縮放處理。最后，由輸出驅動(dòng)部分完成疊加后的圖像信號轉換成標準的16路DVI信號輸出。

5 結論

　　本文針對目前在拼墻領(lǐng)域8K視頻遇到的一些問(wèn)題和技術(shù)瓶頸進(jìn)行了詳細的分析，提出了一種8K視頻處理器平臺的設計方案。設計方案采用了索喜的8K解碼芯片，把超高分辨率的視頻分解成4路HDMI信號，并通過(guò)FPGA把4路的HDMI進(jìn)行再次解碼分析，最后，通過(guò)視頻處理輸出到大屏幕拼墻應用顯示。該系統方案在筆者設計的處理器樣機原型中得到實(shí)際應用和時(shí)間驗證，運行效果良好，并大大提高了屏幕的畫(huà)面精細度，具有很高的實(shí)用價(jià)值。

　　參考文獻：

　　[1]覃毅力,韋安明,張韜.超高清電視關(guān)鍵技術(shù)探析[J].Content Production & Broadcasting,2013,05.

　　[2]鄒霽.大尺寸超高清晰度等離子顯示器的研發(fā)及運用[J].電視技術(shù),2012,36(20).

　　[3]李遠東,凌明偉.8K超高清電視廣播的大容量無(wú)線(xiàn)傳輸技術(shù)綜述[J].電視技術(shù)，2014,38(16).

　　[4]唐成基,賈智強,李桂蘭. H.265壓縮技術(shù)在廣電網(wǎng)絡(luò )中的應用[M].中國廣電技術(shù)文萃, 2015,1.

　　本文來(lái)源于《電子產(chǎn)品世界》2017年第7期第40頁(yè)，歡迎您寫(xiě)論文時(shí)引用，并注明出處。