基于異構多核全高清H264解碼系統設計

　　移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來(lái)，高清多媒體視頻的普及，3D大型手機游戲對的出現，單核嵌入式硬件平臺已經(jīng)難以滿(mǎn)足復雜的實(shí)際計算需求。而異構多核處理器在視頻編解碼運算上具有強大的優(yōu)勢，已經(jīng)成為了嵌入式處理器架構發(fā)展的趨勢。目前普遍高清視頻編解碼都采用異構多核處理器內的DSP進(jìn)行協(xié)同處理，通過(guò)片上通信機制實(shí)現核間多媒體數據傳輸。DSP相比軟解碼在速度和性能上得到了一定的提升，如DaVinci平臺內置DSP能夠實(shí)現720P視頻實(shí)時(shí)解碼。但DSP運行時(shí)需要對信箱以及DMA進(jìn)行配置，占用較多的片上通信帶寬，導致核間通信效率不高，同時(shí)DSP編解碼效率和硬編解碼器相比仍偏低。為了進(jìn)一步提高全高清H264編解碼性能，本文采用TI Soc OMAP4430異構多核處理器作為處理平臺，其最大不同在于內置雙核Cortex-A9強勁處理器、雙核Cortex-M3協(xié)處理器及IVA-HD多媒體硬編解碼加速引擎。IVA-HD引擎內部有7個(gè)針對各種視頻編解碼而設計的加速引擎，每個(gè)加速引擎擁有獨立的數據存儲器，可以在最大程度上降低模塊間因為讀寫(xiě)數據造成的競爭。同時(shí)采用virtio緩存隊列和RPMsg消息框架來(lái)實(shí)現基于異步通知的主處理核A9與協(xié)處理核M3間數據通信，具有大數據通信效率高、異步通知、等優(yōu)點(diǎn)。OMAP4430處理器內部的Cortex-A9雙核處理器將運行高級嵌入式操作系統Linux，負責系統工作任務(wù)的調度、音頻解碼、用戶(hù)界面交互，而其內部的Cortex-M3將充當輔助處理核，管理IVA-HD加速引擎完成解碼任務(wù)，最后用實(shí)例驗證本次設計的正確性。

　　1主要技術(shù)

　　1.1 virtio緩存隊列

　　Virtio是半虛擬化hypervisor中位于設備之上的抽象層，為異構多核間數據通信提供了最低層的實(shí)現。它使用了兩個(gè)基于異步通知的緩存隊列(一個(gè)用于向協(xié)處理核發(fā)送數據，一個(gè)用于從協(xié)處理核接收數據)和散列表用于與遠程異構處理器進(jìn)行數據通信。每個(gè)緩存隊列最多包含有512個(gè)緩存，每個(gè)緩存的大小限制在512字節以?xún)?，緩沖池里面存放著(zhù)通信數據。為了最大程度減少共享內存，采用環(huán)形散列表，散列表每個(gè)表項包括了緩存的物理地址和緩存的大小，散列表存放在內存特定地址中，主處理核與協(xié)處理核基于互斥機制的共享內存方式進(jìn)行訪(fǎng)問(wèn)，如圖1所示：

　　圖1異構多核間訪(fǎng)問(wèn)virtio緩存池示意圖

　　采用共享環(huán)形散列表進(jìn)行異構處理核間數據通信的好處主要有幾個(gè)方面：

　　1)采用散列表表項表示數據緩存可以減小共享內存區域的大小，提高系統內存使用率，同時(shí)允許變長(cháng)數據傳輸。

　　2)采用中斷方式通知目的處理器散列表的變化，減少了處理器盲目等待時(shí)間，提高了處理器的利用率

　　3)允許同時(shí)傳輸多個(gè)緩存數據，提高了系統通信的吞吐率

　　1.2 RPMsg消息框架

　　RPMsg(Remote processor Messaging)是一個(gè)基于virtio技術(shù)的用于處理器核間數據通信的消息框架，提供協(xié)處理核上電復位管理、消息通信等功能。

　　1.2.1協(xié)處理核復位管理

　　主要負責加載程序執行體到協(xié)處理核的運行內存中、設置負責虛擬地址映射到物理地址MMU單元，當協(xié)處理核遇段錯誤或內部代碼異常時(shí)，需要輸出直觀(guān)的出錯信息并且提供了恢復機制使得協(xié)處理核可以重新使用。

　　1.2.2消息通信

　　RPMsg消息框架是基于virtio緩存隊列實(shí)現的主處理核和協(xié)處理核間進(jìn)行消息通信框架，RPMsg向系統注冊了一條消息總線(xiàn)，并為每個(gè)M3協(xié)處理核創(chuàng )建相應的總線(xiàn)設備，而多個(gè)客戶(hù)端驅動(dòng)程序也注冊在該消息總線(xiàn)上并分配一個(gè)本地地址端口src和遠程地址端口dst，當客戶(hù)端驅動(dòng)需要發(fā)送消息時(shí)，會(huì )把消息封裝成virtio緩存并添加到緩存隊列中以完成消息的發(fā)送，當消息總線(xiàn)接收到協(xié)處理器送到的消息時(shí)會(huì )根據消息地址端口dst合理的派送給客戶(hù)驅動(dòng)程序進(jìn)行處理。其示意圖如圖2所示：

　　圖2 RPMsg消息總線(xiàn)工作示意圖

　　1.3 IVA-HD加速引擎

　　H.264/MPEG-4 Part 10是由ITU-T視頻編碼專(zhuān)家組和ISO/IEC運動(dòng)圖像專(zhuān)家組(MPEG)聯(lián)合提出的高度壓縮數字視頻編解碼器標準，被廣泛應用于網(wǎng)絡(luò )流媒體資源、HDTV等方面。與之前MPEG4、H263等標準相比，H.264具有低碼率、高畫(huà)質(zhì)、高壓縮率和高可靠性等特點(diǎn)，適用于干擾嚴重、丟包率高的信道中傳輸。

　　H264解碼流程如圖3所示，解碼器從網(wǎng)絡(luò )抽象層NAL中接收輸入的數據幀，進(jìn)過(guò)熵解碼、重新排列后得到量化系數矩陣X，量化系數矩陣在經(jīng)過(guò)反量化和空間變換后得到計算殘差Dn，同時(shí)通過(guò)運動(dòng)補償和幀間預測或幀內預測得到預測快Pn，將Pn和Dn相加結果uFn經(jīng)過(guò)環(huán)路濾波得到輸出緩存圖像Fn.

　　圖3 H264解碼器工作流程

　　IVA-HD引擎是針對嵌入式平臺進(jìn)行多媒體編解碼加速而設計的第三代硬件加速引擎，其支持H264、MPEG4、MPEG2、H263等常見(jiàn)的視頻編解碼標準。為了釋放CPU，讓其更有效的進(jìn)行數據準備和邏輯功能控制，IVA-HD集成了7個(gè)硬件加速引擎，他們和H264解碼各個(gè)功能模塊所對應關(guān)系在圖3中用虛線(xiàn)框表示，其中加速引擎名稱(chēng)core1-5所對應的模塊功能分別是：熵解碼、反量化和反變換、環(huán)路濾波、幀內預測、運動(dòng)補償。