如何通過(guò)開(kāi)源API在DSP上進(jìn)行視頻處理

數字信號處理器(DSP)具有出色的多媒體性能。一般而言，它們運行編解碼器所需的周期只有通用處理器(GPP)內核的40%到50%。DSP還能提供比ASIC大得多的靈活性和可重配置性。但迄今為止，要在數字視頻應用中運用DSP，編程人員還不得不花費較多時(shí)間精力去學(xué)習相關(guān)專(zhuān)用語(yǔ)言。不過(guò)，隨著(zhù)應用編程接口(API)的出現，已不再需要學(xué)習這些專(zhuān)用DSP語(yǔ)言了。在運行于GPP上的應用中，API可以輕輕松松地充分發(fā)揮DSP的優(yōu)勢。

開(kāi)源多媒體構架在GPP上一般運行在Linux操作系統下，是這些API的理想對象。利用API可以卸載視頻編解碼器的計算負荷，大大減小DSP編程的復雜性。這種方案只要求編程人員具備基本的DSP知識即可，無(wú)需編寫(xiě)代碼來(lái)整合DSP功能與那些運行在GPP上的功能。這種優(yōu)勢，加上利用免費開(kāi)源插件和構架提供的許多功能的能力，可以大幅度縮短新視頻產(chǎn)品的上市時(shí)間。

硬件平臺的選擇

在選擇運行編解碼器(壓縮傳輸或存儲的數字流，再解壓以供查看或編輯)的硬件平臺時(shí)，開(kāi)發(fā)人員有幾種可選方案。ASIC是專(zhuān)門(mén)為數字視頻應用而設計的，能在這類(lèi)應用中提供高性能和低功耗。它的缺點(diǎn)流片(NRE)費用很高。此外，ASIC若有變化，比如改動(dòng)以適應編解碼標準，相關(guān)實(shí)現費用非常高昂。

另一方面，GPP內核的流片費用相對較低，針對變動(dòng)進(jìn)行重編程相當容易。但由于它們在執行計算密集的信號處理應用時(shí)效率低下，故在應用于數字視頻處理時(shí)性能較低。例如，GPP通過(guò)一系列移位和加法運算來(lái)實(shí)現乘法運算，而每一個(gè)移位和加法運算需要一個(gè)以上的時(shí)鐘周期。

DSP具有集上述二者之優(yōu)勢的潛力。不同于GPP，DSP是為數字視頻應用中計算密集的信號處理應用而優(yōu)化的。它具有單周期乘法器或乘法累加單元，能夠加快編解碼算法的執行速度。更高性能的DSP還包含有幾個(gè)可以并行操作的獨立執行單元，這使得它們能夠每條指令執行好幾個(gè)操作。此外，DSP還提供完全的軟件編程能力，包括現場(chǎng)重編程能力。這就讓用戶(hù)可以先推出MPEG-2產(chǎn)品，以后再升級為H.264視頻編解碼器。DSP在數字視頻應用中的主要局限是它們通常需要采用專(zhuān)用語(yǔ)言來(lái)編程，而熟悉DSP的編程人員遠沒(méi)有熟悉流行的GPP架構的來(lái)得多。

圖1：只含解碼器的范例中的多媒體框架職責和數據流程

組件集成的挑戰

數字視頻系統的開(kāi)發(fā)人員還面臨著(zhù)集成的挑戰。數字視頻系統包含了多個(gè)編碼器、解碼器、編解碼器、多種算法及其它軟件，這些組件都必須集成到一個(gè)可執行映象(image)中，然后才能在系統上運行內容。集成所有這些組件并確保其運行協(xié)調是一件很困難的任務(wù)。不同的系統可能需要截然不同的視頻、圖像、語(yǔ)音、音頻和其他多媒體模塊。手工集成每一個(gè)軟件模塊或算法的開(kāi)發(fā)人員就被增值功能性(比如增加創(chuàng )新性功能)搞得頭痛不已。

許多數字視頻開(kāi)發(fā)人員都開(kāi)始采取開(kāi)源途徑來(lái)構建軟件。一種常用的方案是從開(kāi)源獲得軟件的重要部分，而在可用性和硬件集成方面充分發(fā)揮內部專(zhuān)業(yè)能力。開(kāi)發(fā)人員常常參與開(kāi)源技術(shù)開(kāi)發(fā)項目，以滿(mǎn)足特定要求并把內部開(kāi)發(fā)的代碼和開(kāi)源代碼集成在一起來(lái)創(chuàng )建新產(chǎn)品。