采用FPGA實(shí)現視頻和圖像處理設計

　　視頻和圖像處理發(fā)展趨勢

　　以視頻和圖像處理為核心的HDTV和數字影院等創(chuàng )新技術(shù)的進(jìn)展非常迅速，其推動(dòng)力量在于圖像采集和顯示分辨率、高級壓縮方法以及視頻智能的跨越式發(fā)展。

　　在過(guò)去幾年中，分辨率的發(fā)展最為顯著(zhù)，表1列出了不同終端設備上目前能夠達到的最高分辨率。

　　從標準清晰度(SD)過(guò)渡到高清晰度(HD)，需要處理的數據量提高了6倍。視頻監控也從普通中間格式(CIF)(352×288)轉向標準要求的D1格式(704×576)，某些工業(yè)攝像機甚至達到1280×720HD。軍事監控、醫療成像和機器視覺(jué)也普遍采用了分辨率非常高的圖像。

　　高級壓縮方法逐步替代了以前的技術(shù)，在保持一定質(zhì)量的前提下，能具有更好的數據流性能和壓縮比，而且延遲更低。JPEG 2000作為數字電影的標準，在軍事、醫療成像和監控領(lǐng)域也得到了大量應用。H.264將可能取代廣播電視應用中的MPEG2，以及視頻監控系統的MPEG4 Part 2和用于視頻會(huì )議的H.263。在應用這些新壓縮方案的同時(shí)，H.264和JPEG 2000標準仍然在不斷改進(jìn)。

　　DICOM醫療成像標準已經(jīng)完成了附件105，它包括JPEG 2000第2部分3D醫療成像壓縮多分量變換。附件106將包括JPIP協(xié)議，遠程瀏覽使用JPEG 2000壓縮的醫療影像。

　　MPEG 4 Part 10(H.264 AVC)的進(jìn)一步擴展是可更新視頻編碼(SVC)技術(shù)。SVC在現有系統資源情況下，解決了不同網(wǎng)絡(luò )中向各種用戶(hù)可靠傳送視頻的編碼問(wèn)題，特別是事先不知道下游客戶(hù)端容量、系統資源和網(wǎng)絡(luò )狀況的時(shí)候。例如，客戶(hù)端會(huì )有不同的顯示分辨率，系統有不同的緩沖或者中間存儲資源，網(wǎng)絡(luò )帶寬、丟包率、最大努力服務(wù)質(zhì)量(QoS)等都在變化。聯(lián)合視頻開(kāi)發(fā)組(JVT)擴展了AVC/H.264，增強比特流的靈活性，提高壓縮效率，可以自由組合各種壓縮模式(如空域、時(shí)域和SNR/保真等)。具體應用領(lǐng)域包括視頻監控系統、移動(dòng)流視頻、無(wú)線(xiàn)多通道視頻產(chǎn)生和分配和多方視頻電話(huà)/會(huì )議等。

　　另一快速發(fā)展的領(lǐng)域是視頻智能。相機已經(jīng)具有搖攝、俯仰、變焦、全景等拍攝功能，這些功能逐步由系統智能實(shí)現而不需要人為干預。移動(dòng)探測技術(shù)能夠更高效的利用硬盤(pán)存儲，它只捕獲高于移動(dòng)閾值的視頻幀。視頻目標識別技術(shù)能夠實(shí)現自動(dòng)監控追蹤，其效率要遠遠高于人工監控。

　　隨著(zhù)分辨率和壓縮比的提高，不但要提高性能，還需要非常靈活的體系結構，以便能夠迅速進(jìn)行更新。隨著(zhù)技術(shù)的成熟以及產(chǎn)量的提高，也很有必要進(jìn)一步降低成本。

　　視頻和圖像處理系統體系結構

　　系統體系結構的選擇包括標準單元ASIC、ASSP以及數字信號處理器(DSP)或者媒體處理器和FPGA等可編程解決方案。這些方案都有各自的優(yōu)缺點(diǎn)，最終方案的選用取決于終端設備需求以及方案的可行性?？紤]到上面討論的發(fā)展趨勢，理想的體系結構應具有以下特點(diǎn)：高性能、靈活性、方便更新、低開(kāi)發(fā)成本，隨著(zhù)應用的成熟和產(chǎn)量的提高，能夠提供低成本移植途徑等。

　　1 高性能

　　不僅壓縮需要提高性能，預處理和后處理功能同樣需要提高性能。事實(shí)上，在很多情況下，這些功能要比壓縮算法本身對性能的影響更大。這類(lèi)功能的例子包括縮放、去隔行、濾波和顏色空間轉換等。

　　在上面提到的市場(chǎng)領(lǐng)域中，對高性能的要求排除了單處理器體系結構，因為單個(gè)器件難以達到性能要求。目前最好的1GHz DSP還無(wú)法實(shí)現H.264 HD解碼，而H.264 HD編碼要比解碼復雜10倍。FPGA是唯一能夠解決這種問(wèn)題的可編程解決方案。在某些情況下，最好的方案是結合FPGA和外部DSP。

　　2 靈活性使產(chǎn)品快速面市，方便進(jìn)行產(chǎn)品更新

　　隨著(zhù)技術(shù)的迅速發(fā)展，體系結構必須足夠靈活，能夠方便地進(jìn)行更新。這些要求排除了在具體應用中選用的標準單元ASIC和ASSP。ASSP一般用于大批量消費類(lèi)市場(chǎng)，產(chǎn)品很快會(huì )過(guò)時(shí)，對于大部分應用而言，選用這種方案的風(fēng)險很大。

　　3 低開(kāi)發(fā)成本

　　考慮到掩模、晶片、軟件、設計驗證和布板等成本，典型90nm標準單元ASIC的開(kāi)發(fā)成本會(huì )高達3千萬(wàn)美元。只有產(chǎn)量非常大的消費類(lèi)市場(chǎng)能夠支撐如此高的開(kāi)發(fā)成本。

　　4 降低芯片成本的移植途徑

　　隨著(zhù)標準的穩定和產(chǎn)量的增加，應該過(guò)渡到低成本方案。這通常意味著(zhù)使用面向市場(chǎng)的ASSP或者標準單元定制ASIC器件。然而，定制芯片的成本在不斷攀升，使得這些解決方案只有在大批量消費類(lèi)應用中才具有較好的經(jīng)濟性。大部分視頻和圖像應用芯片公司主要關(guān)注視頻攝像機、機頂盒、數碼相機、移動(dòng)電話(huà)等便攜式產(chǎn)品或者LCD電視和監視器等應用。因此，對于小批量應用，最好考慮FPGA，它和ASSP不同，ASSP可能非常切合功能需求，但是當需求變化時(shí)，由于產(chǎn)品更新?lián)Q代，目前最好的解決方案可能是最冒險的選擇。

　　采用FPGA的視頻和圖像處理方案

　　考慮到上面闡述的原因，FPGA非常適合視頻和圖像處理應用。以Altera的FPGA為例，因其具有以下特性，非常適合視頻和圖像處理體系結構。

● 高性能：可以在一片FPGA中完成HD處理功能。
● 靈活性：能夠迅速更新體系結構，滿(mǎn)足不斷發(fā)展的需求，同時(shí)在低成本和高性能系統中靈活地應用FPGA。
● 低開(kāi)發(fā)成本：Altera的視頻開(kāi)發(fā)套件起價(jià)只有1095美元，含有開(kāi)發(fā)視頻系統所需要的軟件工具。
● 不會(huì )過(guò)時(shí)：擁有非常廣泛的客戶(hù)基礎，產(chǎn)品從推出以來(lái)已經(jīng)發(fā)售了多年。而且，FPGA設計很容易從一個(gè)工藝節點(diǎn)移植到下一節點(diǎn)。
● 低成本的結構化ASIC移植途徑：Altera結構化ASIC 1百萬(wàn)ASIC邏輯門(mén)100ku起價(jià)為15美元。
● 其視頻和圖像處理方案：包括經(jīng)過(guò)優(yōu)化的DSP設計流程、視頻和圖像處理包、接口和第三方視頻壓縮IP以及視頻參考設計等。

圖1 實(shí)例設計結構圖

圖1所示為使用視頻和圖像處理包的典型視頻系統。

　　可見(jiàn)，FPGA非常適合視頻和圖像處理應用，如廣播基礎設備、醫療成像、HD視頻會(huì )議、視頻監控和軍事成像等。以Altera FPGA的視頻和圖像處理方案為例，它包括經(jīng)過(guò)優(yōu)化的開(kāi)發(fā)工具和開(kāi)發(fā)套件、參考設計、視頻壓縮IP、接口和系統IP以及Altera的視頻和圖像處理IP包等。這些解決方案降低了大量視頻和圖像應用的成本，提高了性能和效率。