利用FPGA實(shí)現視頻與影像處理應用設計

許多令人心動(dòng)的技術(shù)創(chuàng )新(如HDTV和數字影院)都是和視頻與影像處理技術(shù)以及這種技術(shù)的快速發(fā)展分不開(kāi)的。影像捕獲和顯示分辨率的跳躍式發(fā)展、先進(jìn)的壓縮技術(shù)和視頻智能正是這種技術(shù)創(chuàng )新背后源源不斷的驅動(dòng)力。特別是分辨率在過(guò)去幾年里有了顯著(zhù)的提高。表1顯示了不同的終端設備類(lèi)型中當前采用的最高分辨率。

表1：終端設備類(lèi)型的分辨率

從標準清晰度(SD)發(fā)展到高清晰度(HD)，需要處理的數據量增加了6倍。視頻監測也從通用中間格式(CIF)(352x288)發(fā)展到了標準要求的D1格式(704x576)，一些工業(yè)攝像機甚至發(fā)展到了1,280x720的高清晰度格式。軍事監測、醫療成像和機器視覺(jué)應用也正在向非常高分辨率的影像轉移。

先進(jìn)的壓縮技術(shù)正在取代前一代技術(shù)，它能提供更好的數據流性能、給定品質(zhì)下更高的壓縮率以及更低的延遲。JPEG2000作為數字影院的標準在軍事、醫療成像和監測領(lǐng)域得到了廣泛采納。H.264有望取代廣播電視領(lǐng)域中的MPEG-2、視頻監測系統中的MPEG-4第2部分和視頻會(huì )議中的H.263。甚至在這些新的壓縮解決方案部署的同時(shí)，正在進(jìn)行中的標準化工作仍在不斷增強H.264和JPEG2000標準。

DICOM醫療成像標準已經(jīng)完成了附件105，其中包括了三維醫療成像壓縮采用的JPEG2000第2部分中的多組件轉換。附件106將包含遠程瀏覽JPEG2000壓縮的醫療影像所需的JPIP協(xié)議。

MPEG-4第10部分(H.264AVC)的下一個(gè)延伸就是可伸縮視頻編碼(SVC)。SVC編碼方案可以滿(mǎn)足在異質(zhì)網(wǎng)絡(luò )上使用現有的系統資源向不同用戶(hù)可靠傳送視頻的需要，特別是在下行客戶(hù)性能、系統資源和網(wǎng)絡(luò )條件無(wú)法提前獲知的情況下。例如，客戶(hù)機可能有不同的顯示分辨率，系統可能有不同的緩存或中間存儲資源，網(wǎng)絡(luò )可能有不同的帶寬、丟包率和盡力而為或服務(wù)質(zhì)量(QoS)性能。聯(lián)合視頻工作組(JVT)正在開(kāi)發(fā)AVC/H.264的延伸，以提供具有更好壓縮效率的位流級伸縮性，同時(shí)允許自由組合各種伸縮模式(如空間、時(shí)間和SNR/保真度伸縮能力)。應用領(lǐng)域包括視頻監測系統、移動(dòng)流視頻、無(wú)線(xiàn)多通道視頻制作與傳送以及多方視頻電話(huà)/會(huì )議。

另外一個(gè)正在快速發(fā)展的領(lǐng)域是視頻智能。攝像機已經(jīng)能夠移動(dòng)拍攝、傾斜拍攝、可變焦拍攝和全景拍攝，但這些功能今后將完全由系統智能代替手工干預。運動(dòng)檢測功能只存儲那些超過(guò)運動(dòng)門(mén)限的視頻幀，從而能更高效地實(shí)現硬盤(pán)存儲。視頻對象識別功能將需要使用自動(dòng)監測，其效率要比人工監測高得多。

隨著(zhù)分辨率的提高和壓縮算法的進(jìn)步，對系統性能和架構靈活性提出了更高的要求，以實(shí)現系統的快速更新。隨著(zhù)技術(shù)的成熟和產(chǎn)量的增加，成本需要得到進(jìn)一步降低。

可選擇的系統架構包括標準單元ASIC、ASSP以及各種可編程解決方案，如數字信號處理(DSP)或媒體處理器和FPGA。每種架構都有各自的優(yōu)缺點(diǎn)，最終選擇取決于終端設備要求和解決方案的可用性。根據上面討論的發(fā)展趨勢，理想架構應具有以下特點(diǎn)：高性能、靈活性、易升級性、低開(kāi)發(fā)成本以及隨著(zhù)應用成熟和產(chǎn)量增加向更低成本遷移的能力。

FPGA方案的優(yōu)勢

不僅壓縮要求高性能，預處理和后處理功能也要求高性能。事實(shí)上，在許多情況下這些功能所需的性能超過(guò)壓縮算法本身。這些功能的例子包括縮放調整、去交錯、濾波和色彩空間轉換。

上述市場(chǎng)所需的高性能是無(wú)法用單獨處理器的架構實(shí)現的。這種架構中的單個(gè)器件不能滿(mǎn)足性能需求。最新的工作于1GHz的DSP也無(wú)法單獨完成H.264HD解碼，而H.264HD編碼的復雜度還要比解碼高出10倍左右。FPGA是唯一能夠解決這個(gè)問(wèn)題的可編程解決方案。在某些情況下，FPGA和外部DSP處理器的組合可能是最佳的解決方案。

隨著(zhù)技術(shù)的快速發(fā)展，架構必須更加靈活和更易于升級。這就排除了標準單元ASIC和ASSP。ASSP是專(zhuān)門(mén)針對很大批量的消費類(lèi)市場(chǎng)設計的，通常很快就會(huì )過(guò)時(shí)，因此對大多數應用來(lái)說(shuō)選用ASSP要冒很大風(fēng)險。

而開(kāi)發(fā)ASIC的成本非常高昂。如果加上掩模和晶圓、軟件、設計驗證和版圖的成本，一個(gè)典型的90nm標準單元ASIC的開(kāi)發(fā)成本可能高達3,000萬(wàn)美元。只有最大批量的消費類(lèi)市場(chǎng)才能接受如此之高的開(kāi)發(fā)成本。

隨著(zhù)標準的日趨穩定和產(chǎn)品數量的增加，解決方案具有低成本遷移路徑會(huì )非常重要。通常這意味著(zhù)針對專(zhuān)門(mén)市場(chǎng)開(kāi)發(fā)的ASSP或標準單元定制ASIC器件。然而，定制硅片成本的上升使得這些解決方案只有在最大批量的消費類(lèi)應用中才具有經(jīng)濟上的可行性。大多數芯片公司專(zhuān)注于視頻和成像領(lǐng)域的目標應用，例如攝像機、機頂盒、數碼相機、蜂窩電話(huà)和其它便攜產(chǎn)品或液晶電視和顯示器。因此在設計較低批量的應用類(lèi)型時(shí)，最好考慮用FPGA，因為它不像ASSP那樣要求建立確切的功能集合，即使是最好的現成ASSP解決方案也因為存在潛在的過(guò)時(shí)可能性而面臨極大的風(fēng)險。

Altera的視頻與影像處理解決方案

基于上述原因，FPGA在滿(mǎn)足許多視頻與影像處理應用的需求時(shí)非常適合。Altera的FPGA所具有的以下一些特性使得它們非常適合視頻與影像處理架構：

1.高性能。高清晰(HD)處理能夠在單個(gè)Altera的FPGA里實(shí)現。

2.靈活性。Altera的FPGA提供了快速升級架構的能力，以滿(mǎn)足不斷發(fā)展的需求，而可伸縮性使其適用于低成本和高性能的系統。

3.低開(kāi)發(fā)成本。Altera的視頻開(kāi)發(fā)套件起價(jià)只有1,095美元，其中包括了使用AlteraFPGA開(kāi)發(fā)視頻系統所需要的軟件工具。

4.過(guò)時(shí)產(chǎn)品提供承諾。Altera的FPGA擁有非常龐大的客戶(hù)基礎，他們在新品推出后會(huì )持續提供該產(chǎn)品很多年。另外，FPGA設計很容易從一代工藝節點(diǎn)遷移到下一代工藝節點(diǎn)。

5.實(shí)現低成本的結構化ASIC的遷移路徑。Altera公司100萬(wàn)門(mén)的結構化ASIC在10萬(wàn)片時(shí)的起價(jià)為15美元。

6.Altera的視頻與影像處理解決方案。包括優(yōu)化的DSP設計流程、Altera的視頻與影像處理套件、接口與第三方視頻壓縮IP以及視頻參考設計。

在FPGA/結構化ASIC上實(shí)現類(lèi)似ASSP的功能

隨著(zhù)解決方案數量的增加，Altera和合作伙伴成功地在FPGA或結構化ASIC上實(shí)現了ASSP功能。ATEME的H.264主類(lèi)(mainprofile)標準清晰度編碼器產(chǎn)品就是其中一個(gè)例子。有了這樣的產(chǎn)品，用戶(hù)就可以像使用ASSP那樣使用FPGA。與傳統的ASSP方法相比，這種方法的優(yōu)勢在于FPGA解決方案可以快速升級，不存在過(guò)時(shí)的風(fēng)險。

DSP設計流程

Altera針對定制開(kāi)發(fā)提供了優(yōu)化的DSP設計流程，該流程允許用多種不同的方式表達設計，包括VHDL/Verilog、基于模型的設計和基于C的設計。Altera的核心視頻與影像處理套件可以與這些設計流程中的任何一個(gè)一起使用。Altera和MathWorks公司合作開(kāi)發(fā)了一種綜合的DSP開(kāi)發(fā)流程，允許設計師充分發(fā)揮AlteraFPGA的性?xún)r(jià)比優(yōu)勢，同時(shí)高效地使用MathWorks公司基于模型的設計工具Simulink。Altera的DSPBuilder是一款DSP開(kāi)發(fā)工具，可以用來(lái)連接Simulink和Altera公司先進(jìn)的QuartusII開(kāi)發(fā)軟件。

DSPBuilder提供了無(wú)縫的設計流程，設計師利用該流程可以在MATLAB軟件環(huán)境中進(jìn)行算法開(kāi)發(fā)，并在Simulink軟件中做系統級設計。然后形成硬件描述語(yǔ)言(HDL)，提供給QuartusII軟件使用。DSPBuilder工具緊密集成了SOPCBuilder工具，能幫助用戶(hù)構建包含Simulink設計和Altera嵌入式處理器以及知識產(chǎn)權(IP)內核的系統。該開(kāi)發(fā)流程非常直觀(guān)，容易上手，適合在使用可編程邏輯設計軟件方面沒(méi)有太多經(jīng)驗的設計師使用。

視頻與影像處理套件

視頻與影像處理套件由9大功能塊組成，其參數能夠靜態(tài)，或在某些情況下動(dòng)態(tài)改變。表2對這些功能做了總結。

表2：視頻與影像處理套件中的可用功能

圖1所示的二維濾波器GUI是用戶(hù)配置類(lèi)型的一個(gè)例子，它是與視頻與影像處理套件中的內核一起提供的。

圖1：二維濾波器GUI

分辨率、每次采樣的位數、FIR濾波器尺寸、邊緣行為、溢出行為和累加器長(cháng)度都是二維濾波器內核中支持的靜態(tài)參數。

目前已經(jīng)有多家第三方公司發(fā)布了針對Altera FPGA和結構化ASIC的視頻壓縮解決方案。表3列出了一些通用視頻壓縮標準和相關(guān)的第三方公司名稱(chēng)。

表3：第三方視頻壓縮解決方案

Altera及其合作伙伴也提供視頻系統中經(jīng)常要用到的接口內核，包括ASI、SDI、10/100/1000M以太網(wǎng)和DDR/DDR2存儲控制器。表4列出了部分這些類(lèi)型的內核和參考設計。

表4：視頻接口和系統IP

采用視頻與影像處理套件的典型視頻系統如圖2所示。

視頻開(kāi)發(fā)套件

Altera有兩款新的視頻開(kāi)發(fā)套件。其中一款是視頻開(kāi)發(fā)套件Cyclone II版本。它有一個(gè)雙通道復合視頻輸入、VGA輸出端口、96kHz音頻I/O、256MB的DDR2 DRAM和Cyclone II器件。另外一款是音視頻開(kāi)發(fā)套件Stratix II GX版本，支持四通道的高清SDI、ASI、DVI、USB、千兆以太網(wǎng)、1394和DDR2 SDRAM。使用視頻與影像處理套件、DSP Builder和SOPC Builder開(kāi)發(fā)工具的視頻參考設計也包含在這兩款套件中。除了這些套件外，還有多個(gè)用于視頻解決方案的Altera第三方開(kāi)發(fā)套件。

性能基準

表5給出了功能實(shí)例和實(shí)現該功能所需的相應FPGA。

表5：編碼標準基準

Altera的Cyclone II低成本FPGA可最多集成1.1Mb的嵌入式存儲器、300個(gè)工作在250MHz的嵌入式9x9乘法器和68,000個(gè)邏輯單元(LE)。Cyclone II EP2C35器件是系列里中等規模的FPGA，25萬(wàn)片時(shí)的報價(jià)是22美元。Stratix II高性能、高密度器件最多可集成9Mb的嵌入式存儲器、768個(gè)工作在450MHz的9x9嵌入式乘法器和179,000個(gè)LE。這些功能也可以用Altera的HardCopy II結構化ASIC器件實(shí)現。重要的邏輯、存儲器和DSP資源留給預處理和后處理功能使用(如表6所示)。

表6：預處理和后處理基準

本文小結

FPGA非常適合于視頻與影像處理應用，如廣播基礎設施、醫療成像、高清晰度視頻會(huì )議、視頻監測和軍事成像。Altera FPGA的視頻與影像處理解決方案包含了優(yōu)化的開(kāi)發(fā)工具與套件、參考設計、視頻壓縮IP、接口與系統IP以及Altera的視頻與影像處理IP套件。這些解決方案可以改善許多視頻與成像設備的成本、性能和產(chǎn)能。