如何用FPGA構建IP監視攝像機的參考設計

目前的視頻監視市場(chǎng)在發(fā)展過(guò)程中遇到了很多要解決的難題，包括從模擬到數字攝像機的過(guò)渡、轉換到高清(HD)視頻、應用寬動(dòng)態(tài)范圍(WDR)傳感器，以及實(shí)現進(jìn)行數據傳輸和控制的互聯(lián)網(wǎng)協(xié)議(IP)鏈接等。針對這些問(wèn)題，本文介紹了如何采用FPGA構建IP監視攝像機的參考設計，展示了怎樣采用低成本AlteraCycloneIIIFPGA構建完整的系統。

引言

在視頻監視市場(chǎng)領(lǐng)域，對更高質(zhì)量視頻、高分辨率以及靈活性和功能的需求促進(jìn)了從模擬到數字攝像機的過(guò)渡。在定義上，高清(HD)視頻必須是數字的，因此，采用HD標準也就意味著(zhù)過(guò)渡到數字傳感器。HD視頻標準支持更高的幀速率和分辨率，需要H.264等新壓縮方法，促使攝像機具有更強的處理能力。

在各種照明條件(強光和暗光、強對比度)下都要求能夠提取出所有圖像內容，因此，數字攝像機采用了新一類(lèi)WDR傳感器，攝像機也要求在數字域中實(shí)現動(dòng)態(tài)范圍壓縮。攝像機中數字數據通路的另一優(yōu)點(diǎn)是可以在攝像機內部進(jìn)行“分析”處理。

IP監視攝像機參考設計

IP監視攝像機參考設計的頂層結構圖和硬件，它主要面向新一代HD(>1MP)WDR傳感器。IP監視攝像機參考設計結合了Altera以及多家合作伙伴的硬件和軟件知識產(chǎn)權。圖1.IP監視攝像機參考設計結構圖。

參考設計的硬件平臺，基于CycloneIIIEP3C120開(kāi)發(fā)板。AptinaWDR傳感器像素數據被送入Apical的圖像傳感器流水線(xiàn)(ISP)。輸出數據是YUV4:2:0格式，寫(xiě)入到外部DDR2SDRAM的幀緩沖中，它使用了Altera視頻和圖像處理(VIP)套裝提供的組件。然后，使用EyeLytics提供的內核，以H.264格式對視頻數據進(jìn)行編碼，支持(在這一應用中)3級基線(xiàn)/主要類(lèi)視頻流，通過(guò)以太網(wǎng)在遠程主機上觀(guān)看。散射收集直接存儲器訪(fǎng)問(wèn)(SGDMA)控制器支持Altera三速以太網(wǎng)(TSE)MegaCore?功能，將編碼后的視頻流通過(guò)以太網(wǎng)傳送到遠程客戶(hù)端。圖2.IP監視攝像機參考設計硬件

寬動(dòng)態(tài)范圍傳感器

AptinaMT9M033是0.33"720p60WDRCMOS傳感器，主要用于監視攝像機市場(chǎng)。傳感器和鏡頭組合安裝在“頂板”上，通過(guò)I/O轉換板將其連接至CycloneIIIEP3C120開(kāi)發(fā)板。圖像傳感器流水線(xiàn)CMOSWDR傳感器沒(méi)有片內圖像流水線(xiàn)處理功能，以RAW/Bayer格式輸出圖像數據，每像素為20比特?？梢圆捎孟率絹?lái)計算傳感器輸出的大量原始數據：20比特/像素x(1280x720)像素/幀x60幀/s=>1Gbit/s由于數據量過(guò)大，因此，很難將新一代WDR傳感器連接至監視解決方案中經(jīng)常使用的ASSP。因此，FPGA是高效處理數據的理想選擇。Apical的ISP包括以下功能：

■去除熱點(diǎn)像素，抑制噪聲(提供空間和時(shí)域IP內核)。

■使用Apical獲獎的專(zhuān)利IridixIP內核實(shí)現單位像素高級色調映射功能

■高級去馬賽克和顏色校正

ISP輸出可以作為參考設計的一個(gè)選項，通過(guò)BitecDVI輸出電路板連接至CycloneEP3C120開(kāi)發(fā)板的第二個(gè)HSMC連接器(顯示在圖2的左側硬件中)。

視頻和圖像處理套裝

AlteraVIP套裝匯集了MegaCore功能，設計人員可以利用它方便的開(kāi)發(fā)定制視頻和圖像處理設計。VIP套裝含有MegaCore功能，從顏色空間轉換等簡(jiǎn)單的構建模塊功能到可編程多相縮放等復雜的視頻縮放功能。這些功能適合用在多種圖像處理和顯示應用中，例如視頻監視、廣播、視頻會(huì )議、醫療和軍事成像等。

在IP監視攝像機參考設計中，采用了多種VIP內核進(jìn)行顏色空間轉換，采用色度重新采樣功能將ISP的RGB編碼視頻轉換為H.264編碼器要求的YUV4:2:0編碼輸入。如圖5所示，內核連接至應用了Avalon-ST視頻協(xié)議的Avalon?流(Avalon-ST)接口。使用Avalon存儲器映射(Avalon-MM)接口，Y和C視頻分量被寫(xiě)入外部DDR2存儲器的幀緩沖。

在H.264編碼之前，跳過(guò)視頻間隔幀，在幀緩沖寫(xiě)入器中，720p60傳感器幀速率被轉換為720p30，而不是將其寫(xiě)入幀緩沖中。

視頻壓縮

該設計中使用的H.264編碼器是EyeLytics公司提供的IP內核，它針對監視應用進(jìn)行了優(yōu)化。這一內核具有很多監視功能，包括多通道支持、恒定質(zhì)量速率控制、幀內/幀間模式、QPEL、前后關(guān)系自適應二進(jìn)制算法編碼(CABAC)/前后關(guān)系自適應長(cháng)度可變編碼(CAVLC)，并且使用了較少的邏輯門(mén)。內核同時(shí)支持主要類(lèi)和基線(xiàn)類(lèi)。

三速以太網(wǎng)MAC

AlteraTSEMegaCore功能結合了10-/100-/1000-Mbps以太網(wǎng)介質(zhì)訪(fǎng)問(wèn)控制器(MAC)和1000BASE-X物理編碼子層(PCS)，以及可選物理介質(zhì)附加子層(PMA)。CycloneIIIEP3C120開(kāi)發(fā)板包括10/100/1000base-T和自動(dòng)協(xié)商以太網(wǎng)PHY，其簡(jiǎn)化千兆位介質(zhì)無(wú)關(guān)接口(RGMII)連接至TSE功能。

Avalon總線(xiàn)架構和DDR2幀緩沖存儲器采用了一塊具有150MHz32位數據總線(xiàn)的外部DDR2SDRAM，由AlteraDDR和DDR2SDRAM高性能II控制器MegaCore功能對其進(jìn)行控制，它用于應用程序代碼和數據存儲、輸入和輸出幀緩沖以及H.264編碼器的中間幀緩沖。為達到時(shí)序和性能目標，Avalon-MM總線(xiàn)架構是75MHz128位寬。Avalon仲裁共享功能應用于連接DDR2存儲器控制器的每一Avalon-MM總線(xiàn)主機，以保證不中斷的高效訪(fǎng)問(wèn)H.264編碼器的突發(fā)數據。整個(gè)系統采用了時(shí)鐘交叉橋接、定時(shí)器和并行I/O等多種標準Avalon組件。

工具流

使用AlteraSOPCBuilder工具，以完整的芯片系統(SOC)來(lái)實(shí)現IP監視攝像機參考設計。使用SOPCBuilder，設計人員在GUI中設定系統組件，由SOPCBuilder自動(dòng)產(chǎn)生互聯(lián)邏輯。SOPCBuilder產(chǎn)生定義系統中所有組件的HDL文件，然后，頂層HDL文件將所有組件連接起來(lái)。在VerilogHDL中生成IP監視攝像機參考設計，而SOPCBuilder能夠同時(shí)生成VerilogHDL和VHDL。

ISP和H.264編碼器可以是具有Avalon-MM接口的SOPCBuilder組件，易于集成到Altera具有標準外設的系統中，以及第三方IP和設計人員自己的組件構成的系統中。SOPCBuilder含在A(yíng)lteraQuartus?II開(kāi)發(fā)軟件中，提供了全面的多平臺設計環(huán)境，很容易滿(mǎn)足特殊的設計需求。QuartusII軟件為FPGA和CPLD設計的所有階段提供解決方案：

■設計輸入

■綜合

■布局布線(xiàn)

■時(shí)序分析

■仿真

■編程和配置

使用AlteraNios?II嵌入式設計套裝進(jìn)行軟件開(kāi)發(fā)?；赟OPCBuilder設計中的組件，生成電路板支持包(BSP)，包括所有必須的器件驅動(dòng)程序等。

軟件應用

采用NiosII嵌入式處理器來(lái)設置不同模塊中的各種寄存器，同時(shí)運行RTP堆棧，傳送壓縮視頻。采用以太網(wǎng)MAC模塊來(lái)控制ISP，嵌入式處理器運行Micrium的uC/OSII實(shí)時(shí)內核、InterNiche技術(shù)公司的NicheStack和RTP堆棧，以及Altera參考設計的視頻流應用程序和網(wǎng)絡(luò )服務(wù)器應用程序。處理器還處理ISP的自動(dòng)曝光和自動(dòng)白平衡控制功能。

視頻流應用程序響應H.264編碼器的中斷，重新裝入各種緩沖指針。重新裝入功能使其能夠準備要編碼的下一視頻幀，將剛剛編碼后的幀通過(guò)以太網(wǎng)傳送至RTP堆棧，以便繼續傳輸。通過(guò)網(wǎng)絡(luò )服務(wù)器應用程序，支持ISP進(jìn)行簡(jiǎn)單的控制，使傳感器在正常和WDR模式之間切換，使能和禁止Iridix。這種控制功能具有實(shí)時(shí)顯示ISP的優(yōu)勢。網(wǎng)絡(luò )服務(wù)器應用程序還支持對編碼器進(jìn)行配置，包括比特率和質(zhì)量等，在CABAC和CAVLC之間進(jìn)行選擇。

主機軟件

運行VLC媒體播放器(或者類(lèi)似的)的主機PC用于查看IP監視攝像機參考設計的流視頻輸出。如圖7所示，主機和EP3C120開(kāi)發(fā)套件之間需要的唯一鏈接是以太網(wǎng)電纜。

性能：IP監視攝像機參考設計的性能指標包括速度、延時(shí)、功耗和資源利用率。

速度：在CycloneIIIEP3C120I7開(kāi)發(fā)板上實(shí)現參考設計時(shí)，DDR時(shí)鐘頻率為150MHz，足以使用H.264基線(xiàn)類(lèi)或者主要類(lèi)來(lái)壓縮720p30視頻幀。Avalon-MM總線(xiàn)架構運行在75MHz，H.264編碼器內核運行在150MHz。DDR2存儲器控制器、Avalon-MM總線(xiàn)架構以及H.264內核通過(guò)同步半速率橋接進(jìn)行連接，以減小時(shí)鐘域之間的延時(shí)。NiosII處理器和TSE的時(shí)鐘為125MHz。采用了NiosII/F(快速)版的NiosII處理器，具有8-Kbyte指令高速緩存、8-Kbyte數據高速緩存，并且支持浮點(diǎn)。

延時(shí)：從傳感器輸入到ISP，直至H.264編碼器輸出的延時(shí)小于兩幀，它主要來(lái)自圖像數據的雙緩沖。在對以前的幀進(jìn)行編碼時(shí)總是將新輸入幀寫(xiě)入存儲器。

功耗：參考設計總功耗包括所有的輔助模塊和I/O的功耗，達到2.7W。表1顯示了參考設計中使用的每一主要模塊的功耗。其余的700mW來(lái)自Avalon總線(xiàn)架構、顏色空間轉換和參考設計的I/O附件。

資源利用率：在CycloneEP3C120中實(shí)現整個(gè)參考設計時(shí)，其資源利用率為：

■107K邏輯單元(LE)(90%器件利用率)■410M9K嵌入式存儲器(95%器件利用率)■140個(gè)嵌入式乘法器9位單元(24%器件利用率)

靈活性

基于FPGA的體系結構非常靈活，可以進(jìn)行定制，完全能夠在大家都了解的標準硬件平臺上實(shí)現。通過(guò)這種靈活性，可以增強和修改系統體系結構，以適應不同的系統需求。由于采用了標準HDL來(lái)實(shí)現設計，因此，很容易提高攝像機分辨率，增加定制視頻處理功能或者視頻分析引擎。而且，還可以通過(guò)以太網(wǎng)進(jìn)行遠程更新。例如，把新的FPGA編程文件發(fā)送至NiosII嵌入式處理器，然后將文件寫(xiě)入閃存，從而重新配置系統或者改變傳感器和ISP設置。在單片FPGA中集成整個(gè)IP監視攝像機參考設計減少了芯片數量，節省了PCB空間。

不需要與外部器件進(jìn)行通信，從而減少了I/O鏈接，降低了動(dòng)態(tài)功耗，解決了散熱問(wèn)題。針對個(gè)性化需求，使用不同的FPGA圖像(例如，分辨率、幀速率和壓縮選項)，在一個(gè)系統設計中便能夠支持多種個(gè)性化攝像機。通過(guò)縱向移植，可以在同一封裝中使用不同邏輯密度的器件。而且，設計可以在任意FPGA上實(shí)現，采用開(kāi)放設計方案使設計人員能夠針對最新的FPGA進(jìn)行設計，有了更新的FPGA系列后，可以進(jìn)一步提高性能，降低成本和功耗。

結論

Altera的CycloneIII和CycloneIV系列低成本FPGA解決了目前最新IP監視系統設計人員所面臨的難題。通過(guò)IP監視攝像機參考設計，Altera及其合作伙伴提供了從圖像采集到IP包封的全面解決方案，使用集成在A(yíng)lteraSOPCBuilder工具中的系列MegaCore功能來(lái)提供靈活的解決方案，促使產(chǎn)品及時(shí)面市。