用FPGA內部集成的DSP實(shí)現圖像處理的實(shí)例分析

intevac是商用和軍用市場(chǎng)光學(xué)產(chǎn)品的前沿開(kāi)發(fā)商。本文介紹該公司nightvista嵌入式電子系統的開(kāi)發(fā)，該產(chǎn)品是高性能超低亮度緊湊型攝像機。該攝像機最初采用了流行的數字信號處理器、幾個(gè)assp和外部存儲器件。系統對性能的需求越來(lái)越高，工程師團隊決定試驗一種替代方案——在可編程邏輯中實(shí)現可配置軟核處理器。這一決定帶來(lái)了以下好處：

達到了目標所要求的性能
在單個(gè)fpga中集成了分立的元件和數字信號處理(dsp target=_blank>dsp)功能
功耗降低了近80%
將五塊元件板縮減到一塊，顯著(zhù)降低了成本
縮短了開(kāi)發(fā)時(shí)間

圖1 intevac nightvista攝像機中cyclone系列fpga功能框圖

　　dsp基于處理器的實(shí)現方法

nightvista電子系統的部分功能包括：

攝像機上電測試和初始化
視頻傳感校準和表征
圖像增強管理的自動(dòng)增益控制
圖形、文本和水印屏顯示功能
實(shí)時(shí)自適應對比度調整
gamma校正、視頻停幀捕獲，并存儲至閃存
實(shí)時(shí)時(shí)鐘
用戶(hù)定義的可編程預置配置
通過(guò)rs-232與主機pc進(jìn)行通信
攝像機功能和參數遠程更新，攝像機至主機pc視頻數據傳送

intevac開(kāi)發(fā)nightvista電子產(chǎn)品的最初方法是采用數字信號處理器。除了處理器之外，還需要其他幾個(gè)主要部件，包括ntsc視頻編碼器、一個(gè)rs-232接口、多個(gè)鎖相環(huán)(pll)、實(shí)現各種邏輯功能的cpld，以及幾個(gè)存儲器(fifo、sdram和閃存)。此外，這些部件需要四個(gè)不同的工作電壓(需要四個(gè)電源穩壓器和不同的pcb板層)，四個(gè)獨立的時(shí)鐘系統，以及各自的振蕩器和電源去耦電路?？傮w上，這些部件占用了五塊pcb，每一塊電路板大約兩平方英寸，堆疊在該攝像機兩英寸見(jiàn)方的外殼中。

硬件開(kāi)發(fā)了幾個(gè)月之后，大家清楚的認識到該解決方案難以達到intevac為nightvista設定的性能目標，重量和功耗令人難以接受。而且，由于高密度堆疊的pcb功耗很大，帶來(lái)了明顯的熱管理問(wèn)題。intevac決定中斷基于數字信號處理器的設計，轉而采用基于fpga的混合邏輯和軟核微處理器方案。intevac并沒(méi)有使用集成微處理器可編程邏輯的經(jīng)驗，但是一個(gè)使用altera演示板的評估方案很有吸引力，其最新的低成本fpga能夠將一個(gè)完整的32位risc處理器和存儲器模塊、pll以及大量的邏輯資源集成到一起，實(shí)現專(zhuān)用視頻信號處理功能。在fpga中集成pll可以解決與電路板級多時(shí)鐘系統相關(guān)的大量問(wèn)題。

工程師團隊考慮了多種因素，包括：

多種fpga系列的性能和特性
提供知識產(chǎn)權(ip)內核
多個(gè)供應商的器件集成技術(shù)和業(yè)務(wù)能力
提供成熟的硬件和軟件開(kāi)發(fā)工具
供應商支持資源的可靠性

分析了以上因素后，公司決定購買(mǎi)在altera cyclone fpga中實(shí)現altera nios處理器的解決方案。fpga的功能如圖1所示。

　　設計轉換

決定使用altera的解決方案后，intevac必須確定現有的dsp軟件在多大程度上能夠導入到nios處理器中。公司已經(jīng)投入了18個(gè)月的人工付出進(jìn)行前面的數字信號處理器軟件開(kāi)發(fā)，團隊現在面臨的問(wèn)題是將圖像數據通過(guò)處理器傳送至輸出，并沒(méi)有進(jìn)行視頻處理。fpga攝像機中的nios處理器具有不同的特性，只能通過(guò)rs-232串行通信協(xié)議與主機pc和視頻傳感器進(jìn)行通信。幸運的是，nios處理器的軟件開(kāi)發(fā)直觀(guān)明了，通過(guò)使用nios開(kāi)發(fā)板，intevac在幾個(gè)小時(shí)之內便建立了處理器和主機pc之間的通信。

新的fpga電路板在一個(gè)月內完成，在這段時(shí)期內，intevac繼續采用nios處理器開(kāi)發(fā)板編寫(xiě)、調試軟件代碼。intevac最初計劃采用數字信號處理器的實(shí)時(shí)操作系統(rtos)來(lái)管理復雜的視頻處理算法時(shí)序。由于nios處理器并不包括現成的rtos，軟件小組并不能確定是否能夠達到所有的時(shí)序要求。與硬件小組討論后，軟件小組很快發(fā)現nios處理器的配置功能可以很好的控制信號時(shí)序，一般只需要對fpga設計稍做改動(dòng)便能夠達到目標時(shí)序要求。同一fpga環(huán)境下硬件和固件處理具有高度集成特性，能夠迅速簡(jiǎn)單的實(shí)現最佳控制和視頻處理任務(wù)。

fpga方案實(shí)現了定制化，提升了性能。進(jìn)一步的深入研究后，intevac開(kāi)始開(kāi)發(fā)定制功能和外設，以貼近自己的需求。一旦在軟件中碰到瓶頸，硬件小組便開(kāi)發(fā)一個(gè)處理器來(lái)提高性能，一般在一個(gè)小時(shí)內就可以做到這一點(diǎn)。硬件小組設計了一個(gè)定制視頻編碼器、用于緩沖視頻數據的fifo模塊，以及專(zhuān)用dma控制器為編碼器提供穩定的視頻數據流，避免了使用外部編碼器和fifo緩沖。此外，構建了一個(gè)定制sdram控制器，使所有的視頻、屬性、nios處理器命令讀取和數據存儲都可以使用同一存儲器，從而提高了性能。某些功能需要自己的時(shí)鐘，因此，采用了fpga的板上pll，從一個(gè)主時(shí)鐘中產(chǎn)生三個(gè)不同的時(shí)鐘：第一個(gè)用于視頻編碼器，第二個(gè)用于sdram時(shí)序，第三個(gè)用于外部象素傳感器。

通過(guò)集成提高了性能

在實(shí)現了以前所用外部器件的功能以后，intevac還增加了最初dsp處理器無(wú)法實(shí)現的功能。加入了視頻測試模式生成器來(lái)仿真攝像機的工作，使軟件小組能夠完成各種視頻處理算法，使系統能夠協(xié)調工作。加入的另一功能是統計生成器，用于分析視頻數據的特性，以便進(jìn)行圖像增強和亮度處理。圖像統計生成器需要的數學(xué)運算如果在軟件中實(shí)現，那么速度很慢。intevac使用了fpga中的邏輯資源來(lái)實(shí)現該功能，設置完成后，將結果傳送給處理器。

電路板制好后，在幾個(gè)小時(shí)內便完成了開(kāi)發(fā)板軟件代碼傳送、代碼設置，并在新板上運行。后面的幾個(gè)月中，intevac在進(jìn)行硬件和軟件開(kāi)發(fā)的同時(shí)，進(jìn)一步調試、優(yōu)化了設計。雖然對處理器和fpga設計的其他部分進(jìn)行了多次修改，但是，并沒(méi)有影響電路板布板。最后，使用cyclone器件和nios軟核處理器，將五塊電路板縮減為一塊。這種集成方式減輕了攝像機重量，所需支持電壓由四個(gè)減少到兩個(gè)，功耗降低了近80％。使用相同的pcb設置，intevac還能夠高效的生產(chǎn)多種產(chǎn)品。

采用altera無(wú)鉛產(chǎn)品輕松達到

altera在業(yè)界提供的無(wú)鉛產(chǎn)品范圍最廣，1200多個(gè)產(chǎn)品具有無(wú)鉛封裝。altera作為環(huán)境無(wú)污染可編程邏輯解決方案的優(yōu)秀供應商，2002年以來(lái)已經(jīng)發(fā)售了2千5百萬(wàn)片無(wú)鉛產(chǎn)品。altera的無(wú)鉛器件符合eu directive在有害物質(zhì)使用限制(“rohs directive”)no.2002/95中所規定的最大濃度值，包括鉛(pb)、汞、鎘、六價(jià)鉻、多溴化聯(lián)苯(pbb)以及多溴化聯(lián)二苯(pbde)等。采用altera的pld集成非兼容的assp功能，可以輕松完成您的rohs轉換。

結語(yǔ)

設計簡(jiǎn)化后，intevac達到了自己的性能目標，極大的降低了元件和生產(chǎn)成本，提高了nightvista的質(zhì)量和可靠性。在最初的產(chǎn)品規范基礎上，該解決方案還增加了更多的功能。intevac在fpga中留出了邏輯資源，這樣，現場(chǎng)應用時(shí)，能夠進(jìn)一步對攝像機進(jìn)行更新。這一解決方案幫助intevac研究并完善了速度更快、效率更高的設計開(kāi)發(fā)流程，為今后的產(chǎn)品開(kāi)發(fā)節省了大量的時(shí)間和資源。