使用ECP5?FPGA解決網(wǎng)絡(luò )邊緣智能、視覺(jué)和互連應用設計挑戰

　　引言

　　隨著(zhù)傳感器、低成本攝像頭和顯示屏在當今嵌入式設計中的使用量飛速增長(cháng)，市場(chǎng)上出現了許多激動(dòng)人心的全新智能和視覺(jué)應用。與此同時(shí)，嵌入式視覺(jué)應用的爆炸式發(fā)展也讓設計工程師對處理資源需求有了一個(gè)新的認識。包含豐富數據的全新視頻應用促使設計工程師重新考慮到底采用哪種器件，是專(zhuān)用應用處理器(AP)、ASIC還是ASSP?然而，在某些情況下，在現有應用處理器、ASIC或ASSP方面的大量軟件投入以及全新器件的高啟動(dòng)成本已然成為上述應用更新迭代的阻礙。這一次，擺在眼前的問(wèn)題推動(dòng)設計工程師尋求一種協(xié)處理解決方案，不僅要能夠為包含豐富數據的全新應用提供所需的額外功能，同時(shí)還要滿(mǎn)足系統成本和功耗的嚴苛要求。

　　除此之外，市場(chǎng)上對于面向移動(dòng)應用的低成本MIPI外設的廣泛采用也催生了從未有過(guò)的互連挑戰。設計工程師既希望利用最新一代MIPI攝像頭和顯示屏的量產(chǎn)成本優(yōu)勢，同時(shí)又希望能夠保有在傳統設備上的投入。那么在這種快速發(fā)展的大環(huán)境中，設計工程師該如何解決傳感器、嵌入式顯示屏和應用處理器之間不斷涌現的接口不匹配問(wèn)題呢?

　　設計工程師需要一種高度靈活的解決方案，能夠實(shí)現高性能、“業(yè)內最佳”的協(xié)處理器，滿(mǎn)足視覺(jué)和智能應用對于邏輯資源和高度并行計算能力的需求，同時(shí)增加對各類(lèi)I/O標準和協(xié)議的互連支持。此外，這樣的解決方案還應當具備高度可擴展的架構，并支持使用主流高數據速率的低成本外部DDR DRAM。最后，該解決方案還需要針對低功耗和低成本運算進(jìn)行優(yōu)化，并為設計工程師提供業(yè)界領(lǐng)先的超小尺寸封裝。

　　在本文中，我們將為您介紹ECP5?和LatticeECP3? FPGA如何為嵌入式設計實(shí)現協(xié)處理和互連解決方案，并重點(diǎn)探討這些解決方案在工業(yè)、消費電子、汽車(chē)和機器學(xué)習領(lǐng)域的應用實(shí)例。

　　為視覺(jué)與智能應用實(shí)現高效的協(xié)處理解決方案

　　萊迪思半導體?推出的ECP5和LatticeECP3 FPGA系列可實(shí)現“業(yè)內最佳”的協(xié)處理器，并針對互連功能以及高性能和低功耗進(jìn)行了優(yōu)化。ECP5 FPGA系列提供業(yè)界最小尺寸封裝(10x10 mm)，并具備高達85K查找表(LUT)，功能密度相比競品高出近2倍，同時(shí)成本和功耗也大幅降低。ECP5 FPGA支持與ASIC、ASSP和應用處理器實(shí)現互連，并具備優(yōu)化的I/O和體系架構。增強的嵌入式DSP塊和高度并行的FPGA邏輯架構為計算密集型協(xié)處理功能提供了所需的高性能支持。ECP5 FPGA系列可提供高達4條SERDES互連通道，支持PCI Express(Gen1，Gen2)、以太網(wǎng)(1GbE，SGMII，XAUI)、CPRI、嵌入式顯示端口( eDP)和JESD204B，每條通道速率為250 Mbps至5 Gbps。同時(shí)，器件上的可編程I/O還支持各類(lèi)接口，包括DDR3、LPDDR3、LVCMOS、RGMII、XGMII、LVTTL、LVDS、Bus-LVDS、7:1 LVDS、LVPECL和MIPI D-PHY。

　　當協(xié)處理或互連應用需要超過(guò)85K LUT或超過(guò)4條SERDES通道時(shí)，設計工程師可以選擇LatticeECP3 FPGA。LatticeECP3 FPGA系列可提供最高150K LUT和6.8 Mbit SRAM，封裝尺寸小至10x10 mm。相比ECP5 FPGA系列，該產(chǎn)品系列最高支持16個(gè)3.125 Gbps SERDES通道。此外，該產(chǎn)品系列中的器件均支持800 Mbps DDR3和LVDS，并且能夠提供超過(guò)500個(gè)可編程系統I/O緩沖器，支持以太網(wǎng)(通過(guò)RGMII和XGMII)以及大量額外的I/O接口，而嵌入式SERDES則支持PCIe、以太網(wǎng)(通過(guò)SGMII和XAUI)、HDMI、高速串行I/O(Serial Rapid I/O)、CPRI、JESD204A/B等。LatticeECP3 FPGA系列的功耗低至0.5 W。與ECP5 FPGA系列一樣，使用LatticeECP3 FPGA的設計工程師可以使用高度并行的FPGA邏輯架構高效地執行計算密集型功能，并通過(guò)FPGA分擔視覺(jué)和智能功能，如圖像處理和分析任務(wù)以降低處理器工作負載，從而實(shí)現更低的功耗和更高的性能。

　　為工業(yè)應用實(shí)現視覺(jué)處理解決方案

　　在工業(yè)領(lǐng)域，基于ECP5 FPGA的協(xié)處理能夠發(fā)揮重要作用，可用于降低視頻攝像頭、監控和機器視覺(jué)應用中應用處理器、ASIC或ASSP的計算負載。圖1展示了一款典型的工業(yè)攝像頭應用。在下方的圖示中，FPGA位于圖像傳感器和以太網(wǎng)PHY之間。圖像傳感器將圖像數據流傳輸到FPGA，然后FPGA基于H.264編碼進(jìn)行圖像處理或圖像壓縮。FPGA的片上嵌入式RAM塊(Embedded Block RAM, EBR)和DSP塊實(shí)現高性能寬動(dòng)態(tài)范圍(WDR)和圖像信號處理(ISP)功能。最后，FPGA將圖像數據通過(guò)以太網(wǎng)進(jìn)行傳輸。

　　圖1：通過(guò)實(shí)現圖像處理或壓縮功能，ECP5 FPGA可降低工業(yè)攝像頭應用中應用處理器的計算負載

　　除了進(jìn)行圖像處理和壓縮之外，如果應用處理器接口的類(lèi)型或數量與攝像頭或傳感器的不匹配，FPGA還可用于實(shí)現它們之間的視頻橋接。為了滿(mǎn)足工業(yè)應用對于靈活互連的需求，萊迪思推出了可編程ECP5 12K器件，能夠連接到包括LVDS、MIPI和LPDDR3在內的常用接口。該器件能夠以低成本提供LED控制器、機器視覺(jué)系統和工業(yè)電機控制等應用中預處理和后處理功能所需的邏輯、存儲器和DSP資源。

　　除了常見(jiàn)工業(yè)攝像頭應用之外，機器視覺(jué)(工業(yè)領(lǐng)域里更專(zhuān)業(yè)的攝像頭應用)也可受益于ECP5 FPGA提供的互連和協(xié)處理能力。圖2中的框圖展示了FPGA可在常見(jiàn)的工業(yè)機器視覺(jué)系統中發(fā)揮的多種作用。在攝像頭應用領(lǐng)域，FPGA可用于實(shí)現傳感器橋接、完整的攝像頭ISP或定制功能來(lái)幫助系統設計工程師實(shí)現差異化的終端產(chǎn)品。對于圖像采集卡而言，像ECP5一樣的FPGA還可以解決視頻接口問(wèn)題和實(shí)現圖像處理功能。

　　機器視覺(jué)系統框圖

　　圖2：在常見(jiàn)的工業(yè)機器視覺(jué)解決方案中，FPGA可用于實(shí)現各種接口橋接和處理功能

　　為智慧城市實(shí)現智能交通和監控攝像頭應用

　　智能交通系統(ITS)包括交通流量監控、交通違章識別、智能停車(chē)和收費等應用，是智慧城市的重要組成部分。上述系統通常需要智能交通攝像頭，用于準確檢測車(chē)輛多個(gè)方面的信息，例如車(chē)牌，即使在惡劣的環(huán)境中也要在網(wǎng)絡(luò )邊緣進(jìn)行視頻分析，不用將原始視頻流發(fā)送回云端進(jìn)行處理。單獨的應用處理器通常不能同時(shí)滿(mǎn)足系統功耗和實(shí)時(shí)處理的要求。低功耗、小尺寸的ECP5 FPGA系列可用作應用處理器的協(xié)處理器，在網(wǎng)絡(luò )邊緣實(shí)現系統所需的高效實(shí)時(shí)處理功能。

　　除了上文中提到的ISP外，ECP5 FPGA還可以實(shí)現視頻分析功能，進(jìn)一步減輕應用處理器的計算密集型任務(wù)，從而降低系統功耗、實(shí)現更高的實(shí)時(shí)性能。FPGA可為智能攝像頭應用實(shí)現目標偵測、圖像處理和圖像增強等解決方案。例如，偵測目標可以是監控攝像頭實(shí)例中的人臉圖像或是交通攝像頭實(shí)例中的車(chē)牌。

　　圖3：ECP5 FPGA為智能攝像頭應用實(shí)現圖像處理和視頻分析功能框圖，分擔應用處理器的計算密集型任務(wù)

　　在圖3所示的智能交通攝像頭實(shí)例中，FPGA基于傳感器捕獲的圖像數據檢測到車(chē)輛牌照，即使在低光照或強背光條件下亦能執行圖像增強以生成清晰圖像 - 針對目標(車(chē)牌)和背景(圖像中的剩余部分)使用不同的曝光設置，然后融合目標和背景圖像以生成更清晰的圖像。然后，FPGA生成的目標偵測結果輸入到應用處理器運行的分析算法。使用ECP5 FPGA的并行處理器架構分擔分析算法中計算密集程度最高的步驟，智能攝像頭能夠在保持低功耗的同時(shí)提高性能。

　　為移動(dòng)系統實(shí)現沉浸式增強現實(shí)(AR)和虛擬現實(shí)(VR)應用

　　隨著(zhù)AR/VR市場(chǎng)需求不斷增長(cháng)，當前基于頭戴式顯示器(HMD)的系統面臨著(zhù)移動(dòng)應用處理器運行內容時(shí)性能不足的問(wèn)題。因此，要實(shí)現身臨其境的AR/VR體驗所需的基于視覺(jué)的位置追蹤功能，對于處理器而言是頗具挑戰性的。在這種情況下，ECP5 FPGA的高效并行處理架構非常適合用于實(shí)現基于立體攝像頭和LED標記的位置跟蹤解決方案。與應用處理器相比，FPGA能夠提供低延遲、低功耗的圖像處理支持。FPGA的可編程架構和I/O也使得系統設計工程師能夠根據產(chǎn)品要求輕松選擇來(lái)自不同廠(chǎng)商的圖像傳感器。

　　在“outside-in”的位置追蹤解決方案中，立體攝像頭被放置在房間內(在室內攝像頭看用戶(hù))，通過(guò)捕捉安裝在用戶(hù)頭盔和手柄控制器上的LED標記來(lái)追蹤用戶(hù)的運動(dòng)(諸如身體運動(dòng)和手部運動(dòng))，如下方圖4所示。安裝在三腳架上攝像頭單元內部的FPGA基于立體攝像頭捕獲的數據來(lái)計算用戶(hù)的位置、身體和手部動(dòng)作，然后將數據通過(guò)無(wú)線(xiàn)方式發(fā)送到用戶(hù)頭盔中的移動(dòng)應用處理器，最終通過(guò)AR/VR應用呈現現實(shí)世界與虛擬世界的互動(dòng)。立體攝像頭為運行在FPGA上的算法提供了深度感知支持，從而實(shí)現三坐標定位。

　　圖4：使用立體攝像頭(放置在房間內)的“outside-in”位置追蹤解決方案，通過(guò)捕獲安裝在用戶(hù)頭盔和手柄控制器上的LED標記來(lái)跟蹤用戶(hù)的身體和手部動(dòng)作

　　在“inside-out”的位置追蹤解決方案中，安裝在用戶(hù)頭盔上的立體攝像頭(從用戶(hù)所在位置通過(guò)“inside-out”的方式朝向室內環(huán)境)捕獲安裝在手柄控制器上的LED標記來(lái)跟蹤用戶(hù)手部動(dòng)作，如圖5所示。安裝在用戶(hù)頭盔攝像頭單元內的FPGA基于立體攝像頭數據來(lái)計算用戶(hù)的手部動(dòng)作，然后將數據發(fā)送到頭盔中的移動(dòng)應用處理器，最終通過(guò)AR/VR應用呈現出來(lái)。

　　圖5：使用立體攝像頭(安裝在用戶(hù)頭盔上)的“inside-out”位置追蹤，通過(guò)捕獲安裝在手柄控制器上的LED標記來(lái)跟蹤用戶(hù)手部動(dòng)作

　　雖然“outside-in”和“inside-out”這兩種追蹤解決方案都能實(shí)現沉浸式體驗，但“outside-in”系統可以提供更卓越的沉浸感，因為它還可以通過(guò)頭盔上的LED標記跟蹤身體運動(dòng)(如步行、跑步、蹲、跳等) ，將現實(shí)世界中的身體運動(dòng)映射到虛擬世界中。

　　在這兩個(gè)系統中，用戶(hù)的運動(dòng)信息需要以極低的延遲立刻呈現在虛擬世界中，實(shí)現最為逼真的用戶(hù)體驗。ECP5 FPGA的并行處理能力是實(shí)現低延遲傳輸的關(guān)鍵。此外，它的低功耗和小尺寸封裝特性也是實(shí)現暢行無(wú)阻的移動(dòng)體驗的關(guān)鍵之所在。

　　為汽車(chē)ADAS系統實(shí)現協(xié)處理和橋接解決方案

　　汽車(chē)市場(chǎng)對視覺(jué)處理和互連解決方案的需求正在大幅增長(cháng)。市場(chǎng)研究公司IC Insights的分析師預計，隨著(zhù)在新一代汽車(chē)設計中要求使用后置攝像頭的新規定施行以及在汽車(chē)設計中引入攝像頭以取代兩側后視鏡、實(shí)現盲點(diǎn)檢測和車(chē)道跟蹤功能的發(fā)展趨勢，CMOS圖像傳感器將在2015年至2020年間隨著(zhù)汽車(chē)領(lǐng)域中全新應用的興起將以55%的復合年增長(cháng)率實(shí)現增長(cháng)。

　　在這個(gè)快速成長(cháng)的市場(chǎng)中，汽車(chē)設計工程師所需的解決方案不僅要能夠實(shí)現預處理和后處理功能，還要能夠為高級駕駛輔助系統(ADAS)和信息娛樂(lè )應用構建優(yōu)化的互連解決方案。隨著(zhù)汽車(chē)制造商開(kāi)發(fā)的ADAS系統日趨復雜，設計工程師面臨著(zhù)兩大挑戰。第一個(gè)挑戰是如何解決攝像頭數量不斷增長(cháng)帶來(lái)的接口問(wèn)題?大多數現代處理器僅具備兩個(gè)攝像頭接口，而很多ADAS系統需要多達8個(gè)攝像頭才能滿(mǎn)足不斷發(fā)展的自動(dòng)駕駛技術(shù)要求。第二個(gè)挑戰是設計工程師要如何基于來(lái)自上述攝像頭的大量數據進(jìn)行圖像處理?

　　為了應對這些挑戰，設計工程師需要一種能夠提供協(xié)處理資源的解決方案，可將來(lái)自多個(gè)攝像頭的多路視頻流拼接在一起，或對來(lái)自多個(gè)攝像頭的輸入進(jìn)行圖像處理(如白平衡、魚(yú)眼校正、除霧)，然后將這些數據通過(guò)單個(gè)數據流傳輸到應用處理器。汽車(chē)設計工程師還需要能夠靈活地操作儀表板、儀表盤(pán)以及后座信息娛樂(lè )系統的的多個(gè)顯示屏，以及在傳統接口和新的MIPI接口之間實(shí)現橋接。

　　萊迪思汽車(chē)級ECP5 FPGA(AEC-Q100)可為這些應用提供用于加速圖像處理流水線(xiàn)所需的并行處理能力，而大量的I/O則可用于連接到更大的攝像頭陣列。能夠反映這種趨勢的一個(gè)實(shí)例就是現在越來(lái)越多的汽車(chē)都具備鳥(niǎo)瞰功能。一般來(lái)說(shuō)，鳥(niǎo)瞰功能是指從汽車(chē)上方20英尺處向下看的實(shí)時(shí)視頻圖像。ADAS系統通過(guò)將來(lái)自4個(gè)或更多攝像頭的數據拼接在一起實(shí)現寬視野(FoV)來(lái)實(shí)現上述功能。

　　一直以來(lái)，設計工程師都是使用單個(gè)處理器來(lái)處理來(lái)自單個(gè)攝像頭的圖像數據?，F在，設計工程師可以使用單個(gè)ECP5 FPGA替代多個(gè)處理器，聚合來(lái)自多個(gè)攝像頭的數據，并進(jìn)行圖像拼接、魚(yú)眼去除、白平衡、HDR調整等操作以盡可能提高圖像質(zhì)量，然后將高質(zhì)量圖像發(fā)送到處理器進(jìn)行下一個(gè)步驟。使用這種方法的設計工程師可以在獲得更高性能的同時(shí)降低成本和功耗。

　　圖6展示了萊迪思客戶(hù)如何構建上文中提到的解決方案。該鳥(niǎo)瞰系統從安裝在汽車(chē)四周的攝像頭(前方、后方和兩側)捕獲視頻圖像。ECP5 FPGA用于對視頻數據繼續進(jìn)行處理和拼接以提供360度視野。在這種情況下，一片FPGA即可替代多個(gè)ARM處理器。該系統最終呈現的是清晰的1080p 60 fps視頻。除ECP5 FPGA之外，該方案僅使用了一個(gè)低端ARM處理器用于初始校準和視頻編碼/記錄功能。

　　圖6：展示了開(kāi)發(fā)工程師如何使用單個(gè)ECP5 FPGA實(shí)現從前需要使用多個(gè)ARM處理器的鳥(niǎo)瞰系統

　　圖7：展示了ECP5 FPGA使用來(lái)自4個(gè)攝像頭的圖像輸入實(shí)現的360度全景視野

　　FPGA可在汽車(chē)設計中扮演的另一個(gè)重要角色是構建傳統接口與越來(lái)越流行的MIPI攝像頭和顯示屏之間的低成本橋接解決方案。

　　圖8：在車(chē)載信息娛樂(lè )系統中，ECP5 FPGA可用于預處理和后處理功能，并實(shí)現應用處理器和顯示屏之間的視頻橋接

　　例如，在圖8的框圖中，ECP5 FPGA位于應用處理器或SoC與一個(gè)或多個(gè)汽車(chē)顯示屏之間，用于預處理和后處理功能，并實(shí)現DSI或FPD-Link接口應用處理器與Open LDI、LVDS、FPD-Link或eDP接口顯示屏之間的橋接。FPGA還可用于多種其他信息娛樂(lè )應用，包括分別將單個(gè)視頻輸出到雙后座顯示屏，對圖像進(jìn)行裁剪和格式化以獲得特定的視頻分辨率。

　　ECP5的豐富處理資源也為實(shí)現各種傳感器橋接、聚合和協(xié)處理解決方案奠定了基礎。如圖9所示，ECP5 FPGA用于控制和聚合來(lái)自多種傳感器數據的智能中心。通過(guò)對傳感器數據進(jìn)行預處理和后處理以及實(shí)現I2C管理功能和SPI接口，FPGA可以顯著(zhù)降低應用處理器的計算負載。

　　圖9：ECP5 FPGA實(shí)現數據橋接和智能中心，用于控制和聚合多種類(lèi)型的傳感器

　　另一個(gè)橋接、聚合和協(xié)處理解決方案實(shí)例則使用萊迪思汽車(chē)級FPGA的3.2 Gbps SERDES功能聚合來(lái)自多個(gè)雷達或攝像頭的數據，并通過(guò)BroadR-Reach或以太網(wǎng)等汽車(chē)內部網(wǎng)絡(luò )傳輸。在圖10中，來(lái)自多個(gè)傳感器的數據通過(guò)LVDS接口傳輸到ECP5 FPGA，然后ECP5 FPGA對數據進(jìn)行聚合和打包，通過(guò)基于SERDES的SGMII接口傳輸到汽車(chē)內部網(wǎng)絡(luò )。

　　圖10：汽車(chē)級ECP5 FPGA的LVDS和3.2 Gbps SERDES功能用于實(shí)現多個(gè)雷達或攝像頭的橋接和聚合，并通過(guò)SGMII傳輸到車(chē)載網(wǎng)絡(luò )

　　實(shí)現網(wǎng)絡(luò )邊緣機器學(xué)習應用

　　展望未來(lái)，移動(dòng)相關(guān)解決方案的影響力將不斷增長(cháng)，它們將繼續利用移動(dòng)處理器和MIPI傳感器和顯示屏的應用支持和規模制造優(yōu)勢為網(wǎng)絡(luò )邊緣實(shí)現智能功能。市場(chǎng)上對于部署人工智能(AI)、神經(jīng)網(wǎng)絡(luò )和機器學(xué)習來(lái)實(shí)現上述目標的需求在不斷增長(cháng)。

　　在機器學(xué)習應用領(lǐng)域，用于進(jìn)行圖像識別的神經(jīng)網(wǎng)絡(luò )經(jīng)過(guò)訓練之后可以識別貓的圖像，舉個(gè)例子，通過(guò)向神經(jīng)網(wǎng)絡(luò )投喂數以千計的圖像并分配輸入圖像的權重直至神經(jīng)網(wǎng)絡(luò )能夠正確識別貓的圖像。開(kāi)發(fā)數據架構和分配權重可能需要數TB的數據和大量的計算資源。因此，基于深度學(xué)習技術(shù)的機器學(xué)習應用的訓練步驟放在使用高端GPU和FPGA的數據中心，只有在數據中心海量的計算需求才能得以滿(mǎn)足。

　　模型經(jīng)過(guò)訓練之后，它將被移植到網(wǎng)絡(luò )邊緣應用中的嵌入式系統，然后為圖像識別或語(yǔ)音識別等應用實(shí)現推理功能。在網(wǎng)絡(luò )邊緣應用領(lǐng)域，設備必須通過(guò)計算更快速、更高效地做出決定。因此，設計工程師需要將神經(jīng)網(wǎng)絡(luò )在“訓練”階段學(xué)到的經(jīng)驗教訓應用到新數據，進(jìn)行“推理”得出結果。為了在網(wǎng)絡(luò )邊緣應用領(lǐng)域實(shí)現推理功能，理想的解決方案要能夠提供計算效率高的平臺，并且滿(mǎn)足功耗、尺寸和成本的嚴苛要求。

　　當今業(yè)界和學(xué)界的都認為機器學(xué)習需要高度專(zhuān)業(yè)化的硬件加速解決方案。但是，相關(guān)要求也會(huì )根據任務(wù)的不同而發(fā)生變化。例如，訓練和推理可能需要不同的硬件。致力于訓練應用的硬件設計工程師通常使用32位浮點(diǎn)運算來(lái)進(jìn)行精度非常高的計算。而另一方面，致力于網(wǎng)絡(luò )邊緣應用領(lǐng)域推理功能的硬件設計工程師對于靈活性的需求要大于精確度，以便獲得更高的處理速度或更低的功耗。事實(shí)上，最近的研究表明，對于許多應用來(lái)說(shuō)定點(diǎn)與浮點(diǎn)解決方案在推理精度方面幾乎相同，而且前者功耗更低。

　　憑借豐富的嵌入式DSP資源、FPGA與生俱來(lái)的并行處理架構以及在功耗、尺寸和成本方面的顯著(zhù)領(lǐng)先優(yōu)勢，ECP5 FPGA是滿(mǎn)足新興AI市場(chǎng)上多元需求的理想選擇。例如，ECP5 FPGA中的DSP能夠以相比GPU浮點(diǎn)運算更低的功耗/MHz來(lái)進(jìn)行定點(diǎn)運算。這些特性為功耗要求嚴苛的網(wǎng)絡(luò )邊緣智能解決方案開(kāi)發(fā)者提供了極具吸引力的優(yōu)勢。圖11展示了一個(gè)實(shí)例，其中ECP5 FPGA用于實(shí)現推理加速器，對來(lái)自攝像頭的數據運行預先訓練好的卷積神經(jīng)網(wǎng)絡(luò )(CNN)進(jìn)行處理。運行在FPGA上的CNN引擎識別物體或人臉，并將結果發(fā)送到系統CPU，從而實(shí)現快速、低功耗的物體/面部識別功能。

　　圖11：ECP5 FPGA為網(wǎng)絡(luò )邊緣智能應用實(shí)現卷積神經(jīng)網(wǎng)絡(luò )(CNN)加速器，從而實(shí)現物體/人臉識別功能

　　圖12中的框圖展示了實(shí)時(shí)人臉跟蹤神經(jīng)網(wǎng)絡(luò )加速演示，在擁有85K LUT的ECP5-85 FPGA上運行時(shí)功耗僅為0.85 W。

　　圖12：攝像頭捕獲的實(shí)時(shí)圖像數據被輸入到FPGA，FPGA確定人臉圖像并輸出結果，最后人臉圖像在顯示屏上高亮顯示

　　基于FPGA實(shí)現的設計使得設計工程師能夠靈活地實(shí)現向上或向下擴展，以滿(mǎn)足終端系統中功耗與性能的平衡。在上面的實(shí)例中，基于更小尺寸的85K LUT FPGA的設計可以通過(guò)平衡性能和其他參數(例如降低幀速率、減小輸入圖像的幀大小或者減少用于神經(jīng)網(wǎng)絡(luò )的權重和激活值)來(lái)實(shí)現，從而進(jìn)一步降低功耗。

　　此外，FPGA的可重新編程特性使得設計工程師能夠滿(mǎn)足快速變化的市場(chǎng)需求。隨著(zhù)算法的發(fā)展，用戶(hù)可以通過(guò)軟件輕松快速地更新硬件。這是GPU或ASIC無(wú)法企及的功能。

　　上述演示是基于嵌入式視覺(jué)開(kāi)發(fā)套件(圖13)實(shí)現的，該套件是萊迪思嵌入式視覺(jué)解決方案系列的一部分，為開(kāi)發(fā)網(wǎng)絡(luò )邊緣嵌入式視覺(jué)解決方案提供了一個(gè)模塊化平臺。

　　圖13：采用ECP5 FPGA、CrossLink FPGA和HDMI ASSP的萊迪思嵌入式視覺(jué)開(kāi)發(fā)套件

　　總結

　　當今的設計工程師需要不斷尋求新的途徑來(lái)降低設計的成本、功耗和尺寸，同時(shí)為網(wǎng)絡(luò )邊緣應用領(lǐng)域實(shí)現更多智能功能。與此同時(shí)，他們要跟上網(wǎng)絡(luò )邊緣應用領(lǐng)域中新一代傳感器和顯示屏快速發(fā)展帶來(lái)的性能和接口要求。萊迪思ECP5 FPGA系列能夠為設計工程師提供兩全其美的解決方案。ECP5 FPGA提供卓越的處理能力(高達85K LUT)和業(yè)界最小封裝(10x10 mm)，并帶有SERDES，能夠為設計工程師提供所需的協(xié)處理和互連資源。同時(shí)該產(chǎn)品系列的成本和功耗都比競品更低，能夠為開(kāi)發(fā)工程師帶來(lái)領(lǐng)先優(yōu)勢。