嵌入式視覺(jué)和網(wǎng)絡(luò )邊緣智能應用市場(chǎng)前景愈加明朗

　　十年前，嵌入式視覺(jué)技術(shù)主要用于比較少見(jiàn)、高度專(zhuān)業(yè)化的應用。今天，設計工程師們在越來(lái)越多新興的工業(yè)、汽車(chē)和消費電子應用中為視覺(jué)應用找到了用武之地。制造商一直以來(lái)都依賴(lài)于工業(yè)應用中的機器視覺(jué)系統，但隨著(zhù)先進(jìn)機器人技術(shù)和機器學(xué)習技術(shù)的涌現以及向工業(yè)4.0制造模式的轉變，嵌入式視覺(jué)應用的疆土在逐步擴大?，F代汽車(chē)采用的電子產(chǎn)品，尤其是高級駕駛輔助系統(ADAS)和車(chē)載信息娛樂(lè )系統的快速發(fā)展也為嵌入式視頻應用帶來(lái)了契機。無(wú)人機、游戲系統、監控和安防等消費電子解決方案的開(kāi)發(fā)工程師看到了嵌入式視覺(jué)技術(shù)的優(yōu)勢。隨著(zhù)網(wǎng)絡(luò )邊緣應用領(lǐng)域對智能功能的需求不斷上升，新興的AI解決方案將越來(lái)越依賴(lài)于嵌入式視覺(jué)技術(shù)。

　　我們已經(jīng)可以看到許多改變。首先，對于快速部署低成本嵌入式視覺(jué)解決方案而言至關(guān)重要的許多關(guān)鍵組件和工具終于面世了。如今，設計工程師可以從各種成本較低的處理器中進(jìn)行選擇，這些處理器具備小尺寸、高性能、低功耗的特性。同時(shí)，得益于快速增長(cháng)的移動(dòng)市場(chǎng)，設計工程師得以從攝像頭和傳感器的普及中受益。與此同時(shí)，軟件和硬件工具的改進(jìn)有助于簡(jiǎn)化開(kāi)發(fā)并加速上市進(jìn)程。本文將探討如何使用嵌入式視覺(jué)技術(shù)、采用嵌入式視覺(jué)技術(shù)的理由以及近期哪些應用最有希望采用嵌入式視覺(jué)技術(shù)。

　　更強處理能力

　　根據定義，嵌入式視覺(jué)系統實(shí)際上涵蓋了執行圖像信號處理算法或視覺(jué)系統控制軟件的任何設備或系統。智能視覺(jué)系統中的關(guān)鍵部分是進(jìn)行實(shí)時(shí)高清數字視頻流處理的高性能計算引擎、大容量固態(tài)存儲、智能攝像頭或傳感器以及高級分析算法。這些系統中的處理器可以執行圖像采集、鏡頭校正、圖像預處理和分割、目標分析以及各種啟發(fā)式(heuristics)功能。嵌入式視覺(jué)系統設計工程師采用各種處理器，包括專(zhuān)為視覺(jué)應用設計的通用CPU、圖象處理單元(GPU)、數字信號處理器(DSP)、現場(chǎng)可編程門(mén)陣列(FPGA)和專(zhuān)用標準產(chǎn)品(ASSP)。上述處理器架構具備明顯的優(yōu)勢和短板。在許多情況下，設計工程師將多種處理器整合到一個(gè)異構計算環(huán)境中。有時(shí)候，處理器則被集成到一個(gè)組件中。此外，一些處理器使用專(zhuān)用硬件來(lái)盡可能實(shí)現最高的視覺(jué)算法性能。諸如FPGA之類(lèi)的可編程平臺為設計工程師提供了高度并行的計算密集型應用架構以及用于I/O擴展等其他應用的資源。

　　在攝像頭方面，嵌入式視覺(jué)系統設計工程師使用模擬攝像頭和數字圖像傳感器。數字圖像傳感器通常是需要可見(jiàn)光環(huán)境的CCD或CMOS傳感器陣列。嵌入式視覺(jué)系統也可用于感測其他數據，如紅外、超聲波、雷達和激光雷達。

　　越來(lái)越多的設計工程師開(kāi)始轉向采用攝像頭或各種傳感器的“智能攝像頭”作為視覺(jué)系統中所有邊緣電子設備的核心。其他系統將傳感器數據傳輸到云端以減少系統處理器的負載，在這個(gè)過(guò)程中系統功耗、占用空間和成本降至最低。但是，當需要基于圖像傳感器數據進(jìn)行低延遲的關(guān)鍵決策時(shí)，這種方法將面臨問(wèn)題。

　　利用移動(dòng)優(yōu)勢

　　盡管嵌入式視覺(jué)解決方案早已面市多年，但該技術(shù)的發(fā)展速度受到了很多因素的限制。首先也是最重要的是，這項技術(shù)的關(guān)鍵要素仍沒(méi)有能夠以低成本的方式實(shí)現。特別是能夠實(shí)時(shí)處理高清數字視頻流的計算引擎尚未普及。高容量固態(tài)存儲和高級分析算法的限制也帶來(lái)了挑戰。

　　最近市場(chǎng)上的三種發(fā)展趨勢有望徹底改變嵌入式視覺(jué)系統的面貌。首先，移動(dòng)市場(chǎng)的高速發(fā)展為嵌入式視覺(jué)設計工程師提供了海量的處理器可選方案，能夠以低功耗提供相對較高的性能。其次，MIPI聯(lián)盟推出的移動(dòng)行業(yè)處理器接口(MIPI)能夠為設計工程師提供替代方案，使用符合標準的硬件和軟件組件來(lái)構建創(chuàng )新且具有成本效益的嵌入式視覺(jué)解決方案。最后，針對移動(dòng)應用的低成本傳感器和攝像頭的激增，幫助嵌入式視覺(jué)系統設計工程師實(shí)現更好的解決方案并降低成本。

　　工業(yè)應用

　　工業(yè)應用領(lǐng)域中的機器視覺(jué)系統一直以來(lái)都是嵌入式視覺(jué)領(lǐng)域最有前景的應用方向之一。機器視覺(jué)技術(shù)是其中最成熟和數量最多的應用。它被廣泛用于制造過(guò)程和質(zhì)量管理應用。通常，這些應用領(lǐng)域中的制造商采用由一個(gè)或多個(gè)智能攝像頭與處理器模塊組成的緊湊型視覺(jué)系統。Transparency Market Research的分析師預測，機器視覺(jué)市場(chǎng)將從2014年的157億美元增長(cháng)至285億美元(2021年)。

　　今天，設計工程師為這項技術(shù)找到很多潛力無(wú)限的全新應用領(lǐng)域。例如，圖1中的機器視覺(jué)智能攝像頭非常適合用于監控生產(chǎn)線(xiàn)上的制造設備。設計工程師可以使用FPGA實(shí)現圖像傳感器橋接，用作一個(gè)完整的攝像頭圖像信號處理流水線(xiàn)(ISP)，以及提供GeVision或USB Vision等互連解決方案。

　　圖1：機器視覺(jué)智能攝像頭中的FPGA

　　另一個(gè)例子是基于FPGA的視頻采集卡(圖2)，它聚合了來(lái)自多個(gè)攝像頭的數據，并進(jìn)行圖像預處理，然后通過(guò)PCIe接口將數據發(fā)送到主處理器。

　　圖2：視頻采集卡

　　隨著(zhù)越來(lái)越多的制造商采用工業(yè)4.0模式，工業(yè)市場(chǎng)對視覺(jué)系統的需求也將越來(lái)越大。在這個(gè)新時(shí)代，制造商將把先進(jìn)的機器人、機器學(xué)習、3D深度測繪和工業(yè)物聯(lián)網(wǎng)(IIoT)整合到一起以提高組織和生產(chǎn)能力。在2011年發(fā)布的一篇題為“工業(yè)4.0--未來(lái)智能制造”的文章中首次提出，工業(yè)4.0代表了工業(yè)革命歷史上的第四個(gè)階段。2012年，工業(yè)4.0工作組向德國聯(lián)邦政府提出了一套實(shí)施建議。

　　工業(yè)革命的第一階段工業(yè)1.0在制造業(yè)中引入了水和蒸汽動(dòng)力機械。勞動(dòng)分工環(huán)境下首次出現的電力驅動(dòng)批量生產(chǎn)技術(shù)奠定了工業(yè)2.0的基礎。工業(yè)的第三個(gè)時(shí)代從采用計算機開(kāi)始，初次涉足自動(dòng)化領(lǐng)域，在裝配線(xiàn)上用自動(dòng)化機器逐漸取代人類(lèi)。

　　今天，制造商期望工業(yè)4.0能夠幫助他們實(shí)現又一次的飛躍，進(jìn)一步提高生產(chǎn)力。在“智慧工廠(chǎng)”這個(gè)概念的驅動(dòng)下，工業(yè)4.0將引入物理網(wǎng)絡(luò )系統來(lái)監控智能工廠(chǎng)的生產(chǎn)過(guò)程并實(shí)現分權決策。這種模式將通過(guò)整合大數據與分析、IT與物聯(lián)網(wǎng)融合、機器人技術(shù)的最新進(jìn)展以及數字供應鏈的迭代發(fā)展等理念推動(dòng)行業(yè)向著(zhù)數字化轉型。最后，通過(guò)互聯(lián)網(wǎng)，這些物理系統將實(shí)現系統交互和人機交互，成為工業(yè)物聯(lián)網(wǎng)(IIoT)的一部分。

　　一個(gè)工業(yè)4.0智慧工廠(chǎng)將會(huì )是什么樣子?首先，它將為機器、設備、傳感器和人員提供廣泛的互操作性和高水平的通信能力。其次，它將具有很高的信息透明度，系統通過(guò)傳感器數據創(chuàng )建物理世界的虛擬映射，使得信息情境化。第三，智能工廠(chǎng)的決策行為將高度分散，物理網(wǎng)絡(luò )系統盡可能自主運行。第四，這些工廠(chǎng)將提供高水平的技術(shù)援助，系統可以幫助彼此解決問(wèn)題、做出決策并幫助人類(lèi)完成太難或危險的任務(wù)。幾乎在所有情況下，制造商都將比以往更依賴(lài)嵌入式視覺(jué)系統。

　　當然，采用這種新模式的制造商也將面臨諸多挑戰。他們必須要開(kāi)發(fā)可靠性極高和延遲極低的嵌入式視覺(jué)系統以確保物理網(wǎng)絡(luò )通信的正常工作。工業(yè)4.0將迫使制造商保持生產(chǎn)過(guò)程的完整性，同時(shí)減少人為監管。當他們在部署這些新系統時(shí)會(huì )面臨資深人員不足的問(wèn)題。但好處遠遠超過(guò)了挑戰。工業(yè)4.0將會(huì )大幅提升危險工作環(huán)境中工作人員的健康和安全保障。來(lái)自制造過(guò)程中各個(gè)層面的數據可幫助制造商能夠更簡(jiǎn)單有效地控制其供應鏈。

　　汽車(chē)應用

　　鑒于汽車(chē)領(lǐng)域中電子應用的迅速增長(cháng)，汽車(chē)市場(chǎng)無(wú)疑是嵌入式視覺(jué)應用最有潛力的發(fā)展領(lǐng)域。高級駕駛輔助系統和信息娛樂(lè )功能的推出有望快速推動(dòng)相關(guān)市場(chǎng)的增長(cháng)。Research and Markets.com的分析師預測，2016年至2021年間，ADAS市場(chǎng)將以10.44%的復合年增長(cháng)率增長(cháng)。這些應用中最常用的嵌入式視覺(jué)產(chǎn)品是攝像頭模塊。供應商要么自己開(kāi)發(fā)分析工具和算法，要么采用來(lái)自外部開(kāi)發(fā)工程師的第三方IP。新興的汽車(chē)應用領(lǐng)域之一是駕駛員監控系統，該系統使用視覺(jué)應用追蹤駕駛員頭部和身體動(dòng)作以進(jìn)行疲勞狀態(tài)識別。另一個(gè)是視覺(jué)系統，通過(guò)監測看短信或飲食等潛在的駕駛員分心因素提高車(chē)輛操作安全。

　　但是汽車(chē)中的視覺(jué)系統可以做的遠不止是監控車(chē)內發(fā)生的事情。從2018年起，有一些國家的法規將要求新車(chē)必須配備后視攝像頭，以幫助司機看到車(chē)輛后方的情況。像車(chē)道偏離預警系統這樣的新應用將視頻和車(chē)道檢測算法結合起來(lái)，以評估汽車(chē)的位置。此外，市場(chǎng)需求也推動(dòng)了閱讀警示標志、撞擊緩沖、盲點(diǎn)檢測、自動(dòng)泊車(chē)、倒車(chē)輔助等功能的發(fā)展。所有這些功能都有助于讓駕駛變得更安全。

　　汽車(chē)視覺(jué)和傳感系統的發(fā)展為實(shí)現真正的自動(dòng)駕駛奠定了基礎。例如，凱迪拉克將在2018年將其嵌入式視覺(jué)子系統集成到CT6轎車(chē)中，以實(shí)現業(yè)界首款解放雙手的駕駛技術(shù)SuperCruise。通過(guò)不斷分析駕駛員和道路情況，精確的LIDAR數據庫提供道路情況，而先進(jìn)的攝像頭、傳感器和GPS實(shí)時(shí)反應道路的動(dòng)態(tài)狀況細節，這項新技術(shù)將使駕駛變得更加安全?？傮w而言，汽車(chē)制造商已經(jīng)形成了一致的想法，即現代車(chē)輛中的ADAS系統將需要前置攝像頭進(jìn)行車(chē)道檢測、行人檢測、交通標志識別和緊急制動(dòng)功能。同時(shí)還需要側面和后面的攝像頭來(lái)支持停車(chē)輔助、盲點(diǎn)檢測和交叉車(chē)流警報功能。

　　汽車(chē)制造商面臨的一個(gè)挑戰是現有電子設備中的I/O數量有限。目前主流處理器僅具備兩個(gè)攝像頭接口。然而，許多ADAS系統需要多達8臺攝像頭才能滿(mǎn)足圖像質(zhì)量要求。設計工程師需要的解決方案要能夠為他們提供協(xié)同處理資源，將來(lái)自多個(gè)攝像頭的視頻流拼接在一起，或基于攝像頭輸入執行圖像處理功能，如白平衡、魚(yú)眼校正和除霧等，并通過(guò)單個(gè)數據流將數據發(fā)送到應用處理器(AP)。例如，許多汽車(chē)制造商提供的ADAS系統中都具備鳥(niǎo)瞰視圖功能，駕駛員可以看到車(chē)輛上方20英尺處向下的現場(chǎng)視頻。ADAS系統通過(guò)將來(lái)自4個(gè)或更多攝像頭的數據拼接為寬視野圖像實(shí)現這一功能。

　　以前，設計工程師在驅動(dòng)每個(gè)顯示屏時(shí)都要使用一個(gè)處理器。而現在，設計工程師可以使用單個(gè)FPGA替代多個(gè)處理器，聚合所有攝像頭數據，將圖像拼接在一起，執行預處理和后處理功能，并將圖像發(fā)送到系統處理器。圖3展示了360度鳥(niǎo)瞰汽車(chē)攝像系統的簡(jiǎn)化架構，該系統從位于汽車(chē)周?chē)?個(gè)攝像頭(前方、后方和兩側)收集數據。系統使用單個(gè)FPGA進(jìn)行各種預處理和后處理功能以及視頻數據拼接，提供顯示車(chē)輛周?chē)h(huán)境的360度視圖。在這種情況下，單個(gè)FPGA將取代多個(gè)處理器。

　　圖3：車(chē)輛360度鳥(niǎo)瞰攝像系統

　　消費電子應用

　　無(wú)人機、增強現實(shí)/虛擬現實(shí)(AR / VR)和其他消費電子應用為嵌入式視覺(jué)解決方案開(kāi)發(fā)者提供了巨大的機遇。今天，無(wú)人機設計工程師已經(jīng)知道同步無(wú)人機上的6個(gè)或更多攝像頭以創(chuàng )建全景視圖比構建采用2個(gè)攝像頭并將其移動(dòng)180度的機械解決方案更便宜。同樣，AR / VR設計工程師將單個(gè)視頻流進(jìn)行快速轉化并將內容分割為雙視頻流輸出。他們充分利用低成本移動(dòng)相關(guān)技術(shù)的優(yōu)勢，使用兩個(gè)MIPI DSI顯示屏，每個(gè)顯示屏對準用戶(hù)的一只眼睛，實(shí)現低延遲、低功耗，增強深度感，為用戶(hù)提供更加身臨其境的體驗(圖4)。

　　圖4：基于FPGA的虛擬現實(shí)系統

　　隨著(zhù)游戲機行業(yè)的不斷發(fā)展，傳統的游戲控制器將被圖像傳感器和視頻分析器所取代，通過(guò)檢測身體動(dòng)作和面部表情來(lái)控制游戲。預計這些智能控制器將逐漸引入到其他消費電子產(chǎn)品中，如電視機、個(gè)人電腦、智能手機和平板電腦。此外，智能家居應用(如照明、加熱和空調設備)可能會(huì )采用類(lèi)似的功能并添加圖像傳感器。最終這些攝像頭將取代傳統物理控制器。

　　總結

　　不久之前，嵌入式視覺(jué)技術(shù)還在很大程度上受到組件性能的限制。智能視覺(jué)解決方案中的許多關(guān)鍵組件，特別是實(shí)時(shí)處理高清數字視頻所需的計算引擎，價(jià)格高昂超出可接受的范圍。那些日子已經(jīng)一去不復返了!隨著(zhù)移動(dòng)處理器的發(fā)展，低功耗FPGA和ASSP的出現，MIPI接口標準的推廣以及低成本攝像頭和傳感器的普及，設計工程師可將曾經(jīng)高度專(zhuān)業(yè)化的技術(shù)應用到智能工廠(chǎng)自動(dòng)化、汽車(chē)電子和消費電子領(lǐng)域。顯然嵌入式視覺(jué)技術(shù)將在這里發(fā)揮十分重要的作用。

　　題外話(huà)：

　　如何加速產(chǎn)品的上市進(jìn)程

　　對于快速發(fā)展的嵌入式視覺(jué)市場(chǎng)而言，有一點(diǎn)勿庸置疑：競爭將會(huì )源源不斷。對于那些希望快速進(jìn)行開(kāi)發(fā)的設計工程師來(lái)說(shuō)，萊迪思半導體為嵌入式視覺(jué)解決方案提供了一個(gè)易于使用的快速原型設計開(kāi)發(fā)平臺。該嵌入式視覺(jué)開(kāi)發(fā)工具套件包括一個(gè)由三塊開(kāi)發(fā)板組成的模塊化平臺，其中包括CrossLink VIP輸入橋接板、ECP5 VIP處理器板以及HDMI VIP輸出橋接板 。

　　CrossLink VIP輸入橋接板提供2個(gè)用于連接索尼IMX高清攝像頭傳感器的MIPI CSI-2接口。ECP5 VIP處理器板包含一片ECP5 FPGA，專(zhuān)為預處理和后處理進(jìn)行了優(yōu)化。該處理器板還通過(guò)NanoVestor連接器與Helion Vision的高清(HD)圖像信號處理(ISP)IP支持外部圖像傳感器視頻輸入。憑借Sil1136 IC，HDMI VIP輸出板可連接標準HDMI顯示器。

　　上述由三塊開(kāi)發(fā)板組成的開(kāi)發(fā)平臺提供了開(kāi)發(fā)機器人、無(wú)人機、ADAS、智能監控和AV / VR系統等應用所需的設計靈活性和低功耗特性。該套件已預先內置雙CSI-2至HDMI演示。CrossLink橋接器件接收兩路攝像頭輸入信號，并將它們合并成單個(gè)數據流，然后通過(guò)并行接口將數據發(fā)送到ECP5 FPGA。ECP5-85 FPGA接收輸入圖像數據，并在將數據發(fā)送到HDMI輸出板之前執行基本的圖像處理功能。然后輸出板將數據轉換為HDMI格式并將圖像呈現到標準顯示屏上。