神經(jīng)網(wǎng)絡(luò )會(huì )成為機器視覺(jué)的未來(lái)趨勢嗎?

什么是神經(jīng)網(wǎng)絡(luò )?為什么它會(huì )成為工業(yè)圖像處理系統的熱點(diǎn)話(huà)題?因為神經(jīng)網(wǎng)絡(luò )不僅使開(kāi)發(fā)人員從復雜的差異化標準界定程序中解脫出來(lái)，還能夠自主識別并學(xué)習這一標準，并將這一“能力”應用于精確的任務(wù)中。但神經(jīng)網(wǎng)絡(luò )并不能保持持續可靠地運作，也無(wú)法主動(dòng)實(shí)現與時(shí)俱進(jìn)的更新。它們必須先接受專(zhuān)業(yè)且深入的培訓。本文詳細描述了應該如何進(jìn)行這一培訓，所需的準備工作以及與建立神經(jīng)網(wǎng)絡(luò )有關(guān)的各個(gè)開(kāi)發(fā)步驟。

1 簡(jiǎn)介

1.1 蘋(píng)果和梨

有人說(shuō)蘋(píng)果和桔子根本不具備可比性，而如果談及機器視覺(jué)系統的話(huà)，蘋(píng)果和梨這一組合似乎也找不到任何共同點(diǎn)。即便如此，我們仍然急切地需要能夠精確處理不同任務(wù)的系統，類(lèi)似能夠基于圖像數據區分兩種不同類(lèi)型水果的任務(wù)。

一般來(lái)說(shuō)，開(kāi)發(fā)人員總是會(huì )陷入“區分兩種水果需要基于怎樣的標準”這樣一個(gè)怪圈?？梢栽O想一個(gè)比較簡(jiǎn)單的區分方法：蘋(píng)果是淡紅色的，而梨是綠色的。這樣一來(lái)，設定的標準之一即與顏色相關(guān)的信息。但請記?。河行┨O(píng)果也是綠色的，比如當它們還未成熟時(shí)。因此如果將顏色視作唯一的區分標準，那么不成熟的蘋(píng)果也會(huì )被誤認為是梨。為確保更加精確的結果，增加一個(gè)衡量標準是很有必要的：比如形狀。蘋(píng)果通常更偏向于圓形，而梨則呈現比較細長(cháng)的橢圓形。

圖1：通過(guò)基于相機的機器視覺(jué)系統可視化呈現蘋(píng)果和梨的分類(lèi)結果。

在這個(gè)分類(lèi)示例中，對物體進(jìn)行區分顯然是比較簡(jiǎn)單的。制定這一區分標準(通常稱(chēng)為“特征識別”)并不難。那么當我們需要對不同種類(lèi)的蘋(píng)果進(jìn)行分類(lèi)時(shí)，又該怎么做呢?顏色和形狀在這種情況下已經(jīng)不足以成為區分不同蘋(píng)果的標準。在這個(gè)例子中，我們自定義(“手工定制”)的特征識別功能達到了極限。

針對不同對象的區分和分類(lèi)越困難，對于開(kāi)發(fā)人員來(lái)說(shuō)，設計出一種能夠自動(dòng)檢測出不同對象之間差別和特征的演算法就顯得愈加重要。

機器學(xué)習算法是前景非常廣闊的一種工具和解決方法，尤其是卷積神經(jīng)網(wǎng)絡(luò )(簡(jiǎn)稱(chēng)CNN)。卷積神經(jīng)網(wǎng)絡(luò )能夠自動(dòng)學(xué)習區分不同對象所需的標準。這使得它們不僅能夠勝任最棘手的分類(lèi)任務(wù)，同時(shí)也適用于靈活性極高的各種應用案例。

1.2 卷積神經(jīng)網(wǎng)絡(luò )(CNN)：成功案例

卷積神經(jīng)網(wǎng)絡(luò )并不是一個(gè)最近才出現的新概念。早在1968年，加拿大神經(jīng)生物學(xué)家David Hubel與瑞典神經(jīng)生理學(xué)家Torsten Wiesel針對貓科動(dòng)物視覺(jué)皮層進(jìn)行了合作研究。視覺(jué)皮層是大腦皮層中主要負責將視覺(jué)數據處理成可用信息的部分。因此他們的目標是尋求如何從大腦接受到眼睛所采集的視覺(jué)圖像信息(比如“我看到一個(gè)蘋(píng)果”)中，獲得目標對象有用信息方式的答案。這兩名研究人員給貓演示不同走向的光條，在這一過(guò)程中發(fā)現視覺(jué)皮層的不同細胞會(huì )根據光條的走向被激活并做出反應。他們同時(shí)還發(fā)現復雜的光線(xiàn)圖案，比如眼睛的形狀，能夠激活視覺(jué)皮層更深層部位的細胞。

通過(guò)Hubel和Wiesel的努力，最終研發(fā)出一個(gè)能夠演繹細胞激活和轉發(fā)特定圖像信息過(guò)程的模型。這也為計算機輔助圖像分類(lèi)建模奠定了基礎。

30年后，法國計算機科學(xué)家Yann LeCun再次為Hubel和Wiesel所取得的成就所激勵。他將視覺(jué)皮層功能的演繹疊加到一個(gè)演算中 -- 并從中成功創(chuàng )建出第一個(gè)卷積神經(jīng)網(wǎng)絡(luò )應用。

但即便如此，卷積神經(jīng)網(wǎng)絡(luò )在之后的很多年仍未能適用于實(shí)際操作和應用。其中最主要的原因是卷積神經(jīng)網(wǎng)絡(luò )需要投入大量的計算能力。使用串行技術(shù)處理數據的CPU處理器需要對數據記錄挨個(gè)進(jìn)行分析，意味著(zhù)在這一網(wǎng)絡(luò )能夠最終應用于工作之前需要花費多年時(shí)間。

直到圖形處理器單元(GPU)的出現，能夠對數據實(shí)現并行處理，卷積神經(jīng)網(wǎng)絡(luò )才再一次被人們記起 -- 實(shí)際上近年來(lái)卷積神經(jīng)網(wǎng)絡(luò )的發(fā)展已經(jīng)有了很大的起色。研究人員對卷積神經(jīng)網(wǎng)絡(luò )在筆記識別、醫療診斷、自動(dòng)駕駛車(chē)輛預警系統，機器人物體識別以及生物識別技術(shù)應用方面取得的巨大成功感到欣慰。與其它競爭性學(xué)習技術(shù)相比，卷積神經(jīng)網(wǎng)絡(luò )在具有挑戰性的應用中通常能夠產(chǎn)生更好的結果。包括Google、IBM、微軟和Facebook等大型企業(yè)所投資的數十億美元巨額資金無(wú)不表現出其對這一領(lǐng)域的極大興趣以及這一技術(shù)本身所具有的巨大潛力。

卷積神經(jīng)網(wǎng)絡(luò )不僅需要密集的處理器運作;同樣對數據有極大需求。對卷積神經(jīng)網(wǎng)絡(luò )進(jìn)行一次徹底培訓，需要輸入大量已經(jīng)分類(lèi)的圖像數據。目前開(kāi)發(fā)人員能夠自由訪(fǎng)問(wèn)與此相關(guān)的數據庫。最常用的圖像數據庫之一是ImageNet1。 它包含超過(guò)1400萬(wàn)幅分類(lèi)圖像。同時(shí)還有一系列針對具體分類(lèi)問(wèn)題而存在的專(zhuān)門(mén)數據庫。比如，一個(gè)名為德國交通標志識別基準的數據庫中就保存了5萬(wàn)余幅關(guān)于交通標志的圖像。在這一例子中，卷積神經(jīng)網(wǎng)絡(luò )在2012年測試中取得了高達99.46%的成功率 -- 超過(guò)人工分類(lèi)取得的98.84%。然而，在實(shí)踐過(guò)程中，開(kāi)發(fā)人員通常會(huì )面臨高度專(zhuān)業(yè)化的分類(lèi)問(wèn)題，因此無(wú)法獲取自己的圖像數據庫。但幸運的是，現在他們并不需要采集數百萬(wàn)張圖像。一項被稱(chēng)為“遷移學(xué)習”的技術(shù)小竅門(mén)能夠大大減少所需的圖像數量，有時(shí)甚至只需要幾百或幾千幅圖像。

軟件堆棧的主要部分都可以供開(kāi)發(fā)人員自由使用。目前已經(jīng)開(kāi)發(fā)出一系列適用于卷積神經(jīng)網(wǎng)絡(luò )的深度學(xué)習框架：包括Caffe，Torch和Theano在內的眾多軟件庫都是專(zhuān)為這一課題而研發(fā)。2015年11月，Google甚至為此開(kāi)放了內部機器學(xué)習軟件TensorFlow，這一軟件是從圖像搜索到Google Photo等多種Google產(chǎn)品的基本組成部分。

卷積神經(jīng)網(wǎng)絡(luò )同時(shí)也開(kāi)始在機器視覺(jué)應用領(lǐng)域中發(fā)揮越來(lái)越大的作用。根據2016年嵌入式視覺(jué)聯(lián)盟進(jìn)行的嵌入式視覺(jué)開(kāi)發(fā)者調查2，77%的受訪(fǎng)者表示目前正在或計劃將要利用神經(jīng)網(wǎng)絡(luò )來(lái)處理分類(lèi)工作。這一趨勢正在上升：于2015年3進(jìn)行的同一項調查顯示，僅61%的受訪(fǎng)者有此打算。2016年進(jìn)行的該項調查還發(fā)現，86%的卷積神經(jīng)網(wǎng)絡(luò )被用于分類(lèi)算法。這一結果表明，除了像Google或Facebook這樣擁有龐大規模和豐富資源的大公司之外，普通的公司也能夠自主研發(fā)基于卷積神經(jīng)網(wǎng)絡(luò )的產(chǎn)品或服務(wù)。

2 卷積神經(jīng)網(wǎng)絡(luò )開(kāi)發(fā)步驟

設想一下，作為工業(yè)級水果分選線(xiàn)的一部分，您確實(shí)需要將蘋(píng)果和梨子區分開(kāi)，此外還需要根據其質(zhì)量將不同的水果自動(dòng)分批。那么接下來(lái)將要經(jīng)過(guò)以下步驟：

1. 采集圖像數據

2. 卷積神經(jīng)網(wǎng)絡(luò )結構的設計

3. 執行自學(xué)習算法

4. 對培訓過(guò)的卷積神經(jīng)網(wǎng)絡(luò )進(jìn)行評估(并根據需要對步驟1、2、3進(jìn)行修改)

5. 訓練有素的卷積神經(jīng)網(wǎng)絡(luò )部署

下述文字將對各步驟進(jìn)行詳細介紹。

2.1 采集圖像數據

機器學(xué)習的基本原理(或者準確地說(shuō)是“監督式的機器學(xué)習”)涉及到如何利用大量示例教電腦識別待解決的問(wèn)題。對于水果分選線(xiàn)來(lái)說(shuō)，這將涉及到拍攝大量能夠顯示不同種類(lèi)、品質(zhì)和大小的蘋(píng)果和梨的圖像。同時(shí)，還必須記錄下關(guān)于每幅圖像最精確詳盡的描述，這意味著(zhù)所有三個(gè)屬性(見(jiàn)圖2)的具體值(“標簽”)。這將創(chuàng )建一組輸入/輸出對，并通過(guò)電腦視覺(jué)處理，相當于直接將其展示給“電腦的眼睛”，并由電腦指示哪幅圖像應該對應哪個(gè)回答(“Braeburn, Class I, Size M”)。

圖2：具有附加文本輸出的圖像數據。神經(jīng)網(wǎng)絡(luò )能夠利用這些輸入/輸出對學(xué)習區分。

在數據記錄過(guò)程中，非常重要的一點(diǎn)是需要在圖像上展示出需要測量的所有可能的屬性組合(在這種情況下指類(lèi)型、品質(zhì)和大小)。通常來(lái)說(shuō)，必須注意的是應用程序的視覺(jué)變化(不僅是水果的類(lèi)型，同時(shí)也包括不同的光源條件，圖像中水果的背景和位置等)在圖像樣本中也必須有所體現。從實(shí)際的角度來(lái)看，在最終的生產(chǎn)環(huán)境下、以完全相同的方式拍攝圖像是比較可取的做法。記錄每幅圖像中的水果類(lèi)型、品質(zhì)和大小等屬性這一任務(wù)應該由經(jīng)過(guò)培訓的專(zhuān)家進(jìn)行：只有實(shí)際的水果銷(xiāo)售者，而不是系統程序員，才有資格正確評估商品的質(zhì)量。

數據采集過(guò)程中產(chǎn)生的另外一個(gè)極其重要的問(wèn)題是所需圖像樣本的數量：可以想象，圖像差異越大，所需的樣本數量就越多。如介紹中所述，類(lèi)似ImageNet的應用程序可能在短時(shí)間內就需要上百萬(wàn)幅圖像。這樣的數據采集操作既不實(shí)際也不劃算，但是顯然還有其它的解決方式。與傳統的圖像處理系統一樣，可以在生產(chǎn)環(huán)境進(jìn)行更加嚴格的管控。此外，通過(guò)對已拍攝圖像的色調，圖像偏斜和縮放進(jìn)行系統改變，所采集的數據量同樣能夠被人工擴大(數據擴增)，并用于新的樣本中。當然也可以通過(guò)眾包方式與服務(wù)合作伙伴合作，以實(shí)現經(jīng)濟可行的數據采集。

2.2 卷積神經(jīng)網(wǎng)絡(luò )結構的設計

由于具備不同層次的各種功能，最頂尖的卷積神經(jīng)網(wǎng)絡(luò )技術(shù)得以脫穎而出。與老式的基礎多層感知器4不同，現有的網(wǎng)絡(luò )由一系列交替卷積層和匯聚層組成(見(jiàn)圖3)。

圖3：建立一個(gè)最頂尖的卷積神經(jīng)網(wǎng)絡(luò )。輸入(一幅圖像)可以通過(guò)輸出在一系列不同的層之間進(jìn)行處理。

卷積層通過(guò)進(jìn)行一項數學(xué)“卷積”操作將輸出圖像相鄰區域的像素值轉換為單個(gè)值。卷積運算類(lèi)似于特征檢測器，僅需查找圖像中的特定屬性(如識別水平定向邊緣)。匯聚層是在處理鏈中進(jìn)一步被建立起來(lái)的，它能夠總結用于較大圖像區域的特征檢測器的幅度。這些層形成了一個(gè)牢固的金字塔結構，產(chǎn)生了越來(lái)越多針對更大范圍的圖像區域進(jìn)行操作的專(zhuān)門(mén)的特征檢測器?；氐阶畛醯乃诌x線(xiàn)上來(lái)，可以設想網(wǎng)絡(luò )的第一層對應的是具有梨特征的斑點(diǎn)圖案;而相對的上一層則證實(shí)特定蘋(píng)果類(lèi)型的莖、陰影及上半部分的視覺(jué)一致性都能夠保證網(wǎng)絡(luò )最終計算出哪種水果類(lèi)型、品質(zhì)和大小是可見(jiàn)的)。

圖4：經(jīng)過(guò)培訓的網(wǎng)絡(luò )具有所謂的特征檢測器，使其能夠對圖像中的特定結構做出相應反應。當網(wǎng)絡(luò )的第一層更傾向于對具有梨特征的斑點(diǎn)圖案做出反應時(shí)，更高層則能夠對莖干和陰影的視覺(jué)一致性做出反應。

卷積神經(jīng)網(wǎng)絡(luò )的精確結構實(shí)際上是由開(kāi)發(fā)人員開(kāi)發(fā)出的網(wǎng)絡(luò )的變形，如AlexNet5、VGG Net6或GoogLeNet7。在這一過(guò)程中通常需要進(jìn)行必要的調整，因為特定的任務(wù)在輸入圖像的分辨率或可用的計算能力方面會(huì )有特定的要求。這些網(wǎng)絡(luò )是通過(guò)上述開(kāi)源深度學(xué)習框架被編程的，這些框架能夠提供包括卷積層在內的所有核心元素以作為軟件功能之一。根據要求，這需要一定程度的專(zhuān)業(yè)知識。一個(gè)初步的可行性研究通?？梢酝ㄟ^(guò)幾項定制內容來(lái)實(shí)現，而一個(gè)真正100%的最優(yōu)化解決方案則需要富有經(jīng)驗的專(zhuān)家高強度的工作才能實(shí)現。

2.3 執行自學(xué)習算法

一旦建立起卷積神經(jīng)網(wǎng)絡(luò )的數據和設計方案，就必須相應地執行一項所謂的自學(xué)習算法。以不同的變體形式，它將成為被部署的深度學(xué)習框架的一部分。這些算法均是基于反向傳播算法這一概念，其核心是一個(gè)(隨機)優(yōu)化的過(guò)程。這些算法負責卷積神經(jīng)網(wǎng)絡(luò )自由參數(“權重”)的配置，以便網(wǎng)絡(luò )能夠適用于所提供的數據。因此，自學(xué)習算法通常用于卷積神經(jīng)網(wǎng)絡(luò )的“培訓”。

執行這種自學(xué)習算法是應用程序解決方案整個(gè)開(kāi)發(fā)過(guò)程中最消耗處理器的一個(gè)步驟：如果您需要使用數百萬(wàn)幅示例圖像，那么您需要一個(gè)或多個(gè)更好的GPU服務(wù)器(更多詳情請參閱下一節)，通常需要花費幾天到幾周時(shí)間才能進(jìn)行數據的處理。只有一種方法能夠避免這一多余的復雜操作：即在您的應用程序中使用遷移學(xué)習技巧。

與網(wǎng)絡(luò )的設計一樣，不同級別的質(zhì)量預期可能需要相應不同級別的專(zhuān)業(yè)知識：每種可用的自學(xué)習算法也都具有能夠影響其性能的不同參數(如學(xué)習或衰減速率，批量大小等)。還有一些如Dropout，Batch和Layer Normalization procedure這樣的小技巧有助于使卷積神經(jīng)網(wǎng)絡(luò )最終能夠發(fā)展得更加強大和堅固。還有一點(diǎn)必須明確的是，沒(méi)有任何一種自學(xué)習算法具有完全的確定性;它們總是包含隨機組件。這意味著(zhù)開(kāi)發(fā)人員通常必須對中期結果進(jìn)行評估，并對算法的執行進(jìn)行手動(dòng)更改。

2.4 網(wǎng)絡(luò )評估

經(jīng)過(guò)自學(xué)習算法進(jìn)行培訓的卷積神經(jīng)網(wǎng)絡(luò )必須進(jìn)行統計評估。為進(jìn)行這一評估，需要將一組已知內容的樣本圖像與電腦計算值進(jìn)行對比。這將產(chǎn)生一個(gè)出錯率，表示由網(wǎng)絡(luò )正確識別出的圖像內容屬性的百分比。如果結果不符合預設質(zhì)量要求--比如說(shuō)，將5%的Braeburn蘋(píng)果識別為Granny Smiths是肯定不能接受的--那么就必須回到最初的三個(gè)開(kāi)發(fā)步驟并對其進(jìn)行改進(jìn)。

原則上來(lái)說(shuō)，需要滿(mǎn)足該評估所需的數據是隨時(shí)可用的，因為這些數據正是為了培訓網(wǎng)絡(luò )而采集而來(lái)。關(guān)鍵是絕對不要使用在培訓過(guò)程中已經(jīng)用的圖像來(lái)對網(wǎng)絡(luò )進(jìn)行測試。這樣做會(huì )自動(dòng)導致對系統真實(shí)性能的低估，同時(shí)真正的錯誤只會(huì )在生產(chǎn)過(guò)程中才被發(fā)現。在特殊情況下，當測試數據與培訓數據完全一致時(shí)，網(wǎng)絡(luò )會(huì )記住這些圖像，并在評估過(guò)程中做出完美的表現，但在新的圖像被輸入生產(chǎn)系統中時(shí)則會(huì )失敗。為避免這一問(wèn)題的出現，非常重要的一點(diǎn)是如何部署諸如交叉驗證這樣的過(guò)程，從而在培訓和評估階段將數據系統地分開(kāi)。

2.5 訓練有素的卷積神經(jīng)網(wǎng)絡(luò )部署

一旦最后一步取得了令人滿(mǎn)意的結果，那么接下來(lái)的步驟則是將培訓后的網(wǎng)絡(luò )植入生產(chǎn)系統中。最普遍使用的深度學(xué)習框架提供了一系列豐富的工具，能夠將網(wǎng)絡(luò )不同的必要元素整合輸入軟件，以便它們能夠與系統其它組件相連接，比如與相機連接或對檢測到的圖像內容做出的反應進(jìn)行控制。

如果在卷積神經(jīng)網(wǎng)絡(luò )對圖像進(jìn)行評估的過(guò)程中對運行性能有特定要求，則會(huì )產(chǎn)生額外的工作量。這通常是因培訓網(wǎng)絡(luò )(GPU服務(wù)器)時(shí)與生產(chǎn)環(huán)境下的硬件設置的不同所導致。在某些情況下也有可能會(huì )被迫使用特殊的方法(如量化法)來(lái)減少已培訓過(guò)的網(wǎng)絡(luò )，以適應目標系統的需要。然而，通過(guò)完善的網(wǎng)絡(luò )設計能夠避免這種在技術(shù)上具有挑戰性的行為。

3 遷移學(xué)習

正如此前已經(jīng)提到的，如果單以其原始的模式來(lái)看，卷積神經(jīng)網(wǎng)絡(luò )對數據有極大的需求，在培訓過(guò)程中同樣對處理器有著(zhù)極高需求。好在(對于開(kāi)發(fā)人員來(lái)說(shuō))總有一種能夠簡(jiǎn)化一切的更好的方法，特別是眾所周知的遷移學(xué)習法。這也讓已經(jīng)使用大量通用圖像(如ImageNet數據庫中的圖像)進(jìn)行培訓的網(wǎng)絡(luò )能夠與僅使用少量特定領(lǐng)域的圖像的具體應用進(jìn)行適配。開(kāi)發(fā)人員向一個(gè)網(wǎng)絡(luò )，如AlexNet，VGG Net或GoogLeNet“展示”應用程序特定的培訓圖像，然后將結果值儲存在網(wǎng)絡(luò )最后一層以作為特征向量。這些向量代表的是以高度緊湊的方式展示給網(wǎng)絡(luò )的圖像，并且能夠通過(guò)標準的機器學(xué)習程序(如邏輯回歸、支持向量機或“簡(jiǎn)單”多層感知器)進(jìn)行分類(lèi)。通過(guò)這種方式，卷積神經(jīng)網(wǎng)絡(luò )能夠取代傳統的圖像處理工具，如Hough transformation、SIFT Feature，Harris Corner或Canny Edge detectors。近年來(lái)，科學(xué)研究的對比分析和許多實(shí)際應用都清楚地表明，卷積神經(jīng)網(wǎng)絡(luò )中學(xué)習的特征向量比傳統的手工特征檢測器更加實(shí)用和具有操作性。

4 卷積神經(jīng)網(wǎng)絡(luò )處理器

如上所述，在卷積神經(jīng)網(wǎng)絡(luò )的發(fā)展過(guò)程中，培訓與應用步驟之間的區別是顯而易見(jiàn)的。這兩個(gè)步驟對于硬件的需求是截然不同的。

培訓 - GPU

推理 - FPGA

圖5：圖形處理器單元(GPU)是卷積神經(jīng)網(wǎng)絡(luò )培訓過(guò)程中的首選硬件。對于嵌入式視覺(jué)系統中的集成和應用，現場(chǎng)可編程門(mén)陣列(FPGA)通常被用作培訓后的網(wǎng)絡(luò )運行所需的處理單元。

在可能的情況下，高性能GPU處理單元應該被用于卷積神經(jīng)網(wǎng)絡(luò )的培訓過(guò)程中。像NVIDIA這樣的制造商能夠提供專(zhuān)門(mén)為此任務(wù)而定制的DGX-1這樣的AI超級計算機;而使用更加經(jīng)濟實(shí)惠的NVIDIA TitanX卡同樣也是可行的。NVIDIA公司報告指出，它們能夠以比普通CPU快80倍的速度對卷積神經(jīng)網(wǎng)絡(luò )進(jìn)行培訓。

一旦網(wǎng)絡(luò )接受了培訓，就將被傳輸至具有低硬件需求和處理單元的嵌入式視覺(jué)系統。對于處理單元來(lái)說(shuō)，則推薦使用現場(chǎng)可編程門(mén)陣列(FPGA)，因為它們能夠并行高速處理圖像數據。

因此，這種嵌入式視覺(jué)系統的關(guān)鍵部件是一臺能夠記錄要分類(lèi)的圖像數據的相機;一根傳輸該圖像數據的線(xiàn)材;以及用于對圖像數據進(jìn)行分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò )處理單元。

圖6：適用于卷積神經(jīng)網(wǎng)絡(luò )實(shí)際應用的嵌入式視覺(jué)系統。嵌入式相機(Baslerdart BCON)通過(guò)柔性帶狀線(xiàn)材與具有FPGA(XilinxZynq)的處理單元相連接。圖像數據的分類(lèi)在FPGA上運行，因此可以進(jìn)行實(shí)時(shí)計算。

配置了FPGA的嵌入式視覺(jué)系統具備一系列能夠完美適用于卷積神經(jīng)網(wǎng)絡(luò )的優(yōu)點(diǎn)：

FPGA能夠執行卷積操作和網(wǎng)絡(luò )所需的其它數學(xué)運算，以便對圖像進(jìn)行并行和高速分類(lèi)任務(wù)。此設置提供實(shí)時(shí)圖像分析和分類(lèi)功能。

相比GPU，FPGA所需功耗更小，因此更適合低功耗的嵌入式系統。微軟研究院最近發(fā)布的一份報告8顯示，FPGA能夠比GPU節省10倍功耗。

FPGA的大型片上存儲和帶寬使卷積神經(jīng)網(wǎng)絡(luò )能夠對更高分辨率的圖像進(jìn)行實(shí)時(shí)分類(lèi)。

能夠與FPGA直接連接的相機(如Basler's dart BCON相機)能夠將數據直接傳送到FPGA。這是處理器密集型應用程序(如卷積神經(jīng)網(wǎng)絡(luò ))的一個(gè)主要優(yōu)勢，因為通過(guò)USB傳輸的數據在到達FPGA之前必須通過(guò)不同的硬件組件(比如主機控制器)運行。實(shí)現相機與FPGA的直接連接能夠保證更加高效的工作性能。

5 簡(jiǎn)要概述

1. 當負責解決傳統分類(lèi)問(wèn)題的開(kāi)發(fā)人員還在焦頭爛額于手動(dòng)制定的“屬性”或標準時(shí)，卷積神經(jīng)網(wǎng)絡(luò )已經(jīng)能夠自行學(xué)習這些差異化標準。

2. 網(wǎng)絡(luò )通過(guò)使用一組已知內容的圖像自動(dòng)學(xué)習差異化標準。在所需圖像的數量以及處理能力方面，這是一個(gè)高度資源密集型的學(xué)習過(guò)程。

3. 然而，遷移學(xué)習的原理使得少量圖片和處理能力也可能實(shí)現生產(chǎn)就緒的解決方案。

4. 卷積神經(jīng)網(wǎng)絡(luò )非常適用于具有相機與FPGA直接連接的嵌入式視覺(jué)系統(如Basler BCON相機)。

5. 根據2016年嵌入式視覺(jué)聯(lián)盟進(jìn)行的嵌入式視覺(jué)開(kāi)發(fā)者調查9，77%的受訪(fǎng)者表示目前正在或計劃將要利用神經(jīng)網(wǎng)絡(luò )來(lái)處理機器視覺(jué)應用程序中的分類(lèi)工作。

作者簡(jiǎn)介：

Peter Behringer

Basler公司產(chǎn)品市場(chǎng)經(jīng)理

Peter Behringer自2016年以來(lái)?yè)萎a(chǎn)品市場(chǎng)經(jīng)理，負責Basler嵌入式相機在醫療和生命科學(xué)領(lǐng)域的市場(chǎng)。

在加入Basler之前，他獲得了呂貝克大學(xué)醫學(xué)工程的理學(xué)碩士學(xué)位。大學(xué)期間，他曾在Charité(柏林大學(xué)附屬夏里特醫院)以及哈佛醫學(xué)院外科手術(shù)輔助實(shí)驗室等知名機構實(shí)習。

Peter Behringer發(fā)表了大量主要針對醫學(xué)圖像處理的科學(xué)研究成果。

Dr. Florian Hoppe

Florian Hoppe是Twenty Billion Neurons GmbH(TwentyBN)的聯(lián)合創(chuàng )始人兼董事總經(jīng)理，其職責范圍包括業(yè)務(wù)發(fā)展部門(mén)等。Hoppe先生擁有計算機科學(xué)博士學(xué)位，同時(shí)是一名機器學(xué)習過(guò)程領(lǐng)域的杰出專(zhuān)家。在創(chuàng )立TwentyBN公司之前，他曾擔任IT部門(mén)顧問(wèn)和經(jīng)理，并一直致力于創(chuàng )新軟件系統方面的研究。