嵌入式人工智能應用廣泛興起但門(mén)檻正在提高

　　現在，我們每天使用的很多設備都利用了神經(jīng)網(wǎng)絡(luò )技術(shù)：在智能手機中它們?yōu)檎掌阉鞴δ芴峁┲С?，還用于人臉識別幫助大家使用人臉解鎖手機;它們可以通過(guò)識別車(chē)牌了解你駕車(chē)駛入或離開(kāi)擁堵區。它們足夠的“聰明”，能夠檢測一個(gè)人的肢體語(yǔ)言——這對監控系統非常的有用，它們也被應用到帶攝像頭的AV系統中，可以識別每個(gè)人并讓系統提供個(gè)性化的內容服務(wù)，在汽車(chē)上涉及的應用包括車(chē)道偏離預警、司機狀態(tài)監控等，此外，通過(guò)大量實(shí)驗和應用證明神經(jīng)網(wǎng)絡(luò )比人類(lèi)更擅長(cháng)檢測皮膚癌——可見(jiàn)神經(jīng)網(wǎng)絡(luò )的應用既廣泛又多樣。

　　區別于“傳統”一切都基于云的人工智能(AI)，這些基于現場(chǎng)應用設備的神經(jīng)網(wǎng)絡(luò )計算，可以被稱(chēng)為嵌入式AI;這是一個(gè)快速發(fā)展但也渴求技術(shù)創(chuàng )新的市場(chǎng)，也是眾多SoC設計公司正在以創(chuàng )新產(chǎn)品去開(kāi)拓的市場(chǎng)。隨著(zhù)Imagination在去年9月推出Series2NX神經(jīng)網(wǎng)絡(luò )加速器(NNA)，嵌入式AI加速領(lǐng)域內的游戲規則正在被改變?，F在，我們以Imagination新發(fā)布的兩款內核產(chǎn)品為例，來(lái)分析不同應用市場(chǎng)對嵌入式AI的綜合性能指標。這兩款產(chǎn)品是面向高端市場(chǎng)的PowerVR AX2185，以及面向中檔市場(chǎng)的AX2145。下面我們將詳細地向大家介紹。

　　神經(jīng)網(wǎng)絡(luò )作為解決問(wèn)題以及驅動(dòng)多領(lǐng)域新型應用的工具正變得越來(lái)越流行，下圖分別說(shuō)明了在移動(dòng)設備和智能監控攝像機等領(lǐng)域內快速發(fā)展的嵌入式AI應用。

　　雖然神經(jīng)網(wǎng)絡(luò )可以進(jìn)行離線(xiàn)訓練，但是在進(jìn)行推斷處理時(shí)——運行神經(jīng)網(wǎng)絡(luò )實(shí)時(shí)識別和處理對象——有必要將這些技術(shù)轉移到終端設備中，而不是將這些任務(wù)放在云端進(jìn)行處理。舉一個(gè)例子：無(wú)人機，它們的飛行速度可以超過(guò)150mph(英里每小時(shí))，神經(jīng)網(wǎng)絡(luò )可以驅動(dòng)碰撞檢測系統，然而如果沒(méi)有專(zhuān)門(mén)的硬件來(lái)進(jìn)行圖像處理，無(wú)人機將需要看到前方10-15米的物體才能避開(kāi)障礙物。由于發(fā)送和接收信息所需的延遲和帶寬，云服務(wù)器并不是合適的解決方案。搭建專(zhuān)用PowerVR NNA的無(wú)人機能夠以每小時(shí)150英里的速度飛行，并且避開(kāi)1米以?xún)鹊恼系K物，這大大提高了響應能力和安全性，并增強這類(lèi)應用的創(chuàng )造性。

　　專(zhuān)用神經(jīng)網(wǎng)絡(luò )硬件往往被視為SoC集成中的下一步，在20世紀80年代除了早期的桌面CPU之外還集成了數字協(xié)同處理器，而且很快就成為了這類(lèi)設計的標準。雖然很多計算任務(wù)已經(jīng)從CPU轉移到GPU上來(lái)，但這對于工作來(lái)說(shuō)仍然不是最有效的設計工具，將它們轉移到專(zhuān)用的本地硬件才是符合邏輯的解決方案，性能優(yōu)勢是顯而易見(jiàn)的，采用高端GPU檢索1000張圖片需要60秒，但是使用我們的NNA只需要2秒，之前的方案對這些圖片進(jìn)行分類(lèi)要消耗1%的電量，但是NNA消耗1%的電量可以處理42萬(wàn)8千張圖片，這是非常具有說(shuō)服力的。

　　去年9月，Imagination推出的Series2NX加速器是基于神經(jīng)網(wǎng)絡(luò )推理而構建的，是目前業(yè)界性能最好的解決方案，同時(shí)這些加速器還對所有的主要卷積神經(jīng)網(wǎng)絡(luò )層提供支持，比如Inception、ResNet，框架包括Tensorflow、Caffe2和PyTorch等。

　　該解決方案一個(gè)關(guān)鍵的差異化因素在于它提供了靈活的精度，使用由16位數據組成的經(jīng)過(guò)訓練的網(wǎng)絡(luò )可以達到非常高的準確度，然而使用較低的精度訓練網(wǎng)絡(luò )意味著(zhù)仍然可以保持較高的精度，而且其優(yōu)勢是可以顯著(zhù)降低功耗和帶寬。在實(shí)際情況中這使得將NNA集成到智能相機、智能手機等嵌入式設備中可以花費較低的成本同時(shí)保持較高的實(shí)用性。針對這些已經(jīng)被驗證過(guò)的創(chuàng )新，查看Imagination網(wǎng)站上相關(guān)博客，可以了解更多關(guān)于采用高效推理訓練神經(jīng)網(wǎng)絡(luò )的處理過(guò)程和好處。

　　下表展示了精度靈活性的好處，簡(jiǎn)而言之采用4位精度你可以大幅度降低功耗和帶寬(內存)需求，精確度僅下降1%，這在大多數實(shí)際情況下對于設備的效率沒(méi)有明顯的影響。下面，我們以Imagination的兩款神經(jīng)網(wǎng)絡(luò )加速器為例，來(lái)說(shuō)明不同市場(chǎng)對性能指標和其他因素的考量：

　　PowerVR AX2185

　　Imagination的Series2NX已經(jīng)在市場(chǎng)上取得了成功并且已經(jīng)授權給多家廠(chǎng)商，今天它們正在不斷擴大市場(chǎng)的選擇范圍。首先，通過(guò)增強原始內核推出了PowerVR AX2185，其次發(fā)布另一個(gè)版本即PowerVR AX2145。一個(gè)關(guān)鍵的新特性是這兩款核心都增加了對Android NN API的硬件支持，使得開(kāi)發(fā)人員能夠開(kāi)發(fā)更多基于深度學(xué)習的應用，大大豐富了安卓市場(chǎng)應用。

　　從性能角度來(lái)看，PowerVR AX2185面向的是高端嵌入式市場(chǎng)，它集成了8個(gè)全位寬計算引擎，能夠提供每秒最多可達4.1兆赫的運算，在目前市場(chǎng)上其每平方毫米性能參數是最高的。實(shí)際上這個(gè)水平是最新的桌面GPU性能的3.5倍。對于那些正在使用功耗較高的GPU進(jìn)行神經(jīng)網(wǎng)絡(luò )訓練的公司來(lái)說(shuō)，這是非常具有吸引力的，尤其是汽車(chē)領(lǐng)域。與友商提供的硬件解決方案相比，基于4位數據的網(wǎng)絡(luò )AX2185僅需要50%的帶寬，而與基于DSP的競爭廠(chǎng)商的方案相比則降低了75%。

　　雖然高端設備已經(jīng)具備了人臉解鎖等諸多功能，但是這些功能正在迅速地更新迭代，設備制造商希望以更低的價(jià)格提供這些功能，當然消費者也想為他們的手機支付更少的錢(qián)但同時(shí)還能擁有相同甚至更好的功能，比如智能相機確保家庭安全、智能手機的人臉解鎖等。是的，消費者也想分享這個(gè)蛋糕。

　　PowerVR AX2145

　　如何在內存有限的設備上保持這種用戶(hù)體驗呢?答案是PowerVR AX2145。它為性能效率而調整了整體性能，此外它高度調優(yōu)了矢量計算，卷積引擎結合了優(yōu)化的內核存儲結構，能夠提供明顯的最大性能參數，而且與AX2185相比每平方毫米面積的推理性能提升了50%，同時(shí)降低了系統峰值內存帶寬(以GB/s計算)。我們?yōu)槠鋵?shí)現的性能和效率之間的平衡而感到驕傲，我們認為這對于成本敏感的設備是非常理想的選擇。

　　開(kāi)發(fā)工具包也是值得去考量的另一個(gè)因素，這是因為硬件本身并不能算是解決方案。Imagination這樣的領(lǐng)先廠(chǎng)商提供了PowerVR AI工具包，這大大簡(jiǎn)化了用戶(hù)的部署流程，調試和網(wǎng)絡(luò )分析都非常的簡(jiǎn)單，此外，它還支持對訓練后的網(wǎng)絡(luò )進(jìn)行優(yōu)化，其中的API支持包括IMG DNN和Android DNN，提供GPU和NNA之間無(wú)縫的互操作性。

　　總結

　　面對快速發(fā)展的嵌入式AI市場(chǎng)，隨著(zhù)諸如Imagination這兩款全新內核產(chǎn)品的新引擎不斷推出，業(yè)界將能夠在終端設備上實(shí)現低成本的AI功能，為消費者提供更多新型的AI應用程序。通過(guò)這些核心將能夠滿(mǎn)足開(kāi)發(fā)人員創(chuàng )建應用程序所需的性能要求，真正實(shí)現人工智能帶來(lái)的變革，而且這些這些提升將很快會(huì )變成現實(shí)，它將涉及多個(gè)應用市場(chǎng)比如智能手機、智能相機和汽車(chē)等。未來(lái)的可能性是無(wú)限的，唯一需要的就是一點(diǎn)兒想象力(Imagination)。

　　作者：Benny Har-Even

　　職務(wù)：Imagination Technologies技術(shù)傳播專(zhuān)家