CEVA-XM4: 計算機視覺(jué)更進(jìn)一步接近人類(lèi)視覺(jué)

　　新的計算機視覺(jué)時(shí)代降臨，促使增強現實(shí)和全息成像等先進(jìn)技術(shù)從臺式電腦環(huán)境步入移動(dòng)和嵌入式平臺，同時(shí)也使得包括CPU和GPU在內的現有硬件面臨性能極限的考驗。

　　隨著(zhù)開(kāi)發(fā)人員在智能手機、平板電腦、可穿戴產(chǎn)品、監控裝置和聯(lián)網(wǎng)汽車(chē)中不斷增加新的多媒體功能， 在當下的設計中，CPU和GPU是處理密集型圖像算法的主要承載平臺。然而，在實(shí)現一些諸如雙攝相頭、低光照拍攝和快速自動(dòng)對焦等創(chuàng )新功能時(shí)， OEM廠(chǎng)商和開(kāi)發(fā)人員也不得不作出一些妥協(xié)。

　　這種趨勢挑戰了，甚至超越了并非設計用于處理密集型圖像算法的CPU和GPU的極限，其中一個(gè)影響就是使得產(chǎn)品的功耗過(guò)高，并最終縮短了電池續航時(shí)間。實(shí)際上，嵌入式CPU和GPU也都必需具有極低的功耗，并針對其主要任務(wù)高度優(yōu)化。這個(gè)設計難題的最終解決方案，就是一個(gè)具有通用性構架并專(zhuān)門(mén)為無(wú)縫處理圖像和智能視覺(jué)功能而專(zhuān)門(mén)設計的處理器IP。

　　新相機時(shí)代

　　有兩個(gè)用例可展示消費電子產(chǎn)品中相機數目和圖像處理量是如何快速增加的，第一個(gè)例子是據悉至少具有6個(gè)攝像頭的微軟HoloLens增強現實(shí)頭盔。

　　第二個(gè)例子是增加了CMOS傳感器數量來(lái)實(shí)現更精巧相機功能的華為榮耀 6+ 智能手機。這款手機在其正面有一個(gè)8百萬(wàn)像素攝像頭，而在其背面則使用兩個(gè)8百萬(wàn)像素攝像頭以實(shí)現雙攝功能。

　　圖1: 增加相機數目構成專(zhuān)用視覺(jué)處理器的案例

　　視覺(jué)處理器剖析

　　來(lái)自 CEVA Inc.的全新圖像處理器就是這樣的一種平臺，用于在system-on-chip芯片(SoC)設計中，為CPU和GPU分擔處理密集型的圖像增強、計算圖像學(xué)和計算機視覺(jué)算法。CEVA-XM4可以實(shí)現類(lèi)似人的視覺(jué)感知能力，用于智能手機、平板電腦、汽車(chē)安全和信息娛樂(lè )、機器人、安防監控、增強現實(shí)和無(wú)人機等廣泛的圖像應用。

　　圖2: CEVA-XM4面向多個(gè)目標市場(chǎng)

　　CEVA-XM4是CEVA公司的第四代圖像和視覺(jué)處理器IP，繼承了CEVA與十多家CEVA-MM3101授權廠(chǎng)商和合作伙伴共同工作所累積的專(zhuān)業(yè)知識與經(jīng)驗。同時(shí)，CEVA-XM4是一個(gè)全新設計的完全可編程處理器，以期滿(mǎn)足最嚴苛的圖像處理和計算機視覺(jué)應用的需求。CEVA將一個(gè)具有定點(diǎn)和浮點(diǎn)處理能力的可編程大位寬矢量處理架構、多個(gè)對稱(chēng)標量單元，以及一個(gè)專(zhuān)門(mén)為視覺(jué)處理設計的低功耗指令集集成進(jìn)XM4，達到比前代CEVA-MM3101多達8倍的性能提升和2.5倍的功耗改進(jìn)。

　　視覺(jué)處理器vs移動(dòng)GPU

　　與包括業(yè)界領(lǐng)先的移動(dòng)GPU在內的各種競爭解決方案相比，XM4智能視覺(jué)處理器在單位功耗(每mW)性能和單位芯片面積(每mm2 )性能兩個(gè)方面都有突出的表現。與市場(chǎng)上一個(gè)公認的最為先進(jìn)的移動(dòng)GPU比較，在目標物體檢測與跟蹤應用中，CEVA-XM4內核完成相同任務(wù)的功耗只是競爭解決方案的大約10%，而芯片面積大約只需5%。而且，與移動(dòng)GPU(如下圖2所示) 比較多鐘特定算法，顯示 XM4和移動(dòng)GPU之間存在20倍的巨大功耗效率優(yōu)勢。

　　圖3：CEVA-XM4 與移動(dòng)GPU功耗效率對比——越高越好

　　CEVA-XM4圖像IP廣泛適用于三個(gè)視覺(jué)領(lǐng)域：圖像采集、圖像處理和視覺(jué)感知。圖像采集包括3D視覺(jué)、圖像降噪和深度圖生成等功能。圖像處理則與計算圖像學(xué)功能相關(guān)，例如圖像穩定、低光照圖像增強、圖像縮放、多幀和多傳感器超分辯率合成。最后，視覺(jué)感知能夠執行目標物體識別與追蹤、視頻分析、增強現實(shí)和用于自然用戶(hù)界面(NUI)的人臉、手勢和情緒識別等功能。

　　圖4: CEVA-XM4支持的視覺(jué)領(lǐng)域

　　CNN時(shí)代的XM4

　　XM4視覺(jué)處理器支持的算法包括實(shí)時(shí)3D深度圖生成、用于3D掃描的點(diǎn)云處理以及目標與圖像識別，范圍包括Haar、LBP和ORB，直至卷積神經(jīng)網(wǎng)絡(luò )(CNN, DNN)等神經(jīng)網(wǎng)絡(luò )技術(shù)的深度學(xué)習算法。此外，XM4對計算圖像學(xué)算法的支持包括重對焦、背景替換、圖像縮放、圖像穩定、HDR、圖像降噪和低光照圖像增強功能。