模擬人眼、拯救糊圖、兼容主流AI芯片，最小事件視覺(jué)傳感器問(wèn)世！對話(huà)Prophesee CEO
加入技術(shù)交流群
編輯 | 漠影
抓拍出不模糊的移動(dòng)物體照片，從芯片的角度來(lái)實(shí)現，難度有多高？
▲用事件視覺(jué)技術(shù)將抓拍照片變清晰（圖源：Prophesee）
從硬件來(lái)說(shuō)，增加一顆傳感器，足夠做到。不僅讓攝影設備高效捕捉到清晰畫(huà)面，模擬人眼的事件視覺(jué)傳感器，還能大幅降低算力需求和功耗，并且不受光線(xiàn)的影響。一家法國創(chuàng )企普諾飛思（Prophesee），在探索這個(gè)突破性方向的道路上，已經(jīng)堅持了9年。它是歐盟獲融資最雄厚的無(wú)晶圓廠(chǎng)（Fabless）半導體初創(chuàng )公司，擁有堪稱(chēng)豪華的投資陣容，包括英特爾投資、博世創(chuàng )投、雷諾集團、小米、韋爾股份、創(chuàng )新工場(chǎng)、韋豪創(chuàng )芯等。今年10月，Prophesee推出業(yè)界首款專(zhuān)為超低功耗邊緣視覺(jué)設備集成設計的Metavision事件視覺(jué)傳感器GenX320，進(jìn)一步改變機器看世界的方式。近日，Prophesee聯(lián)合創(chuàng )始人兼CEO盧卡·維雷（Luca Verre）接受芯東西的專(zhuān)訪(fǎng)，并分享說(shuō)，在相關(guān)知識儲備、經(jīng)驗積累、現有IP數量（50多項國際專(zhuān)利）上，Prophesee都具有顯著(zhù)優(yōu)勢。
▲Prophesee聯(lián)合創(chuàng )始人兼CEO盧卡·維雷（圖源：Prophesee）
他告訴芯東西，Prophesee目前專(zhuān)注于將其創(chuàng )造的價(jià)值最大化，暫不考慮IPO或并購，接下來(lái)其路線(xiàn)圖將主要包括兩大方向：一是提高分辨率，在芯片內部增加更多的像素，以覆蓋更多需要高分辨率的應用場(chǎng)景，例如汽車(chē)、安防監控、工業(yè)自動(dòng)化、手機等等。二是縮小芯片體積，以滿(mǎn)足一些對成本效益以及芯片尺寸要求更高的應用，例如物聯(lián)網(wǎng)設備、平板電腦、筆記本電腦或AR/VR頭顯等設備。除此之外，目前計算機視覺(jué)領(lǐng)域正探索讓傳感和圖像處理更接近處理器，將盡可能多的智能放在圖像傳感器上或接近它。軟件是Prophesee的重要資產(chǎn)和重點(diǎn)投入方向。盧卡說(shuō)，這將帶動(dòng)市場(chǎng)對事件視覺(jué)傳感技術(shù)的接受度和采用度提升。01.受人類(lèi)視覺(jué)機制啟發(fā)改變機器看世界的方法
▲人眼視覺(jué)成像機制繪圖（圖源：Prophesee）
也就是說(shuō)，在記錄變化的影像時(shí)，圖像傳感器需要通過(guò)拍攝一系列圖像來(lái)實(shí)現。這帶來(lái)一些難解的問(wèn)題：首先是圖像場(chǎng)景變化越快、拍攝的圖越多，數據越多，消耗的算力和能量也就越多；其次當光線(xiàn)條件不理想，比如曝光過(guò)度或曝光不足時(shí)，不能適應明暗突變情況，容易拍出糊圖。
▲基于幀與基于事件的傳感器對比（圖源：Prophesee）
事件視覺(jué)傳感器的不同之處在于，不會(huì )記錄整個(gè)畫(huà)面的靜態(tài)背景信息，只記錄動(dòng)態(tài)信息。
▲高爾夫球手揮桿過(guò)程，其身后的天空、樹(shù)木、草地等背景信息不變（圖源：Prophesee）
就像人眼細胞檢測到場(chǎng)景發(fā)生變化（即事件）時(shí)才會(huì )向大腦報告，事件視覺(jué)傳感器上的像素以異步方式捕獲事件數據，每個(gè)像素都嵌入了智能處理，能在檢測到變化時(shí)獨立激活，將事件連續地、逐像素地發(fā)送到系統。運動(dòng)被捕獲為連續的信息流，幀之間不會(huì )丟失任何內容。▲事件視覺(jué)傳感器每個(gè)像素獨立且異構（圖源：Prophesee）
通過(guò)模擬人眼視覺(jué)機制的方法，模擬處理的數據量驟減，所需的算力和能耗也顯著(zhù)減少，并能對場(chǎng)景中微小變化進(jìn)行超快速反應，捕捉到亞毫秒級轉瞬即逝的瞬間。拍出糊圖通常是快門(mén)速度太慢或被拍攝對象運動(dòng)太快導致的。而事件視覺(jué)傳感器每當檢測出照明變化時(shí)，每個(gè)像素獨立觸發(fā)連續的事件流，不存在曝光影響，因此能有效解決攝影模糊問(wèn)題。▲傳統圖像傳感器與事件視覺(jué)傳感器機制對比（圖源：Prophesee）
此前Prophesee研發(fā)的事件視覺(jué)傳感器已經(jīng)被應用在手機端，用于提高后置主攝的攝影質(zhì)量；用在A(yíng)R/VR/XR頭顯中，優(yōu)化注視點(diǎn)渲染或無(wú)縫交互的高速眼動(dòng)追蹤、手勢識別；或是在電視、PC（個(gè)人電腦）、游戲機及智能家居設備中實(shí)現低延遲、無(wú)接觸的人機交互界面。
▲基于事件視覺(jué)傳感器的下一代眼動(dòng)追蹤功能演示（圖源：ZinnLabs）
在超低功耗always-on區域監控系統、家庭物聯(lián)網(wǎng)及醫療設備中，事件視覺(jué)傳感器可用于檢測跌倒的攝像頭，或是智能存在檢測和人數統計。Prophesee聯(lián)合創(chuàng )始人兼CEO盧卡·維雷認為事件視覺(jué)傳感器正處于快速發(fā)展階段，索尼、小米、高通、英特爾等大型科技及芯片公司逐漸看到神經(jīng)擬態(tài)事件視覺(jué)傳感技術(shù)的潛力，并正與Prophesee合作，共同推動(dòng)這項技術(shù)及相關(guān)生態(tài)的發(fā)展。為了更好滿(mǎn)足消費電子設備和嵌入式邊緣視覺(jué)系統對有限能源、計算和尺寸的需求，Prophesee還在持續探索如何將傳感器做得更小，使其在極具挑戰性的操作和極端苛刻的照明條件下以更低的功耗提供穩定、高速的視覺(jué)感知。02.業(yè)界最小事件視覺(jué)傳感器：超低功耗，兼容主流AI芯片
▲傳統圖像傳感器與事件視覺(jué)傳感器捕捉數據對比（圖源：Prophesee）
盧卡很看好神經(jīng)擬態(tài)技術(shù)在邊緣設備中的應用，認為這將逐漸覆蓋傳感器、信息處理及計算單元，未來(lái)會(huì )有更多AI功能會(huì )集成到傳感器內部。他也對不同設備上的多傳感器融合也很感興趣。GenX320能與標準SoC輕松集成/連接，有多個(gè)集成事件數據預處理、過(guò)濾和格式化功能，可最大程度減少外部處理開(kāi)銷(xiāo)。另外，由于事件視覺(jué)傳感器具有稀疏無(wú)框事件數據以及靜態(tài)場(chǎng)景去除功能，不會(huì )捕捉圖像信息，因此GenX320能從傳感器層面保護隱私。美國最大技術(shù)許可公司Xperi的CTO Petronel Bigioi認為，Prophesee的事件視覺(jué)技術(shù)將“隱私設計”原則提升至更安全的水平。▲戴上眼鏡/口罩前后下的姿勢、目光檢測演示（圖源：Xperi）
03.軟件套件即插即用，免費提供近百種算法
▲基于事件視覺(jué)傳感器的手勢識別選擇商品演示（圖源：Ultraleap）
最新推出的GenX320配套了一整套開(kāi)發(fā)工具，包括裝有板載芯片（COB）GenX320模塊或緊湊型光學(xué)柔性模塊的綜合評估套件。Prophesee還提供一系列可無(wú)縫連接到各種嵌入式平臺的適配器套件，從而縮短產(chǎn)品上市時(shí)間。PropheseeMetavision Intelligence是當前業(yè)界最全面的免費事件視覺(jué)軟件套件，在全球擁有超過(guò)10000名用戶(hù)。該軟件套件相當于架起了一座連接神經(jīng)擬態(tài)世界和傳統解決方案之間的橋梁，提供近百種算法、豐富的數據集和AI模塊，幾乎即插即用，還支持開(kāi)源，同時(shí)提供95種算法、79個(gè)代碼示例、24個(gè)教程，能夠很好地幫助客戶(hù)認識并理解這項技術(shù)，并實(shí)現快速部署與應用。如果以10分為滿(mǎn)分，盧卡認為Metavision Intelligence當前的好用程度可以打8分。在他看來(lái)，只有當技術(shù)能夠得到市場(chǎng)廣泛認可和采用時(shí)，才更進(jìn)一步賦能客戶(hù)，降低他們選擇使用事件視覺(jué)傳感技術(shù)的成本和難度，為整個(gè)行業(yè)生態(tài)創(chuàng )造更多的價(jià)值。
▲傳統圖像傳感器與事件視覺(jué)傳感器捕捉車(chē)前場(chǎng)景數據的對比（圖源：Prophesee）
04.對中國市場(chǎng)增長(cháng)充滿(mǎn)信心將持續增加投入
▲事件視覺(jué)傳感器的一些應用領(lǐng)域（圖源：Prophesee）
“中國一直是我們重點(diǎn)關(guān)注的市場(chǎng)。我也始終相信，任何一家具有全球視野的企業(yè)，都應該重視中國市場(chǎng)的戰略地位?！北R卡談道。他告訴芯東西，Prophesee的中國團隊有15人，負責推動(dòng)相關(guān)生態(tài)的建設，并為本地合作伙伴與客戶(hù)提供相關(guān)的技術(shù)支持。在中國，Prophesee看到越來(lái)越多的客戶(hù)對其產(chǎn)品和技術(shù)表示感興趣，特別是在物聯(lián)網(wǎng)設備以及消費電子領(lǐng)域，很多客戶(hù)在尋找更具成本效益的傳感設備或解決方案。一個(gè)應用案例是Prophesee和中國臺灣公司YunX的合作。YunX基于Prophesee事件視覺(jué)傳感技術(shù)開(kāi)發(fā)了一款智能攝像頭，能用在檢測到家中老人或者醫院病患跌倒時(shí)觸發(fā)警報。在盧卡看來(lái)，中國是全球最大的半導體生產(chǎn)和消費市場(chǎng)，也是全球智能手機以及電動(dòng)汽車(chē)領(lǐng)先的生產(chǎn)和消費市場(chǎng)，半導體領(lǐng)域的風(fēng)投金額同樣遙遙領(lǐng)先于世界其他地區，越來(lái)越多的資源正在進(jìn)入這個(gè)市場(chǎng)，推動(dòng)本土生態(tài)及供應鏈建設。“我們對中國市場(chǎng)的增長(cháng)充滿(mǎn)信心。未來(lái)我們也會(huì )不斷增加對中國市場(chǎng)的投入?！北R卡說(shuō)。05.結語(yǔ)：新興應用需求大漲，未來(lái)發(fā)展空間廣闊
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
