事件導向CMOS圖像傳感器將用于LiDAR

　　據麥姆斯咨詢(xún)報道，在快速發(fā)展的工廠(chǎng)自動(dòng)化、物聯(lián)網(wǎng)和自動(dòng)駕駛車(chē)輛市場(chǎng)上，CMOS圖像傳感器似乎扮演的角色不再是人類(lèi)消費品，而是讓機器獲取數據并讓其理解世界的傳感器。

　　法國著(zhù)名市場(chǎng)研究和技術(shù)分析機構Yole的MEMS & 成像部活動(dòng)負責人Pierre Cambou這樣評論道：“CMOS圖像傳感器的傳感功能將逐漸超過(guò)本身的成像功能，”并大膽預測“到2030年，一半的CMOS圖像傳感器將服務(wù)于感知領(lǐng)域。”

　　總部位于法國巴黎的Prophesee SA(原Chronocam)公司以革命領(lǐng)跑者自居。作為先進(jìn)的神經(jīng)視覺(jué)系統設計公司，提出了一種基于事件的方法進(jìn)行傳感和處理。Prophesee的仿生視覺(jué)技術(shù)一直被認為與傳統機器視覺(jué)有實(shí)質(zhì)性的差異，處于危險的“超前期”。但Prophesee聯(lián)合創(chuàng )始人兼首席執行官Luca Verre告訴我們：“不久的將來(lái)，這種想法將被證實(shí)是錯誤的。”

　　Prophesee聯(lián)合創(chuàng )始人兼首席執行官Luca Verre

　　在與Luca Verre面對面采訪(fǎng)中，我們了解到Prophesee已獲得B+輪融資(在過(guò)去三年中，Prophesee已募得4000萬(wàn)美元的資金)。Prophesee已與一家大型消費電子公司(未透露具體名字)簽訂了合作協(xié)議。最重要的是，Prophesee正在積極地把神經(jīng)視覺(jué)系統從通常的技術(shù)概念中跳出，變成開(kāi)發(fā)商的參考系統。

　　Prophesee的第一款參考設計用在VGA分辨率應用，由Prophesee提供基于異步時(shí)間的圖像傳感器(Asynchronous Time-Based Image Sensor，以下簡(jiǎn)稱(chēng)ATIS)芯片和軟件算法。ASIC將由以色列的代工合作伙伴(我們猜測很有可能是Tower Jazz)制造。

　　Prophesee暫時(shí)不愿提供ASIC和參考設計規范的詳細說(shuō)明。計劃在未來(lái)幾周內會(huì )正式發(fā)布該產(chǎn)品。盡管如此，參考設計能為系統設計者提供見(jiàn)證和經(jīng)歷ATIS在數據傳感領(lǐng)域作用的機會(huì )，且已被事實(shí)證明，這家初創(chuàng )公司算得上完成了一個(gè)里程碑。ATIS的特點(diǎn)是瞬時(shí)清晰度高、數據率低、動(dòng)態(tài)范圍高、功耗低。

　　攝像頭= 瓶頸

　　機器視覺(jué)系統的制造者，不管是智能工廠(chǎng)、物聯(lián)網(wǎng)，還是自動(dòng)駕駛車(chē)輛都已經(jīng)關(guān)注到基于事件的方法，這是由Prophesee的聯(lián)合創(chuàng )始人Ryad Benosman和Christoph Posch大力推行的。

　　可以捕捉傳統相機獲取的所有詳細視覺(jué)信息，Verre認為“攝像頭成為技術(shù)瓶頸”。毫無(wú)疑問(wèn)，攝像頭是最強大的傳感裝置。然而，對于自動(dòng)化系統、監控攝像機或高度自動(dòng)化的車(chē)輛的視覺(jué)數據，攝像頭的處理速度可能會(huì )減慢。

　　但談及自動(dòng)駕駛，Verre認為車(chē)輛內部的中央處理系統被來(lái)自攝像頭、激光雷達、雷達及其它視覺(jué)來(lái)源的數據所“轟炸”。管理這類(lèi)過(guò)載的關(guān)鍵是如何最好地減少來(lái)自傳感器的原始數據量。傳感器只能捕捉數據，會(huì )帶來(lái)額外的無(wú)用視覺(jué)信息。

　　Prophesee曾向采訪(fǎng)記者解釋說(shuō)，Prophesee的事件導向(event-driven)視覺(jué)傳感器的靈感來(lái)自生物學(xué)。這種看法源于聯(lián)合創(chuàng )始人對人類(lèi)眼睛和大腦工作的研究。Prophesee的創(chuàng )始人之一Ryad Benosman告訴我們，人類(lèi)的眼睛和大腦“不會(huì )基于一連串幀來(lái)記錄視覺(jué)信息”。生物比你想象的更復雜，“人類(lèi)會(huì )捕捉到時(shí)空變化里感興趣的東西，并把這些信息有效地傳送到大腦”。這也是Prophesee的ATIS的主要作用。

　　總之，Prophesee的ATIS提供了基于框架的圖像傳感無(wú)法完成的一切功能。在另一個(gè)聯(lián)合創(chuàng )始人Christoph Posch看來(lái)，“基于幀的方法會(huì )導致冗余的記錄數據，從而引發(fā)高功耗。”他說(shuō)，“這樣的后果是低效的數據率和膨脹的存儲量?；趲囊曨l，以每秒30幀或60幀甚至更高的速率運行，會(huì )導致捕獲的圖像發(fā)生畸變。”

　　用于激光雷達(LiDAR)的事件導向方法

　　Verre向我們透露Prophesee正在探索采用事件導向(event-driven)方法用于其它傳感器如激光雷達、雷達的可能性。Verre假設：“如果我們可以引導激光雷達只捕捉到其相關(guān)和必須的數據，會(huì )不會(huì )很吸引人?”如果能做到這一點(diǎn)，不僅可以加快數據采集，還可以減少需要處理的數據量。

　　Phrophesee目前正在評估這個(gè)想法，Verre說(shuō)公司在得到結論前需要幾個(gè)月時(shí)間評估。但他補充說(shuō)：“我們很有信心，我們能成功”。當被我們問(wèn)及拓展事件導向方法到其它傳感器的新思路時(shí)，Yole的分析師Cambou認為“基于事件的攝像頭與激光雷達的優(yōu)勢結合(提供‘Z’信息)，是一件非常有趣的事情。”

　　需要指出的是，傳統激光雷達的問(wèn)題是與典型的高端工業(yè)相機相比分辨率較低，受限于分辨率。Cambou認為事件導向的方法可以改善激光雷達性能，尤其是在事件快速接近，如行人突然出現在自動(dòng)駕駛車(chē)輛前面時(shí)。缺點(diǎn)是激光雷達硬件必須做相應的改變，顯然，對Phrophesee來(lái)說(shuō)，需要一家激光雷達企業(yè)的強有力的支持，來(lái)促成這種新方法。

　　Cambou說(shuō)，“當然，這始終是技術(shù)型初創(chuàng )企業(yè)面臨的問(wèn)題。”他指出，Mobileye需要如沃爾沃和特斯拉這類(lèi)領(lǐng)先汽車(chē)廠(chǎng)商(在技術(shù)將成為主流，需要越來(lái)越被廣泛地被接受);Movidius(已被英特爾收購)，需要道瓊斯指數為成功鋪平道路。“Prophesee將需要一個(gè)強有力的合作伙伴來(lái)促進(jìn)解決方案被大量采用。”Cambou說(shuō)。

　　Cambou補充道：“考慮到機器人汽車(chē)領(lǐng)域的市場(chǎng)驅動(dòng)因素(安全第一，技術(shù)驅動(dòng)，非成本第一)，這應該是可能的。”雖然Cambou表達了他對巨頭(如谷歌)依靠技術(shù)型初創(chuàng )公司的擔憂(yōu)，他也表示這么小的市場(chǎng)用量不會(huì )帶來(lái)太大的麻煩。