雙目立體賦能3D機器視覺(jué)，銀牛攜芯片模組登陸中國市場(chǎng)
加入技術(shù)交流群
3D深度感知主要有3個(gè)技術(shù)方向：雙目立體，結構光，飛行時(shí)間（ToF），結構光起步比較早，但是技術(shù)的局限性較大，而雙目立體的發(fā)展速度較快，勢頭迅猛。
從物理原理上，雙目立體和結構光二者都用了三角測距，但是雙目立體是依靠自然的紅外反射在攝像頭上產(chǎn)生特征點(diǎn)，來(lái)計算對象物深度的數據。結構光需要有一個(gè)發(fā)射光的發(fā)射源，帶編碼的光到了對象物體再反射回來(lái)來(lái)計算這個(gè)深度。結構光的弱點(diǎn)是在室外時(shí)，結構光發(fā)射帶編碼的光經(jīng)常受到環(huán)境的干擾；而雙目立體不容易受到室外光的干擾，因此室內室外都可以用。所以結構光只能在室內使用而且距離比較近；而雙目立體具有明顯優(yōu)勢。
2 雙目立體將是3D機器視覺(jué)等高精尖領(lǐng)域的主角
盡管結構光或ToF有它們各自的技術(shù)優(yōu)勢和特點(diǎn)，例如成本、近距離，但是隨著(zhù)機器視覺(jué)、AI的不斷發(fā)展，最終會(huì )要求更高的精度、處理速度/刷新率、分辨率等，例如機器人、VR/AR等應用，較適合雙目立體，因為雙目立體的優(yōu)勢在于能夠提供更高的精度和更快的處理速度。
因此，如果把3D機器視覺(jué)比喻為一場(chǎng)演出，ToF、結構光只是暖場(chǎng)的，真正的主角和演出將由雙目立體來(lái)主導。不過(guò)，未來(lái)會(huì )是二者或三者融合的方案。當然融合也是有主有輔，雙目立體會(huì )占最主要的角色，可以配合結構光和/或ToF、激光測距等，以實(shí)現更完善的解決方案。
哪些領(lǐng)域有望最先用到雙目立體技術(shù)？銀牛微電子公司看好4個(gè)技術(shù)應用方向：①避障和自主導航，例如無(wú)人機、消毒機器人、送餐機器人、巡檢機器人，包括部分的安防機器人，還有自動(dòng)駕駛范疇內的老年代步車(chē)。② 3D掃描重建，例如用于醫學(xué)、醫美，口腔牙齒建模為矯正帶來(lái)劃時(shí)代的變革。③人臉識別。人臉識別不僅僅是比對照片進(jìn)行人臉的識別，更重要的是今后在金融支付/刷臉支付場(chǎng)合用于防偽。④盡管目前雙目立體在中國的應用主要集中于定位，但是將來(lái)會(huì )有一些非常巧妙而非常難做的勞動(dòng)機器人出現，例如歐美有客戶(hù)用雙目模組做自動(dòng)摘葡萄、摘桃子，有一些國外公司與中國客戶(hù)接觸做自動(dòng)采茶，這需要精準識別茶葉，再用剪刀準確控制和剪切下來(lái)。
3 銀牛3D芯片及模組登陸中國市場(chǎng)
從感知到計算，再到系統一體化，是每個(gè)機器視覺(jué)必須要具備的環(huán)節。實(shí)際上，機器視覺(jué)不僅是你看到了什么，其次還要明白你的機器視覺(jué)需要達到什么目的？機器要理解這個(gè)世界，因此機器要有分析能力，即要有強大的計算能力；之后，還要進(jìn)行判斷、決策、執行，因此需要系統的整體設計?？梢?jiàn)，感知、計算、系統都是缺一不可的。如何獲得這樣一攬子的解決方案？
近日，3D芯片的引領(lǐng)者Inuitive的母公司——銀牛微電子宣布，面向機器人行業(yè)重磅推出旗下全新產(chǎn)品“3D機器視覺(jué)模組C158”。該產(chǎn)品基于銀牛（Inuitive）NU4000芯片設計，高度集成3D深度感知、高精度姿態(tài)跟蹤、SLAM（實(shí)時(shí)定位建圖）引擎與強大的AI算力于一體，可為業(yè)界提供從實(shí)時(shí)3D感知、計算到系統一體化的解決方案。
C158具備業(yè)內領(lǐng)先的深度感知能力，深度分辨率可達1280 x 800 @60fps，感知距離達到6m，深度感知精度誤差僅為1%，滿(mǎn)足了對3D深度性能有高要求的應用。在A(yíng)I性能方面，該產(chǎn)品擁有2 TOPs的AI運算能力和靈活配置，不但能有效地支撐從感知到運算的各種需求，還能減少主控芯片 / 系統的負擔，提高實(shí)時(shí)性。
在功耗方面，C158僅以0.5 W即可實(shí)現5~6 TOPS算力，可輕松滿(mǎn)足設備端功耗要求，并且產(chǎn)品內置的通用型ARM核，支持系統的獨立性，使系統可以同時(shí)兼顧協(xié)處理器和主控系統，為設計提供極大的靈活性。
圖 C158模組：從感知到計算到系統一體化的解決方案
那么，市場(chǎng)上已有一些雙目先驅?zhuān)啾人麄?，銀牛/Inuitive的特色是什么？為此，電子產(chǎn)品世界記者采訪(fǎng)了銀牛微電子領(lǐng)導：董事長(cháng)兼CEO 曲冠誠、聯(lián)合創(chuàng )始人兼首席戰略官白逸、聯(lián)合創(chuàng )始人兼副總裁何火高。
從左至右：銀牛微電子聯(lián)合創(chuàng )始人兼首席戰略官白逸，董事長(cháng)兼CEO曲冠誠，聯(lián)合創(chuàng )始人兼副總裁何火高
4 銀牛與Inuitive的關(guān)系
銀牛是2020年為并購Inuitive而成立的。Inuitive在以色列已經(jīng)有近10年的歷史，是世界上第1家把雙目、SLAM功能（實(shí)時(shí)定位與建圖）技術(shù)、深度學(xué)習功能集成于芯片里的企業(yè)，這個(gè)芯片就是NU4000。
Inuitive具有豐富的設計經(jīng)驗，所有人員的從業(yè)經(jīng)歷平均超過(guò)25年，涉及到8個(gè)頂尖學(xué)科，例如光學(xué)、計算機視覺(jué)、嵌入式系統等，僅僅光學(xué)的儲備能力，在中國都很難找到相匹配的團隊。眾所周知，全球第1個(gè)3D結構光芯片技術(shù)是以色列PrimeSense公司推出的，后來(lái)該公司被蘋(píng)果公司并購，蘋(píng)果于2017年推出了具有支付安全級的人臉識別結構光手機iPhone X。后來(lái)PrimeSense的CTO、項目負責人加入了Inuitive。
2020年，銀牛微電子并購了Inuitive?？梢?jiàn)，銀牛為并購而成立，站在了巨人肩膀上。
并購后，銀牛在Inuitive國際客戶(hù)驗證的基礎上，進(jìn)一步根據中國客戶(hù)的需求來(lái)調優(yōu)產(chǎn)品，發(fā)布了新模組C158。其中“C”代表“China”，代表滿(mǎn)足中國客戶(hù)的需求。
銀牛的戰略定位是成為雙目視覺(jué)領(lǐng)域的異構平臺解決方案提供商。為此，銀牛推出芯片和模組等底層技術(shù)，在此基礎之上再加上各種應用算法，以滿(mǎn)足不同行業(yè)的需求。
2022年銀?？春萌齻€(gè)行業(yè)能夠落地：①輔助駕駛（低速的），②各類(lèi)的機器人，讓機器人更像人，增強跟人的交互，③ AR/VR。下一步，銀牛還看好醫療等方面的應用。
市場(chǎng)上還有一些廠(chǎng)商做類(lèi)似產(chǎn)品，例如英特爾RealSense是雙目的先驅?zhuān)嗄陙?lái)并購了很多公司，有十幾年的儲備，在機器人行業(yè)頗有建樹(shù)。銀牛認為和友商不是競爭的關(guān)系，目前在3D市場(chǎng)興起的時(shí)候，參與的開(kāi)發(fā)者越多越好。
在此領(lǐng)域，銀牛提供差異化的產(chǎn)品。首先銀牛不認為自己是一家單純的AI通用芯片或3D感知芯片供應商，銀牛要做人工智能3D計算時(shí)代IoT和邊緣端完整的異構計算平臺，以及在這個(gè)平臺之上的生態(tài)系統，這就是銀牛的芯片不僅僅能提供3D感知，還有AI、DSP、音視頻處理等功能的原因。
5 技術(shù)挑戰是如何攻克的？
5.1集成了AI等功能，如何降低功耗？
銀牛會(huì )持續在工藝節點(diǎn)上不斷追求更高。NU4000是12nm工藝制程，未來(lái)該系列產(chǎn)品還會(huì )不斷的升級迭代，從現在到2023年的時(shí)間，工藝會(huì )從12nm前進(jìn)到7nm甚至5nm。
從芯片設計角度，低功耗是創(chuàng )始人的特色，從創(chuàng )始人第一天開(kāi)始設計芯片就考慮到的，芯片歷來(lái)都是功耗最低的，他在設計里把運行起來(lái)的過(guò)程，包括從原子層怎么消耗做得非常透徹，這是Inuitive的核心競爭力。為了做到這種程度，很多廠(chǎng)商做3D是在開(kāi)源上改，而Inuitive是用自己的IP，都是從根兒上重新設計。
圖 Inuitive的創(chuàng )始人及聯(lián)合創(chuàng )始人
5.2視覺(jué)SLAM對比激光SLAM的優(yōu)勢
二者各有優(yōu)勢，是相互補充的關(guān)系，尤其視覺(jué)SLAM成本各方面有非常大的優(yōu)勢。
銀牛微電子聯(lián)合創(chuàng )始人兼副總裁何火高判斷，視覺(jué)SLAM和激光SLAM可能是一種融合狀態(tài)，會(huì )采用激光SLAM+視覺(jué)SLAM。如果是融合方案，就能把自主導航應用場(chǎng)景做得更完整。
Inuitive在芯片上做的是視覺(jué)SLAM加速的引擎，能夠讓客戶(hù)更有效地把他們的SLAM移植到Inuitive芯片上，以實(shí)現想要的功能。
5.3 未來(lái)允許第三方廠(chǎng)商直接用芯片設計模組嗎？
銀牛也有芯片客戶(hù)，至于選擇哪種，會(huì )是一種商業(yè)的考量。
3D機器視覺(jué)是剛剛起步的技術(shù)，從目前生態(tài)的成熟度、解決方案成熟度、參與度來(lái)看，還遠遠無(wú)法到拿一個(gè)芯片可以直接用起來(lái)的程度。而且和其他芯片不同的是：3D感知異構計算平臺因為有3D感知部分，它不僅僅是電的問(wèn)題，還是跨學(xué)科的系統工程，從對光學(xué)系統的了解，對視覺(jué)算法，到后面一整套的從生產(chǎn)制造到標定，要求都是非常高的。因此，目前從客戶(hù)和生態(tài)成熟度來(lái)講，去使用芯片的難度非常高，必須要把這些問(wèn)題包裝在起來(lái)，才能賦能整個(gè)3D機器視覺(jué)生態(tài)里的客戶(hù)以更低的門(mén)檻、更低的成本加快研發(fā)和應用的落地。
例如三維空間數學(xué)，盡管很多人都在做，把三維空間數學(xué)添加在應用里的門(mén)檻就很高。有了深度圖給你，有三維空間，而且每個(gè)場(chǎng)景的應用都不一樣，把這個(gè)應用起來(lái)門(mén)檻是非常高的。
5.4 未來(lái)支持結構光和ToF嗎?
銀牛微電子董事長(cháng)兼CEO曲冠誠稱(chēng)，目前我們可以支持結構光，也支持雙目立體，，但是我們更看好雙目未來(lái)的發(fā)展。我們認為結構光的技術(shù)門(mén)檻不是很高，現在雙目的市場(chǎng)需求呈爆發(fā)式增長(cháng)。雙目有著(zhù)天然的優(yōu)勢，因為人的眼睛就是最自然的、感知世界最好的工具，加上我們AI的能力，把眼睛和大腦結合在一起，讓整個(gè)機器能夠更好地感知、理解以及執行任務(wù)。。
實(shí)際上，NU4000現在就可以支持結構光，同時(shí)也支持部分ToF（注：不是全支持TOF，因為T(mén)OF有很多種）。最終的解決方案發(fā)展會(huì )是融合的方案，融合也是有主有輔，即使是融合方案，雙目會(huì )是占最主要的角色，比如配合結構光，或者是TOF，或者是激光測距等等去做更完善的解決方案。我們也是有充足的準備，首先我們的芯片支持結構光，目前TOF也是可以支持，只不過(guò)因為目前看到市場(chǎng)需求，我們相信雙目有它最大的價(jià)值，而且它是更持久、更有生命力的技術(shù)。
評論