“3D空間計算”助力機器人“慧眼識界”

3D空間計算是機器人的基本要素，是智能識別、自主決策、精確控制的基礎。

3D空間計算的關(guān)鍵技術(shù)是“3D視覺(jué)+AI”。只有依靠AI的3D視覺(jué)和強大的算力，才可以支撐開(kāi)發(fā)更智能、性?xún)r(jià)比更高的新一代機器人應用。

2024年4月，芯明副總裁周凡博士在上?！?024中國人形機器人生態(tài)大會(huì )”上，介紹了該公司在3D空間計算方面的技術(shù)及解決方案。

1   3D空間技術(shù)——人機交互的新起點(diǎn)

隨著(zhù)各種芯片、AI技術(shù)的成熟和落地，人機交互的方式也在發(fā)生變革，從過(guò)去PC時(shí)代到現在的移動(dòng)時(shí)代，操控方式從鍵盤(pán)鼠標，到觸摸屏、語(yǔ)音、手勢識別等，這些看似小小的改變已為我們的生活方式帶來(lái)了翻天覆地的變化。

現在我們正處于空間智能的時(shí)代——是對我們生活方式的又一場(chǎng)大變革的起點(diǎn)。因為3D空間計算能夠實(shí)現真實(shí)物理世界和虛擬世界的融合，包括智能設備與真實(shí)世界之間的互動(dòng)。

空間計算概念大概15~20年前就已經(jīng)有了，專(zhuān)注人和機器的交互，通過(guò)機器操縱真實(shí)世界的標的物。

為了達到這個(gè)目的，芯明深耕3D空間計算技術(shù)。3D空間計算技術(shù)可用于很多行業(yè)，包括人形機器人/自主移動(dòng)機器人在內的泛機器人、自動(dòng)駕駛、智能制造以及人們的娛樂(lè )社交等，在未來(lái)幾年會(huì )帶來(lái)翻天覆地的變化。

2   3D空間計算的痛點(diǎn)及解決方案

3D空間計算的基礎是機器視覺(jué)。因為機器人/人形機器人要能去理解真實(shí)的物理世界，就需要機器視覺(jué)。機器視覺(jué)技術(shù)已越來(lái)越成熟，但還有三個(gè)痛點(diǎn)：首先，2D視覺(jué)已經(jīng)無(wú)法滿(mǎn)足越來(lái)越復雜的終端需求，很多行業(yè)需要從2D升級到3D。其次，升級到3D以后，傳統的做法是用性能較強的通用芯片或FPGA去運行軟件化的3D算法。這種方法的優(yōu)點(diǎn)是靈活性高，但也存在一些缺板：①延時(shí)、功耗、系統成本較大。②對于一些較高的性能需求，諸如低延時(shí)、高分辨率/高幀率，用常規的軟件算法或FPGA很難實(shí)現。③隨著(zhù)很多應用對真實(shí)世界的感知越來(lái)越復雜，這些設備加在一起的價(jià)格比較昂貴。第三個(gè)痛點(diǎn)是適用于復雜場(chǎng)景的3D感知設備價(jià)格昂貴，傳統的多傳感器融合會(huì )大幅增加系統成本及復雜度。

因此行業(yè)的共識是：必須要完成2D到3D的技術(shù)升級，最好的方法是3D算法芯片化，因為只有從最底層的芯片去關(guān)注需求和進(jìn)行創(chuàng )新，才能更好地去服務(wù)于應用和提高產(chǎn)品力。而且芯片的集成度要高，最好做成單芯片方案，把系統/機器人的需求全部在設計芯片時(shí)就開(kāi)始進(jìn)行考量，這樣整體的解決方案才能有競爭力。

3   芯明的3D空間計算單芯片解決方案

●   芯片層面

芯明是專(zhuān)門(mén)做空間計算及AI芯片和產(chǎn)品設計的高科技企業(yè)，是全球少有的已大規模量產(chǎn)單芯片解決方案的公司，包括3D視覺(jué)感知、AI引擎、實(shí)時(shí)定位和建圖的硬件引擎。

芯明的全球總部坐落于合肥，并在上海、以色列、北京和深圳設有子公司和分公司。在空間計算的專(zhuān)利方面，已經(jīng)在美國和中國有專(zhuān)利保護墻，有超過(guò)110項專(zhuān)利。目前量產(chǎn)的芯片是12nm制程。

芯明在3D空間計算方面的核心競爭力是從客戶(hù)的需求/終端應用場(chǎng)景出發(fā)，把需求帶到芯片設計里。因此，芯明芯片的實(shí)時(shí)3D立體視覺(jué)感知能力很強，FHD（全高清，1080p）可以達到60幀，720p可以做到120幀?？紤]到很多行業(yè)應用的需要，包括SLAM（同步定位和地圖構建），芯明還做了芯片內建模塊的支持方案，包括運動(dòng)到顯示的延時(shí)——異步時(shí)間扭曲延遲做到1 ms；而傳統用 GPU進(jìn)行訓練去做的方案一般在20~30 ms。芯明芯片內部也自建了一個(gè)神經(jīng)網(wǎng)絡(luò )的引擎，目前量產(chǎn)的芯片算力可達到3.5TOPS，且功耗很低，最低可小于1 W，能夠同時(shí)支持6路攝像頭，這意味著(zhù)從3D視覺(jué)感知角度，可以同時(shí)支持3個(gè)獨立的深度流。

芯明已量產(chǎn)的芯片有：NU4000和NU4100，它們作為系統的協(xié)處理器，有較強的邊緣計算能力，可以幫助大幅降低整個(gè)系統的成本和功耗。

NU4500是芯明即將推出的最新款芯片，預計今年年底會(huì )去做tape out。其核心算力及AI引擎將做大幅提升。對于很多應用，NU4500可以作為主控芯片來(lái)應用。

●   視覺(jué)模組

由于很多機器人客戶(hù)很難直接使用芯片，為此，芯明推出了搭載其自研空間計算芯片的視覺(jué)模組，可覆蓋不同的視覺(jué)范圍，諸如長(cháng)、中、短距離；適合不同的接口要求，諸如以太網(wǎng)、USB、GSM等。根據不同的應用，芯明的視覺(jué)模組可滿(mǎn)足不同的防水防塵等級，諸如IP65、IP67等；也有不同的技術(shù)支持，可提供全套的解決方案，包括人形機器人的3D視覺(jué)感知系統、低空物流無(wú)人機、虛擬數字人（注：數字人也是真實(shí)世界和物理世界的一種轉換），包括現在較為火爆的3D手持空間掃描儀、MR頭顯和養老終端/機器人等，芯明都能夠提供端到端的全棧解決方案。

●   算法庫

多年來(lái)，芯明也積累了眾多算法庫，它們都是基于真實(shí)的應用和解決方案，經(jīng)過(guò)不斷的迭代，形成可以復用的算法庫，使客戶(hù)可以比較快速地開(kāi)發(fā)產(chǎn)品和推出他們的新應用。

4   人形機器人的解決方案

對于人形機器人，芯明的3D空間計算單芯片解決方案主要是從兩個(gè)維度來(lái)賦能： ①幫助實(shí)現具身智能；②幫助實(shí)現更多的精細操作。

●   具身智能

對于具身智能，芯明的解決方案主要從兩個(gè)方面來(lái)幫助人形機器人去更好地實(shí)現。

首先，芯明專(zhuān)注空間智能技術(shù)的創(chuàng )新和研發(fā)，能夠提供高精度實(shí)時(shí)的空間計算，幫助機器人更好地去感知周?chē)恼鎸?shí)世界。

在傳統的語(yǔ)音、文本和圖像等基本模態(tài)基礎之上，芯明可以幫助加入3D點(diǎn)云的模態(tài)，從而用增強多模態(tài)的關(guān)鍵技術(shù)，幫助人形機器人提高智能水平和邏輯自洽，以提高機器人對物理世界的理解和判斷，實(shí)現更好的認知和互動(dòng)。

現在國內外研究表明，3D空間多模態(tài)大模型實(shí)現的難點(diǎn)是需要海量數據用作訓練，對算力和訓練數據要求非常高。例如，很多機器人，包括訓練疊衣服、做飯、倒咖啡等，最缺乏的是一個(gè)可以用作訓練的數據庫。芯明擁有三維空間多模態(tài)大模型數據庫，借助三維空間數據，大幅降低多模態(tài)大模型對訓練數據的海量要求，大幅提高訓練結果的準確度，幫助大模型的發(fā)展擺脫對算力和數據量的過(guò)度依賴(lài)，，幫助機器人針對特定應用來(lái)提高訓練效果和準確度。

芯明能夠提供不同的視覺(jué)子系統解決方案，例如有的安裝在頭部，可做前視和環(huán)視，其芯片和模組有很強的邊緣計算能力，幀速率、分辨率很高，以幫助機器人在頭部對周?chē)奈锢硎澜缱?D感知和理解。

●   更精細的操作

為了幫助機器人做更精細的操作，芯明在機器人的手腕、指尖也有相應的解決方案。例如在指尖，可以提供一個(gè)定制化的超短基線(xiàn)的模組。芯明的空間計算技術(shù)已應用于牙科的口掃儀（牙醫用來(lái)掃牙、做牙模等）。把該技術(shù)經(jīng)過(guò)優(yōu)化后，可應用到機器人的指尖，在幫助機器人做精細操作的同時(shí)，還能做很精確的物理距離識別和判斷。

總之，針對機器人的頭、手、腰和手腕，芯明有全套的視覺(jué)解決方案，幫助機器人實(shí)現更精確的操作。

5   結束語(yǔ)

在客戶(hù)合作方面，芯明已經(jīng)和國內眾多人形機器人的頭部企業(yè)和高校進(jìn)行了深入合作。

從3D視覺(jué)系統和三維多模態(tài)大模型這兩個(gè)維度，芯明可幫助機器人實(shí)現感知和識別，包括平穩的步態(tài)和精細操作。通過(guò)大模型幫助機器人更好地認識和理解真實(shí)的三維世界，去提高機器人的整體運動(dòng)能力、操作能力，包括AI、類(lèi)人的認知水平，助力人形機器人的發(fā)展。