“AI觸覺(jué)”使靈巧手及電子皮膚更敏感

觸覺(jué)是機器人感知世界的一種非常重要的方式。觸覺(jué)傳感器技術(shù)正不斷進(jìn)步，從傳統的壓阻式、壓電式到如今的柔性觸覺(jué)傳感器、電子皮膚等，技術(shù)迭代速度不斷加快。

其中，AI觸覺(jué)傳感器以及模型的構建對于提升機器人的交互能力和環(huán)境適應性至關(guān)重要。借助這些技術(shù)，他山科技已嘗試讓靈巧手抓取豆腐和薯片等柔性物品。近日，公司市場(chǎng)與生態(tài)副總裁付宜暉在“2025中國人形機器人生態(tài)大會(huì )”上介紹了“AI觸覺(jué)傳感器及模型構建”。

1   第二大傳感器市場(chǎng)——觸覺(jué)

據VMR 的調研，2021年全球觸覺(jué)傳感器市場(chǎng)已超過(guò)112.5億美元，2028年將達到260.8億美元的市場(chǎng)容量。值得一提的是，VRM當年做這個(gè)統計時(shí)，人形機器人市場(chǎng)還沒(méi)有爆發(fā)。

實(shí)際上，人形機的靈巧手是其核心零部件之一，其中觸覺(jué)又是靈巧手的核心能力之一，因此觸覺(jué)舉足輕重，或許會(huì )成為除了視覺(jué)以外的人形機器人的第二大感官，這無(wú)疑給觸覺(jué)傳感器賽道帶來(lái)了一波新的動(dòng)能。

目前這波人形機器人的增長(cháng)浪潮主要得益于A(yíng)I大模型的賦能，因為人形機器人剛好是具身智能的最佳載體，所以催化了人形機器人行業(yè)的崛起。

2   觸覺(jué)的重要性

2024年網(wǎng)上很火的一個(gè)視頻是斯坦福ALOHA團隊做的家務(wù)靈巧手的抓取視頻。然而，在實(shí)際抓取和執行任務(wù)中還有很多問(wèn)題尚待解決。例如雖然有AI大模型的加持，但是當時(shí)更多的是通過(guò)視覺(jué)去解決觸覺(jué)問(wèn)題的。

失去觸覺(jué)會(huì )怎樣？人類(lèi)有一種罕見(jiàn)病是喪失了觸覺(jué)能力，這種患者抓取物品時(shí)，更多的是依賴(lài)視覺(jué)去做行為判斷，因此抓取柔性物品時(shí)容易把柔性易碎的物品抓壞；同時(shí)為了有更多的容錯，患者也會(huì )把手張得很大去抓取。

可見(jiàn)，無(wú)論對于人還是具身機器人，觸覺(jué)感知都是非常重要的。

3   觸覺(jué)感知的痛點(diǎn)

首先是高度適應性算法的缺失。觸覺(jué)和視覺(jué)不同，視覺(jué)底層是基于相應的色度和亮度來(lái)組成數據的。觸覺(jué)的數據是多維的，例如人去抓取物品的時(shí)候，先去判斷是冷是熱，是干性還是油性的，同時(shí)有相應的觸覺(jué)、壓覺(jué)、滑覺(jué)等一系列觸覺(jué)維度，需要把這種多維觸覺(jué)解析出來(lái)。

另外還需要底層的硬件來(lái)做支撐。底層硬件是否能做到高精度的測量？同時(shí)能滿(mǎn)足低延時(shí)、低功耗的需求？

再有，觸覺(jué)是分布式的，就像人類(lèi)全身都有觸覺(jué)。對于機器人，目前至少靈巧手的5 個(gè)指尖有觸覺(jué)，此外還有指腹及手掌，這時(shí)會(huì )涉及多個(gè)觸覺(jué)傳感單元之間的協(xié)同感知與協(xié)同控制。為什么這會(huì )成為一個(gè)重點(diǎn)或痛點(diǎn)？如果拿單獨的一個(gè)觸覺(jué)傳感單元去摸，就會(huì )像盲人摸象一樣片面。因此還要判斷其冷熱和材質(zhì)等，即判斷一系列物理量的變化。

4 整體觸覺(jué)傳感器的結構

遺憾的是，市面上還沒(méi)有這種高度集成化、標準化的解決方案。

整體觸覺(jué)傳感器可拆分成幾部分，首先是五指靈巧手的指尖，還希望能去做相應任務(wù)的執行，因此會(huì )涉及感知及控制一體的效果。核心原因是什么？就像人去抓一杯很燙的水，這時(shí)人為了保護自己，會(huì )下意識地松開(kāi)手。對于機器觸覺(jué)，也希望在邊緣端解決這類(lèi)問(wèn)題。

除了指尖以外，還有指腹及手掌，因此會(huì )要求有一定的空間分辨力。因為在抓取物品的時(shí)候，人可能是通過(guò)手掌來(lái)更多地判斷這個(gè)物品有沒(méi)有碰到，或者碰到了哪個(gè)位置。

另外，機械臂（大小臂或大小腿）往往需要做防碰撞檢測，以便在未來(lái)人機交互等場(chǎng)景下有安全性保證。

對于軀干，在具身本體中會(huì )涉及人機交互及環(huán)境感知的能力，就會(huì )要求觸覺(jué)傳感器有較好的一致性，無(wú)論是單獨觸覺(jué)傳感器的相應數據的一致性，還是不同批次傳感器的一致性，這是保證底層數據可用、可去建立模型的基礎，同時(shí)還有魯棒性、穩定性及耐久力。

5   觸覺(jué)是場(chǎng)景“泛化”的關(guān)鍵支撐

為什么現在觸覺(jué)更重要？在最早的工業(yè)產(chǎn)線(xiàn)中，較少提到觸覺(jué)的原因是由于工業(yè)產(chǎn)線(xiàn)中完成的更多的是既定目標，所有的任務(wù)目標、運動(dòng)控制及相應的力都是提前預設好的。但是在具身或人形機器人方面，2024年業(yè)界提得最多的一個(gè)詞是“泛化”，即如何在不同的應用中，能泛化地去做場(chǎng)景的閉環(huán)。

對于觸覺(jué)系統，人們把觸覺(jué)的執行分成了三個(gè)部分——抓取、移動(dòng)和遞交，來(lái)支撐不同場(chǎng)景的泛化能力的閉環(huán)。

●   抓取。在抓到物品時(shí)，可以把一系列的觸覺(jué)維度信號去解析，例如接觸覺(jué)、壓覺(jué)、滑覺(jué)、溫濕覺(jué)、力矩覺(jué)等，同時(shí)在這個(gè)過(guò)程中實(shí)現自適應力的抓取。這里有一個(gè)原則是施與目標物體最小的力，使其不產(chǎn)生滑動(dòng)，就可以判斷是把這個(gè)物品抓住了。

例如在抓豆腐時(shí)，靈巧手停頓了一下，是因為在這個(gè)過(guò)程中，靈巧手在判斷這塊豆腐有沒(méi)有被抓牢？如果豆腐產(chǎn)生了滑動(dòng)，這時(shí)靈巧手就去調整，以便抓得更緊一些，然后再去做下一步動(dòng)作。這就是去實(shí)現自適應力抓取的過(guò)程。

●   移動(dòng)。在移動(dòng)和遞交的過(guò)程中，例如去端一杯水，或者抓一個(gè)柔性的材質(zhì)，在移動(dòng)過(guò)程中，其重心或形態(tài)會(huì )時(shí)時(shí)發(fā)生變化。反推觸覺(jué)傳感器，就要求能對這種實(shí)時(shí)三維的力去做相應的感知。在這個(gè)過(guò)程中體現更多的是實(shí)時(shí)摩擦力的感知。

所以他山科技的解決方案是對法向力、切向力等做實(shí)時(shí)的感知，而并非是通過(guò)算法反推去實(shí)現的。因為通過(guò)算法反推，在一些場(chǎng)景下，相應的算法可能會(huì )失效。

首先動(dòng)態(tài)抓取屬于靜摩擦力的一個(gè)場(chǎng)景。如果是基于一維力傳感器，其實(shí)沒(méi)有去做相應的運動(dòng)軌跡和趨勢的判斷，所以感知不到靜摩擦力的變化。例如在倒水過(guò)程中，如果基于觸覺(jué)傳感器來(lái)實(shí)現，可以通過(guò)自適應力調節去抓得更緊一些。

●   遞交。在遞交過(guò)程中，目前大部分人形機器人把物品扔或丟下，核心問(wèn)題是因為觸覺(jué)感知的缺乏。他山科技可以實(shí)現實(shí)時(shí)的對靜摩擦力去做感知和判斷。

在他山科技的演示圖中，在人把物品放下的時(shí)候，由于桌面的支持力和靜摩擦力會(huì )做相應的抵消，所以這個(gè)值上也會(huì )有瞬態(tài)的變化。這樣就可以實(shí)現平穩地把物品放下，或者是在人機交互的場(chǎng)景中，可以把物品去遞交給人。

他山科技在展會(huì )上還演示了直接去做物品的泛化抓取和遞交的動(dòng)作。

6   AI觸覺(jué)專(zhuān)用芯片

在觸覺(jué)賽道，他山科技有自研的底層芯片——已經(jīng)開(kāi)發(fā)完成首顆芯片——Ruby并流片。

與市面上常用的面向AI視覺(jué)去支撐AI相關(guān)的ANN算法不同，他山科技是面向AI 觸覺(jué)去支撐SNN（脈沖神經(jīng)網(wǎng)絡(luò )）算法。因SNN 低延時(shí)、低功耗，更適用于異步架構的特性。

他山科技的底層芯片是一個(gè)數?；旌系腁I 觸感芯片，有數字端相應的MCU，以及包括模擬端的高精度的信號鏈芯片。核心在于一個(gè)CDC，另外有數字、模擬雙流的架構，可以去支撐分區、分級的SNN 的架構，并且基于雙流可以實(shí)現級聯(lián)，可以做到多個(gè)芯片以及觸覺(jué)傳感器的大規模部署。

他山科技的芯片出爐時(shí)，有專(zhuān)家評價(jià)是：是全球首款的數?；旌螦I觸感芯片，也是第一款基于SNN的分布式類(lèi)腦產(chǎn)業(yè)化應用芯片。

該芯片的核心——模擬芯片部分也做了與國際模擬芯片三大廠(chǎng)的對標，在核心指標中也有超越。

6.1 靈巧手于機械臂

●   接觸類(lèi)

在面向靈巧手的方向，他山科技提供了幾種觸覺(jué)傳感器產(chǎn)品。有單點(diǎn)的觸覺(jué)傳感器，以及多點(diǎn)的、點(diǎn)陣的產(chǎn)品。

單點(diǎn)的基于立體結構，有更好的靈敏度及傾向力的感知。

多點(diǎn)是目前商用較多的形態(tài)，在實(shí)時(shí)三維力和切向力的感知基礎上，可以很好地對位置和方向去做判斷。點(diǎn)陣是針對一些客戶(hù)對于位置或空間分辨率有訴求的場(chǎng)景，例如面向二指夾爪、三指夾爪、五指靈巧手等末端執行器的需求。

另外，他山科技也做到了多個(gè)觸覺(jué)單元的協(xié)同感知，以便去做一定量的材質(zhì)識別，或者提高抓取的成功率。

●   非接觸類(lèi)

他山科技也做了一些非接觸的空間感知的訓練。例如可以通過(guò)非接觸來(lái)識別相應物體的材質(zhì)，像塑料或玻璃這種視覺(jué)不太容易區分的材質(zhì)做到了一定程度的有效區分。

在機械臂的場(chǎng)景中，人們更多在意的是人機交互的過(guò)程中的安全性防護。他山科技的方案可以實(shí)現非接觸式的人體避障。

早期，該方案布設在了某一個(gè)關(guān)節，現在無(wú)論是機械臂的關(guān)節，還是整個(gè)機械臂，甚至機器人的本體上，他山科技都已經(jīng)落地了一些應用，可以去提供7~10cm的非接觸/ 防碰撞。

他山科技也做到了多層感知，即使隔著(zhù)一本書(shū)，也能檢測到后面是否有人手，從而去實(shí)現相應的人體避障。

6.2 本體/軀干

針對于機器人的本體/ 軀干方面，他山科技更多的是側重大面積點(diǎn)陣的觸覺(jué)傳感器，來(lái)去提高人形機器人和人機交互過(guò)程中的應用。同時(shí)會(huì )基于柔性材料去適配一些本體需求。

6.3 模型

他山科技一直在做觸覺(jué)相關(guān)的模型，整體上，它和視覺(jué)是非常不同的，有幾個(gè)特點(diǎn)。首先，觸覺(jué)的數據屬于離散型，而視覺(jué)（諸如雙目攝像頭）的兩個(gè)攝像頭之間是有一定的相關(guān)性的，所以做模型時(shí)，會(huì )有一些相關(guān)性去做支撐。但是觸覺(jué)不一樣，是非常離散的——不同的觸覺(jué)傳感單元接觸到一些位置的時(shí)候，其數據很難找到關(guān)聯(lián)性。

其次，當人們通過(guò)柔性觸覺(jué)傳感器去抓一個(gè)物品時(shí)，屬于柔性對柔性的過(guò)程。在采集數據時(shí)，會(huì )發(fā)現每次抓取時(shí)，底層的數據值都會(huì )發(fā)生變化，所以這無(wú)疑給模型帶來(lái)了較大的挑戰和難度。在這里，他山科技積累了50萬(wàn)+的針對不同目標物體抓取的數據庫。

他山科技在2024年發(fā)表了一篇論文，提到基于不同的觸覺(jué)傳感器做了一系列的抓取測試，以及針對底層不同空間分辨率的觸覺(jué)傳感器做了一系列的實(shí)驗室測試，最終的結論是相應的觸覺(jué)傳感器的數據稠密度和它的感知精度并非正相關(guān)的關(guān)系，會(huì )有一個(gè)最精密以及最優(yōu)質(zhì)的空間分辨率的點(diǎn)，然后來(lái)去做相應的這種抓取。

在整個(gè)觸覺(jué)感知的底層數據的維度，他山科技目前做了一系列標準，也是希望可以跟整個(gè)行業(yè)一起去建立底層觸覺(jué)相關(guān)的標準。

另外，他山科技也希望可以推動(dòng)不同的技術(shù)路徑，以及觸覺(jué)相關(guān)的數據的共享和互通，以便更好地去支撐觸覺(jué)維度的模型的建立。

在2024年，他山科技也有幸參與了人形機器人和具身智能的標準制定，參考了自動(dòng)駕駛的L1到L5，劃分成了G1到G5。

在G1階段，更多的是工廠(chǎng)階段，在G2、G3階段，可以做到日常生活中的任務(wù)的執行，G5是未來(lái)最終通用的智能化?，F在大部分廠(chǎng)商已處于G1~G3的階段，想一步到G5還是有較大的難度。

7   數據混合

在數據融合之前，提倡做相應的數據混合。

如何理解數據混合？當人形機器人通過(guò)視覺(jué)去獲取一段長(cháng)任務(wù)，然后把長(cháng)任務(wù)拆解成一系列的子任務(wù)，通過(guò)專(zhuān)有技術(shù)去支撐和執行完成每一個(gè)相應子任務(wù)的閉環(huán)。

拆解完之后，由觸覺(jué)能力去執行相應的一些能力閉環(huán)，然后去支撐任務(wù)的發(fā)展。其實(shí)在這種任務(wù)混合/ 數據混合的階段，已經(jīng)可以較好地去落地一些垂直場(chǎng)景的應用。

除此之外，還有觸覺(jué)的空間感知的能力。他山科技也是基于自己底層的針對不同目標的相應的觸覺(jué)感知的數據庫，再做數據的合成/ 混合的訓練，包括在模擬仿真環(huán)境以及真實(shí)環(huán)境中的遷移算法的應用。

8   關(guān)于他山科技

公司2017年底成立，研發(fā)團隊由清華大學(xué)和曼徹斯特大學(xué)人員組成。先是解決了觸覺(jué)算法的問(wèn)題，方法是把多維的觸覺(jué)感知信號解析出來(lái)，后面又流了底層的芯片，形成了軟硬件一體的完整的解決方案。

在人形機器人方向，主要是提供觸覺(jué)傳感器和電子皮膚。

團隊方面，算法團隊由清華團隊組成，從傳感器到芯片的團隊是由曼大和清華團隊一起做的支撐。

他山科技在2022年芯片成功流片，2023、2024年有較多的機器人相關(guān)的投入。公司累計申請了有200多項專(zhuān)利，其中發(fā)明專(zhuān)利占80多項，核心的觸覺(jué)傳感器相關(guān)專(zhuān)利有40多個(gè)。

除了傳感器本身，還有模型，他山科技已經(jīng)在推進(jìn)觸覺(jué)感知模擬仿真的內測，預計在2025 年二季度發(fā)布。他山科技的靈巧手的指尖的觸覺(jué)傳感器，可以抓取易碎的材質(zhì)，像雞蛋或者薯片等材質(zhì)，以及柔性的豆腐。

芯片方向：目前面向具身的芯片已經(jīng)量產(chǎn)，下一步還有面向車(chē)規和家電消費的芯片。

（本文來(lái)源于《EEPW》202505）