如何幫助機器人集中注意力并為應用有效助力

該系統幫助機器人專(zhuān)注于重要的事情，使用聲音和圖像來(lái)猜測人類(lèi)的目標，并快速安全地提供正確的幫助。

使用麻省理工學(xué)院開(kāi)發(fā)的新型相關(guān)性框架，該機器人可以識別場(chǎng)景中的物體并確定其優(yōu)先級，以無(wú)縫、智能和安全的方式自主協(xié)助人類(lèi)。鳴謝：鳴謝：由研究人員提供

機器人發(fā)現現實(shí)世界很難理解。麻省理工學(xué)院制作了一個(gè)名為“相關(guān)性”的系統，以幫助機器人專(zhuān)注于重要的事情。它使用聲音和圖像來(lái)猜測一個(gè)人想要什么并迅速提供幫助。

該團隊用自助早餐對其進(jìn)行了測試。該機器人使用攝像頭和麥克風(fēng)，通過(guò)觀(guān)察和傾聽(tīng)來(lái)向人們遞咖啡。它猜對了 90% 的目標，96% 的時(shí)間選擇了正確的對象，事故減少了 60%。

尋找焦點(diǎn)

該團隊構建了一個(gè)機器人，其工作方式類(lèi)似于大腦的 RAS，幫助它專(zhuān)注于重要的事情而忽略其余的事情。首先，機器人使用攝像頭和麥克風(fēng)進(jìn)行觀(guān)察和傾聽(tīng)，將所見(jiàn)所聞發(fā)送給 AI，后者會(huì )找到人、物體、動(dòng)作和關(guān)鍵詞。其次，它檢查是否有任何重要的事情發(fā)生，例如一個(gè)人進(jìn)入房間。如果它看到一個(gè)人，第三步就開(kāi)始了：機器人弄清楚這個(gè)人想要什么，并找到合適的物品來(lái)提供幫助，比如挑選杯子和奶精，而不是水果和零食。

幫助程序模式

研究人員通過(guò)模擬會(huì )議自助早餐的實(shí)驗測試了他們的新系統。他們之所以選擇這種設置，是因為 Breakfast Actions 數據集已公開(kāi)發(fā)布，其中包含顯示常見(jiàn)早餐活動(dòng)（如煮咖啡、煮煎餅、制作麥片和煎蛋）的視頻和圖像。每個(gè)視頻和圖像都標有具體的作和總體目標，例如 “煮咖啡” 或 “煎蛋”。

利用這個(gè)數據集，該團隊在其 AI 工具包中訓練和測試了不同的算法，以識別人類(lèi)行為，找出人的目標，并確定需要幫助的對象。在他們的實(shí)驗中，他們設置了一個(gè)機械臂和夾持器，然后要求機器人在人們接近一張裝滿(mǎn)飲料、小吃和餐具的桌子時(shí)協(xié)助他們。當周?chē)鷽](méi)有人時(shí)，機器人的 AI 會(huì )在后臺悄悄地工作，對桌子上的物體進(jìn)行標記和分類(lèi)。但是，當檢測到人類(lèi)時(shí)，機器人會(huì )立即切換到其相關(guān)性階段，根據 AI 預測的目標快速找到對人類(lèi)最有幫助的對象。