25分鐘訓練機器人學(xué)會(huì )6個(gè)動(dòng)作，伯克利開(kāi)發(fā)高效機器人操縱框架

量子位 報道 | 公眾號 QbitAI

　　這個(gè)機械臂正在完成夠、拿、移、推、點(diǎn)、開(kāi)等6個(gè)動(dòng)作。

　　而且動(dòng)作嫻熟，還不存在失誤。

　　更令人意外的是，訓練這個(gè)機械臂，只花了短短25分鐘。

　　即使有人為干擾，它也能夠成功完成抓取動(dòng)作。

　　還能抓起以前沒(méi)有見(jiàn)過(guò)的物體形狀。

　　這就是來(lái)自加州大學(xué)伯克利分校的一項新研究——高效機器操作框架Framework for Efficient Robotic Manipulation（FERM），專(zhuān)門(mén)對機械臂進(jìn)行高效率操作的算法訓練。

　　FERM為什么比其他方法效率高?

　　目前來(lái)看，大多數針對機器人訓練的的RL算法效率都不是很好。

　　采用稀疏獎勵的方法訓練Dota5游戲的人機操作，使之成為達到人類(lèi)玩家的高手水平，需要花180年的游戲時(shí)間。

　　訓練一個(gè)機械臂的手勢，則需要上千萬(wàn)的模擬學(xué)習的樣本和兩周的訓練時(shí)間。

　　Sim2Real和模擬學(xué)習這兩個(gè)方法稍微好點(diǎn)。Sim2Real需要接受模擬訓練，再將訓練結果運用到現實(shí)事例中。

　　模擬學(xué)習則需要通過(guò)一系列的專(zhuān)業(yè)訓練示范案例和監督學(xué)習，才能得出最后的訓練策略，實(shí)驗結果非常依賴(lài)于輸入示范案例的質(zhì)量。

　　FERM優(yōu)勢在于，既沒(méi)有依靠模擬訓練轉換到現實(shí)，也不用高度依賴(lài)于輸入的示范案例的質(zhì)量。

　　而是基于非監督性表征學(xué)習和數據擴張技術(shù)，使用了pixel-based RL。

　　因此，它僅僅需要10個(gè)Demo，25分鐘的訓練時(shí)間，就可以讓機器人學(xué)會(huì )六個(gè)動(dòng)作。

　　FERM具體怎么訓練？

　　FERM采用了基于像素的強化學(xué)習（pixel-based RL）方法。

　　具體而言，先收集小部分演示數據，并且將這些數據存放在“回放緩沖區”上。

　　然后，用觀(guān)察結果結合對比損失量，來(lái)對編碼器進(jìn)行預訓練。

　　而后，編碼器和“回放緩沖區”運用一種線(xiàn)下的數據來(lái)加強RL算法，對RL智能體進(jìn)行訓練。

　　在論文中，研究人員總結了FERM主要優(yōu)點(diǎn)：

　　1、高效率：FERM可以學(xué)習6種不同操作任務(wù)的最優(yōu)策略，在15-50分鐘的訓練時(shí)間內完成每項任務(wù)。

　　2、簡(jiǎn)單統一的框架：框架結合現有的組成部分，將無(wú)監督的預訓練和在線(xiàn)RL與數據擴充成一個(gè)單一高效的框架。

　　3、常規輕量設置：實(shí)施起來(lái)只需要一個(gè)機器人、一個(gè)GPU、兩個(gè)攝像頭、幾個(gè)演示，以及稀疏獎勵函數等等。

　　具體的實(shí)驗結果如何？

　　實(shí)驗結果

　　這項實(shí)驗采用像素觀(guān)察的方法執行了一系列任務(wù)。下圖的每一欄顯示了初始、中間、結果等三個(gè)狀態(tài)。只有當機器人完成任務(wù)時(shí)，才會(huì )獲得稀疏獎勵。

　　這個(gè)訓練算法的效率可謂很高了。具體完成時(shí)間如下圖表格所示，在30分鐘左右，它就可以讓機器人學(xué)習操作任務(wù)。而簡(jiǎn)單的“夠”（Reach）動(dòng)作，則只需要三分鐘。

　　實(shí)驗結果稱(chēng)，它不需要很多的Demo，也不需要到大量的設備，首次完成任務(wù)的平均時(shí)間為11分鐘，并且可以在25分鐘內訓練出25分鐘訓練機器人學(xué)會(huì )6個(gè)動(dòng)作，伯克利開(kāi)發(fā)高效機器人操縱框架6個(gè)機械動(dòng)作。

　　所以研究人員驕傲地說(shuō)：

“據我們所知，FERM是第一個(gè)能在不到一小時(shí)的時(shí)間內，能通過(guò)像素點(diǎn)直接完成來(lái)自不同組、采用稀疏獎勵方法的機器操作任務(wù)?！?br/>

　　而根據相關(guān)報告，未來(lái)十年，制造業(yè)將需要460萬(wàn)個(gè)崗位。許多制造商也都在轉向自動(dòng)化生產(chǎn)，機械自動(dòng)化將占比越來(lái)越高。FERM這樣的高效訓練框架，可謂是制造業(yè)福音。

　　參考鏈接：
https://venturebeat.com/2020/12/16/new-framework-can-train-a-robotic-arm-on-6-grasping-tasks-in-less-than-an-hour/