只需不到10小時(shí)訓練 FB的AI就能教會(huì )機器人如何開(kāi)瓶

擁有雙臂的機器人如何去完成像打開(kāi)瓶蓋這樣的任務(wù)呢？按理說(shuō)，應該與人類(lèi)動(dòng)作流程差不多：它需要先用一只手握住瓶子的底部，然后用另一只手抓住瓶蓋并將其擰下來(lái)。這種高層次的步驟序列就是我們所熟知的模式，而且它不受操控對象的幾何和空間狀態(tài)影響。另外一個(gè)好處是，與旨在通過(guò)學(xué)習策略來(lái)解決任務(wù)的強化學(xué)習技術(shù)不同，模式不需要在數小時(shí)、數周甚至數月的學(xué)習過(guò)程中攝取數以百萬(wàn)計的示例進(jìn)行訓練。

最近，Facebook AI研究院（FAIR）的一個(gè)團隊試圖向兩個(gè)機器人Sawyer手臂灌輸從庫中選擇適當技能步驟以完成目標的能力。在每個(gè)時(shí)間步驟里，這兩個(gè)機器手臂必須決定使用哪種技能以及使用哪些參數(例如施加力的位置、用力程度或移動(dòng)這些目標的姿勢)。盡管涉及到許多復雜的問(wèn)題，但該團隊表示，他們的方法提高了學(xué)習效率，使得機器人在經(jīng)過(guò)短短幾個(gè)小時(shí)的培訓后就可以獲得操縱對象的技能。

Facebook研究團隊獲得的關(guān)鍵經(jīng)驗是，對于許多任務(wù)，學(xué)習過(guò)程可以分為兩個(gè)部分：1)學(xué)習任務(wù)模式；2)學(xué)習為不同技能選擇適當參數化的策略。他們斷言，這種方法會(huì )促使機器人獲得更快的學(xué)習效率，部分原因是來(lái)自給定任務(wù)的不同版本數據可以用于提高共享技能。此外，這種方法允許在相關(guān)任務(wù)之間轉移學(xué)習模式。

詳細介紹這項研究的論文的合著(zhù)者解釋稱(chēng)：“舉例來(lái)說(shuō)，假設我們已經(jīng)學(xué)會(huì )了一個(gè)很好的模式，可以在模擬過(guò)程中拾取一個(gè)長(cháng)條。在那里我們可以了解操作對象的姿勢、幾何形狀以及更多信息。然后，我們可以在相關(guān)任務(wù)中重復使用該模式，例如在現實(shí)世界中僅從原始圖片觀(guān)察中拾取托盤(pán)，即使狀態(tài)空間和最佳參數化(例如抓取姿勢)都有很大不同。由于模式是固定的，因此托盤(pán)拾取任務(wù)的策略學(xué)習將非常有效，因為它只需要學(xué)習每項技能的參數?！?/p>

研究人員為上述兩個(gè)機器臂提供了一個(gè)通用的技能庫，如扭轉、舉起和伸手，它們必須將這些技能應用于幾個(gè)涉及不同對象、幾何形狀和初始姿勢的橫向提升、拾取、打開(kāi)和旋轉任務(wù)中。通過(guò)使用低維輸入數據，如幾何和本體感受特征(關(guān)節位置、關(guān)節速度、末端效應器姿勢)進(jìn)行訓練，在MuJoCo(模擬環(huán)境)中學(xué)習模式，然后在模擬和現實(shí)世界中將其轉換為視覺(jué)輸入操作。

在實(shí)驗過(guò)程中，Sawyer手臂配備了攝像頭，并由Facebook的PyRobot開(kāi)源機器人平臺控制，其任務(wù)是操縱9個(gè)家庭物品(如滾針、足球、玻璃罐和T形扳手)，這些物品需要兩個(gè)平行的下顎夾鉗才能與之交互。盡管不得不從原始的視覺(jué)圖像中學(xué)習，但他們表示，其AI系統使用2000種技能學(xué)習操作大多數對象，在大約4到10個(gè)小時(shí)的培訓中，成功率超過(guò)90%。

研究人員寫(xiě)道：“我們已經(jīng)研究了如何利用與狀態(tài)無(wú)關(guān)的技能序列來(lái)極大地提高無(wú)模型強化學(xué)習的樣本效率。此外，我們已經(jīng)在實(shí)驗中證明，將在模擬中學(xué)到的技能序列轉移到現實(shí)世界的任務(wù)中，使我們能夠非常有效地解決圖像中的稀疏獎勵問(wèn)題，從而使訓練真正的機器人執行復雜技能成為可能?！?nbsp;