谷歌讓機器人在云端協(xié)同學(xué)習 新技能高效get

　　什么?谷歌最近又有大動(dòng)作?他們計劃加速機器人學(xué)習進(jìn)程，讓更多機器人通過(guò)分享它們的經(jīng)驗，獲取更多技能點(diǎn)?

　　是的!Google Brainteam的Sergey Levine以及來(lái)自Alphabet的Deep Mind和Google X實(shí)驗室的高手們通力合作，在幾天前發(fā)了篇博文，說(shuō)他們接下來(lái)要打造一個(gè)叫“多機器人通用技能學(xué)習”的機制。

　　眾所周知，指導機器人做一些日常生活中最基本的事情已經(jīng)困擾所有機器人學(xué)家幾十年了。為了解決這個(gè)問(wèn)題，谷歌科學(xué)家們決定讓兩大當紅科技創(chuàng )新炸子雞強強聯(lián)手，看看能不能搞個(gè)大新聞。其一是云機器人——這個(gè)概念認為機器人可以在線(xiàn)分享數據和技能;另一個(gè)便是機器學(xué)習，也就是通過(guò)應用深度神經(jīng)網(wǎng)絡(luò )讓機器人實(shí)現自主學(xué)習。

　　在科學(xué)家們進(jìn)行的一系列實(shí)驗中，獨立的機械臂會(huì )不斷重復一個(gè)指定的任務(wù)。不出意外的是，在長(cháng)時(shí)間的任務(wù)執行過(guò)程中，每個(gè)機器人的技術(shù)水平都會(huì )得到一定提高，它能學(xué)會(huì )適應外部環(huán)境以及自身運動(dòng)的輕微變化。但是，谷歌團隊并沒(méi)有就此滿(mǎn)足。他們把機器人習得的這些經(jīng)驗輸進(jìn)一個(gè)大數據庫里，從中建立技能模型，如此一來(lái)，機器人就可以更快更好地完成任務(wù)。

　　“機器人學(xué)習到的技能(比如推東西、開(kāi)門(mén)等等)還是相對簡(jiǎn)單了點(diǎn)，但是通過(guò)快速高效的集體學(xué)習，在未來(lái)機器人的行動(dòng)會(huì )更加豐富，這樣它們就可以在日常生活中為人們提供各種各樣的輔助了。”

　　早前，Levine和來(lái)自GoogleX實(shí)驗室的同事們展示了深度學(xué)習網(wǎng)絡(luò )是如何幫助機器人自學(xué)抓物的。在那項研究中，一組機械臂不停地抓抓抓，抓了大概八萬(wàn)多次，簡(jiǎn)直喪心病狂。盡管一開(kāi)始它們總是失敗連連，但是通過(guò)神經(jīng)網(wǎng)絡(luò )的不斷訓練，成功率便有了顯著(zhù)的提高。

　　在最近的一項實(shí)驗中，谷歌科學(xué)家們測試了三個(gè)不同的場(chǎng)景。

　　第一個(gè)場(chǎng)景中，機器人從試驗和錯誤實(shí)踐中直接學(xué)習運動(dòng)技巧。每個(gè)機器人從一套神經(jīng)網(wǎng)絡(luò )開(kāi)始，嘗試一次一次地開(kāi)門(mén)。每隔一段時(shí)間，這些機器人們就會(huì )把它們性能數據傳輸給中央服務(wù)器，這個(gè)服務(wù)器會(huì )利用數據打造一個(gè)全新的神經(jīng)網(wǎng)絡(luò )，從而更好地分析運動(dòng)和成功率之間的關(guān)系。接著(zhù)，這個(gè)服務(wù)器會(huì )把更新完成的神經(jīng)網(wǎng)絡(luò )傳輸給機器人。“因為這個(gè)更新了的網(wǎng)絡(luò )對動(dòng)作幅度的估測更加精準，所以機器人們的表現會(huì )更好”，科學(xué)家們寫(xiě)道。“這個(gè)過(guò)程可以無(wú)限循環(huán)往復，從而不斷提高機器人執行任務(wù)的能力。”

　　在第二個(gè)場(chǎng)景中，科學(xué)家們希望機器人可以學(xué)習如何與物體互動(dòng)，這個(gè)互動(dòng)的過(guò)程不只限于試驗和錯誤實(shí)踐，還包括建立內物體、環(huán)境以及它們自身行為的內部模型。比如，在剛剛提到的開(kāi)門(mén)任務(wù)中，每個(gè)機器人都會(huì )有自己的一套神經(jīng)系統，它們會(huì )和各種不同的物體互動(dòng)。這些機器人會(huì )分享它們的經(jīng)驗，然后一起打造科學(xué)家們口中所謂的“單獨預測模型”，讓它們更好地了解與它們發(fā)生互動(dòng)的物體。你可以通過(guò)單獨一個(gè)機器人打造類(lèi)似的預測模型，但是如果融合了許多機器人的經(jīng)驗的話(huà)，這個(gè)過(guò)程會(huì )快很多。

　　在第三個(gè)場(chǎng)景中，機器人在學(xué)習過(guò)程中會(huì )得到來(lái)自人類(lèi)的幫助。要知道，人類(lèi)和外界物體以及整個(gè)世界互動(dòng)的過(guò)程中，總是有很多直覺(jué)。而在一些控制技能的幫助下，我們可以把這些所謂的直覺(jué)轉化到機器人身上，讓它們更好地學(xué)習這些技能。在實(shí)驗中，一個(gè)科學(xué)家幫助一組機器人，開(kāi)啟各種不一樣的門(mén)，而一個(gè)中央服務(wù)器控制的單獨的神經(jīng)系統會(huì )對它們的行動(dòng)進(jìn)行編程。接著(zhù)，這些機器人會(huì )反復進(jìn)行一系列的試驗和錯誤實(shí)踐，這個(gè)實(shí)踐的難度會(huì )慢慢攀升，好讓神經(jīng)網(wǎng)絡(luò )不斷升級。“試驗和錯誤學(xué)習以及人類(lèi)指導的結合，讓機器人在幾個(gè)小時(shí)內，可以一起學(xué)習如何開(kāi)門(mén)，”科學(xué)家們寫(xiě)道，“因為機器人訓練開(kāi)了各種外表不一樣的門(mén)，所以在決勝局中，機器人們要開(kāi)一扇它們從未見(jiàn)過(guò)的有一個(gè)把手的門(mén)。”這些科學(xué)家，小算盤(pán)打得溜溜的。

　　谷歌團隊認為，它們的機器人的水平目前還是非常有限的。但是他們希望隨著(zhù)機器人和算法的進(jìn)步和普及，集體學(xué)習能讓機器人執行任務(wù)的能力大大提升：

　　在以上提到的三項實(shí)驗中，機器人之間交流、交換經(jīng)驗的能力讓它們能更好更快地學(xué)習。尤其是當我們將機器人學(xué)習和深度學(xué)習融合到一起的時(shí)候，交換經(jīng)驗的重要性就更不容忽視了。老早以前，我們就知道，在有大量訓練數據的情況下，深度學(xué)習的運作會(huì )非常棒。比如，IamgeNet標準檢查程序就利用了超過(guò)一百五十萬(wàn)經(jīng)過(guò)分析的數據。而這些大量的數據，是不可能由單獨一個(gè)機器人在幾年的時(shí)間內收集到的。然而，如果是幾個(gè)機器人協(xié)同作戰的話(huà)，數周內我們就可以獲取等量的數據。