DeepMind與Waymo合作提高AI精度 加速模型訓練

據美國科技媒體Venturebeat報道，谷歌的兩家兄弟公司——Waymo與DeepMind正在合作。他們最近在一篇博客文章中透露，雙方共同開(kāi)發(fā)受進(jìn)化生物啟發(fā)的技術(shù)。

Waymo解釋說(shuō)，AI算法通過(guò)反復試驗和試錯來(lái)自我改進(jìn)。模型被賦予一個(gè)任務(wù)，需要通過(guò)根據其收到的反饋，持續嘗試和調整，來(lái)學(xué)習如何完成任務(wù)。任務(wù)的完成情況很大程度上取決于訓練的方案，而尋找最合適的訓練方案經(jīng)常是經(jīng)驗豐富的研究人員和工程師的工作。他們精心挑選接受培訓的AI模型，剔除表現最差的模型并釋放資源，從零開(kāi)始訓練新算法。

DeepMind在PBT（基于人口的訓練）中設計了一種勞動(dòng)密集度較低的方法，該方法從隨機變量（超參數）生成的多個(gè)機器學(xué)習模型開(kāi)始。模型定期進(jìn)行評估，并以進(jìn)化的方式互相競爭，從而表現不佳的模型會(huì )被“后代”取代（具有微量變異變量的表現更好的模型的副本）。PBT不需要從零開(kāi)始重新訓練，因為每個(gè)后代都會(huì )繼承父網(wǎng)絡(luò )的狀態(tài)，并且整個(gè)訓練過(guò)程中會(huì )積極更新超參數。最終結果是，PBT可以將其大量資源用于訓練“好的”超參數值。

PBT并不完美——它傾向于優(yōu)化當前，但并不考慮長(cháng)期結果，這就不利于后期發(fā)展的AI模型。為了緩解這種情況，DeepMind的研究人員培訓了大量模型（“人口”）并創(chuàng )建稱(chēng)為“利基”的子人口，其中算法只會(huì )跟他們自己子群中的模型競爭。

在最近數項研究中，DeepMind和Waymo已嘗試將PBT應用于行人、自行車(chē)和摩托車(chē)的識別任務(wù)，目的是調查算法是否進(jìn)一步提升。最終，兩家公司希望訓練處一個(gè)AI模型，可以保持99%以上的總體障礙物識別率，并減少誤報。

Waymo表示，這些實(shí)驗為評估真實(shí)世界模型的穩健性提供了一個(gè)“現實(shí)的”框架，這反過(guò)來(lái)又為PBT的算法選擇競爭提供了依據。他們還稱(chēng)，實(shí)驗還反應了用快速評估支持進(jìn)化競爭的需求；PBT模型可以每15分鐘評估一次。

結果令人印象深刻。Waymo表示，PBT算法可以實(shí)現更好的精度，與手工調整的等效物相比，誤報率可以減少24%，而識別率仍舊維持在較高水平。此外，PBT算法還可以節省時(shí)間和資源。

Waymo稱(chēng)，其已經(jīng)將PBT直接納入Waymo的技術(shù)基礎架構，使得公司的研究人員都可以通過(guò)點(diǎn)擊按鈕來(lái)應用該算法。公司在博客中寫(xiě)道：“PBT可以讓我們超越用于訓練神經(jīng)網(wǎng)絡(luò )的更新規則，并向著(zhù)能夠優(yōu)化我們需要之功能的復雜指標?！?/p>