認真的嗎？讓機器狗當守門(mén)員，還發(fā)了篇論文

機器狗不僅能跑能跳，踢足球、當守門(mén)員都很行。

讓一個(gè)機器狗擔當足球守門(mén)員，靠譜嗎？靠不靠譜，我們先看看效果在下結論。

工作人員一次很溫和的進(jìn)攻，機器狗攔住了球：

加點(diǎn)難度，來(lái)個(gè)拋物線(xiàn)進(jìn)球，也不再話(huà)下：

用手拋球有作弊嫌疑？用腳試試，機器狗也能把球門(mén)守的死死的

有趣的是，該研究還嘗試讓一只機器狗踢球，另一只當守門(mén)員，兩只機器狗自己也能玩挺好：

看完效果，感覺(jué)機器狗當守門(mén)員還挺靠譜。這款機器狗是 MIT 在 2019 年研發(fā)的 Mini Cheetah，現在來(lái)自加州大學(xué)伯克利分校等機構的研究者為 Mini Cheetah 部署了一個(gè)新的強化學(xué)習框架，讓它完成足球守門(mén)任務(wù)，守門(mén)成功率高達 87.5%。

論文地址：https://arxiv.org/pdf/2210.04435.pdf

4 米開(kāi)外踢球

Mini Cheetah 僅用不到 1 秒成功守門(mén)

讓 Mini Cheetah 學(xué)會(huì )守門(mén)還是一件比較難的事，因為這涉及物體（例如球）拋出的高度以及動(dòng)態(tài)移動(dòng)的位置，具體而言，一方操縱一個(gè)快速移動(dòng)的球，球的方向和位置不確定，而另一方需要迅速判斷球的位置以阻止進(jìn)球。想要完成這一任務(wù)，需要教會(huì )機器人動(dòng)態(tài)移動(dòng)它的身體，同時(shí)確保它的腳 (或臉) 到達它們需要及時(shí)阻擋球的地方，這基本上是將兩個(gè)難題結合在一起。

該研究的解決辦法是將運動(dòng)控制器與末端執行器軌跡規劃相結合，這樣一來(lái)就可以找到最佳的方法讓 Mini Cheetah 在球到達目標不到一秒的時(shí)間內，進(jìn)行阻擋。

完成上述過(guò)程，還需要訓練 Mini Cheetah 掌握一套有用的守門(mén)員技能，例如 Mini Cheetah 需要掌握在地面附近和靠近地面的地方對球進(jìn)行側身****、掌握俯沖到達球門(mén)的下角技術(shù)、跳躍到球門(mén)的頂部和上角。做完這些動(dòng)作，Mini Cheetah 都可以恢復并最終安全著(zhù)陸。每個(gè)技能的參考動(dòng)作都是手動(dòng)編程的，在模擬中進(jìn)行訓練，然后直接遷移到機器人上。

Mini Cheetah 防守的球門(mén)寬 1.5m，高 0.9m，球（3 號）從約 4m 外踢出，球被外部跟蹤，然后 Mini Cheetah 攔球。讓這么小的機器狗完成攔球動(dòng)作，其表現是令人印象深刻的。

該研究表明，這款機器狗系統可以將在仿真中學(xué)習到的動(dòng)態(tài)動(dòng)作和守門(mén)員技能遷移到一個(gè)真正的四足機器人上，在現實(shí)世界中，對隨機射門(mén)的守門(mén)成功率為 87.5%。而人類(lèi)足球守門(mén)員的平均成功率是 69%。研究人員表示，他們所提出的框架可以擴展到其他場(chǎng)景，例如多技能足球。

下面我們來(lái)看看支持這款機器狗的背后框架。

分層強化學(xué)習框架

首先，讓四足機器人做足球守門(mén)員是一個(gè)很有挑戰性的問(wèn)題，因為它必須要同時(shí)解決預測物體運動(dòng)軌跡和機器人捕獲非抓握物體（球體）兩個(gè)實(shí)際問(wèn)題。機器人需要在很短的時(shí)間內（通常不到一秒）對空中飛行的球做出反應并****。

為了完成這個(gè)挑戰，研究團隊提出了一個(gè)分層無(wú)模型強化學(xué)習 (RL) 框架。該框架包含一個(gè)針對不同運動(dòng)技能的多個(gè)控制策略，覆蓋了目標的不同區域。

這些控制策略讓機器人能夠跟蹤隨機參數化末端執行器的軌跡，同時(shí)執行特定的運動(dòng)技能，例如跳躍攔球、撲球和順勢攔住地面滾動(dòng)的球。

RL 框架中包含一個(gè)高級規劃器，它幫助機器人確定所需的運動(dòng)技能和規劃末端執行器軌跡，以****飛向不同目標區域的球。

該研究在 MIT 2019 年提出的 Mini Cheetah 四足機器人上部署了上述 RL 框架，實(shí)驗表明這種 RL 框架能夠讓四足機器人有效****現實(shí)世界中快速移動(dòng)的球。

此前對四足機器人 RL 框架的研究主要集中在低級運動(dòng)控制上，例如讓機器人按要求速度步行、模仿參考運動(dòng)。而該研究提出的框架將學(xué)習到的運動(dòng)技能擴展到更高級別的任務(wù)上，成功使用高級規劃讓四足機器人以敏捷的動(dòng)作精確****快速移動(dòng)的足球。這對四足機器人的高級規劃控制具有重要意義。

參考鏈接：https://spectrum.ieee.org/football-robot-mini-cheetah