再一次輸給了AI,彎道急速超車(chē)、登上 Nature 封面
作者 | 學(xué)術(shù)頭條
來(lái)源 | 學(xué)術(shù)頭條
人工智能(AI)的很多潛在應用,涉及與人類(lèi)交互時(shí)做出更優(yōu)化的實(shí)時(shí)決策,而競技或者博弈類(lèi)游戲,便是最佳的展示舞臺。
近日,發(fā)表在《自然》雜志上的封面文章報告稱(chēng),AI 在賽車(chē)對戰游戲 Gran Turismo(GT賽車(chē))中戰勝了世界冠軍級人類(lèi)玩家。這個(gè) AI 程序名為“Gran Turismo(GT)Sophy”,是一種神經(jīng)網(wǎng)絡(luò )驅動(dòng)程序,它在遵守賽車(chē)規則的同時(shí),展現出了超凡的行駛速度、操控能力和駕駛策略。
完成這項 AI 程序研發(fā)的核心團隊來(lái)自索尼 AI 事業(yè)部(Sony AI),《GT賽車(chē)》系列游戲是日本 Polyphony Digital 公司開(kāi)發(fā),忠實(shí)再現了真實(shí)賽車(chē)的非線(xiàn)性控制挑戰,封裝了復雜的多智能體交互,該游戲在索尼 PlayStation 及 PSP 等游戲主機平臺上皆有發(fā)行,是一款極具擬真感操縱體驗的熱門(mén)賽車(chē)游戲。
假如有此 AI 程序的加持,人類(lèi)玩家估計再也跑不過(guò)加強版的單機程序了吧?
研究人員認為,此項成果或讓賽車(chē)游戲變得更有意思,并能提供用來(lái)訓練職業(yè)賽車(chē)手和發(fā)現新賽車(chē)技巧的高水平比賽。這種方法還有望應用在真實(shí)世界的系統中,比如機器人、無(wú)人機和自動(dòng)駕駛汽車(chē)等。
賽道里的速度與激情
駕駛賽車(chē)需要極大的技巧?,F代一級方程式賽車(chē)展示了驚人的工程精度,然而,這項運動(dòng)的受歡迎程度與其說(shuō)與汽車(chē)的性能PK有關(guān),不如說(shuō)與頂級車(chē)手在將汽車(chē)性能發(fā)揮到極限時(shí)所表現出的技巧和勇氣有關(guān)。一個(gè)多世紀以來(lái),賽道上的成功一直充滿(mǎn)著(zhù)速度和激情。
賽車(chē)比賽的目標很簡(jiǎn)單:如果你比競爭對手在更短的時(shí)間內跑完賽道,你就贏(yíng)了。然而,實(shí)現這一目標需要極其復雜的物理戰,馳騁賽道需要小心使用輪胎和道路之間的摩擦力,而這種摩擦力是有限的。
為了贏(yíng)得比賽,車(chē)手必須選擇讓汽車(chē)保持在不斷變化的摩擦極限內的軌跡上。轉彎時(shí)剎車(chē)太早,你的車(chē)就會(huì )慢下來(lái),浪費時(shí)間。剎車(chē)太晚,當你接近轉彎最緊的部分時(shí),你將沒(méi)有足夠的轉彎力來(lái)保持你想要的路線(xiàn)軌跡。剎車(chē)太猛,可能會(huì )導致車(chē)體旋轉。
因此,職業(yè)賽車(chē)手非常擅長(cháng)在整個(gè)比賽中一圈接一圈地發(fā)現并保持賽車(chē)的極限。
盡管賽車(chē)的操縱極限很復雜,但它們在物理上可以得到很好的描述,因此,它們可以被計算或學(xué)習是理所當然的。
近年來(lái),深度強化學(xué)習(DRL)已成為 Atari、星際爭霸和 Dota 等領(lǐng)域 AI 研究里程碑的關(guān)鍵組成部分。為了讓 AI 對機器人技術(shù)和自動(dòng)化產(chǎn)生影響,研究人員必須證明能夠成功控制復雜的物理系統,此外,AI 技術(shù)的許多潛在應用要求在接近人類(lèi)的情況下相互作用,同時(shí)尊重不精確的人類(lèi)規范,汽車(chē)比賽正是充滿(mǎn)這些挑戰的典型領(lǐng)域。
圖|游戲比賽數據對比(來(lái)源:Nature)
近年來(lái),利用全尺寸、大規模和模擬車(chē)輛,自主賽車(chē)的研究不斷加速。一種常見(jiàn)的方法是預先計算軌跡,并使用模型預測控制來(lái)執行這些軌跡。然而,當在摩擦的絕對極限下行駛時(shí),微小的建模誤差可能是災難性的。
與其他車(chē)手比賽對 AI 建模精度提出了更高的要求,并引入了復雜的空氣動(dòng)力學(xué)相互作用,進(jìn)一步促使工程師改進(jìn)控制方案,以不斷預測和適應賽道的最優(yōu)軌跡,有朝一日,無(wú)人駕駛汽車(chē)下賽道與人類(lèi)車(chē)手一決高下,也并非空談。
“AI賽車(chē)手”的煉成
在 GT Sophy 的開(kāi)發(fā)過(guò)程中,研究人員探索了各種使用機器學(xué)習來(lái)避免建模復雜性的方法,包括使用監督學(xué)習來(lái)建模車(chē)輛動(dòng)力學(xué),以及使用模仿學(xué)習、進(jìn)化方法或強化學(xué)習來(lái)學(xué)習駕駛策略。
為了取得成功,賽車(chē)手必須在四個(gè)方面具備高度技能:(1)賽車(chē)控制,(2)賽車(chē)戰術(shù),(3)賽車(chē)禮儀和(4)賽車(chē)策略。
為了控制汽車(chē),車(chē)手們對他們的車(chē)輛動(dòng)力學(xué)和賽道的特性有詳細的了解。在此基礎上,駕駛者建立所需的戰術(shù)技能,通過(guò)防守對手,執行精確的演習。同時(shí),駕駛員必須遵守高度精煉但不精確的體育道德規則,最后,車(chē)手在模擬對手、決定何時(shí)以及如何嘗試超車(chē)時(shí),會(huì )運用戰略思維。
模擬賽車(chē)是一個(gè)需要在具有高度真實(shí)、復雜物理環(huán)境中進(jìn)行實(shí)時(shí)、連續控制的領(lǐng)域,GT Sophy 在這種環(huán)境下的成功首次表明,在一系列汽車(chē)和賽道類(lèi)型中,有可能訓練出比頂尖人類(lèi)賽車(chē)手更好的人工智能代理。
這一結果可以被視為是計算機在國際象棋、圍棋、冒險、****牌和星際爭霸等競爭性任務(wù)持續發(fā)展的另一個(gè)重要步驟。
圖|GT Sophy 的訓練(來(lái)源:Nature)
值得注意的是,GT Sophy 在短短幾個(gè)小時(shí)內就學(xué)會(huì )了繞道而行,并超過(guò)了數據集中 95% 的人類(lèi)選手,它又訓練了九天時(shí)間,累計駕駛時(shí)間超過(guò)了 45000 小時(shí),跑圈時(shí)間減少了十分之一秒,直到圈速停止改善。
單憑進(jìn)步獎勵還不足以激勵AI程序贏(yíng)得比賽。如果人類(lèi)對手的速度足夠快,AI程序將學(xué)會(huì )跟隨,并在不冒潛在災難性碰撞風(fēng)險的情況下嘗試積累更多獎勵,實(shí)現超車(chē)。
為了評估 GT Sophy,研究人員在兩項賽事中讓 GT Sophy 與頂級 GT 車(chē)手進(jìn)行了較量,GT Sophy 在所測試的三條賽道上都取得了超人的計時(shí)表現,它能夠執行幾種類(lèi)型的轉彎,有效地利用漂移,擾亂后面車(chē)輛,****對手并執行其他緊急操縱。
盡管 GT Sophy 展示了足夠的戰術(shù)技能,但仍有許多方面有待改進(jìn),尤其是在戰略決策方面。例如,GT Sophy 有時(shí)會(huì )在同一條跑道上留出足夠的空間,讓對手有機可乘。
圖|AI 車(chē)手超越人類(lèi)玩家(來(lái)源:Nature)
競技游戲外更值得關(guān)注
關(guān)于電子競技、博弈類(lèi)的游戲,AI 能戰勝人類(lèi)早已經(jīng)不是什么稀奇事,而且可以肯定的是,AI 還會(huì )越來(lái)越強,即便是人類(lèi)頂尖選手也只能甘拜下風(fēng),但能贏(yíng)電子比賽并沒(méi)有太多懸念和意義,關(guān)鍵還是看這些超越人類(lèi)的 AI 程序如何切實(shí)攻克產(chǎn)業(yè)瓶頸,真實(shí)造福人類(lèi)生活。
1996 年 2 月 10 日,超級電腦 Deep Blue 首次挑戰國際象棋世界冠軍 Kasparov 以 2:4 落敗。1997 年 5 月再度挑戰,最終Deep Blue 以 3.5:2.5 擊敗了 Kasparov ,成為首個(gè)在標準比賽時(shí)限內擊敗國際象棋世界冠軍的電腦系統。
但 Deep Blue 的缺陷是沒(méi)有直覺(jué),不具備真正的“智能靈魂”,只能靠超強的計算能力彌補分析思考方面的缺陷,贏(yíng)得比賽的 Deep Blue 很快也退役了。
2016 年 3 月,谷歌 AI 的 AlphaGo 在四場(chǎng)比賽中擊敗了圍棋世界冠軍李世石,被認為是 AI 真正意義上的里程碑,AlphaGo 當時(shí)使用了蒙特卡洛樹(shù)搜索與兩個(gè)深度神經(jīng)網(wǎng)絡(luò )相結合的方法,在這種設計下,電腦可像人類(lèi)大腦一樣自發(fā)學(xué)習進(jìn)行分析訓練,不斷學(xué)習提高棋力。
自此之后,各類(lèi) AI 程序新秀層出不窮,2018 年 12 月 10 日,DeepMind 針對即時(shí)戰略游戲星際爭霸開(kāi)發(fā)的人工智能 AlphaStar 能完虐全球 99.8% 的人類(lèi)職業(yè)選手。
無(wú)疑,現在的 GT Sophy 又是一個(gè) AI 勝利的延續。
來(lái)自斯坦福大學(xué)機械工程系教授 J.Christian Gerdes 認為,GT Sophy 研究所帶來(lái)的影響也許能遠遠超出電子游戲范疇,隨著(zhù)許多公司致力于完善運送貨物或乘客的全自動(dòng)車(chē)輛,關(guān)于軟件中有多少應該使用神經(jīng)網(wǎng)絡(luò ),以及有多少應該僅基于物理,值得進(jìn)一步去探索。
總的來(lái)說(shuō),在感知和識別周?chē)h(huán)境中的物體時(shí),神經(jīng)網(wǎng)絡(luò )是無(wú)可爭議的冠軍。然而,軌跡規劃仍然是物理和優(yōu)化領(lǐng)域,GT Sophy 在游戲賽道上的成功表明,神經(jīng)網(wǎng)絡(luò )有一天可能會(huì )在自動(dòng)化車(chē)輛的軟件中發(fā)揮比今天更大的作用。
更具挑戰性的可能是每圈的變化。真實(shí)情況下,賽車(chē)的輪胎狀況在每圈之間都會(huì )發(fā)生變化,人類(lèi)駕駛員必須在整個(gè)比賽過(guò)程中適應這種變化。GT Sophy 能用更多的數據做同樣的事情嗎?這些數據從何而來(lái)?這將使得人工智能有更多進(jìn)化空間。
參考資料:
https://www.nature.com/articles/s41586-021-04357-7
https://www.nature.com/articles/d41586-022-00304-2
*博客內容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權請聯(lián)系工作人員刪除。
衰減器相關(guān)文章:衰減器原理