ALphaGo再進(jìn)化，新一代ALphaGo Zero誕生

　　據外媒報道，英國DeepMind團隊的人工智能研究取得了新進(jìn)展：他們開(kāi)發(fā)出了新一代的圍棋AI-ALphaGo Zero。使用了強化學(xué)習技術(shù)的ALphaGo Zero，棋力大幅度增長(cháng)，可輕松擊敗曾經(jīng)戰勝柯潔、李世石的ALphaGo。

　　戰勝柯潔之后，ALphaGo可以說(shuō)在圍棋界里已是“獨孤求敗”的境界了，幾乎沒(méi)有人類(lèi)是它的對手。但是這并不代表ALphaGo就已經(jīng)對圍棋領(lǐng)域的認知達到了頂峰。因此，ALphaGo想要再上一層樓追求圍棋知識的上限，顯然只有它自己能成為自己的老師。

　　而在過(guò)去，AlphaGo都是使用業(yè)余和專(zhuān)業(yè)人類(lèi)棋手的對局數據來(lái)進(jìn)行訓練。雖然使用人類(lèi)棋手的數據可以讓ALphaGo學(xué)習到人類(lèi)的圍棋技巧，但是人類(lèi)專(zhuān)家的數據通常難以獲得且很昂貴，加上人類(lèi)并不是機器，難免會(huì )出現失誤情況，失誤產(chǎn)生的數據則可能降低ALphaGo的棋力。因此，ALphaGo Zero采用了強化學(xué)習技術(shù)，從隨即對局開(kāi)始，不依靠任何人類(lèi)專(zhuān)家的對局數據或者人工監管，而是讓其通過(guò)自我對弈來(lái)提升棋藝。

　　那么到底什么是強化學(xué)習技術(shù)呢?簡(jiǎn)單地說(shuō)，強化學(xué)習就是讓AI從中學(xué)習到能夠獲得最大回報的策略。AlphaGo Zero的強化學(xué)習主要包含兩個(gè)部分，蒙特卡洛樹(shù)搜索算法與神經(jīng)網(wǎng)絡(luò )算法。在這兩種算法中，神經(jīng)網(wǎng)絡(luò )算法可根據當前棋面形勢給出落子方案，以及預測當前形勢下哪一方的贏(yíng)面較大;蒙特卡洛樹(shù)搜索算法則可以看成是一個(gè)對于當前落子步法的評價(jià)和改進(jìn)工具，它能夠模擬出AlphaGo Zero將棋子落在哪些地方可以獲得更高的勝率。假如AlphaGoZero的神經(jīng)網(wǎng)絡(luò )算法計算出的落子方案與蒙特卡洛樹(shù)搜索算法輸出的結果越接近，則勝率越大，即回報越高。因此，每落一顆子，AlphaGo Zero都要優(yōu)化神經(jīng)網(wǎng)絡(luò )算法中的參數，使其計算出的落子方案更接近蒙特卡洛樹(shù)搜索算法的結果，同時(shí)盡量減少勝者預測的偏差。

　　AlphaGo Zero的自我強化學(xué)習，圖片源自Nature

　　剛開(kāi)始，AlphaGoZero的神經(jīng)網(wǎng)絡(luò )完全不懂圍棋，只能盲目落子。但經(jīng)歷無(wú)數盤(pán)“左右互搏”般的對局后，AlphaGo Zero終于從從圍棋菜鳥(niǎo)成長(cháng)為了棋神般的存在。

　　DeepMind團隊表示，他們發(fā)現AlphaGo Zero自我對弈僅幾十天，就掌握了人類(lèi)幾百年來(lái)來(lái)研究出來(lái)的圍棋技術(shù)。由于整個(gè)對弈過(guò)程沒(méi)有采用人類(lèi)的數據，因此ALphaGo Zero的棋路獨特，不再拘泥于人類(lèi)現有的圍棋理論，

　　DeepMind團隊還表示，這個(gè)項目不僅僅是為了獲得對圍棋更深的認識，AlphaGoZero向人們展示了即使不用人類(lèi)的數據，人工智能也能夠取得進(jìn)步。最終這些技術(shù)進(jìn)展應該被用于解決現實(shí)問(wèn)題，如蛋白質(zhì)折疊或者新材料設計。這將會(huì )增進(jìn)人類(lèi)的認知，從而改善每個(gè)人的生活。