【E課堂】一文帶你了解谷歌AlphaGo是怎樣煉成的？

　　李世石對戰AlphaGo慘敗之后，期待中國選手柯潔為人類(lèi)圍棋而戰的呼聲就越來(lái)越高，從未停止!

　　如今，柯潔終于來(lái)到舞臺中央，將于5月23日-27日在中國烏鎮圍棋峰會(huì )與AlphaGo一戰高下!屆時(shí)，AlphaGo與世界排名第一的柯潔將完成三番棋對弈，此次比賽除了AlphaGo與柯潔的世紀對戰之外，還會(huì )采用團隊賽、配對賽的多種形式，中國圍棋代表隊其他成員也將參與。那么，AlphaGo究竟是什么?它是如何煉成的?網(wǎng)易智能帶您一一解讀。

　　歡迎參與投票對于這次人機大戰，你看好柯潔還是AlphaGo

　　毫無(wú)懸念!AlphaGo穩贏(yíng)。

　　柯潔水平高超，我認為柯潔贏(yíng)。

　　一半一半吧，我還沒(méi)想好。 查看結果起止時(shí)間：2017-04-10 至 2017-04-17

　　AlphaGo是什么?

　　AlphaGo是第一個(gè)擊敗人類(lèi)職業(yè)圍棋選手，第一個(gè)戰勝世界冠軍的程序，是圍棋史上最具實(shí)力的選手之一。2016年3月，在全世界超過(guò)一億觀(guān)眾的關(guān)注下，Alpha Go經(jīng)過(guò)3局對弈，最終以4比1的總比分戰勝了圍棋世界冠軍李世石，這場(chǎng)比賽成為了人工智能領(lǐng)域的一個(gè)重要里程碑。

　　過(guò)去曾有專(zhuān)家預測人工智能需要十年的時(shí)間才有可能戰勝人類(lèi)職業(yè)選手，在這場(chǎng)比賽之后，AlphaGo憑借其"充滿(mǎn)創(chuàng )意而又機智"的下法，躋身圍棋界最高職業(yè)稱(chēng)號——職業(yè)九段行列，成為歷史上首個(gè)獲得這一榮譽(yù)的非人類(lèi)棋手。近期，AlphaGo的升級版本以“Master/Magister”的稱(chēng)謂與世界頂級的圍棋選手進(jìn)行60場(chǎng)線(xiàn)上快棋賽，并取得了全勝的出色戰績(jì)。

　　AlphaGo是如何進(jìn)行訓練的?

　　一直以來(lái)，圍棋就被認為是傳統游戲中，對人工智能而言最具挑戰性的項目，這不僅僅是因為圍棋包含了龐大的搜索空間，更是因為對于落子位置的評估難度已遠運超過(guò)了簡(jiǎn)単的啟發(fā)式算法。為了應對圍棋的巨大復雜性，AlphaGo采用了一種新穎的機器學(xué)習技術(shù)，結合了監督學(xué)習和強化學(xué)習的優(yōu)勢，通過(guò)訓練形成一個(gè)策略網(wǎng)絡(luò )(policy network)，將棋盤(pán)上的局勢作為輸入信息,并對所有可行的落子位置生成一個(gè)概率分布。

　　然后，訓練出一個(gè)價(jià)值網(wǎng)絡(luò )(value network)對自我對弈進(jìn)行預測，以-1(對手的絕對勝利)到1(AlphaGo的絕對勝利)的標準，預測所有可行落子位置的結果。這兩個(gè)網(wǎng)絡(luò )自身都十分強大，而AlphaGo將這兩種網(wǎng)絡(luò )整合進(jìn)基于概率的蒙特卡羅樹(shù)搜索(NCTS)中，實(shí)現了它真正的優(yōu)勢。最后，新版的AlphaGo產(chǎn)生大量自我對弈棋局，為下一代版本提供了訓練數據，此過(guò)程循環(huán)往復。

　　注意!此過(guò)程循環(huán)往復，我們人類(lèi)需要吃飯休息，而這個(gè)比你聰明的選手還比你勤奮!

　　Alpha Go如何決定落子?

　　在獲取棋局信息后，Alpha Go會(huì )根據策略網(wǎng)絡(luò )(policy network)探索哪個(gè)位置同時(shí)具備高潛在價(jià)值和高可能性，進(jìn)而決定最佳落子位置。在分配的搜索時(shí)間結束時(shí)，模擬過(guò)程中被系統最頻繁考察的位置將成為Alpha Go的最終選擇。在經(jīng)過(guò)先期的全盤(pán)探索和過(guò)程中對最佳落子的不斷揣摩后，Alpha Go的搜索算法就能在其計算能力之上加入近似人類(lèi)的直覺(jué)判斷。