公開(kāi)反駁！數據科學(xué)家直指DeepMind，“強化學(xué)習無(wú)法實(shí)現通用人工智能”

以下文章來(lái)源于學(xué)術(shù)頭條 ，作者學(xué)術(shù)頭條

今年 6 月，DeepMind 首席研究科學(xué)家、倫敦大學(xué)學(xué)院教授 David Silver 及其合作者在一篇題為 “ Reward is enough ” 的論文中指出，人工智能及其相關(guān)能力不是通過(guò)制定和解決復雜問(wèn)題而產(chǎn)生的，而是通過(guò)堅持一個(gè)簡(jiǎn)單而強大的原則：獎勵最大化。

Silver 等人認為，簡(jiǎn)單的獎勵是豐富環(huán)境中的代理人開(kāi)發(fā)多屬性智能的全部需要，而這種多屬性智能正是實(shí)現通用人工智能所需的全部。

但很顯然，并不是所有人都同意這一觀(guān)點(diǎn)。

近日，數據科學(xué)家 Herbert Roitblat 就針對 DeepMind 團隊提出的這一觀(guān)點(diǎn)提出了反駁意見(jiàn)。在他看來(lái)，雖然 Silver 等人的說(shuō)法聽(tīng)起來(lái)像是一個(gè)大膽的主張，但事實(shí)上卻很模糊，甚至幾乎毫無(wú)意義。

值得一提的是，Roitblat 也是 Algorithms Are Not Enough: How to Create Artificial General Intelligence  一書(shū)的作者。

產(chǎn)生智能的前提存在誤導

據了解，第一個(gè)試圖證明單一學(xué)習機制就足夠的重要項目是 B.F. Skinner 的行為主義版本，以他的 Verbal Behavior 一書(shū)為代表。這本書(shū)受到了美國哲學(xué)家 Noam Chomsky（1959 年）的嚴厲批評，Chomsky 稱(chēng) Skinner 試圖解釋人類(lèi)的語(yǔ)言產(chǎn)生是 “戲劇表演科學(xué)” 的例子；第二個(gè)主要建議是由 Rumelhart 和 McClelland（1986年）提出的側重于英語(yǔ)動(dòng)詞過(guò)去式學(xué)習的建議，但遭到了 Lachter 和 Bever（1988年）的嚴厲批評，認為他們通過(guò)選擇的特定方式來(lái)表示他們的聯(lián)結主義系統正在學(xué)習轉換的單詞的音位特性，其中包含使系統成功的特定信息。

圖 | 以行為主義研究而聞名的美國心理學(xué)家 Burrhus Frederic Skinner（來(lái)源：Wikipedia）

之所以前面的這兩次嘗試都失敗了，是因為他們屈服于確認偏見(jiàn)。正如 Silver 等人所做的那樣，他們報告了與假設相一致的數據，而沒(méi)有考慮可能的替代性解釋?zhuān)麄儗⒛＠鈨煽傻臄祿忉尀橹С中缘?。這三個(gè)項目都沒(méi)有考慮到他們模型中的隱性假設，如果沒(méi)有這些隱含的 TRICS（Lachter 和 Bever 對 "其關(guān)鍵假設的表征" 的稱(chēng)呼），這些系統中就不會(huì )存在“智能”。

Silver 等人更進(jìn)一步，還提出它足以達到智能，特別是足以解釋通用人工智能。Silver 等人的論點(diǎn)可以歸納為以下三個(gè)命題：

獎勵最大化足以產(chǎn)生智能?！蔼剟钭畲蠡耐ㄓ媚繕俗阋则寗?dòng)表現出自然和人工智能中所研究的大多數（如果不是全部）能力的行為?！?/p>

智力是實(shí)現目標的能力?！爸橇梢员焕斫鉃閷?shí)現目標的靈活能力?！?/p>

成功是通過(guò)最大化獎勵來(lái)衡量的?！耙虼?，成功是通過(guò)最大化獎勵來(lái)衡量的?！?/p>

簡(jiǎn)而言之，他們提出智能的定義是使獎勵最大化的能力，同時(shí)他們用獎勵的最大化來(lái)解釋智力的出現。繼 17 世紀作家莫里哀（Molière）之后，一些哲學(xué)家將這種論證稱(chēng)為 virtus dormativa（一種誘導睡眠的美德）。當被要求解釋為什么鴉片會(huì )導致睡眠時(shí)，莫里哀在 Imaginary Invalid 中的單身漢（bachelor）回答說(shuō)，它有安眠的屬性（一種誘導睡眠的美德）。當然，這只是對正在尋求解釋的屬性的命名。獎勵最大化在 Silver 的假設中起著(zhù)類(lèi)似的作用。實(shí)現目標既是智能的過(guò)程，也解釋了智能的過(guò)程。

圖 | “Reward is enough” 的假設，假定智力及其相關(guān)能力可以被理解為在其環(huán)境中行動(dòng)的主體促進(jìn)獎勵的最大化（來(lái)源：ScienceDirect）

之所以 Chomsky 批評 Skinner 的方法，是因為該方法假設任何表現出來(lái)的行為都必須有一些獎勵。如果有人看著(zhù)一幅畫(huà)說(shuō) "荷蘭語(yǔ)"，Skinner 的分析假設是，這幅畫(huà)的某些特征一定會(huì )因為“荷蘭語(yǔ)”的表達而受到獎勵。但是，Chomsky 認為，這個(gè)人可以說(shuō)任何其他的東西，包括 "彎曲的"、"可怕的"或 "讓我們吃點(diǎn)午餐"。Skinner 無(wú)法指出導致這些言論的具體特征，也不能提供任何證據來(lái)證明該言論在該特征存在的情況下曾被獎勵過(guò)。

引用一位 18 世紀法國作家 Voltaire 的話(huà)說(shuō)，他的博士 Pangloss 在 Candide 中曾這樣說(shuō)："請注意，鼻子的形成是為了承受眼鏡，因此我們有了眼鏡。" 一定有一個(gè)問(wèn)題可以通過(guò)任何特征來(lái)解決，在這種情況下，他聲稱(chēng)鼻子的形成只是為了讓眼鏡可以被托起。Pangloss 還表示："可以證明......事物不可能不是本來(lái)的樣子；因為一切都是為了一個(gè)目的而創(chuàng )造的，一切都必然是為了最好的目的。" 

智能的誘發(fā)存在多種影響因素

Silver 等人在論文中寫(xiě)道：“當與智能相關(guān)的能力作為獎勵最大化的單一目標的解決方案出現時(shí)，這實(shí)際上可能提供了一個(gè)更深入的理解，因為它解釋了為什么這種能力會(huì )出現。相反，當每一種能力被理解為其自身專(zhuān)門(mén)目標的解決方案時(shí)，為了關(guān)注該能力的作用，為什么的問(wèn)題就被繞開(kāi)了?！?/p>

而 Roitblat 的觀(guān)點(diǎn)是：對 Silver 等人來(lái)說(shuō)，這個(gè)目的就是一個(gè)解決問(wèn)題的方法，而智能的學(xué)習正是為了這個(gè)目的，但我們不一定知道這個(gè)目的是什么，也不知道是什么環(huán)境特征誘發(fā)了它，但一定有什么東西。

Gould 和 Lewontin (1979) 很好地利用 Pangloss 博士批評他們所謂的進(jìn)化生物學(xué)中的 “適應主義者（ adaptationist ）” 或“過(guò)分樂(lè )觀(guān)者（ Panglossian ）”范式。適應主義的核心原則是，任何特征都必須有一個(gè)適應性的解釋。

他們指出，威尼斯圣馬可大教堂的高裝飾拱門(mén)（兩個(gè)拱門(mén)相交處近似三角形形狀）是一個(gè)建筑特征，源于選擇設計四個(gè)拱門(mén)的大教堂，而不是建筑設計的驅動(dòng)力。拱門(mén)的選擇決定了壁爐的位置，而不是壁爐的位置決定拱門(mén)。一旦建筑師選擇了拱門(mén)，拱肩是必要的，而且可以進(jìn)行裝飾。Gould 和 Lewontin 說(shuō)：“每個(gè)扇形拱頂都必須有一系列沿拱頂中線(xiàn)的開(kāi)放空間，即扇形兩側在支柱之間相交的地方。由于這些空間必須存在，所以它們經(jīng)常被用來(lái)達到巧妙的裝飾效果?！?/p>

圖 | 威尼斯圣馬可大教堂的拱肩（來(lái)源：Michael Vadon under Creative Commons license）

Gould 和 Lewontin 給出了另一個(gè)例子，對阿茲臺克人祭祀同類(lèi)相食的適應性解釋。阿茲特克人從事活人祭祀。從適應主義的角度解釋是，祭祀制度是解決肉類(lèi)長(cháng)期短缺問(wèn)題的方法。受害者的四肢經(jīng)常被社區中的某些地位高的成員吃掉。這種 “解釋” 認為，構成這一精心設計的儀式性謀殺的神話(huà)、象征和傳統系統是對肉的需求的結果，而事實(shí)可能恰恰相反。每一位新國王都必須超越他的上一任，為更多的人獻上越來(lái)越精致的祭品。這種做法似乎使阿茲特克帝國的經(jīng)濟資源日益緊張。其他蛋白質(zhì)來(lái)源很容易獲得，只有某些已經(jīng)擁有足夠食物的特權人士才會(huì )吃犧牲的受害者的某些部分。如果目標是讓饑餓的人吃到肉，那么人們會(huì )期望他們能夠更有效地利用受害者，并更廣泛地傳播食物來(lái)源。對肉的需求不太可能成為人類(lèi)犧牲的原因；相反，它似乎是其他文化習俗的結果，這些習俗實(shí)際上對阿茲特克文明的生存不適應。

引用 Silver 等人迄今為止的論點(diǎn)，如果目標是成為富人，那么只要積累大量的金錢(qián)就足夠了。用積累金錢(qián)就可以用成為富人的目標來(lái)解釋?zhuān)蔀楦蝗说亩x是積累了大量的金錢(qián)。強化學(xué)習沒(méi)有解釋一個(gè)人如何去積累金錢(qián)或為什么這應該是一個(gè)目標。他們認為，這些都是由環(huán)境決定的。

Silver 等人認為，如果一個(gè)智能體可以不斷調整其行為以提高其累積獎勵，那么其環(huán)境反復要求的任何能力最終都必須在智能體的行為中產(chǎn)生。

在Silver 等人在自然智能和通用人工智能之間進(jìn)行了類(lèi)比，并指出 “動(dòng)物的經(jīng)驗流足夠豐富和多樣的，它可能需要一種靈活的能力來(lái)實(shí)現各種各樣的子目標（例如覓食、戰斗或逃跑），以便成功地最大化其整體獎勵（例如饑餓或繁殖）。類(lèi)似地，如果一個(gè)人工智能代理的經(jīng)驗流足夠豐富，那么許多目標（例如電池壽命或生存）可能隱含地需要實(shí)現同樣廣泛的子目標的能力，因此獎勵的最大化應該足以產(chǎn)生一種通用的人工智能?！?/p>

Roitblat 反駁道，只靠獎勵本身其實(shí)是不夠的，至少環(huán)境也發(fā)揮了作用。但適應的內容遠不止這些。適應需要一個(gè)變異性的來(lái)源，從中可以選擇出某些特征。進(jìn)化生物學(xué)中這種變異的主要來(lái)源是突變和重組。任何生物體的繁殖都涉及到將基因從父母那里復制到孩子身上。復制的過(guò)程并不完美，并且會(huì )出現錯誤。其中許多錯誤是致命的，但也有一些不是，然后可用于自然選擇。在有性繁殖的物種中，每一個(gè)親本都貢獻了其基因的一個(gè)副本（以及任何潛在的錯誤），這兩個(gè)副本允許通過(guò)重組產(chǎn)生額外的變異性，一些來(lái)自一個(gè)親本的基因，一些來(lái)自另一個(gè)親本的基因傳遞給下一代。

圖 | 英國生物學(xué)家 Dawkins（來(lái)源：Flickr）

獎勵是選擇。僅此而已，這是不夠的。正如 Dawkins 所指出的，進(jìn)化獎勵是將特定基因傳遞給下一代。獎勵是在基因層面，而不是在生物體或物種層面。任何能增加基因從一代傳給下一代的機會(huì )的東西，都是對這種獎賞的調解，但請注意，基因本身并沒(méi)有能力成為智能。

除了獎勵和環(huán)境，其他因素也在進(jìn)化和強化學(xué)習中發(fā)揮著(zhù)作用。獎勵只能從現有的原材料中進(jìn)行選擇。如果我們將一只老鼠扔進(jìn)一個(gè)洞穴，它就不會(huì )像蝙蝠一樣學(xué)會(huì )飛行和使用聲納。積累足夠的突變需要多代甚至數百萬(wàn)年的時(shí)間，即便如此，也不能保證它能進(jìn)化出與蝙蝠一樣的解決洞穴問(wèn)題的方法。強化學(xué)習是一個(gè)純粹的選擇性過(guò)程。強化學(xué)習是提高行動(dòng)概率的過(guò)程，這些行動(dòng)共同構成了處理某種環(huán)境的政策。這些行動(dòng)必須已經(jīng)存在，才能被選中。至少就目前而言，這些行動(dòng)是由進(jìn)化中的基因和人工智能中的程序設計師提供的。

針對這一問(wèn)題，Silver 等人在論文中也提到，在不同的環(huán)境中實(shí)現不同的獎勵最大化可能會(huì )導致不同的、強大的智能形式，每一種智能都會(huì )表現出自己令人印象深刻的、但又無(wú)法比擬的一系列能力。一個(gè)好的獎勵最大化的代理將利用其環(huán)境中存在的任何元素，但某種形式的智能的出現并不以它們的具體內容為前提。

理論與現實(shí)的結合

正如 Lachter 和 Bever 所指出的那樣，學(xué)習并不像 Silver 等人所聲稱(chēng)的那樣從 "白板"（ Tabula rasa ）開(kāi)始，而是從一組代表性的承諾開(kāi)始。Skinner 的大部分理論都基于動(dòng)物的強化學(xué)習，尤其是鴿子和老鼠。他和許多其他研究人員在嚴酷的環(huán)境中研究了它們。

對于老鼠來(lái)說(shuō)，那是一個(gè)房間，里面有一個(gè)供老鼠按壓的杠桿和一個(gè)提供獎勵的喂食器。老鼠除了在短距離內徘徊并接觸杠桿外，沒(méi)有什么其他可以做的。鴿子也在一個(gè)包含啄食鍵（通常是墻上的一個(gè)有機玻璃圈，可以被照亮）和一個(gè)提供獎勵的谷物喂食器的環(huán)境中接受了類(lèi)似的測試。在這兩種情況下，動(dòng)物都有一種預先存在的偏見(jiàn)，即以行為學(xué)家希望的方式作出反應。事實(shí)證明，即使沒(méi)有獎勵，老鼠也會(huì )接觸杠桿，鴿子也會(huì )在黑暗的盒子里啄食發(fā)光的鑰匙。這種以理想方式做出反應的傾向使得訓練動(dòng)物變得容易，研究者可以不費吹灰之力地研究獎勵模式的影響。但多年后人們才發(fā)現，選擇杠桿或啄食鑰匙并不只是一種任意的便利，而是一種未被承認的 "幸運選擇"。

當 Rumelhart 和 McClelland 建立他們的過(guò)去式學(xué)習者時(shí)，同樣未被承認的幸運選擇發(fā)生了。他們選擇的表征恰好反映了他們希望他們的神經(jīng)網(wǎng)絡(luò )能夠學(xué)習的信息。這不是單純依靠一般學(xué)習機制的 “白板”。Silver 等人在題為 “A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play” 的論文中指出，在開(kāi)發(fā) AlphaZero 時(shí)也很 "幸運"，他們在本文中提到了這一點(diǎn)。他們在提出這一主張的同時(shí)，對 AlphaZero 進(jìn)行了更詳細的說(shuō)明。

他們的結果表明，一個(gè)通用的強化學(xué)習算法可以在沒(méi)有特定領(lǐng)域的人類(lèi)知識或數據的情況下學(xué)習“白板”，同一算法在多個(gè)領(lǐng)域的成功學(xué)習證明了這一點(diǎn)，在多個(gè)具有挑戰性的游戲中表現出了超人的表現。

他們還指出，AlphaZero 用深度神經(jīng)網(wǎng)絡(luò )、通用強化學(xué)習算法和通用樹(shù)形搜索算法取代了傳統游戲程序中使用的手工知識和特定領(lǐng)域的增強功能。

他們不包括明確的針對游戲的計算指令，但確實(shí)包括了人類(lèi)對解決問(wèn)題的重大貢獻。例如，他們的模型包括一個(gè) "神經(jīng)網(wǎng)絡(luò ) fθ(s)，[它]將棋盤(pán)位置 s 作為輸入，并輸出一個(gè)移動(dòng)概率矢量"。換句話(huà)說(shuō)，他們并不期望計算機知道它在玩游戲，或者游戲是通過(guò)輪流進(jìn)行的，或者它不能只是把圍棋棋子堆成一堆或把棋盤(pán)扔在地上。他們還提供了許多其他的約束條件，例如，讓機器與自己對弈。他們使用的樹(shù)狀表示法曾經(jīng)是代表游戲玩法的巨大創(chuàng )新。樹(shù)的分支對應于可能的移動(dòng)范圍，沒(méi)有其他操作是可能的。計算機還被提供了一種使用蒙特卡洛樹(shù)形搜索算法搜索樹(shù)的方法，并且提供了游戲的規則。

那么，AlphaZero 遠不是一個(gè)“白紙黑字”，它被賦予了大量的先驗知識，這大大限制了它可以學(xué)習的可能范圍。因此，即使在學(xué)習圍棋的背景下，也不清楚 "獎勵是足夠的"意味著(zhù)什么。要使獎勵足夠，它就必須在沒(méi)有這些限制的情況下發(fā)揮作用。此外，目前還不清楚，即使是一個(gè)一般的游戲系統，是否也能算作在不太受約束的環(huán)境中進(jìn)行一般學(xué)習的一個(gè)例子。

AlphaZero 對計算智能作出了重大貢獻，但它的貢獻主要設計它的人類(lèi)智能，識別其運行的約束，并將玩游戲的問(wèn)題減少到定向樹(shù)搜索。此外，它的約束條件甚至不適用于所有游戲，而只適用于有限類(lèi)型的游戲。它只能玩某些類(lèi)型的棋盤(pán)游戲，這些棋盤(pán)游戲的特征是樹(shù)搜索，學(xué)習者可以將棋盤(pán)位置作為輸入并輸出一個(gè)概率向量。沒(méi)有證據表明它甚至可以學(xué)習另一種棋盤(pán)游戲，比如大富翁，甚至 Parchisi。

在沒(méi)有約束的情況下，獎勵并不能解釋任何東西。AlphaZero 不是所有種類(lèi)學(xué)習的模型，當然也不是通用智能的模型。

Silver 等人將一般智能視為一個(gè)定量問(wèn)題。"通用智能，即人類(lèi)和其他動(dòng)物所擁有的那種智能，可以被定義為在不同背景下靈活地實(shí)現各種目標的能力。"

需要多大的靈活性？多大范圍的目標？如果我們有一臺電腦，可以交替地下圍棋、跳棋和國際象棋，這仍然不構成通用智能。即使我們增加了另一種游戲，即象棋，我們仍然擁有完全相同的計算機，它仍然可以通過(guò)找到一個(gè)模型來(lái)工作，該模型“以棋盤(pán)位置 s 作為輸入并輸出移動(dòng)概率向量”。計算機完全沒(méi)有能力接受任何其他的 "想法" 或解決任何無(wú)法以這種特定方式表示的任何問(wèn)題。

通用人工智能中的 "通用" 不是以它可以解決不同問(wèn)題的數量為特征，而是以解決多種類(lèi)型問(wèn)題的能力為特征。一個(gè)通用智能代理必須能夠自主地制定自己的表述，它必須創(chuàng )造自己的方法來(lái)解決問(wèn)題，選擇自己的目標、表征、方法等等。到目前為止，這都是人類(lèi)設計師的職權范圍，他們將問(wèn)題簡(jiǎn)化為計算機可以通過(guò)調整模型參數解決的形式。除非我們能夠消除對人類(lèi)構建問(wèn)題的依賴(lài)，否則我們無(wú)法實(shí)現通用智能。強化學(xué)習，作為一個(gè)選擇性的過(guò)程，無(wú)法做到這一點(diǎn)。

正如行為主義和認知主義之間的對抗，以及反向傳播是否足以學(xué)習語(yǔ)言學(xué)的過(guò)去式轉換的問(wèn)題一樣，這些簡(jiǎn)單的學(xué)習機制只有在我們忽略了其他往往未被承認的限制因素所帶來(lái)的沉重負擔時(shí)才顯得充分。獎勵在可用的替代方案中進(jìn)行選擇，但它們無(wú)法創(chuàng )造這些替代物。只要我們不仔細觀(guān)察這些現象，只要我們假設一定有某種獎勵能強化某種行動(dòng)，行為主義的獎勵就能發(fā)揮作用。善于事后“解釋”任何觀(guān)察到的行為，但在實(shí)驗室之外，它們無(wú)助于預測哪些行動(dòng)即將發(fā)生。這些現象與獎勵是一致的，但如果認為它們是由獎勵引起的，那就錯了。

Roitblat 在 Algorithms Are Not Enough: How to Create Artificial General Intelligence 一書(shū)中解釋了為什么所有當前包括強化學(xué)習在內的人工智能算法，都需要仔細制定人類(lèi)創(chuàng )建的問(wèn)題和表示。他表示，一旦建立了模型及其內在表示，優(yōu)化或強化就可以指導其進(jìn)化，但這并不意味著(zhù)強化就足夠了。同樣，Roitblat 補充說(shuō)，該論文沒(méi)有就如何定義強化學(xué)習的獎勵、動(dòng)作和其他元素提出任何建議。與 Silver 等人的說(shuō)法相反，他認為獎勵是不夠的。

參考資料：

https://venturebeat.com/2021/07/10/building-artificial-intelligence-reward-is-not-enough/

https://www.sciencedirect.com/science/article/pii/S0004370221000862

https://mp.weixin.qq.com/s/5M1kuNp9z83yJkjKTE9m3g