編輯：編輯部【導讀】奧本海默曾引用《薄伽梵歌》：「現在我變成了死亡」。深度學(xué)習之父Hinton，也同樣痛悔畢生工作。最近，Hinton、Bengio、Stuart Russell、張宏江、黃鐵軍、王仲遠、姚期智、張亞勤等大佬齊聚中國版「布萊切利」峰會(huì )上，簽署了《北京AI安全國際共識》。
「現在我變成了死亡，世界的毀滅者?！?/span>這是奧本海默曾經(jīng)引用印度教經(jīng)文《薄伽梵歌》中的一句話(huà)。上世紀40年代，奧本海默的發(fā)明，如同天地初開(kāi)，徹底重塑了世界的面貌。原子彈的問(wèn)世，帶來(lái)了一場(chǎng)空前的毀滅危機，讓人類(lèi)面臨前所未有的生存考驗。
1945年8月，就在美國新墨西哥沙漠中核試爆結束不到一個(gè)月，美國隨即在日本廣島和長(cháng)崎投下原子彈，在此后的幾十年間，奧本海默曾多次表達對制造出大規模毀滅性武器的無(wú)限追悔和遺憾?？蓺v史無(wú)法重演，數十萬(wàn)人的死亡成為科學(xué)發(fā)展歷程中無(wú)法磨滅的一筆。而在21世紀的今天，面對AI的迅速發(fā)展，同樣表達出擔憂(yōu)和后悔的還有兩位AI大佬：深度學(xué)習泰斗、神經(jīng)網(wǎng)絡(luò )之父Geoffrey Hinton突然宣布離職谷歌，起因就源自于對生成式AI的恐懼，他甚至直言——「我對自己的畢生工作，感到非常后悔?！?/strong>
Geoffrey Hinton認為，數字智能終將取代生物智能。接受了海量網(wǎng)絡(luò )信息訓練的AI會(huì )比人類(lèi)更聰明，因而能夠輕易操縱人類(lèi)——這是超級智能接管人類(lèi)控制權的路徑之一。也在近期，深度學(xué)習三巨頭之一Yoshua Bengio指出，AI安全與核武器問(wèn)題非常相似。世界上的 AGI 項目越多，對人類(lèi)來(lái)說(shuō)就越危險。因此，應該和通過(guò)國際條約來(lái)控制核武器數量一樣，去控制AGI項目的擴散。「這不是國與國之間的對抗，而是人類(lèi)與機器之爭。所有人都應該同舟共濟，患難與共?！?/span>上述觀(guān)點(diǎn)正來(lái)自于3月10日-11日的「北京AI安全國際對話(huà)」，該對話(huà)是我國首個(gè)AI安全高端閉門(mén)論壇。去年11月初，人工智能安全峰會(huì )在英國布萊切利公園舉行，包括中國、美國、英國和歐盟在內的超25個(gè)國家代表參與，甚至劍拔弩張的Elon Musk和OpenAI創(chuàng )始人Sam Altman等也齊聚一堂。在A(yíng)I安全面前，每一位科技領(lǐng)袖都不計前嫌，共謀大計。英國媒體稱(chēng)，「這是罕見(jiàn)的全球團結表現」。而此次大洋彼岸的「北京AI安全國際對話(huà)」正是中國版的「布萊切利」峰會(huì )。本次對話(huà)由智源研究院發(fā)起，智源學(xué)術(shù)顧問(wèn)委員會(huì )主任張宏江與圖靈獎得主Yoshua Bengio擔任共同主席。Geoffrey Hinton、姚期智、Stuart Russell、傅瑩、張亞勤、薛瀾等30余位專(zhuān)家參會(huì )。作為國內最具影響力的AI研究機構之一，智源研究院成功搭建了國際AI安全交流的對話(huà)平臺。與會(huì )專(zhuān)家在為期兩天的對話(huà)中展開(kāi)深入探討，共同擬定并簽署了《北京AI安全國際共識》，提出人工智能風(fēng)險紅線(xiàn)及安全治理路線(xiàn)。同時(shí)呼吁「在人工智能安全研究與治理上的全球協(xié)同行動(dòng)，是避免不受控制的前沿人工智能發(fā)展為全人類(lèi)帶來(lái)生存風(fēng)險的關(guān)鍵?！?/span>AGI必將在10年或20年后降臨，落入壞人手中后果不堪設想
Bengio在對話(huà)發(fā)言中提到，我們不知道距離實(shí)現AGI還有多遠，但可以肯定的是，實(shí)現AGI是一種必然。這個(gè)時(shí)間可能是5年，10年甚至20年。即使是10或20年，也并不遙遠。AGI的實(shí)現勢必帶來(lái)巨大變革，我們需要開(kāi)始為此做好準備。如果只剩下5年，人類(lèi)就更加迫切地需要尋求解決方案。AI能力越強，為人類(lèi)帶來(lái)的優(yōu)勢越多，與此同時(shí)也越來(lái)越危險。一旦落入壞人手中或失控，后果將不堪設想。
AI系統一旦失控會(huì )怎樣？Bengio認為，AI的本質(zhì)是有目標的機器。一個(gè)更加強大的AI系統是一個(gè)能夠實(shí)現這些目標的機器。那么誰(shuí)來(lái)決定AI的目標呢，它可能是一個(gè)惡意的人或組織，試圖對社會(huì )做出災難性的破壞。還有一種更糟糕的可能性，即這些目標是AI自發(fā)形成的。AI自發(fā)的行動(dòng)目標源于自我保護。這個(gè)星球上的每一個(gè)生物都有著(zhù)自我保護和生存的目標。如果AI也產(chǎn)生了自我保護意識，那它們就不再僅僅是人類(lèi)的工具，它們會(huì )像生物一樣抵制被關(guān)閉。AI甚至可能會(huì )采取欺騙手段來(lái)阻止人類(lèi)進(jìn)行一切不利于他們的行為。未來(lái)，它們可能比人類(lèi)更擅長(cháng)使用語(yǔ)言來(lái)影響、說(shuō)服和操縱，可能會(huì )對人進(jìn)行威脅或雇傭罪犯，下達命令以獲得更多控制權。它們也許可以在金融市場(chǎng)上比人類(lèi)更輕松地賺錢(qián)。它們可以在互聯(lián)網(wǎng)上自我復制，因此很難將其關(guān)閉。最令人擔憂(yōu)的是，目前訓練AI系統的方式可能會(huì )使其變成危險實(shí)體。人類(lèi)訓練AI的方式類(lèi)似于訓練動(dòng)物，依照行為進(jìn)行反饋，做得好給獎勵，做得不好給懲罰。但在我們真正想要實(shí)現的和機器所理解的目標之間通常會(huì )存在不匹配，我們稱(chēng)之為錯位，或者不對齊（misalignment）。比如，你要訓練你的貓不要去廚房的桌子上，當你在廚房里時(shí)，它可能學(xué)會(huì )了不去廚房的桌子上，但也只有你責怪它的時(shí)候才聽(tīng)話(huà)。你一旦去其他地方尋找時(shí)，它可能還是會(huì )出現在廚房的桌子上。大量科學(xué)證據表明，要確保AI能夠準確理解人類(lèi)想法非常困難。如果只是一只貓也無(wú)所謂，但如果是一個(gè)比人類(lèi)更聰明的AI系統，情況則大不相同。在這里，可以將AI比作一只比人還強大的灰熊。我們會(huì )建造一個(gè)所謂「安全防護」的籠子，但現在這個(gè)籠子還無(wú)法堅不可摧。問(wèn)題在于，在某個(gè)時(shí)刻，AI或者說(shuō)灰熊，會(huì )找到辦法破籠而出。然后它就不再依賴(lài)人類(lèi)給它獎勵了（比如給它喂魚(yú)），它能自己去抓魚(yú)。
為了讓人類(lèi)能夠避免這類(lèi)潛在的災難，我們需要解決兩大挑戰。其一，科學(xué)性的挑戰。我們如何設計不會(huì )與人類(lèi)為敵的安全人工智能？其二，政治性的挑戰，因為即使我們知道構建安全人工智能的秘訣，有些人也可能不認同，原因在于企業(yè)和國家之間存在的競爭?！笁娜恕箍赡懿辉诤醢踩囊巹t。因此，我們需要探討如何確保讓世界上所有國家都遵守安全協(xié)議，并且確保沒(méi)有國家會(huì )為了經(jīng)濟或軍事霸權濫用AI的力量，因為這也會(huì )破壞地球的穩定。數字智能終將取代生物智能，令人深感憂(yōu)慮
在對話(huà)中，Geoffrey Hinton也進(jìn)一步對數字智能取代生物智能的未來(lái)風(fēng)險予以警示。他指出，大語(yǔ)言模型理解世界、學(xué)習知識的方式與人類(lèi)高度相似，它能夠很好地預測人類(lèi)大腦負責語(yǔ)言部分的活動(dòng)，并像人腦的記憶機制一樣將所有知識存儲為特征交互，通過(guò)不斷重建來(lái)提取記憶。值得警惕的是，Hinton認為人工智能的數字計算優(yōu)于人類(lèi)大腦的生物計算。如今的大模型能夠通過(guò)學(xué)習（learning）獲取程序和目標，這讓軟硬件協(xié)同的計算機設計和可朽計算（mortal computation）成為可能——知識與硬件的精確物理細節不可分割，這是人類(lèi)大腦執行計算任務(wù)的方式。不同的是，人類(lèi)大腦之間僅能通過(guò)緩慢、低效的蒸餾（distillation）進(jìn)行知識共享，大模型的不同副本之間可以通過(guò)權重或梯度共享（weight or gradient sharing）簡(jiǎn)單、快速地共享知識。目前，數字計算的劣勢在于需要消耗大量能源。然而隨著(zhù)能源成本不斷降低，數字計算的優(yōu)越性會(huì )日益顯著(zhù)，數字智能取代生物智能的預言或將一語(yǔ)成讖。瞻望數字智能終將取代生物智能的未來(lái)，Hinton深感憂(yōu)慮。一旦AI擁有創(chuàng )造子目標的能力，它們將很快意識到「掌控更多權力」是非常明智的子目標，這讓它們可以獲取更多資源從而實(shí)現更多目標。接受了海量網(wǎng)絡(luò )信息訓練的AI會(huì )比人類(lèi)更聰明，因而能夠輕易操縱人類(lèi)——這是超級智能接管人類(lèi)控制權的路徑之一。
關(guān)于如何規避這些風(fēng)險，Hinton表示一切都很不確定。不同于以往的計算機程序，AI可以像人類(lèi)一樣理解世界，并且可能比人類(lèi)聰明得多——這是人類(lèi)從未應對的情況?；蛟S人類(lèi)能夠找到方法來(lái)確保AI不會(huì )比人類(lèi)更聰明，并且不會(huì )產(chǎn)生控制人類(lèi)的意圖，但Hinton對此抱以悲觀(guān)態(tài)度。因此Hinton認為，投入巨大資源來(lái)嘗試確保AI安全是明智之舉。「我猜我們會(huì )失敗，但我不確定?，F在我們仍有機會(huì )，應該盡力去做?！?/span>全人類(lèi)同舟共濟：這不是國與國之間的對抗，而是人類(lèi)與機器之爭
在國際合作與多邊治理方面，與會(huì )專(zhuān)家認為，AGI項目的擴散問(wèn)題（proliferation），與核武器問(wèn)題非常相似。世界上的AGI項目越多，對人類(lèi)來(lái)說(shuō)就越危險。因此，和通過(guò)國際條約來(lái)控制核武器數量一樣?？刂艫GI項目的數量是一個(gè)擴散問(wèn)題。與此同時(shí)，權力集中在少數公司或單一國家手中是危險的。沒(méi)有一個(gè)國家可以對這些AGI擁有完全的權力。與會(huì )專(zhuān)家認為，對于那些5年、10年，甚至20年后才會(huì )出現的強大AI系統，應以多邊的方式進(jìn)行治理和管控。最理想的方案是由所有國家共同管理一個(gè)AGI項目，這將構建一個(gè)更加穩定的世界秩序，因為所有國家將共同控制AI的許多好處，并確保這種力量不被濫用來(lái)對抗彼此，減少戰爭和其他類(lèi)似事件的風(fēng)險。與會(huì )專(zhuān)家達成共識：這不是國與國之間的對抗，而是人類(lèi)與機器之爭。所有人同舟共濟，患難與共。與其他任何問(wèn)題相比，AI給人類(lèi)安全帶來(lái)的威脅，足以使世界各國產(chǎn)生強烈的動(dòng)機，為全人類(lèi)的安全而放棄一部分主權。那么如何做到這一點(diǎn)呢？AGI項目的相互監督、跨國治理，以及最終的合并和削減。這當中還要考慮包括中美各國的優(yōu)勢。最終，我們的目的是在分享AI紅利的同時(shí)避免人類(lèi)的終結。人類(lèi)的未來(lái)不是由競爭驅動(dòng)，而是由共同治理驅動(dòng)。
對話(huà)達成共識——落實(shí)AI風(fēng)險紅線(xiàn)
本次對話(huà)共邀請了眾多國際頂尖AI領(lǐng)域專(zhuān)家參與，包括圖靈獎得主Geoffrey Hinton、Yoshua Bengio、姚期智，UC Berkeley教授人類(lèi)兼容人工智能中心主任Stuart Russell、傅瑩女士、清華大學(xué)智能產(chǎn)業(yè)研究院院長(cháng)張亞勤、清華大學(xué)蘇世民書(shū)院院長(cháng)薛瀾、南洋理工大學(xué)副校長(cháng)林國恩、Anthropic安全專(zhuān)家Sam Bowman、未來(lái)人類(lèi)研究所高級研究員Toby Ord、加州大學(xué)洛杉磯分校人工智能治理中心國際治理主管Robert Trager、加州大學(xué)伯克利分校教授，麥克阿瑟獎得主Dawn Song、施瓦茨·賴(lài)斯曼技術(shù)與社會(huì )研究所所長(cháng)Gillian Hadfield、英國AI安全研究所CTO Jade Leung、英國先進(jìn)研究與創(chuàng )新署（ARIA）項目總監David Dalrymple，北京大學(xué)AI安全與治理中心執行主任楊耀東，來(lái)自零一萬(wàn)物、智譜AI、瑞萊智慧等國內創(chuàng )業(yè)公司，多家互聯(lián)網(wǎng)企業(yè)與投資機構代表，以及智源研究院黃鐵軍、王仲遠、林詠華等。
在最終的共識擬定環(huán)節，與會(huì )者經(jīng)過(guò)討論一致認為，避免人工智能導致的災難性全球后果需要我們采取果斷的行動(dòng)。協(xié)同合作的技術(shù)研究與審慎的國際監管機制的結合可以緩解人工智能帶來(lái)的大部分風(fēng)險，并實(shí)現其諸多潛在價(jià)值。而我們必須繼續堅持并加強國際學(xué)術(shù)界和政府在安全方面的合作。共識從AI風(fēng)險紅線(xiàn)、落實(shí)治理路線(xiàn)兩個(gè)角度進(jìn)行了闡述（部分內容如下圖）。
共識全文鏈接：https://baai.org/l/IDAISBeijing2019年5月，在智源研究院的倡導下，北京多家高校、科研機構與企業(yè)聯(lián)合發(fā)布了《人工智能北京共識》，為規范和引領(lǐng)中國人工智能健康發(fā)展提供「北京方案」。2024年3月，此次智源研究院發(fā)起的「北京AI安全國際對話(huà)」成功舉辦，不僅加強了中國與國際AI安全領(lǐng)域的交流與合作，也推動(dòng)了全球AI安全技術(shù)的發(fā)展和共識形成，為我國深度參與國際AI安全合作搭建了面向世界的平臺。來(lái)源：新智元
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
加入技術(shù)交流群
