聯(lián)邦政府任命“AI末日論者”負責美國AI安全研究所

美國AI安全研究所——隸屬于國家標準技術(shù)研究所（NIST）——在經(jīng)過(guò)多方猜測后，終于宣布了其領(lǐng)導團隊。

被任命為AI安全負責人的是Paul Christiano，一位前OpenAI研究員，他開(kāi)創(chuàng )了一種基礎AI安全技術(shù)，稱(chēng)為從人類(lèi)反饋中學(xué)習的強化學(xué)習（RLHF），但他也因預測“AI發(fā)展有50%的機會(huì )以‘末日’結束”而聞名。盡管Christiano的研究背景令人印象深刻，但一些人擔心通過(guò)任命所謂的“AI末日論者”，NIST可能會(huì )鼓勵許多批評者視為純粹猜測的非科學(xué)思維。

有傳言稱(chēng)，NIST工作人員反對此次任命。VentureBeat上個(gè)月發(fā)表的一篇有爭議的報道引用了兩位匿名消息人士的說(shuō)法，聲稱(chēng)由于Christiano的所謂“AI末日論”觀(guān)點(diǎn)，NIST工作人員“發(fā)生了動(dòng)蕩”。VentureBeat報道稱(chēng)，一些工作人員和科學(xué)家聲稱(chēng)威脅要辭職，擔心“Christiano的關(guān)聯(lián)”與有效利他主義和“長(cháng)期主義可能會(huì )損害該機構的客觀(guān)性和完整性?！?/p>

NIST的使命根植于推動(dòng)科學(xué)發(fā)展，通過(guò)推動(dòng)測量科學(xué)、標準和技術(shù)的發(fā)展，促進(jìn)美國創(chuàng )新和工業(yè)競爭力的提升，從而增強經(jīng)濟安全并改善我們的生活質(zhì)量。有效利他主義者相信“利用證據和理性來(lái)找出如何盡可能多地造福他人”，長(cháng)期主義者則認為“我們應該更多地保護未來(lái)幾代人的利益”，這兩者都更具主觀(guān)性和意見(jiàn)性。

在Bankless播客上，Christiano去年分享了他的觀(guān)點(diǎn)，稱(chēng)“AI接管”的機會(huì )大約有“10-20%”，這將導致人類(lèi)死亡，而“總體而言，一旦你擁有人類(lèi)水平的AI系統，你可能會(huì )更接近50-50的‘末日’機會(huì )?！?/p>

“我們死亡的最可能方式不是AI突然出現并殺死所有人，而是我們已經(jīng)在各處部署了大量的AI……[而且]如果不幸，所有這些AI系統都試圖殺死我們，它們肯定會(huì )殺死我們，”Christiano說(shuō)道。

所謂“AI末日論者”的批評者警告稱(chēng)，將注意力集中在任何潛在夸大的對假想的殺手AI系統或存在主義AI風(fēng)險的討論上，可能會(huì )阻止人類(lèi)將注意力集中在當前AI的實(shí)際危害上，包括環(huán)境、隱私、道德和偏見(jiàn)問(wèn)題。華盛頓大學(xué)計算語(yǔ)言學(xué)教授Emily Bender曾警告稱(chēng)，由于“怪異的AI末日論話(huà)語(yǔ)”被包含在喬·拜登的AI行政命令中，“NIST已被指示擔心這些幻想般的情景”，而“這就是導致Christiano被任命的根本問(wèn)題”。

Bender告訴Ars說(shuō)：“我認為NIST可能有機會(huì )將其研究引向不同的方向，”“但遺憾的是他們沒(méi)有?！?/p>

作為AI安全負責人，Christiano似乎將不得不監測當前和潛在的風(fēng)險。美國商務(wù)部的新聞稿稱(chēng)，他將“設計和執行前沿AI模型的測試，重點(diǎn)關(guān)注具有國家安全關(guān)切的模型評估”，引導評估流程，并實(shí)施“風(fēng)險緩解措施，以增強前沿模型的安全性和安全性”。

Christiano在減輕AI風(fēng)險方面有豐富的經(jīng)驗。他離開(kāi)OpenAI創(chuàng )立了Alignment Research Center（ARC），美國商務(wù)部將其描述為“一個(gè)非營(yíng)利性研究機構，旨在通過(guò)推進(jìn)理論研究，將未來(lái)的機器學(xué)習系統與人類(lèi)利益保持一致?！?ARC的使命之一是測試AI系統是否在演變?yōu)椴倏v或欺騙人類(lèi)，ARC的網(wǎng)站上寫(xiě)道。ARC還進(jìn)行研究，幫助AI系統“優(yōu)雅地擴展”。

由于Christiano的研究背景，一些人認為他是領(lǐng)導安全研究所的不錯選擇，比如美國科學(xué)家聯(lián)合會(huì )新興技術(shù)與國家安全副主任Divyansh Kaushik。在X（前稱(chēng)Twitter）上，Kaushik寫(xiě)道，安全研究所的目標是從AI中減輕化學(xué)、生物、放射和核風(fēng)險，而Christiano“非常合格”于測試這些AI模型。不過(guò)，Kaushik警告說(shuō)，“如果有關(guān)NIST科學(xué)家因Christiano的任命而威脅要辭職”的消息屬實(shí)，“那顯然將是嚴重的事情?！?/p>

美國商務(wù)部不對其人員進(jìn)行評論，因此目前尚不清楚是否有人因為Christiano的任命而辭職或計劃辭職。自宣布后，Ars并未找到任何NIST工作人員公開(kāi)宣布他們可能考慮辭職的公告。

除了Christiano之外，安全研究所的領(lǐng)導團隊還包括Mara Quintero Campbell，一位在COVID應對和CHIPS法案實(shí)施方面領(lǐng)導項目的商務(wù)部官員，擔任代理首席運營(yíng)官和首席幕僚。Adam Russell，一位專(zhuān)注于人工智能團隊合作、預測和集體智能的專(zhuān)家，將擔任首席視覺(jué)官。Rob Reich，一位來(lái)自斯坦福大學(xué)的以人為本的AI專(zhuān)家，將擔任高級顧問(wèn)。而Mark Latonero，一位曾擔任白宮全球AI政策專(zhuān)家，幫助起草了拜登的AI行政命令，將擔任國際事務(wù)負責人。

美國商務(wù)部長(cháng)吉娜·雷蒙多在新聞稿中表示：“為了保護我們在負責任的AI領(lǐng)域的全球領(lǐng)導地位，并確保我們能夠履行我們減輕AI風(fēng)險并利用其好處的使命，我們需要國家能提供的頂級人才?！薄斑@正是我們選擇這些在其領(lǐng)域最優(yōu)秀的人士加入美國AI安全研究所執行領(lǐng)導團隊的原因?！?/p>

VentureBeat的報道聲稱(chēng)，雷蒙多直接任命了Christiano。

Bender告訴Ars說(shuō)，NIST在研究“政府和非政府機構如何使用自動(dòng)化技術(shù)”的過(guò)程中包含“末日情景”沒(méi)有任何優(yōu)勢。

Bender告訴Ars說(shuō)：“AI安全敘事的根本問(wèn)題在于它將人從圖景中剔除了，”“但我們需要擔心的是人們如何利用技術(shù)，而不是技術(shù)自主地做些什么?！?/p>

Christiano解釋了他對AI末日的看法Ars無(wú)法立即聯(lián)系到Christiano評論，但他已經(jīng)解釋了他對AI末日和負責任的AI擴展的看法。

在LessWrong上發(fā)布的一篇博客中，他解釋了導致人們對他的AI末日看法產(chǎn)生困惑的兩個(gè)區別。

第一個(gè)區別“是死亡（‘滅絕風(fēng)險’）和有一個(gè)糟糕的未來(lái)（‘存在風(fēng)險’）之間的區別”，澄清說(shuō)他認為“在沒(méi)有滅絕的情況下存在糟糕的未來(lái)的機會(huì )很大，例如，AI系統接管但并不殺死每個(gè)人?！币粋€(gè)“糟糕的未來(lái)”的版本將是“世界由AI系統統治，而我們無(wú)法建造與我們的價(jià)值觀(guān)相符或關(guān)心幫助我們的AI系統”，Christiano說(shuō)，“這可能甚至不是一個(gè)客觀(guān)糟糕的未來(lái)?！?/p>

“但這確實(shí)意味著(zhù)人類(lèi)放棄了對自己命運的控制，我認為從期望值來(lái)看，這是相當糟糕的，”Christiano寫(xiě)道。

另一個(gè)區別是“現在死亡和以后死亡之間”，Christiano說(shuō)，澄清說(shuō)死亡以后可能并不完全“來(lái)自AI”，而是來(lái)自AI進(jìn)步之后的環(huán)境。

“我認為我們不會(huì )因為AI而死亡，但是AI和其他技術(shù)可能會(huì )加速世界變化的速度，所以在不久的將來(lái)有些其他事物會(huì )殺死我們，”Christiano寫(xiě)道。

在那篇文章中，Christiano詳細說(shuō)明了他估計的AI接管（22％）的可能性，即“在建立強大的AI使勞動(dòng)變得過(guò)時(shí)后的10年內，大多數”人會(huì )死亡（20％），以及“在建立強大的AI后的10年內，人類(lèi)以某種方式已經(jīng)不可逆地破壞了我們的未來(lái)”（46％）。

他澄清說(shuō)，這些概率僅用于“量化和傳達我相信的東西，而不是聲稱(chēng)我有某種校準模型來(lái)產(chǎn)生這些數字?！彼f(shuō)這些數字基本上是猜測，經(jīng)常因為他收到新信息而改變。

“只有一個(gè)這些猜測甚至與我的日常工作相關(guān)（15％的AI系統由人類(lèi)構建將接管的概率），”Christiano寫(xiě)道?！皩τ谄渌麊?wèn)題，我只是一個(gè)稍微經(jīng)過(guò)一點(diǎn)思考的人。我不建議依靠15％，但絕對不建議依靠其他任何東西?！?/p>

在2023年，Christiano的非營(yíng)利組織ARC幫助測試了OpenAI的GPT-4是否會(huì )接管世界，并最終得出結論，即GPT-4并不構成滅絕風(fēng)險，因為它在“自主復制方面”“無(wú)效”。由于A(yíng)RC擔心AI系統操縱人類(lèi)，Christiano曾在LessWrong上發(fā)表評論，稱(chēng)增強功能研究在A(yíng)I系統變得更加智能時(shí)變得更加重要。這表明他在評估系統方面的工作將是一項關(guān)鍵工作。

“在這一點(diǎn)上，似乎我們面臨的風(fēng)險更大，來(lái)自低估模型能力并走向危險，而不是在評估過(guò)程中造成事故，”Christiano寫(xiě)道?！叭绻覀冃⌒墓芾盹L(fēng)險，我認為我們可以使這種比率非常極端，盡管當然，這需要我們真正做這項工作?！?/p>

Christiano對暫停AI發(fā)展的看法Christiano并不是唯一一個(gè)警告AI存在的滅絕風(fēng)險的人。在過(guò)去一年中，從OpenAI高管到28個(gè)國家的領(lǐng)導人，所有人都對潛在的“災難性”AI危害發(fā)出警告。但是像Meta首席AI科學(xué)家Yann LeCun這樣的批評者則反駁說(shuō)，圍繞滅絕風(fēng)險的整個(gè)辯論是“嚴重夸大和非常過(guò)早的”。

在A(yíng)I安全研究所，Christiano將有機會(huì )在建造、測試和投資于A(yíng)I的人聲稱(chēng)AI發(fā)展的速度正在超越風(fēng)險評估的時(shí)候，減輕實(shí)際的AI風(fēng)險。如果埃隆·馬斯克所說(shuō)的有一定道理的話(huà)，即AI“可能會(huì )在明年底之前比任何一個(gè)人類(lèi)都聰明?！?/p>

為了減少意外，Christiano的團隊將需要完善風(fēng)險評估，因為他預計模型將變得更加智能，并且微調它們將變得更加危險。去年十月，在有效利他主義論壇上，Christiano寫(xiě)道，需要法規來(lái)約束AI公司。

“足夠好的負責任的擴展政策（RSPs）可以通過(guò)”為關(guān)鍵保護措施創(chuàng )建緊迫性并增加“如果這些措施不能迅速實(shí)施，暫停[AI發(fā)展]的概率”，從而顯著(zhù)減少風(fēng)險，Christiano解釋道。

即使有關(guān)擴展的法規，Christiano警告說(shuō)，“快速AI發(fā)展的風(fēng)險非常大，即使非常好的RSPs也不會(huì )完全消除這種風(fēng)險?！?/p>

盡管一些擔心AI存在滅絕風(fēng)險的批評者在過(guò)去一年中呼吁暫停AI前沿的發(fā)展，直到保護措施得到改進(jìn)，但Christiano辯稱(chēng)，只有全球統一的暫停才會(huì )沒(méi)有顯著(zhù)的成本。

目前，Christiano表示不需要暫停，因為“當前的風(fēng)險水平低到足以證明，如果公司或國家有一個(gè)足夠好的計劃來(lái)檢測和應對風(fēng)險的增加，他們可以繼續發(fā)展AI?！?/p>