OpenAI將用新方法來(lái)訓練模型 以對抗人工智能“幻覺(jué)”

①檢測并減輕模型的邏輯錯誤或幻覺(jué)，是構建通用人工智能(AGI)的關(guān)鍵一步； ②這種方法被稱(chēng)為“過(guò)程監督”，而不是“結果監督”，它可能會(huì )提高人工智能的性能與準確性。

美東時(shí)間周三，OpenAI發(fā)布的最新研究論文顯示，該公司正在用一種新的方法來(lái)訓練人工智能(AI)模型，以對抗人工智能“幻覺(jué)”。

人工智能幻覺(jué)指的是人工智能模型生成內容的能力，這些內容不是基于任何現實(shí)世界的數據，而是模型自己想象的產(chǎn)物。人們擔心這種幻覺(jué)可能帶來(lái)的潛在問(wèn)題，包括道德、社會(huì )和實(shí)際問(wèn)題。

當OpenAI的聊天機器人ChatGPT或谷歌公司競品Bard純粹在捏造虛假信息時(shí)，就會(huì )發(fā)生人工智能幻覺(jué)，表現得就像是在滔滔不絕地談?wù)撌聦?shí)一樣。某些獨立的專(zhuān)家對OpenAI這樣做的效果表示懷疑。

舉個(gè)例子，在谷歌2月份為Bard拍攝的宣傳視頻中，這個(gè)聊天機器人對詹姆斯·韋伯太空望遠鏡做出了不真實(shí)的表述。最近，ChatGPT在紐約聯(lián)邦法院的一份文件中引用了“偽造”的案件，導致涉案的紐約律師可能面臨處罰。

OpenAI的研究人員在報告中寫(xiě)道：“即使是最先進(jìn)的人工智能模型也很容易產(chǎn)生謊言，它們在不確定的時(shí)刻往往表現出捏造事實(shí)的傾向。而這些幻覺(jué)在需要多步驟推理的領(lǐng)域尤其嚴重，因為一個(gè)邏輯錯誤就足以破壞一個(gè)更大的解決方案?！?/p>

該公司提出的新策略是：訓練人工智能模型時(shí)，獎勵每個(gè)正確的推理步驟，而不僅僅是簡(jiǎn)單地獎勵正確的最終結論。根據研究人員的說(shuō)法，這種方法被稱(chēng)為“過(guò)程監督”，而不是“結果監督”，它可能會(huì )提高人工智能的性能與準確性，因為這種策略鼓勵模型更多地遵循類(lèi)似人類(lèi)的“思維鏈”。

OpenAI的數學(xué)研究員Karl Cobbe指出：“檢測并減輕模型的邏輯錯誤或幻覺(jué)，是構建通用人工智能(AGI)的關(guān)鍵一步?！彼赋?，這項研究背后的動(dòng)機是解決人工智能幻覺(jué)，以便使模型更有能力解決具有挑戰性的推理問(wèn)題。

Cobbe補充道，OpenAI已經(jīng)發(fā)布了一個(gè)附帶的數據集，其中包含80萬(wàn)個(gè)人類(lèi)標簽，用于訓練研究論文中提到的模型。

此前一天，科技界高管和人工智能科學(xué)家正在對AI敲響警鐘，他們表示，這項技術(shù)帶來(lái)的滅絕風(fēng)險堪比疫情和核戰。

超過(guò)350人簽署了人工智能安全中心(Center for AI Safety)發(fā)布的一份聲明，該組織表示，與疫情和核戰爭等其他社會(huì )規模的風(fēng)險一樣，減輕人工智能帶來(lái)的滅絕風(fēng)險應該成為全球的優(yōu)先事項。