分析發(fā)現，“推理”人工智能模型的改進(jìn)可能會(huì )很快放緩

非營(yíng)利性人工智能研究機構Epoch AI的一項分析表明，人工智能行業(yè)可能無(wú)法通過(guò)推理人工智能模型獲得巨大的性能提升。根據報告的調查結果，在一年內，推理模型的進(jìn)展可能會(huì )放緩。

近幾個(gè)月來(lái)，OpenAI的o3等推理模型在人工智能基準上取得了重大收益，特別是衡量數學(xué)和編程技能的基準。這些模型可以將更多的計算應用于問(wèn)題，這可以提高其性能，但缺點(diǎn)是它們比傳統模型需要更長(cháng)的時(shí)間來(lái)完成任務(wù)。

推理模型是通過(guò)首先在大量數據上訓練常規模型，然后應用一種稱(chēng)為強化學(xué)習的技術(shù)來(lái)開(kāi)發(fā)的，這有效地為模型提供了對其難題解決方案的“反饋”。

據Epoch稱(chēng)，到目前為止，像OpenAI這樣的前沿人工智能實(shí)驗室還沒(méi)有將大量的計算能力應用于推理模型培訓的強化學(xué)習階段。

那正在改變。OpenAI表示，它應用的計算比其前身o1多10倍左右來(lái)訓練o3，Epoch推測，這些計算大部分都用于強化學(xué)習。OpenAI研究員Dan Roberts最近透露，該公司的未來(lái)計劃要求優(yōu)先使用強化學(xué)習，以使用更多的計算能力，甚至比初始模型培訓還要多。

但每個(gè)紀元，有多少計算可以應用于強化學(xué)習仍然有一個(gè)上限。

Epoch的分析師、分析的作者Josh You解釋說(shuō)，標準人工智能模型培訓的績(jì)效收益目前每年翻兩番，而強化學(xué)習的績(jì)效收益每3-5個(gè)月增長(cháng)十倍。他繼續說(shuō)，推理訓練的進(jìn)展“到2026年可能與整體前沿相融合”。

Epoch的分析提出了一些假設，并部分借鑒了人工智能公司高管的公開(kāi)評論。但它也證明，由于計算以外的原因，包括高昂的研究間接費用，擴展推理模型可能被證明具有挑戰性。

“如果研究需要持續的間接費用，推理模型可能不會(huì )像預期的那樣擴展，”你寫(xiě)道?！翱焖儆嬎憧s放可能是推理模型進(jìn)展中非常重要的因素，因此值得密切跟蹤這一點(diǎn)?！?/p>

任何表明推理模型在不久的將來(lái)可能會(huì )達到某種限制，這可能會(huì )讓人工智能行業(yè)擔心，因為人工智能行業(yè)投入了大量資源來(lái)開(kāi)發(fā)這些類(lèi)型的模型。研究表明，推理模型的運行成本可能非常昂貴，但存在嚴重的缺陷，例如比某些傳統模型更傾向于產(chǎn)生幻覺(jué)。