OpenAI o3 模型基準測試成績(jì)遭質(zhì)疑，實(shí)測分數遠不及宣稱(chēng)

4 月 21 日消息，OpenAI 的 o3 人工智能模型的第一方與第三方基準測試結果存在顯著(zhù)差異，引發(fā)了外界對其公司透明度和模型測試實(shí)踐的質(zhì)疑。

去年 12 月，OpenAI 首次發(fā)布 o3 模型時(shí)宣稱(chēng)，該模型能夠在 FrontierMath 這一極具挑戰性的數學(xué)問(wèn)題集上正確回答超過(guò)四分之一的問(wèn)題。這一成績(jì)遠遠超過(guò)了競爭對手 —— 排名第二的模型僅能正確回答約 2% 的 FrontierMath 問(wèn)題。OpenAI 首席研究官 Mark Chen 在直播中表示：“目前市場(chǎng)上所有其他產(chǎn)品在 FrontierMath 上的成績(jì)都不足 2%，而我們在內部測試中，使用 o3 模型在激進(jìn)的測試時(shí)計算設置下，能夠達到超過(guò) 25% 的正確率?！?/p>

然而，這一高分似乎是一個(gè)上限值，是通過(guò)一個(gè)計算資源更為強大的 o3 模型版本實(shí)現的，而并非是 OpenAI 上周公開(kāi)發(fā)布的版本。負責 FrontierMath 的 Epoch 研究所于上周五公布了其對 o3 模型的獨立基準測試結果，發(fā)現 o3 的得分僅為約 10%，遠低于 OpenAI 此前聲稱(chēng)的最高分數。

這并不意味著(zhù) OpenAI 故意撒謊，該公司在 12 月份公布的基準測試結果中也包含了一個(gè)與 Epoch 測試結果相符的較低分數。Epoch 還指出，其測試設置可能與 OpenAI 有所不同，并且其評估使用了更新版本的 FrontierMath。Epoch 在報告中寫(xiě)道：“我們與 OpenAI 的結果差異可能是因為 OpenAI 在內部評估時(shí)使用了更強大的計算框架、更多的測試時(shí)計算資源，或者是因為這些結果是在 FrontierMath 的不同子集上運行的（例如 2024 年 11 月 26 日版本的 180 個(gè)問(wèn)題與 2025 年 2 月 28 日私有版本的 290 個(gè)問(wèn)題）?！?/p>

此外，ARC Prize 基金會(huì )（一個(gè)測試了 o3 預發(fā)布版本的組織）在 X 平臺上發(fā)布消息表示，公開(kāi)發(fā)布的 o3 模型是一個(gè)“針對聊天 / 產(chǎn)品使用進(jìn)行了調整的不同模型”，這進(jìn)一步證實(shí)了 Epoch 的報告。ARC Prize 還指出：“所有發(fā)布的 o3 計算層級都比我們測試的版本要小?！币话銇?lái)說(shuō)，更大的計算層級通?？梢垣@得更好的基準測試分數。

值得注意的是，盡管公開(kāi)版本的 o3 未能完全達到 OpenAI 測試時(shí)的表現，但這在一定程度上已不再是關(guān)鍵問(wèn)題，因為該公司后續推出的 o3-mini-high 和 o4-mini 模型在 FrontierMath 上的表現已經(jīng)優(yōu)于 o3。此外，OpenAI 計劃在未來(lái)幾周內推出更強大的 o3 版本 o3-pro。

然而，此事再次提醒人們，人工智能基準測試結果最好不要完全照單全收，尤其是當結果來(lái)自一家有產(chǎn)品需要銷(xiāo)售的公司時(shí)。隨著(zhù)人工智能行業(yè)競爭的加劇，各供應商紛紛急于通過(guò)推出新模型來(lái)吸引眼球和市場(chǎng)份額，基準測試“爭議”正變得越來(lái)越常見(jiàn)。

今年 1 月，Epoch 因在 OpenAI 宣布 o3 之后才披露其從 OpenAI 獲得的資金支持而受到批評。許多為 FrontierMath 做出貢獻的學(xué)者直到公開(kāi)時(shí)才知道 OpenAI 的參與。最近，埃隆?馬斯克的 xAI 被指控為其最新的人工智能模型 Grok 3 發(fā)布了誤導性的基準測試圖表。就在本月，Meta 也承認其宣傳的基準測試分數所基于的模型版本與提供給開(kāi)發(fā)者的版本不一致。