OpenAI發(fā)新模型！首次實(shí)現“圖像思維”，可利用所有ChatGPT工具

OpenAI周三發(fā)布新款AI模型o3和o4-mini，模仿人類(lèi)的推理過(guò)程，解決復雜編程和視覺(jué)任務(wù)的推理。同時(shí)，該公司也發(fā)布開(kāi)源AI agent CodeX CLI，用于幫助用戶(hù)執行編程任務(wù)，從而改善市場(chǎng)競爭能力。

OpenAI此次推出的主要新型推理模型名為o3，同時(shí)還發(fā)布了一款更小型的模型，命名為o4-mini。這一發(fā)布延續了去年9月OpenAI首個(gè)推理模型o1的問(wèn)世，當時(shí)o1主要專(zhuān)注于解決復雜問(wèn)題，并通過(guò)多步驟的方式進(jìn)行思考和作答。

該公司表示，新發(fā)布的o3模型在響應用戶(hù)提示之前會(huì )花費更多時(shí)間進(jìn)行計算，目標是解決與科學(xué)、數學(xué)和編程相關(guān)的更復雜的多步驟問(wèn)題。借助o3，用戶(hù)可以上傳白板筆記、草圖和其他圖像內容，讓AI進(jìn)行分析與討論。這些模型還能對圖像進(jìn)行旋轉、縮放等編輯操作。

跑分進(jìn)步 首次實(shí)現“圖像思維”

據最新測試結果，o3和o4-mini（無(wú)工具版本）在A(yíng)IME 2024數學(xué)競賽題目中的準確率分別達91.6%和93.4%，遠超前代模型o1的74.3%。在A(yíng)IME 2025題目中，兩者準確率分別達88.9%和92.7%。在Codeforces編程競賽評分中，支持終端工具的o3和o4-mini分別取得了2706和2719的ELO分數，顯著(zhù)領(lǐng)先于o1的1891和o3-mini的2073，顯示出在復雜數學(xué)與代碼任務(wù)中的強大推理與執行能力。

同時(shí)，o3（無(wú)工具）在博士水平科學(xué)問(wèn)答中的準確率為83.3%，高于前代模型o1的78.0%，而o4-mini（無(wú)工具）也緊隨其后，達81.4%。在右圖所示的“人類(lèi)最后的考試”高難度跨學(xué)科題目中，開(kāi)啟Python與瀏覽工具的o3模型準確率達24.9%，顯著(zhù)優(yōu)于o1-pro的8.12%和o3-mini的13.4%，顯示出多工具組合在處理復雜問(wèn)題上的巨大潛力。值得注意的是，Deep Research實(shí)驗系統在該測試中表現最佳，準確率達26.6%。這進(jìn)一步突顯OpenAI新模型在推理鏈、跨模態(tài)理解和工具協(xié)同方面的持續進(jìn)步。

在多模態(tài)推理方面，OpenAI新發(fā)布的o3和o4-mini模型在多項視覺(jué)推理測試中全面超越前代模型o1。在MMMU大學(xué)級視覺(jué)問(wèn)題解決任務(wù)中，o3的準確率達82.9%，領(lǐng)先于o1的77.6%；o4-mini表現相近，為81.6%。在MathVista視覺(jué)數學(xué)推理測試中，o3取得86.8%的成績(jì)，遠高于o1的71.8%；而o4-mini則達84.3%。在CharXiv科學(xué)圖表推理測試中，o3的準確率為78.6%，大幅領(lǐng)先o1的55.1%，o4-mini則達到72%。整體來(lái)看，o3在處理圖像與文本結合任務(wù)中展現出強大能力，o4-mini則在保持高性能的同時(shí)提升了響應速度與成本效率，展現出OpenAI多模態(tài)模型在復雜視覺(jué)任務(wù)中的顯著(zhù)進(jìn)展。

與此同時(shí)，o4-mini則提供了價(jià)格、速度和性能之間的“有競爭力的平衡”，這是開(kāi)發(fā)者在選擇AI模型為其應用提供支持時(shí)經(jīng)?？紤]的三大因素。兩款模型現已向OpenAI付費用戶(hù)開(kāi)放。

OpenAI在公告中寫(xiě)道，o3和o4-mini是首批能夠“圖像思維”的AI模型：

“這是我們首次推出能夠獨立使用全部ChatGPT工具的推理模型——包括網(wǎng)頁(yè)瀏覽、Python編程、圖像理解和圖像生成能力。這使得它們在解決復雜的多步驟問(wèn)題時(shí)更加高效，并朝著(zhù)自主執行任務(wù)的方向邁出了真正一步?！?/p>

該公司解釋稱(chēng)，這意味著(zhù)“它們不僅能看圖，還能將視覺(jué)信息直接整合進(jìn)推理鏈條之中”。

OpenAI表示，o3在SWE-bench verified測試中表現達到了當前最先進(jìn)的水平（不使用自定義結構），該測試主要評估編程能力，o3的得分為69.1%。o4-mini的得分也相當出色，達到68.1%。作為對比，OpenAI此前最好的模型o3-mini在該測試中得分為49.3%，而Anthropic的Claude 3.7 Sonnet得分為62.3%。

DeepSeek壓力下 OpenAI也想開(kāi)源了？

OpenAI在2022年底推出ChatGPT，引發(fā)了生成式人工智能的熱潮。當時(shí)這款產(chǎn)品搭載的是GPT-3.5模型。此后，該公司陸續發(fā)布了多個(gè)日益復雜的系統，包括多個(gè)推理模型。但OpenAI目前面臨著(zhù)來(lái)自中國新興企業(yè)DeepSeek、Anthropic以及馬斯克旗下xAI等公司的巨大壓力，這些公司不斷推出一系列具備類(lèi)似前沿能力的AI模型。

分析認為，編程已成為生成式AI應用中增長(cháng)最快的領(lǐng)域之一，也是OpenAI的一個(gè)關(guān)鍵競爭戰場(chǎng)。Anthropic和谷歌母公司Alphabet都大力宣傳其新一代AI系統的編程能力。其他創(chuàng )業(yè)公司，如Cursor的開(kāi)發(fā)商Anysphere，也憑借面向程序員的AI工具獲得了廣泛關(guān)注。

為在這個(gè)競爭激烈的市場(chǎng)中更具優(yōu)勢，OpenAI周三宣布推出Codex CLI，這是一款旨在與如o3等模型協(xié)同工作的AI代理，可幫助用戶(hù)完成編程任務(wù)。該產(chǎn)品是開(kāi)源的，意味著(zhù)將免費向用戶(hù)開(kāi)放，并可直接在用戶(hù)的計算機終端程序中運行。

奧特曼此前曾表示，公司正在開(kāi)發(fā)一個(gè)開(kāi)源版本的推理模型，計劃在未來(lái)幾個(gè)月內發(fā)布，此舉是為了回應DeepSeek旗下開(kāi)源系統R1走紅后的市場(chǎng)影響。

OpenAI還表示，未來(lái)幾周內將推出o3-pro，這是o3的一個(gè)升級版本，使用更多計算資源生成回答，僅向ChatGPT Pro訂閱用戶(hù)開(kāi)放。而奧特曼此前曾表示，o3和o4-mini可能是OpenAI在GPT-5發(fā)布之前推出的最后一批獨立推理模型。GPT-5預計將融合傳統模型（如GPT-4.1）與推理模型，實(shí)現統一發(fā)展方向。