速度放緩！OpenAI新旗艦模型進(jìn)步幅度沒(méi)那么大

11月11日消息，盡管使用聊天機器人ChatGPT等人工智能產(chǎn)品的人數在激增，但支撐這些技術(shù)的底層模塊的改進(jìn)速度似乎正在放緩。為此，ChatGPT的開(kāi)發(fā)者OpenAI正在開(kāi)發(fā)新技術(shù)，以增強大語(yǔ)言模型等核心模塊，從而應對這一挑戰。

OpenAI即將推出的旗艦模型“獵戶(hù)座”（Orion）所面臨的挑戰突顯了公司當前遇到的難題。今年5月，OpenAI首席執行官薩姆·奧特曼（Sam Altman）在內部透露，他預計正在訓練中的獵戶(hù)座將顯著(zhù)優(yōu)于一年前發(fā)布的上一代旗艦模型。據知情人士稱(chēng)，盡管獵戶(hù)座的訓練進(jìn)度僅完成20%，但其智能和任務(wù)完成能力已與GPT-4不相上下。

不過(guò)，一些使用或測試過(guò)獵戶(hù)座的OpenAI員工表示，盡管其性能確實(shí)超越了前代模型，但提升幅度遠不及從GPT-3到GPT-4的躍升。一些研究人員指出，獵戶(hù)座在處理特定任務(wù)時(shí)未必穩定優(yōu)于前代模型。一位員工表示，獵戶(hù)座在語(yǔ)言任務(wù)上表現出色，但在編碼等任務(wù)中可能不如之前的模型。這種情況可能會(huì )帶來(lái)問(wèn)題，因為與OpenAI近期發(fā)布的其他模型相比，獵戶(hù)座在數據中心的運行成本更高。

獵戶(hù)座的表現正在考驗人工智能領(lǐng)域的核心假設——縮放定律，即只要數據量和計算能力持續增加，大語(yǔ)言模型就能不斷改進(jìn)。面對GPT改進(jìn)速度放緩帶來(lái)的挑戰，業(yè)界似乎正將重點(diǎn)轉向初始訓練后的模型優(yōu)化，這可能會(huì )產(chǎn)生一種新的縮放定律。

Facebook母公司Meta首席執行官馬克·扎克伯格（Mark Zuckerberg）在內的一些科技領(lǐng)袖認為，即使在技術(shù)未能進(jìn)一步突破的最壞情況下，基于當前技術(shù)仍然有很大的開(kāi)發(fā)空間來(lái)創(chuàng )建面向消費者和企業(yè)的產(chǎn)品。

OpenAI正在應對競爭對手Anthropic的威脅，將更多的代碼編寫(xiě)功能嵌入其模型中，并開(kāi)發(fā)能夠模擬人類(lèi)操作計算機的軟件，以完成涉及瀏覽器和應用程序操作的白領(lǐng)任務(wù)，如點(diǎn)擊、光標移動(dòng)和文本輸入等。

這些產(chǎn)品屬于能夠執行多步驟任務(wù)的AI代理范疇，其革命性可能與ChatGPT的首次發(fā)布相當。

扎克伯格、奧特曼及其他人工智能開(kāi)發(fā)者的高管表示，他們尚未觸及傳統縮放定律的極限。也因此，包括OpenAI在內的公司依舊投資數十億美元建設數據中心，以盡可能提高預訓練模型的性能。

然而，OpenAI研究員諾姆·布朗（Noam Brown）在上月的TEDAI大會(huì )上提出警告，認為開(kāi)發(fā)更先進(jìn)的模型可能在經(jīng)濟上變得不可持續。他表示：“我們真的會(huì )投入數千億甚至萬(wàn)億美元來(lái)訓練模型嗎？縮放模式在某個(gè)時(shí)刻會(huì )失效?！?/p>

在公開(kāi)發(fā)布獵戶(hù)座之前，OpenAI仍需完成復雜的安全測試。據員工透露，獵戶(hù)座可能會(huì )在明年初發(fā)布，并可能放棄傳統的“GPT”命名方式，以突顯大語(yǔ)言模型改進(jìn)的新特性。對此，OpenAI發(fā)言人未予置評。

數據匱乏成為模型訓練的瓶頸

OpenAI的員工和研究人員指出，GPT進(jìn)步放緩的原因之一在于高質(zhì)量文本和其他數據的供應日益減少。大語(yǔ)言模型在預訓練階段需要這些數據來(lái)理解世界和不同概念之間的關(guān)系，以解決如撰寫(xiě)博文或修復編碼錯誤等問(wèn)題。

近年來(lái)，大語(yǔ)言模型主要依賴(lài)于網(wǎng)站、書(shū)籍等來(lái)源的公開(kāi)文本數據進(jìn)行預訓練，但開(kāi)發(fā)者已幾乎耗盡了這類(lèi)數據的潛力。為此，OpenAI組建了由曾負責預訓練的尼克·賴(lài)德（Nick Ryder）領(lǐng)導的基礎團隊，致力于研究如何應對數據短缺問(wèn)題，并探索縮放定律的持續適用性。

據OpenAI員工透露，獵戶(hù)座部分使用了由其他OpenAI模型（如GPT-4和最近發(fā)布的推理模型）生成的AI數據進(jìn)行訓練。然而，這種合成數據也帶來(lái)了新問(wèn)題，可能導致獵戶(hù)座在某些方面與前代模型過(guò)于相似。

OpenAI的研究人員正在利用其他工具，通過(guò)改進(jìn)特定任務(wù)的處理方式來(lái)優(yōu)化模型后期的表現。他們采用一種稱(chēng)為強化學(xué)習的方法，讓模型從大量已正確解決的問(wèn)題中學(xué)習，如數學(xué)和編碼問(wèn)題。

此外，研究人員還邀請人類(lèi)評估員在編碼或問(wèn)題解決任務(wù)上測試預訓練模型，并對其答案進(jìn)行評分，這有助于研究人員調整模型，使其在寫(xiě)作和編碼等請求上的表現更佳。這一過(guò)程稱(chēng)為帶有人類(lèi)反饋的強化學(xué)習，也曾幫助過(guò)早期的AI模型改進(jìn)。

OpenAI及其他AI開(kāi)發(fā)商通常依賴(lài)初創(chuàng )公司，如Scale AI和Turing，來(lái)管理成千上萬(wàn)名承包商，以處理這些評估工作。

OpenAI還開(kāi)發(fā)了一種名為o1的推理模型，該模型在回答前會(huì )花費更多時(shí)間“思考”訓練數據，這一過(guò)程稱(chēng)為測試時(shí)間計算。這意味著(zhù)，即使不改變底層模型，給o1分配更多計算資源，也可以持續提高其響應質(zhì)量。據知情人士透露，即使底層模型改進(jìn)速度較慢，若OpenAI能保持持續改進(jìn)，仍然可以實(shí)現更好的推理效果。

“這為模型擴展開(kāi)辟了新維度，”布朗在TED大會(huì )上說(shuō)。他補充道，研究人員可以通過(guò)“每次查詢(xún)成本從1美分提高到10美分”來(lái)提升模型響應質(zhì)量。

奧特曼也強調了推理模型的重要性，認為它可與大語(yǔ)言模型結合使用?！拔蚁Ｍ评砟芰δ軌蚪怄i我們多年未能實(shí)現的突破，比如讓模型在科學(xué)研究和復雜代碼編寫(xiě)中做出貢獻，”奧特曼在一場(chǎng)應用開(kāi)發(fā)者活動(dòng)中表示。

在最近接受Y Combinator首席執行官陳嘉興（Garry Tan）采訪(fǎng)時(shí)，奧特曼透露：“我們基本上知道如何實(shí)現通用人工智能——一種能達到人類(lèi)能力的技術(shù)，其中一部分是創(chuàng )造性地運用現有模型?！?/p>

數學(xué)家和科學(xué)家們表示，o1對他們的研究工作有幫助，能作為合作伙伴提供反饋和啟發(fā)。然而，據兩位知情員工透露，由于o1的價(jià)格是非推理模型的六倍，因此其客戶(hù)基礎尚未普及。

突破瓶頸，提升推理能力

一些對AI開(kāi)發(fā)商投資數千萬(wàn)美元的投資者疑慮大語(yǔ)言模型的改進(jìn)速度是否開(kāi)始趨于平穩。

風(fēng)險投資家本·霍洛維茨（Ben Horowitz）在YouTube一段視頻中表示：“我們正以相同的速度增加訓練AI的圖形處理單元，但在智能提升方面未見(jiàn)顯著(zhù)改善?！被袈寰S茨的風(fēng)投公司不僅是OpenAI的股東，還投資了Mistral和Safe Superintelligence等競爭對手。

霍洛維茨的同事馬克·安德森（Marc Andreessen）在同一視頻中指出：“許多聰明人在致力于突破瓶頸，探索如何提升推理能力?！?/p>

企業(yè)軟件公司Databricks聯(lián)合創(chuàng )始人兼主席伊翁·斯托伊卡（Ion Stoica）表示，大語(yǔ)言模型在某些方面可能已趨于穩定，但在其他領(lǐng)域仍有改進(jìn)空間。他還開(kāi)發(fā)了一個(gè)網(wǎng)站，供應用開(kāi)發(fā)者評估不同的大語(yǔ)言模型。

斯托伊卡稱(chēng)，盡管AI在編碼和解決復雜問(wèn)題上不斷進(jìn)步，但在執行通用任務(wù)（如分析文本情感或描述醫療癥狀）時(shí)，進(jìn)展似乎放緩。

“在常識性問(wèn)題上，我們似乎看到大語(yǔ)言模型的表現趨于平穩。為實(shí)現進(jìn)一步突破，我們需要更多的事實(shí)性數據，而合成數據幫助有限?！?/p>