從基礎能力到應用，大模型實(shí)測結果揭曉
加入技術(shù)交流群
OpenAI 于 2023 年 3 月 14 日發(fā)布最新版本多模態(tài)大模型 GPT-4 及其 API；在中國市場(chǎng)，模型的通用性和泛化能力吸引了各大廠(chǎng)商布局，市場(chǎng)上的大模型/生成式AI產(chǎn)品紛至沓來(lái)。2024年5月，全球代表性AI技術(shù)供應商如OpenAI發(fā)布了更新的大模型GPT-4o，在文本、圖像、音頻和視頻等多模態(tài)融合嘗試方面展現出強大的能力，能夠以這三者的任意組合進(jìn)行輸入和輸出，Google也發(fā)布了大模型Gemini的最新功能、文生圖模型Imagen3、對標Sora的文生視頻模型Veo等。IDC觀(guān)察到，在中國市場(chǎng)，從2024年第二季度開(kāi)始，越來(lái)越多的AI技術(shù)供應商開(kāi)始更新升級基礎大模型及相關(guān)產(chǎn)品，新一輪的“百模大戰”一觸即發(fā)。
本文引用地址：http://dyxdggzs.com/article/202406/459752.htm實(shí)測方法
本次實(shí)測面向市場(chǎng)上主流的大模型技術(shù)供應商，產(chǎn)品必須是已經(jīng)開(kāi)放使用，并按照國家互聯(lián)網(wǎng)信息辦公室要求已經(jīng)完成備案。測試的媒介主要是基于基礎大模型的網(wǎng)頁(yè)版的產(chǎn)品，IDC對參與廠(chǎng)商的產(chǎn)品表現分別進(jìn)行測評?；A能力問(wèn)題涉及問(wèn)答理解類(lèi)、推理類(lèi)、創(chuàng )作表達類(lèi)、數學(xué)類(lèi)、代碼類(lèi)等；應用問(wèn)題主要包含toC通用場(chǎng)景類(lèi)和toB特定行業(yè)類(lèi)，每一類(lèi)單獨計分。
基礎大模型產(chǎn)品實(shí)測結果評述
為對比國內外大模型的產(chǎn)品差異以及推動(dòng)大模型/生成式AI相關(guān)產(chǎn)品的發(fā)展和應用，IDC成立產(chǎn)品測試團隊，通過(guò)多個(gè)維度（如生成質(zhì)量、使用與性能、安全與合規等）對基礎大模型及相關(guān)產(chǎn)品進(jìn)行評測，并邀請外部專(zhuān)家團隊深入分析各個(gè)產(chǎn)品答案準確性、合理性等，并在審核委員會(huì )的監督下，最終得出各廠(chǎng)商的評估結果，供用戶(hù)選型參考。
綜合最終的得分情況，基礎大模型產(chǎn)品能力處于第一梯隊的有（梯隊產(chǎn)品表現在同一均線(xiàn)，以下按照技術(shù)供應商首字母順序排列）：阿里通義千問(wèn)/通義萬(wàn)相等通義系列生成式AI產(chǎn)品、百度文心一言/文心一格、科大訊飛訊飛星火 3.5 Max、OpenAI GPT4、商湯日日新SenseNova 5.0。
在所有的題目類(lèi)型中，目前如問(wèn)答理解、toC通用場(chǎng)景類(lèi)得分率較高，數學(xué)類(lèi)、推理類(lèi)、代碼類(lèi)問(wèn)題、行業(yè)應用類(lèi)的準確率較低，需進(jìn)一步優(yōu)化。詳細的測評結果展示如下：
IDC中國大模型產(chǎn)品測試團隊表示，2024年產(chǎn)業(yè)界更加關(guān)注大模型和生成式AI的落地，生成式AI的進(jìn)一步發(fā)展需要多種模態(tài)的大模型作為引擎。更為接近人類(lèi)的思維方式，是未來(lái)大語(yǔ)言模型競爭的關(guān)鍵，技術(shù)供應商還需持續優(yōu)化大模型在數學(xué)、推理、代碼等問(wèn)題以及在行業(yè)應用中的生成質(zhì)量，提高生成的速度并降低大模型使用的成本，加快大模型技術(shù)的應用與普及。
免責聲明
本文中的內容和數據均來(lái)源于IDC所發(fā)布的報告，所有內容及數據均為我公司所有。未經(jīng)IDC書(shū)面許可，任何機構和個(gè)人不得以任何形式翻版、復制、刊登、發(fā)表或引用。
評論