上海人工智能實(shí)驗室要做大模型技術(shù)的“度量衡” | 尋找中國經(jīng)濟新動(dòng)能

通常來(lái)看，AI大模型在國內市場(chǎng)燃起的這把火，主要來(lái)自互聯(lián)網(wǎng)大廠(chǎng)和科技創(chuàng )業(yè)公司兩股力量，但實(shí)際上，還有一股力量來(lái)自能夠連接產(chǎn)學(xué)研三界的研發(fā)機構，他們在這場(chǎng)前沿科技全球競賽中的角色同樣重要。

上海人工智能實(shí)驗室正處于該行列中。該實(shí)驗室是上海人工智能創(chuàng )新中心發(fā)起設立的新型研發(fā)機構，在2020年的世界人工智能大會(huì )上正式揭牌成立。

上海人工智能實(shí)驗室的研究方向包含AI基礎理論、AI開(kāi)放平臺、AI基礎軟件和基礎硬件系統、AI應用、AI核心技術(shù)、AI倫理與政策等。除學(xué)術(shù)成果外，實(shí)驗室已聯(lián)合業(yè)界、學(xué)界發(fā)布多項技術(shù)產(chǎn)品，涉及大語(yǔ)言、多模態(tài)、城市實(shí)景三維等基礎模型。

據界面新聞了解，目前該實(shí)驗室已在大模型領(lǐng)域有了諸多技術(shù)進(jìn)展。今年以來(lái)，上海人工智能實(shí)驗室已發(fā)布書(shū)生·浦語(yǔ)2.0、新一代書(shū)生·視覺(jué)大模型、書(shū)生·天際2.0，其書(shū)生通用大模型體系全面邁向2.0時(shí)代。此外，由基礎大模型衍生出的書(shū)生·浦語(yǔ)靈筆2.0和書(shū)生·浦語(yǔ)數學(xué)開(kāi)始拓寬該領(lǐng)域技術(shù)的應用路徑。

除了技術(shù)成果，上海人工智能實(shí)驗室在大模型領(lǐng)域的另一突出價(jià)值，在于建立了大模型開(kāi)源開(kāi)放評測體系“司南”（OpenCompass2.0），包含評測榜單CompassRank、評測基準社區CompassHub、評測工具鏈體系CompassKit三個(gè)板塊。

在大模型的混戰中，行業(yè)曾出現大模型大肆刷榜、不同來(lái)源大模型評測榜單四起的亂象，外界一時(shí)對各大榜單的公信力產(chǎn)生質(zhì)疑，陷入無(wú)從分辨大模型真實(shí)水平的困境。

界面新聞此前曾報道，有多位行業(yè)人士表示，未來(lái)更看好OpenCompass、FlagEval等具有一定學(xué)術(shù)背景的評測機構模式，并有頭部大模型公司創(chuàng )業(yè)者以OpenCompass為準，評判各個(gè)大模型的性能表現。

對于如何看待大模型刷榜亂象，又如何有策略地構建評測榜單的技術(shù)公信力一事，該實(shí)驗室相關(guān)負責人表示，評測是大模型技術(shù)進(jìn)步的“度量衡”。如果一些大模型沉迷于刷榜、跑分，通過(guò)“題海戰術(shù)”提高大模型評測成績(jì)，對于模型性能的反映可能失真，影響模型研發(fā)團隊的改進(jìn)方向，“高分低能”傷害的是機構本身。

在具體做法上，OpenCompass的評測維度包括基礎能力和綜合能力兩個(gè)層級，涵蓋了語(yǔ)言、知識、理解、數學(xué)、代碼、長(cháng)文本、智能體等12個(gè)一級能力維度，綜合設計了50余個(gè)二級能力維度。其能力維度設計具備可擴展性和增長(cháng)性，同時(shí)可根據未來(lái)的大模型應用場(chǎng)景進(jìn)行動(dòng)態(tài)更新和迭代。

為了能向參與評測的機構提供更真實(shí)的大模型性能表現，OpenCompass借鑒了高考提前公布“考試大綱”而不公布考題的策略，在每一期榜單發(fā)布前，公開(kāi)上一期的評測題目，既讓參與評測的機構有方向可循，也避免了直接刷題情況的產(chǎn)生。

與此同時(shí)，OpenCompass在題目構建上也進(jìn)行了前沿探索。研究人員在評測題目構建中投入了巨大的研發(fā)力度，使評測題集保持創(chuàng )新?tīng)顟B(tài)，盡量無(wú)法在互聯(lián)網(wǎng)中搜索到原題。創(chuàng )新構造題目的策略和整套的系統，同樣為大模型評測技術(shù)的核心環(huán)節之一。

此外，上海人工智能實(shí)驗室相關(guān)負責人強調，CompassRank作為榜單的承載平臺，將不受任何商業(yè)利益干擾，保持中立性。

為繼續提升大模型評測榜單的公信力和擴大可評測范疇，目前，OpenCompass已與多家產(chǎn)業(yè)機構共同推出了多個(gè)垂直領(lǐng)域的評測基準和數據集，涉及法律、金融、醫療、網(wǎng)絡(luò )安全等領(lǐng)域。OpenCompass還將通過(guò)司南大模型評測伙伴計劃，與各行業(yè)頭部企業(yè)機構一起，構建各類(lèi)高質(zhì)量的行業(yè)評測基準。