天垓100率先完成百億級參數大模型訓練，天數智芯迎來(lái)新的里程碑

 6月10日，在第五屆智源大會(huì )AI系統分論壇上，上海天數智芯半導體有限公司（以下簡(jiǎn)稱(chēng)“天數智芯”）對外宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院（以下簡(jiǎn)稱(chēng)“智源研究院”）70億參數的Aquila語(yǔ)言基礎模型，使用代碼數據進(jìn)行繼續訓練，穩定運行19天，模型收斂效果符合預期，證明天數智芯有支持百億級參數大模型訓練的能力。

圖 天數智芯產(chǎn)品線(xiàn)總監宋煜

       在北京市海淀區的大力支持下，智源研究院、天數智芯與愛(ài)特云翔共同合作，聯(lián)手開(kāi)展基于自主通用GPU的大模型CodeGen（高效編碼）項目，通過(guò)中文描述來(lái)生成可用的C、Java、Python代碼以實(shí)現高效編碼。智源研究院負責算法設計、訓練框架開(kāi)發(fā)、大模型的訓練與調優(yōu)，天數智芯負責提供天垓100加速卡、構建算力集群及全程技術(shù)支持，愛(ài)特云翔負責提供算存網(wǎng)基礎硬件及智能化運維服務(wù)。

圖 天數智芯大模型訓練全棧方案

       在三方的共同努力下，在基于天垓100加速卡的算力集群上，100B Tokens編程語(yǔ)料、70億參數量的AquilaCode大模型參數優(yōu)化工作結果顯示，1個(gè)Epoch后loss下降到0.8，訓練速度達到87K Tokens/s，線(xiàn)性加速比高達95%以上。與國際主流的A100加速卡集群相比，天垓100加速卡集群的收斂效果、訓練速度、線(xiàn)性加速比相當，穩定性更優(yōu)。在HumanEval基準數據集上，以Pass@1作為評估指標，自主算力集群訓練出來(lái)的模型測試結果達到相近參數級別大模型的SOAT水平，在A(yíng)I編程能力與國際主流GPU產(chǎn)品訓練結果相近。

圖 基于天垓100算力集群的AquilaCode大模型訓練性能采樣

       天垓100率先完成百億級參數大模型訓練，邁出了自主通用GPU大模型應用的重要的一步。這一成果充分證明了天垓產(chǎn)品可以支持大模型訓練，打通了國內大模型創(chuàng )新發(fā)展的關(guān)鍵“堵點(diǎn)”，對于我國大模型自主生態(tài)建設、產(chǎn)業(yè)鏈安全保障具有十分重大的意義。

       接下來(lái)，天數智芯將與合作伙伴們繼續深入合作，建設更大規模的天垓100算力集群，完成更大參數規模的大模型訓練，以自主通用GPU產(chǎn)品更好支持國內大模型創(chuàng )新應用，進(jìn)一步夯實(shí)我國算力基礎，助力人工智能產(chǎn)業(yè)自主生態(tài)建設。 

       關(guān)于智源研究院

       北京智源人工智能研究院(簡(jiǎn)稱(chēng)“智源研究院”)是人工智能領(lǐng)域的新型研發(fā)機構。2018年11月14日，聯(lián)合北京多家人工智能領(lǐng)域優(yōu)勢單位共建。智源研究院的愿景和目標是聚焦原始創(chuàng )新和核心技術(shù)，建立目標導向與自由探索相結合的科研體制，營(yíng)造全球最佳的學(xué)術(shù)和技術(shù)創(chuàng )新生態(tài)，推動(dòng)北京成為全球人工智能學(xué)術(shù)思想、基礎理論、頂尖人才、企業(yè)創(chuàng )新和發(fā)展政策的源頭，率先成為國際領(lǐng)先的人工智能創(chuàng )新中心，推動(dòng)人工智能產(chǎn)業(yè)發(fā)展和深度應用，改變人類(lèi)社會(huì )生活，促進(jìn)人類(lèi)、環(huán)境和智能的可持續發(fā)展。

       關(guān)于天數智芯

       上海天數智芯半導體有限公司（簡(jiǎn)稱(chēng)“天數智芯”）是中國領(lǐng)先的通用GPU 高端芯片及超級算力系統提供商。天數智芯以“服務(wù)國家戰略”為己任，堅持“四個(gè)面向”，致力于開(kāi)發(fā)自主可控、國際領(lǐng)先的高性能通用GPU產(chǎn)品，探索通用GPU趕超發(fā)展道路，加快建設自主產(chǎn)業(yè)生態(tài)，為全產(chǎn)業(yè)提供高端算力解決方案。未來(lái)，天數智芯將堅持中國特色的自主自強創(chuàng )新發(fā)展道路，打造更可信、更高效、更綠色的世界一流算力引擎，賦能千行百業(yè)數字化轉型，促進(jìn)我國數字經(jīng)濟高質(zhì)量發(fā)展，開(kāi)啟中國引領(lǐng)世界走向元宇宙、數字孿生的嶄新一頁(yè)。

       關(guān)于愛(ài)特云翔

       愛(ài)特云翔專(zhuān)注為政企客戶(hù)提供大數據中心、云計算、人工智能服務(wù)，是以“cloud + AI”為技術(shù)基座的科技創(chuàng )新型企業(yè)。愛(ài)特云翔目前擁有淄博臨淄、寧夏中衛、青島即墨等三個(gè)大數據產(chǎn)業(yè)園和IDC，總機柜數為2.2萬(wàn)個(gè)，已具備覆蓋華北、華中、華東、華南的光纖網(wǎng)絡(luò )，建立有北京、上海、淄博軟件與算法研發(fā)中心、濟南技術(shù)支持中心、深圳硬件設計中心、聊城智能物聯(lián)生產(chǎn)線(xiàn)，及全國各地子公司等分支機構。