中國電信發(fā)布全球首個(gè)單體稠密萬(wàn)億參數語(yǔ)義模型 Tele-FLM-1T

IT之家 6 月 19 日消息，中國電信人工智能研究院（TeleAI）和智源研究院聯(lián)合發(fā)布全球首個(gè)單體稠密萬(wàn)億參數語(yǔ)義模型 Tele-FLM-1T，該模型與百億級的 52B 版本，千億級的 102B 版本共同構成 Tele-FLM 系列模型。

TeleAI 和智源研究院基于模型生長(cháng)和損失預測等技術(shù)，Tele-FLM 系列模型僅使用了業(yè)界普通訓練方案 9% 的算力資源，基于 112 臺 A800 服務(wù)器，用 4 個(gè)月完成 3 個(gè)模型總計 2.3T tokens 的訓練。模型訓練全程做到了零調整零重試，算力能效高且模型收斂性和穩定性好，Tele-FLM-1T 版本即將開(kāi)源。

目前，TeleFLM 系列模型已經(jīng)全面開(kāi)源了 52B 版本，核心技術(shù) (生長(cháng)技術(shù)、最優(yōu)超參預測)、訓練細節 (loss 曲線(xiàn)、最優(yōu)超參、數據配比和 Grad Norm 等) 均開(kāi)源，開(kāi)源模型下載量過(guò)萬(wàn)，積累超 40 萬(wàn)用戶(hù)。

此外，中國電信在某市民生訴求場(chǎng)景項目上，通過(guò)引入 TeleChat-52B 模型能力，整體應用效果提升 40%，達到行業(yè)領(lǐng)先水平。

IT之家附 Tele-FLM-52B 版本開(kāi)源地址：https://huggingface.co/CofeAI/Tele-FLM

Tele-FLM-Chat 試用 (純模型單輪對話(huà)版) 地址：https://modelscope.cn/studios/FLM/ChatFLM