國產(chǎn)大模型 DeepSeek-V3 開(kāi)源:6710 億參數自研 MoE,性能和 GPT-4o 不分伯仲
12 月 27 日消息,“深度求索”官方公眾號昨日(12 月 26 日)發(fā)布博文,宣布上線(xiàn)并同步開(kāi)源 DeepSeek-V3 模型,用戶(hù)可以登錄官網(wǎng) chat.deepseek.com,與最新版 V3 模型對話(huà)。
本文引用地址:http://dyxdggzs.com/article/202412/465844.htm援引博文介紹,DeepSeek-V3 是一個(gè) 6710 億參數的專(zhuān)家混合(MoE,使用多個(gè)專(zhuān)家網(wǎng)絡(luò )將問(wèn)題空間劃分為同質(zhì)區域)模型,激活參數 370 億,在 14.8 萬(wàn)億 token 上進(jìn)行了預訓練。
多項評測成績(jì)超越 Qwen2.5-72B 和 Llama-3.1-405B 等開(kāi)源模型,性能比肩 GPT-4o 和 Claude-3.5-Sonnet 等世界頂尖閉源模型。
該模型在知識、長(cháng)文本、代碼、數學(xué)和中文等方面均取得顯著(zhù)進(jìn)步,尤其在算法代碼和數學(xué)方面表現突出,生成速度提升至 60 TPS,相比 V2.5 提升了 3 倍。
官方開(kāi)源了原生 FP8 權重,并提供 BF16 轉換腳本,方便社區適配和應用。SGLang、LMDeploy、TensorRT-LLM 和 MindIE 已支持 V3 模型推理。
DeepSeek-V3 更新上線(xiàn)的同時(shí),DeepSeek 還調整了 API 服務(wù)價(jià)格,模型 API 服務(wù)定價(jià)也將調整為每百萬(wàn)輸入 tokens 0.5 元(緩存命中)/ 2 元(緩存未命中),每百萬(wàn)輸出 tokens 8 元。
官方還決定為全新模型設置長(cháng)達 45 天的優(yōu)惠價(jià)格體驗期:即日起至 2025 年 2 月 8 日,DeepSeek-V3 的 API 服務(wù)價(jià)格仍然會(huì )是大家熟悉的每百萬(wàn)輸入 tokens 0.1 元(緩存命中)/ 1 元(緩存未命中),每百萬(wàn)輸出 tokens 2 元,已經(jīng)注冊的老用戶(hù)和在此期間內注冊的新用戶(hù)均可享受以上優(yōu)惠價(jià)格。
評論