開(kāi)源大模型超越 GPT-3.5！爆火 MoE 實(shí)測結果出爐，網(wǎng)友：OpenAI 越來(lái)越?jīng)]護城河了

一條神秘磁力鏈接引爆整個(gè) AI 圈，現在，正式測評結果終于來(lái)了：

首個(gè)開(kāi)源 MoE 大模型 Mixtral 8x7B，已經(jīng)達到甚至超越了 Llama 2 70B 和 GPT-3.5 的水平。

（對，就是傳聞中 GPT-4 的同款方案。）

并且由于是稀疏模型，處理每個(gè) token 僅用了 12.9B 參數就做到了這般成績(jì)，其推理速度和成本也與 12.9B 的密集模型相當。

消息一出，再次在社交媒體上掀起討論熱潮。

OpenAI 創(chuàng )始成員 Andrej Karpathy 第一時(shí)間趕到現場(chǎng)整理起了筆記，還高亮出了重點(diǎn)：這家“歐版 OpenAI”透露出的最強模型，還只是“中杯”。

p.s. Mixtral 8×7B 甚至只是小杯……

英偉達 AI 科學(xué)家 Jim Fan 則贊說(shuō)：

每個(gè)月都會(huì )有十幾個(gè)新的模型冒出來(lái)，但真正能經(jīng)得住檢驗的卻寥寥無(wú)幾，能引發(fā)大家伙熱烈關(guān)注的就更少了。

并且這波啊，不僅是模型背后公司 Mistral AI 大受關(guān)注，也帶動(dòng) MoE（Mixture of Experts）再次成為開(kāi)源 AI 社區的最火議題。

HuggingFace 官方就趁熱發(fā)布了一篇 MoE 的解析博文，同樣打出了“轉發(fā)如潮”的效果。

值得關(guān)注的是，Mistral AI 的最新估值已經(jīng)沖破 20 億美元，在短短 6 個(gè)月中增長(cháng)了 7 倍多……

基本超越 Llama 2 70B

說(shuō)起來(lái)，Mistral AI 這家公司也是不走尋常路。隔壁大廠(chǎng)前腳剛轟轟烈烈搞發(fā)布會(huì )，慢慢悠悠發(fā)模型，他們可倒好，直接來(lái)了個(gè)程序顛倒：

先甩鏈接開(kāi)放下載，又給 vLLM 項目（一個(gè)大模型推理加速工具）提了 PR，最后才想起來(lái)發(fā)布技術(shù)博客給自家模型整了個(gè)正經(jīng)官宣。

△ 模型一開(kāi)始是醬嬸發(fā)布的

那么還是先來(lái)看看，官方給出了哪些信息，與這兩天吃瓜群眾自己扒出來(lái)的細節有何不同。

首先，官方自信地表示：

Mixtral 8×7B 在大多數基準測試中都優(yōu)于 Llama 2 70B，推理速度快了 6 倍。

它是最強大的、具有寬松許可的開(kāi)放權重模型，也是最佳性?xún)r(jià)比之選。

具體來(lái)說(shuō)，Mixtral 采用了稀疏混合專(zhuān)家網(wǎng)絡(luò )，是一個(gè) decoder-only 的模型。在其中，前饋塊會(huì )從 8 組不同的參數組中進(jìn)行選擇 ——

也就是說(shuō)，實(shí)際上，Mixtral 8×7B 并不是 8 個(gè) 7B 參數模型的集合，僅僅是 Transformer 中的前饋塊有不同的 8 份。

這也就是為什么 Mixtral 的參數量并不是 56B，而是 46.7B。

其特點(diǎn)包括以下幾個(gè)方面：

• 在大多數基準測試中表現優(yōu)于 Llama 2 70B，甚至足以擊敗 GPT-3.5

• 上下文窗口為 32k

• 可以處理英語(yǔ)、法語(yǔ)、意大利語(yǔ)、德語(yǔ)和西班牙語(yǔ)

• 在代碼生成方面表現優(yōu)異

• 遵循 Apache 2.0 許可（免費商用）

具體測試結果如下：

另外，在幻覺(jué)問(wèn)題方面，Mixtral 的表現也由于 Llama 2 70B：

在 TruthfulQA 基準上的成績(jì)是 73.9% vs 50.2%；在 BBQ 基準上呈現更少的偏見(jiàn)；在 BOLD 上，Mixtral 顯示出比 Llama 2 更積極的情緒。

此次與 Mixtral 8×7B 基礎版本一起發(fā)布的，還有 Mixtral 8x7B Instruct 版本。后者經(jīng)過(guò) SFT 和 DPO 優(yōu)化，在 MT-Bench 上拿到了 8.3 的分數，跟 GPT-3.5 差不多，優(yōu)于其他開(kāi)源大模型。

目前，Mistral 官方已經(jīng)宣布上線(xiàn) API 服務(wù)，不過(guò)還是邀請制，未受邀用戶(hù)需要排隊等待。

值得關(guān)注的是，API 分為三個(gè)版本：

• 小小杯（Mistral-tiny），對應模型是 Mistral 7B Instruct；

• 小杯（Mistral-small），對應模型是這次發(fā)布的 Mixtral 8×7B；

• 中杯（Mistral-medium），對應的模型尚未公布，但官方透露其在 MT-Bench 上的得分為 8.6 分。

有網(wǎng)友直接把 GPT-4 拉過(guò)來(lái)對比了一下?？梢钥吹?，中杯模型在 WinoGrande（常識推理基準）上的得分超過(guò)了 GPT-4。

價(jià)格方面，小小杯到中杯的輸入和輸出價(jià)格分別是每一百萬(wàn) token0.14~2.5 歐元和 0.42~7.5 歐元不等，嵌入模型則是 0.1 歐元每百萬(wàn) token（1 歐元約合 7.7 人民幣）。

而在線(xiàn)版本，目前還只能到第三方平臺（Poe、HuggingFace 等）體驗。

能看懂中文，但不太愿意說(shuō)

雖然官方通告中并沒(méi)有說(shuō)支持中文，但我們實(shí)測（HuggingFace Chat 中的在線(xiàn)版，模型為 Instruct 版本）發(fā)現，Mixtral 至少在理解層面上已經(jīng)具備一定中文能力了。

生成層面上，Mixtral 不太傾向于用中文來(lái)回答，但如果指明的話(huà)也能得到中文回復，不過(guò)還是有些中英混雜的情況。

面對更多的“弱智吧”問(wèn)題，Mixtral 的回答雖中規中矩，但看上去至少已經(jīng)理解了字面含義。

數學(xué)方面，面對經(jīng)典的雞兔同籠問(wèn)題，Mixtral 的回答從過(guò)程到結果都完全正確。

即使是高等數學(xué)問(wèn)題，比如復雜的函數求導，Mixtral 也能給出正確答案，更難能可貴的是過(guò)程沒(méi)什么問(wèn)題。

而此次的官方通告中專(zhuān)門(mén)強調了 Mixtral 的代碼能力很強，所以也受到了我們的重點(diǎn)考察。

一道困難難度的 LeetCode 下來(lái)，Mixtral 給出的代碼一次就通過(guò)了測試。

給你一個(gè)未排序的整數數組 nums，請你找出其中沒(méi)有出現的最小的正整數。

請你實(shí)現時(shí)間復雜度為 O (n) 并且只使用常數級別額外空間的解決方案。

但隨著(zhù)我們繼續提問(wèn)，Mixtral 的回答一不小心暴露了自己可能專(zhuān)門(mén)針對 LeetCode 做過(guò)訓練，而且還是中文版 LC。

為了更加真實(shí)地展示 Mixtral 的代碼能力，我們轉而讓它編寫(xiě)實(shí)用程序 —— 用 JS 寫(xiě)一個(gè) Web 版計算器。

經(jīng)過(guò)幾輪調整之后，雖然按鈕的布局有些奇怪，但基本的四則運算已經(jīng)可以完成了。

此外我們會(huì )發(fā)現，如果在同一個(gè)對話(huà)窗口中不斷補充新的要求，Mixtral 的表現可能會(huì )有所下降，出現代碼格式混亂等問(wèn)題，開(kāi)啟新一輪對話(huà)后則會(huì )恢復正常。

除了 API 和在線(xiàn)版本，Mistral AI 還提供了模型下載服務(wù)，可以用