馬斯克打臉OpenAI，全球最大巨無(wú)霸模型Grok-1開(kāi)源！3140億參數8個(gè)MoE，GitHub狂攬6k星
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
說(shuō)到做到，馬斯克xAI的Grok，果然如期開(kāi)源了！
就在剛剛，xAI正式發(fā)布3140億參數混合專(zhuān)家模型Grok-1的權重和架構。
3140億的參數，讓Grok-1成為迄今參數量最大的開(kāi)源LLM，是Llama 2的4倍。
目前，xAI關(guān)于Grok-1沒(méi)有透露更多信息。
官網(wǎng)放出的信息如下——
- 基礎模型在大量文本數據上訓練，未針對任何特定任務(wù)進(jìn)行微調。
- 314B參數的MoE，有25%的權重在給定token上處于激活狀態(tài)。
- 2023年10月，xAI使用JAX和Rust之上的自定義訓練堆棧從頭開(kāi)始訓練。
一經(jīng)上線(xiàn)GitHub，Grok就狂攬了6k星，586個(gè)Fork。
項目地址：https://github.com/xai-org/grok-1
馬斯克還不忘嘲諷OpenAI一番，「告訴我們更多關(guān)于OpenAI的「open」部分...」
紐約時(shí)報點(diǎn)評道，開(kāi)源Gork背后的原始代碼，是這個(gè)世界上最富有的人控制AI未來(lái)戰斗的升級。
開(kāi)源究竟會(huì )讓技術(shù)更安全，還是會(huì )讓它更濫用？
「開(kāi)源支持者」馬斯克，以身作則地卷入了AI界的這場(chǎng)激烈辯論，并用行動(dòng)給出了答案。
小扎剛剛也對Grok做出了評價(jià)，「并沒(méi)有給人留下真正深刻的印象，3140億參數太多了，你需要一堆H100，不過(guò)我已經(jīng)買(mǎi)下了」。
一條磁力鏈，全球首個(gè)最大模型開(kāi)源
這次xAI開(kāi)源Grok-1，遵守的是Apache-2.0許可證，因此，用戶(hù)可以自由使用、修改和分發(fā)軟件。存儲庫包含了用于加載和運行Grok-1開(kāi)源權重模型的JAX示例代碼。用戶(hù)需要下載checkpoint，將ckpt-0目錄放置在checkpoint中，隨后運行以下代碼來(lái)測試：pip install -r requirements.txtpython run.py
這個(gè)腳本會(huì )在測試輸入上，加載checkpoint和模型中的樣本。
由于模型較大，參數達到了314B參數，因此需要具有足夠GPU內存的計算機，才能使用示例代碼測試模型。而且，由于此存儲庫中MoE層的實(shí)現效率不高，選擇該實(shí)現是為了避免需要自定義內核來(lái)驗證模型的正確性。通過(guò)Torrent客戶(hù)端和下面這個(gè)磁力鏈接，就可以下載權重了。magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
更多細節斯坦福研究者Andrew Kean Gao瀏覽了model.py介紹了更多Grok的架構信息，314B參數沒(méi)有更多附加條款。
8個(gè)混合專(zhuān)家（2個(gè)活躍專(zhuān)家），86B活躍參數。使用旋轉嵌入，而不是固定位置嵌入。- tokenizer詞匯量：131,072（于GPT-4類(lèi)似）相當于2^17
- 嵌入大?。?144（48*128）
- Transformer層：64（每一層都有一個(gè)解碼層：多頭注意塊和密度塊）
- 鍵值大?。?28
多頭注意模塊：有48個(gè)查詢(xún)頭和8個(gè)鍵值密集塊（密集前饋塊）：
- 寬度因子（Widening Factor）：8
- 隱藏層大小為32768每個(gè)token從8個(gè)專(zhuān)家中選出2個(gè)。
旋轉位置嵌入大小6144，與模型的輸入嵌入大小相同。- 上下文長(cháng)度：8192個(gè)token
- 精度：bf16
最后，附上一張總結版圖。
網(wǎng)友：開(kāi)源爭霸戰要來(lái)
AI社區已經(jīng)沸騰了！
技術(shù)界指出，Grok的亮點(diǎn)是在前向反饋層中使用了GeGLU以及歸一化方法，并且使用了有趣的三明治范式技術(shù)（sandwich norm technique）。
連OpenAI的員工，都表示了自己對Grok的強烈興趣。
AI研究人員Sebastian Raschka表示，與其他通常有使用限制的開(kāi)源模重模型相比，Grok更為開(kāi)源。不過(guò)它的開(kāi)源程度低于Pythia、Bloom和Olmo，后者提供了訓練代碼和可重現的數據集。
Craiyon創(chuàng )始人Boris Dayma，詳細分析了Grok-1的代碼。
網(wǎng)友indigo表示，為了「理解宇宙」的理念，看來(lái)xAI團隊特意把參數設定成了「圓周率 314B」，這是目前規模最大的開(kāi)源模型，期待今年6月的Llama 3加入Grok的開(kāi)源爭霸戰。
Grok開(kāi)源后，一大波微調要來(lái)了。
第一代Grok已超越Llama-2-70B2023年11月，xAI推出了自己的第一代大語(yǔ)言模型Grok，正式加入大模型的戰爭。當時(shí)，Grok在推特上作為「Premium+」訂閱服務(wù)的一部分，月費16美元。xAI表示，Grok的設計靈感來(lái)源于《銀河系漫游指南》，它能夠回答幾乎所有問(wèn)題，助力人類(lèi)不分背景或政治立場(chǎng)地追求理解和知識。Grok最初的版本Grok-0擁有330億參數，緊接著(zhù)xAI推出了經(jīng)過(guò)數次改進(jìn)的Grok-1，為X上的Grok聊天機器人提供支持。根據xAI公布的數據，在GSM8K、HumanEval和MMLU等一系列基準測試中，Grok-1的表現超過(guò)了Llama-2-70B和GPT-3.5，雖然跟GPT-4還差得遠。
當時(shí)，Grok不僅能夠處理X平臺上實(shí)時(shí)生成的用戶(hù)內容，還帶有一點(diǎn)幽默感，給憨憨的AI注入了一絲活力。在提供最新熱點(diǎn)事件信息（無(wú)論是政治還是體育）的同時(shí)，它還能抖個(gè)機靈，甚至偶爾諷刺一下。馬斯克為何選擇開(kāi)源？
在數次嘲諷OpenAI是「CloseAI」之后，馬斯克果真選擇了開(kāi)源自家大模型。
當然，這背后肯定也有商業(yè)上的考量。作為市場(chǎng)領(lǐng)導者的OpenAI，是沒(méi)有理由開(kāi)源ChatGPT背后模型代碼的。現在，通過(guò)發(fā)布Grok的代碼，馬斯克將自己牢牢扎根在后者的陣營(yíng)中。這一決定，或許能讓他的xAI超越Meta和Mistral AI。Llama的開(kāi)源給Meta帶來(lái)了很多好處，幾乎讓小扎從元宇宙的泥潭爬了出來(lái)。
而僅僅只是一個(gè)小型初創(chuàng )公司的Mistral AI，也因為自己的開(kāi)源策略而聲名鵲起，被業(yè)界公認為「歐洲的OpenAI」。
開(kāi)源版本可能會(huì )鼓勵開(kāi)發(fā)者和潛在客戶(hù)更快地采納自己的模型，實(shí)際上起到了市場(chǎng)推廣的作用。開(kāi)發(fā)者社區對Grok開(kāi)源版本的反饋和改進(jìn)也可能有助于xAI加速開(kāi)發(fā)新版本，這些新版本xAI可以選擇開(kāi)放源代碼或保留專(zhuān)有權。比如像Mistral一樣，承諾繼續發(fā)布開(kāi)源版本，同時(shí)為付費客戶(hù)保留最先進(jìn)的模型。馬斯克一直是開(kāi)源技術(shù)的支持者，連Tesla也已經(jīng)開(kāi)放了汽車(chē)某些部分的源代碼，而他的社交媒體平臺X公開(kāi)了一些用于內容排名的算法。「還有工作要做，但這個(gè)平臺已經(jīng)是迄今為止最透明、最注重真相、不是高門(mén)檻的平臺，」馬斯克今天在回應對開(kāi)源X推薦算法的評論時(shí)，這樣說(shuō)道。
盡管OpenAI目前在A(yíng)I領(lǐng)域仍遙遙領(lǐng)先，但開(kāi)源和閉源的戰爭還遠遠沒(méi)有結束。
AI模型是否應該開(kāi)源？某些人認為，必須防止這種強大技術(shù)免受闖入者的侵害，而另一些人則堅持認為，開(kāi)源的利絕對大于弊。作為市場(chǎng)領(lǐng)導者的OpenAI，是沒(méi)有理由開(kāi)源ChatGPT背后模型代碼的。現在，通過(guò)發(fā)布Grok的代碼，馬斯克將自己牢牢扎根在后者的陣營(yíng)中。這一決定，或許能讓他的xAI最終超越Meta和Mistral AI。參考資料：https://x.ai/blog/grok-oshttps://twitter.com/itsandrewgao/status/1769447551374156097https://www.wired.com/story/elon-musk-no-choice-open-chatbot-grok/*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
