小米正搭建GPU萬(wàn)卡集群,將對AI大模型大力投入
12月26日,記者獲悉,小米正在著(zhù)手搭建自己的GPU萬(wàn)卡集群,將對AI大模型大力投入。小米大模型團隊在成立時(shí)已有6500張GPU資源。
一名知情人士對記者表示,該計劃已經(jīng)施行數月之久,雷軍在其中扮演了重要的領(lǐng)導角色?!霸贏(yíng)I硬件這件事情上,最核心的是手機而不是眼鏡,小米在這個(gè)領(lǐng)域不‘a(chǎn)ll in’是不可能的?!?/span>
小米對AI大模型的重視度提升此前已有信號。12月20日,據第一財經(jīng)報道,DeepSeek開(kāi)源大模型DeepSeek-V2的關(guān)鍵開(kāi)發(fā)者之一羅福莉將加入小米,或供職于小米AI實(shí)驗室,領(lǐng)導小米大模型團隊。
此前DeepSeekV2在模型架構上的重要創(chuàng )新在于對MLA(Multi-head Latent Attention)的采用,這項技術(shù)在降低大模型使用成本上發(fā)揮了關(guān)鍵作用,而羅福莉是這項工作的核心人物之一。
2023年4月,小米AI實(shí)驗室大模型團隊正式組建,任命欒劍擔任大模型團隊負責人,向小米技術(shù)委員會(huì )副主席、AI實(shí)驗室主任王斌匯報。
欒劍此前為AI實(shí)驗室語(yǔ)音生成團隊的負責人,曾任東芝(中國)研究院研究員、微軟(中國)工程院高級語(yǔ)音科學(xué)家、微軟小冰首席語(yǔ)音科學(xué)家及語(yǔ)音團隊負責人等職位。
同一時(shí)間,雷軍發(fā)文談?wù)搶Υ竽P秃虯IGC的看法時(shí)表示,小米在A(yíng)I領(lǐng)域已經(jīng)耕耘多年,有AI實(shí)驗室、小愛(ài)同學(xué)、自動(dòng)駕駛等團隊?!皩τ诖竽P?,我們當然會(huì )全力以赴,堅決擁抱。我們正在研發(fā)一些有趣的技術(shù)和產(chǎn)品,等我們打磨好了,再給大家展示?!?/span>
隨后,在小米2023周年演講上,雷軍再度談及公司大模型業(yè)務(wù)進(jìn)展。
他稱(chēng)團隊成立之后,小米大模型技術(shù)的主力突破方向為輕量化、本地部署。作為最新成果,小米已初步跑通手機端側大模型(13億參數級別),在部分場(chǎng)景效果接近云端60億參數級別的大模型,將同步推送升級大模型版本的小愛(ài)同學(xué)。
彼時(shí),小米有MiLM-6B/1.3B兩個(gè)參數級別模型。王斌在接受界面新聞等媒體采訪(fǎng)時(shí)強調,包括數據、算法等在內,小米所訓練的模型都是從零開(kāi)始,但團隊也不反對第三方大模型,將以開(kāi)放態(tài)度堅持自研與第三方合作相結合,來(lái)推動(dòng)其大模型發(fā)展。
值得注意的是,小愛(ài)同學(xué)首次升級時(shí)的大模型版本就采用了第三方和自研的混合方案。
公開(kāi)資料顯示,自2016年組建AI團隊以來(lái),小米人工智能團隊經(jīng)過(guò)7年6次擴展,相關(guān)領(lǐng)域人員規模已達3000多人,其AI技術(shù)能力已覆蓋視覺(jué)、聲學(xué)、語(yǔ)音、NLP、知識圖譜、機器學(xué)習、大模型、多模態(tài)方向,并逐步接入手機、汽車(chē)、AIoT、機器人等業(yè)務(wù)板塊。
*博客內容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權請聯(lián)系工作人員刪除。