愛(ài)芯通元NPU完成Llama 3和Phi-3大模型適配
加入技術(shù)交流群
人工智能芯片研發(fā)及基礎算力平臺公司愛(ài)芯元智宣布，近日，Meta、Microsoft相繼發(fā)布具有里程碑意義的Llama 3系列和Phi-3系列模型。為了進(jìn)一步給開(kāi)發(fā)者提供更多嘗鮮，愛(ài)芯元智的NPU工具鏈團隊迅速響應，已基于A(yíng)X650N平臺完成 Llama 3 8B和Phi-3-mini模型適配。
本文引用地址：http://dyxdggzs.com/article/202404/458193.htm上周五，Meta發(fā)布了Meta Llama 3系列語(yǔ)言模型（LLM），具體包括一個(gè)8B模型和一個(gè)70B模型在測試基準中，Llama 3模型的表現相當出色，在實(shí)用性和安全性評估中，與那些市面上流行的閉源模型不相上下。
在架構層面，Llama 3選擇了標準的僅解碼（decoder-only）式Transformer架構，采用包含128K token詞匯表的分詞器。Llama 3使用了超過(guò)15T的公開(kāi)數據進(jìn)行訓練，其中5%為非英文數據，涵蓋30多種語(yǔ)言，訓練數據量是前代Llama 2的七倍。
根據Meta的測試結果，Llama 3 8B模型在MMLU、GPQA、HumanEval等多項性能基準上均超過(guò)了Gemma 7B和Mistral 7B Instruct，70B模型則超越了名聲在外的閉源模型Claude 3的中間版本Sonnet，和谷歌的Gemini Pro 1.5相比三勝兩負。
實(shí)際上板結果：目前AX650N已經(jīng)完成了Llama 3 8B Int8版本的適配，若采用Int4量化，每秒token數還能再翻一倍，能滿(mǎn)足正常的人機交流。
Llama 3剛發(fā)布沒(méi)多久，競爭對手就來(lái)了，而且是可以在手機上運行的小體量模型。
本周二，微軟發(fā)布了自研小尺寸模型Phi-3。盡管Phi-3-mini被優(yōu)化至可部署在手機上，但它的性能可以與Mixtral 8x7B和GPT-3.5等模型相媲美。微軟表示，該創(chuàng )新主要在于用了質(zhì)量更好的訓練數據集。
實(shí)際上板結果：目前AX650N已經(jīng)完成了Phi-3-mini Int8版本的適配，已能滿(mǎn)足正常的人機交流。
其他成果
AX650N能第一時(shí)間完成Llama 3和Phi-3的適配，源于今年以來(lái)相關(guān)團隊悄悄完成了現有NPU工具鏈針對大語(yǔ)言模型的支持和調優(yōu)。目前除了Llama 3之外，已經(jīng)完成了Llama 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等國內外主流的開(kāi)源大語(yǔ)言模型適配。
后續計劃
今年是AIPC的元年，愛(ài)芯元智將針對AIPC的常見(jiàn)應用提供更多的解決方案。充分發(fā)揮愛(ài)芯通元NPU高能效比的技術(shù)優(yōu)勢，讓各種有趣的大模型實(shí)現高性?xún)r(jià)本地化部署，做到“人人都用得起大模型”，深入實(shí)踐“普惠AI，造就美好生活”。
評論