超高效AI模型，在CPU上運行

微軟研究人員剛剛創(chuàng )建了 BitNet b1.58 2B4T，這是一個(gè)開(kāi)源的 1 位大型語(yǔ)言模型 (LLM)，擁有 20 億個(gè)參數，基于 4 萬(wàn)億個(gè)詞元進(jìn)行訓練。該 AI 模型的獨特之處在于其輕量級設計，能夠在 CPU 上高效運行，TechCrunch 稱(chēng) Apple M2 芯片也能運行該模型。該模型也可在 Hugging Face 上輕松獲取，任何人都可以進(jìn)行實(shí)驗。

Bitnets 使用 1 位權重，且只有三個(gè)可能值：-1、0 和 +1——由于支持三個(gè)值，從技術(shù)上講，它是一個(gè)「1.58 位模型」。與采用 32 位或 16 位浮點(diǎn)格式的主流 AI 模型相比，這節省了大量?jì)却?，使其能夠更高效地運行，并減少對內存和計算能力的需求。然而，Bitnet 的簡(jiǎn)潔性也有一個(gè)缺點(diǎn)——與大型 AI 模型相比，它的準確性較低。不過(guò)，BitNet b1.58 2B4T 憑借其海量訓練數據（估計超過(guò) 3300 萬(wàn)冊書(shū)籍）彌補了這一缺陷。

這款輕量級模型背后的團隊將其與領(lǐng)先的主流模型進(jìn)行了比較，包括 Meta 的 LLaMa 3.2 1B、谷歌的 Gemma 3 1B 和阿里巴巴的 Qwen 2.5 1.5B。BitNet b1.58 2B4T 在大多數測試中都比這些模型取得了相對不錯的成績(jì)，甚至在一些基準測試中獲得了最高榮譽(yù)。更重要的是，它僅消耗了 400MB 的非嵌入式內存，不到第二小模型（Gemma 3 1B）1.4 GB 內存的 30%。

然而，LLM 必須使用 bitnet.cpp 推理框架才能高效運行。該團隊特別指出，「即使使用必要的 fork，該模型與標準 Transformer 庫一起使用時(shí)，也不會(huì )獲得性能效率提升」。

如果您想在輕量級硬件上充分利用其優(yōu)勢，則需要獲取 GitHub 上提供的框架。該存儲庫將 bitnet.cpp 描述為「提供一套優(yōu)化的內核，支持在 CPU 上快速無(wú)損地推理 1.58 位模型（后續將支持 NPU 和 GPU）。雖然它目前不支持 AI 專(zhuān)用硬件，但它仍然允許任何擁有計算機的人在無(wú)需昂貴組件的情況下進(jìn)行 AI 實(shí)驗。

人工智能模型常常因訓練和運行耗能過(guò)高而受到詬病。但輕量級的 LLM（例如 BitNet b1.58 2B4T）可以幫助我們在性能較弱的硬件上本地運行人工智能模型。這可以減少我們對大型數據中心的依賴(lài)，甚至讓那些無(wú)法使用內置 NPU 的最新處理器和最強大 GPU 的人也能使用人工智能。

可以看到，微軟正在 AI 領(lǐng)域做更多的探索。前不久，微軟正將旗下多項人工智能功能全面開(kāi)放給搭載英特爾和 AMD 芯片的 Copilot Plus PC。此前，這些先進(jìn)的 AI 特性主要面向配備高通芯片的同類(lèi)電腦。此次功能更新中最引人注目的是「實(shí)時(shí)字幕」（Live Captions）。這項功能能夠實(shí)時(shí)將數十種不同語(yǔ)言的音頻翻譯成英文字幕。微軟早在去年 12 月就開(kāi)始在搭載英特爾和 AMD 芯片的設備上測試該功能，而現在，通過(guò)最新的 Windows 11 更新，所有符合條件的 Copilot Plus PC 用戶(hù)都可以使用這個(gè)強大的工具。

除了實(shí)時(shí)字幕外，本次更新還包括了畫(huà)圖應用（Paint）中的 AI 工具「協(xié)同創(chuàng )作者」（Cocreator）。用戶(hù)只需輸入文字描述，并結合當前的繪畫(huà)內容，協(xié)同創(chuàng )作者便能生成相應的圖像。此外，微軟還將進(jìn)一步擴大照片應用中 AI 圖像編輯器和生成器的使用權限，讓更多用戶(hù)能夠輕松進(jìn)行智能圖像處理和創(chuàng )作。

值得注意的是，此前這些 AI 功能僅在采用高通芯片的 Copilot Plus PC 上提供。微軟去年已開(kāi)始在英特爾和 AMD 設備上測試另一項名為「Recall」的 AI 功能。該功能可以截取用戶(hù)在 Copilot Plus PC 上的活動(dòng)屏幕截圖，并允許用戶(hù)進(jìn)行搜索。盡管如此，微軟尚未公布 Recall 功能何時(shí)能夠正式向所有用戶(hù)開(kāi)放。

與此同時(shí)，微軟還在搭載高通芯片的 Copilot Plus PC 上更新了「語(yǔ)音訪(fǎng)問(wèn)」（Voice Access）功能。這是一項輔助功能，旨在幫助用戶(hù)通過(guò)語(yǔ)音控制電腦。微軟表示，使用高通芯片設備的語(yǔ)音訪(fǎng)問(wèn)用戶(hù)現在將能夠「使用更具描述性和靈活性的語(yǔ)言與他們的電腦進(jìn)行交流」。此外，本次更新還新增了將 27 種語(yǔ)言翻譯成簡(jiǎn)體中文的功能。微軟方面透露，計劃在未來(lái)將這兩項語(yǔ)音訪(fǎng)問(wèn)的更新推廣到搭載英特爾和 AMD 芯片的設備上。