Microsoft推出可在常規CPU上運行的AI模型

Microsoft Research 的一組計算機科學(xué)家與中國科學(xué)院大學(xué)的一位專(zhuān)家合作，推出了 Microsoft 的新 AI 模型，該模型在常規 CPU 而不是 GPU 上運行。研究人員在 arXiv 預印本服務(wù)器上發(fā)布了一篇論文，概述了新模型的構建方式、特性以及迄今為止在測試過(guò)程中的表現。

在過(guò)去的幾年里，LLM 風(fēng)靡一時(shí)。ChatGPT 等模型已向全球用戶(hù)開(kāi)放，引入了智能聊天機器人的理念。它們中的大多數都有一個(gè)共同點(diǎn)，那就是它們都經(jīng)過(guò)訓練并在 GPU 芯片上運行。這是因為他們在使用大量數據進(jìn)行訓練時(shí)需要大量的計算能力。

最近，人們擔心數據中心使用大量能源來(lái)支持所有用于各種目的的聊天機器人。在這項新的工作中，該團隊找到了一種更智能的方式來(lái)處理這些數據，并且他們建立了一個(gè)模型來(lái)證明這一點(diǎn)。

運行 AI 模型最耗能的部分之一涉及權重的使用和存儲方式，通常為 8 位或 16 位浮點(diǎn)數。這種方法涉及大量?jì)却婧?CPU 處理，這反過(guò)來(lái)又需要大量能量。在他們的新方法中，研究人員完全取消了浮點(diǎn)數的使用，而是建議使用他們所描述的 1 位架構。

在他們的創(chuàng )新中，僅使用三個(gè)值來(lái)存儲和處理權重：-1、0 和 1。這允許在處理過(guò)程中只使用簡(jiǎn)單的加法和減法 - 這些作可以使用基于 CPU 的計算機輕松完成。

對新模型類(lèi)型的測試表明，它能夠在同類(lèi)規模中與基于 GPU 的模型相媲美，甚至超越了其中一些模型，同時(shí)使用的內存要少得多，最終能耗也要低得多。

為了運行這樣的模型，該團隊為其創(chuàng )建了一個(gè)運行時(shí)環(huán)境。新環(huán)境稱(chēng)為 bitnet.cpp，旨在充分利用 1 位體系結構。

如果團隊的說(shuō)法成立，BitNet b1.58 2B4T 的開(kāi)發(fā)可能會(huì )改變游戲規則。用戶(hù)無(wú)需依賴(lài)海量數據農場(chǎng)，而是很快就可以在他們的計算機或手機上運行聊天機器人。除了減少能源需求外，本地化 LLM 處理還將大大提高隱私性，并允許在沒(méi)有連接到 Internet 的情況下工作。

BitNet b1.58 2B4T 在性能與內存方面推進(jìn)了帕累托前沿，該前沿是由 3B 參數下領(lǐng)先的開(kāi)放權重 LLM 定義的，展示了卓越的效率。