為何需要NPU？它是如何工作的

“NPU” 代表什么？它能做什么？在過(guò)去的一年里，關(guān)于神經(jīng)處理單元（NPU）的討論越來(lái)越多。雖然 NPU 已經(jīng)在智能手機中出現幾年了，但英特爾、AMD 以及最近的微軟都推出了配備 NPU 的支持 AI 的消費級筆記本電腦和個(gè)人電腦。

NPU 與 AI PC 的相關(guān)概念密切相關(guān)，AMD、Apple、Intel 和 Qualcomm 等主要硬件制造商生產(chǎn)的芯片中越來(lái)越多地使用 NPU。自微軟推出 Copilot+ AI PC 產(chǎn)品以來(lái)，NPU 開(kāi)始越來(lái)越多地出現在筆記本電腦中。

NPU起什么作用？

NPU 的作用是充當人工智能的硬件加速器。硬件加速是使用專(zhuān)用硅片來(lái)管理特定任務(wù)，就像主廚將不同的任務(wù)委托給副廚師，讓他們一起按時(shí)準備飯菜一樣。NPU 不會(huì )取代您的 CPU 或 GPU；相反，NPU 旨在補充 CPU 和 GPU 的優(yōu)勢，處理邊緣 AI 等工作負載，以便 CPU 和 GPU 可以為它們擅長(cháng)的任務(wù)保留處理時(shí)間。

GPU 是專(zhuān)門(mén)為渲染圖形而設計的硬件加速器，但具有足夠的底層靈活性，也非常適合 AI 或某些類(lèi)型的科學(xué)計算。長(cháng)期以來(lái)，如果您有想要處理的 AI 工作負載，您會(huì )希望使用一個(gè)或多個(gè)高性能 GPU 進(jìn)行實(shí)際的數字運算。一些公司正在致力于專(zhuān)門(mén)為 AI 構建專(zhuān)用硬件加速器，例如 Google 的 TPU，因為在“GPU”中帶有“G”的附加圖形功能在純粹用于 AI 處理的卡中沒(méi)有用處。

工作量決定一切

硬件加速在不涉及大量條件分支的重復性任務(wù)中最為有用，尤其是在數據量很大的情況下。例如，渲染 3D 圖形需要計算機管理持續不斷的無(wú)數粒子和多邊形流。這是一項帶寬密集型任務(wù)，但實(shí)際計算（主要是）三角函數。計算機圖形學(xué)、物理和天文學(xué)計算以及大型語(yǔ)言模型 (LLM)，如支持現代 AI 聊天機器人的模型是硬件加速的理想工作負載的幾個(gè)例子。

AI 工作負載有兩種類(lèi)型：訓練和推理。訓練幾乎完全在 GPU 上進(jìn)行。Nvidia 利用其近二十年對 CUDA 的投資及其在獨立 GPU 中的領(lǐng)導地位，在這兩個(gè)市場(chǎng)上占據主導地位，盡管 AMD 已遠遠落后于第二名。大規模訓練在數據中心規模進(jìn)行，當您與ChatGPT等基于云的服務(wù)進(jìn)行通信時(shí)運行的推理工作負載也是如此。

NPU（以及與之相連的 AI PC）的運行規模要小得多。它們可以補充您最喜歡的 CPU 供應商的微處理器中的集成 GPU，為未來(lái)的 AI 工作負載提供額外的靈活性，并且與等待云端相比，可以提高性能。

NPU 如何工作？

一般來(lái)說(shuō)，NPU 依靠高度并行的設計來(lái)快速執行重復性任務(wù)。相比之下，CPU 是多面手。這種差異反映在 NPU 的邏輯和物理架構中。CPU 有一個(gè)或多個(gè)內核，可以訪(fǎng)問(wèn)少量共享內存緩存，而 NPU 有多個(gè)子單元，每個(gè)子單元都有自己的微型緩存。NPU 適用于高吞吐量和高度并行的工作負載，如神經(jīng)網(wǎng)絡(luò )和機器學(xué)習。

NPU、神經(jīng)網(wǎng)絡(luò )和神經(jīng)形態(tài)系統（如英特爾的 Loihi 平臺）都具有一個(gè)共同的設計目標：模擬大腦信息處理的某些方面。

每家將 NPU 推向市場(chǎng)的設備制造商都有其特定于其產(chǎn)品的微架構。大多數制造商還發(fā)布了與其 NPU 配合使用的軟件開(kāi)發(fā)工具。例如，AMD 提供了 Ryzen AI 軟件堆棧，而英特爾則繼續改進(jìn)其正在進(jìn)行的開(kāi)源深度學(xué)習軟件工具包 OpenVINO。

NPU 和邊緣智能

大多數 NPU 都安裝在面向消費者的設備中，例如筆記本電腦和 PC。例如，高通的 Hexagon DSP 為其驍龍處理器添加了 NPU 加速功能，用于智能手機、平板電腦、可穿戴設備、高級駕駛輔助系統和物聯(lián)網(wǎng)。Apple 生態(tài)系統在 iPhone、iPad 和 iMac 的 A 系列和 M 系列芯片中使用了其神經(jīng)引擎 NPU。此外，一些 PC 和筆記本電腦被指定為 Copilot+，這意味著(zhù)它們可以在板載 NPU 上運行 Microsoft 的 Copilot AI。但是，一些服務(wù)器端或基于云的系統也使用 NPU。Google 的 Tensor Processing Units 是專(zhuān)為數據中心的高性能機器學(xué)習而設計的 NPU 加速器。

NPU 崛起的原因之一是邊緣智能的重要性日益增加。在傳感器網(wǎng)絡(luò )、移動(dòng)設備和物聯(lián)網(wǎng)之間，數據整理的需求已經(jīng)日益增長(cháng)。與此同時(shí)，基于云的服務(wù)受制于基礎設施延遲。本地處理不一定非要在云端執行任何操作。這可能在速度和安全性方面都是一種優(yōu)勢。

你是否需要 NPU 這個(gè)問(wèn)題幾乎是一個(gè)轉移注意力的話(huà)題。英特爾、AMD 和蘋(píng)果等硅谷巨頭已經(jīng)投資了這項技術(shù)。無(wú)論你是否有特定的 NPU 用途，下次你組裝或購買(mǎi) PC 時(shí)，你選擇的芯片很有可能會(huì )配備 NPU。到 2026 年底，分析師預計100% 的美國企業(yè) PC 購買(mǎi)都將在芯片中嵌入一個(gè)或多個(gè) NPU。換句話(huà)說(shuō)，不用擔心買(mǎi)不到帶有 NPU 的系統。他們會(huì )主動(dòng)找上門(mén)來(lái)的。

*免責聲明：本文由作者原創(chuàng )，內容編譯自extremetech。原文鏈接：https://www.extremetech.com/computing/what-is-an-npu