安霸發(fā)布N1系列生成式AI芯片,支持前端設備運行本地LLM應用

單顆 SoC 支持 1 至 340 億參數的多模態(tài)大模型（Multi-Modal LLM）推理，實(shí)現前端低功耗生成式 AI。

Ambarella (下稱(chēng)“安霸”，專(zhuān)注 AI 視覺(jué)感知的半導體公司）于當天宣布，在 2024 國際消費電子展（CES）期間，展出在其新款 N1 系列 SoC 上運行多模態(tài)大模型（Multi-Modal LLM），其每次推理的功耗顯著(zhù)低于當前市場(chǎng)的通用 GPU 解決方案。生成式 AI 是為了處理大規模數據集而最早應用于服務(wù)器上的變革性技術(shù)，而安霸的目標是將生成式 AI 部署于終端設備和本地硬件上，從而將其廣泛應用于視頻安防分析、機器人以及眾多工業(yè)領(lǐng)域。

安霸將在中高端 SoC 上提供已優(yōu)化的生成式 AI 處理。這些 AI SoC 包含了功耗低于 5 瓦的 CV72 芯片，以及最新的可應用于服務(wù)器端，功耗低于 50 瓦的 N1 芯片。與 GPU 及其他 AI 加速器相比，安霸提供了完整的 SoC 解決方案，每生成一個(gè) token 的能效比最高可提高 3 倍，并可快捷、低成本地部署在終端產(chǎn)品中。

安霸首席技術(shù)官兼聯(lián)合創(chuàng )始人Les Kohn 表示：“生成式 AI 在我們的目標市場(chǎng)上實(shí)現了突破，之前無(wú)法想象的功能得以實(shí)現。使用我們的 N1 系列 SoC 來(lái)進(jìn)行多模態(tài)大模型推理，將使所有的前端設備變得更智能，更低功耗，和更低成本?！?/p>

市場(chǎng)研究公司 Omdia 高級計算首席分析師 Alexander Harrowell 表示：“在未來(lái) 18 個(gè)月內，幾乎所有設備前端應用都將被生成式 AI 增強。把生成式 AI 的計算轉移到設備前端的要點(diǎn)，就在于每瓦的 AI 性能，以及它與前端生態(tài)系統其余部分的集成，而不僅僅是原始數據的吞吐量?！?/p>

所有安霸的 AI SoC 均可搭配全新的 Cooper? 開(kāi)發(fā)平臺。此外，為了縮短客戶(hù)新產(chǎn)品上市的時(shí)間，安霸已預先移植和優(yōu)化了 Llama-2 等流行的大語(yǔ)言模型。其在 N1 芯片上運行的大語(yǔ)言和視覺(jué)助手 LLava 模型，可對多達 32 個(gè)攝像頭同時(shí)進(jìn)行多模態(tài)視覺(jué)分析。這些經(jīng)過(guò)預訓練和調優(yōu)的模型可從 Cooper Model Garden 下載。

在現實(shí)世界的眾多應用里，除了語(yǔ)言，視覺(jué)輸入也是一種關(guān)鍵模式。安霸 SoC 的特有架構非常適合以超低功耗同時(shí)運行視頻處理和 AI 計算。安霸的 AI SoC 并不是單一的 AI 加速器，它不僅能夠高效處理多模態(tài)大模型，還能同時(shí)執行各種系統功能。

生成式 AI 將成為計算機視覺(jué)處理中跨越式的新技術(shù)，它可將上下文學(xué)習和場(chǎng)景理解應用于各種設備，從而涵蓋安防設施、自主機器人以及眾多工業(yè)應用?；诎舶?AI 芯片的設備端通過(guò)運行大語(yǔ)言模型和多模態(tài)處理可實(shí)現以下功能：安防視頻的上下文智能搜索、通過(guò)自然語(yǔ)言命令控制的機器人、以及多才多藝的AI助手，比如代碼、文本和圖像的生成等。 

這些依賴(lài)攝像頭和自然語(yǔ)言理解的系統，大部分將受益于設備前端的生成式 AI 處理，其處理速度得以提高，隱私保護得到加強，并且總成本也會(huì )降低。安霸解決方案支持的本地處理也非常適合垂直領(lǐng)域大語(yǔ)言模型，這些大語(yǔ)言模型通常需要針對每個(gè)具體應用場(chǎng)景進(jìn)行調整；而傳統的集中式服務(wù)器方案則是使用更大、功耗更高的大語(yǔ)言模型來(lái)滿(mǎn)足不同用例的要求。

基于安霸最初為自動(dòng)駕駛開(kāi)發(fā)的 CV3-HD 架構，N1 系列 SoC 對總算力資源進(jìn)行了針對性的優(yōu)化，從而以超極低功耗運行多模態(tài)大模型。例如，N1 SoC 在單流模式下以低于 50 瓦的功耗運行 Llama2-13B，每秒可推理 25 個(gè) token。N1 解決方案自帶移植好的大模型，使系統整合更容易，因此它可快速幫助 OEM 廠(chǎng)商部署生成式 AI，特別是要求低功耗的各種應用，比如自帶本地應用的 AI 智能盒子、送貨機器人等，不一而足。

本周，安霸將在 CES 展會(huì )期間持續演示 N1 SoC 及其多模態(tài)大模型功能。