大模型走向終端，芯片怎么辦？

來(lái)源：半導體行業(yè)觀(guān)察

人工智能已經(jīng)成為半導體行業(yè)過(guò)去幾年最重要的新推動(dòng)力。而去年以ChatGPT為代表的大模型更是進(jìn)一步點(diǎn)燃了人工智能以及相關(guān)的芯片市場(chǎng)，ChatGPT背后的大模型正在成為下一代人工智能的代表并可望進(jìn)一步推進(jìn)新的應用誕生。

說(shuō)起大模型，一般我們想到的往往是在云端服務(wù)器上運行模型。然而，事實(shí)上大模型已經(jīng)在走入終端設備。一方面，目前已經(jīng)有相當多的工作證明了大模型經(jīng)過(guò)適當處理事實(shí)上可以運行在終端設備上（而不局限于運行在云端服務(wù)器）；另一方面，大模型運行在終端設備上也會(huì )給用戶(hù)帶來(lái)很大的價(jià)值。因此，我們認為在未來(lái)幾年內，大模型將會(huì )越來(lái)越多地運行在終端設備上，而這也會(huì )推動(dòng)相關(guān)芯片技術(shù)和行業(yè)的進(jìn)一步發(fā)展。

智能汽車(chē)是大模型運行在終端的第一個(gè)重要市場(chǎng)。從應用角度來(lái)看，大模型運行在智能汽車(chē)的首要推動(dòng)力就是大模型確實(shí)能給智能駕駛相關(guān)的任務(wù)帶來(lái)客觀(guān)的性能提升。去年，以BEVformer為代表的端到端鳥(niǎo)瞰攝像頭大模型可以說(shuō)是大模型在智能汽車(chē)領(lǐng)域的第一個(gè)里程碑，它把多個(gè)攝像頭的視頻流直接輸入使用transformer模塊的大模型做計算，最后的性能比之前使用傳統卷積神經(jīng)網(wǎng)絡(luò )（CNN）模型的結果好了接近10個(gè)點(diǎn)，這個(gè)可謂是革命性的變化。而在上個(gè)月召開(kāi)的CVPR上，商湯科技發(fā)布的UniAD大模型更是使用單個(gè)視覺(jué)大模型在經(jīng)過(guò)統一訓練后去適配多個(gè)不同的下游任務(wù)，最后在多個(gè)任務(wù)中都大大超越了現有最好的模型：例如，多目標跟蹤準確率超越了20%，車(chē)道線(xiàn)預測準確率提升 30%，預測運動(dòng)位移和規劃的誤差則分別降低了 38% 和 28%。

目前，汽車(chē)企業(yè)（尤其是造車(chē)新勢力）已經(jīng)在積極擁抱這些智能汽車(chē)的大模型，BEVformer（以及相關(guān)的模型）已經(jīng)被不少車(chē)企使用，我們預計下一代大模型也將會(huì )在未來(lái)幾年逐漸進(jìn)入智能駕駛。如果從應用角度考慮，智能汽車(chē)上的大模型必須要在終端設備上運行，因為智能汽車(chē)對于模型運行的可靠性和延遲要求非常高，在云端運行大模型并且使用網(wǎng)絡(luò )把結果傳送到終端無(wú)法滿(mǎn)足智能汽車(chē)的需求。

商湯科技提出的UniAD大模型架構，使用統一模型去適配多個(gè)任務(wù)

除了智能汽車(chē)之外，手機也是大模型進(jìn)入終端的另一個(gè)重要市場(chǎng)。以ChatGPT為代表的語(yǔ)言類(lèi)大模型事實(shí)上已經(jīng)成為了下一代用戶(hù)交互的重要組成部分，因此在手機上使用大語(yǔ)言模型將會(huì )能把這樣的新用戶(hù)交互體驗帶入手機操作系統中。而在手機設備終端直接運行大語(yǔ)言模型的主要好處在于能夠在保護用戶(hù)隱私的情況下給用戶(hù)帶來(lái)個(gè)性化的體驗（例如歸納和某個(gè)用戶(hù)的聊天記錄等等）。目前，開(kāi)源社區已經(jīng)可以把Llama大語(yǔ)言模型能夠運行在安卓手機上CPU，回答一個(gè)問(wèn)題大約需要5-10秒的時(shí)間，我們認為未來(lái)的潛力巨大。

智能汽車(chē)芯片加速大模型：算力與功耗成為關(guān)鍵

目前，人工智能已經(jīng)在智能汽車(chē)的輔助駕駛應用中得到了廣泛應用，因此大多數智能汽車(chē)上使用的芯片也有對于人工智能的支持，例如加入人工智能加速器等。然而，這些人工智能加速器主要考慮的加速對象模型仍然是上一代以卷積神經(jīng)網(wǎng)絡(luò )為代表的模型，這些模型往往參數量比較小，對于算力的需求也比較低。

為了適配下一代大模型，智能汽車(chē)芯片會(huì )有相應的改動(dòng)。下一代大模型對于智能汽車(chē)芯片的要求主要包括：

我們可以從目前最成功的大模型加速芯片（即GPU）出發(fā)去推測支持大模型智能汽車(chē)芯片的具體架構，考慮GPU上有哪些設計思路需要進(jìn)一步發(fā)揚光大，另外有哪些應該考慮重新設計。

首先，GPU上有海量的矩陣計算單元，這些計算單元是GPU算力的核心支撐（與之相對的，CPU上缺乏這些海量的矩陣計算單元因此算力無(wú)論如何不可能高上去），這些計算單元在智能汽車(chē)芯片上同樣也是必須的；但是由于智能汽車(chē)芯片上的計算不用考慮GPU上對于數據流和算子通用性的支持，因此智能汽車(chē)芯片上無(wú)需做GPU上這樣的大量stream core，因此從控制邏輯的角度可以做簡(jiǎn)化以減少芯片面積成本。

第二，GPU能成功運行大模型的另一個(gè)關(guān)鍵在于有超高速的內存接口和海量的內存，因為目前大模型的參數量動(dòng)輒千億級，這些模型必須有相應的內存支持。這一點(diǎn)在智能車(chē)芯片上同樣需要，只是智能汽車(chē)芯片未必能使用GPU上的HBM這樣的超高端（同時(shí)也是高成本）內存，而是會(huì )考慮和架構協(xié)同設計來(lái)盡可能地利用LPDDR這樣的接口的帶寬。

第三，GPU有很好的規?；头植际接嬎隳芰?，當模型無(wú)法在一個(gè)GPU上裝下時(shí)，GPU可以方便地把模型分割成多個(gè)子模型在多個(gè)GPU上做計算。智能車(chē)芯片也可以考慮這樣的架構，從而確保汽車(chē)可以在使用周期內滿(mǎn)足日新月異的模型的需求。

綜合上述考慮，我們推測針對大模型的智能車(chē)芯片架構中，可能會(huì )有多個(gè)人工智能加速器同時(shí)運行，每個(gè)加速器都有簡(jiǎn)單的設計（例如一個(gè)簡(jiǎn)單的控制核配合大量計算單元），搭配大內存和高速內存接口，并且加速器之間通過(guò)高速互聯(lián)互相通信從而可以以本地分布計算的方法來(lái)加速大模型。從這個(gè)角度，我們認為智能駕駛芯片中的內存和內存接口將會(huì )扮演決定性的角色，而另一方面，這樣的架構也非常適合使用chiplet的方式來(lái)實(shí)現每個(gè)加速器并且使用高級封裝技術(shù)（包括2.5D和3D封裝）來(lái)完成多個(gè)加速器的整合，換句話(huà)說(shuō)大模型在智能汽車(chē)的應用將會(huì )進(jìn)一步推動(dòng)下一代內存接口和高級封裝技術(shù)的普及和演進(jìn)。

大模型將會(huì )推動(dòng)手機內存和AI加速器革新

如前所述，大模型進(jìn)入手機將會(huì )把下一代用戶(hù)交互范式帶入手機。我們認為，大模型進(jìn)入手機將會(huì )是一個(gè)漸進(jìn)的過(guò)程：例如，目前的大語(yǔ)言模型，即使是小版本的Llama 70億參數的模型，也沒(méi)法完全裝入手機的內存中，而必須部分放在手機的閃存中運行，這就導致了運行速度比較慢。在未來(lái)的幾年中，我們認為手機上面的大語(yǔ)言模型會(huì )首先從更小的版本（例如10億參數以下的模型）開(kāi)始進(jìn)入應用，然后再逐漸增大參數量。

華為在春季發(fā)布會(huì )上宣布大模型技術(shù)已經(jīng)落地手機端

從這個(gè)角度來(lái)看，手機上運行大模型仍然會(huì )加速推動(dòng)手機芯片在相關(guān)領(lǐng)域的發(fā)展，尤其是內存和AI加速器領(lǐng)域——畢竟目前主流運行在手機上的模型參數量都小于10M，大語(yǔ)言模型的參數量大了兩個(gè)數量級，而且未來(lái)模型參數量會(huì )快速增大。這一方面將會(huì )推動(dòng)手機內存以及接口技術(shù)以更快的速度進(jìn)化——為了滿(mǎn)足大模型的需求，未來(lái)我們可望會(huì )看到手機內存芯片容量增長(cháng)更快，而且手機內存接口帶寬也會(huì )加快發(fā)展速度，因為目前來(lái)看內存實(shí)際上是大模型的瓶頸。

除了內存之外，手機芯片上的人工智能加速器也會(huì )為了大模型而做出相關(guān)的改變。目前手機芯片上的人工智能加速器（例如各種NPU IP）幾乎已經(jīng)是標配，但是這些加速器的設計基本上是針對上一代卷積神經(jīng)網(wǎng)絡(luò )設計，因此在設計上并不完全針對大模型。為了適配大模型，人工智能加速器首先必須能有更大的內存訪(fǎng)問(wèn)帶寬并減少內存訪(fǎng)問(wèn)延遲，這一方面需要人工智能加速器的接口上做出一些改變（例如分配更多的pin給內存接口），另一方面需要片上數據互聯(lián)做出相應的改變來(lái)滿(mǎn)足人工智能加速器訪(fǎng)存的需求。

除此之外，在加速器內部邏輯設計上，我們認為可能會(huì )更加激進(jìn)地推進(jìn)低精度量化計算（例如4bit甚至2bit）和稀疏計算，目前的學(xué)術(shù)界研究表明大語(yǔ)言模型有較大的機會(huì )可以做這樣的低精度量化/稀疏化，而如果能量化到例如4bit的話(huà)，就會(huì )大大減小相關(guān)計算單元需要的芯片面積，同時(shí)也能減小模型在內存中需要的空間（例如4bit量化精度相對于之前的標準8bit精度就會(huì )內存需求減半），這預計也會(huì )是未來(lái)針對手機端人工智能加速器的設計方向。

根據上述分析，我們預計從市場(chǎng)角度手機內存芯片將會(huì )借著(zhù)手機大模型的東風(fēng)變得更重要，預計會(huì )在未來(lái)看到相比之前更快的發(fā)展，包括大容量?jì)却嬉约案咚賰却娼涌?。另一方面，手機端人工智能加速器IP也會(huì )迎來(lái)新的需求和發(fā)展，我們預計相關(guān)市場(chǎng)會(huì )變得更加熱鬧一些。

-End-