打破內存墻、功耗墻，國產(chǎn)芯片AI-NPU的現在和未來(lái)

隨著(zhù)5G的落地，物聯(lián)網(wǎng)的成本效益顯現，工業(yè)數字化、城市智慧化等演進(jìn)趨勢日益明顯，越來(lái)越多的企業(yè)和城市開(kāi)始在物聯(lián)網(wǎng)創(chuàng )新中加入數字孿生這種顛覆性的概念，來(lái)提高生產(chǎn)力和生產(chǎn)效率、降低成本，加速新型智慧城市的建設。值得一提的是，數字孿生技術(shù)已被寫(xiě)進(jìn)國家“十四五”規劃，為數字孿生城市建設提供國家戰略指引。

關(guān)于數字孿生，我們可以舉個(gè)例子，前幾年亞馬遜和京東推過(guò)的無(wú)人零售概念型實(shí)體店，將線(xiàn)下零售店變成了線(xiàn)上淘寶店，人們去店里購物前只需打開(kāi)APP，在設置中完成刷臉登錄，臉部認證成功后，在刷臉開(kāi)門(mén)時(shí)即可自動(dòng)關(guān)聯(lián)賬戶(hù)，購物后不用排隊手動(dòng)結賬，只靠刷臉即可離開(kāi)?？此茻o(wú)人管理，但背后卻是人工智能的全程跟蹤，消費者的一舉一動(dòng)都被攝像頭捕捉了下來(lái)，比如你把什么商品拿起來(lái)看了又看，意味著(zhù)你對這個(gè)商品很有興趣，但是出于某種顧慮又沒(méi)買(mǎi)，最終買(mǎi)了另外的商品，這樣的數據會(huì )被抓取下來(lái)，進(jìn)行深層次的分析，形成基礎數據庫，之后就可以根據你所有的購物記錄和消費習慣進(jìn)行周期性的推送等。

通過(guò)這個(gè)例子，我們可以看到將物理世界數字化帶來(lái)的便利性。而視覺(jué)是人類(lèi)感知世界的一個(gè)重要手段。人類(lèi)進(jìn)入智能社會(huì )的基礎是數字化，感知是將物理世界數字化的前提，而前端視覺(jué)感知的種類(lèi)、數量和質(zhì)量決定了我們這個(gè)社會(huì )智能化程度的高低。由此可見(jiàn)，智能化未來(lái)的基礎是“感知 + 計算”，AI視覺(jué)在智能化的進(jìn)程中會(huì )起到非常關(guān)鍵的作用，具備非常廣闊的應用前景。有行業(yè)分析師認為，數字孿生技術(shù)即將超越制造業(yè)，進(jìn)入物聯(lián)網(wǎng)、人工智能和數據分析等整合領(lǐng)域。這也就是我們選擇了這個(gè)創(chuàng )業(yè)方向的原因。

而視覺(jué)芯片作為物理世界到數字孿生世界最重要的入口，正受到廣泛關(guān)注，尤其是能夠對物理世界進(jìn)行80%-90%還原的AI視覺(jué)感知芯片。

那么什么是AI視覺(jué)感知芯片呢？從需求端的角度來(lái)看，AI視覺(jué)感知芯片需要具備兩大功能：一是看得清，二是看得懂，其中AI-ISP負責的就是看得清，AI-NPU負責看得懂。

圖 | AI視覺(jué)芯片的技術(shù)特點(diǎn)

事實(shí)上，從廣義上來(lái)講，在人工智能應用中能實(shí)現AI加速的芯片都可以被稱(chēng)為AI芯片，而其中用來(lái)提高AI算法運行效率的模塊往往被稱(chēng)為NPU（神經(jīng)網(wǎng)絡(luò )處理器）。目前，使用NPU加速的AI視覺(jué)芯片已被廣泛地應用于大數據、智能駕駛和圖像處理領(lǐng)域。

根據IDC發(fā)布的最新數據顯示，2021年加速服務(wù)器市場(chǎng)規模達到53.9億美元，同比增長(cháng)68.6%。其中，GPU服務(wù)器以90%的市場(chǎng)份額占據主導地位，ASIC和FPGA等非GPU加速服務(wù)器以43.8%的增速占有了11.6%的市場(chǎng)份額，達到6.3億美元。這意味著(zhù)神經(jīng)網(wǎng)絡(luò )處理器NPU的應用已走出早期試點(diǎn)階段，正成為人工智能業(yè)務(wù)中的關(guān)鍵需求。所以，今天我們就來(lái)聊聊負責“看得更清”以及“看得懂”的AI-NPU。

為什么會(huì )說(shuō)看得更清和AI-NPU也有關(guān)系呢？從人們直觀(guān)感受的角度出發(fā)，“看得清”很好理解，比如在夜間我們想要把東西看得比較清楚，但傳統攝像頭拍攝出的圖片往往會(huì )出現過(guò)曝、色彩細節被淹沒(méi)的現象，同時(shí)走動(dòng)的人和遠處的建筑物周?chē)鷷?huì )布滿(mǎn)噪點(diǎn)。那么，在類(lèi)似這種情況下，如何才能更好地實(shí)現“看得清”呢？事實(shí)上，視覺(jué)芯片要“看得清”離不開(kāi)的正是AI-NPU大算力的支撐。

圖 | 夜間視頻效果對比圖

以智慧城市為例，我們已經(jīng)使用500萬(wàn)像素的攝像頭在做智能分析。傳統的視頻畫(huà)質(zhì)的改善使用的是傳統的ISP技術(shù)，在暗光的場(chǎng)景下，會(huì )有大量的噪聲，使用AI-ISP可以解決此問(wèn)題，在暗光場(chǎng)景下依然可以給出清晰的畫(huà)面，但是使用AI-ISP的技術(shù)，就必須用AI算法全分辨率、全幀率地對視頻進(jìn)行處理，而不能采用投機取巧的縮小分辨率或者跳幀的方式進(jìn)行，因為人眼對于畫(huà)質(zhì)的閃爍非常敏感。而500萬(wàn)像素的視頻碼流，要做到全分辨率、全幀率的處理，就會(huì )對NPU的算力提出非常高的要求。

在智能分析的場(chǎng)景中，比如車(chē)輛檢測和車(chē)牌識別的應用，目前常見(jiàn)的是采用500萬(wàn)的攝像頭來(lái)錄制30fps幀率的視頻，然后每3/5幀做一次檢測，在做檢測的時(shí)候分辨率降到720P的方法，對于在視頻畫(huà)面中遠處的車(chē)牌就會(huì )識別不出來(lái)，對于高速行駛的車(chē)輛就可能會(huì )漏檢，解決方法也是盡量采用全分辨率、更高幀率檢測的方式進(jìn)行處理，而這種做法對NPU的算力同樣提出了非常高的要求。

此外，如同前面提到的，除了看得清之外，我們還需要看得懂，所謂看得懂就是要做智能分析，要做智能分析也需要AI-NPU大算力的支撐，我們可以從兩個(gè)角度來(lái)看這個(gè)問(wèn)題。

首先，我們知道AI本身是一個(gè)提高效率的工具，它最終還是要落入到場(chǎng)景里面去，這也就是早期的AI+和最近的+AI的概念。那么，當AI落到行業(yè)里面去時(shí)，它能做些什么事情呢？事實(shí)上，AI能做的事情很多，比如可以把一些行業(yè)的專(zhuān)家系統用神經(jīng)網(wǎng)絡(luò )的方式做一些替代，這就相當于我們要把這樣一個(gè)“專(zhuān)家”裝到我們的AI芯片里，這個(gè)專(zhuān)家系統要足夠聰明，對應的就是一個(gè)比較聰明或者比較大的網(wǎng)絡(luò )，網(wǎng)絡(luò )比較大就相當于腦容量比較大，它能夠維持存儲更多的權重值，這就會(huì )對NPU算力提出很高的要求。

其次，從部署的角度來(lái)看，目前我們模型的訓練大都是在大算力的Server上跑出來(lái)的，而部署是在算力有限的端側設備上，只有將模型或算法的計算量降到端側能跑起來(lái)的程度，才能在應用側更好的落地。因此需要模型壓縮的過(guò)程，而模型壓縮對技術(shù)人員的技術(shù)要求很高。如果我們端側的算力比較高，其實(shí)這個(gè)過(guò)程是可以縮短的。這類(lèi)似于做嵌入式軟件開(kāi)發(fā)的過(guò)程，早期受限于算力瓶頸，為了能夠跑更多的功能，我們需要非常認真地來(lái)壓榨硬件的性能，所以用匯編來(lái)寫(xiě)程序，但如果算力比較高，我們就可以用C語(yǔ)言來(lái)做開(kāi)發(fā)。換言之，用一部分算力來(lái)?yè)Q取開(kāi)發(fā)效率的提升、AI落地的加速是可行的，但這種做法又反過(guò)來(lái)提高了對NPU算力的要求。

以上，我們分析了AI視覺(jué)感知芯片公司為什么要開(kāi)發(fā)高性能大算力NPU的驅動(dòng)力，但要真正實(shí)現大算力的芯片開(kāi)發(fā)難度是非常大的。

眾所周知，算力是NPU性能的重要指標，然而很多早期A(yíng)I芯片的算力其實(shí)是標稱(chēng)值，真正使用時(shí)并不能達到標稱(chēng)的性能。比如號稱(chēng)1T的算力，結果實(shí)際跑下來(lái)發(fā)現只能用到200G或者是3~400G的水平。所以，大家現在使用更加實(shí)用的FPS/W或FPS/$作為衡量先進(jìn)算法在計算平臺上運行效率的評價(jià)指標。

圖 | AI-NPU的設計難點(diǎn)和驅動(dòng)力

在自動(dòng)駕駛領(lǐng)域，2017年特斯拉發(fā)布FSD芯片時(shí)，馬斯克用FSD和此前在特斯拉上應用的英偉達Drive PX2相比，表示：“從算力的角度來(lái)看，FSD是Drive PX2的3倍，但在執行自動(dòng)駕駛任務(wù)時(shí)，其FPS是后者的21倍?！?/p>

在A(yíng)I視覺(jué)芯片領(lǐng)域，愛(ài)芯元智發(fā)布的第一款高性能、低功耗的人工智能視覺(jué)處理器芯片AX630A，在公開(kāi)數據集下的不同神經(jīng)網(wǎng)絡(luò )運行速度對比，每秒處理幀數分別為3116和1356，遠超其他同類(lèi)芯片產(chǎn)品，且功耗僅約3W。

圖 | AX630A產(chǎn)品框圖

到底是什么拉開(kāi)了這些NPU利用率的差距？這背后其實(shí)是內存墻和功耗墻的問(wèn)題。所謂內存墻就是當我們通過(guò)堆MAC單元來(lái)拉高算力指標的同時(shí)，數據帶寬一定要跟上，否則數據供應能力不足，就會(huì )帶來(lái)MAC單元不斷等待數據的現象，處理性能就會(huì )下降。而功耗墻的問(wèn)題主要來(lái)自?xún)蓚€(gè)方面：MAC單元和DDR。當我們通過(guò)堆MAC單元來(lái)拉高算力指標時(shí)，MAC單元本身的耗電總量會(huì )提升，同時(shí)還需要高帶寬的支撐，在服務(wù)器側可以使用比較貴的HBM，如此一來(lái)DDR所需的功耗勢必會(huì )拉升上去，而在端側，出于成本的考量，還沒(méi)有特別好的DDR方案。

為了解決阻礙AI落地的內存墻和功耗墻這兩個(gè)共性問(wèn)題，業(yè)界常用的方法有兩種，一種是存算一體，但會(huì )受到工藝節點(diǎn)瓶頸的限制，距離量產(chǎn)還有一定的距離；另外一種是減少數據搬運。愛(ài)芯元智就是通過(guò)混合精度技術(shù)減少了數據搬運，從而在一定程度上減小了內存墻和功耗墻的阻礙，提高了整個(gè)NPU的效率。

那么，混合精度是如何減少數據搬運的呢？首先我們要明確混合精度的概念——混合精度就是將不同精度的浮點(diǎn)數/定點(diǎn)進(jìn)行數值計算。

圖 | 神經(jīng)網(wǎng)絡(luò )示意圖（簡(jiǎn)化版）

如上圖所示，其每一數列被稱(chēng)為一個(gè)layer層，最左邊的是輸入層，最右邊的是輸出層，中間的部分是隱藏層。圖中的每個(gè)圓圈代表一個(gè)神經(jīng)元，每一個(gè)神經(jīng)元上都有很多鏈接，鏈接上的數字是權重，它是參與計算的重要組成。如果權重是小數的話(huà)，則代表著(zhù)其為浮點(diǎn)數。

在整個(gè)神經(jīng)網(wǎng)絡(luò )中，權重系數比較復雜，傳統NPU的數據表示格式一般是8比特、16比特和浮點(diǎn)數，才能達到AI算法的精度，所以運算量繁重。但愛(ài)芯元智發(fā)現，在實(shí)際應用中，AI網(wǎng)絡(luò )中有的信息是有冗余的，這意味著(zhù)并不是所有的計算都需要高精度的浮點(diǎn)或是高精度的16比特，而是采用8比特或者4比特等低精度混合運算就足夠了。

在愛(ài)芯元智的AI-ISP應用中，就是基于混合精度技術(shù)，網(wǎng)絡(luò )中許多中間層都是采用INT4精度。相比原來(lái)的8比特網(wǎng)絡(luò )，數據搬運量可能就變成原來(lái)的1/2，計算量縮減為1/4。由此便可以提升NPU的使用率和效率，在單位面積內提供數倍于傳統NPU的等效算力，同時(shí)還能把成本和功耗降下來(lái)，更有利于端側和邊緣側AI落地。

當然，在A(yíng)I落地的過(guò)程中，除了要解決內存墻和功耗墻問(wèn)題以外，還需要考慮算法和硬件的結合問(wèn)題。尤其是在端側和邊緣側，芯片天生就和場(chǎng)景有一種弱耦合的關(guān)系，所以愛(ài)芯元智在設計AI視覺(jué)芯片時(shí)，采用了從應用到算法再到NPU的聯(lián)合優(yōu)化設計。

圖 | 算法與NPU的協(xié)同設計

具體來(lái)講，在傳統的AI方案中，算法和硬件通常是相互獨立的兩部分。但愛(ài)芯元智的算法團隊會(huì )在NPU設計早期就將算法網(wǎng)絡(luò )的結構、量化需求/算子需求、內存訪(fǎng)問(wèn)的需求等很多詳細信息提供給NPU設計的架構師，硬件架構師可以根據這些算法的需求來(lái)調整或優(yōu)化整個(gè)NPU的設計，從而使算法跑起來(lái)的效率達到優(yōu)化后的水平。與此同時(shí)，硬件工程師也會(huì )把算子硬件加速條件，例如數據流優(yōu)化、存儲優(yōu)化、量化限制等硬件限制提供給算法工程師，如此算法工程師在設計算法時(shí)，可以考慮到硬件限制，從算法的角度來(lái)規避一些硬件上的短板。兩者結合，便可以兼顧NPU的硬件和軟件開(kāi)發(fā)，加快AI開(kāi)發(fā)的落地效率。

基于以上優(yōu)勢與積累，愛(ài)芯元智先后推出了AX630A、AX620A、AX620U、AX170A兩代四顆端側、邊緣側AI視覺(jué)感知芯片。其中，AX170A針對手機應用場(chǎng)景，可對4K 30fps的影像進(jìn)行實(shí)時(shí)畫(huà)質(zhì)優(yōu)化，配合主控芯片可實(shí)現超級夜景視頻和優(yōu)秀的暗光拍攝功能，實(shí)現夜晚低照度下高清影像的細膩呈現；AX620A針對智慧城市、智能家居等應用，不僅能實(shí)現暗光環(huán)境下優(yōu)異的畫(huà)質(zhì)效果，同時(shí)還能兼顧約1W的低功耗優(yōu)越性能，滿(mǎn)足電池應用方案的功耗需求，兼顧IoT、智能運動(dòng)相機、手機等應用場(chǎng)景；AX630A針對智慧城市、智慧交通等密集場(chǎng)景，以強大的暗光圖像視頻處理能力和20路1080p 30fps的解碼能力，能將高畫(huà)質(zhì)、全智能、全感知和實(shí)時(shí)分析的能力優(yōu)勢發(fā)揮到極致，可輕松滿(mǎn)足客戶(hù)“全天候”和“看得清”的核心訴求。

圖 | AX170A

愛(ài)芯元智深知垂直化生態(tài)是AI芯片的歸途，所以在提供芯片的同時(shí)，還提供demo板等開(kāi)發(fā)套件、開(kāi)源軟件包，降低用戶(hù)的開(kāi)發(fā)難度，縮短用戶(hù)的開(kāi)發(fā)周期。

而從用戶(hù)的角度來(lái)講，采用第三方的NPU芯片除了能夠降低自身研發(fā)難度，獲得充足的有效AI計算能力以外，還能降低開(kāi)發(fā)成本，這是AI-NPU使用量越大越好用的優(yōu)勢。

就像愛(ài)芯元智創(chuàng )始人兼CEO仇肖莘博士曾在2021世界人工智能大會(huì )上所說(shuō)的：“希望盡我們的一些努力，能夠為世界的數字化和智能化新基建，提供更多在邊緣側和端側的支持，給社會(huì )帶來(lái)更多深刻的變化?！?/p>

關(guān)于愛(ài)芯元智：

愛(ài)芯元智（原名愛(ài)芯科技）成立于2019年5月，致力于打造世界領(lǐng)先的人工智能視覺(jué)芯片。公司專(zhuān)注于高性能、低功耗的邊緣側、端側人工智能處理器芯片開(kāi)發(fā)，自主研發(fā)面向推理加速的神經(jīng)網(wǎng)絡(luò )處理器IP。

集強大算力與超低功耗于一體，愛(ài)芯元智利用像素級的AI處理技術(shù)，打造業(yè)內領(lǐng)先的AI-ISP 自研IP，在各種復雜應用場(chǎng)景中，全面提升成像效果。愛(ài)芯元智核心技術(shù)產(chǎn)品廣泛適用于智慧城市、智能交通、智能制造和智能穿戴等視覺(jué)應用場(chǎng)景。

愛(ài)芯組建了從芯片設計、研發(fā)到生產(chǎn)的全功能團隊，在產(chǎn)品規劃和產(chǎn)品落地上具有豐富經(jīng)驗。截至2022年1月，愛(ài)芯元智已經(jīng)完成A++輪融資。整體融資進(jìn)程順利，公司發(fā)展方向獲得投資方高度認可。