揭秘AI芯片創(chuàng )新風(fēng)向！清華北大中科院專(zhuān)家同臺論道，如何突破性能瓶頸？
加入技術(shù)交流群
編輯 | 漠影
芯東西6月7日報道，在上周舉行的2022北京智源大會(huì )芯片前沿技術(shù)論壇上，來(lái)自清華、北大、中科院等科研院所的多位專(zhuān)家學(xué)者分享了AI芯片在存算一體、跨層優(yōu)化、軟硬件協(xié)同設計等方面的前沿技術(shù)創(chuàng )新思路。清華大學(xué)教授、清華大學(xué)集成電路學(xué)院院長(cháng)吳華強解讀了憶阻器存算一體芯片所面臨的挑戰；北京大學(xué)信息科學(xué)技術(shù)學(xué)院長(cháng)聘副教授、博雅青年學(xué)者梁云分享了可用于降低軟硬件開(kāi)發(fā)門(mén)檻的智能芯片設計工具；清華大學(xué)電子系長(cháng)聘教授劉勇攀從“算法-架構-器件”協(xié)同優(yōu)化的角度探討“分久必合”的芯片設計如何提升性能；中國科學(xué)院計算技術(shù)研究所副研究員、智源青年科學(xué)家杜子東聚焦AI訓練，提出支持高效量化訓練、精度損失可忽略不計的架構。面向產(chǎn)業(yè)落地，AI芯片公司昆侖芯科技的芯片研發(fā)總監漆維亦分享了其團隊在十年耕耘期間所觀(guān)察和總結的AI芯片大規模落地的4個(gè)挑戰。芯東西對論壇中的干貨內容加以梳理，與讀者共饗。
01.清華吳華強：憶阻器存算一體芯片興起，三大挑戰解析
▲吳華強
對于A(yíng)I算法而言，“存儲墻”正成為主要的計算瓶頸，數據搬運會(huì )消耗大量功耗和時(shí)間。目前AI算法在一部分云計算里算子比較集中，因此與憶阻器陣列有很好的契合度。基于憶阻器等類(lèi)腦計算器件的存算一體架構，學(xué)習了大腦工作機制，通過(guò)模擬一些突觸乃至神經(jīng)元的功能，成為突破“馮·諾伊曼”瓶頸的最有潛力的技術(shù)路線(xiàn)之一，有望大幅提升算力和能效。憶阻器具有電阻可調特性，也可以解決很多傳統模擬計算的參數難以配置的問(wèn)題，它的出現，使得“存算一體+模擬計算”的新計算范式興起。吳華強教授重點(diǎn)解讀了憶阻器存算一體芯片面臨的三個(gè)挑戰：1、如何真正克服比特誤差對系統誤差的影響？過(guò)去數字計算首先是比特精確，比特精確至少要保證系統精確。在基于憶阻器的模擬計算里，每個(gè)比特相對來(lái)說(shuō)有一個(gè)range，個(gè)別比特可能完全不準。如需將每個(gè)比特都做得很精準，則能耗變高，能效會(huì )受影響。對此，解決思路一方面是從數學(xué)模型去驗證它們的誤差關(guān)系，另一方面從算法上進(jìn)行挑戰，根據實(shí)踐，如果直接復制數字計算的算法，往往得到的效果較差，而在這之中進(jìn)行微調，尤其對底層設備、對分布規律的理解會(huì )有很大的幫助。吳華強團隊提出由片外壓力訓練和片上自適應訓練組成的混合訓練框架，在片外壓力訓練中引入系統誤差模型，構建具有誤差耐受性的網(wǎng)絡(luò )模型，提升實(shí)際硬件系統的精度。在權重映射到芯片后，通過(guò)原位更新關(guān)鍵層權重進(jìn)行自適應訓練，進(jìn)一步提升精度。2、如何高效、低成本的設計并制造出憶阻器存算一體芯片？吳華強給出的解法是：CMOS嵌入式集成+EDA工具鏈。芯片走向更大規模，需要器件進(jìn)一步優(yōu)化結構。從2010年至今，其團隊制作憶阻器件的過(guò)程分了幾個(gè)階段：第一階段，用2μm工藝在實(shí)驗室中篩選CMOS兼容材料，制備單器件；第二階段，130nm工藝，打通后端集成工藝，發(fā)展了Foundry+Lab模式，最多集成到64M的憶阻器；第三階段，與聯(lián)電新加坡廠(chǎng)、廈門(mén)聯(lián)芯、中芯國際等大的代工廠(chǎng)合作，從40nm到28nm、22nm，可完成整個(gè)工藝的加工。其團隊還研發(fā)了從器件仿真、電路模塊設計到系統架構設計的EDA工具鏈，目前已將EDA工具鏈跟兩款工業(yè)芯片進(jìn)行適配。此外吳華強透露，他們有計劃將EDA工具鏈開(kāi)源。3、如何提升存算一體架構的通用性，使其適配更多的神經(jīng)網(wǎng)絡(luò )算法？吳華強團隊研發(fā)的軟件工具鏈包括編譯器、軟件模擬、硬件模擬器等，通過(guò)軟件工具鏈實(shí)現算法和芯片硬件的解耦，可支持各種神經(jīng)網(wǎng)絡(luò )算法。其中，編譯器對接算法層，可實(shí)現存算一體計算單元上高效部署神經(jīng)網(wǎng)絡(luò )算法及生成可執行程序的功能；軟件模擬對接著(zhù)編譯器和算法層，結合底層硬件模型，考慮真實(shí)器件的非理想因素，實(shí)現對真實(shí)硬件功能與性能的評估與探索；硬件模擬器對接編譯器，功能完整的計算單元模塊，模擬存算一體SoC工作過(guò)程中的數據信號與控制信號變化情況。在芯片方面，吳華強團隊在研制一款采用28nm制程工藝的集成憶阻器存算一體芯片，集成規模達到64Mb，數模轉換精度達8bit，預期算力超過(guò)100TOPS，預期能效超過(guò)10TOPS/W，具備一定通用計算能力，功能可重構、參數可配置，并有配套軟件工具鏈。
02.北大梁云：軟硬協(xié)同設計工具，降低智能芯片開(kāi)發(fā)門(mén)檻
▲梁云
在他看來(lái)，摩爾定律停滯不前以及功耗限制，需要架構方面的創(chuàng )新，領(lǐng)域專(zhuān)用處理器（DSA）是一種可能的解決方案。DSA有多種優(yōu)勢，從硬件角度，可以做更高效的并行設計、內存架構、數據表示形式；從軟件角度，可將復雜的編譯器變簡(jiǎn)單。最近幾年，梁云主要關(guān)注的是張量（Tensor）計算。由于張量計算的重要性，許多廠(chǎng)商設計了采用Spatial空間架構的AI加速器，這種架構并行性和數據復用率很高，但也存在一些挑戰：一是如何做軟硬件協(xié)同設計，二是決定了硬件架構后如何實(shí)現？總結下來(lái)，整個(gè)軟硬件設計流程都需要非常底層的編程，而且很難優(yōu)化，開(kāi)發(fā)周期漫長(cháng)。梁云所在課題組提出了一種軟硬一體的智能芯片設計與優(yōu)化框架AHS，希望借助高層次的抽象、自動(dòng)化工具和高效的算法，自動(dòng)生成芯片的硬件架構和軟件算子庫，降低芯片軟硬件開(kāi)發(fā)門(mén)檻。具體來(lái)說(shuō)，其課題組通過(guò)設計領(lǐng)域專(zhuān)用語(yǔ)言和中間的表示形成降低編程門(mén)檻，借助機器學(xué)習算法讓優(yōu)化更容易，設計這種自動(dòng)化的工序來(lái)解決人工設計的問(wèn)題。其工作包括硬件綜合、軟件編譯及軟硬件協(xié)同設計，每個(gè)組件均已開(kāi)源。硬件綜合方面，其TENET框架可使用基于關(guān)系的表示形式，涵蓋硬件數據流的設計空間，能夠進(jìn)行一系列的數學(xué)分析，分析出重用、延遲等跟性能相關(guān)的各種指標，從而幫助用戶(hù)在某些限制條件下找到更好的芯片設計。同時(shí)，該團隊提出了可在性能、生產(chǎn)力和支持的數據流上都取得最優(yōu)的工具TensorLib，并為實(shí)現自動(dòng)生成硬件構建了相應的EDA工具。軟件編譯方面，團隊提出了針對不同硬件的統一抽象，核心想法是將形式多樣的intrinsic在語(yǔ)義上降低到一個(gè)scalar program上，接下來(lái)把它形式化一個(gè)基于布爾矩陣的映射過(guò)程，在這里面通過(guò)檢查布爾矩陣來(lái)檢查映射方案的合理性。經(jīng)實(shí)驗，其在單個(gè)算子和整個(gè)網(wǎng)絡(luò )上均實(shí)現大幅度性能提升。軟硬件協(xié)同設計方面，該團隊提出一種敏捷的協(xié)同設計方法HASCO，它基于新的數據結構張量語(yǔ)法樹(shù)做軟硬件的劃分。在硬件方面，其借助貝葉斯的優(yōu)化做硬件優(yōu)化和設計空間的探索；在軟件方面，引入強化學(xué)習，能快速找到所需軟件設計的參數。與非軟硬件協(xié)同設計的工作相比，其在邊緣場(chǎng)景和云計算場(chǎng)景的實(shí)驗結果在能效、性能方面均有一定的提升。03.清華劉勇攀：高能效AI芯片設計“分久必合”
▲劉勇攀
隨著(zhù)摩爾定律的放緩，“通用計算架構”+“工藝器件進(jìn)步”相結合的性能提升之路，面臨日益嚴重的挑戰。制程工藝演進(jìn)到28nm后，如果在傳統小容量的芯片市場(chǎng)，其容量沒(méi)有增加，專(zhuān)門(mén)為它做一個(gè)芯片，實(shí)際成本并未下降，這打破了摩爾定律以更便宜價(jià)格來(lái)提供更高算力的假設。過(guò)去“分而治之”的芯片傳統設計分層架構，好處在于有一個(gè)系統觀(guān)的架構師將要做的事拆分成若干層，大家各做各的，高效協(xié)同，從而提供更低的設計復雜度和更高靈活性。但隨著(zhù)這個(gè)組織發(fā)展到一定程度，其代價(jià)是整個(gè)頂層執行效率的下降，此前的架構反而成為算力、能效提升的瓶頸，這就需要重新打通邏輯、重新定義層次，這對我們來(lái)講是很好的機會(huì )。劉勇攀認為，未來(lái)，在底層器件發(fā)展變慢的情況下，我們可能需要使用“分久必合”的跨層次協(xié)同模式，發(fā)揮一些從應用層面的新設計融合邏輯，不但要做算法和架構，還要做電路與器件的協(xié)同，來(lái)研發(fā)出高能效、高性?xún)r(jià)比的AI芯片。一個(gè)算法級稀疏可獲得10到30倍的理論加速，而真正到了通用的GPU、CPU層面，可能只有9到25倍的加速，如果做一個(gè)稀疏架構，就能很好發(fā)揮出稀疏算法的架構優(yōu)勢，這便是典型的算法架構融合邏輯。器件方面，稀疏也好，低比特推理和訓練也好，都是從算法和架構上的優(yōu)化。自下而上也有器件和電路的融合，包括先進(jìn)工藝的DTCO（設計工藝協(xié)同優(yōu)化）。現在有一些SRAM面積提升，并不是通過(guò)把某個(gè)管子做小，而是垂直堆疊起來(lái)，密度可能提升了幾倍、百分之幾十，這就是典型的先進(jìn)工藝的DTCO。還有HBM、3D堆疊，這都是從存儲層面，未來(lái)可能會(huì )有更大容量、更高速的訪(fǎng)存、更低成本的片上存儲，以及更接近計算的HBM內存，這些內存將很大程度上解決未來(lái)計算中部分存儲帶寬的問(wèn)題。另一個(gè)層面，這些器件電路不但可以做存儲，還能提升計算密度，可以做存算一體，甚至可以用光互聯(lián)，NVM（非易失存儲器）的計算堆疊實(shí)現更高性能、低功耗、低成本的計算?？梢钥吹?，設備和電路的協(xié)同設計前景巨大。最后，劉勇攀總結了對該領(lǐng)域的3點(diǎn)觀(guān)察：其一，做AI計算，可將原始算法變成硬件高效的AI算法，從而使能效和算力得到顯著(zhù)的提升。其二，芯片或系統有按比例縮?。╯caling down）和異構集成兩條路線(xiàn)，異構集成使我們能將更多DSA融合做一個(gè)整體解決方案。由于是芯片級集成，它不會(huì )受限于SoC要求的大的市場(chǎng)容量成本的問(wèn)題。隨著(zhù)一些新型封裝技術(shù)成熟，業(yè)界現已出現芯粒異構集成的方式，通過(guò)靈活互聯(lián)，打破過(guò)去單一器件和同構計算架構的帶來(lái)的局限。這些芯?？梢圆捎貌煌墓に嚬濣c(diǎn)，從而繼續提升性?xún)r(jià)比，并一定程度上縮短設計周期，這為新型器件和領(lǐng)域定制化異構架構創(chuàng )新開(kāi)辟了廣闊空間。其三是新器件?，F在還處在相對萌芽期的光通信和光計算，未來(lái)有可能被集成到大算力AI芯片中，甚至是更遙遠的量子技術(shù)里。04.中科院杜子東：定制架構支持高效量化訓練，精度損失可忽略不計
▲杜子東
量化被認為是有望降低帶寬/存儲要求、提升效率、降低計算成本的有效手段。過(guò)去采用低比特或量化推理方面的應用很多，但在開(kāi)銷(xiāo)巨大的深度學(xué)習訓練中，量化應用相對較少。現有的量化訓練算法相關(guān)文章常常采用16bit，少部分可做到8bit，其量化效果通常只有部分數據能做到8bit，大部分數據還需16bit、32bit，對于像CPU/GPU等平臺沒(méi)有加速效果。杜子東團隊也在GPU上實(shí)現了一個(gè)量化訓練，相比32bit，直接在CPU+GPU平臺做量化訓練，會(huì )比平常慢1.09倍~1.8倍。在訓練中，GPU并不能給予很好的硬件和軟件的支持，也沒(méi)有特別好的低位寬的高效深度學(xué)習算法，這是現在阻礙量化訓練的兩大因素。量化算法需對大量數據進(jìn)行基于動(dòng)態(tài)統計的量化和高精度的權重更新，這使得這些量化訓練算法不能有效地部署在當前的深度學(xué)習處理器上。對此，杜子東團隊提出了第一個(gè)用于高效量化訓練的定制神經(jīng)網(wǎng)絡(luò )處理器架構，其訓練精度損失可忽略不計。其團隊提出了3個(gè)策略來(lái)解決上述問(wèn)題，一是局部量化，二是基于誤差估計的多路量化，三是原位權值更新。通過(guò)將這三點(diǎn)應用于A(yíng)I加速器上，在硬件中做針對性地支持，使之能做在線(xiàn)量化訓練，并避免了多變的數據訪(fǎng)問(wèn)，相對同規格TPU實(shí)驗，其性能提升1.7倍，能效提升1.62倍。05.昆侖芯科技漆維：AI芯片大規模落地，直面哪些挑戰？
▲漆維
昆侖芯1代采用14nm制程，在百度搜索引擎、小度等業(yè)務(wù)中部署超過(guò)2萬(wàn)片，經(jīng)歷過(guò)互聯(lián)網(wǎng)大規模核心算法考驗的產(chǎn)品。昆侖芯2代采用7nm制程，于2021年8月量產(chǎn)。其4nm昆侖芯3代已啟動(dòng)研發(fā)，昆侖芯4代也在規劃中。在演講中，漆維分享了AI芯片在走向產(chǎn)業(yè)大規模落地過(guò)程中所面臨的挑戰：首先是算法的多樣化。不同業(yè)務(wù)場(chǎng)景有不同的算法模型，即便是同一個(gè)業(yè)務(wù)線(xiàn)，其算法也在持續優(yōu)化和突破。如谷歌曾在TPU論文中提到等芯片研發(fā)完成、要推到業(yè)務(wù)端落地部署時(shí)，才發(fā)現業(yè)務(wù)團隊兩年前所提的模型和精度需求已被推翻。第二，這個(gè)賽道并不是一個(gè)藍海，因為有行業(yè)巨頭NVIDIA在前面。NVIDIA已有10多年的積累，構建了非常強大的護城河，并敢于對自家架構做持續創(chuàng )新，其GPU已跟所有的主流框架做了適配。這種情況下，客戶(hù)對于為什么要選到你的AI芯片是有心理防線(xiàn)的，因此不僅要做到有一個(gè)非?？捎^(guān)的實(shí)際性能收益，也需要整個(gè)軟件棧做到非常靈活，實(shí)現盡量小的成本。第三，客戶(hù)的需求并非一成不變，且非常嚴苛。以互聯(lián)網(wǎng)為例，他們并不會(huì )關(guān)心一個(gè)單一指標，他們關(guān)心延時(shí)、吞吐、TCU，這些指標很多時(shí)候是糅合在一起的。例如，客戶(hù)可能關(guān)心其業(yè)務(wù)在滿(mǎn)足一定延時(shí)條件下，到底單卡能給他帶來(lái)的吞吐是多少，甚至有時(shí)還會(huì )加一些限制，如要求其CPU或者整個(gè)AI芯片、GPU限制在一定程度的利用率，去確保整個(gè)業(yè)務(wù)系統的魯棒性。最后，能夠在真正場(chǎng)景中做到業(yè)務(wù)規模的量化，整個(gè)軟硬件系統都將面臨非常大的工程挑戰。硬件產(chǎn)品做到萬(wàn)級、十萬(wàn)級甚至更高時(shí)，穩定性怎么樣，成本對業(yè)務(wù)來(lái)說(shuō)是不是可接受的；整個(gè)軟件棧要適配不同的深度學(xué)習框架、處理器、操作系統以及不同OEM的不同機型等等。到業(yè)務(wù)實(shí)際部署環(huán)節，有時(shí)不是單行程的業(yè)務(wù)在跑，而會(huì )為了把利潤率做高，可能會(huì )做多行程的混部。在這種場(chǎng)景下，整個(gè)AI卡實(shí)際性能能否做到很穩定，都是走向芯片量產(chǎn)后要面臨的工程化挑戰。針對上述挑戰，昆侖芯的發(fā)展分成了兩個(gè)階段：第一個(gè)階段是2011~2017年，主要基于FPGA開(kāi)發(fā)集群，隨后因底層硬件存在種種限制，FPGA在業(yè)務(wù)形態(tài)及架構上遇到瓶頸，致使相應性能和功耗等指標很難達到最優(yōu)，因此大概在2017到2018年，也就是AI發(fā)展相對成熟之際，昆侖芯團隊開(kāi)始轉型，并于2018年正式啟動(dòng)昆侖芯的研發(fā)。從FPGA到昆侖，昆侖芯團隊對整個(gè)芯片的架構做了抽象，從早期一些偏靜止的優(yōu)化做成一個(gè)通用的設計。之所以要做通用的AI處理器，一則為靈活支持更廣泛的應用場(chǎng)景，二則需要靈活可編程以適應各種業(yè)務(wù)的需求，三則盡可能降低芯片、軟件以及對業(yè)務(wù)牽引的成本。在漆維看來(lái)，現在是一個(gè)很好的時(shí)代，信創(chuàng )國產(chǎn)化等趨勢給了AI芯片一個(gè)良機，有一批早期用戶(hù)愿意接納和嘗試你的產(chǎn)品，而從早期客戶(hù)到主流客戶(hù)中間有一條鴻溝，什么時(shí)候真正邁過(guò)這個(gè)鴻溝，AI芯片產(chǎn)品才真正在市場(chǎng)上站住了腳。06.結語(yǔ)：砸錢(qián)堆算力，堆不出AI芯片的未來(lái)
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
伺服電機相關(guān)文章:伺服電機工作原理