把GPT時(shí)代引擎拉滿(mǎn)，國產(chǎn)AI大算力芯片換道狂飆
加入技術(shù)交流群
編輯 | 漠影
從2022年11月開(kāi)始，美國人工智能（AI）公司OpenAI連續祭出ChatGPT家族的3、3.5、4以及插件還有商業(yè)落地模式的連環(huán)大招，引爆了全球關(guān)注和期待AI應用發(fā)展的新一輪熱潮。而在此之前，AI發(fā)展歷程中已出現過(guò)兩次“圣杯時(shí)刻”。2012年10月，在國際頂級賽事ImageNet計算機視覺(jué)挑戰賽上，杰弗里·辛頓與其團隊用卷積神經(jīng)網(wǎng)絡(luò )（CNN）算法一舉奪魁，憑借比人眼識別還低的錯誤率，掀開(kāi)了計算機視覺(jué)盛世的序章。2016年3月，DeepMind研發(fā)的AI程序AlphaGo戰勝世界圍棋冠軍李世石，在全世界擲下一枚重磅炸彈?！叭斯ぶ悄堋睆拇顺鋈?，創(chuàng )業(yè)狂瀾席卷全球，2016年也被稱(chēng)作“人工智能元年”。兩次“圣杯時(shí)刻”背后的算力功臣，分別是英偉達GPGPU（通用圖形處理單元）芯片與谷歌TPU（張量處理單元）芯片。他們也成為業(yè)界AI大算力芯片企業(yè)競相模仿和追趕的對象。如今，ChatGPT的橫空出世宣告著(zhù)AI行業(yè)迎來(lái)第三次“圣杯時(shí)刻”，業(yè)界也將其盛贊為AI時(shí)代的“iPhone時(shí)刻”。盡管ChatGPT及一眾主流大模型背后的芯片主力仍是GPGPU，但嚴峻的挑戰已經(jīng)擺到眼前：一邊是計算量爆棚的生成式AI與大模型發(fā)展熱情高漲，另一邊是即將觸頂的算力增長(cháng)空間與算力消耗所帶來(lái)的驚人碳排放量。正如馬斯克所述，大多數人會(huì )用舉一反三的類(lèi)比推理來(lái)思考問(wèn)題，即模仿別人做的事情再加以小幅更改，可如果想做出新的東西，必須敢于打破常規、積極質(zhì)疑舊的經(jīng)驗知識，探究問(wèn)題本質(zhì)，層層推演，進(jìn)而創(chuàng )造出新的解決方案。中國AI大算力芯片的創(chuàng )新之路，大抵亦是如此。當ASIC、GPGPU發(fā)展道路面臨底層技術(shù)與產(chǎn)業(yè)需求的雙向夾擊，“換道”也許能開(kāi)辟新的可能。誰(shuí)能率先填補大模型算力需求的缺口，誰(shuí)就有機會(huì )搶占新一輪AI芯片搶位賽的前排。
01.國產(chǎn)AI大算力芯片的
三波創(chuàng )業(yè)浪潮與三大技術(shù)流派
▲AI不同計算任務(wù)需要各類(lèi)芯片實(shí)現（圖源：浙商證券）
然而，下游AI算法的演進(jìn)速度遠超想象。根據頂級AI研究企業(yè)OpenAI在2018年發(fā)布的一份分析報告，自2012年到2017年，訓練最大AI模型所使用的算力每3.4個(gè)月翻1倍。相比之下，按照芯片行業(yè)的“圭臬”摩爾定律，芯片上容納的晶體管數量每18~24個(gè)月才會(huì )翻1倍，兩者之間僅從翻倍的時(shí)間上，就產(chǎn)生了16-20個(gè)月的差距。專(zhuān)用芯片在特定場(chǎng)景能實(shí)現更高算力和能效，但難以適應算法種類(lèi)快速的增加以及迭代速度，因此通用性更強的GPGPU一直是AI芯片的主角。在2018年中美科技競爭大幕拉開(kāi)后，國產(chǎn)替代的呼聲越來(lái)越高，創(chuàng )業(yè)熱點(diǎn)隨之切換到英偉達雄踞多年的GPGPU（通用GPU）賽道。這成為第二波浪潮中主流技術(shù)路徑，也可以劃定為中國AI大算力芯片落地的技術(shù)2.0。天數智芯、登臨科技、壁仞科技、摩爾線(xiàn)程、沐曦集成電路等一批初創(chuàng )公司，大致都是2017年-2020年期間創(chuàng )業(yè)或啟動(dòng)自研GPGPU芯片的研發(fā)。資本也蜂擁而至，邏輯很簡(jiǎn)單，GPGPU市場(chǎng)有英偉達珠玉在前，已經(jīng)驗證了成功的可能性。以英偉達上百億美元年收入與躋身全球前十的市值來(lái)看，假若能切走英偉達在中國的市場(chǎng)份額，足以帶給國產(chǎn)AI大算力芯片企業(yè)優(yōu)渥的回報。但無(wú)論是ASIC還是GPGPU，在應對生成式AI及大模型正對算力基礎設施提出的新要求，都顯得多少有些捉襟見(jiàn)肘。
▲大模型參數邁向千億時(shí)代，算力需求一路飆漲（圖源：浙商證券）
眼見(jiàn)著(zhù)摩爾定律身陷邊際效用遞減的困境，ASIC芯片的弱通用性難以應對下游算法的快速演化，GPGPU又難解高功耗與低算力利用率問(wèn)題，業(yè)界正翹首以盼新架構、新工藝、新材料、新封裝，以進(jìn)一步突破算力天花板。與此同時(shí)，博弈氣息日漸濃厚的地緣關(guān)系，又給對先進(jìn)制程工藝高度依賴(lài)的AI大算力芯片創(chuàng )企們提出了技術(shù)之外的新難題。在這些大背景下，第三波創(chuàng )業(yè)浪潮正滾滾向前。從2017年到2021年期間集中成立的一批創(chuàng )企，選擇探路存算一體等新興技術(shù)，這可以被劃定為中國AI大算力芯片落地的技術(shù)3.0。不同于A(yíng)SIC與GPGPU，這些新興技術(shù)路線(xiàn)跳出了馮·諾依曼架構體系，理論上擁有得天獨厚的高能效比優(yōu)勢，又能繞過(guò)先進(jìn)制程封鎖，兼顧更強通用性與更高性?xún)r(jià)比，算力發(fā)展空間巨大。隨著(zhù)新型存儲器件走向量產(chǎn)，存算一體AI芯片已經(jīng)挺進(jìn)AI大算力芯片落地競賽。
▲馮·諾依曼、近存計算、存內計算架構對比（圖源：億鑄科技）
而無(wú)論是傳統計算芯片還是存算一體芯片，在實(shí)際加速AI計算時(shí)往往還需處理大量的邏輯計算、視頻編解碼等非AI加速計算領(lǐng)域的計算任務(wù)。隨著(zhù)多模態(tài)成為大模型時(shí)代的大勢所趨，AI芯片未來(lái)需處理文本、語(yǔ)音、圖像、視頻等多類(lèi)數據。這個(gè)問(wèn)題如何解決？億鑄科技，一家做存算一體AI大算力芯片的創(chuàng )企提出了自己的解法——存算一體超異構AI大算力技術(shù)路徑。這也是業(yè)內首次提出將存算一體和超異構做結合，提供在大模型時(shí)代AI大算力芯片換道發(fā)展的一個(gè)全新思路。02.兼顧通用性&高性能未來(lái)必然走向超異構
▲存算一體能實(shí)現超越傳統ASIC芯片的更大算力、更高能效（圖源：浙商證券）
但單顆芯片很難為大模型提供充足的計算資源與存儲資源，這就需要將很多計算芯片連在一起，形成系統。據韓媒報道，受ChatGPT熱潮驅動(dòng)，韓國兩大存儲芯片巨頭三星電子、SK海力士的高帶寬內存（HBM）接單量大增。芯片與芯片之間的數據傳輸過(guò)程，往往會(huì )造成大量不必要的資源浪費，導致計算系統受限于傳輸帶寬瓶頸，在實(shí)際應用中發(fā)揮的算力遠小于理論峰值算力。要進(jìn)一步提升計算資源利用率，必須研究更先進(jìn)的互連技術(shù)，以實(shí)現成千上萬(wàn)個(gè)AI芯片之間的高效協(xié)同。最后，軟件的迭代升級亦不可或缺。要降低芯片開(kāi)發(fā)門(mén)檻并實(shí)現所有芯片的高效協(xié)同，需要設計分布式的AI編程軟件平臺，來(lái)解決線(xiàn)程調度、同步、任務(wù)平衡等復雜問(wèn)題。“沒(méi)有一個(gè)單芯片能夠獨立解決大模型問(wèn)題，所以一定是走向一個(gè)超異構。”梁曉峣說(shuō)，盡管他很看好存算一體路線(xiàn)，但僅靠存算一體還不夠，還需與其他架構配合，形成一個(gè)完整的系統。億鑄科技首次提出的“存算一體超異構”概念，就有可能是一個(gè)未來(lái)的理想組合。超異構計算將CPU、GPGPU、CIM（存內計算）等不同類(lèi)型的芯片用先進(jìn)封裝技術(shù)組合，讓不同架構各司其職，既有靈活、可編程的部分來(lái)適應算法的快速變化，又有定制化部分來(lái)提供超高性能和超低功耗，通過(guò)統籌調度，綜合發(fā)揮出多類(lèi)芯片架構的優(yōu)勢，將整體效率做到最優(yōu)。由于器件優(yōu)勢，存算一體在同等功耗下能承擔更大算力。在超異構計算的基礎上，以存算一體架構為核心，以其他架構作輔助，理論上能夠兼顧對高算力與通用性的需求。億鑄科技創(chuàng )始人、董事長(cháng)兼CEO熊大鵬博士相信，存算一體超異構將來(lái)會(huì )成為AI算力芯片的主流技術(shù)路線(xiàn)之一。在今年2月份舉行的國際芯片設計領(lǐng)域最高級別會(huì )議ISSCC 2023大會(huì )上，AMD董事長(cháng)兼CEO蘇姿豐也提出了相似的“系統級創(chuàng )新”概念，即綜合考慮跨計算、跨通信、跨內存等各項元素，從整體上推動(dòng)系統級性能和能效的提升。而存算一體超異構理念的前瞻性和落地可行性在于，它不像基于傳統計算架構的大算力芯片那樣依賴(lài)先進(jìn)制造技術(shù)。這一思路需結合的新架構、新存儲、新封裝等前沿技術(shù)，國內均已有儲備。03.減輕先進(jìn)制程依賴(lài)癥，億鑄科技的存算一體超異構如何換道超車(chē)？
▲未來(lái)算力升級路徑：Chiplet、存算一體（圖源：浙商證券）
從單芯片來(lái)看，熊大鵬告訴智東西，存算一體芯片屬于是“換道超車(chē)”，對工藝的要求較低，比如在28nm工藝上實(shí)現的算力和能效，就能比肩甚至超過(guò)傳統架構芯片在7nm工藝上的表現。梁曉峣說(shuō)，億鑄科技是第一家嘗試設計并量產(chǎn)基于ReRAM全數字存算一體AI大算力芯片的企業(yè)。據熊大鵬透露，億鑄科技自研的存算一體AI大算力芯片，或將在75W-100W功耗范圍內實(shí)現接近1P的算力，能效比優(yōu)勢非常顯著(zhù)，將于今年回片。同時(shí)，億鑄科技基于存算一體超異構概念的下一代芯片設計工作已經(jīng)開(kāi)始推進(jìn)。從器件來(lái)看，相比傳統存儲器存在易失性、微縮性差等痼疾，億鑄科技選擇采用的非易失性新型存儲器RRAM更適合應用于A(yíng)I大算力場(chǎng)景。此前，臺積電、聯(lián)電、中芯國際、昕原半導體等代工廠(chǎng)均建立了商業(yè)化RRAM產(chǎn)線(xiàn)。去年2月，昕原半導體主導建設的RRAM 12寸中試生產(chǎn)線(xiàn)已順利完成自主研發(fā)裝備的裝機驗收工作，實(shí)現中試線(xiàn)工藝流程的通線(xiàn)，并成功流片。熊大鵬認為，隨著(zhù)工藝不斷迭代，國內“超車(chē)”速度會(huì )越來(lái)越快，優(yōu)勢會(huì )越來(lái)越明顯。從超異構來(lái)看，對于國內企業(yè)來(lái)說(shuō)，CPU有廣受歡迎的開(kāi)源RISC-V架構，GPGPU有新興的開(kāi)源架構“青花瓷”平臺，存算一體也有億鑄科技等廠(chǎng)商在大力投入研發(fā)。開(kāi)源GPGPU“青花瓷”平臺由上海交通大學(xué)先進(jìn)計算機體系結構實(shí)驗室開(kāi)發(fā)，定位相當于GPGPU領(lǐng)域的RISC-V架構。它提供了一個(gè)免費開(kāi)放的先進(jìn)GPGPU指令集和架構參考設計，能夠接入現有GPGPU生態(tài)，從而助力降低設計門(mén)檻，加速相應產(chǎn)品的落地。
▲“青花瓷”平臺開(kāi)源代碼頁(yè)面
“青花瓷”平臺直通門(mén)：gpgpuarch.org
開(kāi)源地址：github.com/SJTU-ACA-Lab/blue-porcelain在梁曉峣看來(lái)，超異構需要不同類(lèi)型的芯片架構互相配合、取長(cháng)補短，這恰好與“青花瓷”平臺的設計思路完美契合。存算一體架構適用于計算和數據量大但算法相對簡(jiǎn)單的應用，在性能和功耗的優(yōu)勢超過(guò)其他類(lèi)型架構；而GPGPU架構可以適配現有的主流AI框架和平臺，并能處理比較復雜的算法。兩者結合，將會(huì )實(shí)現更大有效算力、放置更多參數、實(shí)現更高能效比、更好的軟件兼容性。因此，面向未來(lái)大模型時(shí)代，存算一體超異構的技術(shù)路徑打開(kāi)了國內AI大算力芯片技術(shù)發(fā)展的新思路，而億鑄科技的存算一體超異構芯片是該路徑在國內切實(shí)落地的關(guān)鍵一步。04.結語(yǔ)：大模型落地勢不可擋AI算力困境亟待換道突破
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
