摩爾定律注定失效，存儲優(yōu)先架構或是AI芯片的未來(lái)

　　隨著(zhù)數據洪流時(shí)代的到來(lái)，AI技術(shù)應用的重要性日益凸顯，而AI芯片的設計開(kāi)發(fā)成為AI技術(shù)發(fā)展的關(guān)鍵一環(huán)。由于應對數據處理的優(yōu)先級和方式不同，AI芯片所要面對的是海量數據處理。避免存儲對于芯片時(shí)鐘頻率造成的拖累，跨越“存儲墻”對于芯片性能提升的障礙已成為半導體行業(yè)廣泛探討的話(huà)題。而當“存儲優(yōu)先架構”(SFA)解決方案被提出來(lái)，我們似乎找到了開(kāi)啟未來(lái)AI芯片性能提升的金鑰匙。

　　“存儲墻”阻隔AI芯片性能大跨步提升

　　傳統芯片的設計基于馮·諾依曼架構體系(如下圖)，是一種將程序指令存儲器和數據存儲器合并在一起的類(lèi)PC設計概念結構。

馮·諾依曼架構體系

　　在這種相對傳統的芯片設計思路中，計算模塊和存儲單元相互分離，數據從處理單元外的存儲器提取，處理之后再返回存儲器。以往我們的計算機應用場(chǎng)景下，這種架構能夠較好的發(fā)揮頻率優(yōu)勢，解決少量的復雜任務(wù)，并通過(guò)提高制程工藝不斷提升頻率達到芯片的性能提升。

　　而當我們面對數據洪流時(shí)代的AI場(chǎng)景時(shí)，包括深度學(xué)習神經(jīng)網(wǎng)絡(luò )、云計算、邊緣計算等AI或AI相關(guān)場(chǎng)景中，與x86平臺復雜運算相比計算任務(wù)往往是規模宏大的簡(jiǎn)單運算。由于馮·諾依曼架構的邏輯設計上，讀取返回存儲結構所消耗的時(shí)間巨大，大規模的數據計算會(huì )造成存儲的讀取和返回遠跟不上芯片的頻率，產(chǎn)生嚴重的延遲，成為芯片整體性能的瓶頸，這也就是現代應用場(chǎng)景下的“存儲墻”的由來(lái)。

　　摩爾定律曲線(xiàn)已進(jìn)入難以提升的“紅區”

　　“存儲墻”不僅造成了在大規模數據面前，芯片整體的性能下降，也進(jìn)一步對于未來(lái)升級制程工藝提出更嚴峻的挑戰。畢竟如今摩爾定律已經(jīng)失效，在當前的技術(shù)工藝基礎上，繼續提升晶體管集成率縮小集成尺寸將會(huì )變得越來(lái)越困難。這會(huì )直接影響未來(lái)CPU、GPU、FPGA、ASIC性能的提升?？梢院敛豢鋸埖卣f(shuō)，目前大部分針對AI、加速神經(jīng)網(wǎng)絡(luò )處理的研發(fā)創(chuàng )新，都是在與“存儲墻”這個(gè)問(wèn)題作斗爭。

　　解決“存儲墻”的思路和方式

　　既然“存儲墻”問(wèn)題在當下這個(gè)應用場(chǎng)景下需要被解決，就要有合理化的思路。針對跨越“存儲墻”目前業(yè)界有幾種優(yōu)化思路，基本上都是圍繞著(zhù)更高、更快、更強幾個(gè)維度，與咱們的奧運精神還挺像的。

　　硬性提升存儲器的帶寬和頻率，這種方式其實(shí)目前沿用的傳統性能提升方式之一。去年的AMD曾經(jīng)在顯卡的設計上采用了高帶寬顯存HBM就是一個(gè)思路類(lèi)似的例子，通過(guò)提高帶寬的方式提升存儲器與GPU交流。雖然這能夠在一定程度上帶來(lái)GPU芯片效率的提升，但是這樣處理也會(huì )對制造工藝提出新的要求，顯然HBM比普通顯存造價(jià)要更高、良率更低。而且雖然存儲效率由于帶寬增大實(shí)現了提升，但是轉化到實(shí)際芯片的運算效率非常有限。這是一種優(yōu)化之道，但并不能徹底跨越工藝限制的終極解決辦法。

　　AMD為GPU做的HBM高帶寬顯存方案

　　動(dòng)態(tài)調整頻率則是通過(guò)軟硬件動(dòng)態(tài)調整存儲器的讀寫(xiě)頻率，來(lái)降低訪(fǎng)問(wèn)調度的隨機性，實(shí)現更多預訪(fǎng)問(wèn)，讓訪(fǎng)問(wèn)變得更有序，進(jìn)一步提升訪(fǎng)問(wèn)效率，進(jìn)而降低延遲。此種手段實(shí)施并不簡(jiǎn)單，并且理論上提升的幅度十分有限，雖然可以一定程度上優(yōu)化，但并不足以應付未來(lái)AI場(chǎng)景的百倍千倍數據吞吐，畢竟每小時(shí)TB級別海量數據才是AI世界的真實(shí)常態(tài)。

　　將存儲結構盡量靠近核心，做成片上存儲也是一種熱門(mén)思路。精簡(jiǎn)的訪(fǎng)問(wèn)路徑使得邏輯核心與存儲的訪(fǎng)問(wèn)精度得到顯著(zhù)提升，盡可能利用工藝極限提升存儲器的訪(fǎng)問(wèn)效率。這種方式的理論上可以在減少訪(fǎng)問(wèn)延遲5-10倍以上，這種量級的優(yōu)化進(jìn)步對比之前的幾種方式就來(lái)得非?？捎^(guān)。

　　在思路和技術(shù)兩個(gè)維度發(fā)現傳統芯片的“存儲墻”瓶頸之后，下一步就是從思想和技術(shù)兩方面進(jìn)行突破，這也就引出了我們今天的核心“存儲優(yōu)先架構”。

　　“存儲優(yōu)先架構”原理和優(yōu)勢所在

　　簡(jiǎn)單來(lái)理解，存儲優(yōu)先架構實(shí)際上就是片上存儲技術(shù)+架構思想革新，是技術(shù)手段變革和思想革新的雙重結合。

　　之前我們已經(jīng)提到了片上存儲這種設計方式的好處，它能夠帶來(lái)成倍的存儲訪(fǎng)問(wèn)效率提升。但是片上存儲這套思路實(shí)際上技術(shù)本身沒(méi)有對架構思想進(jìn)行變革，依舊是按照馮·諾依曼架構來(lái)的一套體系，雖然得益于片上存儲技術(shù)，訪(fǎng)問(wèn)的效率大大提升了，但是由于架構不變，訪(fǎng)問(wèn)的步驟依舊較多，這帶來(lái)了存儲效率的浪費。

　　于是，在片上存儲技術(shù)的基礎上，探境科技提出了一種顛覆性的思想，以存儲為中心帶動(dòng)計算，重新設計整個(gè)AI芯片的架構——即“存儲優(yōu)先架構”(SFA)。

　　探境科技提出的“存儲優(yōu)先架構”

　　上圖是存儲優(yōu)先架構的示意圖，通過(guò)對比馮·諾依曼架構示意圖，我們從上圖可以觀(guān)察到存儲架構包括數據層、計算層和控制層組成，它們以存儲調度為核心邏輯形成一套計算架構，數據在存儲之間的遷移過(guò)程中同時(shí)完成計算，計算就那么自然而然隨著(zhù)數據轉移同時(shí)進(jìn)行了。理論上這種設計方案的能效能提升10-100倍，計算資源利用率提升40-50%，同時(shí)對DDR的占用率也能夠實(shí)現大幅度下降。這就好像從前城里10萬(wàn)老百姓辦手續，不但路遠，還要跑很多趟?，F在百姓雖然已經(jīng)多達500萬(wàn)，但是提高了辦事效率，辦事窗口離家門(mén)口更近了，還允許一次性辦齊。

　　據了解，目前探境科技全新的存儲優(yōu)先架構并不僅僅只是停留在理論層面，而是真真正正已經(jīng)流片，并即將推向商用領(lǐng)域。在今年10月份舉行的IC WORLD大會(huì )上面，探境科技發(fā)布了即將推出的語(yǔ)音、圖像序列AI芯片和IP授權。這些產(chǎn)品可以被用在A(yíng)I計算、邊緣計算、安放前端協(xié)處理、語(yǔ)音喚醒、命令詞識別、語(yǔ)義理解、通用降噪、自動(dòng)駕駛等多個(gè)前沿領(lǐng)域。

　　存儲優(yōu)先架構應用到實(shí)際能帶來(lái)什么體驗革新?舉個(gè)例子：

　　目前智能音箱一個(gè)使用痛點(diǎn)就是語(yǔ)音控制和反饋的延遲。智能音箱需要聽(tīng)到用戶(hù)的喚醒詞進(jìn)行喚醒，并在得到指令內容之后，將內容的聲音數據回傳到云端，進(jìn)行分析和處理得到結果之后再返回到智能音箱播放出來(lái)。這中間由于信號、網(wǎng)絡(luò )延遲等一系列問(wèn)題就會(huì )導致最終用戶(hù)體驗質(zhì)量的大幅下降，等待2、3秒也就成了常態(tài)。如果智能音箱采用存儲優(yōu)先架構的AI芯片，能夠在本地接受內容之后直接處理為結果，不需要回傳云端和大數據比對、分析和運算，實(shí)現高效的邊緣計算，這將根本性提升最終的用戶(hù)體驗。智能音箱如是，自動(dòng)駕駛如是，智慧新零售如是，智慧城市方方面面都離不開(kāi)完整的AI、云計算、邊緣計算的配合。

　　摩爾定律注定失效，存儲優(yōu)先架構或是AI芯片的未來(lái)

　　從某種意義上來(lái)說(shuō)，摩爾定律是基于馮·諾依曼架構提出的，而馮·諾依曼架構本身的結構路徑基于指令集模式的處理邏輯，存在對于海量數據，尤其是不規則海量數據處理的先天短板。所以不管是摩爾定律和還是x86基礎的馮·諾依曼架構，它們隨著(zhù)人類(lèi)社會(huì )發(fā)展以及數據量的不斷攀升，是注定必將失效的?；蛘叻催^(guò)來(lái)說(shuō)，我們海量數據洪流的時(shí)代漸漸淘汰舊的芯片規則約束，正催生芯片架構進(jìn)行一次大的革新。

　　存儲優(yōu)先架構以其邏輯步驟精簡(jiǎn)+片上存儲技術(shù)手段的方式，得到雙重性能提升，實(shí)現了以存儲調度為核心的計算架構，這的確是一次前所未有的創(chuàng )新實(shí)踐。隨著(zhù)探境科技流片量產(chǎn)和隨后的應用場(chǎng)景部署，存儲優(yōu)先架構的AI芯片必將幫助終端設備實(shí)現更多自動(dòng)化的、低延遲的邊緣計算，以改善最終的智慧生活體驗。關(guān)于存儲優(yōu)先架構的AI芯片產(chǎn)品以及未來(lái)的具體應用進(jìn)展，我們不妨持續關(guān)注拭目以待。