用更多底層技術(shù)，打造1P/W的算力，追逐萬(wàn)物智能的夢(mèng)想。編輯 | GTIC
芯東西9月8日報道，在剛剛落幕的GTIC 2022全球AI芯片峰會(huì )期間，后摩智能創(chuàng )始人兼CEO吳強以《用存算一體助力智能駕駛算力革命》為題發(fā)表演講。吳強認為，存算一體是解鎖算力和功耗難題的金鑰匙，這種創(chuàng )新計算架構具有大算力、低功耗、低延時(shí)的特點(diǎn)，對工藝的依賴(lài)較弱，能用28nm工藝做出基于傳統計算架構的其他AI芯片用7nm甚至5nm工藝才能實(shí)現的性能或者能效比。今年上半年，后摩智能首顆存算一體芯片成功點(diǎn)亮，首次達到運行智能駕駛的復雜AI場(chǎng)景所需算力和精度需求，成功跑通11個(gè)類(lèi)別的智能駕駛典型算法，能效比高達20TOPS/W。吳強透露，其首顆芯片預計在今年底或明年初送到一部分客戶(hù)側試用。以下為吳強的演講實(shí)錄：大家好，很高興能代表后摩智能來(lái)參加這個(gè)峰會(huì )。我今天演講的主題是《用存算一體助力智能駕駛算力革命》。這里面有兩個(gè)關(guān)鍵詞，第一個(gè)是存算一體，第二個(gè)是智能駕駛。我先從智能駕駛講起。
01.智能駕駛普及商用，對芯片提出新的要求
汽車(chē)產(chǎn)業(yè)正經(jīng)歷一個(gè)百年未有的大變局，主要是新能源化和智能化，它對人們的出行方式、生活方式都會(huì )帶來(lái)很大改變，這種改變某種意義上不亞于100多年前汽車(chē)剛剛出現的時(shí)候。在今天的中國，走在智能化和電動(dòng)化的前列，我們已經(jīng)能夠感受到這種改變，比如說(shuō)今天在大部分城市，你上了一個(gè)網(wǎng)約車(chē)，很大概率這是一個(gè)新能源車(chē)，你會(huì )聽(tīng)司機跟你說(shuō)新能源車(chē)比燃油車(chē)便宜多了，口袋里很多錢(qián)、很幸福。不管是新能源車(chē)還是傳統燃油車(chē)，汽車(chē)智能化是一個(gè)主要的趨勢，并且這種智能化的趨勢比我們想象要快。比如說(shuō)很多專(zhuān)家預計2023年可能智能化普及率到25%，但事實(shí)上我們今年L2及以上的智能化普及率已經(jīng)接近30%，到2025年可能接近50%。這意味著(zhù)我們中國每年有2500萬(wàn)輛的車(chē)，大概有1000多萬(wàn)輛車(chē)會(huì )有L2或者以上的智能化。這種智能化也改變了我們生活，很多是一種剛需，前幾天，一個(gè)朋友跟我說(shuō)，他因為家里有事情，要開(kāi)車(chē)回家單程1000公里，一個(gè)周末，2000公里在高速上，如果有智能輔助駕駛是很輕松的事情。智能駕駛智能化的普及和商用，對芯片提出了很多新的需求，要普及智能化有三個(gè)要素：一是強智能，就是這個(gè)東西足夠聰明，至少讓我在高速上開(kāi)1000公里也非常輕松；二是低成本，因為中國大部分的車(chē)是在10-20萬(wàn)人民幣，而這些車(chē)能用得起；三是安全，用車(chē)是人命關(guān)天。從芯片的角度來(lái)說(shuō)，它對應著(zhù)是大算力、低功耗、低成本、高可靠。從算力的角度來(lái)說(shuō)，智能芯片發(fā)展到今天，有一個(gè)核心的矛盾。
02.智能駕駛芯片發(fā)展的核心矛盾
在需求側，算力需求不斷增長(cháng)。比如我這里比較了特斯拉Model 3和今年剛發(fā)布的蔚來(lái)的車(chē)：第一，傳感器多了很多，像素也多了很多，120萬(wàn)到800萬(wàn)更高，這都會(huì )對應著(zhù)算力大大加強；第二，算法變得更加復雜，并且還在不斷演進(jìn)，這意味著(zhù)我需要芯片對算法有更開(kāi)放的一個(gè)支持，因為一定要能夠支持未來(lái)的算法。而目前的做法是什么？首先，我要做大算力，以前是幾十TOPS，現在是幾百甚至到千TOPS。在智能駕駛芯片，那么我用先進(jìn)的工藝，從7nm到5nm甚至到3nm，我用HBM來(lái)增加存儲帶寬。但這些東西，第一，非常昂貴，只有大廠(chǎng)才玩得起，比如HBM就是英偉達和AMD做得最好。另外一種方法像用軟硬耦合的方式來(lái)增加效率，這種提高了效率，但犧牲了通用性。所以某種意義上來(lái)說(shuō)，今天我們在智能駕駛計算面臨的核心矛盾是：第一，要大算力，但是用傳統的方式去做，成本非常高。第二，大算力必然代表著(zhù)大功耗很高，因為差不多都是1TOPS/W的水平，而在數據中心可以用空調，在車(chē)上我沒(méi)辦法散熱，散熱就產(chǎn)生很大成本和穩定性問(wèn)題。最后，一定需要一個(gè)軟硬解耦的方案，這是今天我覺(jué)得智能駕駛芯片面臨的一個(gè)核心的矛盾。
03.存算一體，解鎖算力和功耗難題的金鑰匙
在所有的方式當中，存算一體，是一種創(chuàng )新的計算架構。在所有的新技術(shù)當中，它可能是能夠解決我們今天算力和功耗的一把金鑰匙。從傳統的馮·諾依曼到今天的存算一體，存算一體嚴格意義上它不是近存，近存我理解它是改良，它只是部分解決問(wèn)題，而只有真正的存算一體才能從底層去解決這個(gè)問(wèn)題。它的能夠帶來(lái)的好處是：可以把算力做得更大，另外它天生有能效比的優(yōu)勢，可以避免大數據的搬運，它可以把能效比做一個(gè)數量級上的延伸，它的延時(shí)也有提升。還有一個(gè)最重要的點(diǎn)，很多人沒(méi)有意識到，在今天的國際大環(huán)境下，我們面臨著(zhù)技術(shù)封鎖，存算一體對工藝的依賴(lài)比較弱，它可以用更傳統的28nm工藝做出別人7nm甚至5nm的性能或者能效比，這也是它天生的優(yōu)勢。但它也面臨挑戰，畢竟它是一個(gè)新的東西。我也一直類(lèi)比，就像電動(dòng)車(chē)剛剛出現的時(shí)候有很多設計上的挑戰，因為燃油車(chē)畢竟做了上百年，而電動(dòng)車(chē)剛剛開(kāi)始。因為馮·諾依曼也做了很多年，大家都知道怎么設計，而存算一體怎么做大算力，這是個(gè)剛剛開(kāi)始的事情。后摩選擇用存算一體芯片，做智能駕駛、無(wú)人車(chē)、仿生機器人等邊緣端場(chǎng)景，這本身從技術(shù)、產(chǎn)品和市場(chǎng)是個(gè)比較完美的匹配。那么我們怎么把存算一體的技術(shù)優(yōu)勢變成一個(gè)產(chǎn)品優(yōu)勢，并且能解決下游客戶(hù)具體的痛點(diǎn)。舉一個(gè)具體的案例，很多中檔的車(chē)，他們是很在意成本的，而散熱其實(shí)是個(gè)很大的問(wèn)題，有三種方式，一個(gè)是自然風(fēng)冷，一個(gè)是風(fēng)扇，或者液冷。自然散熱無(wú)論從成本、可靠性都是最理想的，但是這有一個(gè)強制要求，就是功耗在15瓦以?xún)取?/span>傳統的NCU大家沒(méi)有問(wèn)題，大家都是自然散熱。而智能駕駛給車(chē)廠(chǎng)帶來(lái)一個(gè)新的頭疼的問(wèn)題，從來(lái)沒(méi)遇到過(guò)芯片那么熱，怎么散熱，能不能不用液冷、不增加成本，這是車(chē)廠(chǎng)很關(guān)心的問(wèn)題。如果在傳統馮·諾依曼架構上，差不多1瓦1TOPS的樣子，15瓦大概20TOPS或者更高一點(diǎn)，這其實(shí)滿(mǎn)足不了L2++或者更高自動(dòng)駕駛的需求。而存算一體它能夠用能效比高的特點(diǎn)，做到比如15瓦的功耗算力達60TOPS（物理算力），或者更高的算力，滿(mǎn)足L2++智能駕駛的需求。
04.首顆存算一體芯片今年點(diǎn)亮成功跑通主流智能駕駛算法
簡(jiǎn)單介紹一下后摩，后摩主要是兩撥人，一撥人做存算一體的大牛，另外一撥人是像我這樣在工業(yè)界做了20年、在做大芯片、做過(guò)CPU、GPU，或者智能芯片的一撥人。我們兩撥人一起碰撞，怎么解決我們面臨的問(wèn)題？我們一起想到了這些比較認可、比較看好存算一體做智能駕駛芯片、做大算力芯片的路徑，所以我們走到了一起，成立了這家公司。后摩也得到了一線(xiàn)資本的認可，目前在南京、上海、北京、深圳設有研發(fā)中心，我們今年也點(diǎn)亮了第一款大算力的芯片，并且跑通了一些智能駕駛的主流算法。用存算一體做大算力芯片，這是一款AI芯片，怎么去設計電路，怎么做AI核融合，比如架構層面，包括編譯器、算法層面怎么去融合，這些都是我們成立以來(lái)面臨的挑戰，是我們要解決的核心。后摩成立一年多，現在也申請了大概30多項的專(zhuān)利。
我舉個(gè)例，這是我們第一代的AI核的設計，整個(gè)都是我們自己設計，采用了分層分布式的設計。從右邊開(kāi)始是最底層，我們叫Macro，是存算單元，它是在存算里做計算的單元，根據不同需求，它可以有不同大小，比如512×64、64×64。若干的Macro可以組成一個(gè)Macro Group，多個(gè)Macro Group可以組成一個(gè)Macro Group Array，Array就變成了Tensor Engine這兒的一部分，我的Tensor Engine主要是Macro Group。一個(gè)Tensor Engine組成了一個(gè)Tile，有點(diǎn)于類(lèi)似于FSD的Core，是一個(gè)獨立運算單元。若干Tile可以組成AI Core，多個(gè)AI Core又可以組成Cluster，Cluster變成了SoC，就是車(chē)規SoC里最重要的AI計算單元。整體來(lái)說(shuō)，一個(gè)Tile之間本身類(lèi)似一個(gè)FSD Core，是一個(gè)獨立運算單元，多個(gè)Tile之間也可以聯(lián)合起來(lái)進(jìn)行運算，多個(gè)AI Core也可以聯(lián)合起來(lái)做一個(gè)聯(lián)合運算。所以整體來(lái)說(shuō)它是一個(gè)分布與集中的完美的結合，這是我們第一代的設計思路。我們成立以來(lái)，去年成功做了第一顆流片，這顆流片是業(yè)內第一次把存算一體做到了幾十TOPS甚至更高的芯片，能效比20TOPS/W左右。我們把它點(diǎn)亮，并且成功跑通了一些主流的智能駕駛算法，比如像檢測、識別、語(yǔ)義分割。這應該也是業(yè)內第一次用存算一體芯片做出了能夠做智能駕駛主流AI應用場(chǎng)景的嘗試，這是按照一個(gè)量產(chǎn)的設計，我們考慮了冗余、自修復等等，是完全按照一個(gè)產(chǎn)品級的設計。我們第一代芯片希望今年底或明年初能夠送到一部分客戶(hù)去試用，這是我們產(chǎn)品方面的一些進(jìn)展。
05.未來(lái)規劃：奔向100倍能效比、2000TOPS算力
再說(shuō)一下我們未來(lái)幾年產(chǎn)品的規劃。后摩做存算一體，它是基于不同的存儲介質(zhì)，前幾代基本上基于成熟的SRAM去做，SRAM現在比較成熟，性能也好，但它容量有限。我們希望在用SRAM我們能做出至少能突破500TOPS到千TOPS之間的大算力芯片。2.0階段，我們芯片是基于更先進(jìn)的如MRAM、RRAM等存儲介質(zhì)來(lái)做的。我們希望它本身有更大的容量，能夠做出更大的算力和更高的能效比，可以推出更有競爭力的產(chǎn)品來(lái)。后摩的芯片是通過(guò)底層進(jìn)行架構創(chuàng )新，對于客戶(hù)來(lái)說(shuō)是無(wú)感知的，他不在乎你是怎么實(shí)現的，他不在乎你是用存算還是馮·諾依曼，他只要看到一個(gè)更好的產(chǎn)品，有更好的性能、更好的延時(shí)等等，這是我們希望的結果。對后摩來(lái)說(shuō)，軟件更加重要，我們盡可能希望能夠對接主流的AI的編程框架，包括比如應用層TensorFlow、PyTorch、ONNX這些，然后我們自己提供一個(gè)中間層，能夠進(jìn)行無(wú)感轉化。我們只做推理，希望有一層很輕的工具，把這些推理的模型進(jìn)行轉換，讓大家做到無(wú)感。另外，我們做相對通用的計算芯片，我之前說(shuō)了，算法一直在演進(jìn)，大家對開(kāi)放性是有要求的，因為本身算力是個(gè)底層的架構，可以做到很通用，我們可以提供一系列的計算的架構，還能提供類(lèi)似底層的接口，可以讓客戶(hù)自定義算子，這是我們在軟件方面的一個(gè)規劃和正在做的事情。
總體來(lái)說(shuō)，這是我們軟件棧，基本上我們希望是個(gè)軟硬解耦的設計理念，這里面有三個(gè)顏色，看起來(lái)有點(diǎn)多：棕色是我們提供的硬件、芯片、驅動(dòng)軟件、SDK；黑色是我們會(huì )提供一個(gè)參考設計，包括參考的硬件、解決方案；灰色是客戶(hù)自己的東西，更多是應用層，包括他們的操作系統、中間件等等，基本上是三層。我們希望給客戶(hù)，把軟硬解耦的方式，我們提供一個(gè)參考設計，讓客戶(hù)有最大的靈活度開(kāi)發(fā)自己的東西，這是后摩智能的設計理念。
06.愿景：打造1P/W的算力，支撐萬(wàn)物智能
最后分享一個(gè)有趣的產(chǎn)業(yè)觀(guān)察。我覺(jué)得在一個(gè)國家或者一個(gè)地區，一個(gè)產(chǎn)業(yè)的繁榮一定會(huì )帶動(dòng)或者孵化出本地供應鏈的龍頭企業(yè)。打個(gè)比方，比如說(shuō)在七八十年代日本消費電子，大家記得攝像頭等的繁榮，誕生了像松下、索尼這樣一些優(yōu)秀的半導體企業(yè)。到90年代，美國PC產(chǎn)品的繁榮，當然也帶動(dòng)了英特爾、AMD這些大的半導體公司。原因很簡(jiǎn)單，因為產(chǎn)品的廠(chǎng)商跟供應廠(chǎng)商它會(huì )有一個(gè)良性的循環(huán)，產(chǎn)品廠(chǎng)商會(huì )把需求給供應商，供應商就能夠做出更好的部件、更好的服務(wù)，因為是本地，反過(guò)來(lái)廠(chǎng)商會(huì )把更多的訂單給供應商，最后形成一個(gè)良性的循環(huán)。所以我自己的結論是說(shuō)，中國汽車(chē)在電氣化和智能化它一定會(huì )崛起，這是一個(gè)趨勢。它必然會(huì )帶動(dòng)本土供應鏈公司，包括芯片公司做大做強。所以我也希望我們后摩智能以及在座的一些兄弟AI芯片公司，能夠抓住這個(gè)歷史機遇，做大做強，做出中國自己的芯片國際巨頭。
最后，我講講后摩智能的愿景，左邊這個(gè)圖是從劉明院士的演講里摘取的，她講了一個(gè)有趣的事，說(shuō)芯片能效比每提升1000倍都會(huì )延伸出一個(gè)新的計算形態(tài)，比如小型機時(shí)代差不多1M/W，PC機時(shí)代差不多1G/W，而我們現在的手機時(shí)代差不多1T/W。她的預測是，如果到未來(lái)，真到了萬(wàn)物智能的時(shí)代，也許我們需要1P/W的計算能力和能效比。我很喜歡劉明院士這個(gè)演講，我把它引進(jìn)來(lái)，也表達后摩智能創(chuàng )業(yè)的初心，我們希望用更多底層的技術(shù)去打造1P/W的算力。后摩智能早期從無(wú)人車(chē)、機器人、乘用車(chē)的智能駕駛作為切入點(diǎn)，把產(chǎn)品落地，為客戶(hù)創(chuàng )造價(jià)值。未來(lái)，希望能向仿生機器人、VR/AR這些領(lǐng)域去拓展，最終我們希望能夠打造人工智能時(shí)代的一個(gè)算力平臺，去實(shí)現萬(wàn)物智能的美好愿景。以上是我的分享，謝謝大家。
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
安全柵相關(guān)文章:安全柵原理
隔離器相關(guān)文章:隔離器原理
電流變送器相關(guān)文章:電流變送器原理
加入技術(shù)交流群
