挑戰英偉達！00 后哈佛輟學(xué)小哥研發(fā)史上最快 AI 芯片，比 H100 快 20 倍

自 2022 年底以來(lái)，在由 ChatGPT 掀起的這場(chǎng)席卷全球的 AI 浪潮中，作為 AI 底層算力“霸主”的英偉達（Nvidia），可謂是最大受益者之一：不久前，英偉達一舉超越微軟和蘋(píng)果，以 3.34 萬(wàn)億美元的市值成為全球最有價(jià)值的公司。

歸根結底，是因為英偉達在 AI 芯片市場(chǎng)占據著(zhù)近乎壟斷的地位：強大性能的 GPU 產(chǎn)品如 A100 和 H100 芯片，是大模型訓練上的“硬通貨”；CUDA 軟件生態(tài)也幾乎是英偉達的“護城河”。

因此誰(shuí)也沒(méi)想到，敢對著(zhù)市值超 3 萬(wàn)億美元、擁有 2.8 萬(wàn)名員工、處于壟斷地位的英偉達高調“下戰書(shū)”的，會(huì )是一支由 3 名大學(xué)輟學(xué)生創(chuàng )立、目前僅 35 名員工、剛籌集了 1.2 億美元的團隊：Etched。

（圖片來(lái)自Etched官網(wǎng)）

ChatGPT 問(wèn)世前的一場(chǎng)“豪賭”

從網(wǎng)上資料來(lái)看，Etched 是由三位哈佛大學(xué)輟學(xué)生 Gavin Uberti、Robert Wachen 和 Chris Zhu 在 2022 年創(chuàng )立的。

最初，Gavin Uberti 和 Chris Zhu 在大學(xué)暑期實(shí)習時(shí)進(jìn)入了一家芯片公司，接觸到底層硬件領(lǐng)域并為之吸引后，便決定從哈佛大學(xué)退學(xué)，又拉上了 Uberti 的大學(xué)室友 Robert Wachen，共同創(chuàng )立了 Etched 公司——據悉，當時(shí) Gavin Uberti 正在攻讀數學(xué)學(xué)士學(xué)位和計算機科學(xué)碩士學(xué)位。

（從左到右：Robert Wachen、Gavin Uberti 和 Chris Zhu）

Etched 初步成立后，三位 00 后創(chuàng )始人在 2022 年 6 月、ChatGPT 還未問(wèn)世前就對 AI 進(jìn)行了一場(chǎng)“豪賭”：“我們打賭，Transformer 將席卷全球?！?/span>

基于這個(gè)設想，他們推測專(zhuān)用 ASIC 芯片（專(zhuān)為特定架構設計的 AI 芯片）是一種必然趨勢。

事實(shí)上，當時(shí)的 AI 模型種類(lèi)繁多，有用于自動(dòng)駕駛汽車(chē)的 CNN、用于語(yǔ)言的 RNN，還有用于生成圖像和視頻的 U-Nets 等等。而 Uberti 他們注意到，Transformer（ChatGPT 中的“T”）是第一個(gè)可以擴展的模型。

現階段看來(lái)，他們似乎（暫時(shí)性）賭贏(yíng)了：如今每一個(gè)最先進(jìn)的 AI 模型都基于 Transformer，包括 ChatGPT、Sora、Gemini、Stable Diffusion 3 等等。

GPU 遭遇瓶頸，唯一方法是 ASIC

如開(kāi)頭所說(shuō)，在這場(chǎng) AI 大模型的全球競賽中，大多數企業(yè)都離不開(kāi) GPU，這也是英偉達能成功壟斷市場(chǎng)的原因之一。

然而，Etched 在博文中指出：這四年來(lái)，GPU 本身并沒(méi)有多少提升，即芯片單位面積的計算能力（TFLOPS）變動(dòng)不大，只是芯片面積變得更大了。

不論是英偉達的 B200、AMD 的 MI300，還是英特爾的 Gaudi 3 和亞馬遜的 Trainium2，都是把兩張芯片算作一張，以此實(shí)現所謂的“雙倍”性能。

基于這個(gè)發(fā)現，Etched 確定了其發(fā)展路線(xiàn)：隨著(zhù)摩爾定律的放緩，提高芯片性能的唯一方法就是專(zhuān)業(yè)化——但在 ChatGPT 出現之前，Etched 認定的這個(gè)方向幾乎沒(méi)有市場(chǎng)。

當時(shí)，Transformer 還沒(méi)風(fēng)靡全球，許多公司都構建了靈活的 AI 芯片和 GPU 來(lái)處理數百種不同的架構，例如英偉達的 GPUs、Amazon 的 Trainium、AMD 的加速器、Graphcore 的 IPUs、D-Matrix 的 Corsair 和英特爾的 Gaudi 等。

如此背景下，自然沒(méi)人想要制造專(zhuān)為特定架構設計的 AI 芯片（ASIC）：Transformer 的市場(chǎng)不大，而芯片項目的成本為 5000 萬(wàn)至 1 億美元，還需要數年時(shí)間才能投入生產(chǎn)。

但突然之間，ChatGPT 的全球爆火令情況發(fā)生了巨大變化：

（1）前所未有的需求：在 ChatGPT 之前，Transformer 推理的市場(chǎng)約為 5000 萬(wàn)美元，現在則已達數十億美元。所有大型科技公司都在使用 Transformer 模型（OpenAI、谷歌、亞馬遜、微軟、Meta 等）。

（2）架構逐漸趨同：AI 模型過(guò)去變化很大，但自 GPT-2 以來(lái)，最先進(jìn)的模型架構幾乎保持一致。OpenAI 的 GPT 系列、谷歌的 PaLM、Meta 的 LLaMa、甚至特斯拉的 FSD 都是基于 Transformer。

Etched 聯(lián)合創(chuàng )始人兼 CEO Gavin Uberti 表示：“當 ChatGPT 問(wèn)世時(shí)，英偉達股票大漲，尤其是所有即將推出的 AI 模型都將成為 Transformer 時(shí)，我們才發(fā)現自己在正確的時(shí)間出現在了正確的地點(diǎn)?！?/span>

誠然如他所說(shuō)，當模型的訓練成本超過(guò) 10 億美元，推理成本超過(guò) 100 億美元時(shí)，專(zhuān)用芯片就是不可避免的了：在這種規模下，只要有 1% 的性能改進(jìn)，都能證明成本為 5000 萬(wàn)至 1 億美元的芯片項目是值得的。

全球第一款專(zhuān)為 Transformer 設計的專(zhuān)用芯片 Sohu

朝著(zhù)這個(gè)方向，Etched 花了兩年時(shí)間，打造出了全球第一款專(zhuān)為 Transformer 設計的專(zhuān)用芯片，名為 Sohu，并于昨日正式官宣：認識一下 Sohu，這是史上最快的 AI 芯片。

據 Gavin Uberti 介紹，Sohu 采用臺積電的 4nm 工藝制造，只有 1 個(gè)核心，每張芯片配有 144GB HBM3E 高帶寬內存，可提供比 GPU 和其他通用 AI 芯片更好的推理性能，且耗能更少、成本更低。

為了更直觀(guān)地衡量 Sohu 的強悍性能，Gavin Uberti 把英偉達作為參照：

在運行文本、圖像和視頻轉換器時(shí)，Sohu 的速度比英偉達下一代 Blackwell GB200 GPU 還要快一個(gè)數量級，且成本更低；700 億參數 Llama 3 吞吐量能達到每秒 50 萬(wàn) tokens；一臺 8xSohu 服務(wù)器可取代 160 個(gè) H100 GPU……對于需要專(zhuān)用芯片的企業(yè)領(lǐng)導者來(lái)說(shuō)，Sohu 將是一個(gè)更經(jīng)濟、更高效、更環(huán)保的選擇。

而之所以 Sohu 能實(shí)現如此性能，正是因為它的“專(zhuān)用性”：無(wú)法運行大多數傳統的 AI 模型，如為 Instagram 廣告提供動(dòng)力的 DLRMs、AlphaFold 2 等蛋白質(zhì)折疊模型、Stable Diffusion 2 等較老的圖像模型，也無(wú)法運行 CNN、RNN 或 LSTM——專(zhuān)為 Transformer 設計，只能運行 Transformer。

基于這個(gè)特點(diǎn)，作為 ASIC 芯片的 Sohu 在設計之初就直接摒棄了與 Transformer 無(wú)關(guān)的硬件組件，極大簡(jiǎn)化推理硬件和軟件管道，以此最大程度地提高性能。

Etched 在博文中提到，相較之下，通用 AI 芯片如英偉達的 H100，雖擁有 800 億個(gè)晶體管，卻只有 3.3% 用于矩陣乘法（大模型推理時(shí)最常見(jiàn)的運算）：“這是英偉達和其他靈活的 AI 芯片有意為之的設計決策。如果你想支持所有類(lèi)型的模型（CNN、LSTM、SSM 和其他），這種方案固然是最好的?！?/span>

Gavin Uberti 指出：“我們無(wú)法運行 CNN、RNN、LSTM 和其他 AI 模型，但對于 Transformer 來(lái)說(shuō)，Sohu 就是有史以來(lái)最快的芯片，甚至沒(méi)有競爭對手?！?/span>

Etched 能否打敗英偉達？

對于能否打敗英偉達這個(gè)問(wèn)題，Etched 首席運營(yíng)官 Robert Wachen 的回應如下：

“過(guò)去，AI 計算市場(chǎng)是分散的，人們使用不同種類(lèi)的模型，如 CNN、DLRM、LSTM、RNN 和其他數十種跨領(lǐng)域的模型，每種架構的花費都在數千萬(wàn)到數億美元之間，通用芯片（GPU）有著(zhù)龐大的市場(chǎng)；但現在，市場(chǎng)正在迅速整合為一種架構：Transformer，那么專(zhuān)用芯片就是大勢所趨。

我們的芯片在大多數工作負載上都無(wú)法擊敗 GPU，因為 Sohu 無(wú)法支持它們。但是，對于Transformer 專(zhuān)用芯片來(lái)說(shuō)，我們將會(huì )占據這個(gè)市場(chǎng)?！?/span>

除此之外，Thiel Fellowship 主任 Alex Handy 也在一份聲明中表示：“投資 Etched 是對 AI 價(jià)值的戰略押注。他們的芯片解決了競爭對手害怕解決的可擴展性問(wèn)題，也挑戰了同行中普遍存在的性能停滯不前的現象?！?/span>

目前來(lái)看，Etched 受到業(yè)界的廣泛關(guān)注和許多支持，但正如 Gavin Uberti 所說(shuō)，這場(chǎng)豪賭還沒(méi)有結束：“如果未來(lái) Transformer 消失或被取代了，我們就會(huì )死；但如果他繼續存在，我們就會(huì )是有史以來(lái)最大的公司?！?/span>