一文看懂特斯拉Dojo的江湖地位及獨門(mén)秘籍

近日特斯拉亮相的D1 芯片宣稱(chēng)擁有500億個(gè)晶體管，超過(guò)了AMD擁有395.4億個(gè)晶體管的Epyc Rome，落后于NVIDIA的GA100 Ampere SoC的540億個(gè)晶體管的記錄。

現在，特斯拉不僅是個(gè)汽車(chē)公司、AI公司，還是個(gè)芯片公司。在A(yíng)I訓練芯片界，用于訓練AI模型的芯片供應商，除了英特爾、英偉達和Graphcore，現在還有特斯拉。

近日特斯拉亮相的D1 芯片宣稱(chēng)擁有500億個(gè)晶體管，超過(guò)了AMD擁有395.4億個(gè)晶體管的Epyc Rome，落后于NVIDIA的GA100 Ampere SoC的540億個(gè)晶體管的記錄。

D1 芯片總共有645mm2，每mm2上集成7750萬(wàn)個(gè)晶體管的有效晶體管密度，僅次于移動(dòng)芯片蘋(píng)果M1，功率密度高于Nvidia A100 GPU。

D1使用 7nm工藝，推測是由三星或臺積電代工，考慮到三星也制造了特斯拉的HW3芯片，所以前者代工D1的可能性更大一些。

25個(gè)D1芯片組成一個(gè)Training Tile（訓練片，EDN沒(méi)有看到官方翻譯，根據Tile的原意”瓦片”和它的外觀(guān)暫且譯為”訓練片”吧）；然后12個(gè)訓練片可以組成一個(gè)服務(wù)器機柜，共108 PFlops；幾個(gè)機柜再組成Dojo超級計算機。

圖：每個(gè)服務(wù)器機柜超過(guò) 100,000 個(gè)功能單元、400,000 個(gè)定制內核和132GB SRAM。

Dojo的江湖地位

特斯拉曾經(jīng)采用NVIDIA GPU構建的超級計算機上過(guò)Top10榜單，性能僅略低于中國的太湖之光：

從排名上看起來(lái)Dojo并不是計算能力最強的超級計算機，這是Dojo的設計目的只是針對一項非常具體的任務(wù)，即：基于大量360度視頻訓練神經(jīng)網(wǎng)絡(luò )。所有代碼都是專(zhuān)門(mén)為在此硬件上理想工作而編寫(xiě)的。

相比之下，其他超級計算機的構建都考慮到了靈活性，以便能夠適應大量不同的任務(wù)。當然，如果真的要在視頻訓練上一決高下，即使是最強大的 Fugaku (富岳)，也很可能是比Dojo慢的。

何況巨大的Fugaku是由256 個(gè)機柜組成，Dojo僅由10個(gè)機柜組成，因此在尺寸方面Dojo也是最小的超級計算機。

如果特斯拉在Dojo中增加54個(gè)機柜，Dojo就能超過(guò)Fugaku。

智能手機和特斯拉的HW3都是有SoC之外的RAM 芯片的。即使是最快的最厲害的硬盤(pán)驅動(dòng)器也做不到和RAM一樣的隨機存取，無(wú)法取代RAM。

理論上，最新的PCIe 4技術(shù)只能達到0.5~3GB/s，比消費類(lèi)計算機標準DDR4 RAM的20~25GB/s差太多，更別提高達50GB/s的下一代 DDR5 RAM。

智能手機和消費電腦通常使用 4-32GB的RAM，專(zhuān)業(yè)工作站的RAM甚至可以達到512GB。

那么，如果特斯拉的訓練芯片沒(méi)用RAM，那用的是啥？

它內部是有一個(gè)更快的隨機內存層，稱(chēng)為緩存。當 SoC/CPU 調用DRAM時(shí)，響應時(shí)間約為 60納秒；而L3緩存或片上 SRAM 的響應時(shí)間可低至10納秒。

英特爾目前最大的L3緩存是57MB，IBM的記錄是120MB，AMD最強大的處理器有256MB的L3緩存，而特斯拉在 2019 年宣布的 HW3 芯片有 64 MB 的 SRAM。

特斯拉的訓練節點(diǎn)帶有1.25MB的SRAM，354個(gè)節點(diǎn)組成的計算陣列，也就是這個(gè)SoC算下來(lái)就是424.8 MB的緩存，這超過(guò)了所有其他處理器?！@有可能都不是L3緩存，而是更快的 L2了。

通常SoC是通過(guò)引腳把信號發(fā)送到主板上再進(jìn)行傳輸，但特斯拉并沒(méi)有把SoC從晶圓上割下來(lái)，而是把留在一片晶圓上的所有SoC連接起來(lái)。

新 PCI-e Gen 4 連接的最新 SSD 的理論限制為 64 GB/s，特斯拉的每個(gè)連接器能達到900 GB/s的速度，推測是他們定制了自己的連接方式

Dojo采用液體冷卻訓練片 

每個(gè) D1 芯片的功耗僅400 W，25個(gè)芯片組成的MCM訓練片的功耗為15千瓦。訓練片是液體冷卻的，據說(shuō)用了10公斤液體，但特斯拉沒(méi)說(shuō)是水冷。

在Tesla的訓練片中，有SoC的一側與常規處理器一樣是暴露著(zhù)的，可以直接冷卻。另一側被穩壓器蓋住了，如上圖所示。

那么穩壓器直接蓋在處理器有啥好處？

常見(jiàn)的處理器的電源都是裝在處理器旁邊的主板上，電流需要通過(guò)主板、插座、引腳和SoC；而Dojo訓練片的電源可以直接傳輸到SoC，減少了散發(fā)的熱量。

最后，看起來(lái)特斯拉現在已經(jīng)掌握著(zhù)摩爾定律的衣缽，馬斯克表示，“We should have Dojo operational next year”。明年值得期待。

來(lái)源：EDN電子技術(shù)設計