將光集成到硅芯片，有新思路

來(lái)源：本文由半導體行業(yè)觀(guān)察（ID：icbank）編譯自datacenterdynamics，謝謝。

眾所周知，摩爾定律即將走到盡頭。隨著(zhù)越來(lái)越多的晶體管被封裝到每個(gè)硅芯片上，我們不能再期望處理器能力每?jì)赡攴环?br />

這對傳統 IT 來(lái)說(shuō)很不方便，傳統 IT 一直依賴(lài)摩爾定律的持續紅利。對于人工智能 (AI) 來(lái)說(shuō)，這可能是一場(chǎng)災難，它正處于大規模擴張的邊緣……但這種擴張在很大程度上取決于快速處理。

一家初創(chuàng )公司認為，答案是將傳統硅與利用光運行的光子處理器相結合。

人工智能爆炸

LightMatter 首席執行官尼克·哈里斯 (Nick Harris) 表示，人工智能目前正處于快速增長(cháng)階段：“人們發(fā)現了無(wú)法滿(mǎn)足的用例。他們會(huì )盡可能多地索取，他們會(huì )花掉任何錢(qián)。谷歌、微軟、亞馬遜和 Facebook 將為這些東西付出任何代價(jià)?！?/p>

這是最近的發(fā)展。在經(jīng)歷了 1960 年代和 80 年代的激增之后，人工智能研究進(jìn)展緩慢。然后在 2012 年，由 Alex Krizhevsky 創(chuàng )建的名為 AlexNet 的神經(jīng)網(wǎng)絡(luò )贏(yíng)得了在低成本 GPU 硬件上運行的圖像識別競賽。

這顯示了商業(yè)可能性，谷歌收購了 Krizhevsky 的公司，投資開(kāi)始了。

哈里斯說(shuō)：“在擴展這些東西方面進(jìn)行了大量投資?！?nbsp;投資初見(jiàn)成效?！霸谶^(guò)去的十年里，人工智能模型的復雜度經(jīng)歷了 3.6 個(gè)月的翻倍周期?！?/p>

問(wèn)題是，即使是便宜的通用硅也跟不上。而且，雖然可以在實(shí)驗室中為 AI 投入額外的時(shí)間和資源，但在將其部署到實(shí)際應用程序中時(shí)，它需要快速的性能。

“人工智能的挑戰在于，你可以訓練非常大的模型，但如果你想部署它們并讓人們與它們互動(dòng)，那么用戶(hù)提出查詢(xún)和獲得結果之間的時(shí)間非常重要，”哈里斯說(shuō)?！澳阈枰獙?shí)時(shí)反饋。該領(lǐng)域的最大挑戰是構建可以運行這些龐大神經(jīng)網(wǎng)絡(luò )的機器，以便您在幾毫秒內得到答案?！?/p>

硅跟不上

自 1965 年英特爾的戈登·摩爾 (Gordon Moore) 注意到這一趨勢以來(lái)，幾十年來(lái)處理器性能每?jì)赡攴环?/p>

這很好，但這種進(jìn)步速度不足以跟上本世紀新興的人工智能，Harris 說(shuō)：“即使你擁有電子產(chǎn)品的最佳案例擴展，你也沒(méi)有真正為它提供動(dòng)力?！?/p>

更糟糕的是，就在更聰明的人工智能到來(lái)的那一刻，硅加速的速度減慢了。

摩爾定律之所以成立，是因為芯片制造商可以每?jì)赡陮⒁粔K硅片上封裝的晶體管數量增加一倍?，F在，雖然處理器仍在封裝更多晶體管，但它們的運行溫度更高。

“我們遇到這個(gè)熱問(wèn)題的原因是 Dennard Scaling，”Harris 解釋道。羅伯特·丹納德 (Robert Dennard) 發(fā)明了 DRAM，并觀(guān)察到越小的晶體管消耗的能量越少，其面積越大：“大約在 2005 年，它壞了?！?/p>

今天的快速處理器使用 300W 和更高功率，而 Harris 說(shuō)這正朝著(zhù) 1kW 芯片發(fā)展。

“我們仍在每單位面積上獲得更多的晶體管。但是你不能真正使用它們，因為冷卻解決方案不支持你使用它們。芯片會(huì )燃燒。你需要能夠開(kāi)發(fā)出每瓦執行更多操作的芯片?！?/p>

進(jìn)入光子學(xué)

讓芯片變熱的是電阻。當電子在電流中流動(dòng)時(shí)，電信號面臨阻力。相比之下，光信號不會(huì )面臨同樣的阻力，也不會(huì )產(chǎn)生熱量——而且光子的傳播速度也比其他任何東西都快。

多年來(lái)，先進(jìn)的計算機設計一直試圖引入光子學(xué)，并使用“電子進(jìn)行處理，光子進(jìn)行通信”，用 HPE 科學(xué)家 John Sontag 的話(huà)來(lái)說(shuō)（HPE 是 Lightmatter 的投資者）。

長(cháng)途通信使用光纖，這些光纖現在深入數據中心的機架?！坝行┕句N(xiāo)售 100 Gig 可插拔光學(xué)器件，而他們現在才剛剛部署 400 Gig 可插拔光學(xué)器件。他們通過(guò)光纖每秒發(fā)送 400 吉比特的數據，將空間上分離的機架和物品連接在一起?！?/p>

最近的發(fā)展允許晶體管和光子學(xué)在同一個(gè)晶圓上合并，即所謂的“共同封裝光學(xué)”。最初，這被視為一種減小這些光插頭尺寸和功耗的方法，將信號作為光帶入芯片，而不是在 CMOS 芯片的邊界將光信號轉換為電信號。

根據路線(xiàn)圖，“光學(xué)元件越來(lái)越接近硅，直到最終，光學(xué)元件與處理器和網(wǎng)絡(luò )芯片進(jìn)行 3D 堆疊和共同封裝，從而以低能耗提供非常高的數據速率?！?/p>

英特爾已經(jīng)展示了一年或更長(cháng)時(shí)間的聯(lián)合封裝光學(xué)，Broadcom 已經(jīng)展示了聯(lián)合封裝的光學(xué)開(kāi)關(guān)，Marvell 在 2021 年以 100 億美元收購了光電子公司 Inphi，但業(yè)界對它能否迅速發(fā)揮作用持懷疑態(tài)度。

Dell'Oro Group 分析師 Sameh Boujelbene 在今年對 SDxCentral 的評論中表示：“現在就制定可在未來(lái)幾年內進(jìn)行大規模部署和量產(chǎn)的聯(lián)合封裝光學(xué)解決方案還為時(shí)過(guò)早?！?/p>

Harris 評論說(shuō)，共同封裝的光學(xué)器件可用于制造用于訓練 AI 的高度互連的 GPU 系統，但這仍然需要具有交錯光纖“rat’s nest”的計算集群。

“他們計劃使用光學(xué)器件將服務(wù)器內部的處理器連接在一起。當每個(gè)芯片都使用光纖連接到每個(gè)其他芯片時(shí)，會(huì )有性能優(yōu)勢，但很難為這些東西提供服務(wù)?！?/p>

Lightmatter 的方法是將光學(xué)元件進(jìn)一步推入芯片內部，因此所有這些互連都由硅內的可切換光子網(wǎng)絡(luò )處理，該網(wǎng)絡(luò )不產(chǎn)生熱量，占用的體積極小。

“光纖是宏觀(guān)的，它在毫米的數量級，”他說(shuō)?！拔覀兊脑O備是兩微米?！?/p>

這可以大大減少所需的硬件，有效地將一個(gè)復雜的人工智能訓練系統集成到一個(gè)芯片上：“如果你打開(kāi)我們的服務(wù)器，里面只有一個(gè)芯片。它包含服務(wù)器的所有處理器。它們在芯片內部是光學(xué)互連的。他們也可以通過(guò)光學(xué)與其他平臺進(jìn)行通信?！?/p>

他繼續說(shuō)道：“最終，這個(gè)東西所做的是極端集成，使一切都可以通過(guò)光學(xué)互連實(shí)現，并允許真正荒謬的帶寬?！?/p>

它是在商業(yè)硅晶圓廠(chǎng)提供的標準流程中完成的：“我們使用 GlobalFoundries 制造晶圓，”Harris 說(shuō)?！拔覀兊木w管非常接近隔壁鄰居，距離光子元件不到 100 納米。都是一體的?！?/p>

他說(shuō)，使用相同的蝕刻工具制造 CMOS 和光子連接，它們與晶體管處于相同的納米尺度。

“我們使用所有相同的蝕刻工具。所以都是完全標準的CMOS。我們使用‘絕緣體晶圓上的硅’，用于生產(chǎn)許多電子芯片?！?/p>

哈里斯和他的同事在麻省理工學(xué)院提出了這個(gè)想法，并在 1100 萬(wàn)美元的啟動(dòng)資金的幫助下，自 2018 年以來(lái)一直在將其商業(yè)化。

走向硅

公司有兩種產(chǎn)品。通道是一種互連，它采用傳統處理器陣列并將它們連接起來(lái)，使用可編程的片上光網(wǎng)絡(luò )。

“激光器與調制器和晶體管一起集成到平臺中，”他說(shuō)?！叭绻阌脪呙桦娮语@微鏡觀(guān)察這個(gè)東西，你可以看到波導——它們相距約兩微米，寬幾百納米?！?/p>

另一個(gè)產(chǎn)品是 Envise，一種通用的云推理加速器，它將計算元素與光子計算核心結合在一起。

這里的承諾是解決人工智能處理速度的問(wèn)題：“我們的延遲提高了大約 42 倍，因為處理是以光速進(jìn)行的。當光穿過(guò)芯片時(shí)，你正在做乘法和加法。

該技術(shù)仍處于早期階段，但哈里斯表示，Lightmatter 擁有“大約五個(gè)客戶(hù)”，都是大型企業(yè)。該公司在實(shí)驗室中擁有硅，并將于 2022 年晚些時(shí)候全面上市。

“在 Passage 案例中，我們正在研究芯片之間的通信，而在 Envise 方面，光學(xué)處理核心有助于提供通信能量，同時(shí)還可以卸載計算機操作，”Harris 說(shuō)。

哈里斯說(shuō)，這些產(chǎn)品是“大芯片”。與另一家 AI 芯片初創(chuàng )公司 Cerebras 非常相似，Lightmatter 發(fā)現可以在單個(gè)晶圓上集成多個(gè)內核和網(wǎng)絡(luò )。

Cerebras 在商業(yè)上得到進(jìn)一步發(fā)展，其產(chǎn)品被愛(ài)丁堡大學(xué)的 EPCC 超級計算中心和生物制****公司 AbbVie 等采用。然而，它不得不創(chuàng )建自己的液體冷卻系統來(lái)處理片上網(wǎng)絡(luò )產(chǎn)生的熱量。

Lightmatter 的光網(wǎng)絡(luò )用光子發(fā)送信號并且運行溫度更低。它也更小一些，但仍然是“幾英寸寬”，通道適合一個(gè) 8 英寸乘 8 英寸的芯片插座：“這是我一生中見(jiàn)過(guò)的最大的芯片插座?！?/p>

然而，它確實(shí)提供了“荒謬”的帶寬：768Tbps。

晶圓尺寸的芯片聽(tīng)起來(lái)像是一種負擔，因為所有硅晶圓都可能存在小點(diǎn)缺陷，因此大晶圓出現故障的可能性更高?！拔覀冊诹悸使こ谭矫孀隽撕芏喙ぷ?，”哈里斯說(shuō)?！暗酒系木w管并不多?！?/p>

晶體管越少，出現點(diǎn)缺陷的可能性就越?。骸拔覀兊拿芏确浅５?，因此在制造過(guò)程中出現導致晶體管失效的點(diǎn)缺陷的可能性非常低。成品率最終很高，因為它不是一個(gè)非常密集的晶體管電路?！?/p>

應用

哈里斯說(shuō)，這方面的第一個(gè)應用將是對實(shí)時(shí)視頻進(jìn)行分析的公司。這些可能包括安全公司，但也包括使用攝像頭監控生產(chǎn)線(xiàn)以發(fā)現零件何時(shí)存在缺陷的公司。

它還可能對語(yǔ)音分析和其他 AI 應用有用：“它是全面的?！?/p>

有一個(gè)共同因素——客戶(hù)對谷歌首創(chuàng )的“變形金剛”型神經(jīng)網(wǎng)絡(luò )感興趣，并希望以更低的成本實(shí)施它們

“第一個(gè)應用程序主要是試圖解決每次推理的美元成本。如果你是一名在谷歌云上工作的產(chǎn)品人員，有很多你想部署的 AI 模型，但你負擔不起，因為每次推理的成本沒(méi)有意義?！?/p>

這一切都會(huì )奏效嗎？一個(gè)積極的跡象是加入公司的工程師的才能。

Richard Ho 是谷歌定制 AI 芯片系列 Tensor Processing Unit (TPU) 的領(lǐng)導者之一，他于 8 月加入 LightMatter，之前是英特爾 AI 集團數據中心工程副總裁 Ritesh Jain。5 月，它聘請了 Apple 財務(wù)總監 Jessie Zhang 擔任財務(wù)副總裁。

光子計算的前景可能是光明的。