超越摩爾定律； 半導體創(chuàng )新仍在繼續，但更加艱難

半導體在摩爾定律的指導下發(fā)展了數十年，摩爾定律描述了數字技術(shù)以及近年來(lái)深度學(xué)習等先進(jìn)人工智能形式的巨大發(fā)展背后的進(jìn)步。

摩爾定律實(shí)際上是一種觀(guān)察結果，由英特爾聯(lián)合創(chuàng )始人戈登·摩爾 (Gordon Moore) 在 1965 年提出，該定律認為芯片上的晶體管數量大約每年都會(huì )增加一倍。 1975年，他將公式調整為每?jì)赡暌淮巍?幾十年來(lái)，這一點(diǎn)一直成立，有助于解釋當今世界的很多問(wèn)題，包括為什么智能手機和其他數字設備的性?xún)r(jià)比顯著(zhù)提高，尤其是與許多其他種類(lèi)的商品相比。 晶體管的售價(jià)一度高達每個(gè) 150 美元。 2019 年，典型的英特爾微處理器包含 50 億個(gè)，每個(gè)成本為 0.0000001 美元。

但有人說(shuō)，由于晶體管尺寸現在如此之小，摩爾定律所描述的穩定、可預測的進(jìn)步已經(jīng)結束，因為某些努力已經(jīng)接近經(jīng)濟和物理學(xué)的極限。 與深度學(xué)習和其他形式人工智能的進(jìn)步密切相關(guān)的其他類(lèi)型的半導體創(chuàng )新正在進(jìn)行中。 但是，現在已經(jīng)不可能以如此清晰、容易被公眾掌握的方式來(lái)描述芯片創(chuàng )新的下一階段來(lái)預測未來(lái)。

半導體巨頭英偉達 (Nvidia) 的首席科學(xué)家比爾·達利 (Bill Dally) 表示：“那些日子已經(jīng)一去不復返了，對吧？”該公司設計了人工智能最需要的芯片。英偉達以圖形處理單元而聞名，圖形處理單元是一種采用 許多核心同時(shí)進(jìn)行計算。人工智能對于 GPU 的需求非常大，尤其是具有許多密集層的神經(jīng)網(wǎng)絡(luò )。

雖然摩爾定律所描述的進(jìn)步不再像以前那樣迅速發(fā)展，但英偉達、谷歌 DeepMind 和其他公司的研究人員正在一系列領(lǐng)域取得進(jìn)展。

“深度學(xué)習是由硬件驅動(dòng)的。 我們感到繼續下去的巨大壓力，”斯坦福大學(xué)計算機科學(xué)系前系主任達利說(shuō)，他仍然是該校的兼職教授。

“事情變得越來(lái)越困難，但我們仍然有好的想法……四年后，我們已經(jīng)非常清楚性能的來(lái)源。 我們做了很多探索性的努力來(lái)回答這個(gè)問(wèn)題：在那之后性能將來(lái)自哪里，”Dally 說(shuō)，他領(lǐng)導著(zhù)一個(gè)由 300 名擁有博士學(xué)位的研究人員組成的團隊。

Dally 表示，Nvidia 的先進(jìn)數據中心芯片 Hopper 架構于 2022 年推出，并設法將更多晶體管封裝到芯片上，但該芯片的成本比之前的版本更高，而且單個(gè)晶體管的成本也更高。 “較小的晶體管并沒(méi)有真正幫助我們太多，”達利補充道，“隨著(zhù)我們從一代過(guò)渡到下一代，我們不再降低晶體管的成本?！?/p>

盡管如此，考慮到摩爾定律之外存在的其他類(lèi)型的創(chuàng )新，Hopper 的性?xún)r(jià)比還是有所提高。 達利表示，他相信至少在未來(lái)四年內，實(shí)現更多創(chuàng )新的道路是明確的，這意味著(zhù)與人工智能不斷增長(cháng)的力量密切相關(guān)的硬件改進(jìn)也應該繼續下去，這將對醫療等眾多行業(yè)產(chǎn)生影響。 科學(xué)和醫療保健到金融和電子商務(wù)。

這項工作利用了稀疏性或將“小”數字舍入為零等概念，從而減少了芯片必須執行的乘法量。

八年前，現在麻省理工學(xué)院的 Dally 和 Song Han 以及其他人在 NeurIPS 會(huì )議上發(fā)表了一篇論文，該論文表明，對于很多神經(jīng)網(wǎng)絡(luò )，他們可以將 90% 的數字歸零，并且不會(huì )改變神經(jīng)網(wǎng)絡(luò )的準確性。

“我們仍在研究如何利用更好的硬件來(lái)利用這一點(diǎn)，”達利說(shuō)。

另一個(gè)創(chuàng )新領(lǐng)域涉及數字表示，其中數字以各種方式表示，例如一串 1 和 0。 Dally 表示，如果可以用更短的字符串（例如 8 個(gè)而不是 16 或 32 個(gè)單位或位）來(lái)完成此操作，那么乘法等過(guò)程中芯片所需的工作量就會(huì )相應減少。 這提高了芯片的整體功率和效率。

英偉達和谷歌一直致力于為人工智能定制芯片。 這使得他們能夠比摩爾定律更快地擴展人工智能芯片性能，盡管在芯片上放置更多晶體管變得越來(lái)越困難。 2020 年，《華爾街日報》專(zhuān)欄作家克里斯托弗·米姆斯 (Christopher Mims) 以 Nvidia 聯(lián)合創(chuàng )始人兼首席執行官黃仁勛 (Jensen Huang) 的名字命名了黃氏定律 (Huang’s Law)，該定律指出，為人工智能提供動(dòng)力的硅芯片的性能每?jì)赡昃蜁?huì )增加一倍以上。

然而，存在一個(gè)根本性的差異：人工智能算法每隔幾個(gè)月就會(huì )進(jìn)化一次，而設計芯片則需要兩到三年的時(shí)間。

通過(guò)采用先進(jìn)的人工智能，可以顯著(zhù)減少芯片設計的時(shí)間和成本。 一些研究人員認為人工智能可以將設計過(guò)程從幾年縮短到幾天。 在軟件方面，更好的資源調度和更優(yōu)化的代碼可以提高現有芯片設計的性能。

數據中心和芯片研究總監 Olivier Temam 表示，緩慢而昂貴的芯片設計還有一個(gè)更微妙的后果：它需要人工智能研究人員為現有芯片創(chuàng )建算法，這反過(guò)來(lái)可能會(huì )限制他們設想的人工智能算法的范圍。 ，谷歌 DeepMind。 如果研究人員能夠更容易、更便宜地制造適應新穎人工智能算法的芯片，可能會(huì )在該領(lǐng)域釋放更多創(chuàng )造力。

Temam 表示：“人工智能驅動(dòng)的芯片設計的最新進(jìn)展與持續的探索相結合，表明我們有一天可能能夠實(shí)現芯片設計的自動(dòng)化，最終帶來(lái)生產(chǎn)力的大幅提升，從而改變整個(gè)行業(yè)?！?/p>