比肩摩爾定律！英偉達提出"黃氏定律"！

#時(shí)事熱點(diǎn)頭條說(shuō)#

當人們在爭論摩爾定律在本世紀20年代是否會(huì )放緩、是否仍然適用、甚至是否已經(jīng)走向盡頭時(shí)，英偉達的科學(xué)家們卻預示著(zhù)令人印象深刻的“黃仁勛定律”。在過(guò)去十年中，英偉達GPU的人工智能處理能力據稱(chēng)增長(cháng)了1000倍。黃氏定律意味著(zhù)我們在“單芯片推理性能”中看到的增速不會(huì )逐漸消失，而是會(huì )繼續出現。

英偉達上周五發(fā)表了一篇關(guān)于黃氏定律的博客文章，概述了黃氏定律背后的信念和工作實(shí)踐。有趣的是，英偉達首席科學(xué)家比爾?戴利所描述的“后摩爾定律時(shí)代計算機性能的結構性轉變”主要是基于人類(lèi)的聰明才智。這一特征似乎有些難以預測，但戴利認為，下面這張令人印象深刻的圖表標志著(zhù)黃氏定律的開(kāi)始。

根據戴利最近在Hot Chips 2023大會(huì )上的演講，上圖顯示GPU AI推理性能在過(guò)去十年中增長(cháng)了1000倍。有趣的是，與摩爾定律不同的是，工藝尺寸縮小對黃氏定律的進(jìn)展幾乎沒(méi)有影響。

戴利回憶了如何通過(guò)改變Nvidia GPU的底層數字處理方式實(shí)現16倍的性能增益。另一個(gè)巨大的推動(dòng)力是Nvidia Hopper架構的到來(lái)，此架構使用了Transformer Engine。據稱(chēng)，Hopper使用了8位和16位浮點(diǎn)數和整數計算的動(dòng)態(tài)混合，實(shí)現了12.5倍的性能飛躍，同時(shí)還節省了能耗。

戴利最令人驚訝的說(shuō)法之一是，人工智能推理性能的1000倍性能增加與工藝尺寸縮小的收益形成鮮明對比。在過(guò)去的十年里，隨著(zhù)英偉達GPU從28納米工藝轉向5納米工藝，半導體工藝的改進(jìn)“只占總收益的2.5倍”。

值得慶幸的是，戴利表示他和他的團隊仍然看到了加速人工智能推理處理的“幾個(gè)機會(huì )”，其中包括進(jìn)一步簡(jiǎn)化數字的表示方式，在人工智能模型中創(chuàng )建更多的稀疏性，以及設計更好的內存和通信電路。