新版摩爾定律也要靠算力 英偉達稱(chēng)AI訓練速度可再提高1萬(wàn)倍

ChatGPT之父、OpenAI公司CEO奧特曼（Sam Altman）周日在一條Twitter上寫(xiě)道：“新版摩爾定律很快就要來(lái)了，宇宙中的智能數量每18個(gè)月就會(huì )翻一倍?！?/p>本文引用地址：http://dyxdggzs.com/article/202302/443814.htm

摩爾定律是英特爾聯(lián)合創(chuàng )始人摩爾對半導體行業(yè)的預測，指芯片中的晶體管數量大約每?jì)赡攴环?，同時(shí)價(jià)格降一半。幾年前，芯片巨頭英偉達創(chuàng )始人CEO黃仁勛就曾表示：“摩爾定律已死?！?/p>

奧特曼的最新言論很快在社交媒體上發(fā)酵，但他沒(méi)有具體解釋所謂的“智能”（intelligence）到底是指什么，這也引發(fā)了業(yè)內的熱烈討論。

宇宙智能數量18個(gè)月翻番指什么？

“當（人腦之外的）另一個(gè)結構可以突破（神經(jīng)元）總量限制時(shí)，智能的確會(huì )不斷爆炸?！鲍C豹移動(dòng)董事長(cháng)傅盛在微信朋友圈中寫(xiě)道。他向第一財經(jīng)記者解釋稱(chēng)：“這里的智能應該指神經(jīng)元參數?！?/p>

瀾舟科技創(chuàng )始人CEO周明對第一財經(jīng)記者表示，雖然神經(jīng)元參數確實(shí)是可以數值化衡量的指標，但是過(guò)去幾年里，神經(jīng)元參數似乎并沒(méi)有18個(gè)月就實(shí)現翻番。

“我認為Altman說(shuō)的意思比較含糊，我個(gè)人的理解是，世界上的人工智能能力每18個(gè)月翻一倍，但怎么才算翻一倍，是增加新的能力的個(gè)數，還是已有能力的翻倍提升，他沒(méi)有明確說(shuō)明?！敝苊鲗Φ谝回斀?jīng)記者表示。

第一財經(jīng)記者就如何理解“智能”翻番向ChatGPT提問(wèn)。首先問(wèn)：“宇宙中智能數量每18個(gè)月翻一倍，這里的智能是指什么？”ChatGPT回答道：“聲稱(chēng)宇宙中的智能數量每18個(gè)月翻番是沒(méi)有科學(xué)依據的，因為智能不是一個(gè)可以用這種方式測量或量化的物理量，通常認為它是一個(gè)具有復雜特性的東西，不能簡(jiǎn)化為單個(gè)指標或者數值?！?/p>

當第一財經(jīng)記者在提問(wèn)中加入ChatGPT創(chuàng )始人奧特曼的名字，再問(wèn)：“奧特曼所說(shuō)的新版摩爾定律是指什么？”ChatGPT回答稱(chēng)：“新摩爾定律指的是奧特曼在2018年做出的關(guān)于人工智能快速發(fā)展及其能力呈指數級增長(cháng)的預測。奧特曼表示，人工智能發(fā)展的速度目前正在超過(guò)摩爾定律?！?/p>

從ChatGPT的回答中可以看出，這一預測是奧特曼早在2018年就曾作出的，但當時(shí)OpenAI的能力遠不如今天，這一表態(tài)自然也未受到關(guān)注。

如今，奧特曼重新將他的“新版摩爾定律”拋出，背后是深度學(xué)習和AI的崛起。但不管ChatGPT如何強大，背后也離不開(kāi)算力的支撐。

隨著(zhù)人類(lèi)對于算力的要求越來(lái)越高，要滿(mǎn)足新的高性能運算需求，芯片就需要不斷迭代，成本也會(huì )隨之增加。目前支撐包括ChatGPT大模型在內的95%用于機器學(xué)習的芯片都是英偉達的A100，該芯片的單價(jià)超過(guò)1萬(wàn)美元。

在上周英偉達的財報會(huì )議上，黃仁勛稱(chēng)，英偉達的GPU在過(guò)去的十年里將AI的處理性能提高了100萬(wàn)倍。英偉達現在希望將AI的訓練速度提高至少1萬(wàn)倍。

研究機構Gartner分析師盛陵海對第一財經(jīng)記者表示：“過(guò)去十年是AI發(fā)展從0到100的階段，但是要從100到10000，是完全不同的場(chǎng)景。過(guò)去十年芯片的發(fā)展還遵循摩爾定律，但隨著(zhù)摩爾定律接近極限，未來(lái)計算機的能力要進(jìn)一步提升越來(lái)越困難，除非量子計算能有大的突破?！?/p>

誰(shuí)能顛覆人工智能“主力”A100？

根據研究機構New Street Research發(fā)布的一份報告，英偉達的A100目前已成為人工智能領(lǐng)域的“主力”，占據了用于機器學(xué)習的圖形處理器市場(chǎng)95%的份額。

訓練大型語(yǔ)言模型需要大量GPU，這些GPU還能進(jìn)行“推理”。擁有熱門(mén)AI產(chǎn)品的公司通常需要購買(mǎi)更多GPU來(lái)處理峰值期間的數據或用于模型的改進(jìn)。例如，人工智能公司Stability AI公司過(guò)去一年購買(mǎi)的A100芯片數量增加到目前的5400個(gè)。Stability AI的軟件用于圖像生成器Stable Diffusion，使用256個(gè)A100芯片訓練模型，訓練總時(shí)長(cháng)達20萬(wàn)個(gè)小時(shí)。

除了單個(gè)的A100芯片之外，英偉達還出售一個(gè)包含8個(gè)A100的服務(wù)器系統DGX，售價(jià)接近20萬(wàn)美元。根據機構測算，微軟基于ChatGPT的人工智能搜索必應（Bing AI）需要超過(guò)2萬(wàn)臺DGX服務(wù)器系統，才能使Bing的模型支持每個(gè)人的搜索，這表明該功能可能需要微軟投資40億美元的基礎設施支出。

而谷歌每天進(jìn)行近百億次的搜索服務(wù)需要的服務(wù)器能力更大。根據New Street Research的技術(shù)分析師Antoine Chkaiban的預測，谷歌要滿(mǎn)足所有人的搜索，需要在DGX上花費800億美元?！斑@說(shuō)明每個(gè)使用如此龐大的語(yǔ)言模型的用戶(hù)都需要一臺大型超級計算機?！盋hkaiban在報告中寫(xiě)道。

但目前僅有大公司才有實(shí)力進(jìn)行如此巨大的投資。為了讓更多小公司能夠使用英偉達AI的能力，英偉達正在拓展一種全新商業(yè)模式。黃仁勛在上周的財報電話(huà)會(huì )議中表示，未來(lái)將直接出售對DGX系統的云訪(fǎng)問(wèn)，從而降低小公司研究人員使用AI能力的入門(mén)成本。

在黃仁勛看來(lái)，英偉達提供的價(jià)值是將原來(lái)需要投入10億美元運行CPU的數據中心縮減為僅用1億美元就能搞定的數據中心，現在將該數據中心放在云端共享，意味著(zhù)可以由100家公司來(lái)分擔這一成本，因此每家公司支付的實(shí)際上是非常少的費用?！艾F在企業(yè)可以花一兩千萬(wàn)來(lái)構建一個(gè)類(lèi)似GPT的大型語(yǔ)言模型，這是可以支付得起的?！秉S仁勛表示。

盡管英偉達并不是唯一一家生產(chǎn)用于人工智能GPU的公司，但根據研究機構State of AI的報告，截至去年12月，超過(guò)2萬(wàn)篇開(kāi)源AI論文中都使用了英偉達的AI芯片，其中A100在2022年的使用量迅速增長(cháng)，成為英偉達被使用第三多的芯片，僅次于其售價(jià)1500美元的游戲芯片。

目前能與A100的使用量競爭的仍然是英偉達去年量產(chǎn)的下一代人工智能芯片H100。這款芯片的售價(jià)更高，并且在截至今年1月的財季中，H100芯片的收入已經(jīng)超過(guò)了A100。英偉達表示，H100是該公司推出的首款針對transformer架構進(jìn)行優(yōu)化的數據中心GPU，transformer正在越來(lái)越多地用于新的頂級人工智能應用程序，重要性日益凸顯。

“H100采用了5納米的制程，相比于A(yíng)100的7納米制程而言，H100的性能應該是顯著(zhù)優(yōu)于A(yíng)100的?！笔⒘旰Φ谝回斀?jīng)記者表示。