AI的決定性時(shí)刻 英偉達“贏(yíng)麻了”

“切勿錯過(guò)AI的決定性時(shí)刻！”這是英偉達2023年GTC大會(huì )的廣告語(yǔ)。不知英偉達所說(shuō)的“決定性時(shí)刻”是指黃仁勛在GTC大會(huì )主題演講中三次強調的“AI的iPhone時(shí)刻”，還是說(shuō)本屆GTC大會(huì )就是AI的“決定性”時(shí)刻。

當然，今時(shí)今日可能確實(shí)是AI的決定性時(shí)刻。

從上周三到現在，一系列或驚艷，或不那么驚艷的最前沿AI技術(shù)接二連三地刷爆科技新聞版面。從OpenAI發(fā)布GPT-4，到百度發(fā)布文心一言，再到微軟發(fā)布Office的AI助手Microsoft 365 Copilot，以及Midjourney發(fā)布能“畫(huà)手指”的V5版本，甚至幾個(gè)小時(shí)前，谷歌也上線(xiàn)了Bard聊天機器人接受排隊測試。

在這樣的AI關(guān)鍵時(shí)刻，手握GPU算力技術(shù)的英偉達自然不會(huì )缺席，畢竟在大模型軍備競賽中，作為“軍火商”的英偉達，已經(jīng)贏(yíng)麻了。

北京時(shí)間3月21日晚11點(diǎn)，2023春季GTC大會(huì )正式上線(xiàn)，在大會(huì )的主題演講中，黃仁勛圍繞AI、量子計算、芯片等前沿科技，發(fā)布了一系列前沿技術(shù)和產(chǎn)品。

ChatGPT專(zhuān)用GPU可提速10倍

圍繞AI的發(fā)布自然少不了GPU的提速，在黃仁勛的主題演講中發(fā)布了全新的GPU推理平臺，該平臺包括4種不同配置，針對不同工作負載進(jìn)行優(yōu)化，分別對應了AI視頻加速、圖像生成加速、大型語(yǔ)言模型（LLM）加速和推薦系統和LLM數據庫。包括：L4 Tensor Core GPU、L40 GPU、H100 NVL GPU和Grace Hopper超級芯片。

其中，H100 NVL是專(zhuān)門(mén)為L(cháng)LM設計的GPU，采用了Transformer加速解決方案，可用于處理ChatGPT。相比于英偉達HGX A100，一臺搭載四對H100和雙NVLINK的標準服務(wù)器速度能快10倍，可以將大語(yǔ)言模型的處理成本降低一個(gè)數量級。此外，H100 NVL配備94GB HBM3顯存的PCIe H100 GPU，采用雙GPU NVLink，支持商用PCIe服務(wù)器輕松擴展。

L4是針對AI生成視頻的通用GPU，用于加速AI視頻，可以提供比CPU高120倍的性能，能效提升約99%?？梢?xún)?yōu)化視頻解碼與轉碼、視頻內容審核、視頻通話(huà)等性能，一臺8-GPU L4服務(wù)器可以取代100多臺用于處理AI視頻的雙插槽CPU服務(wù)器。目前，英偉達GPU在A(yíng)I視頻生產(chǎn)技術(shù)供應商Runway的產(chǎn)品中已經(jīng)提供了相應的技術(shù)支持。

L40則是用于圖像生成，針對2D、3D圖像生成進(jìn)行優(yōu)化，并可以結合Omniverse，直接生成3D內容，甚至是元宇宙內容。該平臺推理性能是英偉達的云推理GPU T4的10倍。

此外，Grace Hopper超級芯片是為推薦系統和大型語(yǔ)言模型AI數據庫設計的?？捎糜趫D推薦模型、向量數據庫和圖神經(jīng)網(wǎng)絡(luò )。它可以通過(guò)900GB/s的高速一致性芯片到芯片接口連接英偉達Grace CPU和Hopper GPU。

計算光刻技術(shù)提速40倍

黃仁勛帶來(lái)的另一項革命性技術(shù)，也關(guān)乎英偉達自身的產(chǎn)品研發(fā)，是一項聚焦先進(jìn)芯片設計制造的技術(shù)——NVIDIA cuLitho的計算光刻庫。

NVIDIA cuLitho計算光刻庫可以通過(guò)計算技術(shù)大幅優(yōu)化芯片制造流程，利用GPU技術(shù)實(shí)現計算光刻，可以使傳統光刻技術(shù)提速40倍以上，為2nm及更先進(jìn)芯片的生產(chǎn)提供助力。

事實(shí)上，英偉達的計算光刻庫在研發(fā)過(guò)程中，已經(jīng)與3家全球頂尖的芯片制造廠(chǎng)商開(kāi)展了長(cháng)達4年的合作。包括晶圓制造巨頭臺積電、光刻機制造商阿斯麥，以及EDA巨頭新思科技，目前3家廠(chǎng)商均已開(kāi)始將該技術(shù)引入芯片設計和制造流程。

“計算光刻是芯片設計和制造領(lǐng)域中最大的計算工作負載，每年消耗數百億CPU小時(shí)?！秉S仁勛介紹說(shuō)，大型數據中心24x7全天候運行，以便創(chuàng )建用于光刻系統的掩膜板。這些數據中心是芯片制造商每年投資近2000億美元的資本支出的一部分。

NVIDIA H100需要89塊掩膜板，在CPU上運算時(shí)，處理單個(gè)掩膜板，當前需要2周時(shí)間。如果在GPU上運行cuLitho則只需8小時(shí)即可處理完一個(gè)掩膜板。黃仁勛說(shuō)：“臺積電可以通過(guò)在500個(gè)DGX H100系統上使用cuLitho加速，將功率從35MW降至5MW，替代用于計算光刻的40000臺CPU服務(wù)器?！?/p>

GPU&量子計算

除了AI和芯片以外，英偉達還在研究另一項前沿科技——量子計算。

本次GTC上宣布的第一個(gè)全新產(chǎn)品就是與Quantum Machines合作的NVIDIA DGX Quantum。該產(chǎn)品結合了通用量子控制系統Quantum Machines OPX+和NVIDIA Grace Hopper超級芯片，這個(gè)平臺可以為高性能和低延遲量子經(jīng)典計算的研究人員提供了一種革命性的新架構。

據黃仁勛介紹，NVIDIA DGX Quantum是全球首個(gè)GPU加速的量子計算系統，可以實(shí)現GPU和量子處理單元（QPU）之間的亞微秒級延遲。這種組合使研究人員能夠建立強大的應用，實(shí)現校準、控制、量子糾錯和混合算法，將量子計算與最先進(jìn)的經(jīng)典計算相結合。

DGX Quantum還為開(kāi)發(fā)人員配備了統一軟件棧，混合GPU-Quantum編程模型NVIDIA CUDA Quantum，能夠在同一系統中整合和編程 QPU、GPU 和 CPU，是一個(gè)混合型量子經(jīng)典計算平臺。目前，CUDA Quantum 已經(jīng)開(kāi)放了源代碼，為開(kāi)發(fā)者提供了更多的支持。

AI超級計算上云

本次GTC的另一個(gè)重頭戲是云。

英偉達發(fā)布的DGX Cloud云服務(wù)，提供了專(zhuān)用的NVIDIA DGX AI超級計算集群，搭配N(xiāo)VIDIA AI軟件，使每個(gè)企業(yè)都可以使用簡(jiǎn)單的網(wǎng)絡(luò )瀏覽器訪(fǎng)問(wèn)AI超算，消除了獲取、部署和管理本地基礎設施的復雜性。

該服務(wù)目前已經(jīng)與Microsoft Azure、Google GCP和Oracle OCI開(kāi)展合作。每個(gè)DGX Cloud實(shí)例都具有八個(gè)H100或A100 80GB Tensor Core GPU，每個(gè)節點(diǎn)共有640GB GPU內存。

使用NVIDIA Networking構建的高性能、低延遲結構，可以確保工作負載跨互連系統集群擴展，允許多個(gè)實(shí)例充當一個(gè)巨大的GPU，以滿(mǎn)足高級AI訓練的性能要求。

目前，英偉達開(kāi)放的首個(gè)NVIDIA DGX Cloud，是與Oracle Cloud Infrastructure（OCI）合作的云服務(wù)。用戶(hù)可以租用DGX Cloud的月租為36999美元起。

AI工廠(chǎng)，制造智能

除了算力以外，英偉達還想要通過(guò)云服務(wù)，把制造大模型的能力交給更多的用戶(hù)。

黃仁勛帶來(lái)的另一項關(guān)于云的重磅發(fā)布是NVIDIA AI Foundations，旨在為用戶(hù)提供定制化的LLM和生成式AI解決方案。該服務(wù)包括語(yǔ)言模型NEMO、視覺(jué)模型PICASSO和生物學(xué)模型BIONEMO。

其中，NEMO是用于自然語(yǔ)言文本的生成式模型，可以提供80億、430億、5300億參數的模型，且會(huì )定期更新額外的訓練數據，可以幫助企業(yè)為客服、企業(yè)搜索、聊天機器人、市場(chǎng)分析等場(chǎng)景定制生產(chǎn)生成式AI模型。

PICASSO則用于制作視覺(jué)模型，可以用于訓練包括圖像、視頻和3D應用的生成式AI模型。PICASSO可以通過(guò)高文本提示和元數據用DGX Cloud上的模型創(chuàng )造AI模型。目前英偉達已經(jīng)與Shutterstock合作，開(kāi)發(fā)了Edify-3D生成式AI模型。

本次GTC英偉達還著(zhù)重關(guān)注生物制藥領(lǐng)域。BIONEMO是專(zhuān)門(mén)為用戶(hù)提供創(chuàng )建、微調、提供自定義模型的平臺，包括AlphaFold、ESMFold、OpenFold等蛋白質(zhì)預測模型。生物圈的熱門(mén)方向是利用生成式AI發(fā)現疾病靶因、設計新分子或蛋白類(lèi)藥物等。

此外，英偉達還與Adobe合作，將生成式AI融入營(yíng)銷(xiāo)人員和創(chuàng )意人士的日常工作流，并開(kāi)展了對于藝術(shù)家版權保護的工作。

寫(xiě)在最后

有人將GPU在深度學(xué)習方面的成功比作是中了技術(shù)的彩票，但黃仁勛并不這么認為。他曾多次表示自己在10年前就已經(jīng)看到了AI行業(yè)的發(fā)展潛力，以及GPU對AI的決定性作用。英偉達正是看好這點(diǎn)，才孤注一擲地投入力量開(kāi)發(fā)更適合AI的GPU產(chǎn)品。

OpenAI在2018年推出的GPT-1，只有1.2億參數量，而最后一個(gè)公布了參數量的GPT-3則有1750億，雖然有一些專(zhuān)家認為ChatGPT和GPT-4的參數量有可能更小，但業(yè)界多數的聲音認為，更強大的模型就以為這更大的參數規模，且要消耗更多的算力。

OpenAI已公布的信息顯示，在訓練上一代的GPT-3時(shí)，使用了數千個(gè)NVIDIA V100 GPU。

調研機構TrendForce在一份報告中提到，GPT-3訓練時(shí)大概用到了20000個(gè)NVIDIA A100 GPU左右的算力，而ChatGPT商業(yè)化后所需的GPU數量將達到30000個(gè)以上。

某AI芯片專(zhuān)家告訴虎嗅，目前OpenAI公布的技術(shù)細節不多，前期的訓練又都是在英偉達的顯卡上做的?！斑@給了英偉達更多針對Transformer的GPU實(shí)驗數據，從一定程度上造成了英偉達對ChatGPT和GPT-4的技術(shù)壟斷，從市場(chǎng)競爭的角度說(shuō)來(lái)說(shuō)，對其他AI芯片很不利?！?/p>

事實(shí)上，谷歌此前曾推出過(guò)針對TenserFlow的TPU產(chǎn)品，然而，英偉達此次發(fā)布的GPU推理平臺針對時(shí)下火熱的GPT大模型，進(jìn)行了Transformer架構優(yōu)化，則似乎又領(lǐng)先了谷歌一步。