微軟自曝花數億美元為OpenAI組裝超算開(kāi)發(fā)ChatGPT 使用數萬(wàn)個(gè)英偉達芯片

3月14日消息，美國當地時(shí)間周一，微軟發(fā)文透露其斥資數億美元幫助OpenAI組裝了一臺AI超級計算機，以幫助開(kāi)發(fā)爆火的聊天機器人ChatGPT。這臺超算使用了數萬(wàn)個(gè)英偉達圖形芯片A100，這使得OpenAI能夠訓練越來(lái)越強大的AI模型。

OpenAI試圖訓練越來(lái)越大的AI模型，這些模型正在吸收更多的數據，學(xué)習越來(lái)越多的參數，這些參數是AI系統通過(guò)訓練和再培訓找出的變量。這意味著(zhù)，OpenAI需要很長(cháng)時(shí)間才能獲得強大的云計算服務(wù)支持。

為應對這一挑戰，當微軟于2019年向OpenAI投資10億美元時(shí)，該公司同意為這家AI研究初創(chuàng )公司組裝一臺巨大的尖端超級計算機。但問(wèn)題在于，微軟沒(méi)有任何OpenAI所需的東西，也不完全確定其能否能在不破壞Azure云服務(wù)的情況下構建如此龐大的設備。

為此，微軟不得不想方設法將英偉達的數萬(wàn)個(gè)A100圖形芯片連接起來(lái)，并改變服務(wù)器在機架上的放置方式以防止斷電。A100圖形芯片是培訓AI模型的主力。微軟負責云計算和AI業(yè)務(wù)的執行副總裁斯科特·格思里（Scott Guthrie）沒(méi)有透露該項目的具體成本，但其暗示可能達數億美元。

微軟Azure AI基礎設施總經(jīng)理尼迪·卡佩爾（Nidhi Cappell）說(shuō)：“我們構建了一個(gè)系統構架，它可以在非常大的范圍內運行且十分可靠，這是ChatGPT成功的重要原因。這只是我們從中得出的一個(gè)模式，還會(huì )有許許多多其他的模型?！?/p>

基于這項技術(shù)，OpenAI發(fā)布了爆火的聊天機器人ChatGPT。在去年11月上線(xiàn)后幾天，它就吸引了100多萬(wàn)用戶(hù)，現在正被納入其他公司的商業(yè)模式。隨著(zhù)企業(yè)和消費者對ChatGPT等生成式人工智能（AIGC）工具的興趣越來(lái)越大，微軟、亞馬遜和谷歌等云服務(wù)提供商將面臨更大的壓力，以確保他們的數據中心能夠提供所需的巨大算力。

與此同時(shí)，微軟現在也開(kāi)始使用它為OpenAI構建的基礎設施來(lái)訓練和運行自己的大型AI模型，包括上個(gè)月推出的新必應搜索聊天機器人。該公司還向其他客戶(hù)銷(xiāo)售該系統。這家軟件巨頭已經(jīng)在研發(fā)下一代AI超級計算機，這是微軟與OpenAI擴大合作的一部分，微軟在交易中增加了100億美元投資。

格思里在接受采訪(fǎng)時(shí)說(shuō)：“我們并沒(méi)有為OpenAI定制任何東西，盡管其最初是定制的，但我們總是以一種泛化的方式構建它，這樣任何想要訓練大型語(yǔ)言模型的人都可以利用同樣的改進(jìn)技術(shù)。這真的幫助我們在更廣泛的范圍內成為更好的AI智能云?！?/p>

訓練規模龐大的AI模型需要在某個(gè)地方有大量相互連接的圖形處理單元，就像微軟組裝的AI超級計算機那樣。一旦模型投入使用，回答用戶(hù)查詢(xún)的所有問(wèn)題（這個(gè)過(guò)程稱(chēng)為推理）需要略有不同的設置。為此，微軟還部署了用于推理的圖形芯片，但這些處理器（成千上萬(wàn)個(gè)）在地理上分散在該公司60多個(gè)數據中心里。微軟表示，現在該公司正在添加用于A(yíng)I工作負載的最新英偉達圖形芯片H100以及最新版Infiniband網(wǎng)絡(luò )技術(shù)，以更快地共享數據。

新的必應仍處于測試階段，微軟正在逐步從申請測試名單中增加更多用戶(hù)。格思里的團隊與大約20多名員工每天都要舉行會(huì )議，他將這些員工稱(chēng)為“pit crew”，原指賽車(chē)中車(chē)隊后勤維護組的技師。這些人的工作是找出如何讓更多的計算能力快速上線(xiàn)，以及解決突然出現的問(wèn)題。

云服務(wù)依賴(lài)于數千個(gè)不同的部件，包括服務(wù)器、管道、建筑物的混凝土、不同的金屬和礦物，而任何一個(gè)組件的延遲或短缺，無(wú)論多么微小，都可能導致整個(gè)項目中斷。最近，“pit crew”團隊不得不幫助解決電纜托盤(pán)短缺的問(wèn)題，這是一種籃狀的裝置，用來(lái)固定從機器上順下來(lái)的電纜。因此，他們設計了一種新的電纜橋架。格思里說(shuō)，他們還致力于研究如何在世界各地的現有數據中心壓榨盡可能多的服務(wù)器，這樣他們就不必等待新的建筑竣工。

當OpenAI或微軟開(kāi)始訓練大型AI模型時(shí)，這項工作需要一次完成。工作被分配給所有的GPU，在某些時(shí)候，這些GPU需要相互交流來(lái)分享他們所做的工作。對于A(yíng)I超級計算機，微軟必須確保處理所有芯片之間通信的網(wǎng)絡(luò )設備能夠處理這種負載，并且它必須開(kāi)發(fā)出最大限度地利用GPU和網(wǎng)絡(luò )設備的軟件。該公司現在已經(jīng)開(kāi)發(fā)出一種軟件，可以用來(lái)訓練數十萬(wàn)億個(gè)參數的AI模型。

因為所有機器都是同時(shí)啟動(dòng)的，微軟不得不考慮安放它們的位置，以及電源該應該放在哪里。否則，數據中心最終可能會(huì )斷電。Azure全球基礎設施總監阿利斯泰爾·斯皮爾斯（Alistair Speirs）說(shuō)，微軟還必須確保能夠冷卻所有這些機器和芯片，該公司在較涼爽的氣候中使用蒸發(fā)；冷卻方式、在較冷的氣候中使用室外空氣，在炎熱的氣候中使用高科技沼澤冷卻器。

格思里說(shuō)，微軟將繼續致力于定制服務(wù)器和芯片設計，以及優(yōu)化供應鏈的方法，以盡可能地提高速度、提高效率和節省成本。他說(shuō)：“現在令世界驚嘆的AI模型是基于我們幾年前開(kāi)始建造的超級計算機構建的，而新模型將使用我們現在正在訓練的新超級計算機。這臺計算機要大得多，可以實(shí)現更復雜的技術(shù)?！?/p>

微軟已經(jīng)在努力使Azure的AI功能更加強大，推出了新的虛擬機，使用英偉達的H100和A100 Tensor Core GPU，以及Quantum-2 InfiniBand網(wǎng)絡(luò )。微軟表示，這將允許OpenAI和其他依賴(lài)Azure的公司訓練更大、更復雜的AI模型。

微軟Azure AI企業(yè)副總裁埃里克·博伊德（Eric Boyd）在一份聲明中說(shuō)：“我們發(fā)現，我們需要構建專(zhuān)門(mén)的集群，專(zhuān)注于支持大量的培訓工作，而OpenAI就是早期的證據之一。我們正與他們密切合作，了解他們在建立訓練環(huán)境時(shí)需要的關(guān)鍵條件，以及他們需要的其他東西?！?/p>