發(fā)展國產(chǎn)大模型，不能只堆算力

隨著(zhù)大模型概念火熱，算力成為各行各業(yè)關(guān)注的熱門(mén)話(huà)題。英偉達顯卡被搶爆，媒體關(guān)注「大模型時(shí)代到來(lái)，算力夠不夠」，行業(yè)想要解決 AIGC 時(shí)代的算力瓶頸問(wèn)題。然而，發(fā)展大模型，是否解決算力問(wèn)題就夠了？

算力是大模型的底座

大模型是在智能算力驅動(dòng)下最為典型的重大創(chuàng )新。得益于模型泛化能力強、長(cháng)尾數據的低依賴(lài)性、以及下游模型使用效率的提升，大模型被認為具備了「通用智能」的雛形，并成為業(yè)內探索實(shí)現普惠人工智能的重要途徑之一。從算力的視角看，語(yǔ)言類(lèi)、視覺(jué)類(lèi)模型容量和相應的算力需求都在快速擴大，大模型發(fā)展的背后是龐大的算力支撐。作為算法的結晶，需要處理大量的數據。人工智能背后需要大量的硬件支撐，已經(jīng)成了新時(shí)代的「重工業(yè)」產(chǎn)品。

算力決定了數據處理能力的強弱。算力芯片是算力的具體載體，高算力芯片能夠提供超算算力、通用算力、智能算力和邊緣算力。搭載率最高的 GPU 芯片多用于圖形圖像處理、復雜的數學(xué)計算等場(chǎng)景，可較好支持高度并行的工作負載，經(jīng)常用于數據中心的模型訓練，或用于邊緣側和端側的推理工作負載。

服務(wù)器是算力的基礎設施之一。服務(wù)器的邏輯架構和普通計算機類(lèi)似，但是由于需要提供高性能計算，因此在處理能力、穩定性、可靠性、安全性、可擴展性、可管理性等方面要求較高。人工智能服務(wù)器由于具備圖形渲染和海量數據的并行運算等優(yōu)勢，能夠快速準確地處理大量數據，市場(chǎng)價(jià)值逐漸凸顯。

隨著(zhù)數據應用的搭載率較低的 NPU 芯片，設計邏輯則更為簡(jiǎn)單，常用于邊側和端側的模型推理，并生成結果，在處理推理工作負載時(shí)，具有顯著(zhù)的能耗節約優(yōu)勢。根據 IDC 統計，2021 年中國仍以 GPU 為主實(shí)現數據中心計算加速，市場(chǎng)占有率近 90%，ASIC、FPGA、NPU 等非 GPU 芯片市場(chǎng)占有率超過(guò) 10%。據 IDC 預計，到 2025 年人工智能芯片市場(chǎng)規?；驅⑦_ 726 億美元。

IDC 數據顯示，2021 年全球人工智能服務(wù)器市場(chǎng)的同比增速超過(guò)全球整體人工智能市場(chǎng)的增速，是整體人工智能市場(chǎng)增長(cháng)的推動(dòng)力。IDC 發(fā)布的《全球人工智能市場(chǎng)半年度追蹤報告》顯示，2021 年全球人工智能服務(wù)器市場(chǎng)規模達 156.3 億美元，約合人民幣 1,045 億元，這是全球年度人工智能服務(wù)器市場(chǎng)首次突破千億元人民幣，同比 2020 年增速達 39.1%。

這樣的背景下，國內算力芯片公司「快馬揚鞭」。例如，龍芯中科計劃明年下半年將完成兼顧顯卡和算力加速功能的專(zhuān)用芯片流片；龍芯 GPU 的定位主要是為了與 CPU 形成自我配套，形成系統優(yōu)勢，降低系統成本。

國產(chǎn)存力需要重視

數據存力指的是以存儲容量為核心，包含性能表現、安全可靠、綠色低碳在內的綜合能力。

在國家數字經(jīng)濟大戰略下，數據作為生產(chǎn)要素，已成為重要的資產(chǎn)。隨著(zhù)海量數據呈指數級增長(cháng)，數據流動(dòng)加速，存儲作為承載數據的關(guān)鍵設施，其重要性更加凸顯。作為數據大國，數據存儲產(chǎn)業(yè)就需要跟上。大模型正在帶動(dòng)各地建設 AI 算力中心，但是產(chǎn)業(yè)主要關(guān)心的都是運算力。倪光南院士認為算力中心的計算能力由三個(gè)因素決定：存力、算力、運力。倪光南院士認為，用廣義算力去定義一個(gè)算力中心，才更準確。如果去計算存算比的話(huà)，美國的算力中心存算比為 1.11TB/GFlops，中國約為美國的 37.8%。

我國數據存力發(fā)展總體水平與發(fā)達國家相比仍有一定差距。據羅蘭公司測算，美國單位 GDP 存儲容量高于我國，我國存儲在經(jīng)濟發(fā)展中的支撐作用有待加強。據中國信通院統計，2021 年我國存儲總量容量已達 800EB，出貨量年均增長(cháng)速度已達 50%?！　?/p>

為了發(fā)展國產(chǎn)算力，在技術(shù)方面，需要加快部署下一代存儲技術(shù)，推動(dòng)存儲核心技術(shù)底層研發(fā)和技術(shù)攻關(guān)，提升存儲介質(zhì)、安全設計、數據防護等關(guān)鍵技術(shù)水平，打造全球存儲的創(chuàng )新高地。存儲領(lǐng)域正在發(fā)生一場(chǎng)新的技術(shù)變革，即基于半導體技術(shù)的新型產(chǎn)品替代基于機械技術(shù)的傳統產(chǎn)品，這一個(gè)正在加速進(jìn)行的客觀(guān)趨勢。SSD 可以實(shí)現用先進(jìn)的壓縮算法，把數據更好地壓縮，可以去重，可以更好的加密解密，用新的文件系統等等。

在標準方面，應盡快研究建立存儲的行業(yè)規范和標準，完善數據存儲效率、數據保護、數據災備、綠色低碳等數據存力關(guān)鍵標準體系。存儲相關(guān)企業(yè)及研究機構進(jìn)行標準和評估體系研究，鼓勵行業(yè)龍頭企業(yè)通過(guò)硬件開(kāi)放、軟件開(kāi)源、使能生態(tài)伙伴等策略，給予合作伙伴尤其是創(chuàng )新型小微企業(yè)充分的發(fā)展空間，共同摸索形成存儲行業(yè)標準；另一方面，推進(jìn)數據存儲產(chǎn)業(yè)國際交流與合作，加強與國際標準組織的合作，加速我國技術(shù)標準的國際化進(jìn)程，積極參與數據存儲國際規則和技術(shù)標準制定?！?/p>

在人才培養方面，存力市場(chǎng)有必要進(jìn)一步完善數據產(chǎn)業(yè)人才培養機制，建立多層次、多元化的人才培養系統，鼓勵培養專(zhuān)業(yè)理論與行業(yè)知識兼備的復合型人才，鼓勵地方政府引導企業(yè)完善人才激勵機制，引進(jìn)和留住高端存儲專(zhuān)業(yè)人才，優(yōu)化人才的地域和行業(yè)布局。存力產(chǎn)業(yè)，包括數據存儲，數據管理技術(shù)。目前國內對存儲的概念還停留在一個(gè)小的部件，沒(méi)有把它上升到一個(gè)產(chǎn)業(yè)的高度。

有強大先進(jìn)的數據存儲產(chǎn)業(yè)作為支撐，才能有發(fā)展算力主動(dòng)權。

國產(chǎn)運力，沉默的搬運工

如果說(shuō)存力已經(jīng)開(kāi)始逐漸受到重視，那么國產(chǎn)運力相對來(lái)說(shuō)可能還是一個(gè)「小透明」。但對于大模型訓練來(lái)說(shuō)，「運力」已經(jīng)成為關(guān)鍵因素。英特爾公司高級副總裁兼網(wǎng)絡(luò )與邊緣事業(yè)部總經(jīng)理 Sachin Katti 表示，在云端訓練大模型，單個(gè)服務(wù)器已無(wú)法承載，對網(wǎng)絡(luò )需求的高要求前所未有，「我們訓練一個(gè)大模型就需要 5 萬(wàn)-20 萬(wàn)臺服務(wù)器，需要通過(guò)網(wǎng)絡(luò )來(lái)把這些服務(wù)器連接起來(lái)然后進(jìn)行訓練，這個(gè)量是非常大的?！?/p>

數字世界的運力，指的是數據傳輸流轉的能力，由帶寬、時(shí)延、安全可靠等要素組成。面對強勁的算力需求，英偉達推出了云算力平臺，企業(yè)可以租用算力，谷歌、微軟 AZURE 等云算力平臺會(huì )為其提供算力支持。而與租用的服務(wù)器的鏈接也會(huì )成為影響企業(yè)模型訓練的因素。

各類(lèi)智能化應用的普及，導致大量視頻數據、科研數據需要流動(dòng)、調度、分析處理，帶來(lái)的網(wǎng)絡(luò )壓力和運力負擔也越來(lái)越大。

中國移動(dòng)通信研究院發(fā)布的《面向 AI 大模型的智算中心網(wǎng)絡(luò )演進(jìn)白皮書(shū)》測算，以 1750 億參數規模的 GPT-3 模型訓練為例，從理論估算模型分析，當動(dòng)態(tài)時(shí)延從 10us 提升至 1000us 時(shí)，GPU 有效計算時(shí)間占比將降低接近 10％；當網(wǎng)絡(luò )丟包率為千分之一時(shí)，GPU 有效計算時(shí)間占比將下降 13％；當網(wǎng)絡(luò )丟包率達到 1％時(shí)，GPU 有效計算時(shí)間占比將低于 5％?！溉绾谓档陀嬎阃ㄐ艜r(shí)延、提升網(wǎng)絡(luò )吞吐是 AI 大模型智算中心能夠充分釋放算力的核心問(wèn)題?！?/p>

對于大模型來(lái)說(shuō)，在訓練大模型時(shí)，模型參數存儲于加速器（如 GPU 顯卡）的片外緩存中，隨著(zhù)訓練進(jìn)程對模型參數進(jìn)行不斷更新迭代。在訓練過(guò)程中，不同加速器之間需要進(jìn)行頻繁且大量的數據交換，在數據交換完成之后，才能夠去算下一步的訓練結果。從這個(gè)角度來(lái)說(shuō)，好「運」，才能好「算」。在這一點(diǎn)上，英特爾除了提供 CPU、獨立顯卡等芯片，滿(mǎn)足人工智能模型訓練、推理對算力的要求外，也提供了針對網(wǎng)絡(luò )的 IPU（Infrastructure Processing Unit）產(chǎn)品。

從這一角度來(lái)看，在 AI 芯片賽道已經(jīng)有巨頭把控且新玩家層出不窮的情況下，布局運力系統或許是另一片藍海。更重要的是，從宏觀(guān)角度來(lái)看，運力是將算力和存力高效傳輸給終端用戶(hù)，它在基礎設施中起到非常重要的作用。以被熟知的「東數西算」工程為例，它還包含西數西算、南數南算、東數西存等，而實(shí)現這些規劃的前提是要有強有力的運力做支撐。運力網(wǎng)絡(luò )要讓用戶(hù)在調用成百上千公里以外的計算資源時(shí)的體驗與調用隔壁工作站的資源沒(méi)什么區別。對于一個(gè)城市的大數據中心，就需要實(shí)現城市乃至國家層面綜合調度的能力。

在「三力」基礎上打造智慧管控能力，實(shí)現高效調度，才有希望實(shí)現算力一體化服務(wù)。不久前，成都最新發(fā)布政策，指出將圍繞「算力」「存力」「運力」等關(guān)鍵領(lǐng)域，大力發(fā)展芯片、服務(wù)器整機、液冷設備等高端硬件。顯然，行業(yè)已經(jīng)意識到，對于發(fā)展大模型，全面發(fā)展不能僅堆算力芯片。