浪潮發(fā)布高性能分布式存儲平臺AS15000G7，加速AI產(chǎn)業(yè)化變革

2023年8月31日-- 當前，AIGC技術(shù)的爆發(fā)，讓產(chǎn)業(yè)智能化和智能產(chǎn)業(yè)化進(jìn)入高速發(fā)展期，數據作為關(guān)鍵生產(chǎn)要素，正在成為這輪全球增長(cháng)和科技創(chuàng )新的引擎。近日，浪潮參加由百易傳媒舉辦的2023全球閃存峰會(huì )，并在會(huì )上重磅發(fā)布高性能分布式存儲平臺AS15000G7，以在性能、管理、融合和效率方面追求極致的智慧存儲新品，構筑智慧世界基石，推進(jìn)AI產(chǎn)業(yè)化變革。

AI大模型對數據存儲產(chǎn)業(yè)帶來(lái)的機遇與挑戰

AIGC是當前通用人工智能產(chǎn)業(yè)發(fā)展創(chuàng )新的核心技術(shù)，其具備強大的認知智能，在搜索引擎、藝術(shù)創(chuàng )作、影音游戲，以及金融、教育、醫療、工業(yè)等領(lǐng)域有著(zhù)廣闊的應用前景。Gartner預測，到2023年將有20%的內容被AIGC所創(chuàng )建；到2025 年人工智能生成數據占比將達到10%。據分析師預測，到2032年，生成式AI市場(chǎng)規模將達到2,000億美元，占據人工智能支出總額的約20%，明顯高出當前的5%。換言之，未來(lái)十年市場(chǎng)規?？赡苊?jì)赡昃蜁?huì )翻一番。

AIGC的爆發(fā)，源自于大模型的逐漸成熟，大模型成熟的先決條件是大規模高質(zhì)量的數據、強大的算力和成熟優(yōu)化的算法，而其中，數據質(zhì)量和數量決定了算法的效果和性能。隨著(zhù)參數量和數據量的極速膨脹，數據存儲與管理正在成為制約AIGC產(chǎn)業(yè)發(fā)展的瓶頸：一是要支撐基于海量多元異構數據的歸集、標注、訓練、推理和歸檔全生命周期管理；二是要承載AIGC數據訓練推理時(shí)的高性能、低延時(shí)、大容量、易擴展、自由流動(dòng)的嚴苛需求。大模型訓練數據多元、數據作業(yè)流程長(cháng)、多態(tài)大模型數據量持續增長(cháng)、多模計算大模型性能要求高，對當前AI數據存儲基礎設施提出了新挑戰：

?數據歸集與準備：大模型的數據包括從互聯(lián)網(wǎng)及數字圖書(shū)館上收集的海量文本型數據，以及多渠道獲取的圖片型和視頻型數據，對這些多元異構海量數據預處理后才能用于大模型訓練，在此作業(yè)流程中數據的搬運和加載，要去存儲系統多協(xié)議互訪(fǎng)互通，存儲成為應用平臺的關(guān)鍵瓶頸；

?數據訓練：大模型海量多元異構數據的訓練，通常采用將數據加載到成百上千個(gè)節點(diǎn)內存中并行計算的方法，此過(guò)程中頻繁地從數據集取Token，每個(gè)Token一般4字節，實(shí)時(shí)高并發(fā)小IO性能需要極低的延遲，對數據存儲系統的吞吐性能提出了嚴苛的要求；

?數據推理：機器學(xué)習大模型要求頻繁的參數調優(yōu)，當服務(wù)器故障、網(wǎng)絡(luò )故障造成節點(diǎn)中斷時(shí)，需要數據存儲提供高帶寬，確保Checkpoint機制可以快速訪(fǎng)問(wèn)數據，使數據能夠重新加載，訓練能夠快速恢復；

?數據歸檔：越多的數據投喂結果越精準的工作原理，決定了大模型訓練存在深度學(xué)習網(wǎng)絡(luò )層數多、連接多、參數和數據集種類(lèi)復雜、數據量大的特征，大模型訓練過(guò)程中快速迭代，產(chǎn)生大量訓練數據和人工標注數據，對這些資產(chǎn)高效存儲與管理，且最大化數據基礎設施投資回報比，成為數據基礎設施廠(chǎng)商必須解決的問(wèn)題。

浪潮高性能分布式存儲平臺AS15000G7

產(chǎn)業(yè)發(fā)展的根本在于科技創(chuàng )新。浪潮作為最早布局AI產(chǎn)業(yè)的企業(yè)之一，圍繞智算中心業(yè)務(wù)布局，打造了算力、算法、數據全棧解決方案。在數據存儲領(lǐng)域，浪潮秉承"存儲即平臺"的產(chǎn)品理念，準確識別客戶(hù)痛點(diǎn)積極布局面向AIGC應用場(chǎng)景的數據全生命周期存儲解決方案，并基于業(yè)界對大模型訓練的數據存儲在性能、管理、融合和效率方面更極致的需求，重磅發(fā)布高性能分布式存儲AS15000G7平臺，助力AIGC在金融、教育、醫療等領(lǐng)域突破海量多元異構數據存力瓶頸，加速釋放數據價(jià)值。

極致性能，加速AI大模型訓練。AS15000G7采用高吞吐并行存儲系統，通過(guò)GDS、RDMA技術(shù)縮短I/O路徑；通過(guò)智能元數據管理，提前緩存用戶(hù)數據和文件系統元數據，顯著(zhù)提升數據訪(fǎng)問(wèn)和檢索速度；獨有的智能網(wǎng)絡(luò )優(yōu)化技術(shù)，可實(shí)現多個(gè)子網(wǎng)與指定目的地通信，每對守護進(jìn)程之間建立多個(gè)TCP連接并通信，顯著(zhù)提升網(wǎng)絡(luò )端口并發(fā)能力，實(shí)現傳輸端口帶寬翻數倍，時(shí)延縮短50%以上，小文件級傳輸的時(shí)延可降至毫秒級。

極致管理，AI訓練全流程透明可控。AS15000G7新品可同時(shí)搭載AIStation調度平臺和InView數據管理平臺，對AI服務(wù)器、網(wǎng)絡(luò )、存儲智能運維。支持訓練推理全流程的多租戶(hù)管理、資源分配、數據管理分析；支持本地和云端的系統性能監控，其中云端監控支持多數據中心統一界面管理，自動(dòng)預警功能可幫助本地運維人員早發(fā)現問(wèn)題早處理， HDD/SSD壽命和故障預測功能在14天內的準確率高于95%，處于業(yè)界領(lǐng)先水平，可幫助客戶(hù)提前做好設備更新迭代規劃，保證數據的可靠性和可用性；同時(shí)支持納管多品牌存儲系統，實(shí)現IT設備高利用率?？偟脕?lái)說(shuō)，一套存儲平臺可以實(shí)現對AIGC數據采集、清洗、訓練、推理、歸檔不同場(chǎng)景全流程的設備資源監控和管理，助力客戶(hù)更加專(zhuān)注于大模型訓練本身。

極致融合，海納多源異構巨量數據。AS15000G7平臺基于其融合架構，支持文本、圖片、音頻、視頻等多種類(lèi)型數據存儲，可對文件、對象、大數據以及視頻的存儲方式進(jìn)行并行訪(fǎng)問(wèn)，支持多協(xié)議實(shí)時(shí)互訪(fǎng)互通和系統扁平擴展。而且數據訪(fǎng)問(wèn)過(guò)程中保持語(yǔ)義一致、性能無(wú)損，從而對AI大模型海量多源異構非結構化數據實(shí)現高效共享。

極致效率，提升用戶(hù)IT設備投資回報比。AS15000G7平臺基于自動(dòng)化的數據分層和遷移，在確保對應用安全透明的前提下，可實(shí)現熱溫冷冰數據全生命周期的管理，通過(guò)基于閃存、磁盤(pán)、磁帶、光盤(pán)的性能型、均衡型、容量型三種機型的按需靈活配置，存儲TB級數據成本可降低超50%，TCO降低35%。

"當前，各個(gè)廠(chǎng)商紛紛投資IT基礎設施，訓練自己的大模型，國內已發(fā)布的AI模型超過(guò)了100個(gè)，'百模爭秀'的格局初現，云廠(chǎng)商和運營(yíng)商對IT硬件的投資往往是數千甚至上萬(wàn)節點(diǎn)規模，而行業(yè)型大廠(chǎng)投資在幾百節點(diǎn)規模，在建設布局時(shí)考慮到AI大模型對高性能AI服務(wù)器、高吞吐并行存儲系統、低延遲RDMA網(wǎng)絡(luò )的嚴苛需求，將數據中心的計算、全閃存儲、混閃存儲按照1:1:1黃金比例建設，用戶(hù)可最大化獲得投資回報比。"浪潮信息存儲產(chǎn)品線(xiàn)副總經(jīng)理劉希猛表示。

得益于前瞻布局和技術(shù)創(chuàng )新，浪潮高性能分布式存儲AS15000G7平臺，已在"源"大模型中部署，并在智能客服、生物識別、互聯(lián)網(wǎng)金融、精準營(yíng)銷(xiāo)等云數智新場(chǎng)景廣泛應用。面對生成式AI掀起的變革浪潮，浪潮將秉承"存儲即平臺"的產(chǎn)品理念，不斷精耕數據存儲產(chǎn)品和解決方案，以極致性能、極致管理、極致融合、極致效率的數據存儲基礎設施，讓數據存力像水電一樣賦能千行百業(yè)，服務(wù)大眾，成為人人可見(jiàn)、普適易用、高效互聯(lián)的基礎設施，革命性地提升人類(lèi)生產(chǎn)生活水平。