收入占比超50%,全閃存時(shí)代到底還有多遠?
2023年8月30日--Gartner最新數據顯示,2023年第一季度全球外部存儲市場(chǎng)同比增長(cháng)0.5%;其中,全閃存陣列同比增長(cháng)3.6%,市場(chǎng)規模超過(guò)非全閃存陣列,占整個(gè)外部存儲市場(chǎng)收入的50.4%。
這標志著(zhù)數據存儲市場(chǎng)的拐點(diǎn)已來(lái)臨。過(guò)去幾年,全球經(jīng)濟和市場(chǎng)經(jīng)歷了大的動(dòng)蕩與變化,全閃存存儲依然能穿越周期和保持增長(cháng),實(shí)屬難能可貴。
與此同時(shí),隨著(zhù)千行百業(yè)的數字化轉型步入深水區,數據已然成為數字化時(shí)代的核心生產(chǎn)要素、戰略資源以及價(jià)值創(chuàng )造的基礎,大數據、機器學(xué)習、大模型等新應用的蓬勃發(fā)展,既帶來(lái)PB級容量、千萬(wàn)IOPS、智能化管理等全新的數據存儲需求,也加速驅動(dòng)著(zhù)一個(gè)全閃存時(shí)代的到來(lái)。
全閃存為何能當道
很長(cháng)一段時(shí)間內,外部存儲系統領(lǐng)域一直都是傳統機械硬盤(pán)唱主角,直到2008年閃存才正式在高端存儲系統中得到應用。2010年左右,Violin Memory、PureStorage、XtremIO等大批全閃存陣列初創(chuàng )公司的出現,標志著(zhù)全閃存系統浪潮的興起。
從傳統機械硬盤(pán)到閃存,不僅僅是介質(zhì)的一次升級,更意味著(zhù)數據中心基礎設施的一次重構。眾所周知,傳統機械硬盤(pán)近年來(lái)陷入技術(shù)瓶頸,在容量密度、性能等方面增長(cháng)緩慢,使得基于機械硬盤(pán)的傳統存儲系統愈發(fā)難以滿(mǎn)足各種應用的數據存儲需求;相反,基于閃存的全閃存儲具備高密度、高可靠、高性能、低延遲、低能耗等特征,逐漸成為數據中心基礎設施的主力軍。
歸根結底,用戶(hù)在數據存儲需求層面發(fā)生的根本性變化,是推動(dòng)全閃存儲逐漸獲得用戶(hù)青睞的一大動(dòng)因,也使得全閃存在數據中心等基礎設施領(lǐng)域徹底打開(kāi)市場(chǎng)局面:
其一、全閃存適用的應用場(chǎng)景正呈現出多點(diǎn)開(kāi)花的局面。過(guò)去,人們普遍認為全閃存只適合那些要求百萬(wàn)IOPS和毫秒延遲的數據庫等核心業(yè)務(wù)場(chǎng)景;事實(shí)上,當前全閃存所承載的業(yè)務(wù)場(chǎng)景遠比過(guò)去豐富,除了數據庫、ERP、虛擬化等傳統業(yè)務(wù)應用之外,像自動(dòng)駕駛、大模型、大數據分析、分布式數據庫等新興應用均是首選全閃存。
例如,在各種大促場(chǎng)景中,很多金融機構用戶(hù)會(huì )利用全閃存來(lái)應對短時(shí)間內的流量高峰;在智慧醫療場(chǎng)景,醫院會(huì )通過(guò)全閃存來(lái)支撐起多臺醫療設備對于PACS系統同時(shí)連續寫(xiě)入,為各種人群提供良好的體驗;在大模型訓練場(chǎng)景,頻繁從數據集讀取Token非常容易形成實(shí)時(shí)高并發(fā)的海量小IO,需要全閃存的大帶寬、高IOPS來(lái)匹配業(yè)務(wù)需求……
其二、應用場(chǎng)景對于數據實(shí)時(shí)性的需求正變得極度渴望,也讓全閃存如魚(yú)得水。眾所周知,"天下武功唯快不破",在數據成為價(jià)值創(chuàng )新基礎的今天,企業(yè)對于業(yè)務(wù)決策、產(chǎn)品研發(fā)、用戶(hù)體驗優(yōu)化等也是"快"字當頭,直接驅動(dòng)著(zhù)對于數據存儲性能的需求。
以當前已在智能客服、生物識別、互聯(lián)網(wǎng)金融、精準營(yíng)銷(xiāo)等場(chǎng)景中廣泛落地的AIGC為例,其在金融虛擬客服應用場(chǎng)景中,往往模型參數達到千億級,原始數據高達PB級,具有持續的低延時(shí)和高帶寬等業(yè)務(wù)特性,全閃存在大模型訓練和推理場(chǎng)景中發(fā)揮著(zhù)關(guān)鍵作用,AIGC領(lǐng)域的用戶(hù)們幾乎清一色選擇全閃存。
其三、數據中心近年來(lái)設備數量大幅增加,無(wú)形中增加了數據中心運維管理的成本與復雜性,并對于基礎設施的可靠性帶來(lái)了更多風(fēng)險,而在同等性能與容量的情況下,全閃存無(wú)疑能夠帶來(lái)更有效且精簡(jiǎn)的基礎設施,并且具備比傳統存儲設備更高的可靠性。
其四、隨著(zhù)雙碳目標的提出,越來(lái)越多企業(yè)有著(zhù)節能降耗的壓力。在相同容量、相同性能的情況下,全閃存存儲的設備數量、能耗和空間要遠低于基于機械硬盤(pán)的存儲系統。相關(guān)數據預測,到2025年,數據中心能耗將占全球總能耗4.5%,這其中數據存儲又是數據中心的能耗大戶(hù),采用全閃存來(lái)降低能耗已經(jīng)成為越來(lái)越多用戶(hù)的選擇。
除了用戶(hù)需求層面的驅動(dòng)外,全閃存在閃存介質(zhì)、接口協(xié)議、軟件架構以及應用生態(tài)支持等方面也取得長(cháng)足進(jìn)步和全面蛻變,真正實(shí)現了內外兼修和軟硬兼施,契合數據存儲需求的變化。
技術(shù)生態(tài)迎來(lái)全面蛻變
某種程度而言,數據存儲需求的變化與閃存技術(shù)的發(fā)展就像一場(chǎng)雙向奔赴,彼此獲得價(jià)值實(shí)現的同時(shí),也讓數據中心基礎設施獲得徹底重構。在這場(chǎng)雙向奔赴中,全閃存儲就像一股催化劑,加速了重構的速度與范圍。
具體來(lái)看,閃存性能雖出眾,但成本一直相對較高,這與很多用戶(hù)持續的數據增長(cháng)需求不匹配。為此,閃存介質(zhì)近年來(lái)飛速發(fā)展,在容量和成本上獲得大幅突破。最新QLC SSD容量最高達到驚人的61.44TB,容量增長(cháng)速度遠超傳統機械硬盤(pán);另外,閃存成本也在持續下降,IDC預測SSD每GB價(jià)格預計在2020-2025年以19%的年復合增長(cháng)率下降,預計到2025年會(huì )低于2.5寸10000轉機械硬盤(pán)的價(jià)格。
事實(shí)上,今年以來(lái),多家企業(yè)級存儲廠(chǎng)商均表示會(huì )推出基于QLC SSD的全閃存儲,有望進(jìn)一步推動(dòng)閃存成本的下降。
除了閃存價(jià)值之外,全閃存儲也推動(dòng)數據中心接口與網(wǎng)絡(luò )協(xié)議獲得了脫胎換骨般的變化。眾所周知,傳統SATA/SAS等接口協(xié)議均是在傳統機械硬盤(pán)時(shí)代的產(chǎn)物,無(wú)論是帶寬、延遲等等均無(wú)法與閃存介質(zhì)的高性相匹配。因此,NVMe協(xié)議近年來(lái)獲得迅速發(fā)展,NVMe大幅提升帶寬、可連接性和傳輸性,產(chǎn)業(yè)鏈上下游推動(dòng)NVMe成為數據中心主流協(xié)議,像NVMe Over Fabrics等存儲網(wǎng)絡(luò )也獲得飛速發(fā)展。
在軟件層面,企業(yè)級存儲廠(chǎng)商過(guò)去多年里一直致力于基于閃存的軟件架構和堆棧功能的重塑,逐步實(shí)現了復制、重刪等功能在閃存環(huán)境下的重新設計與持續優(yōu)化;在生態(tài)層面,像操作系統、分布式數據庫等廠(chǎng)商也加大了對于閃存環(huán)境的匹配。
此外,為了最大限度的發(fā)揮閃存性能、容量和成本的優(yōu)勢,有一部分企業(yè)級存儲廠(chǎng)商率先行動(dòng),近年來(lái)全力推動(dòng)閃存全?;夹g(shù)創(chuàng )新策略的落地。其中,浪潮信息就是典型代表。
為實(shí)現閃存極致性能的發(fā)揮,浪潮信息將核心能力深入到存儲部件級,從SSD高速存儲介質(zhì)、存儲軟件到全閃系統進(jìn)行全鏈條的聯(lián)調優(yōu)化。這種閃存全?;膭?chuàng )新策略,讓閃存性能潛力發(fā)揮無(wú)死角,并真正帶來(lái)閃存成本的下降,實(shí)現性能與成本的最優(yōu)。例如,浪潮信息已經(jīng)構建起基于閃存原生的iTurbo 智能加速引擎,加上盤(pán)控協(xié)同、ZNS數據分流等技術(shù)、ROW追加謝、全局垃圾數據回收算法等技術(shù),能夠實(shí)現性能的持續提升以及每GB成本大幅下降。得益于閃存全棧創(chuàng )新策略,浪潮高端全閃HF18000、分布式存儲AS13000等多次在SPC-1性能測試中奪魁。
更加重要的是,用戶(hù)側對于生成式AI的快速普及,人工智能正在成為數據中心基礎設施發(fā)展未來(lái)最大的牽引力,隨著(zhù)GPU等算力部署的深入,以全閃存、混閃為代表的存力重要性日漸上升,從數據容量、帶寬、訪(fǎng)問(wèn)頻率以及成本等多個(gè)因素綜合考量,未來(lái)數據中心在實(shí)踐中需要形成算力、閃存和混閃的1:1:1黃金比例,以滿(mǎn)足人工智能等需求。
生成式AI分為數據歸集、數據準備、數據訓練、數據推理和數據歸檔5個(gè)階段。從業(yè)務(wù)架構來(lái)看,從一開(kāi)始的獲取原始數據到數據清洗、拼接、標記,再到數據并行、在線(xiàn)推理部署到最后的數據遷移歸檔,都對數據存儲提出了不同的要求,例如小文件讀寫(xiě)、大文件逐行寫(xiě)順序寫(xiě)、大文件讀一次加載等。數據歸集和準備階段更多地要求大容量、多協(xié)議共享,數據訓練和推理階段更多是對百萬(wàn)級IOPS、100GB帶寬的要求,數據歸檔階段則需滿(mǎn)足冷數據的遷移、長(cháng)期保存和歸檔。根據需求不同,在生成式AI全階段科學(xué)合理地布局全閃、混閃存儲是關(guān)鍵。例如,從性能角度來(lái)看,英偉達官方建議,一臺GPU算力節點(diǎn)設備的最高要求寫(xiě)帶寬要求20GBps,讀帶寬要求40GBps,而一個(gè)全閃存節點(diǎn)寫(xiě)帶寬是20GBps,讀帶寬在20-50GBps,計算節點(diǎn)與全閃存節點(diǎn)的數量比例接近1:1;另外,從數據容量和訪(fǎng)問(wèn)頻率來(lái)看,一個(gè)模型系統中80%的數據會(huì )由熱變冷,還需要長(cháng)期保存訓練過(guò)程中多個(gè)CheckPoint文件,契合熱數據與溫冷數據容量配置1:10的規律,而一個(gè)全閃存節點(diǎn)容量通常為50-100TB,一個(gè)混閃節點(diǎn)的容量通常為500-1000TB,按照1:1來(lái)配置全閃節點(diǎn)和混閃節點(diǎn),無(wú)疑從數據全生命周期維度保障了人工智能應用各種階段的需求。
因此,像以浪潮信息為代表的全閃存廠(chǎng)商,今年開(kāi)始力推數據中心GPU算力、全閃存、混閃形成1:1:1黃金比例的建設模式,以數據中心用戶(hù)側需求變化為核心目標,加速推動(dòng)全閃存產(chǎn)品與技術(shù)在數據中心中的應用,為未來(lái)的AIGC、大模型等人工智能應用夯實(shí)基礎。
無(wú)疑,近年來(lái)產(chǎn)業(yè)界最大著(zhù)力點(diǎn)就是從數據中心技術(shù)生態(tài)和需求生態(tài)出發(fā),從各種維度推動(dòng)全閃存在數據中心的普及,甚至在全閃存儲中優(yōu)先融入像機器學(xué)習、人工智能、云原生等先進(jìn)技術(shù),讓全閃存儲率先走向智能化管理與運維,進(jìn)一步提升全閃存儲的易用性,從而加速全閃存時(shí)代的到來(lái)。
全閃存市場(chǎng)未來(lái)還得看中國
為什么全閃存市場(chǎng)未來(lái)還得看中國?
當前,全球外部存儲市場(chǎng)近年來(lái)受到各種因素波及,出于較為穩定的狀態(tài),非全閃存儲則出現了持續下滑,全靠全閃存來(lái)支撐整體市場(chǎng)的平穩。IDC預測認為,未來(lái)五年全閃存將以7.5%的年復合增長(cháng)率增長(cháng)??梢耘袛?,未來(lái)全閃存會(huì )繼續加速替代非全閃的步伐,營(yíng)收占比還將持續提升,而市場(chǎng)的核心焦點(diǎn)會(huì )在中國市場(chǎng)。
之所以會(huì )如此,首先是中國全閃存儲的市場(chǎng)潛力不可小覷。相關(guān)數據顯示,歐美成熟市場(chǎng)的全閃存比例已較高,替代非全閃的潛力空間逐漸變小,中國全閃存儲的市場(chǎng)占比當前僅僅只有25%左右,,未來(lái)在金融、政府、電信、制造、交通、醫療、能源等行業(yè)有著(zhù)廣泛的應用前景。
事實(shí)上,隨著(zhù)中國數字經(jīng)濟占比持續提升,產(chǎn)業(yè)數字化提速,數據存儲在未來(lái)依然有著(zhù)巨大的需求。最新《中國數字經(jīng)濟發(fā)展報告(2023)》報告顯示,2022年中國數字經(jīng)濟規模達到50萬(wàn)億元占GDP比重達到41.5%,產(chǎn)業(yè)數字化占到數字經(jīng)濟的產(chǎn)業(yè)上升到81%,隨著(zhù)數字經(jīng)濟與實(shí)體經(jīng)濟的進(jìn)一步融合,未來(lái)必然會(huì )加速全閃存儲在各個(gè)行業(yè)業(yè)務(wù)場(chǎng)景中的應用。
其次,相比于其他競爭對手,中國全閃存儲廠(chǎng)商已是當前市場(chǎng)增長(cháng)的主力軍,浪潮信息等廠(chǎng)商在集中式全閃和分布式全閃燈多個(gè)細分市場(chǎng)增速明顯高于市場(chǎng)平均增速。以浪潮信息為例,Gartner數據顯示,在今年第一季度中,浪潮信息存儲全閃存出貨裝機容量以10.4%的全球市場(chǎng)份額,位列全球前三、中國第一;IDC數據則表明,浪潮信息第一季度銷(xiāo)售額和出貨量位居中國前二,出貨量同比大幅增長(cháng)310%,增長(cháng)速度領(lǐng)跑市場(chǎng)。
第三,中國規模龐大且復雜的業(yè)務(wù)場(chǎng)景更有利于全閃存產(chǎn)品的錘煉與成長(cháng),這兩年中國全閃存儲產(chǎn)品在各種權威測試中的優(yōu)異表現就是一種體現。例如,中國制造業(yè)正在加速升級,在業(yè)務(wù)場(chǎng)景中開(kāi)始大量融入物聯(lián)網(wǎng)、機器視覺(jué)、AI等技術(shù),不僅產(chǎn)生大量的實(shí)時(shí)數據,還需要進(jìn)行敏捷分析,全閃存的性能、容量等優(yōu)勢在場(chǎng)景中發(fā)揮著(zhù)關(guān)鍵作用;在運營(yíng)商領(lǐng)域,運營(yíng)商正加速向云服務(wù)等業(yè)務(wù)轉型,需要一個(gè)高性能、大容量的全新基礎設施作為數字底座,這其中分布式全閃存起到重要的支撐作用;在自動(dòng)駕駛領(lǐng)域,每天需要產(chǎn)生海量數據,并對海量數據進(jìn)行訓練,全閃存支撐起自動(dòng)駕駛從數據處理到訓練的多個(gè)環(huán)節……
正是中國市場(chǎng)這些領(lǐng)先場(chǎng)景的驅動(dòng),讓中國全閃存儲的產(chǎn)品與技術(shù)競爭力得以持續提升。以浪潮信息高端全閃存儲HF18000為例,其已經(jīng)廣泛應用打金融、運營(yíng)商、車(chē)路協(xié)同、自動(dòng)駕駛等多個(gè)業(yè)務(wù)場(chǎng)景之中,為各種關(guān)鍵業(yè)務(wù)提供最為可靠的性能保障。
綜合觀(guān)察,全閃存儲的市場(chǎng)拐點(diǎn)的確已經(jīng)到來(lái),一個(gè)全閃存的時(shí)代離我們越來(lái)越近。在閃存成本不斷下降和閃存相關(guān)技術(shù)不斷取得突破的趨勢下,全閃存儲有望進(jìn)一步在更多業(yè)務(wù)場(chǎng)景中得到應用。面向未來(lái),IDC預測中國企業(yè)級全閃存儲市場(chǎng)未來(lái)依然會(huì )保持著(zhù)9%以上的增長(cháng),中國市場(chǎng)有望引領(lǐng)未來(lái)市場(chǎng)的增長(cháng);而以浪潮信息為代表的中國全閃存儲廠(chǎng)商憑借多年的技術(shù)積累與行業(yè)實(shí)踐,未來(lái)有望在全閃存儲這條賽道中書(shū)寫(xiě)中國奇跡。
*博客內容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權請聯(lián)系工作人員刪除。