算力大升級 英特爾至強可擴展處理器持續技術(shù)創(chuàng )新

過(guò)去半年中,隨著(zhù)大模型產(chǎn)品的爆發(fā),AI帶來(lái)的變革已經(jīng)逐漸凸顯。算力承載著(zhù)AI的研究和應用,其格局變化尤為明顯。

2023年,生成式AI研究和應用的爆發(fā)給云計算產(chǎn)業(yè)帶來(lái)了全新的機遇和挑戰:大模型需要龐大的算力支持,用戶(hù)普遍需要向云計算廠(chǎng)商購買(mǎi)算力服務(wù);且由于大量用戶(hù)涌入云服務(wù)市場(chǎng),云廠(chǎng)商需要盡快升級數據中心算力以應對AI需求,同時(shí)持續降低TCO,為用戶(hù)提供價(jià)格合理的算力資源;此外,AI應用開(kāi)發(fā)還涉及大量隱私敏感數據的云端存儲和使用,云廠(chǎng)商也要全力保障這些數據的安全可靠,打消用戶(hù)后顧之憂(yōu)。

基于上述需求,云廠(chǎng)商迫切需要對已有硬件基礎設施進(jìn)行更新?lián)Q代,要求新一代CPU能在保障基礎設施平穩升級迭代的同時(shí),具備更強的性能、更低的TCO,同時(shí)能夠滿(mǎn)足云端多樣化工作負載需求的較強AI能力:

對于大型云服務(wù)基礎設施而言,穩定性、可靠性依然是王道,因此云服務(wù)廠(chǎng)商升級硬件時(shí)決策更加謹慎,偏向于在有著(zhù)長(cháng)期延續性的主流平臺上逐漸迭代,保護上層軟件應用投資,減小對基礎設施開(kāi)發(fā)運維部門(mén)的沖擊。大模型在云端訓練、推理的過(guò)程需要用戶(hù)將大量數據傳輸至云端,云廠(chǎng)商需要采取更強的安全措施,如硬件級的安全引擎來(lái)更好地保障敏感數據的安全,確保云實(shí)例間的數據隔離,預防惡意入侵和泄漏。AI應用涉及密集的低精度矩陣運算,需要較大的內存空間。對于大模型推理應用和中小尺度(參數規模低于20B)模型的訓練應用而言,其在搭載AI加速器的CPU上運行可以獲得非常好的能耗比與性?xún)r(jià)比,還能夠以極具優(yōu)勢的TCO滿(mǎn)足云廠(chǎng)商大多數AI服務(wù)的需求。同時(shí)CPU的通用計算能力也可以為云廠(chǎng)商提供充足的靈活性,有效保護基礎設施投資。

面對上述需求,英特爾作為服務(wù)器CPU領(lǐng)域的技術(shù)領(lǐng)導者,繼年初發(fā)布第四代至強? 可擴展處理器之后,加快了產(chǎn)品更新節奏,于上周發(fā)布了第五代至強? 可擴展處理器,其可與上一代處理器兼容,提供硬件級安全和可信服務(wù),并通過(guò)豐富的AI產(chǎn)品組合駕馭整個(gè)AI管線(xiàn),從而進(jìn)一步壯大了應對人工智能時(shí)代的產(chǎn)品組合。

技術(shù)創(chuàng )新解決三大維度需求,CPU 繼續扮演 AI 時(shí)代基礎設施關(guān)鍵角色

相比上一代產(chǎn)品,第五代至強? 可擴展處理器的核心數量增加至64個(gè),擁有更高的單核性能和內存帶寬,三級緩存容量提升近3倍。其每個(gè)內核都具備AI加速功能,內置的英特爾? AVX-512及英特爾? AMX,能使機器學(xué)習、深度學(xué)習和大模型應用的性能大幅提升。第五代至強? 可擴展處理器還能通過(guò)英特爾? SGX/TDX為使用中的云端數據提供端到端硬件級防護能力。與上一代至強? 可擴展處理器相比,五代至強? 在相同功耗下的平均性能提升了21%,而AI推理和訓練性能的提升更是高達42%和29%。

一系列技術(shù)創(chuàng )新,使第五代至強? 可擴展處理器成為AI時(shí)代云廠(chǎng)商的基礎設施關(guān)鍵角色。目前,已經(jīng)有多家客戶(hù)在實(shí)際業(yè)務(wù)中部署了第五代至強? 可擴展處理器,在實(shí)踐中證明了它為用戶(hù)帶來(lái)的巨大收益提升。其優(yōu)異的表現得到了客戶(hù)的很高評價(jià),也讓更多準備升級云計算基礎設施的企業(yè)對新一代至強? 有了更高的期待。

英特爾 AMX提升大模型推理性能,助力京東升級營(yíng)銷(xiāo)購物體驗

2023 年京東云突破性地在數百個(gè)AI場(chǎng)景中應用了大模型,在數百個(gè)營(yíng)銷(xiāo)場(chǎng)景中升級了原有工作流,顯著(zhù)提升了商家與消費者的購物體驗。

基于自研的言犀AI與大模型,京東云通過(guò)AIGC管道生成了30%的大促物料,京小智數字人、領(lǐng)航者營(yíng)銷(xiāo)平臺也在大模型支持下獲得了高達87%的商品推薦采納率,消費者應答準確率提升30%。

京東大模型第一次亮相就收獲完美成績(jì),很大程度上要歸功于其部署的基于第五代英特爾? 至強? 可擴展處理器的新一代自研服務(wù)器,與上一代自研服務(wù)器相比整機性能提升23%,關(guān)鍵的AI CV推理性能與 Llama v2大模型推理性能更是分別提升38%與51%。

取得如此顯著(zhù)的AI推理能力進(jìn)步,秘訣在于第五代至強? 可擴展處理器搭載的英特爾? AMX加速引擎。其可以將INT8低精度矩陣運算速度提升一個(gè)數量級,再結合第五代至強? 可擴展處理器更高的內存帶寬與更強的多核心互聯(lián)能力,使AI推理性能相較上一代顯著(zhù)提升。在11.11大促中,第五代至強? 可擴展處理器和英特爾? AMX的組合在京東云承載的 AI 推理應用服務(wù)中大展身手,助力用戶(hù)訪(fǎng)問(wèn)峰值同比提升170%,智能客服咨詢(xún)服務(wù)量超14億次,且并未增加能耗,也將京東云基礎設施的運維成本維護在之前的水平內。

英特爾? TDX賦能可信計算環(huán)境,為阿里云客戶(hù)構筑端到端數據安全城墻

對于云計算廠(chǎng)商而言,要讓更多行業(yè)和組織信任云服務(wù),就必須提供有足夠說(shuō)服力的安全隱私保障,所以云廠(chǎng)商迫切需要更高水準的硬件級安全城墻。

對于云環(huán)境中使用狀態(tài)中的數據,機密計算是實(shí)現其有效保護的良策,其為客戶(hù)敏感數據提供了基于硬件設備的可信執行環(huán)境(Trusted Execution Environment, TEE),通過(guò)隔離保護的方式來(lái)防止未經(jīng)授權的入侵者訪(fǎng)問(wèn)或修改處理中的數據。作為機密計算技術(shù)的重要引領(lǐng)者,英特爾? 軟件防護擴展(英特爾? SGX)技術(shù)提供了應用層面的隔離能力;而在和阿里云的合作中,則由英特爾? TDX技術(shù)與阿里云新實(shí)例搭載的可信平臺模塊(TPM)相配合,結合阿里云自研的加密計算隔離環(huán)境enclave,為阿里云第八代企業(yè)級ECS實(shí)例g8i構建了一個(gè)基于虛擬化的硬件可信環(huán)境,即為整個(gè)虛擬化實(shí)例(包括虛擬機、容器)都構建出可信的邊界,由此為客戶(hù)提供了可信邊界更大、更易部署的安全云環(huán)境。

英特爾? TDX使TEE環(huán)境的可信邊界獲得了有效擴展,從而讓IaaS、PaaS等環(huán)境中的云工作負載都能整體納入機密計算的數據保護之下,能夠有效抵御惡意威脅,加強云端數據隔離。

阿里云自研的千問(wèn)大模型就得到了英特爾? TDX的充分保護,實(shí)現模型數據端到端加密保護。英特爾? TDX技術(shù)為AI大模型這樣需要向云端傳輸大量數據的應用場(chǎng)景鑄就了足夠牢固的安全保障,也為生成式AI應用廣泛普及鋪平了信任道路。此外,在引入第五代至強? 可擴展處理器之后,第八代企業(yè)級ECS實(shí)例在計算、網(wǎng)絡(luò )、存儲、安全等工作負載中的都得到了顯著(zhù)提升,在數據庫、硬件加解密、AI應用、音視頻等場(chǎng)景性能提升15%~25%不等。更重要的是,八代實(shí)例保持價(jià)格不變,使阿里云g8i實(shí)例可以用更小的性能開(kāi)銷(xiāo)保障用戶(hù)的數據高度安全性。

第五代至強? 可擴展至強算力大升級,支持火山引擎實(shí)現降本增效目標

火山引擎的大規模云原生基礎設施包含超過(guò)一百萬(wàn)臺服務(wù)器、上千萬(wàn)容器實(shí)例,管理數十EB級別存儲資源,需要應對10 億+級QPS緩存峰值、10+TB/s的讀寫(xiě)峰值帶寬,支持數億日活的應用訪(fǎng)問(wèn)。

為了應對如此復雜的需求,火山引擎一直都選擇和信賴(lài)英特爾? 至強? 解決方案,并率先引入第五代至強? 可擴展處理器,助其第三代彈性計算實(shí)例加碼全新升級。

與基于第四代至強? 的彈性計算實(shí)例相比,第五代至強? 可擴展處理器助力火山引擎釋放了巨大算力和性能紅利,其彈性計算實(shí)例整機算力提升39%,內存帶寬提升17%,并在A(yíng)I、視頻處理性能、Java應用性能等方面均有40%左右的性能提升?；鹕揭嬗媱澩瞥鍪褂糜⑻貭栐布铀偌夹g(shù)的能力升級,以Nginx為例,使用英特爾? QAT進(jìn)行數據壓縮和證書(shū)驗證操作的吞吐量最高可提升5倍;在RocksDB中,使用英特爾? IAA進(jìn)行數據壓縮讀寫(xiě)的吞吐量最高可提升1.9倍。提升如此巨大的算力進(jìn)化幅度,使火山引擎能夠使用相同的實(shí)例數量應對更多業(yè)務(wù)需求。

如今,火山引擎正在構建百萬(wàn)核心級別彈性資源池,為業(yè)務(wù)的流量增長(cháng)、體驗創(chuàng )新與安全性增強提供海量算力保障。

第五代至強? 可擴展處理器提供澎湃的算力的同時(shí),還與上一代處理器兼容,共享架構與平臺,大大減少測試和驗證工作,其更高的性能、更好的安全性、更高的成本效益,已經(jīng)在頭部云服務(wù)提供商中得到全面驗證。

軟硬結合,打通AI創(chuàng )新底層瓶頸

除硬件方面的諸多創(chuàng )新,第五代至強? 可擴展處理器在軟件層面也搭建了良好的生態(tài)環(huán)境。例如,英特爾已經(jīng)在Pytorch、Tensorflow和OpenVINO? 工具套件等行業(yè)標準框架中提供了針對第五代至強? 可擴展處理器的優(yōu)化,使得云廠(chǎng)商和用戶(hù)能夠以較低的門(mén)檻,快速利用如英特爾? AMX等處理器功能,打通AI應用的算力瓶頸。英特爾? Trust Authority鑒證服務(wù)則能充分驗證TEE的有效性,發(fā)揮英特爾? SGX/TDX技術(shù)的優(yōu)勢。

如果說(shuō)數據中心是一臺巨型計算機,那么CPU就是它的超級大腦,第五代英特爾? 至強? 可擴展處理器將一如既往地扮演核心角色。它與網(wǎng)絡(luò )、GPU、軟件技術(shù)棧等其他英特爾創(chuàng )新技術(shù)一起共同構筑了上層AI應用的根基。而這樣的根基雖然能力強大,但并不需要用戶(hù)為此投入大量精力學(xué)習或增加運維投入。由此,企業(yè)就能將主要精力投入在業(yè)務(wù)創(chuàng )新中,并在 AI 浪潮中緊緊把握住市場(chǎng)機遇,開(kāi)啟新的增長(cháng)路徑。