英特爾至強處理器助力Aible加速生成式AI工作負載

近日，英特爾與端到端Serverless（無(wú)服務(wù)器）生成式AI和增強型分析方案提供商Aible合作，為企業(yè)客戶(hù)提供了創(chuàng )新的解決方案，助力其在不同代際的英特爾?至強? CPU上運行生成式AI與檢索增強生成（RAG）用例。此次合作包含了工程優(yōu)化和基準測試項目，顯著(zhù)增強了Aible以低成本為企業(yè)客戶(hù)提供生成式AI結果的能力，并幫助開(kāi)發(fā)人員在應用中部署AI。在雙方的通力合作下，該可擴展、高效的AI解決方案可通過(guò)高性能硬件幫助客戶(hù)迎接AI挑戰。

英特爾數據中心與人工智能事業(yè)部高級首席工程師Mishali Naik表示：“現在，客戶(hù)正在尋求高效的企業(yè)級解決方案以充分釋放AI潛力。我們與Aible的合作，也表明了英特爾正與行業(yè)緊密協(xié)作，推動(dòng)AI創(chuàng )新，降低客戶(hù)使用英特爾至強處理器運行最新生成式AI工作負載的門(mén)檻?！?/p>

英特爾至強處理器

至強處理器的生成式AI性能：Aible的解決方案展示了CPU如何顯著(zhù)提升從運行語(yǔ)言模型至RAG的一系列最新AI工作負載性能?；卺槍τ⑻貭柼幚砥鞯膬?yōu)化，Aible技術(shù)采用高效、智能的“端到端無(wú)服務(wù)器”方法，僅在產(chǎn)生用戶(hù)請求時(shí)才會(huì )進(jìn)行資源消耗。例如，基于用戶(hù)查詢(xún)，向量數據庫僅需幾秒即可激活并檢索相關(guān)信息，而語(yǔ)言模型同樣只需簡(jiǎn)單啟動(dòng)即可處理并響應用戶(hù)請求，這種按需操作的運行模式有助于企業(yè)降低總擁有成本（TCO）。

雖然在多數情況下，RAG功能需通過(guò)利用GPU和加速器的并行處理能力來(lái)實(shí)現，但Aible的無(wú)服務(wù)器技術(shù)與英特爾至強處理器相結合，可使RAG用例完全由CPU來(lái)驅動(dòng)。性能數據顯示，多款不同代際的英特爾至強處理器均可高效運行RAG工作負載。

配置詳細信息如圖，結果可能會(huì )有不同

重要意義：Aible通過(guò)無(wú)服務(wù)器的方式使用CPU，可在多個(gè)客戶(hù)之間更為安全地共享底層計算資源，從而幫助客戶(hù)有效降低生成式AI項目的運營(yíng)成本。這種降低成本的方式可以類(lèi)比為用戶(hù)僅需在使用時(shí)購買(mǎi)電力，而非直接租賃發(fā)電機。此外，隨著(zhù)生成式AI需求的增長(cháng)，性能優(yōu)化和節能降耗變得愈發(fā)重要。Aible所提供的基于CPU的服務(wù)，為客戶(hù)提供了一種經(jīng)濟、高效的解決方案。

根據Aible的基準測試分析，當客戶(hù)采用基于CPU的無(wú)服務(wù)器解決方案運行RAG模型時(shí)，成本節省可高達55倍1。大幅降低的成本證明了Aible獨家方法的有效性，同時(shí)這種無(wú)服務(wù)器的CPU采用方式也減少了通過(guò)共享服務(wù)或專(zhuān)用服務(wù)器構建更為昂貴的、基于GPU的基礎設施需求。

此次英特爾及英特爾實(shí)驗室與Aible的合作，共同優(yōu)化了至強處理器上的AI工作負載。值得一提的是，通過(guò)優(yōu)化Aible針對AVX-512的代碼，Aible在至強處理器上實(shí)現了顯著(zhù)的性能及吞吐量提升，這也彰顯了戰略性的軟件優(yōu)化對于整體效率的影響。

在A(yíng)ible平臺的支持下，RAG模型與英特爾至強處理器的結合可推動(dòng)以下應用落地：

●   自然語(yǔ)言處理（NLP）

●   推薦系統

●   決策支持系統

●   內容生成

英特爾與Aible的合作始于第四代至強處理器的發(fā)布。此后，雙方針對至強處理器的AI工作負載、代碼和庫進(jìn)行了一系列優(yōu)化，并大幅提升了Aible的產(chǎn)品性能。

1 英特爾不控制或審計第三方數據。您可咨詢(xún)其他來(lái)源以評估準確性。

配置詳情：

1節點(diǎn)，2x英特爾^?至強^? Platinum 8280L CPU，2.70GHz, 28核心，HT開(kāi)啟，Turbo開(kāi)啟，NUMA 2，集成加速器可用[已使用]：DLB 0 [0]，DSA 0 [0]，IAA 0 [0]，QAT 0 [0]，總內存384GB (12x32GB DDR4 2933 MT/s [2934 MT/s])，BIOS SE5C620.86B.02.01.0017.110620230543，微碼0x5003604，2x以太網(wǎng)連接X(jué)722用于10GBASE-T，1x 894.3G英特爾SSDSC2KB96，1x 1.8T英特爾SSDPE2KX020T8，2x 3.7T英特爾SSDPE2KX040T8，Red Hat Enterprise Linux 8.9 (Ootpa)，4.18.0-513.18.1.el8_9.x86_64，WORKLOAD=Aible端到端RAG-LLM，模型=Mistral-7B-OpenOrca-GGUF，all-MiniLM-L6-v2，gcc 12.2.0，IntelLLVM 2024.0.2，llama.cpp，ChromaDB，Langchain，oneAPI基礎容器2024.0.1-devel-ubuntu22.04?；谟⑻貭?3/07/24的測試。

1節點(diǎn)，2x英特爾^?至強^? Platinum 8462Y+，32核心，HT開(kāi)啟，Turbo開(kāi)啟，NUMA 2，集成加速器可用[已使用]：DLB 2 [0]，DSA 2 [0]，IAA 2 [0]，QAT 2 [0]，總內存512GB (16x32GB DDR5 4800 MT/s [4800 MT/s])，BIOS 05.12.00，微碼0x2b0004d0，2x BCM57416 NetXtreme-E Dual-Media 10G RDMA以太網(wǎng)控制器，2x以太網(wǎng)控制器E810-C for QSFP，2x 3.5T三星MZQL23T8HCLS-00B7C，1x 1.8T三星MZ1L21T9HCLS-00A07，Red Hat Enterprise Linux 8.9 (Ootpa)，4.18.0-513.18.1.el8_9.x86_64，WORKLOAD=Aible端到端RAG-LLM，模型=Mistral-7B-OpenOrca-GGUF，all-MiniLM-L6-v2，gcc 12.2.0，IntelLLVM 2024.0.2，llama.cpp，ChromaDB，Langchain，oneAPI基礎容器2024.0.1-devel-ubuntu22.05?；谟⑻貭?3/07/24的測試。

 1節點(diǎn)，2x英特爾^?至強^? PLATINUM 8562Y+，32核心，HT開(kāi)啟，Turbo開(kāi)啟，NUMA 2，集成加速器可用[已使用]：DLB 2 [0]，DSA 2 [0]，IAA 2 [0]，QAT 2 [0]，總內存512GB (16x32GB DDR5 5600 MT/s [5600 MT/s])，BIOS 3B05.TEL4P1，微碼0x21000161，2x以太網(wǎng)控制器X710用于10GBASE-T，2x以太網(wǎng)控制器E810-C for QSFP，1x 894.3G英特爾SSDSC2KG96，1x 3.5T三星MZQL23T8HCLS-00A07，3x 3.5T三星MZQL23T8HCLS-00B7C，Red Hat Enterprise Linux 8.9 (Ootpa)，4.18.0-513.18.1.el8_9.x86_64，WORKLOAD=Aible端到端RAG-LLM，模型=Mistral-7B-OpenOrca-GGUF，all-MiniLM-L6-v2，gcc 12.2.0，IntelLLVM 2024.0.2，llama.cpp，ChromaDB，Langchain，oneAPI基礎容器2024.0.1-devel-ubuntu22.06?；谟⑻貭?3/07/24的測試。