軟硬件雙向驅動(dòng) 英特爾加速AI on PC落地

以ChatGPT、Claude2、Stable Diffusion、Midjourney等為代表的生成式AI崛起的背后，是大眾用戶(hù)親眼看到了AI技術(shù)切實(shí)落地到了實(shí)際應用之中，并為工作、創(chuàng )作、創(chuàng )意帶來(lái)前所未有的效率提升。它與AI1.0時(shí)代的卷積神經(jīng)網(wǎng)絡(luò )、深度學(xué)習等看起來(lái)就頗具技術(shù)門(mén)檻的核心技術(shù)相比，顯然更接地氣，更容易為大眾所接受。

毫無(wú)疑問(wèn)，如今的我們正處在人工智能技術(shù)發(fā)展的關(guān)鍵階段，它正在逐漸滲透到人類(lèi)生活、工作、學(xué)習的方方面面。而生成式AI作為AI宏觀(guān)體系中的一次大突破，正以驚人速度改變著(zhù)自然語(yǔ)言處理、創(chuàng )意生成以及智能助手等領(lǐng)域的實(shí)踐落地。而在這個(gè)過(guò)程中，英特爾作為半導體、軟件、AI等技術(shù)領(lǐng)域的領(lǐng)導者和領(lǐng)先者，正以其強大的軟硬件支持，為生成式AI的蓬勃發(fā)展構筑核心生態(tài)。

·硬件：AI普及的關(guān)鍵是讓普通電腦也能輕松跑動(dòng)各種大模型

一般來(lái)說(shuō)，絕大部分AI相關(guān)應用的著(zhù)力點(diǎn)在GPU，因為它擁有強大的并行計算能力和浮點(diǎn)性能。但是此前在大灣區的一場(chǎng)技術(shù)分享會(huì )上，英特爾顛覆了我們對于A(yíng)I計算硬件的認知。

通過(guò)構建BigDL-LLM庫的方式，英特爾讓ChatGPT這樣的大語(yǔ)言模型順利運行在了支持AI加速引擎的第12代和13代酷睿處理器平臺上，并通過(guò)一系列優(yōu)化使其速度達到了非常流暢的級別。即便是主打續航、便攜能力的輕薄本，也能在16GB及以上內存容量平臺中順利運行最高達160億參數的大語(yǔ)言模型。而讓普普通通的筆記本電腦都能夠順利支持AI應用，這必然會(huì )為AI普及構筑出前所未有的堅實(shí)基礎。

此外，BigDL-LLM庫不僅支持ChatGPT一種大語(yǔ)言模型，它還實(shí)現了對LLaMA/ LLaMA2、ChatGLM/ChatGLM2、MPT、Falcon、RedPajama等多個(gè)大語(yǔ)言模型的支持。而且英特爾還提供了易用的LangChain開(kāi)源框架、Transformers神經(jīng)網(wǎng)絡(luò )API接口，并順利支持Windows、Linux操作系統，從而為不同平臺的開(kāi)發(fā)者們也帶來(lái)了巨大便利。

此外別忘了，英特爾現在也是高性能GPU領(lǐng)域的參與者，旗下的銳炫GPU不僅擁有應用于大型數據中心、服務(wù)器領(lǐng)域的產(chǎn)品，在消費市場(chǎng)落地的銳炫A系列顯卡同樣能夠為生成式AI應用提供可靠的算力支持。因此在Stable Diffusion、Midjourney這樣的需要GPU算力的圖像生成式AI應用領(lǐng)域，英特爾同樣能夠提供“專(zhuān)業(yè)對口”的硬件支持。如臺式機端的13代酷睿i7-13700K處理器加上銳炫A770獨顯，就能夠非常高效地運行Stable Diffusion。

·軟件：積極擁抱AI社區通過(guò)軟件優(yōu)化提升AI應用體驗

如果說(shuō)硬件為應用落地構建了基礎，那么軟件就是如何在基礎之上構建高樓，而軟件層面的優(yōu)化，則是考慮如何讓“高樓”從毛坯變成精裝。

一直以來(lái)，英特爾在軟件領(lǐng)域的投入都十分令人矚目。通過(guò)精心構建軟件生態(tài)，優(yōu)化模型性能，英特爾為生成式AI在個(gè)人電腦端的應用創(chuàng )造了有利條件。

英特爾積極擁抱AI社區，通過(guò)基于OpenVINO PyTorch后端的方案，使得開(kāi)源模型能夠在英特爾的客戶(hù)端處理器、集成顯卡、獨立顯卡和專(zhuān)用AI引擎上順暢運行。

同樣以生成式AI應用中最火的圖形視覺(jué)領(lǐng)域為例，英特爾開(kāi)發(fā)了一套專(zhuān)門(mén)的AI框架，它可以在開(kāi)啟OpenVINO加速的情況下，僅通過(guò)一行代碼的安裝，就可以加速PyTorch模型運行。此時(shí)，就可以讓Stable Diffusion Automatic1111 WebUI在集成顯卡和銳炫獨立顯卡上流暢運行。

我們在一臺13代酷睿i7-13700H處理器+銳炫Xe核顯機器上試著(zhù)讓Stable Diffusion生成一張圖片，所提的需求并未太過(guò)復雜，總體耗時(shí)為44秒，完成速度算是相當快的了，畢竟這是在移動(dòng)平臺的核顯上做的圖片渲染和生成。

目前，單單是96EU的銳炫Xe核顯，就可以支持在Stable Diffusion上運行FP16精度的模型，從而快速生成高質(zhì)量圖片，為內容創(chuàng )作、視覺(jué)創(chuàng )意提供便利。

從這一案例可以看出，無(wú)論是文字生成圖片還是圖片生成圖片，英特爾通過(guò)軟件優(yōu)化、模型優(yōu)化，將模型對硬件資源的需求盡可能降到最低，從而提升模型的推斷速度，確保那些以往需要高性能顯卡才能運行的開(kāi)源模型能夠在個(gè)人電腦上也能高效運行，這對于A(yíng)I應用普及同樣是意義非凡。

·英特爾大語(yǔ)言模型應用落地12代、13代酷睿電腦全部支持

在8月18日舉辦的大灣區技術(shù)分享會(huì )上，英特爾還進(jìn)一步展示了其軟硬件體系在大語(yǔ)言模型應用方面的實(shí)際表現。通過(guò)集成了ChatGLM2、LLa MA2和Star Coder三個(gè)大語(yǔ)言模型的英特爾大語(yǔ)言模型應用Demo，成功展示了這些大語(yǔ)言模型在中文和英文應用方面的表現。

比如我們通過(guò)它詢(xún)問(wèn)了“AI在PC領(lǐng)域上的應用”，它的首次響應延遲只有215.3ms，也就是在提交問(wèn)題到AI識別問(wèn)題，再到開(kāi)始生成問(wèn)題答案的過(guò)程只有215.3ms，可以說(shuō)是非常迅速。

此外可以看到，這款軟件集成了中文、英文、代碼三種語(yǔ)言環(huán)境，對應功能的指向性也很明確。聊天、情感分析、中文翻譯、故事創(chuàng )作等等，可以說(shuō)是涵蓋了大語(yǔ)言模型的常見(jiàn)應用。這樣的分類(lèi)可以幫助用戶(hù)更加明確地向AI提出需求，而如何明確、正確提出需求，本身也是目前AI應用中的難點(diǎn)之一。

我們也試著(zhù)向AI提出了“和女朋友吵架了怎么哄她”的情感分析需求，首次響應時(shí)間為249.8ms，比上一個(gè)問(wèn)題響應慢一些，可見(jiàn)和女朋友的情感問(wèn)題擺在A(yíng)I面前，它也需要多加思考一番。

英特爾借助軟件端優(yōu)化和量化操作，使得大語(yǔ)言模型在進(jìn)行回答時(shí)能夠以非?？斓乃俣壬纱鸢?，并且不影響整機使用流暢性，這同樣也是AI應用普及的重要一步。目前英特爾已經(jīng)發(fā)布了這套Demo，任何搭載英特爾12代和13代酷睿的電腦都可以直接安裝并進(jìn)行體驗。

·英特爾：AI on PC的核心賦能者

英特爾不僅僅是AI技術(shù)的提供者，更是讓AI on PC從“PPT”走向實(shí)際落地的核心賦能者。

借助支持AI加速引擎的12代、13代酷睿處理器，借助具備高效浮點(diǎn)性能的銳炫GPU等強力硬件，并且快速推出英特爾大語(yǔ)言模型應用Demo以及通過(guò)后端優(yōu)化和OpenVINO加速來(lái)更好地支持Stable Diffusion圖形視覺(jué)領(lǐng)域的AI應用，AI借助PC實(shí)現全面普及只是時(shí)間問(wèn)題。

現階段，大眾用戶(hù)對于生成式AI應用的使用意愿極為強烈，因為它確實(shí)能夠解決很多實(shí)際問(wèn)題。如提升辦公效率、提供輔助設計和創(chuàng )意理念等等，這些應用能夠徹底改變人類(lèi)現階段的工作、生活方式，激發(fā)人們在創(chuàng )作、創(chuàng )意層面的靈感，而硬件性能強大的電腦無(wú)疑是最佳載體。

除了已經(jīng)發(fā)布的第12代與13代酷睿之外，英特爾下一代Meteor Lake處理器也將進(jìn)一步強化對于A(yíng)I的底層支持，專(zhuān)門(mén)設計的NPU將為AI應用帶來(lái)更加高效的體驗。

在生成式AI集中落地的大潮中，英特爾是一個(gè)不可或缺的關(guān)鍵因素。從強勁性能的硬件支持到模型優(yōu)化的軟件技術(shù)，英特爾為生成式AI的發(fā)展提供了全方位支持。在英特爾的引領(lǐng)下，生成式AI與PC將實(shí)現驚人的化學(xué)反應，為人類(lèi)帶來(lái)更智能、更富創(chuàng )意PC使用體驗。