第三屆OpenHarmony技術(shù)大會(huì )OS原生智能分論壇圓滿(mǎn)舉辦

10月13日上午，第三屆OpenHarmony技術(shù)大會(huì )OS原生智能分論壇在上海舉行。匯聚產(chǎn)學(xué)研力量，與會(huì )專(zhuān)家聚焦OpenAtom OpenHarmony（以下簡(jiǎn)稱(chēng)“OpenHarmony”）在端側原生智能領(lǐng)域的技術(shù)探索與優(yōu)秀實(shí)踐，圍繞端側大模型的算法、系統、新體系結構，共同探討深入挖掘操作系統與AI在端側融合的潛力。多位專(zhuān)家就如何更好地應對多元化的行業(yè)挑戰，助力客戶(hù)和用戶(hù)實(shí)現技術(shù)突破展開(kāi)分享。內容不僅涵蓋了端側大模型部署與優(yōu)化，大模型稀疏算法、異構系統、新體系結構在端側的創(chuàng )新應用，還包括端側AI與智能應用實(shí)踐，以及延伸到端側原生智能生態(tài)構建，探索端側AI生態(tài)系統的構建策略與未來(lái)發(fā)展方向，為端側系統級大模型服務(wù)把脈機遇與挑戰。

華為基礎軟件資深技術(shù)專(zhuān)家丁天虹、湖南開(kāi)鴻智谷數字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專(zhuān)家楊德志、華為終端BG云服務(wù)小藝產(chǎn)品部術(shù)專(zhuān)家高光遠、華為2012實(shí)驗室中研諾亞實(shí)驗室研究員唐業(yè)輝、清華大學(xué)助理教授章明星、上海交通大學(xué)副教授糜澤羽、上海交通大學(xué)副教授戴國浩、北京郵電大學(xué)副教授徐夢(mèng)煒、北京大學(xué)副教授孫廣宇、華為終端BG軟件架設部技術(shù)專(zhuān)家李有福等出席論壇并發(fā)表演講。

當前，AI智能家居控制技術(shù)備受關(guān)注。憑借先進(jìn)的人工智能算法，家居設備實(shí)現智能聯(lián)動(dòng)與精準控制。為人們帶來(lái)便捷、舒適的生活體驗，因而成為行業(yè)熱門(mén)話(huà)題。湖南開(kāi)鴻智谷數字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專(zhuān)家楊德志詳細分享了在OpenHarmony終端設備上，利用語(yǔ)音識別技術(shù)、小語(yǔ)言模型技術(shù)和模型壓縮技術(shù)，實(shí)現對語(yǔ)音信號的高效識別和對用戶(hù)意圖的精準理解，實(shí)現對家居設備的智能控制。從端側語(yǔ)音識別、端側意圖識別、端側模型部署三方面為與會(huì )嘉賓詳細介紹。

（湖南開(kāi)鴻智谷數字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專(zhuān)家楊德志）

華為終端BG云服務(wù)小藝產(chǎn)品部技術(shù)專(zhuān)家高光遠，作為華為終端云服務(wù)產(chǎn)品總監，深入闡述了HarmonyOS NEXT原生智能的相關(guān)理念。他強調，通過(guò)將AI能力下沉到操作系統，匯聚AI相關(guān)能力至AI子系統，并賦能其他子系統，使得系統在不用重復構建 AI 能力的情況下，方便地具備智能特性。同時(shí)，構建強大的AI運行時(shí)，以實(shí)現整機最優(yōu)的性能和功耗運行，為用戶(hù)帶來(lái)卓越體驗。他還與大家共同探討了原生智能的定義、實(shí)施原因以及為T(mén)OD帶來(lái)的收益和TOC體驗等關(guān)鍵問(wèn)題。

（華為終端BG云服務(wù)小藝產(chǎn)品部技術(shù)專(zhuān)家高光遠發(fā)言）

華為 2012 實(shí)驗室中研諾亞實(shí)驗室研究員唐業(yè)輝則聚焦于端側設備的“小”模型研究與實(shí)踐。鑒于端側設備計算和存儲資源有限的現狀，他指出需要部署計算高效的大模型，并介紹了一種硬件親和的 Transformer架構——盤(pán)古-π，其通過(guò)級數激活函數和增廣跨層連接提高模型表達能力。同時(shí)分享了針對“小”模型的優(yōu)化方法，如詞表裁剪和難例續訓創(chuàng )新策略，以緩解“小”模型遺忘難題，成功打造出業(yè)界領(lǐng)先的 “小” 模型，有力支撐了端側的AI應用。

（華為 2012 實(shí)驗室中研諾亞實(shí)驗室研究員唐業(yè)輝發(fā)言）

清華大學(xué)助理教授章明星帶來(lái)了關(guān)于KTransformers的精彩分享。在通向AGI的道路上，訓練更大模型和支持更長(cháng)文本是兩個(gè)重要方向，但純GPU方案進(jìn)行推理成本過(guò)高，限制了大模型的廣泛應用。為解決這一問(wèn)題，章明星團隊設計并開(kāi)源了KTransformers 框架，通過(guò)將稀疏部分有效卸載到CPU上，僅需一張24GB甚至16GB的顯卡，即可支持236B DeepSeek模型和1M超長(cháng)上下文的本地推理，在同等環(huán)境下有三到十倍的性能提升。

（清華大學(xué)助理教授章明星發(fā)言）

上海交通大學(xué)副教授糜澤羽就《PowerInfer：端側大模型推理系統進(jìn)展與展望》主題展開(kāi)分享，糜澤羽說(shuō)，PowerInfer是一個(gè)在個(gè)人電腦或智能手機等端側設備進(jìn)行大型語(yǔ)言模型快速推理的框架，設計核心是利用大語(yǔ)言模型推理中固有的稀疏激活和高局部性，進(jìn)一步整合了自適應預測器和神經(jīng)元感知的稀疏運算符，優(yōu)化了神經(jīng)元激活的效率和計算稀疏性。

（上海交通大學(xué)副教授糜澤羽發(fā)言）

在智能技術(shù)飛速發(fā)展的當下，端側設備的大模型應用成為研究熱點(diǎn)。北京郵電大學(xué)副教授徐夢(mèng)煒就端側系統級大模型服務(wù)發(fā)表了深刻見(jiàn)解。他指出，大語(yǔ)言模型（LLM）及相關(guān)多模態(tài)變體正極大地改變著(zhù)電子設備的能力，推動(dòng)了個(gè)人代理等新型應用的發(fā)展。他重點(diǎn)闡述了一種面向高效端側大模型部署的創(chuàng )新方案——LLM-as-a-Service。該方案由操作系統為應用提供統一的LLM服務(wù)，通過(guò)Prompt/LoRa等方式與應用進(jìn)行交互，從而確保服務(wù)的可擴展性和硬件兼容性。

（北京郵電大學(xué)副教授徐夢(mèng)煒發(fā)言）

“基于Transformer架構的大語(yǔ)言模型逐漸在智能終端中大放異彩，有望讓AI真正觸手可及?！鄙虾＝煌ù髮W(xué)副教授戴國浩《稀疏計算與軟硬協(xié)同：智能終端中的大模型解決方案》展開(kāi)分享，他認為，現有硬件平臺仍難以有效滿(mǎn)足端側大模型推理的算力、帶寬與能效需求。針對當前大模型軟件優(yōu)化效果逐漸趨平的現狀，他介紹了“軟硬協(xié)同+稀疏計算”的創(chuàng )新研究思路，展望未來(lái)智能終端的發(fā)展方向，以及在視頻生成模型稀疏加速的最新探索。

（上海交通大學(xué)副教授戴國浩發(fā)言）

北京大學(xué)副教授孫廣宇分享了《基于DRAM近存計算架構的端側大模型推理優(yōu)化》。他認為，DRAM近存計算架構具備高訪(fǎng)存帶寬、大存儲容量的優(yōu)勢，對于大規模神經(jīng)網(wǎng)絡(luò )、圖計算、推薦系統等應用有較好的加速效果，因此受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。孫廣宇回顧近期工業(yè)界提出的DRAM近存計算芯片，并分析其特點(diǎn)和面臨的挑戰；然后，進(jìn)一步介紹如何利用DRAM近存架構來(lái)加速端側大模型推理；最后，分享了針對大模型推理的一個(gè)算法與架構協(xié)同優(yōu)化的工作。

（北京大學(xué)副教授孫廣宇發(fā)言）

華為終端BG軟件架設部技術(shù)專(zhuān)家李有福向與會(huì )嘉賓介紹了ArkData智慧數據底座，包含端側輕量級向量數據存儲、多模態(tài)統一嵌入模型、高效知識檢索能力等方面?！癆rkData智慧數據底座能實(shí)現數據+AI智能閉環(huán)，為用戶(hù)提供全新的智能體驗?！崩钣懈Ｕf(shuō)。

（華為終端BG軟件架設部技術(shù)專(zhuān)家李有福發(fā)言）