躍昉科技突破RISC-V計算邊界,DeepSeek大模型本地化運行
邊緣AI新突破,從“云端排隊”到“私人Co-Pilot”
本文引用地址:http://dyxdggzs.com/article/202503/467798.htm近日,國內領(lǐng)先的RISC-V架構SoC芯片公司躍昉科技宣布,其自主研發(fā)的AI Mini Computer(AMC)成功實(shí)現DeepSeek系列蒸餾模型的本地化運行,以U盤(pán)形態(tài)重塑了AI計算方式?;赗ISC-V架構的開(kāi)放性和AMC本地化計算能力,躍昉科技讓AI計算由傳統的云端模式邁向邊緣端,使普通電腦秒變AI工作站,讓AI隨時(shí)待命,為用戶(hù)提供高效的智能助手(Co-Pilot)。
這一創(chuàng )新降低了AI計算的使用門(mén)檻,并在數據安全、本地推理和個(gè)性化應用方面展現潛力。用戶(hù)無(wú)需再受網(wǎng)絡(luò )限制或云端排隊影響,即可享受穩定的AI體驗,讓AI真正融入日常工作與生活。這無(wú)疑再次驗證了RISC-V架構在A(yíng)I計算領(lǐng)域的潛力,展現了其開(kāi)放、靈活、高效的優(yōu)勢,為邊緣端智能計算拓展了更多空間。
AMC實(shí)拍 | 口袋里的專(zhuān)屬智能助手
RISC-V助力邊緣AI計算,邁入本地化新階段
長(cháng)期以來(lái),AI計算主要依賴(lài)云端,但算力成本、網(wǎng)絡(luò )延遲及數據隱私等問(wèn)題限制了其在邊緣端的應用。躍昉科技基于自研RISC-V架構芯片,打造了AMC低功耗計算設備,并初步驗證了其在邊緣端運行輕量級AI模型的能力。AMC具備以下核心優(yōu)勢:
即插即用:可通過(guò)USB直連,無(wú)需服務(wù)器,快速完成環(huán)境部署,用戶(hù)體驗更便捷。
超低功耗:僅3W功耗,在邊緣計算場(chǎng)景下兼具節能和高效的優(yōu)化潛力。
網(wǎng)頁(yè)本地化訪(fǎng)問(wèn):相比云端排隊、等待響應,你的AI助手隨時(shí)在線(xiàn)。目前已在A(yíng)MC上成功運行部分輕量化AI模型,但計算能力仍有限,適配更復雜任務(wù)的模型仍在開(kāi)發(fā)中。
本地私有知識庫:保護數據隱私,隨身攜帶,安全可控。目前仍處在開(kāi)發(fā)驗證階段,未來(lái)將推出本地私有知識庫方案,增強數據隱私保護。
目前,AMC主要適用于輕量化AI推理,仍在不斷優(yōu)化模型適配能力,以支持更復雜的AI任務(wù)。
已經(jīng)實(shí)際部署運行成功的模型
UI界面:設計簡(jiǎn)潔直觀(guān),用戶(hù)可快速上手,無(wú)需復雜配置,Less is More!
OTA+場(chǎng)景化模型,開(kāi)啟邊緣AI計算新范式
在推動(dòng)DeepSeek系列蒸餾模型在A(yíng)MC本地化運行的過(guò)程中,躍昉科技還提出一個(gè)全新的邊緣AI計算應用概念——“OTA(Over-the-Air)+場(chǎng)景化模型”。目前正在進(jìn)行相關(guān)技術(shù)驗證,以評估其在邊緣AI計算中的可行性:
場(chǎng)景化模型適配:針對教育、工業(yè)、辦公、個(gè)人助手等不同場(chǎng)景,訓練更精巧的 AI 模型,以適配本地場(chǎng)景化的應用需求。
OTA動(dòng)態(tài)部署:設想是突破傳統OTA僅用于軟件升級的局限,AMC可按需拉取和更新最適合當前應用場(chǎng)景的AI模型,優(yōu)化邊緣設備的智能交互體驗。
開(kāi)放生態(tài)構建:希望打造可訂閱、可迭代的模型市場(chǎng),促進(jìn)開(kāi)發(fā)者和用戶(hù)形成良性互動(dòng),推動(dòng)AI計算生態(tài)持續優(yōu)化,目前仍在規劃階段。
這一全新計算模式不僅有望降低用戶(hù)的AI使用成本,同時(shí)也為開(kāi)發(fā)者提供了更大的創(chuàng )新空間,讓AI從“大而全”向“小而精”轉變,真正實(shí)現按需適配、精準計算。
讓AI成為個(gè)性化的智能伙伴
AMC的便攜性與在計算能力方面展示出的潛力,使其不僅僅是一款AI計算設備,更有望成為用戶(hù)長(cháng)期成長(cháng)的智能伙伴:
離線(xiàn)運行,隨時(shí)調用:無(wú)論是在辦公、學(xué)習還是工業(yè)應用場(chǎng)景,AI即插即用,不受云端依賴(lài)的限制,但完整大模型推理能力仍在測試中。
數據存儲與回傳:AMC具備32GB本地存儲,可將使用過(guò)程中的數據本地化存儲,同時(shí)支持同步至個(gè)人主機,形成用戶(hù)專(zhuān)屬的AI記憶。但目前知識庫儲存與數據同步功能仍在研發(fā)階段,后續將視技術(shù)進(jìn)展進(jìn)行優(yōu)化。
個(gè)性化成長(cháng):未來(lái)AI可長(cháng)期學(xué)習用戶(hù)的知識、經(jīng)驗和決策方式,逐步形成個(gè)人數字孿生(Digital Twins),讓AI真正理解用戶(hù)需求,成為長(cháng)期的智能助手。
這一模式使AI助手不再是千篇一律的通用工具,而是可以隨用戶(hù)需求不斷優(yōu)化,逐步形成個(gè)性化智能助手,提升日常工作與生活體驗。
推動(dòng)RISC-V架構在邊緣AI計算的應用探索
躍昉科技始終致力于RISC-V架構在A(yíng)I計算、邊緣計算及智能互聯(lián)領(lǐng)域的創(chuàng )新融合,并通過(guò)AMC這一產(chǎn)品形態(tài),嘗試推進(jìn)邊緣端大模型推理的可行性。目前,部分功能仍處在開(kāi)發(fā)或概念驗證階段,但躍昉科技將繼續圍繞低功耗、高效能、場(chǎng)景化AI計算進(jìn)行深度優(yōu)化,推動(dòng)邊緣AI計算生態(tài)的持續演進(jìn)。
未來(lái),AI計算不應僅存在于云端,而是應成為一種更普惠、更個(gè)性化、更靈活的智能能力,賦能千行百業(yè)。躍昉科技將持續探索“OTA +場(chǎng)景化模型”的應用,推動(dòng)邊緣AI計算的優(yōu)化升級,助力AI計算向更靈活、更個(gè)性化的方向發(fā)展。
注:目前部分功能仍處在研發(fā)或概念驗證階段,如AMC適配的AI模型主要為輕量級模型,完整大模型推理能力仍在優(yōu)化中;OTA場(chǎng)景化模型、知識庫存儲等功能仍在研發(fā)和概念驗證階段,未來(lái)將根據技術(shù)進(jìn)展逐步探索落地。部分功能如本地網(wǎng)頁(yè)訪(fǎng)問(wèn)仍處于測試階段,性能和用戶(hù)體驗仍需進(jìn)一步優(yōu)化。本文中提及的功能和應用方向部分仍為探索性?xún)热?,具體技術(shù)進(jìn)展將依據研發(fā)進(jìn)度持續更新。
評論