使用 OpenVINO? 和哪吒開(kāi)發(fā)板部署 DeepSeek
加入技術(shù)交流群
隨著(zhù)人工智能技術(shù)的快速發(fā)展，企業(yè)對 AI 模型的部署方式有了更多選擇。本地部署 DeepSeek-R1 模型具有以下顯著(zhù)優(yōu)勢，使其成為許多企業(yè)和開(kāi)發(fā)者的首選：
1. 數據隱私與安全
在本地環(huán)境中部署 DeepSeek-R1 模型，可以確保敏感數據完全隔離于外部網(wǎng)絡(luò )，避免數據泄露的風(fēng)險。這對于處理涉及商業(yè)機密、個(gè)人隱私或受監管數據的應用場(chǎng)景至關(guān)重要。
2. 定制化能力
本地部署允許企業(yè)根據自身業(yè)務(wù)需求對模型進(jìn)行微調和優(yōu)化。例如，通過(guò)領(lǐng)域知識微調，DeepSeek-R1 可以更好地適應特定行業(yè)的應用場(chǎng)景，從而提升模型的準確性和實(shí)用性。
3. 低延遲響應
本地部署減少了對云端服務(wù)的依賴(lài)，避免了網(wǎng)絡(luò )傳輸帶來(lái)的延遲。DeepSeek-R1 在本地環(huán)境中能夠實(shí)現毫秒級的推理速度，這對于需要實(shí)時(shí)響應的應用（如智能客服、自動(dòng)化流程等）尤為重要。
4. 成本可控
與依賴(lài)云端 API 調用相比，本地部署可以顯著(zhù)降低長(cháng)期使用成本。例如，通過(guò)優(yōu)化硬件配置和資源利用，DeepSeek-R1 的部署成本可以大幅降低，同時(shí)避免了按調用次數計費的高昂費用。
02 在邊緣終端部署本地大模型的好處
邊緣終端，如樹(shù)莓派和英特爾哪吒開(kāi)發(fā)套件，通常具有較低的功耗和成本，同時(shí)具備一定的計算能力。在這些設備上部署 DeepSeek-R1 大模型，可以帶來(lái)以下好處：
※ 降低云端依賴(lài)
邊緣終端的本地化部署減少了對云端服務(wù)的依賴(lài)，使得設備能夠在離線(xiàn)或網(wǎng)絡(luò )不穩定的情況下獨立運行。這對于一些需要在偏遠地區或網(wǎng)絡(luò )受限環(huán)境中使用的場(chǎng)景（如智能家居、工業(yè)物聯(lián)網(wǎng)等）非常有價(jià)值。
※ 應用場(chǎng)景拓展
在邊緣終端部署 DeepSeek-R1 可以推動(dòng) AI 技術(shù)在更多領(lǐng)域的應用，如教育、開(kāi)發(fā)實(shí)驗、智能家居等。這不僅降低了 AI 技術(shù)的使用門(mén)檻，還促進(jìn)了技術(shù)的普及。
※ 隱私保護
由于數據處理完全在本地完成，邊緣終端部署可以有效避免敏感信息的外泄，尤其適合對隱私有高要求的場(chǎng)景。
03 在樹(shù)莓派上部署 DeepSeek-R1 的實(shí)現方式
目前網(wǎng)上看到的在樹(shù)莓派上部署大模型的主流實(shí)現方式是通過(guò)Ollama。
Ollama 是一個(gè)輕量級的 AI 模型部署工具，支持在樹(shù)莓派等低功耗設備上運行 DeepSeek-R1 模型。用戶(hù)可以通過(guò)簡(jiǎn)單的命令行操作下載并啟動(dòng)模型，例如運行 `ollama run deepseek-r1:1.5b` 來(lái)部署 1.5B 版本。它具有部署簡(jiǎn)單和資源占用低的優(yōu)勢，Ollama 提供了簡(jiǎn)潔的命令行操作界面，降低了部署的技術(shù)門(mén)檻。1.5B 版本的 DeepSeek-R1 模型對硬件資源的需求較低，適合樹(shù)莓派等低配設備。
但也存在一些劣勢，比如：
◆ 性能限制：樹(shù)莓派的硬件性能有限，推理速度較慢，可能無(wú)法滿(mǎn)足實(shí)時(shí)性要求較高的應用。
◆ 內存瓶頸：運行較大模型（如 8B 版本）時(shí)，樹(shù)莓派可能面臨內存不足的問(wèn)題。
◆ 功能受限：部分高級功能可能因硬件限制無(wú)法充分發(fā)揮，例如復雜的多任務(wù)處理。
04 在英特爾哪吒開(kāi)發(fā)套件上部署 DeepSeek-R1 的實(shí)現方式
目前暫未看到有在英特爾哪吒開(kāi)發(fā)套件上部署 DeepSeek-R1 的介紹。為填補這一空白，本文介紹如何采用 WasmEdge 本地部署 DeepSeek-R1 的方式。
英特爾哪吒開(kāi)發(fā)套件搭載了英特爾N97處理器（3.6GHz），配備64GB eMMC存儲和8GB LPDDR5內存。英特爾N97處理器屬于 Intel Alder Lake-N 系列，采用僅 E-Core 的設計，專(zhuān)為輕量級辦公、教育設備和超低功耗筆記本電腦設計，成本和功耗更低，更適合嵌入式設備。
更關(guān)鍵的是！英特爾哪吒最大的優(yōu)勢就是自帶集成顯卡，Intel UHD Graphics，我們可以在iGPU上運行大模型。
WasmEdge 是一種高性能的 WebAssembly 運行時(shí)，適用于在邊緣設備上部署輕量級應用。WasmEdge 提供了良好的跨平臺支持，能夠在多種硬件平臺上運行，包括樹(shù)莓派和 Intel 哪吒開(kāi)發(fā)套件。這使得開(kāi)發(fā)者可以使用同一套部署方案適配不同的硬件環(huán)境，降低了開(kāi)發(fā)成本。
WasmEdge 本身輕量級，啟動(dòng)速度快，適合資源受限的邊緣設備。通過(guò) WebAssembly 的高效執行機制，可以顯著(zhù)提升模型的推理速度，優(yōu)化資源利用率。
WebAssembly 的設計使得模型能夠在邊緣設備上以接近原生的速度運行。此外，WasmEdge 還支持多線(xiàn)程和并行計算，進(jìn)一步提升了推理效率。
05 具體部署方案
1、下載依賴(lài)
apt update && apt install -y libopenblas-dev
2、克隆 WasmEdge 倉庫
git clone https://github.com/WasmEdge/WasmEdge.git
3、源碼編譯
cmake -GNinja -Bbuild -DCMAKE_BUILD_TYPE=Release -DWASMEDGE_PLUGIN_WASI_NN_BACKEND="GGML" -DWASMEDGE_PLUGIN_WASI_NN_GGML_LLAMA_BLAS=OFF -DCMAKE_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu
4、執行編譯后的文件
cmake --build build
5、安裝
cd build sudo cmake --install . --prefix /home/hans/WasmEdge
6、運行模型
選用的是8B的DeepSeek- R1蒸餾模型（量化后3G大?。?，一般看到樹(shù)莓派上只能跑1.5B的DS蒸餾模型。
運行命令
wasmedge --dir .:. --nn-preload default:GGML:AUTO:/home/DeepSeek-R1-Distill-Llama-8B.gguf llama-chat.wasm -p llama-3-chat
7、運行效果
相關(guān)視頻可看以下鏈接：
https://www.bilibili.com/video/BV1WD9oYCEep/
總結
在探索了 DeepSeek-R1 的本地部署之旅后，我們不禁感嘆：AI 的世界正變得越來(lái)越觸手可及！從企業(yè)對數據隱私的嚴守，到邊緣設備上的高效推理，再到英特爾哪吒開(kāi)發(fā)套件上的靈活部署，DeepSeek-R1 正在以一種前所未有的方式，將智能的力量帶到每一個(gè)角落。
而當我們站在技術(shù)的十字路口，回望這一路的探索，或許會(huì )發(fā)現，真正的魔法并非來(lái)自模型本身，而是我們對技術(shù)的掌控和創(chuàng )新。
最后，讓我們以 DeepSeek-R1 的智慧之光，照亮未來(lái)的每一步。正如那句詩(shī)所言：“智能入世萬(wàn)象新，笑與人間共潮生?！痹谶@個(gè)充滿(mǎn)無(wú)限可能的時(shí)代，Intel 哪吒開(kāi)發(fā)套件不僅僅是一個(gè)開(kāi)發(fā)板，它是我們通往智能未來(lái)的鑰匙。
評論