簡(jiǎn)介在銀河麒麟V10arm64離線環(huán)境中部署DeepSeek模型?？ㄔ谝蕾?、服務(wù)配置等環(huán)節(jié)。這份指南面向系統(tǒng)運(yùn)維、AI部署等技術(shù)人員給出從ollama安裝、系統(tǒng)服務(wù)與環(huán)境變量配置到離線導(dǎo)入deepseek-r1模型、再配置chatbox客戶端及遠(yuǎn)程訪問的完整流程。資源為1個(gè)docx文檔壓縮包大小約2.69MB雖然體積小但步驟詳盡包含具體命令、文件路徑、飛騰CPU環(huán)境下的實(shí)測(cè)示例以及將模型注冊(cè)為systemd服務(wù)、設(shè)置開機(jī)自啟等實(shí)操細(xì)節(jié)。已有5524人學(xué)習(xí)適合需要在無互聯(lián)網(wǎng)環(huán)境快速搭建大模型服務(wù)并保證可交互使用的讀者參考。文檔末尾的參考資料和閱讀建議也能幫助新手規(guī)避常見雷區(qū)。1. 銀河麒麟 V10 上跑 DeepSeek 大模型為什么離線部署是剛需內(nèi)網(wǎng)隔離的環(huán)境里想用上 DeepSeek 這樣的大語言模型服務(wù)最容易想到的路線就是本地部署一套 ollama。銀河麒麟 V10 作為國(guó)產(chǎn) Linux 系統(tǒng)在政企、金融、能源這些單位里普及度很高但這類環(huán)境往往不允許聯(lián)網(wǎng)于是「離線安裝 ollama 大語言模型服務(wù) chatbox 客戶端」就成了一個(gè)非常具體的落地場(chǎng)景。這篇文章講的不是云端調(diào)用而是把完整的大模型服務(wù)裝進(jìn)你的內(nèi)網(wǎng)服務(wù)器讓團(tuán)隊(duì)里的每個(gè)人都能通過 chatbox 這個(gè)桌面客戶端像用聊天軟件一樣和 DeepSeek 對(duì)話。這個(gè)方案能解決的問題很明確數(shù)據(jù)不出內(nèi)網(wǎng)、響應(yīng)不受外網(wǎng)帶寬影響、模型權(quán)限完全自主可控。適合的對(duì)象是有一臺(tái)性能尚可的 Linux 服務(wù)器16GB 內(nèi)存起步帶 GPU 更好、需要在內(nèi)網(wǎng)提供 AI 對(duì)話能力的運(yùn)維或開發(fā)人員。整條鏈路就是離線裝好 ollama 運(yùn)行時(shí) → 把模型權(quán)重文件搬運(yùn)進(jìn)內(nèi)網(wǎng) → 配置好 ollama 服務(wù) → 用 chatbox 做用戶界面。接下來我會(huì)按這條鏈路一步步展開把每個(gè)環(huán)節(jié)的坑提前標(biāo)出來。2. 離線部署的第一關(guān)依賴包和模型權(quán)重都得提前準(zhǔn)備2.1 下載 ollama 離線安裝包不要只抓二進(jìn)制離線部署最怕的不是安裝本身而是裝到一半發(fā)現(xiàn)缺依賴又沒法聯(lián)網(wǎng)補(bǔ)。所以第一步就是在能聯(lián)網(wǎng)的機(jī)器上把 ollama 的安裝包和全部依賴一次性拉齊。我用的方案是在一臺(tái)能聯(lián)網(wǎng)的機(jī)器上用 apt 的 download 模式把 deb 包全部抓下來再拷貝到離線機(jī)器上安裝。注意不要只抓 ollama 的二進(jìn)制它的運(yùn)行依賴比想象中多。具體做法在一臺(tái)能聯(lián)網(wǎng)的機(jī)器上添加 ollama 的官方 apt 源也可以直接下載 .deb 包然后執(zhí)行# 在聯(lián)網(wǎng)機(jī)器上添加 ollama 官方源并拉取依賴 curl -fsSL https://ollama.com/download/ollama.gpg.key | sudo gpg --dearmor -o /usr/share/keyrings/ollama.gpg.key echo deb [archamd64 signed-by/usr/share/keyrings/ollama.gpg.key] https://download.ollama.com/linux/repo stable main | sudo tee /etc/apt/sources.list.d/ollama.list sudo apt update # 僅下載而不安裝連帶所有依賴一起拉下來 sudo apt install --download-only ollama邏輯說明--download-only讓 apt 只下載不安裝所有 .deb 會(huì)落在/var/cache/apt/archives/下。使用 gpg key 校驗(yàn)倉庫簽名避免二進(jìn)制被篡改這在離線環(huán)境里尤其重要因?yàn)槟銢]法臨時(shí)更新信任鏈。參數(shù)說明archamd64要根據(jù) CPU 架構(gòu)調(diào)整如果是 ARM64 的機(jī)器比如鯤鵬、飛騰這里要改成arm64下載的包也不同。如果機(jī)器沒有外網(wǎng) DNS建議直接把 .deb 包拷貝到 U 盤而不是依賴 apt 源。把/var/cache/apt/archives/下的所有 .deb 拷貝到離線機(jī)器后用下面的命令安裝# 離線機(jī)器上進(jìn)入存放 deb 包的目錄 sudo dpkg -i *.deb邏輯說明如果有依賴順序問題dpkg -i *.deb一次性安裝所有包apt 會(huì)自動(dòng)處理大部分依賴。如果報(bào)error: dependency issues多半是漏了某個(gè)依賴包重新在聯(lián)網(wǎng)機(jī)器上補(bǔ)拉即可。參數(shù)說明離線機(jī)器上如果之前裝過舊版 ollama建議先sudo apt remove ollama再裝避免配置文件沖突。常見做法是不要貪省事直接解壓二進(jìn)制跑雖然 ollama 官方也提供單二進(jìn)制文件但在銀河麒麟這類基于 Debian 的國(guó)產(chǎn)系統(tǒng)上缺了 lib 庫很容易出現(xiàn)libgcc_s.so.1 must be installed之類的玄學(xué)報(bào)錯(cuò)走 deb 包裝是最穩(wěn)的一條路。血淚經(jīng)驗(yàn)我第一次為了省事直接拷二進(jìn)制結(jié)果折騰了一下午的庫依賴。2.2 大模型權(quán)重文件怎么選別迷信 7B 起步ollama 裝好之后接下來是模型文件。DeepSeek 在 ollama 倉庫里有多個(gè)尺寸的版本從 1.5B 到 400B 都有。離線環(huán)境下你必須提前在聯(lián)網(wǎng)機(jī)器上把模型拉下來。# 在聯(lián)網(wǎng)機(jī)器上先拉取模型以 deepseek-r1:7b 為例 ollama pull deepseek-r1:7b邏輯說明ollama pull會(huì)從官方倉庫下載模型權(quán)重默認(rèn)存儲(chǔ)在~/.ollama/models/下。拉取完成后整個(gè)模型目錄包括 blobs 和 manifests一起拷貝到離線機(jī)器。參數(shù)說明模型標(biāo)簽tag決定大小deepseek-r1:1.5b大約 1.1GBdeepseek-r1:7b大約 4.7GBdeepseek-r1:14b大約 9GB。顯存不夠的情況下別硬上 14B7B 在量化后 6GB 顯存就能跑CPU 模式也能硬扛。我一般會(huì)建議先確認(rèn)目標(biāo)機(jī)器是純 CPU 還是有 GPU。銀河麒麟 V10 的服務(wù)器版本大概率有國(guó)產(chǎn) GPU比如昇騰、寒武紀(jì)但 ollama 對(duì)這些加速卡的支持要看版本。如果只是內(nèi)網(wǎng)辦公場(chǎng)景CPU 跑 7B 量化版完全夠用速度慢一點(diǎn)但勝在穩(wěn)定。新版 ollama0.5.x 以上對(duì)模型格式有調(diào)整老版本的 ollama 可能拉不了新模型的 manifest。所以離線機(jī)器上的 ollama 版本和拉模型的機(jī)器版本盡量保持一致或者離線機(jī)器的版本更新。這個(gè)坑我在后面章節(jié)專門講。3. 銀河麒麟 V10 離線安裝 ollamadeb 包裝完、服務(wù)注冊(cè)與參數(shù)調(diào)優(yōu)3.1 用 deb 包在銀河麒麟上裝 ollama 的最小步驟前面第 2 章已經(jīng)把依賴包拉下來了這一步直接落到銀河麒麟 V10 上操作。假設(shè)你已經(jīng)把 deb 包目錄整個(gè)拷到了離線機(jī)器路徑是/home/user/ollama-pkgs/。# 進(jìn)入 deb 包目錄 cd /home/user/ollama-pkgs # 安裝所有 deb sudo dpkg -i *.deb # 如果出現(xiàn)依賴缺失先修復(fù) sudo apt --fix-broken install # 驗(yàn)證版本 ollama --version邏輯說明dpkg -i *.deb會(huì)把 ollama 主程序、CLI 工具和 systemd 服務(wù)腳本一起裝上。apt --fix-broken install是后悔藥dpkg 報(bào)錯(cuò)之后用這條命令自動(dòng)補(bǔ)齊依賴。參數(shù)說明如果ollama --version報(bào)command not found檢查/usr/bin/ollama是否存在或者重新執(zhí)行sudo ldconfig刷新動(dòng)態(tài)庫緩存。銀河麒麟 V10 的桌面版默認(rèn)可能有snap干擾建議關(guān)閉 snap 服務(wù)再裝不然偶爾會(huì)出現(xiàn)奇怪的沖突。裝完只完成了一半ollama 默認(rèn)只監(jiān)聽 127.0.0.1除非你只是想本機(jī)測(cè)試否則要給局域網(wǎng)內(nèi)其他機(jī)器訪問必須改 OLLAMA_HOST。修改 systemd 服務(wù)配置# 編輯 systemd 服務(wù)文件 sudo systemctl edit ollama.service # 在打開的編輯器中填入以下內(nèi)容[Service] EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_MODELS/data/ollama/models邏輯說明systemctl edit會(huì)創(chuàng)建 override 配置文件不直接修改原始 service 文件升級(jí) ollama 時(shí)不會(huì)被覆蓋。OLLAMA_HOST0.0.0.0:11434讓 ollama 監(jiān)聽所有網(wǎng)卡局域網(wǎng)內(nèi)其他機(jī)器可以通過 IP 訪問。OLLAMA_MODELS指定模型存儲(chǔ)路徑建議放到數(shù)據(jù)盤或大分區(qū)因?yàn)槟Ｐ蛣?dòng)不動(dòng)就是幾個(gè) GB。參數(shù)說明11434 是 ollama 默認(rèn)端口如果和內(nèi)網(wǎng)其他服務(wù)沖突改成 11435 之類的高位端口。模型路徑不要放在/home下如果用戶目錄有配額限制模型下載到一半就報(bào)no space left on device這是最常見的翻車現(xiàn)場(chǎng)。改完配置后重啟服務(wù)并設(shè)置開機(jī)自啟sudo systemctl daemon-reload sudo systemctl restart ollama sudo systemctl enable ollama # 查看運(yùn)行狀態(tài) sudo systemctl status ollama邏輯說明daemon-reload讓 systemd 重新讀取配置不執(zhí)行的話 restart 可能不生效。status輸出里如果看到Active: active (running)說明服務(wù)正常。3.2 把聯(lián)網(wǎng)機(jī)器上的模型搬運(yùn)到離線機(jī)器服務(wù)起來之后模型還沒進(jìn)來。前面在聯(lián)網(wǎng)機(jī)器上已經(jīng)拉到本地了現(xiàn)在重點(diǎn)是把模型目錄完整拷貝過去。# 在聯(lián)網(wǎng)機(jī)器上打包模型目錄 tar -czf deepseek-model.tar.gz -C ~/.ollama/models . # 拷貝到離線機(jī)器后解壓 mkdir -p ~/.ollama/models tar -xzf deepseek-model.tar.gz -C ~/.ollama/models # 驗(yàn)證模型是否被識(shí)別 ollama list邏輯說明模型目錄里包含 blobs權(quán)重分片和 manifests模型清單兩者必須一起拷貝缺了 manifests 的話ollama list就看不到模型。tar 打包比 cp -r 更保險(xiǎn)能保留文件權(quán)限和符號(hào)鏈接。參數(shù)說明如果目標(biāo)機(jī)器的 ollama 版本比源機(jī)器舊建議把新版本先降到一致再拷模型否則ollama list可能報(bào) manifest 格式錯(cuò)誤。模型拷完后千萬別急著啟動(dòng)先ollama list確認(rèn)如果輸出空列表檢查~/.ollama/models/manifests是否存在。這里有一個(gè)容易被忽略的坑模型的 blobs 目錄里文件名是哈希值沒有任何擴(kuò)展名看起來像亂碼這是正常的。不要手動(dòng)重命名ollama 通過哈希校驗(yàn)文件合法性改一個(gè)字都會(huì)導(dǎo)致加載失敗。等一下這句話有點(diǎn)夸張了但你一定不要?jiǎng)?blobs 目錄里的任何文件。3.3 內(nèi)存與并發(fā)參數(shù)決定離線機(jī)器能不能順暢跑模型裝好后運(yùn)行參數(shù)直接決定體驗(yàn)。先看一份我常用的參數(shù)清單參數(shù)默認(rèn)值建議值說明OLLAMA_NUM_PARALLEL12并行處理請(qǐng)求數(shù)內(nèi)網(wǎng)人多可以調(diào)高OLLAMA_MAX_LOADED_MODELS11同時(shí)加載的模型數(shù)內(nèi)存有限就保持 1OLLAMA_KEEP_ALIVE5m30m模型在內(nèi)存中駐留時(shí)間頻繁交互建議調(diào)長(zhǎng)OLLAMA_FLASH_ALLOC自動(dòng)false顯存不足時(shí)開純 CPU 不用管修改方式仍然是systemctl edit把環(huán)境變量加進(jìn)去[Service] EnvironmentOLLAMA_NUM_PARALLEL2 EnvironmentOLLAMA_KEEP_ALIVE30m邏輯說明OLLAMA_NUM_PARALLEL決定同一模型能同時(shí)處理幾個(gè)請(qǐng)求調(diào)太高會(huì)增加顯存/內(nèi)存占用一個(gè) 7B 模型大概占 6-8GB 內(nèi)存。OLLAMA_KEEP_ALIVE控制模型在內(nèi)存中的駐留時(shí)間每次請(qǐng)求都重新加載模型的話啟動(dòng)會(huì)慢好幾秒體驗(yàn)就會(huì)很卡。參數(shù)說明如果機(jī)器內(nèi)存只有 16GB跑 7B 模型時(shí)建議把OLLAMA_NUM_PARALLEL保持默認(rèn) 1否則容易 OOM。純 CPU 場(chǎng)景下模型權(quán)重會(huì)全部加載到內(nèi)存7B 量化版約占用 5-6GB給系統(tǒng)留足余量。我一般會(huì)建議先開默認(rèn)參數(shù)跑一輪用ollama run deepseek-r1:7b聊幾句測(cè)試觀察內(nèi)存占用和響應(yīng)延遲再?zèng)Q定是否調(diào)并發(fā)。不要一上來就拉滿翻車了還得排查半天。4. 把大模型變成聊天界面chatbox 客戶端的離線部署4.1 chatbox 是什么為什么選它來配 ollama模型服務(wù)跑起來了但它只是一個(gè) HTTP API 服務(wù)沒有可視化界面。你總不能叫運(yùn)維同事都用 curl 來聊天這太離譜了。chatbox 是一個(gè)開源的桌面客戶端專門干這事把 ollama 這種大模型服務(wù)包裝成類似即時(shí)通訊軟件的聊天窗口。選擇 chatbox 的主要理由有三個(gè)一是跨平臺(tái)Windows、Linux、macOS 都有安裝包銀河麒麟 V10 上可以直接跑 Linux 版二是配置簡(jiǎn)單填一個(gè) API 地址就完事不用寫代碼三是支持多模型切換同一個(gè)界面里可以隨時(shí)切換不同尺寸的 DeepSeek 模型。如果團(tuán)隊(duì)里有人不想用桌面客戶端也可以直接用瀏覽器訪問 ollama 的 WebUI比如 open-webui但那是另一套部署方案復(fù)雜度更高。chatbox 的價(jià)值就是零學(xué)習(xí)成本雙擊打開、填地址、開聊。要注意的是chatbox 本身不包含模型它只是客戶端所有計(jì)算都在 ollama 服務(wù)端完成。所以即使你的辦公電腦很垃圾只要能在內(nèi)網(wǎng)訪問到那臺(tái)跑著 ollama 的服務(wù)器一樣能用 7B 模型。4.2 chatbox 離線安裝包怎么找離線環(huán)境下沒有應(yīng)用商店需要提前下載安裝包。chatbox 的發(fā)布渠道是 GitHub Releases找到對(duì)應(yīng) Linux 平臺(tái)的包下載。這里有一點(diǎn)需要留意x86_64 和 ARM64 架構(gòu)的包不一樣選錯(cuò)了裝不上。# 在聯(lián)網(wǎng)機(jī)器上用 wget 下載 chatbox Linux 版以 x86_64 AppImage 為例 wget https://github.com/chatboxai/chatbox/releases/download/v0.9.4/Chatbox-0.9.4-x86_64.AppImage邏輯說明AppImage 格式的好處是不需要安裝直接賦予執(zhí)行權(quán)限就能跑非常適合政企內(nèi)網(wǎng)這種不允許隨便裝軟件的環(huán)境。如果目標(biāo)機(jī)器是 ARM64 架構(gòu)如飛騰 CPU要下載arm64版本下載前先在機(jī)器上執(zhí)行uname -m確認(rèn)架構(gòu)。參數(shù)說明文件名里的x86_64表示 Intel/AMD 架構(gòu)aarch64表示 ARM 架構(gòu)。chatbox 新版叫 Chatbox老版本叫 chatbox下載時(shí)認(rèn)準(zhǔn)Chatbox-*開頭。把 AppImage 文件拷貝到離線機(jī)器后賦予執(zhí)行權(quán)限就能跑# 離線機(jī)器上 chmod x Chatbox-0.9.4-x86_64.AppImage ./Chatbox-0.9.4-x86_64.AppImage邏輯說明如果雙擊沒反應(yīng)多半是系統(tǒng)缺 FUSE 庫安裝libfuse2即可這個(gè)包銀河麒麟的源里有。如果系統(tǒng)是 Wayland 會(huì)話AppImage 啟動(dòng)可能黑屏切換到 X11 會(huì)話即可解決。4.3 chatbox 連接 ollama配置里的 3 個(gè)必填項(xiàng)chatbox 啟動(dòng)后進(jìn)入設(shè)置界面選擇模型提供方為Ollama API然后填寫三個(gè)關(guān)鍵配置配置項(xiàng)填寫內(nèi)容說明API 地址http://服務(wù)器IP:11434指向 ollama 服務(wù)地址別填 127.0.0.1API 密鑰留空ollama 默認(rèn)不需要密鑰模型名稱deepseek-r1:7b必須和ollama list輸出完全一致配置完成后點(diǎn)連接測(cè)試看到Connected successfully就說明通了。如果失敗重點(diǎn)排查三個(gè)方向第一API 地址里的 IP 是不是 ollama 服務(wù)器本身第二服務(wù)器防火墻是否放行了 11434 端口第三OLLAMA_HOST 是否已改為0.0.0.0。如果在同一臺(tái)機(jī)器上使用 chatbox 和 ollamaAPI 地址可以填http://127.0.0.1:11434但這樣其他機(jī)器就沒辦法連了。我一般會(huì)建議填局域網(wǎng) IP這樣調(diào)試時(shí)任何機(jī)器都能訪問。5. 離線部署避坑指南模型加載失敗、端口不通、架構(gòu)不匹配前面把安裝流程走完了這一章是血淚經(jīng)驗(yàn)匯總。以下這些坑我踩過的次數(shù)比安裝次數(shù)都多。5.1 模型加載報(bào) manifest 格式錯(cuò)誤現(xiàn)象ollama list能看到模型但ollama run直接報(bào)錯(cuò)提示 manifest 相關(guān)錯(cuò)誤模型無法加載。原因離線機(jī)器上的 ollama 版本比拉模型時(shí)用的版本舊。新版 ollama 改了模型 manifest 的格式字段舊版本解析不了。另一個(gè)常見原因是模型目錄里的manifests子目錄沒拷貝完整只拷了 blobs。解決先升級(jí)離線機(jī)器的 ollama 到與拉模型時(shí)一致的版本再重新拷貝 manifests 目錄。如果不想升級(jí)就在聯(lián)網(wǎng)機(jī)器上用對(duì)應(yīng)的舊版本重新拉一次模型。5.2 內(nèi)網(wǎng)其他機(jī)器連不上11434 端口不通現(xiàn)象ollama 在本機(jī)curl http://127.0.0.1:11434正常但其他機(jī)器訪問超時(shí)或拒絕連接。原因沒有修改 OLLAMA_HOST默認(rèn)只監(jiān)聽本地回環(huán)地址或者系統(tǒng)防火墻沒有放行端口。銀河麒麟 V10 默認(rèn)可能啟用 firewalld不配置的話外部訪問全被攔。解決先確認(rèn)監(jiān)聽地址用sudo ss -lntp | grep 11434查看如果看到 IP 是 127.0.0.1說明環(huán)境變量沒生效。然后執(zhí)行sudo firewall-cmd --permanent --add-port11434/tcp sudo firewall-cmd --reload放行端口。命令參考# 檢查監(jiān)聽地址 ss -lntp | grep 11434 # 放行防火墻端口 sudo firewall-cmd --permanent --add-port11434/tcp sudo firewall-cmd --reload邏輯說明修改 systemd override 文件后必須執(zhí)行sudo systemctl daemon-reload不然環(huán)境變量不生效。防火墻配置因版本而異如果沒有 firewalld檢查是否有 iptables 規(guī)則。5.3 架構(gòu)不匹配x86 包裝到 ARM 機(jī)器上現(xiàn)象安裝 ollama deb 包時(shí)報(bào)package architecture (amd64) does not match system (arm64)或直接提示無法安裝。原因下載的安裝包和 CPU 架構(gòu)不符。銀河麒麟 V10 可以跑在 x86、ARM飛騰、LoongArch 等多種架構(gòu)上下載時(shí)沒確認(rèn)架構(gòu)。解決裝之前先執(zhí)行uname -m輸出x86_64就下載 amd64 包輸出aarch64就下載 arm64 包。下載鏈接里都有明確的架構(gòu)標(biāo)注不要只看文件名里帶沒帶 linux 就下手。5.4 chatbox 聊天時(shí)每個(gè)字都蹦但特別慢現(xiàn)象chatbox 能連上 ollama回復(fù)也正常但生成速度只有每秒幾個(gè)字用起來很煎熬。原因目標(biāo)機(jī)器可能沒有 GPU或 GPU 顯存不夠模型跑在 CPU 上。7B 模型的 CPU 推理速度本身就慢這是硬件瓶頸不是配置問題。解決接受現(xiàn)實(shí)換更小的模型1.5B 或 3B或者把量化等級(jí)調(diào)到更低比如從 Q4_K_M 降到 Q3_K_S。如果機(jī)器有 GPU 但 ollama 沒檢測(cè)到檢查是否有驅(qū)動(dòng)并確認(rèn) ollama 日志里是否輸出了 GPU 相關(guān)信息。實(shí)話實(shí)說CPU 跑 7B 就是需要耐心想要流暢必須上 GPU。6. 進(jìn)階驗(yàn)證用 curl 做接口健康檢查讓部署可度量6.1 用 curl 做接口層面的健康檢查界面聊天正常只代表端到端通了但真正上線給團(tuán)隊(duì)用之前建議先做一輪 API 層驗(yàn)證。這一步能幫你確認(rèn)并發(fā)、延遲和穩(wěn)定性達(dá)不到預(yù)期的提前調(diào)參數(shù)別等大家用著卡了再救火。# 查看模型列表 curl http://127.0.0.1:11434/api/tags # 發(fā)送一次對(duì)話請(qǐng)求并計(jì)時(shí) time curl http://127.0.0.1:11434/api/chat -d { model: deepseek-r1:7b, messages: [{role: user, content: 你好用一句話介紹你自己}] }邏輯說明/api/tags返回所有已安裝模型輸出里應(yīng)該能看到deepseek-r1:7b。/api/chat是 OpenAI 兼容的對(duì)話接口chatbox 也是走這個(gè)接口所以這里通了客戶端必通。參數(shù)說明如果響應(yīng)內(nèi)容被流式截?cái)嗫梢栽谡?qǐng)求體里加stream: false讓服務(wù)端一次性返回完整結(jié)果更便于觀察輸出長(zhǎng)度和耗時(shí)。6.2 壓力測(cè)試3 個(gè)并發(fā)會(huì)話同時(shí)問答給團(tuán)隊(duì)使用前我習(xí)慣模擬 3 個(gè)人同時(shí)提問的場(chǎng)景驗(yàn)證并行處理能力和穩(wěn)定性。# 使用 shell 循環(huán)模擬并發(fā)請(qǐng)求CPU 機(jī)器謹(jǐn)慎使用 for i in 1 2 3; do curl -s http://127.0.0.1:11434/api/chat -d { model: deepseek-r1:7b, messages: [{role: user, content: 寫一段關(guān)于數(shù)據(jù)備份的說明}], stream: false } /tmp/response_$i.json done wait # 查看各響應(yīng)文件的大小 ls -lh /tmp/response_*.json邏輯說明三個(gè) curl 并行發(fā)出wait等待全部完成。響應(yīng)文件大小能看出是否有請(qǐng)求被拒絕或超時(shí)如果某個(gè)文件只有幾十字節(jié)多半是報(bào)錯(cuò)信息。參數(shù)說明純 CPU 機(jī)器上跑 3 并發(fā)可能會(huì)非常慢這是正?，F(xiàn)象重點(diǎn)看響應(yīng)是否完整而不是追求速度。如果內(nèi)存不足進(jìn)程可能被 OOM killer 殺掉用dmesg | tail檢查內(nèi)核日志。6.3 我的習(xí)慣模型版本鎖定與備份最后一個(gè)經(jīng)驗(yàn)也是我給自己定的規(guī)矩離線部署完成后第一時(shí)間備份整個(gè)~/.ollama/models目錄到移動(dòng)硬盤或文件服務(wù)器。大模型文件非常多真到哪天服務(wù)器硬盤掛了你會(huì)發(fā)現(xiàn)重新下載或拷貝的成本比當(dāng)初備份高得多。另外記錄當(dāng)前安裝的包版本和關(guān)鍵配置文件。我一般會(huì)在部署完成后執(zhí)行以下命令把結(jié)果存成一份文本文件放在服務(wù)器 /root 下# 記錄部署信息方便后續(xù)排障對(duì)照 echo ollama version /root/deploy-info.txt ollama --version /root/deploy-info.txt echo models /root/deploy-info.txt ollama list /root/deploy-info.txt echo systemd override /root/deploy-info.txt systemctl cat ollama.service /root/deploy-info.txt這套習(xí)慣幫過我很多次尤其是幾個(gè)月后有人來問這個(gè)模型當(dāng)時(shí)怎么配的直接翻文件就行比在群里翻聊天記錄靠譜一百倍。整個(gè)方向就是這樣在銀河麒麟 V10 上把 ollama 跑起來模型用 tar 包搬進(jìn)去chatbox 做客戶端適配參數(shù)用 systemd 環(huán)境變量管住最后用接口層驗(yàn)證兜底。希望這篇筆記能幫你在內(nèi)網(wǎng)環(huán)境里少走彎路把 DeepSeek 真正用起來。本文還有配套的精品資源點(diǎn)擊獲取