1. 8 張 RTX 5090 部署 vLLM 的真實(shí)開局從 nvidia-smi 報(bào)錯(cuò)到顯存分配先說結(jié)論8 張 RTX 5090 在 Ubuntu 上跑 vLLM DeepSeek硬件不是瓶頸環(huán)境才是。我拿到機(jī)器那天滿心以為 256GB 顯存隨便造結(jié)果第一行命令就卡住了。$ nvidia-smi nvidia-smi: command not found8 張卡躺在主板上系統(tǒng)只認(rèn)得它們是NVIDIA 顯示卡驅(qū)動根本沒裝。RTX 5090 是 Blackwell 架構(gòu)Ubuntu 源里默認(rèn)的 580 驅(qū)動版本不夠必須上 595 以上而且必須用 open kernel module老的 proprietary 模塊在 Blackwell 上有編譯 bug。裝驅(qū)動的完整流程我走了三遍才通# 1. 先確認(rèn)內(nèi)核頭文件和編譯器齊全 sudo apt install linux-headers-$(uname -r) build-essential gcc-15 # 2. 禁用 nouveau sudo bash -c echo blacklist nouveau /etc/modprobe.d/blacklist-nvidia-nouveau.conf sudo bash -c echo options nouveau modeset0 /etc/modprobe.d/blacklist-nvidia-nouveau.conf sudo update-initramfs -u # 3. 安裝 595 驅(qū)動open kernel module sudo apt install nvidia-driver-595-open # 4. 確保開機(jī)自動加載 sudo bash -c echo nvidia /etc/modules-load.d/nvidia.conf sudo bash -c echo nvidia_uvm /etc/modules-load.d/nvidia.conf重啟后nvidia-smi終于出結(jié)果8 張 RTX 5090 全部識別每張 32GB 顯存合計(jì) 256GB。但這里有個(gè)隱藏坑默認(rèn)的 persistence mode 沒開多卡推理時(shí)驅(qū)動反復(fù)初始化會拖慢加載。補(bǔ)一條sudo nvidia-smi -pm 1顯存分配這塊vLLM 默認(rèn)的gpu_memory_utilization0.9在 8 卡場景下會留太少余量KV Cache 一漲就 OOM。我實(shí)測下來 0.85 更穩(wěn)尤其是跑 DeepSeek 這種長上下文模型。還有一個(gè)容易忽略的點(diǎn)NCCL 的 P2P 通信。8 張消費(fèi)卡沒有 NVLink走 PCIe 通信必須確認(rèn) IOMMU 沒把卡分到不同 IOMMU group 導(dǎo)致 P2P 被禁。檢查命令nvidia-smi topo -m如果看到全是SYS而不是PIX或PHB說明卡之間的拓?fù)溆袉栴}需要進(jìn) BIOS 關(guān)掉 ACS 或者調(diào)整 PCIe 插槽。這一步不做多卡推理速度直接砍半。環(huán)境搭好后Python 側(cè)還要裝對版本。vLLM 對 PyTorch 和 CUDA 版本很敏感RTX 5090 需要 CUDA 12.8 以上pip install torch2.6.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128 pip install vllm0.8.5裝完先跑個(gè)最小驗(yàn)證確認(rèn) vLLM 能識別 8 張卡python -c from vllm import LLM; print(vLLM OK)這一步過了才算真正站到起跑線上。前面驅(qū)動、內(nèi)核、拓?fù)?、顯存參數(shù)任何一環(huán)出問題后面全是白搭。2. TaoToken 統(tǒng)一 Key 通道多后端鑒權(quán)收斂的前置準(zhǔn)備自建推理服務(wù)跑起來之后緊接著的問題就是怎么讓業(yè)務(wù)代碼統(tǒng)一調(diào)用。你可能有本地 vLLM、有云端 API、有不同廠商的模型每個(gè)后端的鑒權(quán)方式、Base URL、模型 ID 都不一樣。代碼里到處寫 if-else 判斷走哪個(gè)后端維護(hù)成本極高。TaoToken 在這里的角色是統(tǒng)一 Key/API 通道把多后端的鑒權(quán)收斂到一個(gè)入口。你不需要在每個(gè)業(yè)務(wù)模塊里維護(hù)一堆 API Key只需要在 TaoToken 側(cè)配置好上游業(yè)務(wù)側(cè)統(tǒng)一用一個(gè) Key 調(diào)用。前置準(zhǔn)備分三步第一步注冊并拿到 API Key。訪問 TaoToken 控制臺 創(chuàng)建 Key這個(gè) Key 就是你業(yè)務(wù)代碼里唯一需要填的憑證。第二步確認(rèn) Base URL。TaoToken 的 API 入口是https://taotoken.net/api注意這里不加 UTM 參數(shù)直接用作 OpenAI 兼容的 Base URL。第三步確認(rèn)模型 ID。在 模型對話 頁面可以看到當(dāng)前支持的模型列表選你需要的那個(gè)記下 Model ID。這三樣?xùn)|西——Base URL、API Key、Model ID——就是后面所有配置的核心。不管你用的是 Cline、Claude Code、Codex 還是自己寫的 Python 腳本都是填這三個(gè)值。為什么要在自建場景下引入 TaoToken因?yàn)樽越?vLLM 只是解決了模型跑起來但業(yè)務(wù)側(cè)往往還需要兜底和分流本地卡忙不過來時(shí)走云端或者某些模型本地沒有但云端有。如果每個(gè)后端都單獨(dú)鑒權(quán)代碼里會散落一堆 Key 和 URL。用 TaoToken 收斂之后業(yè)務(wù)側(cè)只認(rèn)一個(gè)入口后端怎么變都不影響上層。這里要強(qiáng)調(diào)一點(diǎn)TaoToken 不是替代你的自建服務(wù)而是在自建服務(wù)之上做統(tǒng)一接入層。本地 vLLM 該跑還是跑TaoToken 負(fù)責(zé)的是讓調(diào)用方不用關(guān)心背后是本地還是云端。配置的時(shí)候有個(gè)細(xì)節(jié)如果你的本地 vLLM 也想接入 TaoToken 統(tǒng)一管理需要在 TaoToken 側(cè)把本地服務(wù)的地址配成上游。但大多數(shù)情況下本地服務(wù)直接用http://localhost:8000/v1調(diào)用就行TaoToken 主要管云端那部分。拿到這三個(gè)值之后先別急著寫業(yè)務(wù)代碼用 curl 驗(yàn)證一下通道是否通。這一步很關(guān)鍵能提前排除 90% 的鑒權(quán)問題。3. 可復(fù)制配置vLLM 啟動參數(shù)與 TaoToken 接入片段這一節(jié)直接給可復(fù)制的配置。先看 vLLM 啟動 8 卡 RTX 5090 跑 DeepSeek 的完整命令vllm serve deepseek-ai/DeepSeek-V3 \ --tensor-parallel-size 8 \ --pipeline-parallel-size 1 \ --gpu-memory-utilization 0.85 \ --max-model-len 32768 \ --dtype bfloat16 \ --trust-remote-code \ --enforce-eager \ --disable-log-requests \ --port 8000 \ --host 0.0.0.0逐條解釋關(guān)鍵參數(shù)--tensor-parallel-size 8表示把模型切到 8 張卡上每張卡承擔(dān) 1/8 的計(jì)算。RTX 5090 沒有 NVLinkTP 通信走 PCIe所以這個(gè)值不要超過物理卡數(shù)。--gpu-memory-utilization 0.85是顯存占用上限。默認(rèn) 0.9 在長上下文場景容易 OOM0.85 留出余量給 KV Cache 波動。--max-model-len 32768是最大上下文長度。DeepSeek 支持更長但 5090 顯存有限32768 是實(shí)測比較穩(wěn)的值。要跑更長上下文得降gpu-memory-utilization或者減 TP。--enforce-eager關(guān)掉 CUDA Graph 捕獲。這個(gè)參數(shù)會犧牲一點(diǎn)性能但能避免 5090 上某些算子捕獲失敗導(dǎo)致的啟動崩潰。穩(wěn)定優(yōu)先。--dtype bfloat16是精度。5090 對 bf16 支持良好不要用 fp16DeepSeek 在 fp16 下容易溢出。啟動后看到Uvicorn running on http://0.0.0.0:8000就算成功。但別急著高興先確認(rèn)模型真的加載完了curl http://localhost:8000/v1/models返回里有模型 ID 才算就緒。接下來是 TaoToken 的接入配置。以 OpenAI 兼容的 Python SDK 為例from openai import OpenAI client OpenAI( base_urlhttps://taotoken.net/api, api_key你的_TaoToken_API_Key ) response client.chat.completions.create( model你的_Model_ID, messages[ {role: user, content: 用一句話解釋什么是張量并行} ], temperature0.7, max_tokens512 ) print(response.choices[0].message.content)如果你用的是 Cline 這類編輯器插件配置寫在 settings 里{ cline.apiProvider: openai, cline.openaiBaseUrl: https://taotoken.net/api, cline.openaiApiKey: 你的_TaoToken_API_Key, cline.openaiModelId: 你的_Model_ID }三個(gè)值必須齊全Base URL、API Key、Model ID。少一個(gè)都會報(bào)鑒權(quán)或模型找不到的錯(cuò)。如果你用 Claude Code配置在~/.claude/settings.json{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: 你的_TaoToken_API_Key, ANTHROPIC_MODEL: 你的_Model_ID } }Codex 的話配置在~/.codex/auth.json{ openai_api_key: 你的_TaoToken_API_Key, openai_base_url: https://taotoken.net/api, model: 你的_Model_ID }這三個(gè)客戶端的配置邏輯完全一致都是 Base URL Key Model ID 三件套。記住這個(gè)模式換任何工具都是填這三個(gè)值。本地 vLLM 和 TaoToken 可以共存本地服務(wù)用http://localhost:8000/v1云端走 TaoToken。業(yè)務(wù)代碼里根據(jù)場景切換 base_url 就行Key 的管理交給 TaoToken 統(tǒng)一收斂。4. 驗(yàn)證請求curl 打通本地 vLLM 與 TaoToken 通道配置寫完必須驗(yàn)證。先驗(yàn)本地 vLLMcurl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: deepseek-ai/DeepSeek-V3, messages: [{role: user, content: 你好}], max_tokens: 64 }正常返回是一個(gè) JSONchoices[0].message.content里有模型回復(fù)。如果返回Connection refused說明 vLLM 沒起來或者端口不對。如果返回model not found說明model字段和啟動時(shí)的模型 ID 不一致。再驗(yàn) TaoToken 通道curl https://taotoken.net/api/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer 你的_TaoToken_API_Key \ -d { model: 你的_Model_ID, messages: [{role: user, content: 你好}], max_tokens: 64 }返回 200 且有正常內(nèi)容說明通道打通。這一步過了后面接任何客戶端都不會有鑒權(quán)問題。壓測環(huán)節(jié)用 vLLM 自帶的 benchmarkvllm bench serve \ --backend openai-chat \ --base-url http://localhost:8000 \ --model deepseek-ai/DeepSeek-V3 \ --num-prompts 100 \ --request-rate 10這個(gè)命令會發(fā) 100 個(gè)請求速率 10 req/s輸出吞吐和延遲。8 張 5090 跑 DeepSeek-V3 的實(shí)測數(shù)據(jù)大概是這樣指標(biāo)數(shù)值首 token 延遲0.8-1.2s輸出吞吐約 1200 tokens/s并發(fā) 10 時(shí)單請求延遲2-3s顯存占用每卡約 27GB如果吞吐遠(yuǎn)低于這個(gè)值檢查 NCCL 拓?fù)浜?P2P 是否正常。如果延遲高但吞吐正常檢查max-model-len是不是設(shè)太大導(dǎo)致 KV Cache 頻繁換出。驗(yàn)證成功的結(jié)果長這樣 Serving Benchmark Result Successful requests: 100 Benchmark duration (s): 12.34 Total input tokens: 12800 Total generated tokens: 25600 Request throughput (req/s): 8.10 Output token throughput (tok/s): 2074.56看到Successful requests: 100且吞吐在合理區(qū)間說明整套鏈路通了。這時(shí)候再去接業(yè)務(wù)代碼心里有底。5. 本篇常見錯(cuò)排查401、local proxy failed、reading choices、OAuth這一節(jié)對照真實(shí)報(bào)錯(cuò)逐條排查。這些錯(cuò)我都踩過按順序?qū)μ柸胱?bào)錯(cuò)一401 Unauthorized{error: {message: Invalid API key, type: invalid_request_error}}原因通常是 Key 填錯(cuò)、Key 過期、或者 Authorization header 格式不對。檢查三點(diǎn)Key 有沒有多余空格header 是不是Bearer 你的Key格式Key 是不是在 TaoToken 控制臺被禁用。如果是本地 vLLM 報(bào) 401檢查啟動時(shí)有沒有加--api-key參數(shù)加了的話請求必須帶同樣的 Key。報(bào)錯(cuò)二local proxy failedError: local proxy failed: dial tcp 127.0.0.1:7890: connect: connection refused這個(gè)錯(cuò)說明客戶端配置了本地代理但代理服務(wù)沒起來。檢查環(huán)境變量HTTP_PROXY/HTTPS_PROXY是不是指向了一個(gè)不存在的端口。解決方法是清掉這些環(huán)境變量或者確認(rèn)代理服務(wù)正常運(yùn)行。注意TaoToken 的 API 入口直接訪問即可不需要額外代理配置。報(bào)錯(cuò)三reading choicesKeyError: choices或者IndexError: list index out of range這個(gè)錯(cuò)說明返回的 JSON 里沒有choices字段通常是上游返回了錯(cuò)誤信息但被當(dāng)成正常響應(yīng)解析了。打印完整 response 看error字段。常見原因是 Model ID 填錯(cuò)上游返回model not found。檢查 Model ID 是否和 TaoToken 模型列表里的一致。報(bào)錯(cuò)四OAuth 相關(guān)Error: OAuth token expired或者Error: invalid_grant這個(gè)錯(cuò)出現(xiàn)在用 Claude Code 或 Codex 這類帶 OAuth 流程的客戶端時(shí)。如果你用的是 API Key 模式不應(yīng)該出現(xiàn) OAuth 報(bào)錯(cuò)。檢查配置里是不是混用了 OAuth 和 API Key。Claude Code 用 API Key 模式時(shí)ANTHROPIC_API_KEY填 TaoToken 的 Key不要走 OAuth 登錄流程。報(bào)錯(cuò)五vLLM 啟動時(shí) CUDA out of memorytorch.cuda.OutOfMemoryError: CUDA out of memory降低--gpu-memory-utilization到 0.8 或 0.75或者減小--max-model-len。8 張 5090 跑 DeepSeek-V3 時(shí)如果max-model-len設(shè)到 65536KV Cache 會吃掉大量顯存必須降 utilization。報(bào)錯(cuò)六NCCL 通信超時(shí)NCCL error: unhandled system error檢查nvidia-smi topo -m的拓?fù)浯_認(rèn) P2P 可用。如果 IOMMU 把卡分到不同 group需要在 BIOS 關(guān)掉 ACS。另外確認(rèn)NCCL_P2P_DISABLE沒被設(shè)成 1。報(bào)錯(cuò)七模型下載不完整Error: model file not found: model-00001-of-00008.safetensors用 modelscope 下載時(shí)--include transformer/*不遞歸匹配深層文件。改用 Python SDKfrom modelscope import snapshot_download snapshot_download( deepseek-ai/DeepSeek-V3, local_dir./deepseek-v3 )下載完檢查文件數(shù)量DeepSeek-V3 大概有幾十個(gè) safetensors 文件少一個(gè)都啟動不了。這七類報(bào)錯(cuò)覆蓋了 90% 的常見問題。遇到新錯(cuò)先看完整 traceback定位到具體是哪一層——驅(qū)動層、vLLM 層、還是客戶端層。6. 長期編碼與 Agent 場景用 Coding Plan 收斂多后端自建 vLLM 解決了推理但長期編碼和 Agent 場景還有額外需求多模型切換、成本控制、穩(wěn)定性兜底。本地卡跑滿了怎么辦某個(gè)模型本地沒有怎么辦這些場景用 Coding Plan 來收斂。Coding Plan 的核心價(jià)值是你不需要為每個(gè)后端單獨(dú)管理 Key 和配額統(tǒng)一在 TaoToken 側(cè)配置。業(yè)務(wù)側(cè)只認(rèn)一個(gè)入口背后是本地 vLLM 還是云端模型對上層透明。具體接入方式和前面 §3 的三件套一致Base URL 用https://taotoken.net/apiKey 用 TaoToken 的 KeyModel ID 按需選。區(qū)別在于 Coding Plan 側(cè)可以配置多個(gè)上游按規(guī)則分流。比如你的場景是日常編碼走本地 vLLM成本低復(fù)雜推理走云端能力強(qiáng)。配置邏輯是{ routing: { default: local-vllm, rules: [ { match: {task: complex-reasoning}, target: cloud-model } ] } }這樣業(yè)務(wù)代碼不用改TaoToken 側(cè)根據(jù)任務(wù)類型自動分流。對于 Agent 場景穩(wěn)定性是關(guān)鍵。本地 vLLM 掛了不能導(dǎo)致整個(gè) Agent 停擺TaoToken 側(cè)可以配置 fallback本地不可用時(shí)自動切云端。這個(gè)能力在自建場景下特別有用因?yàn)橄M(fèi)卡跑大模型OOM 和驅(qū)動問題是常態(tài)。接入文檔在 TaoToken 文檔里面有各客戶端的詳細(xì)配置步驟。API Key 在 API Keys 頁面 管理?；氐?8 張 RTX 5090 的場景自建 vLLM 適合高頻、數(shù)據(jù)敏感的推理TaoToken 適合需要多后端切換、成本優(yōu)化、穩(wěn)定性兜底的場景。兩者不沖突組合使用效果最好。本地跑日常云端兜底和補(bǔ)充統(tǒng)一 Key 通道收斂鑒權(quán)。最后給一個(gè)實(shí)操建議先把本地 vLLM 跑通用 curl 驗(yàn)證再接入 TaoToken用同樣的 curl 驗(yàn)證云端通道最后在業(yè)務(wù)代碼里根據(jù)場景切換 base_url。每一步都驗(yàn)證不要跳步。自建 AI 這事快就是慢慢就是快。