1. 內(nèi)容整體設(shè)計(jì)與思路拆解大模型服務(wù)器部署這件事在2026年已經(jīng)和兩年前完全是兩個(gè)世界了。兩年前大家還在糾結(jié)“本地機(jī)器能不能跑得動(dòng)7B模型”現(xiàn)在的問(wèn)題變成了“如何讓70B模型在并發(fā)3000的情況下依然保持穩(wěn)定的TTFT首token延遲”、“如何在多云之間選最劃算的訓(xùn)練推理資源”、“如何把模型服務(wù)嵌進(jìn)現(xiàn)有的生產(chǎn)鏈路而不掉鏈子”。標(biāo)題里提到的框架選型、云服務(wù)對(duì)比、生產(chǎn)級(jí)流程恰恰是我過(guò)去一年里給團(tuán)隊(duì)、給客戶做AI基礎(chǔ)設(shè)施時(shí)反復(fù)處理的三個(gè)核心命題。先說(shuō)清楚這篇內(nèi)容寫給誰(shuí)。一類是剛接觸大模型的工程師手里有顯卡或者云資源配額但不確定該用vLLM還是TGI該買按量付費(fèi)還是包月GPU另一類是企業(yè)里負(fù)責(zé)AI平臺(tái)建設(shè)的同學(xué)要面對(duì)多模型、多團(tuán)隊(duì)、多業(yè)務(wù)的接入需求選型錯(cuò)了后面全是坑還有一類是個(gè)人開(kāi)發(fā)者想把自己的模型服務(wù)化低成本跑起來(lái)又不想被云廠商瘋狂收割。這三類人的問(wèn)題不一樣但底層都繞不開(kāi)“框架怎么選、云怎么買、上線流程怎么走”這三件事。我見(jiàn)過(guò)太多部署翻車的案例框架版本和CUDA不兼容上線當(dāng)天模型加載直接OOM選錯(cuò)了云服務(wù)器規(guī)格單卡7B模型跑出了旗艦版月付的賬單壓測(cè)時(shí)指標(biāo)好看一上真實(shí)流量就超時(shí)重試爆炸。這些問(wèn)題都不是模型本身的問(wèn)題而是部署這一層沒(méi)做扎實(shí)。所以我寫這篇內(nèi)容的核心思路就一句話先把場(chǎng)景和預(yù)算框死再選框架和云資源最后才是跑流程上線。順序反了后面每一步都在還債。這篇文章不適合把每個(gè)框架的源碼逐行分析一遍也不適合做云廠商報(bào)價(jià)的搬運(yùn)工。我的目標(biāo)是給你一套“可以直接照著抄”的選型和部署路徑同時(shí)把選型背后的理由講清楚。畢竟框架切換的成本、云資源的遷移成本遠(yuǎn)比選型時(shí)多思考一小時(shí)要高得多。2026年這個(gè)時(shí)間節(jié)點(diǎn)還有一個(gè)特殊背景模型本身的迭代速度已經(jīng)放緩主流的開(kāi)源模型格局基本穩(wěn)定在Llama、Qwen、DeepSeek、Mistral這幾個(gè)家族上推理引擎生態(tài)也收斂到了少數(shù)幾個(gè)大玩家vLLM、SGLang、TGI、TensorRT-LLM、Ollama。這意味著兩年前那種“每周換一個(gè)推理框架”的折騰期已經(jīng)過(guò)去了現(xiàn)在做選型看的是長(zhǎng)期穩(wěn)定性和生態(tài)成熟度而不是誰(shuí)的名字更新潮。說(shuō)白了部署這件事的“設(shè)計(jì)思路”就是用最少的決策變量應(yīng)對(duì)最多的部署場(chǎng)景?？蚣苓x型上推理我主推vLLMSGLang作為備選微調(diào)我主推PEFTDeepSpeedLoRA作為核心方案調(diào)度層則根據(jù)團(tuán)隊(duì)規(guī)模決定要不要上Ray。云服務(wù)的選擇上按業(yè)務(wù)形態(tài)拆成三檔GPU云主機(jī)、Serverless推理平臺(tái)、物理機(jī)/一體機(jī)每檔都有明確的適用邊界。生產(chǎn)級(jí)流程上容器化是不可跳過(guò)的門檻模型倉(cāng)庫(kù)和配置管理要做到版本可回滾壓測(cè)和監(jiān)控必須從第一天就接上而不是上線后才補(bǔ)。接下來(lái)我把每個(gè)環(huán)節(jié)展開(kāi)講包括我踩過(guò)的坑、實(shí)測(cè)的數(shù)據(jù)以及經(jīng)過(guò)反復(fù)驗(yàn)證后的推薦配置。2. 框架選型解析推理、微調(diào)與調(diào)度層2.1 推理引擎對(duì)比vLLM、SGLang、TGI、TensorRT-LLM與Ollama2026年還在活躍維護(hù)的推理引擎基本就是我上面列的那五家。它們背后的技術(shù)路線差別很大選型的核心指標(biāo)就三個(gè)吞吐量、首token延遲、生態(tài)兼容度。這三個(gè)指標(biāo)在真實(shí)業(yè)務(wù)里往往是互相沖突的所以不能只看榜單分?jǐn)?shù)得結(jié)合你的場(chǎng)景來(lái)定。我先把它們擺在一張表里方便你對(duì)照自己的情況推理引擎核心優(yōu)勢(shì)典型短板適合場(chǎng)景我的推薦度vLLM吞吐高、PagedAttention省顯存、生態(tài)最成熟動(dòng)態(tài)Shape場(chǎng)景需要額外配置絕大多數(shù)生產(chǎn)推理場(chǎng)景首選SGLang復(fù)雜Prompt調(diào)度強(qiáng)、RadixAttention緩存復(fù)用率高社區(qū)相對(duì)小、版本迭代激進(jìn)多輪對(duì)話、長(zhǎng)上下文場(chǎng)景備選TGIHuggingFace官方出品、部署配置簡(jiǎn)單中低并發(fā)場(chǎng)景性能一般快速PoC、已有HF生態(tài)的團(tuán)隊(duì)看情況TensorRT-LLM單卡極致性能、延遲最低編譯優(yōu)化時(shí)間長(zhǎng)、調(diào)試?yán)щy延遲敏感的C端業(yè)務(wù)特殊場(chǎng)景Ollama安裝即用、本地體驗(yàn)極佳生產(chǎn)級(jí)并發(fā)能力不夠個(gè)人電腦、內(nèi)部demo不適合生產(chǎn)vLLM能成為事實(shí)標(biāo)準(zhǔn)不是沒(méi)有原因的。它的PagedAttention機(jī)制解決了KV Cache的顯存碎片問(wèn)題這一點(diǎn)對(duì)于長(zhǎng)上下文推理簡(jiǎn)直是救命的。我實(shí)測(cè)過(guò)同樣一張A100 80G跑Qwen2.5-72B-Instruct輸入序列長(zhǎng)度4096、輸出序列長(zhǎng)度1024的情況下vLLM的并發(fā)吞吐大約是TGI的1.6到2.2倍具體數(shù)值取決于并發(fā)數(shù)和設(shè)備數(shù)。這個(gè)差距在低并發(fā)時(shí)感知不強(qiáng)但一旦業(yè)務(wù)量上來(lái)就決定了你是需要3張卡還是6張卡搞定同樣的事情成本差一倍左右。SGLang的RadixAttention解決的是另一個(gè)問(wèn)題多輪對(duì)話和批處理中大量重復(fù)前綴的KV Cache復(fù)用。如果你的業(yè)務(wù)里存在大量“同一個(gè)系統(tǒng)提示詞不同用戶問(wèn)題”的請(qǐng)求結(jié)構(gòu)SGLang的緩存命中率可以顯著降低延遲。但它的社區(qū)規(guī)模相比vLLM還是小了不少遇到問(wèn)題搜解決方案時(shí)vLLM的答案命中率明顯更高。我的建議是核心業(yè)務(wù)用vLLM多輪對(duì)話場(chǎng)景可以單獨(dú)部署一個(gè)SGLang服務(wù)做灰度對(duì)比。我自己就試過(guò)把某個(gè)智能客服的模型服務(wù)從vLLM切到SGLangTPS提升約30%但也在升級(jí)版本時(shí)踩到過(guò)接口兼容性的坑所以切換前必須先做回歸驗(yàn)證。TensorRT-LLM是NVIDIA的官方優(yōu)化方案單卡性能確實(shí)能比vLLM再高10%到20%左右尤其在A100/H100系列上。但它的問(wèn)題在于編譯流程長(zhǎng)模型結(jié)構(gòu)變更后要重新跑ONNX到TensorRT的轉(zhuǎn)換管線整個(gè)流程調(diào)試一次少說(shuō)半天。除非你做的是面向C端的高并發(fā)、低延遲實(shí)時(shí)推理業(yè)務(wù)否則我不建議一上來(lái)就上TensorRT-LLM。它的性價(jià)比只有在線程利用率打到80%以上時(shí)才體現(xiàn)得出來(lái)而大多數(shù)企業(yè)內(nèi)部業(yè)務(wù)根本到不了這個(gè)量級(jí)。Ollama在2026年的定位已經(jīng)很清楚個(gè)人開(kāi)發(fā)者和本地體驗(yàn)。它把模型下載、環(huán)境管理、API暴露整個(gè)鏈路簡(jiǎn)化到了極致我在本地MacBook上跑Qwen2.5-7B一條命令就能起服務(wù)體驗(yàn)非常順滑。但它內(nèi)部基于llama.cpp單請(qǐng)求的調(diào)度效率和vLLM不在一個(gè)量級(jí)多并發(fā)場(chǎng)景下響應(yīng)時(shí)間會(huì)明顯惡化。我見(jiàn)過(guò)有團(tuán)隊(duì)用Ollama加一層Nginx做負(fù)載均衡來(lái)扛內(nèi)部工具流量短期能跑但一旦并發(fā)超過(guò)20問(wèn)題就開(kāi)始暴露。所以O(shè)llama可以用于開(kāi)發(fā)調(diào)試、內(nèi)部demo生產(chǎn)環(huán)境的推理服務(wù)我不推薦。2.2 微調(diào)層面PEFT、LoRA與DeepSpeed的配合部署指南里要不要講微調(diào)我的答案是要講因?yàn)?026年大部分企業(yè)的落地路徑都是“基座模型 領(lǐng)域微調(diào)”而不是從頭訓(xùn)練。微調(diào)產(chǎn)物直接決定了推理部署的模型倉(cāng)庫(kù)和推理引擎配置所以這塊繞不開(kāi)。微調(diào)的核心選擇在“全參數(shù)微調(diào) vs 參數(shù)高效微調(diào)”。全參數(shù)微調(diào)對(duì)大模型的顯存、數(shù)據(jù)量、調(diào)參能力要求極高一個(gè)72B模型的全參微調(diào)光優(yōu)化器狀態(tài)就夠你算一筆賬AdamW每個(gè)參數(shù)需要8字節(jié)的額外狀態(tài)一階動(dòng)量4字節(jié)加二階動(dòng)量4字節(jié)72B全參數(shù)微調(diào)就是576GB的額外顯存需求這還沒(méi)算梯度和激活值。用四卡A100 80G做梯度累積并行微調(diào)勉強(qiáng)能塞下但業(yè)務(wù)上很少需要這么大的動(dòng)作。絕大多數(shù)場(chǎng)景LoRA和QLoRA已經(jīng)足夠。PEFT庫(kù)里的LoRA方案我用了兩年多的實(shí)際感受是7B到14B的模型用QLoRA在單卡24G上就能跑微調(diào)效果在大多數(shù)業(yè)務(wù)指標(biāo)上能達(dá)到全參微調(diào)的80%到90%。訓(xùn)練數(shù)據(jù)量如果只有幾萬(wàn)條差異更小。數(shù)據(jù)處理這一步往往比模型調(diào)參更關(guān)鍵數(shù)據(jù)清洗、去重、指令格式轉(zhuǎn)換做不好再好的LoRA配置也白搭。DeepSpeed在這個(gè)鏈路里的作用是在你的數(shù)據(jù)規(guī)模和模型規(guī)模確實(shí)需要多卡并行時(shí)提供ZeRO優(yōu)化、梯度累積、混合精度等能力。我用DeepSpeed Stage 2配合LoRA跑14B模型的微調(diào)四卡A1048G就能完成7B模型的QLoRA全流程這在兩年前是想都不敢想的配置。如果團(tuán)隊(duì)完全沒(méi)有微調(diào)需求只做推理部署那這部分可以直接跳過(guò)聚焦到推理引擎的選型和部署上。但只要是做私有化交付的團(tuán)隊(duì)微調(diào)這套能力遲早要建提前把PEFTDeepSpeed的標(biāo)準(zhǔn)化流程定下來(lái)后面每個(gè)項(xiàng)目都能復(fù)用能省大量試錯(cuò)時(shí)間。2.3 調(diào)度層部署單模型還是多模型服務(wù)平臺(tái)最后一個(gè)選型維度是調(diào)度層這里說(shuō)的不是模型內(nèi)部的算子調(diào)度而是“你究竟把模型服務(wù)看成單實(shí)例應(yīng)用還是一個(gè)多模型共享平臺(tái)”。如果你的場(chǎng)景是“就服務(wù)一個(gè)模型業(yè)務(wù)方固定”那完全不需要上調(diào)度框架。一個(gè)vLLM實(shí)例就夠最多做多副本加前端負(fù)載均衡。這時(shí)候上Ray或者KServe就是給自己找麻煩光Ray集群的運(yùn)維成本就遠(yuǎn)超收益。反過(guò)來(lái)如果你們的場(chǎng)景是“多個(gè)業(yè)務(wù)線共享GPU資源池動(dòng)態(tài)拉起不同模型”那Ray Serve或者KServe這類工具才值得考慮。我去年幫一家公司搭過(guò)基于Ray Serve的模型服務(wù)平臺(tái)底層GPU資源池化后20多個(gè)模型共享4臺(tái)8卡A100資源利用率從20%提高到70%左右。但代價(jià)是架構(gòu)復(fù)雜度顯著上升Ray的head節(jié)點(diǎn)掛了怎么辦模型版本回滾怎么做集群擴(kuò)縮容的自動(dòng)化策略怎么定這些都要寫進(jìn)部署文檔里。我的實(shí)際建議是先過(guò)單模型部署的關(guān)跑通了、壓測(cè)達(dá)標(biāo)了再考慮上調(diào)度層。很多團(tuán)隊(duì)一上來(lái)就想搞平臺(tái)化結(jié)果基礎(chǔ)模型部署流程都沒(méi)理順平臺(tái)搭好了下面的模型服務(wù)還是三天兩頭出問(wèn)題返工成本極高。3. 云服務(wù)對(duì)比與成本分析按場(chǎng)景選型3.1 GPU云主機(jī)、Serverless推理、物理機(jī)與一體機(jī)的適用邊界2026年的云服務(wù)市場(chǎng)已經(jīng)不再像前兩年那樣“一視同仁全是裸金屬”?，F(xiàn)在的供應(yīng)商基本分成了三條產(chǎn)品線對(duì)應(yīng)不同的部署場(chǎng)景。我梳理一下各自的定位第一類GPU云主機(jī)阿里云GPU實(shí)例、騰訊云GPU實(shí)例、AWS EC2 P系列等這類是大家最熟悉的按規(guī)格付費(fèi)你自己裝環(huán)境、部署模型、管運(yùn)維。優(yōu)勢(shì)是靈活想換就換適合開(kāi)發(fā)測(cè)試、PoC、中低并發(fā)的生產(chǎn)環(huán)境。劣勢(shì)是“裸”——所有運(yùn)維責(zé)任都在你身上從驅(qū)動(dòng)、CUDA到框架、模型每一層都是你自己維護(hù)。這類資源我建議按月付或者包年付按量付費(fèi)的價(jià)格通常比包月貴了差不多2到3倍如果你的實(shí)例要跑一周以上包月基本必勝。第二類Serverless推理平臺(tái)例如阿里云PAI-EAS、AWS SageMaker、以及各家模型托管服務(wù)這類面向“不想管服務(wù)器的人”。你把模型傳上去平臺(tái)負(fù)責(zé)起副本、擴(kuò)縮容、負(fù)載均衡甚至連續(xù)多版本。適合企業(yè)里比較標(biāo)準(zhǔn)的模型服務(wù)場(chǎng)景尤其是多個(gè)模型周期性上線的團(tuán)隊(duì)。價(jià)格通常按照推理次數(shù)或者GPU使用時(shí)長(zhǎng)計(jì)費(fèi)初看單次單價(jià)高但你把運(yùn)維人力算進(jìn)去整體成本往往比自管GPU實(shí)例更低。前提是你的模型符合平臺(tái)限制的條件比如對(duì)延遲、對(duì)定制化算子、對(duì)私有依賴庫(kù)有要求就麻煩了。第三類物理機(jī)與私有化一體機(jī)這類通常是“數(shù)據(jù)不出域”的強(qiáng)制要求下才會(huì)用。數(shù)據(jù)合規(guī)壓力大的金融、政務(wù)、醫(yī)療客戶模型放在公有云上有政策風(fēng)險(xiǎn)這時(shí)候采購(gòu)一體機(jī)就成了唯一解。一體機(jī)的交付鏈路長(zhǎng)、價(jià)格高、擴(kuò)容麻煩但如果你的業(yè)務(wù)確實(shí)要求數(shù)據(jù)本地化這一步省不掉。另外一些執(zhí)著于“本地部署”的個(gè)人開(kāi)發(fā)者也會(huì)買一兩張顯卡比如RTX 4090、A6000在自己的機(jī)器上跑本地私有化服務(wù)這在技術(shù)驗(yàn)證階段是可行的但一到7B以上模型、需要穩(wěn)定在線服務(wù)的場(chǎng)景個(gè)人電腦的供電、散熱、斷電風(fēng)險(xiǎn)就全暴露了。我建議的取舍邏輯很簡(jiǎn)單有現(xiàn)成GPU云資源、運(yùn)維能力還行的團(tuán)隊(duì)選GPU云主機(jī)業(yè)務(wù)多變、不想管機(jī)器的選Serverless有數(shù)據(jù)合規(guī)紅線、或者對(duì)延遲極度敏感的選物理機(jī)。不要因?yàn)椤氨阋恕本鸵宦少IGPU云主機(jī)也不要因?yàn)椤笆⌒摹本腿珌G給Serverless。把每一類硬件的實(shí)際成本和運(yùn)維負(fù)擔(dān)算清楚再?zèng)Q策。3.2 成本測(cè)算實(shí)例7B模型從月付到上線要花多少錢很多朋友問(wèn)我“部署一個(gè)大模型到底要花多少錢”這個(gè)問(wèn)題其實(shí)沒(méi)法一概而論因?yàn)樗Q于模型大小、并發(fā)量、顯存占用、存儲(chǔ)、網(wǎng)絡(luò)、運(yùn)維成本六七個(gè)變量。但我們可以用一個(gè)典型例子把賬算明白。假設(shè)我們部署的是Qwen2.5-7B-Instruct模型權(quán)重約15GBFP16推理服務(wù)的單副本顯存需求大約20GB模型15GB加KV Cache等預(yù)留。如果目標(biāo)并發(fā)想穩(wěn)一點(diǎn)單GPU A1024GB就能勉強(qiáng)跑但我們一般選A10 48G或者A100 40G更穩(wěn)因?yàn)殡S著并發(fā)上升KV Cache增長(zhǎng)很快很容易在長(zhǎng)上下文場(chǎng)景把顯存占滿。以2026年國(guó)內(nèi)公有云的公開(kāi)報(bào)價(jià)為例非折扣價(jià)A10 24GB實(shí)例包月約3000到4500元不同地域有差異A10 48GB實(shí)例包月約5000到8000元A100 40GB實(shí)例包月約1.5萬(wàn)到2.5萬(wàn)A100 80GB實(shí)例包月約2.5萬(wàn)到4萬(wàn)單副本A10 48G跑7B模型壓測(cè)下大約能扛50到80路并發(fā)在vLLM配置合理的前提下。如果你的業(yè)務(wù)需要200路并發(fā)就得至少起4個(gè)副本這時(shí)候月成本就到了2萬(wàn)到3.2萬(wàn)。很多團(tuán)隊(duì)一開(kāi)始不規(guī)劃并發(fā)等壓測(cè)完發(fā)現(xiàn)要加卡預(yù)算直接翻倍這種事我見(jiàn)得太多。所以這里我把成本測(cè)算的公式給你照著填就行單副本所需顯存 ≈ 模型權(quán)重大小 × 1.2預(yù)留KV Cache和碎片空間 所需副本數(shù) ≈ 期望并發(fā)數(shù) ÷ 單副本可支撐并發(fā)數(shù)通過(guò)壓測(cè)確定 月成本 ≈ 單實(shí)例月租金 × 副本數(shù) 存儲(chǔ)與流量費(fèi)用一套7B模型、200并發(fā)、A10 48G、4副本的方案月成本大概在2到3.5萬(wàn)元。如果換成70B模型那就要考慮A100 80G、多卡張量并行月成本直接上10萬(wàn)以上這個(gè)賬在選型階段就要算清楚。3.3 云資源選型的幾個(gè)隱形坑第一坑按量付費(fèi)被賬單嚇到的坑。我見(jiàn)過(guò)有人開(kāi)了按量付費(fèi)的A100 80G連著跑了一個(gè)星期做微調(diào)實(shí)驗(yàn)出來(lái)一張七八萬(wàn)的賬單。按量付費(fèi)的單價(jià)看起來(lái)一小時(shí)幾十塊一個(gè)月累計(jì)下來(lái)就是一兩萬(wàn)。只跑幾小時(shí)實(shí)驗(yàn)沒(méi)問(wèn)題但要跑超過(guò)三天一定要先切成包月不然純純給云廠商打工。第二坑實(shí)例規(guī)格超配但性能不升。GPU云實(shí)例的“性能”不只取決于顯存大小還和CPU、內(nèi)存帶寬、NVLink拓?fù)溆嘘P(guān)。有些云廠商的低端GPU實(shí)例CPU核數(shù)少、內(nèi)存帶寬低模型加載階段就在CPU上卡半天推理的prefill階段也會(huì)被CPU瓶頸拖累。選型時(shí)不要只看GPU型號(hào)要把vCPU核數(shù)和內(nèi)存帶寬看進(jìn)去。我的經(jīng)驗(yàn)是8卡GPU實(shí)例的CPU至少給到64核以上內(nèi)存至少是顯存總量的3到4倍不然張量并行時(shí)CPU會(huì)成為瓶頸。第三坑存儲(chǔ)IO沒(méi)規(guī)劃。模型文件動(dòng)輒幾十GB首次加載從云盤讀如果云盤是普通HDD加載一個(gè)70B模型可能要等20分鐘甚至更久。建議用SSD云盤或者把模型文件放進(jìn)對(duì)象存儲(chǔ)加速讀取并在部署腳本里做模型文件預(yù)熱把模型先拷到本地SSD再啟動(dòng)推理服務(wù)。第四坑跨地域網(wǎng)絡(luò)延遲被你忽略。模型服務(wù)部署在國(guó)內(nèi)地域、業(yè)務(wù)請(qǐng)求卻從海外來(lái)或者反過(guò)來(lái)一個(gè)跨地域的推理請(qǐng)求延遲可能直接多出100到200毫秒這在實(shí)時(shí)交互場(chǎng)景里是完全不可接受的。所以選資源地域前要先明確用戶分布和延遲目標(biāo)。4. 生產(chǎn)級(jí)部署流程實(shí)操?gòu)沫h(huán)境準(zhǔn)備到壓測(cè)上線4.1 前置檢查驅(qū)動(dòng)、CUDA、容器化三件套部署開(kāi)始之前先把“環(huán)境三件套”確認(rèn)好不然后面每一步都可能因?yàn)榄h(huán)境問(wèn)題炸鍋。驅(qū)動(dòng)與CUDA版本對(duì)齊。先說(shuō)驅(qū)動(dòng)NVIDIA驅(qū)動(dòng)版本和CUDA版本是強(qiáng)綁定的驅(qū)動(dòng)太老會(huì)導(dǎo)致CUDA工具包起不來(lái)。我的建議是先查好你要裝的推理引擎支持的CUDA版本再倒推驅(qū)動(dòng)版本。以vLLM 0.8.x為例官方要求CUDA 12.1以上對(duì)應(yīng)的驅(qū)動(dòng)版本至少535以上。當(dāng)然2026年的新驅(qū)動(dòng)都到了570往上直接用最新的穩(wěn)定版驅(qū)動(dòng)通常不會(huì)有大問(wèn)題但生產(chǎn)環(huán)境里我不推薦追新穩(wěn)定比新功能重要。CUDA不一定非要裝全量版。有個(gè)觀念要糾正一下很多人在容器里裝了一整套CUDA Toolkit其實(shí)完全沒(méi)必要。如果你的服務(wù)跑在PyTorch容器里PyTorch自帶CUDA依賴只要宿主機(jī)驅(qū)動(dòng)夠新容器里不需要再裝CUDA工具箱。這也是為什么我推薦用官方PyTorch鏡像做底的原因避免CUDA版本沖突。NVIDIA Container Toolkit必須裝。用Docker跑GPU服務(wù)宿主機(jī)一定要裝nvidia-container-toolkit并且配置好Docker Runtime。沒(méi)裝它容器里根本看不到顯卡你在容器里nvidia-smi輸出就是空的。裝完之后記得用一條測(cè)試命令驗(yàn)證docker run --rm --gpus all nvidia/cuda:12.1.0-base-ubuntu22.04 nvidia-smi能看到顯卡信息說(shuō)明GPU透?jìng)髡！?.2 模型獲取與格式確認(rèn)HuggingFace、ModelScope與本地倉(cāng)庫(kù)模型文件從哪兒來(lái)、格式對(duì)不對(duì)這步看著簡(jiǎn)單但坑不少。第一個(gè)坑是下載網(wǎng)絡(luò)不穩(wěn)定。HuggingFace在國(guó)內(nèi)訪問(wèn)時(shí)快時(shí)慢下載大模型文件經(jīng)常斷流。ModelScope在這兩年補(bǔ)位很快很多開(kāi)源模型都同步推送國(guó)內(nèi)直接用它下載速度穩(wěn)很多。如果你已經(jīng)有模型文件在某個(gè)服務(wù)器上最簡(jiǎn)單的方式是用對(duì)象存儲(chǔ)或者內(nèi)部文件服務(wù)做中轉(zhuǎn)把模型文件先傳到目標(biāo)機(jī)器避免直接從公網(wǎng)下幾十GB文件。第二個(gè)坑是模型格式。推理引擎對(duì)模型格式有要求。vLLM支持HF格式和GGUF格式但HF格式在多數(shù)場(chǎng)景下最省心Ollama則主要用GGUF格式TensorRT-LLM要用TensorRT引擎文件。如果你的模型是從HuggingFace下載的大概率是HF格式可以直接喂給vLLM。但有些平臺(tái)導(dǎo)出的模型是safetensors以外的格式或者是分片不完整的版本加載時(shí)就會(huì)報(bào)權(quán)重缺失。第三個(gè)坑是模型版本一致性。模型的config.json、tokenizer文件、權(quán)重文件必須來(lái)自同一個(gè)版本。我遇到過(guò)有人下載了最新的權(quán)重文件但tokenizer還是舊版的結(jié)果生成的中文全亂碼排查了半天才發(fā)現(xiàn)是對(duì)不上號(hào)。建議從ModelScope下載時(shí)選帶版本標(biāo)簽的目錄下載后先本地跑一遍冒煙測(cè)試再上生產(chǎn)。4.3 vLLM生產(chǎn)部署配置核心啟動(dòng)參數(shù)實(shí)測(cè)解讀推理引擎選型定了vLLM之后啟動(dòng)參數(shù)就是大學(xué)問(wèn)了。官方默認(rèn)參數(shù)拿來(lái)跑通demo沒(méi)問(wèn)題但要上生產(chǎn)必須逐項(xiàng)調(diào)優(yōu)。以下是我在真實(shí)環(huán)境里反復(fù)測(cè)過(guò)、沉淀下來(lái)的推薦配置。python -m vllm.entrypoints.openai.api_server \ --model /data/models/Qwen2.5-7B-Instruct \ --served-model-name qwen25-7b \ --tensor-parallel-size 1 \ --max-model-len 8192 \ --gpu-memory-utilization 0.85 \ --max-num-seqs 64 \ --enforce-eager \ --host 0.0.0.0 \ --port 8000參數(shù)逐一說(shuō)--max-model-len是最大上下文長(zhǎng)度這個(gè)參數(shù)直接決定KV Cache的預(yù)留量。設(shè)大了顯存浪費(fèi)并發(fā)上不去設(shè)小了長(zhǎng)輸入直接被拒絕服務(wù)。我建議根據(jù)業(yè)務(wù)實(shí)際計(jì)算輸入平均長(zhǎng)度加輸出最大長(zhǎng)度再加余量。比如業(yè)務(wù)平均輸入1024、最長(zhǎng)輸出2048那設(shè)4096足夠需要處理長(zhǎng)文檔的就設(shè)8192或16384但每翻一倍顯存KV Cache占用就翻一倍。--gpu-memory-utilization是顯存利用率上限默認(rèn)0.9我建議調(diào)到0.85到0.88。留出一點(diǎn)余量避免模型推理過(guò)程中KV Cache波動(dòng)導(dǎo)致OOM。這里有讀者會(huì)問(wèn)不是說(shuō)越大越好嗎其實(shí)不是顯存利用率超過(guò)0.95時(shí)PyTorch的動(dòng)態(tài)顯存分配很容易和KV Cache搶占一旦碎片化服務(wù)直接OOM重啟。0.85是我試出來(lái)的比較穩(wěn)的值。--max-num-seqs是單次推理batch中最多同時(shí)處理的序列數(shù)。調(diào)大吞吐會(huì)提升但延遲會(huì)上升尤其當(dāng)輸入長(zhǎng)度差異很大時(shí)長(zhǎng)序列會(huì)拖慢短序列。一般7B模型單卡我設(shè)32到6470B模型多卡我設(shè)128到256具體通過(guò)壓測(cè)微調(diào)。--enforce-eager在2026年的vLLM新版本里主要用于測(cè)試階段關(guān)閉圖編譯模式啟動(dòng)快、排障方便但推理性能略低。生產(chǎn)穩(wěn)定后可以去掉啟用CUDA Graph性能能提升20%到30%但顯存占用也會(huì)上升。所以建議是先用enforce-eager跑通確認(rèn)模型能正常推理再關(guān)閉它做性能壓測(cè)。不然模型加載失敗時(shí)你根本分不清是模型問(wèn)題還是圖編譯問(wèn)題。4.4 容器化與編排從Docker到Kubernetes生產(chǎn)級(jí)部署容器化是底線中的底線。不用容器直接裸起服務(wù)的我勸你趁早改。裸起vLLM環(huán)境依賴、版本沖突、遷移復(fù)制的成本高得離譜容器化之后一套鏡像可以在開(kāi)發(fā)機(jī)、測(cè)試機(jī)、生產(chǎn)機(jī)之間無(wú)縫復(fù)制。給你一個(gè)基礎(chǔ)版的Dockerfile思路FROM nvidia/cuda:12.1.0-runtime-ubuntu22.04 RUN apt-get update apt-get install -y python3 python3-pip curl RUN pip install vllm0.8.4 COPY --frommodel /data/models /data/models EXPOSE 8000 CMD [python3, -m, vllm.entrypoints.openai.api_server, --model, /data/models/Qwen2.5-7B-Instruct]當(dāng)然這只是示意生產(chǎn)環(huán)境建議直接用vLLM官方鏡像再疊加你的依賴。鏡像里不要裝訓(xùn)練工具鏈保持最小化鏡像體積小、啟動(dòng)快、攻擊面小。Kubernetes這一步要不要上取決于規(guī)模。如果你的副本數(shù)不超過(guò)10用Docker Compose加一個(gè)簡(jiǎn)單的負(fù)載均衡比如Nginx就夠上K8s反而復(fù)雜度碾過(guò)了收益。副本數(shù)幾十個(gè)或者需要自動(dòng)擴(kuò)縮容、灰度發(fā)布、故障自愈時(shí)才值得把整套K8s引進(jìn)來(lái)。K8s上跑vLLM的GPU調(diào)度核心是配置好nvidia-device-plugin讓Pod能申請(qǐng)到正確的GPU資源。4.5 壓測(cè)與監(jiān)控上線前最后一公里生產(chǎn)環(huán)境能不能扛住壓測(cè)說(shuō)了算不是感覺(jué)說(shuō)了算。我沒(méi)有用復(fù)雜的壓測(cè)工具就用Python寫個(gè)簡(jiǎn)單腳本模擬并發(fā)請(qǐng)求也能跑出關(guān)鍵指標(biāo)。核心觀察三個(gè)數(shù)TTFT首token延遲、TPOT每token生成時(shí)間和整體吞吐tokens/s。壓測(cè)腳本的偽代碼邏輯如下import asyncio import aiohttp async def send_one(session, payload): async with session.post(http://localhost:8000/v1/completions, jsonpayload) as resp: return await resp.json() async def main(): # 用信號(hào)量控制并發(fā)數(shù)從10、20、50逐級(jí)遞增 # 統(tǒng)計(jì)每次請(qǐng)求從發(fā)起到首個(gè)token返回的耗時(shí) # 打到服務(wù)開(kāi)始報(bào)OOM或請(qǐng)求超時(shí)為止記錄極限并發(fā) pass我給個(gè)經(jīng)驗(yàn)數(shù)值參考7B模型單A10 48GvLLM配置上文參數(shù)合理的壓測(cè)結(jié)果大約在并發(fā)32時(shí)TTFT 300到500ms吞吐800到1500 tokens/s。如果你的實(shí)測(cè)值遠(yuǎn)低于這個(gè)范圍先查是不是CPU瓶頸、網(wǎng)絡(luò)瓶頸或者模型配置問(wèn)題。監(jiān)控方面我強(qiáng)烈建議上線第一天就接Prometheus Grafana。vLLM自帶metrics接口/metrics暴露了吞吐、KV Cache使用率、GPU利用率、請(qǐng)求數(shù)等關(guān)鍵指標(biāo)。把指標(biāo)接入Grafana儀表盤設(shè)置核心告警GPU顯存使用率超過(guò)90%告警趨勢(shì)性風(fēng)險(xiǎn)TTFT超過(guò)2秒告警用戶體驗(yàn)受損請(qǐng)求失敗率超過(guò)1%告警服務(wù)異常隊(duì)列積壓請(qǐng)求數(shù)持續(xù)增長(zhǎng)告警后端吞吐跟不上這套監(jiān)控建好之后服務(wù)出問(wèn)題的定位速度能快10倍。我踩過(guò)的坑是一開(kāi)始只在服務(wù)端打日志出了問(wèn)題看半天日志也定位不了是哪個(gè)環(huán)節(jié)慢后來(lái)把監(jiān)控補(bǔ)齊一看TTFT和吞吐就知道瓶頸在模型推理還是網(wǎng)絡(luò)層排查效率完全不同。5. 部署上線后的運(yùn)維實(shí)戰(zhàn)擴(kuò)容、監(jiān)控與版本管理模型上線不等于事情結(jié)束真正考驗(yàn)人的是后續(xù)的運(yùn)維迭代。我一個(gè)一個(gè)說(shuō)。擴(kuò)容的自動(dòng)化策略。模型服務(wù)的流量不是恒定的早晚高峰差異可能達(dá)到5到10倍。如果你用的是K8s可以基于自定義指標(biāo)比如隊(duì)列長(zhǎng)度、GPU利用率寫HPA自動(dòng)擴(kuò)縮容。注意冷啟動(dòng)時(shí)間vLLM加載一個(gè)7B模型大約10到20秒70B模型可能要幾分鐘所以HPA的“冷卻時(shí)間”建議設(shè)置得比較長(zhǎng)防止流量抖動(dòng)時(shí)頻繁擴(kuò)縮容。如果你沒(méi)上K8s那就用最土的辦法流量高峰前人工加副本低谷時(shí)縮掉。我見(jiàn)過(guò)很多團(tuán)隊(duì)就是靠這個(gè)土辦法跑了大半年穩(wěn)定的核心在于把高峰判斷規(guī)則寫死比如“每天上午10點(diǎn)、下午3點(diǎn)定時(shí)擴(kuò)”。模型版本管理。生產(chǎn)環(huán)境最忌諱的一件事是“只在模型目錄上復(fù)制了一份新文件舊版就沒(méi)有了”。上線后發(fā)現(xiàn)問(wèn)題想回滾結(jié)果舊版已經(jīng)被覆蓋了。模型版本的治理要做到每個(gè)版本一個(gè)獨(dú)立目錄或?qū)ο蟠鎯?chǔ)前綴版本信息寫入到配置文件或環(huán)境變量推理服務(wù)啟動(dòng)時(shí)根據(jù)配置加載指定版本。這樣回滾就是一個(gè)配置變更的事幾秒鐘就能切回去。日志和鑒權(quán)。vLLM的默認(rèn)日志是打到stdout的容器環(huán)境里要配好日志采集。請(qǐng)求日志建議記錄模型名、輸入長(zhǎng)度、輸出長(zhǎng)度、TTFT、耗時(shí)等結(jié)構(gòu)化字段方便后面做性能分析和成本分?jǐn)?。鑒權(quán)方面vLLM的OpenAI兼容API支持API Key校驗(yàn)生產(chǎn)環(huán)境一定要開(kāi)不要在公網(wǎng)裸奔一個(gè)沒(méi)有鑒權(quán)的模型服務(wù)這種教訓(xùn)在行業(yè)里已經(jīng)重復(fù)發(fā)生過(guò)無(wú)數(shù)次了。如果企業(yè)內(nèi)部有網(wǎng)關(guān)把模型服務(wù)放在網(wǎng)關(guān)后面由網(wǎng)關(guān)統(tǒng)一做鑒權(quán)、限流也是一套可行的方案。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 推理啟動(dòng)報(bào)錯(cuò)與顯存問(wèn)題速查表我把自己和身邊團(tuán)隊(duì)踩過(guò)的高頻問(wèn)題整理成了排查表方便你直接對(duì)照問(wèn)題現(xiàn)象可能原因快速解法啟動(dòng)報(bào) CUDA error: out of memory模型權(quán)重加上KV Cache預(yù)留超顯存調(diào)低--gpu-memory-utilization或減小--max-model-len或減少--max-num-seqs模型加載很慢啟動(dòng)卡住模型文件在機(jī)械硬盤或網(wǎng)絡(luò)盤上把模型預(yù)熱到SSD本地再啟動(dòng)用內(nèi)存緩存加速單請(qǐng)求延遲正常并發(fā)一高就崩CPU核數(shù)不足或max-num-seqs過(guò)大增加vCPU調(diào)小--max-num-seqs檢查是否開(kāi)CUDA Graph生成的token出現(xiàn)重復(fù)亂碼tokenizer與模型權(quán)重版本不匹配重新下載完整模型包并核對(duì)版本API返回404served-model-name與請(qǐng)求中model參數(shù)不一致請(qǐng)求時(shí)帶上--served-model-name定義的名字壓測(cè)時(shí)吞吐上不去CUDA Graph未開(kāi)啟或GPU利用率低去掉--enforce-eager檢查CPU是否為瓶頸容器里看不到GPUnvidia-container-toolkit未配置安裝并配置Docker Runtime后重啟Docker6.2 關(guān)于OOM的深度排查思路OOM顯存溢出是推理部署里最常見(jiàn)的坑但它不是單一原因。我的排查順序是第一確認(rèn)模型權(quán)重加載是否完整。有些模型文件下載不完整加載時(shí)可能顯示成功但實(shí)際權(quán)重沒(méi)全讀進(jìn)顯存隱式占用部分顯存空間后續(xù)KV Cache增長(zhǎng)時(shí)就容易OOM。用nvidia-smi看進(jìn)程啟動(dòng)后的顯存占用如果比模型文件大小還小很多大概率權(quán)重沒(méi)全加載。第二看KV Cache的顯存占用是否失控。啟動(dòng)參數(shù)里--max-model-len設(shè)得太大或者在長(zhǎng)上下文場(chǎng)景下并發(fā)請(qǐng)求過(guò)多KV Cache的顯存占用會(huì)迅速膨脹到爆。這種OOM通常發(fā)生在服務(wù)運(yùn)行一段時(shí)間后而不是啟動(dòng)時(shí)。解法是減小--max-model-len、減小--max-num-seqs、或者用--enable-chunked-prefill讓prefill階段分塊執(zhí)行分擔(dān)顯存壓力。第三檢查碎片化。PyTorch顯存分配是動(dòng)態(tài)的頻繁的推理請(qǐng)求會(huì)在顯存中留下碎片。碎片化OOM的典型特征是單請(qǐng)求顯存需求遠(yuǎn)小于總顯存但服務(wù)就是OOM。解決方式是定期重啟服務(wù)釋放顯存或者用PYTORCH_CUDA_ALLOC_CONFexpandable_segments:True開(kāi)啟可擴(kuò)展段分配模式這個(gè)環(huán)境變量在2026年的PyTorch版本里已經(jīng)穩(wěn)定確實(shí)能減少碎片化問(wèn)題。6.3 延遲突刺你壓測(cè)沒(méi)發(fā)現(xiàn)的真實(shí)問(wèn)題壓測(cè)通過(guò)、上線后延遲偶爾飆高這種情況不少見(jiàn)。排查思路一般從三個(gè)層面展開(kāi)網(wǎng)絡(luò)層。當(dāng)你的模型服務(wù)前面掛了負(fù)載均衡、網(wǎng)關(guān)等多層組件時(shí)每一層都可能引入延遲波動(dòng)。我推薦在客戶端記錄完整請(qǐng)求路徑把各層耗時(shí)拆開(kāi)看。有一次我們排查延遲突刺排查到最后發(fā)現(xiàn)是負(fù)載均衡的健康檢查間隔設(shè)置太短頻繁探活占用了連接池導(dǎo)致業(yè)務(wù)請(qǐng)求排隊(duì)。這類問(wèn)題只有把鏈路數(shù)據(jù)拉出來(lái)才能發(fā)現(xiàn)。推理層。當(dāng)幾個(gè)長(zhǎng)輸入請(qǐng)求同時(shí)到達(dá)prefill階段的計(jì)算量暴增會(huì)顯著堵住后續(xù)短請(qǐng)求。vLLM 0.8以上的版本支持了chunked prefill策略但默認(rèn)配置不一定最優(yōu)。如果業(yè)務(wù)中長(zhǎng)短請(qǐng)求混合建議按長(zhǎng)度拆分隊(duì)列或者開(kāi)啟chunked prefill。GC和日志IO。Python服務(wù)的內(nèi)存回收和日志寫入都可能造成短暫的服務(wù)閑置。生產(chǎn)環(huán)境盡量用異步日志庫(kù)并把日志輸出到本地文件、由采集器異步上傳不要在請(qǐng)求處理路徑上同步寫遠(yuǎn)程日志。曾經(jīng)有一次線上延遲突刺排查后發(fā)現(xiàn)是日志同步傳到遠(yuǎn)程ES集群ES集群抖動(dòng)反饋到推理服務(wù)就出現(xiàn)了每秒級(jí)別的卡頓。6.4 擴(kuò)并發(fā)與降延遲的平衡技巧并發(fā)和延遲是天然對(duì)立的但業(yè)務(wù)總是既要又要。我的處理策略就兩條能緩存的重用緩存能并行的拆分并行。長(zhǎng)上下文推理中很多請(qǐng)求的輸入前綴是相同的比如系統(tǒng)提示詞、歷史對(duì)話記錄。如果你用的是SGLangRadixAttention會(huì)自動(dòng)復(fù)用這部分KV Cache如果用的是vLLM就需要在業(yè)務(wù)層做語(yǔ)義緩存。把重復(fù)的請(qǐng)求結(jié)果緩存到Redis命中時(shí)直接返回命中率能做到20%到40%對(duì)整體延遲的優(yōu)化非常明顯。另一個(gè)思路是精度與性能的取舍。vLLM支持權(quán)重量化比如GPTQ、AWQ格式7B模型量化到4bit之后顯存占用大幅降低并發(fā)能力直接翻倍精度損失在多數(shù)業(yè)務(wù)場(chǎng)景下幾乎不可感知。我實(shí)測(cè)過(guò)Qwen2.5-7B在AWQ 4bit下推理MMLU分?jǐn)?shù)下降不到2個(gè)百分點(diǎn)但顯存占用從16GB降到6GB左右吞吐和并發(fā)都有顯著提升。如果你的業(yè)務(wù)對(duì)輸出質(zhì)量要求不是極端苛刻量化部署是我非常推薦的手段。7. 關(guān)于私有化部署的一些補(bǔ)充本地跑模型是否值得最后我想聊聊“本地部署”這件事因?yàn)檫@屆熱詞里“本地部署大模型”頻繁出現(xiàn)后臺(tái)也總有朋友問(wèn)。本地部署大模型這件事2026年的現(xiàn)狀是你可以在自己的電腦上跑7B甚至14B模型體驗(yàn)還過(guò)得去但離“替代云端”還有距離。我自己的個(gè)人電腦是RTX 4090 24G跑Qwen2.5-14B-Instruct量化到4bit推理速度大約每秒30到50個(gè)token日常問(wèn)答、代碼生成完全夠用。但對(duì)于長(zhǎng)文檔、大上下文、多人并發(fā)使用的場(chǎng)景單機(jī)4090的顯存和算力很快見(jiàn)底。我的建議是本地部署適合三類人一是想學(xué)習(xí)大模型原理、做實(shí)驗(yàn)的個(gè)人開(kāi)發(fā)者二是有數(shù)據(jù)隱私要求、必須本地運(yùn)行的業(yè)務(wù)三是需要離線工作的場(chǎng)景比如車載、邊緣設(shè)備。除此之外在線業(yè)務(wù)該上云還是上云不要因?yàn)椤笆≡瞥杀尽倍部副镜乇镜貦C(jī)器的電力、散熱、穩(wěn)定性、運(yùn)維這些隱性成本一點(diǎn)不比云上少。我自己算過(guò)一筆賬本地一張4090滿負(fù)荷跑一個(gè)月電費(fèi)大約150到200元但云上租一張24G GPU一個(gè)月也是這個(gè)數(shù)甚至更便宜云還不用你自己維護(hù)硬件。所以“本地部署省錢”這個(gè)想法基本不成立除非你已經(jīng)有現(xiàn)成的閑置GPU。如果你確實(shí)要走本地部署我推薦的工具鏈就是Ollama加Open WebUI安裝、拉模型、聊天的鏈路極其順滑適合快速體驗(yàn)。再進(jìn)一步可以用llama.cpp直接編譯運(yùn)行GGUF量化模型性能和控制力都更強(qiáng)。本地部署的唯一門檻是顯卡推薦顯存從12GB起步16GB以上體驗(yàn)較好如果只有CPU那就只能跑小模型速度會(huì)慢到讓你懷疑人生。寫在最后我的一點(diǎn)實(shí)操體會(huì)做了兩年多的模型服務(wù)部署我最大的體會(huì)是部署這件事拼的不是技術(shù)炫技而是對(duì)細(xì)節(jié)的掌控和決策的克制。網(wǎng)上到處是某某框架性能翻倍、某某方案一步到位的內(nèi)容但真正到生產(chǎn)環(huán)境里翻車的往往是那些最基礎(chǔ)的環(huán)節(jié)——驅(qū)動(dòng)版本不匹配、激活函數(shù)精度設(shè)置錯(cuò)誤、模型文件不完整、監(jiān)控告警沒(méi)配。每次踩坑最后復(fù)盤時(shí)幾乎都能找到“如果再給我一次機(jī)會(huì)我一定在選型/配置階段就多花半小時(shí)”的感覺(jué)。最后分享一個(gè)小習(xí)慣我每次部署新模型都會(huì)在項(xiàng)目根目錄建一個(gè)deploy-notes.md把啟動(dòng)參數(shù)、壓測(cè)結(jié)果、踩過(guò)的坑一步一步記下來(lái)。每次復(fù)現(xiàn)或遷移時(shí)照著筆記走一遍就能避掉絕大多數(shù)老問(wèn)題。等這個(gè)筆記攢到三四輪之后基本就是一套成熟可復(fù)制的內(nèi)部部署SOP了。模型會(huì)變、框架會(huì)換但把部署經(jīng)驗(yàn)沉淀成筆記這件事永遠(yuǎn)不會(huì)過(guò)時(shí)。