開(kāi)頭過(guò)去這一年和做 AI 部署的朋友聊天十有八九繞不開(kāi)同一句話(huà)模型越做越大卡越買(mǎi)越貴但真正讓人失眠的已經(jīng)不完全是“算力不夠”而是“內(nèi)存不夠了”。你囤了一堆算力卡結(jié)果顯存插槽被模型權(quán)重塞得滿(mǎn)滿(mǎn)當(dāng)當(dāng)連腔調(diào)浮點(diǎn)格式的余地都沒(méi)有剛想拉長(zhǎng)上下文KV Cache 又直接把顯存余額清零。這種情況見(jiàn)多了我越來(lái)越確信AI 產(chǎn)業(yè)已經(jīng)實(shí)打?qū)嵉剡M(jìn)入了一個(gè)“內(nèi)存焦慮”時(shí)代。這里說(shuō)的“內(nèi)存焦慮”不是你電腦開(kāi)太多網(wǎng)頁(yè)那種小打小鬧而是整個(gè)行業(yè)在模型規(guī)模呈指數(shù)級(jí)膨脹之后撞上了一面叫“內(nèi)存墻”的硬墻。算力需求還有并行計(jì)算可以分?jǐn)們?nèi)存需求和顯存帶寬卻卡在物理規(guī)律和造價(jià)成本上。大量工程師每天的主要工作從調(diào)參調(diào)模型變成了摳顯存、算內(nèi)存占用、量化權(quán)重、換并行策略甚至為了省幾個(gè) GB 重新設(shè)計(jì)服務(wù)架構(gòu)。這篇文章我就以這幾年踩坑和調(diào)優(yōu)的實(shí)際經(jīng)驗(yàn)把內(nèi)存焦慮這件事拆開(kāi)揉碎講清楚它到底卡在哪些環(huán)節(jié)、為什么 CPU 和 GPU 都到了極限、我們?cè)诓渴饘?shí)踐中可以用哪些辦法把內(nèi)存消耗壓下來(lái)以及真實(shí)環(huán)境里你會(huì)撞上哪些經(jīng)典問(wèn)題。不管你是做模型部署的大模型工程師還是剛接觸推理優(yōu)化的技術(shù)負(fù)責(zé)人又或者只是被“顯存爆炸”折磨過(guò)的算法同學(xué)這篇應(yīng)該能給你一張比較完整的路線(xiàn)圖。1. 從“算力焦慮”到“內(nèi)存焦慮”最大瓶頸變了1.1 為什么算力問(wèn)題還沒(méi)解決內(nèi)存先告急先說(shuō)一個(gè)最基礎(chǔ)的常識(shí)深度學(xué)習(xí)模型跑起來(lái)尤其是大模型推理內(nèi)存要裝的東西不只是“模型本身”。過(guò)去做 CV 小模型一個(gè)幾百 MB 的模型丟進(jìn)顯存剩下的空間隨便造。但到了大模型時(shí)代情況完全變了。我經(jīng)常用一個(gè)很土的比喻解釋這件事算力是工廠(chǎng)里的機(jī)器速度內(nèi)存就是工廠(chǎng)的倉(cāng)庫(kù)。以前倉(cāng)庫(kù)小但訂單也少勉強(qiáng)夠用現(xiàn)在訂單量暴漲倉(cāng)庫(kù)卻沒(méi)按同樣的速度擴(kuò)容。大模型推理時(shí)權(quán)重參數(shù)要駐留在顯存里每一層計(jì)算都要反復(fù)讀取。如果沒(méi)有足夠大的倉(cāng)庫(kù)哪怕機(jī)器速度再快也得停下來(lái)等數(shù)據(jù)搬運(yùn)。舉個(gè)例子你就明白數(shù)字有多夸張一個(gè) 70B 參數(shù)級(jí)別的模型用 FP16 精度存儲(chǔ)光權(quán)重就占 140GB 左右。這是什么概念很多單張旗艦級(jí)加速卡的顯存是幾十 GB 級(jí)別單卡根本放不下必須用多卡切分才能加載。這還只是權(quán)重還沒(méi)算上計(jì)算過(guò)程中的中間激活值、優(yōu)化器狀態(tài)、服務(wù)端緩存等。所以很多人以為“有算力就能跑”實(shí)際上第一關(guān)就是顯存容量夠不夠裝。算力焦慮還有辦法緩解多買(mǎi)卡、多并行總能堆上去。內(nèi)存焦慮卻更別扭——單張卡的顯存容量技術(shù)演進(jìn)沒(méi)那么快容量不夠時(shí)工程師只能?chē)鴻?quán)重格式和緩存策略反復(fù)折騰把本來(lái)能跑通的架構(gòu)硬生生改成“省內(nèi)存特供版”。1.2 內(nèi)存焦慮到底發(fā)生在哪幾層為了不讓自己一鍋粥我把大模型訓(xùn)練和推理過(guò)程中的內(nèi)存占用拆成四層逐層看才好在工程上對(duì)癥下藥。第一層是權(quán)重存儲(chǔ)。模型參數(shù)量乘以字節(jié)數(shù)就是最底層的硬開(kāi)銷(xiāo)。FP16 下每個(gè)參數(shù)占 2 字節(jié)70B 模型就是 140GB如果用 INT8 量化能壓縮到 70GB再激進(jìn)一點(diǎn)用 INT4大約 35GB。這一層的優(yōu)化思路主要圍繞精度換空間后續(xù)我會(huì)詳細(xì)算賬。第二層是 KV Cache。這是解碼階段最容易被忽略、卻最致命的開(kāi)銷(xiāo)。Transformer 模型生成每個(gè) token 時(shí)都要把歷史上所有 token 的 Key 和 Value 緩存下來(lái)用它算當(dāng)前 token 的注意力。序列越長(zhǎng)KV Cache 膨脹得越厲害而且它跟模型層數(shù)、注意力頭數(shù)、批次大小都線(xiàn)性相關(guān)。很多場(chǎng)景下模型權(quán)重沒(méi)爆炸KV Cache 先把顯存塞爆了。第三層是激活值。訓(xùn)練時(shí)前向計(jì)算產(chǎn)生的中間激活值必須存下來(lái)做反向傳播推理時(shí)雖然不需要反向但某些算子中間結(jié)果也會(huì)占額外臨時(shí)空間。像超長(zhǎng)序列做注意力計(jì)算時(shí)注意力矩陣的峰值內(nèi)存可能高得嚇人這層優(yōu)化往往靠算子融合和重計(jì)算來(lái)壓。第四層是系統(tǒng)級(jí)內(nèi)存。在 CPU 和 GPU 混用架構(gòu)中GPU 顯存不夠了就會(huì)把部分?jǐn)?shù)據(jù)和臨時(shí)結(jié)果換到 CPU 內(nèi)存這個(gè)交換過(guò)程靠 PCIe 或 CXL 總線(xiàn)?？此茢U(kuò)充了可用容量可是總線(xiàn)帶寬比顯存帶寬低幾個(gè)數(shù)量級(jí)一旦頻繁換入換出性能直接下落這也會(huì)制造“內(nèi)存焦慮”。把這四層擺在臺(tái)面上你就會(huì)發(fā)現(xiàn)模型部署優(yōu)化本質(zhì)上就是一門(mén)把“內(nèi)存賬本”算清楚的手藝。你別只盯著模型精度提升內(nèi)存賬本算不明白再好的模型也部署不出去。2. 內(nèi)存墻帶寬、容量和成本的三角博弈2.1 內(nèi)存墻是怎么出現(xiàn)的“內(nèi)存墻”這個(gè)詞不是新概念早在 CPU 性能時(shí)代就有但 AI 時(shí)代把它重新推到了聚光燈下。簡(jiǎn)單說(shuō)過(guò)去二十年芯片算力增長(zhǎng)遵循摩爾定律每年都穩(wěn)定提升內(nèi)存帶寬和容量的增長(zhǎng)卻遠(yuǎn)遠(yuǎn)跟不上。算力相當(dāng)于高速公路上的車(chē)速內(nèi)存帶寬相當(dāng)于高速寬窄。車(chē)速越來(lái)越快可路面寬度沒(méi)有等比增加結(jié)果就是大量時(shí)間浪費(fèi)在“等數(shù)據(jù)”。這就是著名的“內(nèi)存墻”問(wèn)題。放到大模型場(chǎng)景里墻的高度更夸張。Transformer 模型的計(jì)算密集度特別高注意力矩陣和全連接層的算力需求增長(zhǎng)快但模型參數(shù)和 KV Cache 都要高帶寬隨機(jī)訪(fǎng)問(wèn)內(nèi)存。業(yè)內(nèi)常用“算力/內(nèi)存比”Arithmetic Intensity算術(shù)密度來(lái)衡量如果你的模型運(yùn)算強(qiáng)度高于硬件平衡點(diǎn)那計(jì)算單元在空轉(zhuǎn)等內(nèi)存送數(shù)據(jù)。用生活例子類(lèi)比內(nèi)存帶寬就是傳送帶從內(nèi)存?zhèn)}庫(kù)把數(shù)據(jù)搬到計(jì)算工廠(chǎng)。倉(cāng)庫(kù)里東西再多傳送帶不夠?qū)捤兴懔Χ嫉门胖?duì)等。這也是為什么 GPU 廠(chǎng)商在拼命堆內(nèi)存帶寬但內(nèi)存墻只是從“矮墻”變成了“高墻”沒(méi)有消失。2.2 高帶寬內(nèi)存的代價(jià)性能很美價(jià)格很痛既然內(nèi)存帶寬不夠行業(yè)給出的直接方案是“高帶寬內(nèi)存”就是通過(guò)堆疊 DRAM 顆粒并用硅通孔技術(shù)互聯(lián)把帶寬做到遠(yuǎn)高于普通內(nèi)存的水平。比如某個(gè)體系下的高帶寬內(nèi)存帶寬可以達(dá)到數(shù) TB/s 級(jí)別相比傳統(tǒng)內(nèi)存提升好幾倍。可問(wèn)題在于高帶寬內(nèi)存實(shí)在太貴了而且產(chǎn)能緊張。堆疊層數(shù)越多良率越難做成本指數(shù)級(jí)上升。一塊 AI 加速卡里高帶寬內(nèi)存的成本占比相當(dāng)可觀(guān)這也直接推高了整卡價(jià)格。你去看云上算力租賃價(jià)格帶大容量高帶寬內(nèi)存的實(shí)例費(fèi)用明顯高出普通實(shí)例一大截。從產(chǎn)業(yè)博弈看這里有一個(gè)死結(jié)內(nèi)存焦慮本質(zhì)上是成本焦慮。容量要夠帶寬要快價(jià)格還得壓下來(lái)這三者很難同時(shí)滿(mǎn)足。某存儲(chǔ)大廠(chǎng)的供應(yīng)策略也主要向利潤(rùn)更高的產(chǎn)品傾斜導(dǎo)致下游芯片廠(chǎng)商能拿到多少貨、什么價(jià)格拿貨直接決定他們的產(chǎn)品定位。我在實(shí)際項(xiàng)目里體會(huì)最深的是選卡的時(shí)候不能只看算力 TFLOPS還要把顯存帶寬、顯存容量和單位顯存成本一起算。有一些算力卡紙面算力很高但顯存帶寬不足跑大模型長(zhǎng)序列時(shí)性能反而打折扣。這就是為什么業(yè)內(nèi)開(kāi)始流行一個(gè)觀(guān)點(diǎn)大模型選型先看內(nèi)存再看算力。2.3 為什么參數(shù)規(guī)模繼續(xù)膨脹會(huì)碰壁模型參數(shù)規(guī)模的擴(kuò)張不是簡(jiǎn)單的“倉(cāng)庫(kù)多放幾層貨”就行。推理時(shí)的內(nèi)存需求有兩個(gè)維度參數(shù)帶來(lái)的靜態(tài)內(nèi)存呈線(xiàn)性增長(zhǎng)但上下文處理帶來(lái)的動(dòng)態(tài)內(nèi)存開(kāi)銷(xiāo)增長(zhǎng)更猛。特別是在注意力機(jī)制下輸入序列長(zhǎng)度增加時(shí)計(jì)算復(fù)雜度和 KV Cache 都是不可忽視的關(guān)鍵變量。說(shuō)白了模型越大需要的權(quán)重空間越大輸入序列越長(zhǎng)需要的緩存空間越大。這兩個(gè)因素疊加讓 GPU 顯存像雨季的蓄水池明明看起來(lái)很大水位漲得比誰(shuí)都快。更麻煩的是單純堆參數(shù)已經(jīng)在走向收益遞減。很多團(tuán)隊(duì)發(fā)現(xiàn)模型參數(shù)漲了 50%推理時(shí)的顯存需求也漲了 50%可實(shí)際生成質(zhì)量并沒(méi)有等比提升。于是行業(yè)開(kāi)始轉(zhuǎn)向“稀疏化”“MoE 化”等設(shè)計(jì)比如混合專(zhuān)家模型每次只激活一部分專(zhuān)家參數(shù)。這樣一來(lái)雖然總參數(shù)量很大但實(shí)際參與計(jì)算的參數(shù)少權(quán)重裝載壓力得以緩解。不過(guò) MoE 也有自己的內(nèi)存難題所有專(zhuān)家權(quán)重都要放進(jìn)顯存否則來(lái)回?fù)Q專(zhuān)家也會(huì)拖垮性能。內(nèi)存焦慮并不是“忍一忍就能過(guò)去”的狀態(tài)它正在反向塑造模型架構(gòu)的走向。未來(lái)誰(shuí)能把內(nèi)存賬本做平誰(shuí)就能在成本和性能的夾縫中活得舒服。3. 實(shí)操讓現(xiàn)有顯存“多撐一點(diǎn)”的四條路徑3.1 先把格式打下來(lái)量化和混合精度的賬本說(shuō)到降低內(nèi)存第一個(gè)能立刻做的事就是量化。量化本質(zhì)上是“降低數(shù)字精度用更少字節(jié)表態(tài)一個(gè)權(quán)重”。FP32 一個(gè)參數(shù)占 4 字節(jié)FP16/BF16 占 2 字節(jié)INT8 占 1 字節(jié)INT4 只占 0.5 字節(jié)。動(dòng)手算一下最直觀(guān)。還是拿 70B 模型舉例FP1670 × 10^9 × 2 字節(jié) 140GBINT870 × 10^9 × 1 字節(jié) 70GBINT470 × 10^9 × 0.5 字節(jié) 35GB也就是說(shuō)同樣一個(gè)模型從 FP16 壓到 INT8顯存剛好砍半再壓到 INT4又砍半。很多消費(fèi)級(jí)顯卡原本跑不動(dòng)的模型量化成 INT4 后就能硬塞進(jìn)去本地跑的很多 7B 模型也是靠這個(gè)思路省出來(lái)的。量化不是無(wú)損的尤其對(duì)超大規(guī)模模型。實(shí)際操作里我最常用的做法是“混合量化”哪些層對(duì)精度敏感就保留高精度哪些層冗余度高就量化得狠一點(diǎn)。比如注意力層通常比全連接層對(duì)精度更敏感量化時(shí)就要謹(jǐn)慎。前些年業(yè)界常用“訓(xùn)練后量化”模型權(quán)重直接轉(zhuǎn)格式不需要重新訓(xùn)練速度快但如果你追求更高質(zhì)量就需要做“量化感知訓(xùn)練”讓模型在訓(xùn)練階段就適應(yīng)低精度帶來(lái)的擾動(dòng)。這里必須提醒一句量化能省容量但不一定省帶寬。雖然 INT8 權(quán)重在總線(xiàn)上傳輸?shù)淖止?jié)量更少但如果你的量化算法讓某些算子變得低效實(shí)際推理速度未必提升。所以每次量化后都要跑一遍基準(zhǔn)測(cè)試看吞吐量、看首 token 時(shí)延別只盯著參數(shù)體積。3.2 控制 KV Cache 這個(gè)“長(zhǎng)序列殺手”我在生產(chǎn)環(huán)境里遇到的絕大多數(shù)顯存溢出罪魁禍?zhǔn)撞皇菣?quán)重而是 KV Cache。這個(gè)問(wèn)題在長(zhǎng)對(duì)話(huà)和長(zhǎng)文檔場(chǎng)景里格外嚴(yán)重。給你一個(gè)估算公式我每次做容量規(guī)劃都會(huì)用它KV Cache 字節(jié)數(shù) Batch Size × 序列長(zhǎng)度 × 層數(shù) × 每頭維度 × 注意力頭數(shù) × 2Key 和 Value 各一份× 精度字節(jié)數(shù)舉個(gè)例子假設(shè)某模型有 32 層32 個(gè)注意力頭每頭維度 128按 FP16 計(jì)算批大小為 1生成長(zhǎng)度為 4096。那么公式是1 × 4096 × 32 × 128 × 32 × 2 × 2 字節(jié) 約 8.6GB這只是“一個(gè)請(qǐng)求”的 KV Cache。如果并發(fā)增大到 16單是 KV Cache 就逼近 137GB這個(gè)數(shù)字比絕大多數(shù)卡本身的顯存還大。所以你就會(huì)明白為什么“支持長(zhǎng)上下文”在工程上這么燒內(nèi)存。在我自己壓顯存的時(shí)候KV Cache 有很多常規(guī)優(yōu)化手段KV Cache 量化把緩存中的 Key 和 Value 壓成 INT8甚至 FP8精度損失往往很小。由于 KV Cache 占用動(dòng)態(tài)增長(zhǎng)量化它能帶來(lái)比權(quán)重量化更直觀(guān)的收益。共享前綴和 Prompt Cache微調(diào)或少樣本場(chǎng)景里很多請(qǐng)求共用相同前綴緩存這些前綴的 KV 結(jié)果就不需要重復(fù)計(jì)算。分頁(yè)管理把 KV Cache 按頁(yè)劃分動(dòng)態(tài)分配。這類(lèi)似操作系統(tǒng)的“虛擬內(nèi)存”思想——避免固定預(yù)留一大塊空間有效提升顯存利用率和并發(fā)吞吐。長(zhǎng)度走廊限制在業(yè)務(wù)層直接限制模型最大輸出長(zhǎng)度和上下文上限。在能接受的情況下限制到 4K 往往比 32K 的體驗(yàn)差不了太多顯存卻省出好幾倍。講到這里順便提一句我試用過(guò)幾個(gè)推理加速方案都提供了類(lèi)似的“KV 復(fù)用”功能。如果你的業(yè)務(wù)有大量重復(fù)系統(tǒng)提示詞這個(gè)功能幾乎白賺性能一定要打開(kāi)。3.3 并行與調(diào)度把多卡的內(nèi)存拼在一起單卡顯存放不下所有模型權(quán)重怎么辦最直接思路就是多卡并行。大模型部署最常見(jiàn)的兩種并行方式張量并行把一組矩陣運(yùn)算切到多張卡上每張卡持有權(quán)重的一部分最終結(jié)果合并。比如 2 卡并行時(shí)一張 70B 模型的 FP16 權(quán)重從 140GB 降到每卡 70GB 左右。流水線(xiàn)并行把模型一層層拆開(kāi)不同層放在不同卡上。第 1 層在第 1 張卡第 2 層在第 2 張卡數(shù)據(jù)按順序流過(guò)。它能大幅減少單卡的權(quán)重內(nèi)存壓力但由于流水線(xiàn)存在天然“氣泡”效應(yīng)前后級(jí)卡忙閑不均吞吐可能打折。張量并行的問(wèn)題是引入了大量通信卡之間要頻繁同步數(shù)據(jù)對(duì)總線(xiàn)帶寬和互連拓?fù)湟蠛芨摺？〝?shù)越多通信開(kāi)銷(xiāo)越攤薄不了。流水線(xiàn)并行的問(wèn)題是內(nèi)存均衡性難控制容易出現(xiàn)某張卡是瓶頸。實(shí)際工程中兩者經(jīng)常搭配使用。我們的經(jīng)驗(yàn)法則是先按每張卡的顯存容量決定要拆幾份如果并行度太高就引入流水線(xiàn)并行削峰。部署之前先用公式估算權(quán)重內(nèi)存加 KV Cache 加激活值的總量再除以目標(biāo)單卡可用顯存的 70% 左右多留一點(diǎn)余量給臨時(shí)算子不然上線(xiàn)第一分鐘就炸。最近還有一類(lèi)工程方案越來(lái)越流行叫“連續(xù)批處理”。傳統(tǒng)批處理把所有請(qǐng)求固定到一批等最長(zhǎng)的那條生成完才算完其他請(qǐng)求只能干等顯存也被長(zhǎng)序列請(qǐng)求占滿(mǎn)。連續(xù)批處理則是指當(dāng)一個(gè)請(qǐng)求序列生成結(jié)束立刻讓新請(qǐng)求插進(jìn)空閑顯存槽位整個(gè)利用率能提升好幾成。很多開(kāi)源推理引擎都在內(nèi)部做了優(yōu)化你只需要在部署時(shí)打開(kāi)對(duì)應(yīng)開(kāi)關(guān)效果立竿見(jiàn)影。我做過(guò)一次對(duì)比同配置下打開(kāi)連續(xù)批處理后單卡吞吐提升超過(guò)一倍。3.4 業(yè)務(wù)側(cè)取舍上下文和批次其實(shí)是經(jīng)營(yíng)決策每次做性能調(diào)優(yōu)技術(shù)人員總想把所有參數(shù)拉滿(mǎn)但真實(shí)業(yè)務(wù)里上下文長(zhǎng)度和并發(fā)數(shù)都不是技術(shù)指標(biāo)而是經(jīng)營(yíng)決策。我遇到過(guò)一個(gè)很典型的長(zhǎng)上下文案例業(yè)務(wù)方要求模型必須支持 32K 上下文結(jié)果顯存不管怎么優(yōu)化都不夠。后來(lái)我們復(fù)盤(pán)用戶(hù)真實(shí)數(shù)據(jù)發(fā)現(xiàn) 95% 的實(shí)際請(qǐng)求不到 4K 長(zhǎng)度。于是我們拆成兩個(gè)模型小上下文模型負(fù)責(zé)大多數(shù)請(qǐng)求長(zhǎng)上下文模型只給真正需要的低頻查詢(xún)用。整塊成本直接下降了一半。這背后的邏輯很簡(jiǎn)單內(nèi)存是有限資源如果你對(duì)所有請(qǐng)求都按最壞情況分配顯存那大部分顯存可能都在空轉(zhuǎn)浪費(fèi)。最好的優(yōu)化不是卡里塞最滿(mǎn)而是用容量規(guī)劃把資源精準(zhǔn)匹配到真實(shí)需求上。另一個(gè)決策點(diǎn)是 Batch Size。很多人以為 Batch 越大越好但實(shí)際上每個(gè)子請(qǐng)求都會(huì)單獨(dú)占據(jù)一部分 KV Cache大 Batch 意味著更大的內(nèi)存峰值。GPU 算力高自然希望 Batch 大一點(diǎn)這能提升吞吐但內(nèi)存墻卻要求 Batch 收斂。最好的做法是根據(jù)每張卡的空閑顯存動(dòng)態(tài)調(diào)整 Batch不要用固定值。推理框架的調(diào)度器本質(zhì)上就是在為你做這種動(dòng)態(tài)博弈。4. 常見(jiàn)問(wèn)題與排查實(shí)錄4.1 經(jīng)典現(xiàn)場(chǎng)為什么一張大卡還是跑不動(dòng)有一天同事跑過(guò)來(lái)跟我說(shuō)新買(mǎi)的大顯存卡跑一個(gè) 13B 模型居然直接 OOM。我上去看了下負(fù)載第一反應(yīng)不是模型太大而是它把 KV Cache 預(yù)留得太夸張了。排查過(guò)程大概是這樣的先看單卡顯存總量再看加載權(quán)重后剩余顯存最后看推理請(qǐng)求的并發(fā)數(shù)和序列長(zhǎng)度。我用一條簡(jiǎn)單命令觀(guān)察顯存占用變化發(fā)現(xiàn)請(qǐng)求數(shù)量一上來(lái)顯存使用曲線(xiàn)直線(xiàn)飆升這說(shuō)明很大一塊空間都被緩存動(dòng)態(tài)吃掉了而不是模型權(quán)重。解決方案也是典型三板斧先把 KV Cache 的量化打開(kāi)再限制單請(qǐng)求的最大長(zhǎng)度最后把并發(fā)度調(diào)低一點(diǎn)。一輪操作下來(lái)同樣的卡跑同樣的模型穩(wěn)定服務(wù)幾十個(gè)并發(fā)請(qǐng)求內(nèi)存占用時(shí)刻健康。這個(gè)案例我印象很深因?yàn)椤帮@存大”和“能跑大模型”是兩回事。有時(shí)候你以為瓶頸是容量其實(shí)是管理和分配策略的問(wèn)題。用工具看清內(nèi)存去向永遠(yuǎn)比盲目換卡更有用。4.2 常見(jiàn)問(wèn)題速查表我把平時(shí)在生產(chǎn)環(huán)境里碰到的高頻問(wèn)題匯總成一張表你可以直接貼到自己的排障手冊(cè)里問(wèn)題場(chǎng)景典型原因解決方向加載模型時(shí)直接 OOM模型權(quán)重體積超過(guò)單卡顯存做 INT8/INT4 量化或改用張量并行切分權(quán)重對(duì)話(huà)變長(zhǎng)后顯存暴漲KV Cache 隨長(zhǎng)度線(xiàn)性膨脹KV Cache 量化、啟用分頁(yè)調(diào)度、限制最大長(zhǎng)度并發(fā)一高就顯存溢出每個(gè)請(qǐng)求獨(dú)立占緩存Batch 過(guò)大改用連續(xù)批處理動(dòng)態(tài)調(diào)整并發(fā)上限單卡顯存仍有空余但推理很慢數(shù)據(jù)搬運(yùn)受限內(nèi)存帶寬成為瓶頸檢查模型是否頻繁在 CPU/GPU 間換入換出減少跨卡通信量化后體積變小但速度沒(méi)提升算子兼容性或精度損失導(dǎo)致重計(jì)算跑基準(zhǔn)測(cè)試找熱點(diǎn)算力瓶頸開(kāi)混合精度請(qǐng)求有大量相同系統(tǒng)提示詞每個(gè)請(qǐng)求重復(fù)計(jì)算相同前綴開(kāi)啟提示詞緩存復(fù)用 KVMoE 模型總顯存監(jiān)控很高所有專(zhuān)家權(quán)重必須常駐顯存規(guī)劃專(zhuān)家放置策略避免頻繁交換專(zhuān)家緩存這張表的經(jīng)驗(yàn)是大部分“內(nèi)存焦慮”問(wèn)題都可以通過(guò)“先量化、再改緩存策略、最后限并發(fā)”的思路逐步收斂。如果這三招都用了還不行再考慮加卡或者換卡。4.3 面向未來(lái)的緩解方向新存儲(chǔ)和存算一體聊完眼前的落地經(jīng)驗(yàn)也想聊聊長(zhǎng)期趨勢(shì)。行業(yè)里已經(jīng)在探索幾個(gè)可能根本改變內(nèi)存焦慮的方向。一是內(nèi)存池化。把多個(gè)節(jié)點(diǎn)的空閑內(nèi)存通過(guò)網(wǎng)絡(luò)互聯(lián)形成一個(gè)大型內(nèi)存池計(jì)算節(jié)點(diǎn)可以通過(guò)低延遲協(xié)議訪(fǎng)問(wèn)。當(dāng)前不少新的互連和內(nèi)存協(xié)議都在朝這個(gè)方向走。這樣做的價(jià)值在于某張卡顯存不夠時(shí)不是只能干瞪眼而是可以“借”別的節(jié)點(diǎn)的內(nèi)存。不過(guò)帶寬仍有限實(shí)際性能還需要看應(yīng)用場(chǎng)景。二是存算一體。把存儲(chǔ)單元和計(jì)算單元做在同一個(gè)物理區(qū)域讓數(shù)據(jù)不用搬遠(yuǎn)路直接就地計(jì)算能大幅緩解內(nèi)存帶寬焦慮。當(dāng)前還有很多工程挑戰(zhàn)比如精度控制和制造成本但這是從根上對(duì)抗內(nèi)存墻的思路之一。三是模型結(jié)構(gòu)本身的改革。比如更激進(jìn)的稀疏化、更多條件計(jì)算、混合專(zhuān)家模型的工程化成熟。從根源減少“必須常駐內(nèi)存的權(quán)重量”而不是一味增加內(nèi)存容量。我個(gè)人覺(jué)得模型結(jié)構(gòu)和內(nèi)存硬件的協(xié)同創(chuàng)新才是最終答案。單一的“堆容量”或者“堆帶寬”只能緩解一時(shí)。結(jié)尾做 AI 部署這些年我最深的體會(huì)是真正難的不是把模型訓(xùn)練出來(lái)而是把它穩(wěn)定、便宜、不崩潰地放到線(xiàn)上。內(nèi)存焦慮這個(gè)東西短期看是顯存容量告急的報(bào)錯(cuò)長(zhǎng)期看是硬件供給和算法需求之間的深層錯(cuò)配。跟它對(duì)抗光靠買(mǎi)更多的卡不現(xiàn)實(shí)更靠譜的辦法是把每一塊顯存都當(dāng)作稀缺資源去精細(xì)管理。從個(gè)人實(shí)際項(xiàng)目經(jīng)驗(yàn)出發(fā)我給你的建議很簡(jiǎn)單先動(dòng)手把顯存賬本算清楚量化權(quán)重、壓縮 KV Cache、動(dòng)態(tài)調(diào)整并發(fā)這三板斧能解決八成焦慮再往后就要關(guān)注模型結(jié)構(gòu)和硬件發(fā)展的趨勢(shì)提前做技術(shù)儲(chǔ)備。內(nèi)存墻不會(huì)自己在某一天消失但你的應(yīng)對(duì)體系可以先它一步成熟起來(lái)。最后再分享個(gè)小技巧——優(yōu)化完一定記得測(cè)端到端延遲和吞吐別只盯著顯存數(shù)字看省了內(nèi)存卻慢了響應(yīng)才是真正得不償失。