1. 為什么 W4A8 是當(dāng)下大模型推理的甜點(diǎn)區(qū)第一次看到“Kimi 2.7 Moe 從 4bit 存儲(chǔ)到 INT8 拆解”這個(gè)標(biāo)題很多人會(huì)以為只是把權(quán)重壓到 4bit 就完事了。實(shí)際做過 MoE 推理優(yōu)化的人都知道真正難的不是“存得下”而是“算得快、算得準(zhǔn)、顯存還省”。W4A8 這個(gè)組合——權(quán)重 4bit 存儲(chǔ)、激活 INT8 計(jì)算——恰好卡在了一個(gè)非常微妙的平衡點(diǎn)上顯存占用接近純 4bit 方案而計(jì)算吞吐又比 W4A16 高出一大截。先把概念理清楚。W4A8 里的 W 指 Weight權(quán)重A 指 Activation激活。W4 表示權(quán)重以 4bit 精度存儲(chǔ)A8 表示激活值在計(jì)算時(shí)量化到 INT8。注意這里有個(gè)關(guān)鍵區(qū)別權(quán)重是“存儲(chǔ)精度”激活是“計(jì)算精度”。權(quán)重 4bit 存下來之后在 kernel 內(nèi)部會(huì)被反量化到更高精度參與計(jì)算而激活走 INT8 是為了吃到整數(shù)運(yùn)算單元的吞吐紅利。為什么不是 W4A4因?yàn)榧せ顚?duì)精度太敏感了。激活值在 MoE 里經(jīng)過 router 的 softmax、專家層的 GeLU/SiLU 之后動(dòng)態(tài)范圍變化劇烈4bit 激活會(huì)直接把模型質(zhì)量打崩。為什么不是 W8A8因?yàn)闄?quán)重 8bit 存儲(chǔ)省不下多少顯存MoE 模型動(dòng)輒幾百 GB 的權(quán)重8bit 和 16bit 的差距在部署成本上是數(shù)量級(jí)的。所以 W4A8 是工程上反復(fù)權(quán)衡后的結(jié)果。這里要區(qū)分幾個(gè)容易混淆的精度概念。FP32 是 32 位浮點(diǎn)1 位符號(hào) 8 位指數(shù) 23 位尾數(shù)動(dòng)態(tài)范圍極大但算力需求最高。FP16 是 16 位浮點(diǎn)1510動(dòng)態(tài)范圍夠用但尾數(shù)精度有限。BF16 是 187指數(shù)位和 FP32 一樣動(dòng)態(tài)范圍大但尾數(shù)精度低適合訓(xùn)練。INT8 是 8 位整數(shù)沒有指數(shù)位靠 scale 和 zero_point 把浮點(diǎn)映射到整數(shù)區(qū)間算力需求最低、吞吐最高。FP8 則是 143 或 152介于 FP16 和 INT8 之間近兩年在訓(xùn)練側(cè)很火但推理側(cè)生態(tài)還不如 INT8 成熟。提示W(wǎng)4A8 不是“權(quán)重和激活都?jí)旱?4bit/8bit 就完事”權(quán)重的 4bit 是存儲(chǔ)格式計(jì)算時(shí)通常要反量化激活的 INT8 是計(jì)算格式需要 per-token 或 per-channel 的動(dòng)態(tài)量化。兩者是兩套獨(dú)立的量化邏輯不能混為一談。MoE 模型為什么特別適合 W4A8因?yàn)?MoE 的參數(shù)量大但激活參數(shù)量小。以 Kimi 2.7 Moe 這類架構(gòu)為例總參數(shù)量可能幾百 B但每個(gè) token 只激活其中一小部分專家。這意味著權(quán)重的存儲(chǔ)開銷是主要矛盾而激活的計(jì)算量相對(duì)可控。W4 把權(quán)重存儲(chǔ)壓到極致A8 保證激活計(jì)算不拖后腿這個(gè)組合對(duì) MoE 來說幾乎是量身定做的。2. 4bit 權(quán)重存儲(chǔ)的三種主流格式與選擇邏輯權(quán)重壓到 4bit不是簡單地把 FP16 截?cái)唷?bit 能表示的只有 16 個(gè)離散值怎么把這 16 個(gè)值映射到原始權(quán)重分布上直接決定了量化后的模型質(zhì)量。目前工程上主流有三種格式GPTQ 風(fēng)格的 group-wise 對(duì)稱量化、AWQ 風(fēng)格的激活感知量化、以及 NF4/FP4 這類非線性格式。2.1 GPTQ 的 group-wise 量化到底在做什么GPTQ 的核心思路是逐層做最小二乘誤差補(bǔ)償。它把權(quán)重矩陣按列分組每組比如 128 個(gè)元素共享一個(gè) scale 和 zero_point然后把這組權(quán)重映射到 4bit 整數(shù)區(qū)間。反量化時(shí)用w (q - zero_point) * scale還原。group size 越小量化誤差越小但 scale 的存儲(chǔ)開銷越大。128 是常見的折中64 更精細(xì)但元數(shù)據(jù)翻倍。這里有個(gè)實(shí)操細(xì)節(jié)GPTQ 量化時(shí)用的是校準(zhǔn)集calibration set的激活統(tǒng)計(jì)而不是原始權(quán)重分布。因?yàn)闄?quán)重的量化誤差最終要通過激活體現(xiàn)出來所以校準(zhǔn)集的質(zhì)量直接影響量化效果。我一般會(huì)用 128 到 512 條覆蓋多領(lǐng)域的樣本做校準(zhǔn)太少會(huì)導(dǎo)致某些專家層的量化誤差被低估。2.2 AWQ 為什么在 MoE 上更穩(wěn)AWQ 的出發(fā)點(diǎn)和 GPTQ 不同。它觀察到權(quán)重里有一部分“重要通道”對(duì)激活影響特別大如果這些通道被量化誤差污染模型質(zhì)量會(huì)明顯下降。所以 AWQ 會(huì)先識(shí)別這些重要通道然后在量化時(shí)對(duì)它們做保護(hù)——要么保留更高精度要么在 scale 上做補(bǔ)償。MoE 模型里這個(gè)特性尤其明顯。不同專家的權(quán)重分布差異很大有些專家處理的是高頻 token激活值大有些專家處理長尾 token激活值小。如果統(tǒng)一用一套量化參數(shù)長尾專家的質(zhì)量會(huì)先崩。AWQ 的 per-channel 保護(hù)機(jī)制在 MoE 上通常比 GPTQ 更穩(wěn)代價(jià)是量化過程更慢、實(shí)現(xiàn)更復(fù)雜。2.3 NF4 和 FP4 的適用邊界NF4Normal Float 4是 QLoRA 里提出的格式假設(shè)權(quán)重近似正態(tài)分布把 4bit 的 16 個(gè)值按正態(tài)分布的分位數(shù)放置。FP4 則是標(biāo)準(zhǔn)的 4 位浮點(diǎn)1 位符號(hào) 2 位指數(shù) 1 位尾數(shù)動(dòng)態(tài)范圍比 INT4 大但精度低。這兩種格式在 MoE 推理里用得相對(duì)少因?yàn)樗鼈兊姆戳炕?kernel 優(yōu)化不如 INT4 成熟。但在顯存極度受限、且能接受一定質(zhì)量損失的場景下NF4 是個(gè)可選項(xiàng)。我的經(jīng)驗(yàn)是如果目標(biāo)是生產(chǎn)環(huán)境的高吞吐推理優(yōu)先選 INT4 group-wise如果是實(shí)驗(yàn)性質(zhì)、追求極致顯存壓縮可以試 NF4。格式映射方式優(yōu)點(diǎn)缺點(diǎn)適用場景INT4 group-wise線性對(duì)稱/非對(duì)稱kernel 成熟、吞吐高需要 scale 元數(shù)據(jù)生產(chǎn)推理首選NF4正態(tài)分位數(shù)低比特下質(zhì)量好kernel 優(yōu)化少實(shí)驗(yàn)、顯存極限FP4浮點(diǎn)映射動(dòng)態(tài)范圍大精度低、生態(tài)弱研究性質(zhì)AWQ INT4激活感知保護(hù)MoE 上質(zhì)量穩(wěn)量化慢、實(shí)現(xiàn)復(fù)雜質(zhì)量敏感場景注意4bit 存儲(chǔ)的權(quán)重在加載后通常要先反量化成 FP16 或 BF16 才能參與矩陣乘。如果 kernel 支持“權(quán)重 4bit 直接參與 INT8 計(jì)算”的融合反量化那才是真正的 W4A8 加速。否則反量化本身的開銷會(huì)吃掉一部分收益。3. 激活 INT8 量化的動(dòng)態(tài)范圍陷阱權(quán)重 4bit 是靜態(tài)的量化一次就固定了。激活 INT8 是動(dòng)態(tài)的每個(gè) token、每個(gè) batch 的激活分布都不一樣。這是 W4A8 里最容易翻車的地方。3.1 per-tensor、per-token、per-channel 怎么選激活量化的粒度直接決定精度和開銷。per-tensor 是整個(gè)張量共享一個(gè) scale開銷最小但精度最差遇到激活值分布不均時(shí)會(huì)大量截?cái)?。per-token 是每個(gè) token 一個(gè) scale精度好很多開銷也可接受是目前 LLM 推理的主流選擇。per-channel 是每個(gè)通道一個(gè) scale精度最好但開銷大通常只在權(quán)重側(cè)用。在 MoE 里激活量化還要考慮專家路由的影響。同一個(gè) token 被路由到不同專家后激活分布可能完全不同。如果所有專家共享一套激活量化參數(shù)某些專家的激活會(huì)被過度壓縮。更穩(wěn)的做法是每個(gè)專家維護(hù)獨(dú)立的激活 scale但這會(huì)帶來額外的元數(shù)據(jù)管理和 kernel 復(fù)雜度。3.2 校準(zhǔn)集與動(dòng)態(tài)量化的取舍激活量化有兩種模式靜態(tài)量化和動(dòng)態(tài)量化。靜態(tài)量化用校準(zhǔn)集預(yù)先統(tǒng)計(jì)激活范圍推理時(shí)直接用固定 scale動(dòng)態(tài)量化在推理時(shí)實(shí)時(shí)統(tǒng)計(jì)當(dāng)前 batch 的激活范圍再算 scale。靜態(tài)量化快但校準(zhǔn)集覆蓋不到的長尾輸入會(huì)掉點(diǎn)。動(dòng)態(tài)量化準(zhǔn)但每次都要做 reduce 操作有額外開銷。我的經(jīng)驗(yàn)是prefill 階段用動(dòng)態(tài)量化因?yàn)樾蛄虚L、激活分布變化大decode 階段用靜態(tài)量化因?yàn)閱?token、分布穩(wěn)定。很多推理框架已經(jīng)支持這種混合模式。3.3 激活異常值的處理LLM 的激活里存在少量“異常值”outlier數(shù)值可能是正常值的幾十倍。這些異常值如果直接參與 INT8 量化會(huì)把 scale 拉得很大導(dǎo)致正常值全部被壓到很小的整數(shù)區(qū)間精度損失嚴(yán)重。常見的處理方式有三種一是用 per-token 量化把異常值隔離在單個(gè) token 內(nèi)二是對(duì)異常值通道做特殊處理比如保留 FP16三是用 SmoothQuant 這類方法把激活的難度遷移一部分到權(quán)重上。在 W4A8 場景下因?yàn)闄?quán)重已經(jīng)是 4bit 了遷移空間有限所以更依賴 per-token 量化和異常值通道保護(hù)。# 激活 per-token INT8 量化的簡化邏輯 def quantize_activation_int8(x, eps1e-8): # x: [batch, seq, hidden] # 每個(gè) token 計(jì)算自己的 scale abs_max x.abs().amax(dim-1, keepdimTrue) # [batch, seq, 1] scale abs_max / 127.0 eps q torch.round(x / scale).clamp(-128, 127).to(torch.int8) return q, scale def dequantize_activation_int8(q, scale): return q.to(torch.float16) * scale提示激活量化里的 zero_point 在對(duì)稱量化下是 0非對(duì)稱量化下需要額外計(jì)算。LLM 激活通常近似對(duì)稱分布所以對(duì)稱量化夠用還能省掉 zero_point 的存儲(chǔ)和計(jì)算。4. MoE 專家層的 W4A8 拆解實(shí)操M(fèi)oE 的推理路徑和 dense 模型不同token 先過 router 算出門控權(quán)重再被分發(fā)到 top-k 個(gè)專家專家各自計(jì)算后再加權(quán)合并。W4A8 在每個(gè)環(huán)節(jié)的落地方式都不一樣。4.1 Router 和 Gate 的精度策略Router 的輸出是門控權(quán)重決定 token 去哪些專家。這部分計(jì)算量小但對(duì)精度敏感——如果 router 量化誤差大token 可能被路由到錯(cuò)誤的專家后續(xù)再準(zhǔn)也沒用。所以 router 和 gate 通常保留 FP16 或 BF16不參與 W4A8 量化。我見過有人為了省顯存把 router 也量化了結(jié)果 top-k 選擇頻繁抖動(dòng)模型輸出質(zhì)量斷崖式下跌。這個(gè)坑沒必要踩router 的參數(shù)量在 MoE 里占比極小保留高精度的收益遠(yuǎn)大于那點(diǎn)顯存。4.2 專家權(quán)重的 4bit 分組量化每個(gè)專家的權(quán)重矩陣獨(dú)立做 4bit group-wise 量化。這里的關(guān)鍵是 group size 和 scale 精度的選擇。group size 128 是常見起點(diǎn)scale 用 FP16 存儲(chǔ)。如果顯存實(shí)在緊張group size 可以放到 256但質(zhì)量會(huì)掉一點(diǎn)。專家權(quán)重的量化順序也有講究。建議先量化所有專家的權(quán)重再統(tǒng)一做校準(zhǔn)和誤差評(píng)估。因?yàn)椴煌瑢＜业臋?quán)重分布差異大逐個(gè)量化容易在后期發(fā)現(xiàn)前面專家的參數(shù)需要調(diào)整返工成本高。4.3 專家激活的 INT8 量化與合并專家計(jì)算完成后輸出需要加權(quán)合并。合并前的激活是 INT8合并時(shí)通常要反量化回 FP16 再乘門控權(quán)重。如果門控權(quán)重也是 FP16那合并就是 FP16 運(yùn)算。這里有個(gè)優(yōu)化點(diǎn)如果 top-k 的門控權(quán)重能提前量化到 INT8合并可以在整數(shù)域完成但精度損失需要評(píng)估。實(shí)際部署里我傾向于合并階段用 FP16因?yàn)楹喜⒑蟮慕Y(jié)果要進(jìn)入下一層精度損失會(huì)累積。省這一步的計(jì)算不值得。4.4 一個(gè)完整的 W4A8 推理流程把上面的環(huán)節(jié)串起來一個(gè) token 在 MoE 層的 W4A8 推理流程大致是輸入激活FP16進(jìn)入 routerrouter 用 FP16 計(jì)算門控權(quán)重和 top-k 索引。激活做 per-token INT8 量化得到 INT8 激活和 scale。根據(jù) top-k 索引把 INT8 激活分發(fā)到對(duì)應(yīng)專家。專家權(quán)重以 4bit 存儲(chǔ)kernel 內(nèi)部反量化到 INT8 或 FP16與 INT8 激活做矩陣乘。專家輸出反量化回 FP16乘以門控權(quán)重累加合并。合并結(jié)果進(jìn)入下一層。這個(gè)流程里第 4 步是性能關(guān)鍵。如果 kernel 能把“4bit 權(quán)重反量化 INT8 矩陣乘”融合在一起吞吐會(huì)非?？捎^。如果反量化和矩陣乘是分開的中間還要寫回顯存收益就打折了。5. HIP 后端上的 kernel 適配與性能驗(yàn)證標(biāo)題里提到了 HIP說明這套 W4A8 方案是在 AMD GPU 生態(tài)上落地的。HIP 的編程模型和 CUDA 類似但指令集、warp 調(diào)度、內(nèi)存層次都有差異直接照搬 CUDA kernel 往往跑不出預(yù)期性能。5.1 HIP 上 INT8 矩陣乘的指令選擇AMD GPU 的 INT8 矩陣乘通常走v_dot系列指令或 MFMAMatrix Fused Multiply-Add指令。不同架構(gòu)支持的指令不同比如 CDNA 架構(gòu)的 MFMA 對(duì) INT8 有專門優(yōu)化。寫 kernel 前要先確認(rèn)目標(biāo)架構(gòu)支持哪些指令再?zèng)Q定數(shù)據(jù)布局。數(shù)據(jù)布局上INT8 矩陣乘通常要求權(quán)重按特定 tile 格式排列才能讓 MFMA 指令高效讀取。4bit 權(quán)重的反量化也要配合這個(gè)布局否則反量化后的數(shù)據(jù)還要重排開銷很大。5.2 4bit 權(quán)重反量化的內(nèi)存訪問優(yōu)化4bit 權(quán)重在顯存里是緊湊存儲(chǔ)的兩個(gè) 4bit 值打包在一個(gè) byte 里。反量化時(shí)要先解包再乘 scale。這個(gè)過程的瓶頸往往不在計(jì)算而在內(nèi)存訪問——如果解包后的數(shù)據(jù)要寫回顯存再讀帶寬就浪費(fèi)了。優(yōu)化思路是讓反量化和矩陣乘在同一個(gè) kernel 里完成反量化結(jié)果直接進(jìn)寄存器或 LDSLocal Data Share不落顯存。HIP 里可以用__shared__或 LDS 來緩存反量化后的權(quán)重 tile減少全局內(nèi)存訪問。5.3 實(shí)測性能對(duì)比與瓶頸定位驗(yàn)證 W4A8 效果時(shí)我一般會(huì)對(duì)比三組數(shù)據(jù)FP16 基線、W8A8、W4A8。關(guān)注兩個(gè)指標(biāo)吞吐tokens/s和顯存占用。理想情況下W4A8 的吞吐應(yīng)該比 W8A8 高 20% 到 40%顯存占用比 W8A8 低 40% 左右。如果吞吐沒達(dá)到預(yù)期先查是不是反量化開銷太大。用 profiler 看 kernel 時(shí)間分布如果反量化 kernel 占比超過 15%說明融合沒做好。如果矩陣乘 kernel 本身慢查指令選擇和數(shù)據(jù)布局。如果顯存占用沒降下來查 scale 元數(shù)據(jù)是不是存太多了——group size 太小會(huì)導(dǎo)致 scale 數(shù)量爆炸。配置權(quán)重顯存激活顯存吞吐相對(duì) FP16質(zhì)量損失FP16100%100%1.0x基線W8A850%50%1.3-1.6x很小W4A825%50%1.5-2.0x可控W4A425%25%1.8-2.2x明顯注意上表的吞吐是理想值實(shí)際取決于 kernel 實(shí)現(xiàn)和硬件。如果反量化沒融合W4A8 的吞吐可能還不如 W8A8因?yàn)榉戳炕旧碛虚_銷。6. 量化質(zhì)量評(píng)估怎么判斷 W4A8 有沒有把模型搞壞量化做完不是終點(diǎn)質(zhì)量評(píng)估才是。W4A8 的質(zhì)量損失主要來自兩處權(quán)重 4bit 的量化誤差和激活 INT8 的量化誤差。兩者疊加可能在某些任務(wù)上放大。6.1 困惑度之外還要看什么困惑度PPL是最常用的量化評(píng)估指標(biāo)但它對(duì)長尾任務(wù)不敏感。我一般會(huì)加三組測試一是標(biāo)準(zhǔn) PPL看整體質(zhì)量二是下游任務(wù)準(zhǔn)確率比如問答、摘要、代碼生成三是長文本一致性看模型在長上下文里會(huì)不會(huì)“跑偏”。MoE 模型還要特別關(guān)注專家利用率。如果量化后某些專家的激活值被過度壓縮router 可能會(huì)減少對(duì)這些專家的路由導(dǎo)致專家利用率下降。這不會(huì)直接體現(xiàn)在 PPL 上但會(huì)影響模型的表達(dá)能力。6.2 分層敏感度分析不是所有層對(duì)量化的敏感度都一樣。通常 embedding 層、router、最后的輸出層對(duì)精度最敏感中間專家層的容忍度較高。做分層敏感度分析的方法是逐層替換成量化版本看 PPL 變化。變化大的層保留高精度變化小的層放心量化。這個(gè)分析在 MoE 上尤其值得做因?yàn)閷＜覍訑?shù)量多如果能把大部分專家層量化、少數(shù)敏感層保留整體收益很可觀。6.3 量化誤差的累積與補(bǔ)償W4A8 的誤差會(huì)在層間累積。如果每層都有微小誤差幾十層下來可能就明顯了。補(bǔ)償?shù)乃悸酚袃煞N一是量化感知訓(xùn)練QAT在訓(xùn)練時(shí)模擬量化誤差讓模型學(xué)會(huì)適應(yīng)二是訓(xùn)練后補(bǔ)償PTQ用校準(zhǔn)數(shù)據(jù)做局部微調(diào)。QAT 效果最好但成本高需要重新訓(xùn)練。PTQ 成本低但補(bǔ)償能力有限。實(shí)際項(xiàng)目里如果 W4A8 的 PPL 損失在 2% 以內(nèi)通常直接上 PTQ如果超過 5%就要考慮 QAT 或者調(diào)整量化配置了。7. 踩過的坑與實(shí)戰(zhàn)經(jīng)驗(yàn)說幾個(gè)我在 W4A8 落地過程中真實(shí)踩過的坑都是文檔里不會(huì)寫的。第一個(gè)坑是 group size 設(shè)太小。一開始為了追求質(zhì)量把 group size 設(shè)成 32結(jié)果 scale 元數(shù)據(jù)占了大量顯存整體顯存占用比預(yù)期高了 30%。后來改成 128質(zhì)量只掉了不到 0.5%顯存省了一大截。group size 不是越小越好要算總賬。第二個(gè)坑是激活量化用了 per-tensor。在 prefill 階段不同位置的激活分布差異極大per-tensor 直接把長序列后半段的激活壓沒了。改成 per-token 后長文本質(zhì)量立刻恢復(fù)。這個(gè)坑在短序列測試時(shí)發(fā)現(xiàn)不了一定要用長文本驗(yàn)證。第三個(gè)坑是 HIP kernel 的數(shù)據(jù)布局沒對(duì)齊。4bit 權(quán)重解包后的 tile 布局和 MFMA 指令要求的布局不一致導(dǎo)致每次矩陣乘前都要重排性能比預(yù)期低了 40%。后來重寫了反量化 kernel讓解包直接輸出目標(biāo)布局性能才上來。第四個(gè)坑是忽略了 router 的精度。有次為了省顯存把 router 也量化了結(jié)果 top-k 選擇在相鄰 token 間頻繁跳變生成文本的連貫性明顯下降。router 那點(diǎn)參數(shù)量不值得省保留 FP16 是最穩(wěn)的。提示W(wǎng)4A8 的調(diào)優(yōu)是個(gè)系統(tǒng)工程不要指望一次配置就到位。建議先跑通 FP16 基線再逐步加量化每加一步都做質(zhì)量評(píng)估這樣才能定位問題出在哪個(gè)環(huán)節(jié)。8. 從 W4A8 繼續(xù)往下走的方向W4A8 不是終點(diǎn)。往更激進(jìn)的量化走有 W4A4、W3A8 這些方向但質(zhì)量風(fēng)險(xiǎn)更大。往更穩(wěn)的方向走有 W4A16、W8A8質(zhì)量好但收益小。W4A8 目前是收益和風(fēng)險(xiǎn)的平衡點(diǎn)。如果要在 W4A8 基礎(chǔ)上繼續(xù)優(yōu)化我建議從三個(gè)方向入手一是 kernel 融合把反量化、矩陣乘、激活量化盡量融到一個(gè) kernel 里減少顯存往返二是專家粒度的量化策略不同專家用不同的 group size 和量化格式把敏感專家保護(hù)起來三是動(dòng)態(tài)精度切換根據(jù)輸入難度動(dòng)態(tài)決定用 W4A8 還是 W8A8簡單輸入走激進(jìn)量化難輸入走保守量化。MoE 架構(gòu)本身還在演進(jìn)Kimi 2.7 這類模型的專家路由策略、專家數(shù)量、激活比例都在變。W4A8 的具體配置也要跟著調(diào)沒有一勞永逸的參數(shù)。我的習(xí)慣是每換一個(gè)模型先做一輪敏感度分析再定量化方案這樣最穩(wěn)。