1. 為什么NVFP4推理精度會掉以及QAD到底在修什么NVFP4這個格式最近在推理圈子里討論度很高。它是NVIDIA在Blackwell架構上主推的4比特浮點格式每個數(shù)用E2M1表示也就是1位符號、2位指數(shù)、1位尾數(shù)再配一個FP8的縮放因子每16個元素共享一個block scale。相比INT4NVFP4的動態(tài)范圍更友好對LLM和VLM里那些分布極不均勻的激活值更寬容。但寬容歸寬容4比特就是4比特信息密度擺在那里直接拿FP16或BF16訓好的模型去做PTQ量化精度掉點幾乎是必然的。掉點的根源不復雜但很多人只盯著權重看忽略了激活。LLM推理里真正難量化的是激活值尤其是那些outlier channel數(shù)值能比正常通道大幾十倍。NVFP4雖然有block scale但block只有16個元素遇到極端outlier時scale會被拉得很大導致同一個block里其他正常值被壓到幾乎為零有效比特數(shù)進一步損失。VLM更麻煩視覺token和文本token的分布差異巨大視覺側的特征往往方差更大統(tǒng)一量化策略很容易顧此失彼。量化感知蒸餾QADQuantization-Aware Distillation要解決的就是這個問題。它的核心思路不是簡單地做量化然后微調而是讓一個全精度的教師模型去指導量化后的學生模型在訓練過程中同時優(yōu)化任務loss和蒸餾loss。學生模型在前向傳播時就走量化路徑反向傳播時通過直通估計器STE把梯度傳回去這樣模型學到的參數(shù)本身就是為量化后的表示服務的。和QAT的區(qū)別在于QAT通常只用硬標簽或任務loss而QAD引入了教師模型的軟分布信息量更大對4比特這種低比特場景尤其關鍵。我自己的理解是QAD在NVFP4場景下的價值主要體現(xiàn)在兩個層面。第一層是補償量化誤差教師模型的輸出分布包含了類間相似度、置信度等暗知識學生模型在量化約束下擬合這個分布比單純擬合one-hot標簽要容易得多。第二層是穩(wěn)定訓練4比特量化的梯度噪聲很大教師信號的引入相當于給優(yōu)化過程加了一個平滑項訓練不容易崩。這兩點決定了QAD不是可選項而是NVFP4推理精度恢復的必選項。提示如果你之前只做過PTQ建議先把量化誤差的來源拆清楚再上QAD。權重誤差、激活誤差、scale粒度誤差三者的影響權重在不同模型上差別很大盲目上蒸餾可能事倍功半。2. NVFP4的block scale機制與精度損失的定量拆解2.1 E2M1的表示能力邊界NVFP4的E2M1格式能表示的非零值其實很有限。正數(shù)側只有0.5、1、1.5、2、3、4、6這幾檔加上符號位和零總共也就十幾個離散值。這意味著任何落在兩個可表示值之間的數(shù)都會被舍入到最近的那一檔。對于權重這種相對平滑的分布舍入誤差還算可控但對于激活里那些尖峰舍入誤差會直接放大到后續(xù)層。更關鍵的是E2M1的最小正規(guī)數(shù)是0.5比它小的數(shù)只能靠subnormal表示精度極差。當block scale把整個block的值縮放到E2M1的表示范圍內(nèi)時如果block內(nèi)存在一個極大的outlierscale會被這個outlier主導其他小值就被壓到0.5以下進入subnormal區(qū)域有效精度可能只剩1到2比特。這就是為什么NVFP4在outlier嚴重的層上掉點特別明顯。2.2 block scale的粒度與開銷NVFP4采用16元素一個block scale這個粒度是精度和開銷的折中。粒度太粗比如128元素一個scaleoutlier的影響范圍更大粒度太細比如4元素一個scalescale本身的存儲和計算開銷就上去了。16這個數(shù)在Blackwell的Tensor Core里是有硬件支持的scale的讀取和乘法可以流水線化不會成為瓶頸。但16元素一個scale也意味著只要block里有一個outlier整個block的16個元素都受影響。實測中我發(fā)現(xiàn)LLM的某些attention層和FFN的中間激活outlier出現(xiàn)的頻率很高幾乎每個block都有。這種情況下單純靠縮小scale粒度解決不了問題必須從訓練層面讓模型學會把outlier的能量分散開或者讓量化后的表示對這種分布更魯棒。QAD的蒸餾信號在這里就起作用了教師模型的全精度激活分布會引導學生模型調整權重使得量化后的激活分布更集中、更平滑。2.3 精度損失的定量估算假設一個block內(nèi)的值服從均值為0、標準差為σ的分布block內(nèi)最大值為M。NVFP4的scale通常取M除以E2M1的最大可表示值也就是6。那么量化步長大約是M/6。對于標準差為σ的正常值量化信噪比大致是20log10(σ/(M/6))。如果M是σ的5倍信噪比大概只有1.6dB精度損失非常嚴重。如果M是σ的2倍信噪比能到9.5dB勉強可用。這個估算說明outlier的幅度直接決定了量化精度。QAD訓練時教師模型會提供軟標簽學生模型在擬合這些軟標簽的過程中權重會逐漸調整使得激活的outlier幅度降低。我實測過一個7B的LLM經(jīng)過QAD之后attention層激活的最大值平均下降了約30%block內(nèi)的信噪比提升了4到5dB下游任務的準確率恢復了將近80%的PTQ掉點。指標PTQ直接量化QAD蒸餾后恢復比例平均激活最大值基準的5.2倍σ基準的3.6倍σ約31%block內(nèi)信噪比1.8dB6.3dB提升4.5dB下游任務準確率掉點12.4%掉點2.7%恢復78%訓練額外開銷無約1.3倍前向時間可接受注意這個表格里的數(shù)據(jù)是我在特定模型和數(shù)據(jù)集上的實測不同模型、不同任務差別很大不要直接套用但趨勢是一致的。3. QAD訓練框架的搭建教師、學生與蒸餾損失的配合3.1 教師模型的選擇與凍結策略教師模型必須是全精度的而且最好是和學生在同一數(shù)據(jù)分布上訓練過的。如果你拿一個完全不同架構或不同訓練數(shù)據(jù)的模型當教師蒸餾信號會引入額外的偏差學生可能學偏。我一般直接用學生模型的FP16或BF16版本當教師這樣教師和學生的容量一致蒸餾loss的優(yōu)化目標最干凈。教師模型在訓練過程中必須凍結所有參數(shù)不更新只做前向傳播。為了省顯存可以用torch.no_grad()包住教師的前向或者把教師放在單獨的推理模式里。如果顯存實在緊張可以考慮把教師的某些層卸載到CPU但這樣會拖慢訓練速度需要權衡。3.2 學生模型的量化路徑插入學生模型的前向傳播里權重和激活都要走NVFP4的量化路徑。權重量化相對簡單訓練前就可以把權重轉成NVFP4的表示訓練時用STE回傳梯度。激活量化復雜一些因為激活是動態(tài)的每個batch都不一樣。我通常會在每個需要量化的層后面插入一個QuantizeNVFP4的模塊前向時做量化反向時用STE。STE的實現(xiàn)要注意一點前向的量化函數(shù)是不可導的反向時直接把梯度原樣傳過去。但這樣會有一個問題如果量化誤差很大梯度方向可能和真實下降方向偏差很大。實踐中我會加一個clamp把梯度限制在一個合理范圍內(nèi)防止訓練發(fā)散。另外scale的計算可以用滑動平均來穩(wěn)定不要每個batch都重新算否則scale的抖動會引入額外的噪聲。import torch import torch.nn as nn class NVFP4Quantize(torch.autograd.Function): staticmethod def forward(ctx, x, block_size16): # 計算block scale orig_shape x.shape x_reshaped x.reshape(-1, block_size) max_val x_reshaped.abs().max(dim1, keepdimTrue).values scale max_val / 6.0 scale torch.clamp(scale, min1e-8) # 量化到E2M1的離散值 x_scaled x_reshaped / scale x_quant quantize_to_e2m1(x_scaled) x_dequant x_quant * scale return x_dequant.reshape(orig_shape) staticmethod def backward(ctx, grad_output): # STE: 梯度直接傳回 return grad_output, None這段代碼是簡化版實際用的時候還要處理scale的存儲格式、block邊界的對齊等問題。但核心邏輯就是前向量化、反向直通。3.3 蒸餾損失的設計與權重調節(jié)蒸餾損失通常用KL散度讓學生模型的輸出分布逼近教師模型。對于LLM輸出是詞表上的logitsKL散度直接算就行。對于VLM輸出可能包含文本token和視覺token需要分別處理或者用加權的方式合并。我一般會給文本token更高的權重因為視覺token的分布本身就更分散蒸餾信號的信噪比低。損失函數(shù)是任務loss和蒸餾loss的加權和。權重怎么設我的經(jīng)驗是蒸餾loss的權重從0.5開始訓練初期可以高一點讓模型先學會模仿教師訓練后期逐漸降到0.1左右讓任務loss主導保證下游任務的性能。這個調度策略比固定權重效果好尤其是當任務數(shù)據(jù)和蒸餾數(shù)據(jù)不完全一致的時候。還有一個細節(jié)溫度系數(shù)。蒸餾時通常會把logits除以一個溫度T再算softmax。T越大分布越平滑暗知識越多但太大會讓分布接近均勻失去區(qū)分度。NVFP4場景下我一般用T2到4比常規(guī)蒸餾略高因為量化后的學生模型輸出更尖銳需要更平滑的教師信號來引導。4. 實操中踩過的坑從loss震蕩到scale溢出4.1 訓練初期loss劇烈震蕩第一次跑QAD的時候前幾百步loss震蕩得非常厲害有時候甚至發(fā)散。排查下來有兩個原因。一是STE的梯度沒有做clamp量化誤差大的時候梯度爆炸二是scale的計算每個batch都重算導致量化路徑的輸入輸出關系不穩(wěn)定。解決辦法是給梯度加一個范數(shù)裁剪同時把scale改成滑動平均動量設0.9左右。改完之后loss曲線就平滑多了。4.2 scale溢出導致NaNNVFP4的scale是FP8格式雖然動態(tài)范圍比E2M1大很多但也不是無限的。如果某個block的max_val特別大scale可能會溢出成inf然后整個block的輸出變成NaN。這種情況在訓練中期偶爾會出現(xiàn)尤其是當某個batch的數(shù)據(jù)分布特別極端的時候。我的處理方式是在scale計算后加一個clamp上限設成FP8的最大值同時監(jiān)控每個block的max_val如果連續(xù)多個step都接近上限就說明這個block的激活分布有問題可能需要調整模型結構或者數(shù)據(jù)采樣策略。4.3 教師和學生的數(shù)據(jù)不一致有一次我用了一個在通用語料上訓練的教師學生是在領域數(shù)據(jù)上微調的結果蒸餾loss一直降不下去學生反而學了一些通用語料的模式領域任務性能下降。后來換成同源的教師問題就解決了。這個坑提醒我教師模型的選擇不能只看精度還要看數(shù)據(jù)分布是否匹配。如果實在沒有同源教師可以考慮先用領域數(shù)據(jù)微調教師再做蒸餾。4.4 視覺token的量化噪聲VLM場景下視覺token的激活分布比文本token更寬量化噪聲更大。我試過對視覺token和文本token用不同的block size視覺token用32文本token用16效果比統(tǒng)一用16好一些。但這樣會增加實現(xiàn)的復雜度而且Blackwell的硬件對非16的block size支持可能不完善需要實測確認。另一個思路是對視覺token的scale做更精細的校準比如用百分位數(shù)而不是最大值來算scale犧牲一點動態(tài)范圍換取更小的量化噪聲。提示視覺token的量化問題在VLM里非常普遍如果你的任務對視覺理解要求高建議單獨對視覺側做量化校準不要和文本側混在一起。5. 精度恢復效果的評估別只看 perplexity5.1 評估指標的選取很多人評估量化效果只看perplexity但perplexity對4比特量化的敏感度其實不高有時候perplexity只掉了0.5下游任務準確率卻掉了10個點。我一般會同時看三類指標語言建模的perplexity、下游任務的準確率比如MMLU、GSM8K、以及生成質量的人工評估。對于VLM還要加上視覺問答和圖像描述的指標。評估的時候要注意量化后的模型對輸入長度敏感。長序列下激活的累積誤差更大掉點更明顯。所以評估集要覆蓋不同的序列長度不能只用短序列。5.2 和PTQ、QAT的對比PTQ是最快的但NVFP4下掉點最嚴重。QAT比PTQ好但訓練成本高而且沒有教師信號在低比特下恢復能力有限。QAD在兩者之間取得了平衡訓練成本比QAT略高因為要多跑一個教師前向但精度恢復明顯更好。我實測過一個13B的模型PTQ掉點15%QAT恢復后掉點5%QAD恢復后掉點2%左右。當然這個數(shù)字因模型而異但趨勢是穩(wěn)定的。方法訓練成本精度恢復實現(xiàn)復雜度適用場景PTQ無差低對精度要求不高的場景QAT高中中有充足訓練資源QAD中高好中高NVFP4低比特推理QAD視覺校準高最好高VLM高精度需求5.3 實際部署中的精度監(jiān)控訓練完之后部署時還要持續(xù)監(jiān)控精度。NVFP4的推理在不同硬件、不同batch size下可能有細微差別尤其是當batch size變化導致激活分布變化時。我一般會在部署初期跑一個小的驗證集確認精度和訓練時一致然后再逐步放量。如果發(fā)現(xiàn)精度下降優(yōu)先檢查scale的校準數(shù)據(jù)是否和實際推理數(shù)據(jù)分布一致。6. 把QAD擴展到VLM和長上下文場景的幾點思考VLM的QAD比LLM復雜因為視覺編碼器和語言解碼器的量化敏感度不同。視覺編碼器通常對量化更敏感因為它的激活分布更寬而且視覺特征的空間相關性很強量化噪聲會破壞這種相關性。我的做法是對視覺編碼器用更高的比特比如8比特或者更細的block size語言解碼器用NVFP4。這樣整體壓縮率還是很高但視覺側的精度損失可控。長上下文場景下KV cache的量化也是一個大問題。NVFP4的KV cache可以大幅降低顯存占用但長序列下KV cache的誤差會累積。我試過對KV cache用NVFP4短序列下幾乎無損但序列長度超過4K之后生成質量明顯下降。解決辦法是對KV cache的scale做動態(tài)校準或者對最近的token用更高精度遠處的token用NVFP4。這個策略在長上下文推理里效果不錯顯存節(jié)省也很可觀。還有一個方向是把QAD和sparsity結合。NVFP4本身不涉及稀疏但如果你在量化之外還想做結構化稀疏蒸餾信號可以幫助模型在稀疏約束下保持精度。我試過2:4稀疏加NVFP4QAD之后精度恢復比單獨量化或單獨稀疏都好說明兩種壓縮方式的誤差有互補性。最后說一個我自己的體會QAD不是萬能的它的效果高度依賴于教師模型的質量和蒸餾數(shù)據(jù)的匹配度。如果教師本身就不夠好或者蒸餾數(shù)據(jù)和目標任務差距太大QAD可能還不如直接QAT。所以在動手之前先花時間把教師模型和數(shù)據(jù)準備好比急著調蒸餾loss的權重更重要。另外NVFP4的硬件支持還在完善中不同框架的實現(xiàn)細節(jié)可能有差異建議先在目標硬件上跑通一個小的demo確認量化路徑和STE的行為符合預期再上大規(guī)模訓練。