上一期線上項目里我接手了一個推理慢到沒法用的模型訓練精度明明很漂亮一到部署環(huán)境就卡在延遲預算外面。團隊里有人提議換更輕量的骨干網絡有人建議上剪枝我最后選了先試模型量化從FP32壓到INT8花了一個多星期把精度與速度的平衡點調好整體推理提速接近翻倍模型體積直接縮到四分之一。這篇就把我從原理到落地的完整過程寫清楚包括怎么算量化參數、怎么準備校準數據、精度掉點之后如何一步步排查以及哪些場景其實不適合硬上INT8。不管你是剛開始接觸部署的新人還是已經在邊緣設備上折騰過幾輪的從業(yè)者這篇里的流程和坑都能直接用。1. 部署場景的FP32困局內存與算力先算賬很多人一聽到量化第一反應是會掉精度吧然后就不愿意碰。但部署場景里FP32的問題從來都是硬性的模型太大、推理太慢、功耗太高。做決定之前先把賬算明白。1.1 模型體積四倍差距在存儲受限時是硬門檻假設你手里有一個一億參數的模型FP32每個參數占4字節(jié)模型文件就是400MB左右。如果目標設備可用內存只有1GB光加載權重就占掉近一半再加上輸入輸出緩沖、運行時中間特征圖、推理引擎自身的開銷頻繁出現內存不足幾乎是必然的。換成INT8之后同樣的參數每個只占1字節(jié)模型體積直接降到100MB。省下來的300MB能留給推理引擎做顯存或內存管理給批處理留出空間也能讓模型在低配機器上跑起來。存儲端也一樣。移動場景要看包體大小400MB和100MB對用戶的下載意愿、安裝成功率影響很大。哪怕不考慮速度單憑體積這個理由量化就值得做。我實際接觸的那些邊緣盒子和老款開發(fā)板很多FP32模型連裝都裝不進去INT8是唯一不需要改網絡結構就能塞進去的方案。1.2 推理延遲INT8的提升從哪來延遲收益主要來自兩個方向計算更快搬運更快。先看計算。FP32做一次乘加運算數據是32位INT8只有8位。支持INT8加速指令的處理器一個時鐘周期能處理的運算數往往是FP32的2到4倍。從算術邏輯上看位寬降了四倍單條向量指令能打包的數據也多了四倍吞吐量自然上去。再看搬運?，F代處理器做推理時很大一部分時間不是花在計算上而是花在把權重從內存搬進計算單元。數據位寬降到原來的四分之一同樣的內存帶寬下能搬四倍的參數訪存瓶頸被明顯緩解。對卷積這類權重復用高的算子計算密集程度高提速主要靠計算指令對全連接、Embedding這類訪存密集的算子提速主要靠帶寬收益。我實測下來常見的卷積分類網絡在支持INT8加速的CPU上整體延遲通常能到FP32的1.5到3倍收益具體取決于算子組成和硬件指令支持情況。這個數值不是到處都適用但作為預期參考沒問題。1.3 功耗與吞吐服務端成本里容易被忽略的部分邊緣設備上功耗是硬約束電池供電的設備推理功耗降不下來產品就沒法用。INT8計算單元功耗遠低于FP32同樣的任務能耗能省一半以上。服務端場景電池不敏感但吞吐敏感單卡并發(fā)能翻倍意味著同樣一批服務器能承載雙倍請求電費、散熱、機柜成本都跟著降。量化不是免費的午餐它用精度換取這些收益。但很多時候精度損失是可控的損失往往只有0.1%到1%之間而收益是實打實的幾倍。下面就把原理講透讓你知道精度損失到底出在哪怎么控制它。2. 量化原理從浮點數到整數的映射邏輯量化本質上是一個數值映射問題把一個連續(xù)取值范圍內的浮點數映射到有限個離散整數上。想用好它就要理解映射公式和誤差來源。2.1 核心公式與一個生活化類比最常用的量化映射公式是q round(r / S) Z r ≈ S * (q - Z)其中r是原始浮點值q是量化后的整數S是縮放系數scaleZ是零點偏移zero point。反量化時用第二個公式還原出近似的浮點值。用一個類比理解假設你有一缸水要倒進一個只有256個刻度的量杯里8位整數就是從0到255或從-128到127。S就是每個刻度代表多少水Z就是刻度0對應的水面位置。量杯刻度太粗倒進去的水位必然會和真實水面有誤差這就是量化誤差。這個誤差分為兩部分。第一部分是取整誤差數值落在兩個刻度之間只能就近選一個round這一步天然有舍入誤差。第二部分是截斷誤差數值超出量程被強行截到邊界這部分誤差往往更大。量化時最核心的權衡就在這里量程設得寬離群點不容易被截斷但每個刻度代表的范圍變大取整誤差變大量程設得窄取整更精細但離群點會被狠切一刀。怎么取舍就是校準方法要解決的事。2.2 對稱量化與非對稱量化零點偏移為什么重要對稱量化直接讓Z等于0整數范圍取-128到127正負對稱。好處是計算簡單反量化少一次減法壞處是如果數值分布不在零附近對稱有一半的量化區(qū)間是浪費的。非對稱量化保留Z整數范圍通常取0到255。激活值經過ReLU之后全是非負的分布嚴重偏向正數這時用非對稱量化可以把256個刻度全部用在有效區(qū)間上量化精度明顯更高。這就是為什么實際工程里權重常用對稱量化激活常用非對稱量化。零點偏移還有一個容易被忽略的作用保證浮點0在量化后依然精確對應0。對于卷積層的padding操作和ReLU前的偏置累加0是一個特殊且頻繁出現的值如果0被量化出去之后還原不回來會在卷積計算中引入系統(tǒng)性偏移誤差逐層累積。保留Z本質上就是確保0這個值不被round誤差破壞。2.3 校準方法min-max、百分位與熵校準的區(qū)別確定S和Z需要知道每層激活值的實際范圍。權重的范圍可以直接在權重張量上算但激活的范圍必須靠數據跑出來這個環(huán)節(jié)叫校準calibration用來跑的數據叫校準數據集。最簡單的方法叫min-max跑一遍校準數據記錄每層激活的最小值和最大值直接把S設為(max-min)/255。實話說我在多數圖像分類模型上先用min-max驗證往往已經能滿足要求。但min-max有一個致命弱點它對離群點極其敏感。只要有一兩個激活值異常大整個量程就被拉寬大部分正常值擠在幾個刻度里精度立刻崩。百分位校準解決的就是這個問題取99.99%分位數而不是絕對最大值主動放棄尾部那0.01%的極端值換回大部分正常值更精細的表示。損失的是離群點的精度但這些點本來就是少數對整體分布影響有限。熵校準的思路更講究一點遍歷候選閾值計算把分布截斷到該閾值后的量化分布和原始浮點分布的KL散度選散度最小的閾值。本質上是找信息損失最小的截斷位置用信息論的視角替分布找一個最劃算的裁切點。它比百分位更貼合數據分布但也更慢。實操中我會先用min-max快速看掉點幅度掉點超過容忍線再換百分位或熵校準而不是一上來就上復雜方法。2.4 按張量還是按通道量化粒度的取舍量化粒度說的是S和Z是整層共用一份還是每個通道各一份。按張量per-tensor量化整層一個S一個Z對硬件最友好實現最簡單大部分推理引擎的默認方案。問題在于卷積層的權重分布往往不是均勻的不同輸出通道的數值范圍可能差出好幾倍。一份S被大范圍通道主導小范圍通道的有效位寬就被壓縮精度損失集中在小范圍通道上。按通道per-channel量化每個輸出通道單獨算S和Z權重量化精度顯著提升。代價是計算復雜度增加部分硬件不支持部署時要先確認硬件能力。我的經驗是權重優(yōu)先用per-channel激活保持per-tensor。激活的通道間差異通常沒有權重那么極端而per-channel激活量化在硬件上實現成本高、收益有限投入產出比不劃算。分組量化是介于兩者之間的方案把權重按固定大小分組每組一個S常用在Transformer場景。NLP模型權重動態(tài)范圍大per-tensor太粗per-channel不夠靈活分組量化就成了折中利器這個后面再說。3. FP32到INT8的完整落地流程原理清楚之后落地就是一套標準化動作。我把流程拆成四步每一步都有需要注意的細節(jié)。3.1 第一步BN折疊與網絡的靜態(tài)化動手量化之前第一件事是處理BatchNorm層。BN在訓練時做歸一化推理時變換可以寫成y gamma * (x - mean) / sqrt(var eps) beta。如果輸入x來自卷積層的輸出這整個變換能折疊進卷積的權重和偏置里推理時不需要單獨計算BN。BN不折疊直接量化的后果很嚴重。量化時激活范圍來自卷積輸出但BN會在線性變換激活的分布量化參數和實際分布對不上精度掉得毫無道理。我在最早一次實驗里跳過這一步整體分類精度從FP32的91%直接掉到82%排查了很久才發(fā)現是BN折疊沒做徹底。實操上先用推理引擎自帶的算子融合功能檢查BN是否已經并進卷積。有些框架在導出推理模型時會自動折疊但模型結構稍復雜或跳連較多時容易漏。穩(wěn)妥的做法是寫一個腳本導出后遍歷網絡結構確認BN層已經消失或已經變成Identity。3.2 第二步校準數據集的采集原則校準數據集是量化里最容易被輕視、對結果影響最大的環(huán)節(jié)。我的經驗是100到500張圖片通常夠用多樣性比數量更重要。具體原則有三條。第一條校準數據必須代表部署時真實會遇到的數據分布。做工業(yè)質檢就采樣產線上的真實圖片不能拿公開數據集充數做自然場景分類就覆蓋不同光照、不同分辨率、不同模糊程度。第二條不要用訓練集用驗證集或從完整測試分布里抽樣。訓練集里模型的激活分布和推理分布有偏差用訓練集校準會高估實際精度。第三條如果部署場景復雜把多種場景的數據拼在一個校準集里寧可每類少一點也要把分布邊界覆蓋到。我還遇到過一個反面案例校準數據全是清晰圖像模型上線后部署環(huán)境里輸入經常帶噪聲激活分布整體偏移真實精度比離線評測低了近兩個點。重新采樣了包含噪聲增強的校準集之后問題解決。3.3 第三步跑通PTQ的標準動作準備就緒后后訓練量化PTQ的流程非常固定我每次都是以下六步加載已完成BN折疊的模型確認是推理模式關閉所有隨機行為。準備校準數據集控制在幾百張規(guī)模。在模型前向計算中插入觀察算子記錄每層激活的統(tǒng)計信息。很多框架有現成工具也可以用鉤子機制自己采集。跑一遍校準數據收集完整統(tǒng)計后按選定的校準方法計算每層的S和Z。把權重按量化公式轉成INT8激活量化參數記錄下來。導出量化模型做完整評估精度指標、延遲、體積三項都要測。下面是一個簡化版的參數計算邏輯用來說明核心流程實際工程里可以直接用框架的量化工具def compute_scale_zero_point(min_val, max_val, bits8, symmetricFalse): # 計算縮放系數把浮點范圍映射到整數范圍 if symmetric: # 對稱量化取絕對值較大的邊界零點固定為0 abs_max max(abs(min_val), abs(max_val)) q_min -(1 (bits - 1)) q_max (1 (bits - 1)) - 1 scale abs_max / max(abs(q_min), abs(q_max)) zero_point 0 else: # 非對稱量化保留零點既用于非負分布也用于保存0值 q_min 0 q_max (1 bits) - 1 scale (max_val - min_val) / (q_max - q_min) zero_point round(q_min - min_val / scale) zero_point max(q_min, min(q_max, zero_point)) return scale, zero_point跑完第六步如果精度損失在可接受范圍內PTQ就可以收工。如果掉點明顯進入下面的排查鏈路逐層定位問題。3.4 第四步PTQ精度不足時升級到QATPTQ搞不定的時候就要考慮量化感知訓練QAT。判斷標準很簡單精度指標超過容忍線。分類任務掉1個點以內我都還能接受目標檢測的mAP掉2個點以上就要警惕。QAT的原理是在訓練前向里插入偽量化算子把激活和權重先量化到INT8再反量化回浮點讓模型在訓練時就看見量化誤差。反向傳播有個關鍵trickround函數的梯度幾乎處處為0直接回傳會讓模型學不動所以用直通估計器STE把round的梯度直接透傳過去讓模型知道輸入往哪個方向變能減少量化誤差。實操上我的做法是基于預訓練權重繼續(xù)微調不從頭訓。偽量化只插入權重和激活優(yōu)化器直接用SGD或Adam學習率比正常訓練小一個數量級比如3e-5起步。微調輪數不用多幾個epoch就能看到效果。有一個細節(jié)QAT過程中BN處理要格外小心先把BN統(tǒng)計量固定或者折疊后再訓練否則BN會跟偽量化交互作用訓練震蕩。QAT成本在于需要數據和訓練資源至少在部分訓練集上跑一遍周期比PTQ長很多。但精度恢復能力確實強我在一個檢測模型上PTQ掉了3.8個點QAT微調后恢復到只掉0.6個點差距非常大。4. 精度掉點排查鏈路五個高頻坑與修復方法量化掉點不可怕可怕的是不知道往哪里查。我踩過很多坑之后總結出一條固定的排查鏈路先確認校準數據分布再看激活離群點然后查敏感層最后考慮混合精度。按這個順序排查絕大多數問題都能定位。4.1 坑一校準數據與真實部署分布不一致這是所有精度問題的第一嫌疑。特征是離線評測精度很好換到線上真實數據就掉或者校準集上一測精度還行一換到覆蓋更廣的測試集就掉。定位方法很簡單換校準集重跑一遍PTQ看精度是否恢復。如果換數據有效果問題就出在數據分布上。修復方法是重新采集有代表性的校準數據必要時加入數據增強來覆蓋更寬分布。我在真實項目里見過最極端的情況僅僅是把校準集從公開數據換成現場采集數據量化模型在線上環(huán)境的精度就恢復了兩個點。4.2 坑二激活值存在極端離群點校準數據沒問題但某些層的激活范圍異常大min-max校準會把量程拉得極寬導致正常值精度被犧牲。定位方法打印量化后每層激活的S值看有沒有某一層的S比其他層大幾個數量級。如果有基本可以鎖定是離群點在作祟。修復方案有三個層次。第一換百分位校準把0.01%的尾部極端值裁掉第二該層單獨換熵校準做更細致的截斷位置搜索第三如果離群點集中在個別通道考慮對該層權重啟用per-channel量化。我在一個語義分割模型上靠把激活校準從min-max換成99.99百分位mIoU從掉4個點恢復到掉1個點以內。4.3 坑三早期層與輸出層特別敏感不同層對量化的耐受程度差別很大。規(guī)律很明確網絡的前幾層負責提取低級特征量化誤差會沿著網絡逐層放大輸出層直接決定最終預測誤差沒有機會被中間層糾正。所以首層和尾層往往是精度掉點的重災區(qū)。定位方法還是那句話逐層實驗。把網絡分成三段只量化中間部分首尾保持FP32看精度是否恢復。我常用一個更精細的做法逐層把該層量化參數放進去其余層保持FP32跑一遍驗證集畫出每一層單獨量化時的精度損失曲線。損失最大的那幾層就是敏感層。修復方案就是混合精度敏感層保持FP32其余層用INT8。這樣模型體積和速度只犧牲一小部分精度卻可能完全恢復。比如一個檢測模型我只把回歸頭的前兩層保留FP32mAP就回到了FP32水平總體推理速度仍然有1.7倍左右的提升性價比極高。4.4 坑四稀疏激活與已死ReLU的誤導ReLU之后大量神經元輸出為0特別是網絡后段更稀疏。如果某層激活分布里90%的值都是0min-max校準會把有效取值范圍壓得很窄剩下那些非零值的量化粒度就粗得離譜。最直接的觀察方法統(tǒng)計校準過程中每個激活張量里零值的比例超過一半就得警惕。修復思路是別讓0主導分布一種做法是該層換非對稱量化把零點偏移到合適位置另一種做法是適當放寬截斷范圍哪怕犧牲一點零附近的精度也要保住非零值的分辨率。我在一個輕量分類網絡上遇到過這個問題最后一層卷積的激活零值比例超過70%百分位校準配合非對稱量化精度從掉2.3個點恢復到掉0.4個點。4.5 敏感層定位逐層量化的實驗方法論最后把這套方法總結成可復用的實驗流程能幫你少走一半彎路先整體量化跑一遍確認掉點幅度作為基準。從第一層到最后一層每次只量化單層其余保持FP32記錄單層掉點幅度。按掉點幅度從大到小排序取前20%的層作為敏感層集合。把敏感層保持FP32其余層量化復測整體精度與速度。如果還有掉點擴大敏感層范圍重復第4步直到找到精度與速度的平衡點。這個過程跑下來通常只需要幾次前向傳播成本很低但信息量非常大。我在NLP模型上用它發(fā)現Attention的QKV投影層是重災區(qū)而FFN層幾乎免疫這個結論直接決定了我后續(xù)的量化方案。5. 實測收益與邊界條件哪些場景適合INT8原理和流程都清楚了最后說一組我手里的代表項目實測數據以及INT8在哪些場景下真的合適、哪些場景不該硬上。5.1 一組有代表性的實測數據下面是我在不同項目里收集到的幾組典型結果都是基于我自己的實驗環(huán)境不代表所有硬件和框架的一致表現但是方向很有參考價值場景FP32大小INT8大小FP32延遲INT8延遲FP32精度INT8精度精度差圖像分類約五千萬參數200MB50MB42ms19ms91.2%90.8%-0.4%目標檢測兩階段網絡140MB35MB88ms52ms47.3 mAP45.9 mAP-1.4語義分割實時網絡30MB7.5MB18ms9ms74.6 mIoU73.9 mIoU-0.7分類模型對量化最寬容掉點可以控制在0.5個點以內延遲收益接近2.2倍。檢測模型因為回歸分支對坐標精度敏感掉點更容易放大需要配合敏感層混合精度。分割模型表現居中。5.2 不同硬件下的速度收益差異同樣一個INT8模型在不同硬件上的收益能差出好幾倍。這個必須在選型之前就搞清楚。帶專用INT8加速指令的CPU通常是收益最大的場景卷積網絡能到1.5到3倍提速。這類CPU的SIMD指令寬度對INT8更友好一個時鐘周期能處理的運算數是FP32的四倍。如果硬件不支持INT8加速指令INT8模型在CPU上可能只有帶寬收益提速很少甚至沒有因為處理器需要把INT8數據先轉回FP32再計算白白多一次轉換開銷。GPU場景相對復雜。現代GPU的FP16和FP32吞吐已經很高部分還支持加速矩陣運算INT8收益未必明顯有時候甚至不如直接上FP16。我個人的判斷是GPU上優(yōu)先測FP16再測INT8別默認INT8一定最快。移動端NPU和嵌入式加速器是最能吃INT8紅利的地方很多加速器原生只支持INT8運算。但這里有個大坑這些硬件的約束往往很嚴格有的只支持對稱量化有的只支持per-tensor有的對零點偏移支持有限。設計方案之前必須先看硬件手冊按硬件約束反過來約束量化方案。5.3 量化不是銀彈什么時候該繼續(xù)用FP16有三個場景我會明確勸退INT8。第一數值動態(tài)范圍極大的模型。比如語音波形生成的回歸任務輸出值是連續(xù)的模擬信號動態(tài)范圍可以跨越好幾個數量級8位整數的分辨率根本不夠強行量化會出現明顯的音質劣化。這類任務FP16往往更合適收益和風險都更可控。第二迭代式生成模型。擴散模型這類需要多次前向迭代推理的場景量化誤差會在多次迭代中累積放大。單次迭代誤差看起來很小幾十次迭代后圖像質量可能明顯劣化。這類場景做量化要極其謹慎要么做完整的QAT讓模型適應誤差累積要么保持FP16等推理引擎原生支持更好的壓縮方案再說。第三本身就是小模型。一個只有幾MB的輕量網絡體積收益不明顯帶寬壓力也不大量化反而容易把本來就不多的模型容量壓得更緊。這種場景先考慮剪枝或直接用FP16別上來就量化。最后一個選型建議很樸素先跑PTQ看掉點是否在容忍線內在容忍線內就收工不在就上混合精度再不行才上QAT。這個順序能讓你用最少的成本解決絕大多數問題。我做量化做到現在最大的體會是它不是一個開個開關就完事的功能而是一套需要理解數值分布、硬件約束和誤差傳播的工程方法。把原理吃透把排查鏈路建好INT8就是部署工具箱里性價比最高的那把工具理解不到位就硬上它也會讓你為精度問題熬上好幾周。希望這篇能幫你把前一步走穩(wěn)。