模型高效化這件事這幾年在AI工程圈被反復(fù)提起。我最早意識(shí)它的重要性是在一次線上推理服務(wù)被壓垮之后當(dāng)時(shí)模型只有幾百M(fèi)并發(fā)稍微一起來(lái)顯存就沖頂、時(shí)延直接起飛。那會(huì)兒明白了一個(gè)道理一個(gè)模型跑得動(dòng)、跑得快、跑得省和它在評(píng)測(cè)集上刷分同樣重要甚至更重要。后來(lái)陸續(xù)把量化、蒸餾、剪枝、算子融合這些手段都過(guò)了一遍踩了不少坑也總結(jié)出一套組合拳的打法。這篇內(nèi)容不繞彎子直接把每一項(xiàng)關(guān)鍵技術(shù)掰開(kāi)講——它解決什么問(wèn)題、原理是什么、實(shí)操怎么落地、有哪些坑。給正在做模型部署優(yōu)化的朋友做個(gè)參考。1. 整體設(shè)計(jì)與思路拆解1.1 為什么我決定同時(shí)上量化、蒸餾和剪枝先聊聊最底層的問(wèn)題模型高效化到底在優(yōu)化什么。一個(gè)模型從訓(xùn)練完成到上線服務(wù)消耗的資源可以拆成兩塊——存儲(chǔ)和計(jì)算。存儲(chǔ)指模型本身的體積直接決定顯存占多少、加載多快計(jì)算指本次推理所需的浮點(diǎn)運(yùn)算量直接決定時(shí)延和吞吐。壓縮量化這四類手段本質(zhì)就是在兩個(gè)維度上做減法。我第一次完整做優(yōu)化方案時(shí)只上了INT8量化結(jié)果精度掉了一個(gè)點(diǎn)雖然不多但業(yè)務(wù)方不買單。后來(lái)重新梳理發(fā)現(xiàn)模型里很多小結(jié)構(gòu)對(duì)量化極不友好直接量化等于在噪聲上疊加誤差。于是我把知識(shí)蒸餾提到量化之前先讓模型自己去對(duì)齊更強(qiáng)教師模型的分布再壓縮體積最后量化。三條線串起來(lái)之后精度不僅沒(méi)掉反而比直接量化的基準(zhǔn)還高了0.3個(gè)點(diǎn)。所以我的第一個(gè)建議是不要孤立看待每一項(xiàng)技術(shù)它們是組合拳。先把精度冗余轉(zhuǎn)化為結(jié)構(gòu)冗余再?gòu)慕Y(jié)構(gòu)冗余里要效率。1.2 從精度冗余到結(jié)構(gòu)冗余的路徑設(shè)計(jì)所謂“精度冗余”意思是權(quán)重和激活值里存在大量不重要的波動(dòng)。剪枝和蒸餾解決了同一個(gè)問(wèn)題——去掉不重要的部分保留核心能力但兩者方向不同。蒸餾是“讓模型學(xué)得更好”。大模型教師對(duì)數(shù)據(jù)的理解更透徹輸出概率分布包含類間相似度信息遠(yuǎn)遠(yuǎn)超過(guò)一個(gè)one-hot標(biāo)簽的信息量。小模型學(xué)生在模仿教師輸出的過(guò)程中把這些暗知識(shí)吸收過(guò)來(lái)。這個(gè)階段的收獲是精度冗余的增加——同樣參數(shù)量下學(xué)生的表達(dá)更精準(zhǔn)。剪枝和量化則是“讓模型學(xué)得更簡(jiǎn)單”。剪枝刪掉對(duì)輸出貢獻(xiàn)很小的神經(jīng)元或通道量化降低每個(gè)權(quán)重需要的bit數(shù)。這兩個(gè)階段直接把結(jié)構(gòu)冗余轉(zhuǎn)化為速度收益。我的整體流程是先訓(xùn)練大教師模型 - 蒸餾出緊湊學(xué)生模型 - 結(jié)構(gòu)化剪枝收縮通道 - 量化壓縮到INT8。每一步都做精度驗(yàn)證任何一步掉點(diǎn)超過(guò)可接受范圍就回溯調(diào)整。這個(gè)流程跑通之后模型體積降到原來(lái)的25%以內(nèi)推理時(shí)延降到原來(lái)的40%左右效果穩(wěn)定可控。2. 量化技術(shù)深度拆解2.1 PTQ和QAT兩種量化路線的核心差異量化是當(dāng)前模型高效化中最具性價(jià)比的一步。它的核心思路很簡(jiǎn)單原本用FP32表示每個(gè)權(quán)重現(xiàn)在改用INT8甚至INT4表示模型體積直接除以4或8同時(shí)因?yàn)檎麛?shù)運(yùn)算在CPU/GPU上效率高于浮點(diǎn)推理也會(huì)提速。量化分兩條路線——訓(xùn)練后量化PTQ和量化感知訓(xùn)練QAT。PTQ的做法是把已經(jīng)訓(xùn)練好的模型拿出來(lái)統(tǒng)計(jì)權(quán)重和激活值的分布范圍然后找一個(gè)合適的scale和zero_point把浮點(diǎn)值映射到整數(shù)區(qū)間。好處是快不需要重新訓(xùn)練壞處是激活值分布往往比權(quán)重分布更刁鉆直接截?cái)鄷?huì)造成明顯誤差。QAT則在訓(xùn)練過(guò)程中就模擬量化誤差讓模型在前向傳播時(shí)“假裝”自己已經(jīng)被量化了梯度回傳時(shí)再繞過(guò)量化操作更新全精度權(quán)重。這樣訓(xùn)練出來(lái)的模型權(quán)重分布天然對(duì)量化友好。代價(jià)是要從頭重訓(xùn)或至少做一段微調(diào)成本高不少。我的經(jīng)驗(yàn)是能上PTQ就先試PTQ特別是當(dāng)你有足夠的校準(zhǔn)數(shù)據(jù)時(shí)。如果精度差了超過(guò)0.5個(gè)點(diǎn)再切QAT。不要一上來(lái)就QAT成本和復(fù)雜度都高。2.2 量化參數(shù)scale和zero_point的計(jì)算邏輯非對(duì)稱量化的核心公式很簡(jiǎn)單real_value scale * (q_value - zero_point)。scale是浮點(diǎn)值到整數(shù)值的步長(zhǎng)zero_point是浮點(diǎn)值0對(duì)應(yīng)到整數(shù)空間的偏移。計(jì)算方式通常是收集權(quán)重或激活值的整體分布得到一個(gè)最小值min_val和最大值max_val。scale (max_val - min_val) / (q_max - q_min)其中INT8的q_max 127q_min -128。zero_point q_min - min_val / scale然后取整到整數(shù)范圍。關(guān)鍵在于min_val和max_val怎么定。如果直接取整個(gè)張量的實(shí)際min/max離群點(diǎn)會(huì)把scale拉大普通值的量化精度被犧牲如果直接卡在99.99%分位數(shù)又有可能截?cái)嗟粲袃r(jià)值的信息。業(yè)界常見(jiàn)做法是使用KL散度校準(zhǔn)——像TensorRT就是這么做的。思路是嘗試不同的截?cái)嚅撝涤?jì)算截?cái)嗪蠓植己驮植嫉腒L散度選一個(gè)散度最小的閾值作為min/max。這種方式在激活值分布是長(zhǎng)尾分布時(shí)效果尤其明顯。我們實(shí)際跑下來(lái)的經(jīng)驗(yàn)是校準(zhǔn)集不要只挑“好樣本”要讓校準(zhǔn)集覆蓋真實(shí)線上的數(shù)據(jù)分布否則你會(huì)在校準(zhǔn)階段得到一個(gè)漂亮的閾值上線后一遇到分布外的數(shù)據(jù)直接崩掉。2.3 實(shí)際項(xiàng)目中的INT8量化落地細(xì)節(jié)在PyTorch里做PTQnum_calibration_batches一般取10到20個(gè)batch數(shù)據(jù)量不大但覆蓋要廣。校準(zhǔn)階段模型要進(jìn)入eval模式關(guān)閉dropout和batch norm的更新。常見(jiàn)的坑就是忘記凍結(jié)batch norm統(tǒng)計(jì)量導(dǎo)致量化后精度大跳水。校準(zhǔn)之后我會(huì)做三件事先用驗(yàn)證集過(guò)一遍看整體精度變化。再逐層檢查量化敏感度。我會(huì)把每一層單獨(dú)替換成量化版本觀察精度影響。影響大的層標(biāo)記為敏感層。對(duì)敏感層保持FP32其余層走INT8做混合精度量化?；旌暇仁荘TQ保精度的關(guān)鍵手段。實(shí)際跑下來(lái)一個(gè)模型里真正對(duì)量化敏感的層通常不超過(guò)5%。把這5%保住就能換來(lái)整體75%的存儲(chǔ)節(jié)省和接近30%的推理加速。業(yè)內(nèi)常用的敏感度判定方法有兩種。一種是“逐層誤差掃描”替換某一層后看輸出誤差另一種是“Hessian矩陣分析”對(duì)權(quán)重計(jì)算二階導(dǎo)數(shù)值越高說(shuō)明這層對(duì)量化越敏感。前者簡(jiǎn)單直接后者更學(xué)術(shù)但是計(jì)算開(kāi)銷大我一般用前者就夠了。工具鏈方面PyTorch自帶nn.quantization和torch.ao.quantizationTensorRT和OnnxRuntime也有成熟的PTQ接口。如果是自研推理引擎可以參考后端推理框架的做法自己實(shí)現(xiàn)一遍對(duì)稱量化邏輯邏輯并不復(fù)雜難的是工程容錯(cuò)。2.4 從INT8到INT4/FP8低比特量化的取舍INT8是目前最成熟的但最近INT4和FP8的關(guān)注度明顯上升。兩者的動(dòng)機(jī)完全不同。INT4是為了極致壓縮存儲(chǔ)。權(quán)重從4bit起步配合KV Cache量化可以把模型塞進(jìn)更小的顯存。代價(jià)是精度風(fēng)險(xiǎn)大幅上升一般需要QAT加先進(jìn)的分組量化策略比如GPTQ/AWQ那種按列分組找scale的方式才能撐住。FP8則更多是為了計(jì)算效率。在Hopper架構(gòu)的GPU上FP8矩陣乘法有專門(mén)的加速單元吞吐大概是FP16的兩倍。FP8保留了一部分動(dòng)態(tài)范圍比INT8對(duì)激活值更友好特別適合推理時(shí)不想做太多校準(zhǔn)的情況。我的建議是主力場(chǎng)景還是INT8質(zhì)量和生態(tài)最成熟。如果你在做服務(wù)端大模型推理可以嘗試FP8但要先確認(rèn)你的推理框架對(duì)FP8的支持成熟度。INT4先按研究性質(zhì)來(lái)除非顯存實(shí)在吃緊否則不要輕易上。3. 知識(shí)蒸餾的工程化落地3.1 蒸餾為什么能提升“精度冗余”知識(shí)蒸餾是一項(xiàng)很巧妙的思路。傳統(tǒng)的訓(xùn)練讓模型擬合硬標(biāo)簽可是一個(gè)物體的類別之間是有相似度的比如“貓”和“老虎”在特征空間里的距離比“貓”和“卡車”近得多。硬標(biāo)簽把這類信息壓扁了模型只能學(xué)到“什么是貓”學(xué)不到“貓和老虎有多像”。大模型輸出的是一個(gè)概率分布比如看到某張圖它給出貓0.7、老虎0.2、狗0.08、卡車0.02。這個(gè)分布包含了“這個(gè)物體更像貓還是更像老虎”的暗信息。小模型去學(xué)這個(gè)分布相當(dāng)于大模型直接把“解題思路”講給小模型聽(tīng)而不是只給它最終答案。這個(gè)收益在蒸餾中表現(xiàn)得很直接同一參數(shù)量的小模型獨(dú)立訓(xùn)練可能只能到90%準(zhǔn)確率通過(guò)蒸餾對(duì)齊教師模型后可能直接來(lái)到93%甚至更高。你什么都沒(méi)加模型結(jié)構(gòu)完全沒(méi)變只是它的參數(shù)被訓(xùn)練得“更有信息量”了這就是精度冗余的來(lái)源。3.2 溫度系數(shù)與KD Loss的交互機(jī)制知識(shí)蒸餾最關(guān)鍵的超參數(shù)是溫度T。softmax在除以T之后分布會(huì)變平滑T越高分布越接近均勻分布T越低分布越尖銳接近one-hot。這個(gè)設(shè)計(jì)的原理可以理解為信息熵的調(diào)節(jié)。T變大時(shí)小概率類別的相對(duì)差異被放大小模型能接收到“哪些類更容易混淆”的信息T變小時(shí)小模型更專注于模仿教師的“最終決斷”。通常取T3到5配合蒸餾損失權(quán)重ratio0.5到0.7效果比較平衡。KD Loss的常見(jiàn)形態(tài)是L alpha * KL_divergence(teacher_output, student_output) (1 - alpha) * cross_entropy(student_output, hard_label)。前半段負(fù)責(zé)讓學(xué)生的概率分布向老師靠攏后半段保證學(xué)生仍然能對(duì)齊真實(shí)標(biāo)簽。alpha一般取0.5到0.7表示您希望學(xué)生更多的“聽(tīng)老師講”。我踩過(guò)的坑是alpha取太高學(xué)生模型過(guò)度擬合教師的錯(cuò)誤判斷收斂慢而且上限降低alpha太低蒸餾等于白做。另一個(gè)坑是溫度只加在蒸餾分支上不要加到hard-label的交叉熵分支否則標(biāo)簽本身被弄模糊了模型學(xué)不到確定性。3.3 哪些場(chǎng)景必須用蒸餾不是所有模型都適合蒸餾。我總結(jié)下來(lái)遇到以下情況時(shí)蒸餾是你必須優(yōu)先考慮的手段小模型獨(dú)立訓(xùn)練效果明顯差于大模型怎么調(diào)都追不上。數(shù)據(jù)量不充足小模型容易過(guò)擬合蒸餾可以借用大模型的先驗(yàn)知識(shí)做正則化。模型要上低端設(shè)備或極低延遲場(chǎng)景學(xué)生模型必須在參數(shù)上做嚴(yán)格限制只有蒸餾能保證體積縮小的同時(shí)能力不塌方。知識(shí)蒸餾經(jīng)常和量化前置結(jié)合。量化相當(dāng)于給模型加噪聲蒸餾后的模型信息冗余多抗噪聲能力更強(qiáng)。到這里你會(huì)發(fā)現(xiàn)蒸餾不是獨(dú)立存在的步驟而是整個(gè)優(yōu)化鏈條的地基。地基打得好后面剪枝和量化才有操作空間。4. 剪枝與結(jié)構(gòu)化稀疏的實(shí)操4.1 非結(jié)構(gòu)化剪枝與結(jié)構(gòu)化剪枝的區(qū)別剪枝可以按粒度分成兩類非結(jié)構(gòu)化剪枝和結(jié)構(gòu)化剪枝。非結(jié)構(gòu)化剪枝是把矩陣?yán)锊恢匾膯蝹€(gè)權(quán)重置零得到一個(gè)稀疏矩陣。它的粒度最細(xì)理論上可以保留最多的精度但問(wèn)題在于稀疏矩陣計(jì)算需要專門(mén)的硬件和算子支持在常見(jiàn)GPU上并不能直接獲得加速甚至可能因?yàn)樘D(zhuǎn)開(kāi)銷變慢。結(jié)構(gòu)化剪枝是整行、整列或整個(gè)通道地刪。粒度粗精度影響也更大但它實(shí)實(shí)在在減少了矩陣乘法的計(jì)算量。像在GPU上通道少一個(gè)卷積計(jì)算量就少一部分在CPU上維度減小也能直接提升cache命中率。我的實(shí)操建議是如果是做移動(dòng)端或邊緣端推理認(rèn)準(zhǔn)結(jié)構(gòu)化剪枝因?yàn)榭蚣芷毡閷?duì)稠密矩陣優(yōu)化到達(dá)極致稀疏矩陣反而成了負(fù)優(yōu)化。如果目標(biāo)是學(xué)術(shù)探索或某類專用硬件可以研究非結(jié)構(gòu)化剪枝否則不要浪費(fèi)時(shí)間。4.2 通道剪枝的敏感度分析與參數(shù)選擇通道剪枝是結(jié)構(gòu)化剪枝最主流的一種。核心邏輯是對(duì)每個(gè)通道算出重要性分?jǐn)?shù)把不重要的通道刪掉。關(guān)鍵問(wèn)題是怎么算“重要性”。常用的方法有三種基于權(quán)重的L1/L2范數(shù)。權(quán)重絕對(duì)值小說(shuō)明這一通道的激活值變化不大對(duì)輸出貢獻(xiàn)有限?；诩せ钪档腂N參數(shù)。BN層中的scale參數(shù)gamma絕對(duì)值小說(shuō)明這一通道標(biāo)準(zhǔn)化后的特征被壓得很低重要性也低?；谔荻然騂essian信息。更準(zhǔn)確但是計(jì)算開(kāi)銷大。我的經(jīng)驗(yàn)是通道剪枝要看全局效果不要只看單層。剪枝比例設(shè)置要分層靠近輸入層的結(jié)構(gòu)負(fù)責(zé)提取基礎(chǔ)特征不宜大比例剪靠近輸出層的結(jié)構(gòu)直接決定分類結(jié)果也要保守。中間層可以激進(jìn)一些。一個(gè)晚間操作參考是CNN模型按層設(shè)置20%到60%的不同剪枝比例整體壓縮1.5到2倍是相對(duì)安全的區(qū)間。剪完之后必須重新微調(diào)通常用0.01以下的學(xué)習(xí)率跑上幾個(gè)epoch把模型拉回收斂狀態(tài)。4.3 剪枝后模型的微調(diào)策略剪枝完直接上生產(chǎn)是非常危險(xiǎn)的。模型刪掉一部分通道后特征分布被破壞BN統(tǒng)計(jì)量也變得極不準(zhǔn)確。絕大多數(shù)情況精度會(huì)掉幾個(gè)百分點(diǎn)。關(guān)鍵步驟是把BN統(tǒng)計(jì)量先重新估計(jì)——用訓(xùn)練數(shù)據(jù)過(guò)一遍前向重算running mean和running variance再開(kāi)始微調(diào)。微調(diào)時(shí)學(xué)習(xí)率一定要小推薦使用warmup加余弦退火。我通常的方案是warmup 5%總步數(shù)峰值學(xué)習(xí)率設(shè)在原模型訓(xùn)練學(xué)習(xí)率的10%到20%后面再余弦衰減。這樣能保證模型結(jié)構(gòu)變化后不會(huì)劇烈震蕩。另一個(gè)容易忽略的細(xì)節(jié)是剪枝后模型最好連續(xù)微調(diào)多個(gè)epoch直到loss不再明顯下降為止。不要只看一兩輪的驗(yàn)證集指標(biāo)因?yàn)橥ǖ绖h除后初始的loss跳變非常劇烈需要足夠長(zhǎng)時(shí)間讓其余通道學(xué)會(huì)彌補(bǔ)。5. 推理加速與部署優(yōu)化的前端操作5.1 折疊BN與融合激活函數(shù)很多人會(huì)忽略一個(gè)事實(shí)很多模型的推理開(kāi)銷中BN層和激活函數(shù)占據(jù)的可觀比例。BN在推理階段的運(yùn)算本來(lái)可以被優(yōu)化掉。BN的推理公式是y (x - mean) / sqrt(var eps) * gamma beta。仔細(xì)看這本質(zhì)上是一個(gè)線性變換。如果前面一層是卷積那么卷積分?jǐn)?shù)的線性變換和BN的線性變換可以合并成一個(gè)新的線性變換。操作方法是把bn的scale和shift折算進(jìn)卷積層的weight和bias。這樣推理時(shí)整條路徑只剩一次卷積沒(méi)有了額外的BN運(yùn)算。激活函數(shù)融合同理。Conv后面如果跟ReLUReLU會(huì)檢查輸出是否大于0?？梢栽诰矸e計(jì)算時(shí)順便把裁剪邏輯做掉減少一次顯存讀寫(xiě)。這個(gè)操作在GPU上收益尤為明顯因?yàn)槭×艘淮稳謨?nèi)存往返對(duì)帶寬占用影響很大。TensorRT和ONNX Runtime都已經(jīng)自動(dòng)做這類優(yōu)化。如果你是自己寫(xiě)推理引擎優(yōu)化時(shí)優(yōu)先考慮kernel融合因?yàn)樗恍枰魏文Ｐ透膭?dòng)就能在模型執(zhí)行圖上砍掉一批節(jié)點(diǎn)。5.2 連續(xù)內(nèi)存布局與內(nèi)存復(fù)用模型推理時(shí)對(duì)內(nèi)存帶寬的要求有時(shí)不亞于計(jì)算量。Transformer這類結(jié)構(gòu)里的張量動(dòng)輒幾十MB多次反復(fù)搬運(yùn)很容易把帶寬打滿。推理框架通常要做兩件事。一是內(nèi)存池分配一塊預(yù)預(yù)留的大塊內(nèi)存推理過(guò)程中反復(fù)復(fù)用避免反復(fù)malloc/free帶來(lái)的分配開(kāi)銷和碎片問(wèn)題。二是連續(xù)內(nèi)存布局讓張量在內(nèi)存中連續(xù)排列減少內(nèi)存讀取時(shí)的cache miss。我自己寫(xiě)過(guò)一個(gè)簡(jiǎn)單的推理服務(wù)最初內(nèi)存申請(qǐng)完全交給系統(tǒng)mallocQPS掉得很厲害。改成內(nèi)存池之后單次推理的耗時(shí)降低了接近15%。看似不起眼但高并發(fā)場(chǎng)景下影響非常大。5.3 動(dòng)態(tài)shape與靜態(tài)shape的平衡動(dòng)態(tài)shape能給調(diào)用方較大靈活性但推理框架在處理動(dòng)態(tài)維度時(shí)往往要引入邊界判斷、補(bǔ)零、動(dòng)態(tài)內(nèi)存分配這些都會(huì)拖慢速度。處理思路是識(shí)別服務(wù)中的真實(shí)統(tǒng)計(jì)分布比如max sequence length大約是128、batch size最大也就8然后按這些上限設(shè)定靜態(tài)shape。靜態(tài)shape的kernel可以做極致優(yōu)化比如預(yù)先鋪好內(nèi)存布局、鎖死循環(huán)邊界。代價(jià)是當(dāng)請(qǐng)求超過(guò)上限時(shí)可能需要額外的回退邏輯。我一般打出組合方案——most請(qǐng)求走靜態(tài)shape快路徑少數(shù)超限請(qǐng)求走動(dòng)態(tài)shape兜底路徑。用ensuring模式做降級(jí)保證服務(wù)穩(wěn)定性同時(shí)把整體吞吐拉高這是線上工程里很實(shí)用的一招。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 量化后精度崩潰的排查思路量化之后精度掉了超過(guò)預(yù)期排查順序很重要。我建議按以下順序來(lái)先看校準(zhǔn)集是否覆蓋真實(shí)分布。很多掉點(diǎn)都是校準(zhǔn)集太小或太偏導(dǎo)致的換一組校準(zhǔn)集試試。再檢查BN層是否被正確凍結(jié)。eval模式有沒(méi)有設(shè)BN統(tǒng)計(jì)量有沒(méi)有被更新。然后逐層做敏感度掃描。定位跟FP32差距最大的層看看是否有大量的離群值或極端分布?？梢宰鎏嘏邪涯切訂为?dú)保留FP32。最后檢查量化粒度和方案。如果per-tensor掉點(diǎn)嚴(yán)重就改成per-channel量化。特別是卷積權(quán)重per-channel幾乎是必須的。最實(shí)用的工具是拿一個(gè)小模型做“基準(zhǔn)實(shí)驗(yàn)”讓模型過(guò)校準(zhǔn)集時(shí)逐層記錄輸出tensor的分布打印出來(lái)看哪些層的min/max偏離初始值太遠(yuǎn)。這種針對(duì)性排查比盲目調(diào)參快得多。6.2 蒸餾時(shí)學(xué)生模型收斂慢的常見(jiàn)原因蒸餾訓(xùn)練時(shí)loss下降緩慢甚至訓(xùn)練不穩(wěn)定的情況很常見(jiàn)。首因通常是溫度T和alpha配比不適合當(dāng)前任務(wù)。T過(guò)高教師輸出分布太平滑學(xué)生學(xué)不到?jīng)Q定性信息T過(guò)低學(xué)生又只學(xué)到單一答案信息熵太小。T和alpha要聯(lián)動(dòng)調(diào)。bottleneck是1alpha設(shè)太高時(shí)讓學(xué)生學(xué)習(xí)教師相當(dāng)大的平滑分布可能導(dǎo)致學(xué)生模型在初期出現(xiàn)發(fā)散這時(shí)就要降低alpha或者在訓(xùn)練前期先做純hard-label訓(xùn)練到后期再加入蒸餾loss。第二個(gè)原因是教師模型和學(xué)生模型容量差太大。教師是70B學(xué)生是0.5B這種差距下學(xué)生根本學(xué)不過(guò)來(lái)需要加一層“中間適配器”比如用教師中間層的特征做輔助監(jiān)督。常見(jiàn)做法是把教師某一層的feature map和學(xué)生對(duì)應(yīng)層的feature做MSE loss讓中間層對(duì)對(duì)齊。6.3 剪枝后精度恢復(fù)不到基線的解法剪枝后精度通常會(huì)有回落這是正常的。最關(guān)鍵是看有沒(méi)有恢復(fù)的可能性。如果剪得太多通道刪過(guò)頭了精度就補(bǔ)不回來(lái)了就算微調(diào)也很難恢復(fù)很多目標(biāo)。建議先保守一點(diǎn)按1.5倍壓縮試試微調(diào)后看精度。如果能回得來(lái)再繼續(xù)加大壓力。這樣漸進(jìn)式的方案可比一次性剪到位穩(wěn)得多。如果剪枝比例不算大但精度恢復(fù)不了那么大概率問(wèn)題出在微調(diào)策略上。檢查是不是學(xué)習(xí)率太大導(dǎo)致震蕩BN統(tǒng)計(jì)量是否重新估計(jì)過(guò)。另外可以嘗試在微調(diào)階段加入蒸餾loss——用未剪枝的原始模型當(dāng)教師讓剪枝后的模型模仿原始模型的輸出。這個(gè)組合我實(shí)測(cè)很有效精度恢復(fù)速度幾乎翻倍。6.4 工具鏈與框架選擇的經(jīng)驗(yàn)總結(jié)PyTorch的原生量化接口、TensorRT、ONNX Runtime、OpenVINO各有特點(diǎn)我盡力整理一張對(duì)比表做參考工具鏈適用場(chǎng)景量化支持部署便利性備注PyTorch原生訓(xùn)練/實(shí)驗(yàn)階段PTQ、QAT一般靈活適合快速驗(yàn)證想法TensorRTNVIDIA GPUINT8/FP8高自動(dòng)算子融合精度校準(zhǔn)工具成熟ONNX Runtime跨平臺(tái)通用INT8量化高生態(tài)廣適合服務(wù)端通用部署OpenVINOIntel CPU/核顯INT8/INT4高CPU優(yōu)化效果明顯適合邊緣部署我的建議是實(shí)驗(yàn)階段用PyTorch驗(yàn)證方案有效性生產(chǎn)部署根據(jù)目標(biāo)硬件選推理框架。如果用的是NVIDIA GPU直接上TensorRT如果CPU服務(wù)器OpenVINO往往能榨出更多性能。最后分享一點(diǎn)個(gè)人體會(huì)模型高效化和壓縮量化這條線這幾年從“可選優(yōu)化”慢慢變成了“上線標(biāo)配”模型能力再?gòu)?qiáng)落不了地就沒(méi)有業(yè)務(wù)價(jià)值。我自己的感受是這類優(yōu)化的核心不在某個(gè)單獨(dú)的技術(shù)點(diǎn)有多高精尖而在整個(gè)流程的工程化控制——把每一步的精度損失控制在可量化、可追蹤、可回溯的范圍內(nèi)。守著驗(yàn)證集看著每步指標(biāo)變化再?zèng)Q定下一步怎么走這是最笨也最穩(wěn)的做法。如果你正準(zhǔn)備做類似優(yōu)化建議先搭一條小模型的完整Pipeline跑通再切換到目標(biāo)模型上省下的調(diào)試時(shí)間會(huì)讓你覺(jué)得這步懶偷得非常值。