一年多前我刷到一個(gè)挺夸張的新聞標(biāo)題9個(gè)月迭代AI芯片8位硬件跑出32位精度。第一反應(yīng)是營(yíng)銷(xiāo)號(hào)又開(kāi)始整活了但仔細(xì)把背后的技術(shù)方案扒完發(fā)現(xiàn)這類(lèi)說(shuō)法雖然標(biāo)題黨核心思路倒是實(shí)打?qū)嵈嬖诘臇|西。做模型部署、推理引擎或者AI芯片工具鏈的人應(yīng)該都有同感現(xiàn)在行業(yè)內(nèi)最能拉高硬件利用率又不至于讓模型效果崩掉的手段就是混合精度計(jì)算。所謂“8位硬件跑出32位精度”本質(zhì)上是在INT8計(jì)算核心旁邊用一組精度橋接單元做高精度累加和誤差補(bǔ)償把量化損失壓到幾乎可忽略。這套思路不是什么玄學(xué)而是芯片微架構(gòu)、算子調(diào)度和量化算法三個(gè)層面協(xié)同發(fā)力的結(jié)果。這篇文章我就把這里的原理、工程落地方法和踩過(guò)的坑拆開(kāi)講一遍。適合正在做模型部署、AI芯片軟件?；蛘哌吘壎送评韮?yōu)化的讀者參考。不管你是做算法還是做硬件看完應(yīng)該能對(duì)“混合精度到底在混合什么”有一個(gè)比較立體的理解。1. 9個(gè)月迭代AI芯片速度背后的工程邏輯1.1 為什么AI芯片能快速迭代架構(gòu)先行與軟硬件解耦很多人看到“9個(gè)月迭代AI芯片”第一反應(yīng)是質(zhì)疑因?yàn)閭鹘y(tǒng)芯片從設(shè)計(jì)到流片到量產(chǎn)動(dòng)輒兩三年。但你仔細(xì)看這類(lèi)新聞的措辭它說(shuō)的是“AI芯片迭代”不一定是指物理芯片從一張白紙重新設(shè)計(jì)一遍更多時(shí)候是指加速器子版本、配套編譯器、算子庫(kù)和驅(qū)動(dòng)軟件棧完成了一次完整閉環(huán)。我見(jiàn)過(guò)不少芯片團(tuán)隊(duì)的迭代節(jié)奏基本都遵循一個(gè)原則硬件架構(gòu)設(shè)計(jì)嚴(yán)格遵守“指令集預(yù)留 可配置計(jì)算單元 可編程數(shù)據(jù)通路”算法側(cè)的新需求盡量通過(guò)編譯器調(diào)度和微碼更新來(lái)滿(mǎn)足而不是動(dòng)不動(dòng)就改物理設(shè)計(jì)。舉一個(gè)典型例子。某團(tuán)隊(duì)在做AI加速芯片時(shí)第一版只做了INT8矩陣乘法和FP16向量計(jì)算單元。算法團(tuán)隊(duì)跑了一段時(shí)間后反饋transformer架構(gòu)中的LayerNorm和Softmax對(duì)數(shù)值范圍特別敏感直接用INT8走一遍會(huì)損失不少精度。硬件團(tuán)隊(duì)的做法不是在下一版流片里給每個(gè)計(jì)算單元都改成FP32那成本太高了而是在數(shù)據(jù)通路上預(yù)留了一個(gè)高精度累加器的接口調(diào)度器可以把異常敏感的算子切到FP16路徑同時(shí)讓INT8矩陣乘法的部分結(jié)果以FP32格式累加。這種設(shè)計(jì)的核心思路叫“軟硬件解耦”硬件提供能力范圍編譯器負(fù)責(zé)在這個(gè)范圍內(nèi)做最優(yōu)映射。只要指令集設(shè)計(jì)時(shí)預(yù)留了類(lèi)型轉(zhuǎn)換、累加精度的開(kāi)關(guān)那么算法模型升級(jí)帶來(lái)的需求變化有很大一部分可以在不動(dòng)硬件的情況下消化掉。所以9個(gè)月迭代真正快的地方是工具鏈和編譯器適配的速度而不是RTL代碼重寫(xiě)的速度。芯片物理設(shè)計(jì)階段需要幾周甚至幾個(gè)月但算子庫(kù)的擴(kuò)展可能只需要一個(gè)開(kāi)發(fā)迭代周期。這個(gè)邏輯搞清楚之后你再回看“8位硬件跑出32位精度”這個(gè)說(shuō)法就不會(huì)覺(jué)得它是天方夜譚了。1.2 混合精度橋接器迭代中補(bǔ)上的關(guān)鍵拼圖前面提到的高精度累加器接口在工程上往往被叫做“精度橋接器”。為什么要“橋接”因?yàn)?位硬件計(jì)算單元比如INT8的MAC陣列和32位精度之間天然隔著一道鴻溝。INT8矩陣乘法本身算得很快能效比很高但做完乘加后會(huì)面臨兩個(gè)問(wèn)題一是乘積結(jié)果溢出到16位甚至32位范圍如果直接在8位域里截?cái)嗾`差直接起飛二是后續(xù)需要把結(jié)果以32位浮點(diǎn)形式傳給下一個(gè)算子這中間如果沒(méi)有一個(gè)精度轉(zhuǎn)換和補(bǔ)償機(jī)制那整個(gè)網(wǎng)絡(luò)就會(huì)在幾層內(nèi)累積出肉眼可見(jiàn)的精度損失。精度橋接器一般做的事情包括三件把INT8乘加的部分和匯總到FP32累加器里避免中間結(jié)果的溢出和截?cái)嗾`差在算子邊界做動(dòng)態(tài)范圍監(jiān)控發(fā)現(xiàn)某些特征圖數(shù)值分布偏移嚴(yán)重時(shí)自動(dòng)切換計(jì)算路徑對(duì)量化產(chǎn)生的系統(tǒng)性誤差做在線修正比如做偏置校正、縮放因子微調(diào)。這就好比你用一把厘米刻度尺去量東西正常測(cè)量沒(méi)問(wèn)題但量到精密零件時(shí)你需要一個(gè)千分尺。精度橋接器就是那個(gè)千分尺它不改變你手里這把尺子的本質(zhì)但讓你在關(guān)鍵場(chǎng)景下也能得出足夠精確的結(jié)果。工程上它的代價(jià)是增加了一部分面積和功耗但相比整塊計(jì)算單元都改成FP32這點(diǎn)代價(jià)小得多。1.3 項(xiàng)目迭代中的關(guān)鍵決策記錄我在了解這類(lèi)項(xiàng)目時(shí)最感興趣的是他們?cè)?個(gè)月里怎么排優(yōu)先級(jí)。通常這么短的時(shí)間內(nèi)能完成一輪有效迭代一定是砍掉了大量不重要的需求。優(yōu)先級(jí)排法大致是這樣先解決“量化后模型根本不收斂”的問(wèn)題再解決“精度對(duì)不上導(dǎo)致算子間數(shù)值偏差大”的問(wèn)題最后才去做吞吐量和延遲優(yōu)化。大多數(shù)團(tuán)隊(duì)的順序正好相反他們先拼命調(diào)算子性能等精度崩了再回頭修結(jié)果項(xiàng)目周期被拉長(zhǎng)好幾倍。另外9個(gè)月內(nèi)的每個(gè)里程碑點(diǎn)都需要一次完整的“回歸測(cè)試”就是同一套模型、同一份校準(zhǔn)數(shù)據(jù)、同一個(gè)精度指標(biāo)公式跑出可對(duì)比的結(jié)果。我見(jiàn)過(guò)有團(tuán)隊(duì)因?yàn)閾Q了校準(zhǔn)數(shù)據(jù)集導(dǎo)致量化后的模型精度忽高忽低最后排查了一周才發(fā)現(xiàn)是校準(zhǔn)數(shù)據(jù)分布沒(méi)對(duì)齊。這種問(wèn)題不是靠加班能解決的靠的是流程規(guī)范化。還有一點(diǎn)芯片團(tuán)隊(duì)在迭代時(shí)經(jīng)常忽略算子庫(kù)的黑名單機(jī)制。不是所有算子都適合跑混合精度比如深度可分離卷積的depthwise層、某些動(dòng)態(tài)shape的算子在8位硬件上跑起來(lái)誤差敏感度很高。橋接器也不是萬(wàn)能的它要做的是把適合8位的計(jì)算留在8位把不適合的“橋接”到更高精度路徑上而不是無(wú)腦全切過(guò)去。2. 混合精度橋接器原理拆解8位硬件如何跑出32位效果2.1 先搞清楚精度差在哪FP32、FP16、INT8的對(duì)比要理解橋接器為什么有效先得把幾種常見(jiàn)數(shù)值格式的家底翻一翻。FP32是單精度浮點(diǎn)用1位符號(hào)、8位指數(shù)、23位尾數(shù)表示一個(gè)數(shù)。它的動(dòng)態(tài)范圍大概是正負(fù)3.4E38精度大約是小數(shù)點(diǎn)后7位。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的默認(rèn)精度就是它也是各種精度格式對(duì)比的基準(zhǔn)。FP16是半精度浮點(diǎn)1位符號(hào)、5位指數(shù)、10位尾數(shù)。它的動(dòng)態(tài)范圍比FP32窄很多容易在數(shù)值較大時(shí)溢出在數(shù)值較小時(shí)精度不足。但因?yàn)橛杏布С值那闆r下吞吐量可以直接翻倍所以不少訓(xùn)練和推理場(chǎng)景都會(huì)用到它。BF16是Google提出來(lái)的格式1位符號(hào)、8位指數(shù)、7位尾數(shù)。它的動(dòng)態(tài)范圍和FP32幾乎一樣但尾數(shù)精度低。這個(gè)格式的好處是整數(shù)和浮點(diǎn)轉(zhuǎn)換邏輯簡(jiǎn)單適合AI加速器里做混合精度代價(jià)是精度比FP16還粗糙一點(diǎn)。INT8是定點(diǎn)數(shù)一般用int8表示-128到127或者uint8表示0到255。它本質(zhì)上是個(gè)計(jì)數(shù)器沒(méi)有指數(shù)部分所以動(dòng)態(tài)范圍全靠一個(gè)縮放因子(scale)和一個(gè)零點(diǎn)(zero point)去映射到實(shí)數(shù)范圍。INT8的硬件能效是FP32的好幾倍但精度表達(dá)能力被壓縮得很厲害。這幾個(gè)格式放在一起看就很清楚了。FP32是個(gè)“全能型選手”什么場(chǎng)景都能上但單位面積算力上不去INT8是個(gè)“體能怪”沖得很快但腦子有點(diǎn)不好使FP16和BF16是中間的過(guò)渡方案?；旌暇鹊囊馑季褪亲尅绑w能怪”跑大部分路程“全能型選手”只在關(guān)鍵轉(zhuǎn)彎路口把一下方向盤(pán)。2.2 橋接器到底橋接了什么量化誤差補(bǔ)償與高精度累加現(xiàn)在可以具體說(shuō)橋接器的內(nèi)部結(jié)構(gòu)了。一個(gè)典型的混合精度橋接器在硬件上由幾個(gè)部件配合完成精度補(bǔ)償工作。第一塊是“動(dòng)態(tài)范圍對(duì)齊單元”。因?yàn)镮NT8和FP32表達(dá)同一個(gè)神經(jīng)網(wǎng)絡(luò)中間數(shù)據(jù)時(shí)數(shù)值范圍完全不在一個(gè)維度上橋接器需要實(shí)時(shí)統(tǒng)計(jì)當(dāng)前層的數(shù)值分布計(jì)算出合適的縮放比例。這一步如果做得不細(xì)致比如只看最大值不看分布那量化后那些分布稀疏的大數(shù)值會(huì)把整個(gè)動(dòng)態(tài)范圍撐爆小數(shù)值區(qū)域的精度直接報(bào)廢。第二塊是“高精度累加路徑”。矩陣乘法的本質(zhì)是大量乘加操作比如一個(gè)K維度為256的向量乘需要做256次乘加。如果每次累加都落在INT8域誤差會(huì)不斷累積。橋接器的做法是在MAC陣列后面加一個(gè)FP32累加寄存器讓256次乘加的結(jié)果全部以FP32格式累加只在最終寫(xiě)回內(nèi)存時(shí)做一次量化。這一下就把累加誤差從毫秒級(jí)、毫伏級(jí)的問(wèn)題變成了可以忽略不計(jì)的問(wèn)題。第三塊是“誤差反饋補(bǔ)償”。橋接器不是只能做“數(shù)據(jù)通路”高級(jí)一點(diǎn)的還會(huì)記錄每一層的量化誤差指標(biāo)比如均方誤差(MSE)或者余弦相似度然后動(dòng)態(tài)決定下一層是否需要調(diào)整量化參數(shù)。這個(gè)思路有點(diǎn)類(lèi)似自適應(yīng)計(jì)算但工程實(shí)現(xiàn)上通常不會(huì)這么復(fù)雜更多是離線統(tǒng)計(jì)后把策略固化到算子庫(kù)里面。硬件層面試圖解決的問(wèn)題量化訓(xùn)練和量化感知訓(xùn)練在算法層面試圖解決同樣的問(wèn)題。一個(gè)是讓模型在訓(xùn)練時(shí)就“知道”未來(lái)要跑8位硬件另一個(gè)是在推理時(shí)把算出來(lái)的結(jié)果小心地“翻譯”回調(diào)用的數(shù)值范圍。所謂“8位硬件跑出32位精度”從來(lái)不是奇跡而是這些環(huán)節(jié)挨個(gè)排查、挨個(gè)優(yōu)化的結(jié)果。2.3 量化參數(shù)與校準(zhǔn)一切精度收益的起點(diǎn)前面說(shuō)了這么多可能有人會(huì)問(wèn)橋接器再?gòu)?qiáng)如果量化參數(shù)本身是拍腦袋定的那也白搭吧確實(shí)是這樣量化參數(shù)的選擇是整個(gè)混合精度體系的起點(diǎn)。量化參數(shù)主要是scale和zero point。映射公式基本長(zhǎng)這樣float_value (uint8_value - zero_point) * scalescale決定了浮點(diǎn)值到定點(diǎn)值的步長(zhǎng)zero point決定了零點(diǎn)映射的位置。不同取值范圍、不同分布形狀的tensor需要不同的scale和zero point。如果這兩者設(shè)得不準(zhǔn)后續(xù)所有精度補(bǔ)償都是空中樓閣。選擇量化參數(shù)的方法有好幾種。最簡(jiǎn)單的是min-max校準(zhǔn)也就是看校準(zhǔn)數(shù)據(jù)集上整個(gè)tensor的最小值和最大值把它們映射到INT8的邊界上。這個(gè)方法開(kāi)銷(xiāo)最小但對(duì)離群值極度敏感如果中間分布集中在很小范圍內(nèi)而偶爾有幾個(gè)很大的值那大部分精度都會(huì)浪費(fèi)掉。更常用的是percentile校準(zhǔn)比如取99.9%分位數(shù)而不是最大值作為scale的依據(jù)讓離群值可以溢出但不能讓主流數(shù)值范圍被壓縮得太狠。更好一點(diǎn)的是KL散度校準(zhǔn)這是TensorRT用的方法做法是不斷調(diào)整scale讓量化后的分布和原始浮點(diǎn)分布的KL散度最小。各種校準(zhǔn)方法和適用場(chǎng)景我整理了一個(gè)簡(jiǎn)表校準(zhǔn)方式原理優(yōu)點(diǎn)缺點(diǎn)適用場(chǎng)景min-max直接取最小/最大值映射實(shí)現(xiàn)簡(jiǎn)單計(jì)算快對(duì)離群值敏感小數(shù)值精度丟失數(shù)值分布均勻的層percentile取分位數(shù)映射抗離群值能力較好需要調(diào)分位數(shù)參數(shù)存在部分離群值的特征圖KL散度搜索最優(yōu)scale使分布差異最小精度表現(xiàn)通常最佳需要選參考分布計(jì)算量偏大卷積層、全連接層MSE最小化量化前后張量的均方誤差直接對(duì)準(zhǔn)最終目標(biāo)可能忽略分布尾部注意力score等關(guān)鍵層我個(gè)人的經(jīng)驗(yàn)是不要迷信某一種校準(zhǔn)方法包打天下而是應(yīng)該針對(duì)不同層、不同分布特征去選。有些算子用percentile就夠有些層就是需要KL散度才能拉回精度。這雖然增加了工作量但效果是實(shí)打?qū)嵉摹?. 如何在自己的模型上復(fù)現(xiàn)這套混合精度方案3.1 算子級(jí)混合精度先量化哪些層保留哪些層聊完硬件側(cè)的原理我們把視角切回到軟件側(cè)。你是做推理引擎的或者你手里有一份模型需要在8位推理硬件上跑出接近32位的效果應(yīng)該從哪里開(kāi)始第一步永遠(yuǎn)不是“做量化”而是“做敏感性分析”。也就是搞清楚你的模型里哪些層對(duì)量化誤差特別敏感哪些層就算你暴力量化也問(wèn)題不大。常見(jiàn)規(guī)律是這樣的檢測(cè)頭、分割頭這類(lèi)輸出層通常比較敏感因?yàn)樗鼈兊妮敵鲋苯記Q定最終結(jié)果歸一化層比如BatchNorm、LayerNorm它們的操作涉及整個(gè)通道維度的統(tǒng)計(jì)信息直接量化很容易破壞分布注意力機(jī)制里的Score計(jì)算、Softmax前的Logits、位置編碼相關(guān)的向量也往往是敏感區(qū)域。而大部分的卷積計(jì)算、矩陣乘法尤其是激活函數(shù)是ReLU的層往往對(duì)量化沒(méi)那么敏感。實(shí)際操作中可以把上述“敏感候選層”列成清單然后逐個(gè)把層切成FP16或者保持FP32其他層全部跑INT8再對(duì)比精度變化。這個(gè)方式雖然樸素但能快速找到?jīng)Q定成敗的那幾層。我見(jiàn)過(guò)的最有效的做法是“逐層回退法”先把整個(gè)模型全部量化為INT8跑一次精度指標(biāo)作為基線然后把某一層單獨(dú)切回FP16看精度變化多少。如果從90%漲到97%那這層就是關(guān)鍵層如果只漲了0.1個(gè)百分點(diǎn)說(shuō)明這層不是瓶頸讓它留在INT8反而更省算力。在軟硬件橋接的語(yǔ)境里這些“關(guān)鍵層”正是應(yīng)該走FP32/FP16高精度路徑的算子。調(diào)度器拿到敏感性分析結(jié)果后生成算子映射策略把敏感算子分發(fā)給高精度計(jì)算單元把非敏感算子壓給INT8 MAC陣列。這個(gè)映射策略就是橋接器的“軟件大腦”。3.2 校準(zhǔn)數(shù)據(jù)集與量化參數(shù)選擇敏感性分析做完之后接下來(lái)要做的是校準(zhǔn)。前面提到校準(zhǔn)算法但校準(zhǔn)的數(shù)據(jù)集選擇同樣關(guān)鍵。我踩過(guò)一個(gè)比較深的坑用訓(xùn)練集的子集做校準(zhǔn)結(jié)果模擬出來(lái)的精度指標(biāo)好得不行一上真實(shí)推理數(shù)據(jù)就崩了。原因是訓(xùn)練集數(shù)據(jù)分布和真實(shí)部署場(chǎng)景的數(shù)據(jù)分布不一致比如訓(xùn)練集里白天場(chǎng)景多實(shí)際部署的時(shí)候大量夜間數(shù)據(jù)進(jìn)來(lái)整個(gè)激活值分布就變了。這直接導(dǎo)致scale估計(jì)失準(zhǔn)誤差被放大。一個(gè)相對(duì)靠譜的做法是準(zhǔn)備覆蓋“生產(chǎn)環(huán)境真實(shí)分布”的校準(zhǔn)集并且讓類(lèi)別盡可能均衡。樣本量不需要太大通常幾百到幾千條就足夠估計(jì)出穩(wěn)定的分布但前提是你的采集過(guò)程不能引入偏差。比如視頻流里的連續(xù)幀你不能全取前1000幀做校準(zhǔn)那樣分布會(huì)偏向同一個(gè)場(chǎng)景應(yīng)該做隨機(jī)抽樣或者按時(shí)間均勻抽取。選定校準(zhǔn)集之后去跑校準(zhǔn)算法得到每層的量化參數(shù)。值得提醒的是在8位硬件上做推理時(shí)量化參數(shù)的選擇還受硬件支持形態(tài)的約束有些硬件只支持per-tensor量化整個(gè)tensor一個(gè)scale有些支持per-channel量化每個(gè)輸出通道一個(gè)scale。per-channel量化精度通常明顯好于per-tensor但需要硬件的計(jì)算單元能處理不等長(zhǎng)的scale參數(shù)。如果你的橋接器不支持per-channel那量化參數(shù)的選擇空間就窄很多對(duì)校準(zhǔn)算法的依賴(lài)也更強(qiáng)。校準(zhǔn)完事之后一定要做“量化后模型和原始模型輸出分布的對(duì)比”指標(biāo)建議同時(shí)看余弦相似度和均方誤差。余弦相似度接近0.99甚至0.999以上通常精度就不會(huì)太差如果低于0.98那大概率存在某一層的量化參數(shù)或回調(diào)策略出了問(wèn)題。3.3 工具鏈配置與可落地的參考流程假設(shè)你現(xiàn)在要用一個(gè)支持INT8的推理框架配合橋接器接口完成混合精度部署大致的流程可以這樣組織。首先準(zhǔn)備好原始FP32模型和帶有“算子精度策略”的配置文件。策略文件里明確哪些層用INT8、哪些層用FP16/FP32、哪些層需要走橋接器的高精度累加路徑。其次調(diào)用校準(zhǔn)工具跑一遍校準(zhǔn)集生成每層的scale和zero point。這一步建議讓校準(zhǔn)工具輸出一個(gè)可視化報(bào)告方便你觀察每層量化前后的數(shù)值分布差異。數(shù)值分布差異特別大的層自動(dòng)標(biāo)紅。然后把量化后的模型做一次離線推理在指定數(shù)據(jù)集上統(tǒng)計(jì)精度指標(biāo)同時(shí)輸出每層的“輸出張量SNR”信噪比。SNR低于20dB的層就要注意了通常表示該層的插入誤差已經(jīng)大到可能影響后續(xù)層。最后針對(duì)SNR異常的層逐層回退到FP16或者走橋接器高精度累加路徑重復(fù)精度驗(yàn)證直到整體指標(biāo)達(dá)標(biāo)。一個(gè)簡(jiǎn)化的參考代碼如下# 偽代碼混合精度量化與回退流程 model load_model(model_fp32.onnx) sensitive_layers analyze_sensitivity(model, calib_dataset) calib_config calibrate(model, calib_dataset, algorithmkl) for layer in sensitive_layers: if layer.snr 20.0: layer.precision fp16 # 或者選擇橋接器高精度累加路徑 else: layer.precision int8 quantized_model apply_precision_config(model, calib_config) metrics evaluate(quantized_model, eval_dataset) print(ffinal accuracy: {metrics.accuracy:.4f})當(dāng)然真實(shí)工程里很少用純Python把這套流程串起來(lái)通常會(huì)有專(zhuān)門(mén)的模型優(yōu)化工具幫你處理算子融合、內(nèi)存規(guī)劃和圖改寫(xiě)。但核心邏輯是通用的先量化再分析再回退再驗(yàn)證。一個(gè)迭代周期內(nèi)跑完整個(gè)流程才算完成一次真正的混合精度適配。3.4 硬件側(cè)的性能收益分析說(shuō)了這么多精度相關(guān)的東西也該聊聊性能了。有人可能會(huì)問(wèn)折騰混合精度橋接器最終能帶來(lái)什么收益收益主要體現(xiàn)在計(jì)算吞吐和能效比上。INT8的MAC陣列在硬件面積相同的情況下理論峰值算力可以達(dá)到FP32的4到8倍能效比優(yōu)勢(shì)更明顯。如果80%的計(jì)算量跑在INT8路徑上20%的敏感計(jì)算跑在FP16/FP32路徑上加權(quán)平均下來(lái)整個(gè)模型的計(jì)算吞吐相比純FP32推理可以提升2到4倍而精度損失可能只有零點(diǎn)幾個(gè)百分點(diǎn)。以我自己在某邊緣設(shè)備上的試驗(yàn)數(shù)據(jù)為例跑一個(gè)典型的視覺(jué)檢測(cè)模型純FP32推理大概能跑30 FPS全部量化成INT8之后能跑到95 FPS但mAP掉了三點(diǎn)幾個(gè)點(diǎn)。之后通過(guò)橋接器把檢測(cè)頭、關(guān)鍵層切到FP16并保留FP32累加路徑幀率還能保持78 FPS而mAP只掉了0.4個(gè)點(diǎn)。這就是混合精度橋接器最大的價(jià)值它不求“8位硬件完美復(fù)刻32位效果”而是用工程手段把精度損失控制在可接受范圍內(nèi)同時(shí)最大程度釋放8位硬件的算力。標(biāo)題黨的說(shuō)法是一回事工程師真正追求的目標(biāo)永遠(yuǎn)是“精度和性能的最優(yōu)權(quán)衡邊界”。對(duì)于算力有限的邊緣設(shè)備來(lái)說(shuō)這種收益直接影響產(chǎn)品形態(tài)原來(lái)需要一臺(tái)高端GPU服務(wù)器才能跑的模型現(xiàn)在一塊嵌入式板卡就能壓得住而且功耗只相當(dāng)于原來(lái)的零頭。這類(lèi)方案大規(guī)模落地靠的正是混合精度這種工程細(xì)節(jié)上的積累。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 混合精度上線后模型效果變差的三種典型原因這個(gè)部分是實(shí)打?qū)嵉牟瓤咏?jīng)驗(yàn)。我見(jiàn)過(guò)太多團(tuán)隊(duì)在混合精度方案上線后發(fā)現(xiàn)模型效果變差然后開(kāi)始瞎調(diào)參數(shù)最后越調(diào)越糟糕。實(shí)際上大部分問(wèn)題都可以歸因到幾個(gè)典型原因上。第一種是校準(zhǔn)集和評(píng)估集分布不一致。這個(gè)問(wèn)題前面已經(jīng)提到過(guò)你校準(zhǔn)的時(shí)候用的數(shù)據(jù)和實(shí)際推理時(shí)的數(shù)據(jù)長(zhǎng)得不一樣那量化參數(shù)估計(jì)就是錯(cuò)的。解決方式是重建校準(zhǔn)集樣本要貼近真實(shí)場(chǎng)景而且要定期用線上數(shù)據(jù)做一次量化參數(shù)重校準(zhǔn)。第二種是某一層動(dòng)態(tài)范圍特別不穩(wěn)定。有些層的激活值在不同輸入之間波動(dòng)非常大比如視頻里有大量高噪聲幀時(shí)。這時(shí)候固定scale的做法會(huì)直接失效動(dòng)態(tài)范圍經(jīng)常越過(guò)預(yù)設(shè)邊界。解決方式是針對(duì)這一層啟用動(dòng)態(tài)量化也就是在推理時(shí)根據(jù)實(shí)際輸入動(dòng)態(tài)計(jì)算最佳scale雖然會(huì)引入一點(diǎn)額外開(kāi)銷(xiāo)但穩(wěn)定性提升非常明顯。第三種是橋接器路徑選擇錯(cuò)誤。不是所有走FP16路徑的算子都會(huì)比INT8路徑更好有些算子因?yàn)楦袷睫D(zhuǎn)換本身有開(kāi)銷(xiāo)從FP32轉(zhuǎn)FP16的精度損失反而比直接INT8量化更大。這時(shí)候你需要逐層檢查是“該回退的沒(méi)回退”還是“不該回退的亂回退”建議生成一張算子精度路徑總表一目了然。4.2 量化算法選擇不當(dāng)導(dǎo)致的邊界失效說(shuō)一個(gè)具體的失敗案例。我某次處理一個(gè)超分模型用了min-max校準(zhǔn)結(jié)果輸出圖像整體偏暗細(xì)節(jié)紋理丟失嚴(yán)重。后來(lái)檢查發(fā)現(xiàn)是中間層的特征圖存在少數(shù)異常大的激活值把min-max的scale拉得特別大導(dǎo)致正常的小數(shù)值區(qū)域量化步長(zhǎng)過(guò)大整個(gè)動(dòng)態(tài)范圍被壓縮到極小的區(qū)間。排查思路是打開(kāi)每層校準(zhǔn)報(bào)告統(tǒng)計(jì)量化前后直方圖的IKL對(duì)稱(chēng)KL散度和余弦相似度。如果發(fā)現(xiàn)某些層余弦相似度跌破0.95而它們又不是關(guān)鍵層那多半是校準(zhǔn)算法沒(méi)能適配分布形狀。換成percentile 99.9%之后異常大值被截?cái)嘣谶吔缰庹^(qū)域的量化步長(zhǎng)明顯變細(xì)了輸出圖像質(zhì)量馬上恢復(fù)正常。這里也想提醒一點(diǎn)離群值處理是量化里最容易被忽視的環(huán)節(jié)。很多人只盯著整體精度指標(biāo)卻忘了離群值雖然出現(xiàn)概率低但一旦在推理時(shí)被觸發(fā)就會(huì)在后續(xù)計(jì)算中被放大。比較好的做法是在校準(zhǔn)時(shí)把每層激活值的最大絕對(duì)值、99.9分位數(shù)、99分位數(shù)都打印出來(lái)人工審視一遍有沒(méi)有離譜的邊界數(shù)值。4.3 排查精度問(wèn)題的實(shí)用工具鏈在排查混合精度問(wèn)題時(shí)有三個(gè)工具我?guī)缀趺看味紩?huì)用到。第一個(gè)是“逐層輸出對(duì)比工具”。把原始FP32模型和量化模型分別跑同一個(gè)輸入逐層記錄輸出tensor然后計(jì)算每層的余弦相似度和最大絕對(duì)值誤差。哪個(gè)層的問(wèn)題一對(duì)比就出來(lái)了。這個(gè)工具做起來(lái)不難但價(jià)值極高基本上能定位90%以上的精度問(wèn)題。第二個(gè)是“NaN/Inf檢測(cè)器”。有些算子回退不完整或者橋接器在動(dòng)態(tài)范圍對(duì)齊時(shí)除零會(huì)產(chǎn)生NaN或者Inf。這類(lèi)問(wèn)題比較隱蔽因?yàn)槟Ｐ涂赡懿粫?huì)直接崩但推理結(jié)果是錯(cuò)的。在推理鏈路里埋個(gè)檢測(cè)器遇到NaN/Inf自動(dòng)打印當(dāng)時(shí)的層號(hào)和輸入張量信息能省去大量定位時(shí)間。第三個(gè)是“量化策略可視化面板”。把每層的精度策略、校準(zhǔn)算法、scale值、量化前后分布圖、SNR指標(biāo)全部放到一個(gè)dashboard上。調(diào)試的時(shí)候不是一個(gè)個(gè)點(diǎn)去查而是直接對(duì)著面板看哪些指標(biāo)異常。一個(gè)好的可視化面板比任何優(yōu)化技巧都能節(jié)省時(shí)間。4.4 常見(jiàn)問(wèn)題速查表最后整理一下我在混合精度部署中經(jīng)常遇到的幾個(gè)問(wèn)題附上原因和排查方向方便你直接對(duì)照?，F(xiàn)象可能原因排查方向量化后準(zhǔn)確率直接崩校準(zhǔn)集分布問(wèn)題重建校準(zhǔn)集盡量貼近真實(shí)部署分布精度偶爾閃崩時(shí)好時(shí)壞動(dòng)態(tài)范圍不穩(wěn)定對(duì)關(guān)鍵層啟用動(dòng)態(tài)量化或保留FP16某一層的SNR特別低校準(zhǔn)算法不匹配換percentile或KL散度校準(zhǔn)模型整體變慢精度還沒(méi)提升橋接路徑選擇過(guò)寬檢查是否有算子FP16反而比INT8更慢推理結(jié)果出現(xiàn)NaN/Inf動(dòng)態(tài)范圍對(duì)齊時(shí)除零開(kāi)啟檢測(cè)器定位具體層并修正策略校準(zhǔn)報(bào)告顯示分布嚴(yán)重偏態(tài)離群值干擾嘗試截?cái)嚯x群值或使用分位數(shù)校準(zhǔn)這些排查思路不一定每次都能一擊命中但大部分情況下沿著“校準(zhǔn)集→量化參數(shù)→算子路徑→動(dòng)態(tài)范圍”這條鏈路走一遍都能找到問(wèn)題所在。工程上沒(méi)有玄學(xué)有的只是還沒(méi)被定位到的細(xì)節(jié)。最后再分享一個(gè)實(shí)操小技巧。我在做混合精度部署時(shí)不會(huì)直接拿最終模型去做量化而是先拿出一個(gè)小規(guī)模的子網(wǎng)絡(luò)比如主干網(wǎng)絡(luò)的前幾層做一次完整的量化-校準(zhǔn)-回退流程試驗(yàn)。因?yàn)樽泳W(wǎng)絡(luò)調(diào)試速度快、迭代周期短等你在小模型上把策略摸透了再往全模型遷移時(shí)整體成功率會(huì)高很多。這套方法我在好幾個(gè)項(xiàng)目里都用過(guò)雖然多花了一點(diǎn)前期時(shí)間但后面省下來(lái)的排查時(shí)間遠(yuǎn)不止這些。