做了這么多年嵌入式我明顯感覺(jué)到圈子里的話風(fēng)變了。以前聊AI總覺(jué)得那是云端那群人的事跟單片機(jī)八竿子打不著。直到這幾年越來(lái)越多產(chǎn)品開(kāi)始要求“本地智能”大家才慢慢反應(yīng)過(guò)來(lái)AI嵌入式并不是把大模型硬塞進(jìn)板子而是把模型壓縮到足夠小部署到邊緣端去解決實(shí)際問(wèn)題。這個(gè)方向業(yè)內(nèi)叫TinyML也就是邊緣微型機(jī)器學(xué)習(xí)。這篇文章想講清楚一件事在典型單片機(jī)上TinyML到底能做什么。我不打算列一堆理論而是拆三個(gè)自己實(shí)際接觸過(guò)的典型用例來(lái)聊——離線語(yǔ)音喚醒、旋轉(zhuǎn)機(jī)械的振動(dòng)異常監(jiān)測(cè)、低功耗圖像識(shí)別。每一個(gè)都會(huì)從場(chǎng)景取舍、數(shù)據(jù)怎么處理、模型怎么訓(xùn)練一路聊到部署到MCU上會(huì)踩哪些坑。適合正在做智能硬件、物聯(lián)網(wǎng)產(chǎn)品想給設(shè)備端加“判斷力”的嵌入式工程師。1. 先把“單片機(jī)跑大模型”這件事說(shuō)透1.1 為什么一定要把模型放到邊緣很多人第一反應(yīng)是數(shù)據(jù)傳云端不是挺好嗎服務(wù)器性能強(qiáng)什么模型都能跑何必為難單片機(jī)這個(gè)想法放在十年前沒(méi)錯(cuò)可放到真實(shí)的物聯(lián)網(wǎng)場(chǎng)景里就會(huì)撞上四堵墻。第一堵墻是實(shí)時(shí)性。語(yǔ)音喚醒這種交互從喊出喚醒詞到設(shè)備響應(yīng)延遲超過(guò)幾百毫秒人就會(huì)覺(jué)得“卡”。工業(yè)設(shè)備做故障保護(hù)要求在幾十毫秒內(nèi)對(duì)異常振動(dòng)做出判斷把原始波形發(fā)到云端再等推理結(jié)果回來(lái)黃花菜都涼了。第二堵墻是帶寬和成本。一個(gè)振動(dòng)監(jiān)測(cè)節(jié)點(diǎn)以2kHz采樣一秒鐘就產(chǎn)生幾千字節(jié)的原始數(shù)據(jù)?，F(xiàn)場(chǎng)布幾十個(gè)節(jié)點(diǎn)連續(xù)上傳的話通信流量很快爆炸云端的存儲(chǔ)和計(jì)算費(fèi)用也跟著漲。邊緣推理只需要把“正?！被颉爱惓！边@種結(jié)果傳出去數(shù)據(jù)量從KB級(jí)降到Byte級(jí)。第三堵墻是功耗。無(wú)線節(jié)點(diǎn)如果每時(shí)每刻都在采樣上傳電池壽命只能按天算。換到邊緣推理后MCU大部分時(shí)間處于睡眠狀態(tài)只有檢測(cè)到事件才醒來(lái)跑模型功耗能直接降兩個(gè)數(shù)量級(jí)。第四堵墻是隱私。麥克風(fēng)采集的語(yǔ)音、攝像頭拍到的畫面、振動(dòng)數(shù)據(jù)背后反映的設(shè)備狀態(tài)這些數(shù)據(jù)很多用戶并不希望傳到外部服務(wù)器。本地推理意味著原始數(shù)據(jù)不出設(shè)備只輸出結(jié)論產(chǎn)品在合規(guī)和信任上的壓力都會(huì)小很多。你會(huì)發(fā)現(xiàn)這四個(gè)約束只要占兩條以上TinyML就是比“云端”更合理的架構(gòu)。1.2 你以為的“大模型”和MCU上的模型不是一回事每次看到“單片機(jī)上部署大模型”這種說(shuō)法總有人抬杠單片機(jī)連個(gè)像樣的操作系統(tǒng)都跑不動(dòng)跑大模型不是在開(kāi)玩笑嗎這里的“大模型”確實(shí)不是指在MCU上直接跑出參數(shù)量百億的大模型。它指的是“從大模型技術(shù)棧壓縮下來(lái)、能夠在邊緣運(yùn)行的模型”。具體做法是先在服務(wù)器上訓(xùn)練一個(gè)表達(dá)能力強(qiáng)的模型——可能是幾千萬(wàn)甚至上億參數(shù)——然后用蒸餾、剪枝、量化三步把模型壓成幾十KB到幾百KB的INT8定點(diǎn)模型再部署到MCU上。打個(gè)比方總部的大專家團(tuán)隊(duì)把所有場(chǎng)景研究透然后從里面提煉出一套適合嵌入式硬件的小技能交給精簡(jiǎn)后的學(xué)生模型繼承。學(xué)生模型體積小了千萬(wàn)倍但在特定任務(wù)上能力保留得還不錯(cuò)。所以TinyML長(zhǎng)期被誤解本質(zhì)上是很多人把“訓(xùn)練”和“推理”混為一談了。大模型負(fù)責(zé)訓(xùn)練階段的高成本高精度MCU只負(fù)責(zé)推理階段的低功耗低成本。明白了這一點(diǎn)后面很多選型決策就順了。1.3 三個(gè)硬指標(biāo)決定模型能不能跑在MCU上做AI選型之前先算三筆賬也就是三個(gè)硬指標(biāo)。硬指標(biāo)常見(jiàn)量級(jí)影響Flash存儲(chǔ)256KB~1MB決定模型參數(shù)和代碼能否放得下RAM內(nèi)存64KB~256KB決定中間特征圖能不能裝下是最大瓶頸算力幾十MHz~幾百M(fèi)Hz決定推理延遲和能否做連續(xù)推理功耗預(yù)算待機(jī)uA級(jí)推理mA級(jí)決定推理頻率和傳感器策略從經(jīng)驗(yàn)上看振動(dòng)監(jiān)測(cè)這類信號(hào)維度低、模型參數(shù)少對(duì)RAM和算力最友好語(yǔ)音喚醒次之卷積網(wǎng)絡(luò)參數(shù)量中等但特征圖不算大視覺(jué)識(shí)別最難激活緩沖區(qū)隨輸入分辨率快速膨脹RAM常常成為壓死項(xiàng)目的最后一根稻草。所以真正動(dòng)手之前先畫一張“算力—內(nèi)存—存儲(chǔ)”的三角表能篩掉一半不切實(shí)際的方案。2. 第一類用例離線關(guān)鍵詞喚醒2.1 場(chǎng)景與為什么必須本地響應(yīng)智能音箱的“你好某助手”、智能門鎖的語(yǔ)音開(kāi)門、兒童玩具的語(yǔ)音指令這類產(chǎn)品幾乎都有同一個(gè)要求喚醒詞必須本地響應(yīng)。原因很簡(jiǎn)單如果連喚醒都要聯(lián)網(wǎng)設(shè)備斷網(wǎng)就成了廢鐵而且喚醒這種高頻操作如果每次都走云端延遲和流量都受不了。語(yǔ)音數(shù)據(jù)本身也敏感很多用戶不愿意自己的錄音被傳出去做分析。把喚醒詞模型放在MCU上語(yǔ)音信號(hào)從麥克風(fēng)到模型推理全在本地完成產(chǎn)品在隱私層面會(huì)更有說(shuō)服力。這些因素疊加在一起讓“離線關(guān)鍵詞喚醒”成了TinyML落地最成熟的用例之一。2.2 從麥克風(fēng)信號(hào)到模型輸入從聲音到模型輸入中間有一條完整的信號(hào)鏈。先說(shuō)采樣喚醒詞場(chǎng)景通常用16kHz采樣率、16bit位深這對(duì)人類語(yǔ)音來(lái)說(shuō)足夠也不會(huì)給MCU帶來(lái)過(guò)大的數(shù)據(jù)壓力。拿到原始PCM數(shù)據(jù)之后要做的是分幀加窗。一般取25~30毫秒作為一幀相鄰幀之間重疊10~20毫秒保證特征不丟失。每一幀先乘一個(gè)窗函數(shù)然后做FFT再把頻譜用梅爾濾波器組映射到梅爾刻度取對(duì)數(shù)后做離散余弦變換得到MFCC特征。常見(jiàn)做法是每幀提取10~13維MFCC系數(shù)。把連續(xù)20~40幀的MFCC拼在一起就構(gòu)成了一張二維的“時(shí)頻圖”。對(duì)模型來(lái)說(shuō)它看到的不是聲音波形而是這張圖。為什么選CNN而不是RNN來(lái)處理這種輸入原因很簡(jiǎn)單CNN在MCU上沒(méi)有時(shí)序依賴推理路徑固定量化也更友好RNN的循環(huán)狀態(tài)在定點(diǎn)運(yùn)算里很容易積累誤差處理起來(lái)麻煩得多。實(shí)際項(xiàng)目里常用的結(jié)構(gòu)是兩層普通卷積或深度可分離卷積再接一個(gè)全連接層輸出喚醒詞和非喚醒詞的概率。參數(shù)量通常只有一兩萬(wàn)INT8量化之后模型體積在25KB左右非常契合MCU的Flash空間。2.3 部署實(shí)測(cè)與兩級(jí)喚醒架構(gòu)我拿一個(gè)模擬項(xiàng)目的數(shù)據(jù)做個(gè)參考這個(gè)項(xiàng)目用的是常見(jiàn)M內(nèi)核MCU主頻約80MHz。項(xiàng)目數(shù)值輸入40幀 × 13維MFCC模型大小INT8量化后約25KB激活RAM約14KB單次推理耗時(shí)約10ms喚醒前平均功耗幾百uA~幾mA量級(jí)這里有個(gè)特別值得說(shuō)的設(shè)計(jì)兩級(jí)喚醒。系統(tǒng)平時(shí)只跑一個(gè)極小的語(yǔ)音活動(dòng)檢測(cè)模型它的任務(wù)不是識(shí)別喚醒詞而是判斷當(dāng)前有沒(méi)有人在說(shuō)話。一旦小模型檢測(cè)到語(yǔ)音活動(dòng)再啟動(dòng)完整的喚醒詞識(shí)別模型。兩級(jí)喚醒的價(jià)值在于小模型更小、更快可以一直掛機(jī)運(yùn)行功耗極低大模型只在需要時(shí)才被喚醒整個(gè)系統(tǒng)的平均功耗被壓得很低。這個(gè)邏輯在MCU上用狀態(tài)機(jī)很容易實(shí)現(xiàn)是目前低功耗語(yǔ)音產(chǎn)品的主流做法。2.4 這個(gè)用例最容易踩的三個(gè)坑第一個(gè)坑是特征計(jì)算不一致。訓(xùn)練環(huán)境里用的MFCC參數(shù)比如幀長(zhǎng)、幀移、濾波器個(gè)數(shù)必須和MCU端C代碼實(shí)現(xiàn)完全一致。很多人在PC上跑模型效果很好部署到板子上一塌糊涂查到最后發(fā)現(xiàn)是特征代碼的窗函數(shù)類型不同。第二個(gè)坑是麥克風(fēng)增益和噪聲。不同板子上的麥克風(fēng)模擬增益不一樣同一顆芯片在不同PCB上的底噪也不同。模型訓(xùn)練時(shí)一定要加入環(huán)境噪聲增強(qiáng)、不同音量增強(qiáng)最好是拿真機(jī)錄一段數(shù)據(jù)回灌訓(xùn)練集否則實(shí)際誤喚醒率會(huì)高到你懷疑人生。第三個(gè)坑是誤喚醒抑制。單幀模型的輸出概率容易有毛刺一秒前的噪聲可能突然觸發(fā)一個(gè)高概率輸出。工程上至少要做連續(xù)兩幀概率都超過(guò)閾值才觸發(fā)再加上一次短時(shí)靜默檢查誤喚醒率才能壓到可用水平。3. 第二類用例振動(dòng)與聲音異常檢測(cè)3.1 為什么預(yù)測(cè)性維護(hù)是非主流但回報(bào)極高的TinyML場(chǎng)景相比語(yǔ)音喚醒振動(dòng)監(jiān)測(cè)在消費(fèi)電子產(chǎn)品里沒(méi)那么顯眼但在工業(yè)場(chǎng)景里回報(bào)極高。電機(jī)、泵、皮帶機(jī)這類旋轉(zhuǎn)設(shè)備發(fā)生故障之前振動(dòng)波形會(huì)先出現(xiàn)微妙變化。如果能提前捕捉就能避免停機(jī)檢修和產(chǎn)線損失。傳統(tǒng)做法是布網(wǎng)關(guān)把振動(dòng)數(shù)據(jù)集中上傳做分析。這種方案在廠區(qū)里施工成本高、維護(hù)麻煩而且很多老舊產(chǎn)線根本沒(méi)有穩(wěn)定的網(wǎng)絡(luò)環(huán)境。TinyML的好處在于每個(gè)傳感器節(jié)點(diǎn)本身就是一個(gè)判斷單元正常時(shí)靜默工作異常時(shí)本地產(chǎn)生告警事件遠(yuǎn)端只接收少量告警信息。數(shù)據(jù)不出現(xiàn)場(chǎng)模型不依賴網(wǎng)絡(luò)部署和運(yùn)維都簡(jiǎn)單得多。3.2 數(shù)據(jù)切片、頻域特征與自編碼器振動(dòng)監(jiān)測(cè)的模型設(shè)計(jì)和語(yǔ)音喚醒完全不同。語(yǔ)音是“判斷這是什么詞”振動(dòng)監(jiān)測(cè)更多是“判斷這個(gè)狀態(tài)正不正?！?。數(shù)據(jù)層面加速度計(jì)或麥克風(fēng)以1kHz~20kHz采樣每次取1024或2048個(gè)采樣點(diǎn)作為一片窗口。窗口加窗后做FFT把時(shí)域信號(hào)變換到頻域。為什么一定要轉(zhuǎn)頻域因?yàn)轭l域?qū)ο辔黄啤⒒€漂移不敏感而且旋轉(zhuǎn)設(shè)備的異常往往集中出現(xiàn)在特定頻段頻域特征更穩(wěn)定。接下來(lái)把關(guān)注的頻段劃分成幾十個(gè)區(qū)間比如0~2kHz分成48個(gè)頻帶統(tǒng)計(jì)每個(gè)頻帶的能量作為模型的輸入向量。模型結(jié)構(gòu)我推薦用自編碼器而不是傳統(tǒng)的分類網(wǎng)絡(luò)。自編碼器是一個(gè)“輸入—編碼—解碼—重建”的結(jié)構(gòu)。訓(xùn)練時(shí)只用正常數(shù)據(jù)目標(biāo)是在輸出端重建出和輸入一致的向量。推理時(shí)如果輸入數(shù)據(jù)偏離正常分布重建誤差就會(huì)變大。誤差超過(guò)閾值就認(rèn)為設(shè)備狀態(tài)異常。為什么選自編碼器因?yàn)楣收蠘颖咎∮泄收项愋陀智姘俟趾茈y收集到足夠的故障數(shù)據(jù)去練一個(gè)分類器。自編碼器只需要正常樣本就能學(xué)到“正常長(zhǎng)什么樣”這是它在工業(yè)場(chǎng)景里最實(shí)用的原因。這個(gè)模型的參數(shù)量通常只有幾KINT8量化之后不到20KB。3.3 部署行為設(shè)計(jì)每一次推理都要算能耗振動(dòng)監(jiān)測(cè)節(jié)點(diǎn)在現(xiàn)場(chǎng)往往是電池供電所以部署時(shí)的核心原則是周期性采集按需推理絕不連續(xù)跑。實(shí)際的狀態(tài)機(jī)大概是這樣節(jié)點(diǎn)進(jìn)入低功耗睡眠定時(shí)器按設(shè)定周期喚醒喚醒后給傳感器供電采集一個(gè)窗口的數(shù)據(jù)DMA搬運(yùn)完成MCU用幾十毫秒做完FFT和模型推理輸出結(jié)果之后立刻再次進(jìn)入休眠。推理頻率不需要過(guò)高。旋轉(zhuǎn)機(jī)械的故障發(fā)展時(shí)間尺度通常以分鐘計(jì)每5秒采一次數(shù)據(jù)、跑一次模型已經(jīng)能捕捉絕大多數(shù)早期故障。把這個(gè)頻率降到每5秒一次節(jié)點(diǎn)平均電流能做到1mA量級(jí)電池壽命從“月拋”變成“季拋”甚至“年拋”。告警邏輯也值得單獨(dú)設(shè)計(jì)。單次推理的重建誤差超過(guò)閾值不代表設(shè)備立即壞了可能的偶發(fā)干擾也會(huì)觸發(fā)。工程上我會(huì)加一個(gè)防抖連續(xù)3個(gè)周期都超過(guò)閾值才上報(bào)告警。寧可晚幾秒不能頻繁誤報(bào)。3.4 這個(gè)用例的坑基線漂移和傅里葉前端這個(gè)場(chǎng)景最容易翻車的地方不在模型本身而在數(shù)據(jù)分布。第一個(gè)坑是傳感器安裝位置。同一個(gè)設(shè)備軸承座頂上和側(cè)面殼體上采集到的振動(dòng)頻譜差別非常大。模型訓(xùn)練數(shù)據(jù)必須覆蓋實(shí)際安裝位置否則現(xiàn)場(chǎng)很可能一片誤報(bào)。第二個(gè)坑是設(shè)備之間的基線差異。同型號(hào)電機(jī)新出廠和運(yùn)行五年的正常狀態(tài)下的頻譜能量都不一樣。自編碼器的重建閾值不能跨設(shè)備硬套部署后需要在每臺(tái)設(shè)備上做一段正常數(shù)據(jù)采集用本地?cái)?shù)據(jù)重新標(biāo)定閾值。第三個(gè)坑是FFT前端。MCU上通常用定點(diǎn)FFT實(shí)現(xiàn)浮點(diǎn)模擬和定點(diǎn)實(shí)現(xiàn)之間的數(shù)值誤差雖然小但在某些頻帶能量很低的場(chǎng)景會(huì)被放大。建議在板子上寫一個(gè)自檢程序把FFT輸出和PC端對(duì)數(shù)看兩者之間的誤差是否在可接受范圍避免把工具鏈的數(shù)值問(wèn)題當(dāng)成模型問(wèn)題排查。4. 第三類用例低功耗視覺(jué)識(shí)別4.1 視覺(jué)上MCU的適用邊界如果說(shuō)前兩類用例是“TinyML的舒適區(qū)”視覺(jué)識(shí)別就是“挑戰(zhàn)區(qū)”。MCU上的視覺(jué)能做的事包括圖像分類、物體存在性判斷、簡(jiǎn)單場(chǎng)景識(shí)別不適合做高幀率連續(xù)檢測(cè)、復(fù)雜目標(biāo)分割。適合MCU的視覺(jué)場(chǎng)景有共同點(diǎn)目標(biāo)相對(duì)靜止、識(shí)別頻率低、環(huán)境可控。比如智能門鎖的攝像頭判斷有沒(méi)有人靠近、電表箱里的表盤讀數(shù)識(shí)別、野外昆蟲(chóng)監(jiān)測(cè)相機(jī)等。這些場(chǎng)景的共同策略是“事件觸發(fā)”平時(shí)CPU和攝像頭都休眠被傳感器喚醒后抓拍一幀推理完馬上又睡。4.2 網(wǎng)絡(luò)結(jié)構(gòu)怎么壓縮才能塞進(jìn)去視覺(jué)模型不能在MCU上照搬MobileNet全家桶哪怕MobileNet已經(jīng)算輕量直接跑M內(nèi)核MCU也扛不住。要主動(dòng)做結(jié)構(gòu)裁剪。第一步降分辨率。輸入圖像從224x224降到64x64~160x160通常優(yōu)先用灰度或單通道輸入。80x80灰度圖比224x224彩色圖的數(shù)據(jù)量小一個(gè)數(shù)量級(jí)識(shí)別精度在受限場(chǎng)景里依然夠用。第二步替換卷積結(jié)構(gòu)。用深度可分離卷積替代普通卷積把計(jì)算量降一個(gè)量級(jí)。第三步盡早下采樣。網(wǎng)絡(luò)前兩層就做池化把特征圖快速縮小。我常用的一種輕量結(jié)構(gòu)大概長(zhǎng)這樣層輸出尺寸說(shuō)明輸入80×80×1灰度圖Conv 3×3, 1680×80×16激活緩沖約25.6KB池化40×40×16DepthwiseConv 3240×40×32池化20×20×32DepthwiseConv 6420×20×64池化10×10×64全局平均池化64替代全連接省參數(shù)全連接輸出10類這里最關(guān)鍵的一點(diǎn)是把尾部全連接層替換成全局平均池化。全連接層的參數(shù)量巨大但換成GAP之后模型權(quán)重能小一個(gè)量級(jí)對(duì)精度的影響卻很小。4.3 事件驅(qū)動(dòng)架構(gòu)與實(shí)測(cè)數(shù)據(jù)MCU視覺(jué)的功耗大頭往往不是推理本身而是攝像頭和補(bǔ)光燈。一片圖像傳感器的功耗可能是MCU跑模型的幾倍甚至幾十倍所以視覺(jué)系統(tǒng)的架構(gòu)必須是事件驅(qū)動(dòng)的人體紅外傳感器或振動(dòng)傳感器先判斷“有沒(méi)有目標(biāo)”確認(rèn)有目標(biāo)后才給攝像頭供電拍一幀圖像通過(guò)DMA轉(zhuǎn)入SRAM然后MCU才跑推理。推理結(jié)束立刻斷電回到睡眠狀態(tài)。我跑過(guò)的一個(gè)視覺(jué)分類Demo輸入80×80灰度圖INT8量化模型權(quán)重幾十KB單幀推理耗時(shí)約1到2秒。這個(gè)延遲對(duì)門鎖、表計(jì)這類場(chǎng)景完全可接受因?yàn)橛脩舾兄却臅r(shí)間主要來(lái)自門鎖機(jī)械結(jié)構(gòu)而不是識(shí)別本身。4.4 視覺(jué)用例最大的坑視覺(jué)是三類用例里坑最多的我按出現(xiàn)頻率排個(gè)序。第一是光照。真實(shí)世界的亮度變化極大同一件物體在白天和夜間拍出來(lái)在模型眼里可能是兩種東西。訓(xùn)練數(shù)據(jù)必須做亮度擾動(dòng)、對(duì)比度擾動(dòng)最好直接把真實(shí)場(chǎng)景不同時(shí)間段拍攝的圖像放進(jìn)去否則現(xiàn)場(chǎng)效果會(huì)慘不忍睹。第二是量化敏感。視覺(jué)特征的激活分布往往帶有長(zhǎng)尾PTQ量化后精度回退比語(yǔ)音場(chǎng)景明顯。遇到這種情況要轉(zhuǎn)QAT也就是在訓(xùn)練過(guò)程中引入偽量化算子讓模型適應(yīng)低精度表示。第三是圖像質(zhì)量。很多團(tuán)隊(duì)把精力都花在調(diào)模型精度卻忽略了攝像頭對(duì)焦、鏡頭臟污、紅外濾光片帶來(lái)的偏色。這些圖像前端的問(wèn)題靠模型根本“救”不回來(lái)排查時(shí)要先懷疑成像鏈路。第四是目標(biāo)檢測(cè)場(chǎng)景。MCU上不要跑NMS這類復(fù)雜后處理直接在圖像上用滑窗方式跑分類模型輸出各個(gè)窗口的類別概率和位置把原始結(jié)果交給上位機(jī)去做框選。省內(nèi)存又省算力實(shí)際效果還不錯(cuò)。5. 從模型到MCU完整落地流程與工程工具鏈5.1 實(shí)踐下來(lái)的五步流水線很多初次接觸TinyML的人以為模型訓(xùn)練完直接用工具轉(zhuǎn)換就行。實(shí)際項(xiàng)目里我一般按這五步走第一步在通用深度學(xué)習(xí)框架里訓(xùn)練一個(gè)盡量準(zhǔn)的浮點(diǎn)模型。這個(gè)階段的目標(biāo)是驗(yàn)證任務(wù)本身的可行性數(shù)據(jù)夠不夠、特征表達(dá)夠不夠、結(jié)構(gòu)能不能收斂。第二步做模型極小化。用剪枝把不重要的通道去掉再用蒸餾把大模型的知識(shí)遷移到小模型把參數(shù)量壓到目標(biāo)范圍。第三步轉(zhuǎn)換并且校驗(yàn)。用芯片原廠的MCU工具鏈把模型轉(zhuǎn)換成INT8定點(diǎn)格式。這一步要特別注意算子支持情況某些結(jié)構(gòu)在原廠工具鏈里不支持會(huì)直接報(bào)錯(cuò)。第四步工程集成。寫設(shè)備驅(qū)動(dòng)、特征計(jì)算、推理運(yùn)行時(shí)調(diào)用、電源管理邏輯把模型真正嵌進(jìn)嵌入式工程。第五步真機(jī)回測(cè)。在板子上批量跑真機(jī)采集的數(shù)據(jù)把浮點(diǎn)模型在PC上的輸出、定點(diǎn)模型在板子上的輸出逐條對(duì)比。這一步能發(fā)現(xiàn)很多工具鏈報(bào)告不出來(lái)的問(wèn)題。這一步看著多但每一步都不難難的是堅(jiān)持把每步做扎實(shí)尤其是最后一步。5.2 PTQ與QAT怎么選量化是TinyML繞不開(kāi)的話題INT8定點(diǎn)量化可以把模型體積壓縮到原來(lái)的四分之一推理速度也能提升不少。PTQ也就是訓(xùn)練后量化流程很簡(jiǎn)單模型浮點(diǎn)訓(xùn)練好之后收集200到500條有代表性的校準(zhǔn)數(shù)據(jù)統(tǒng)計(jì)每層激活值的分布范圍算出縮放因子把權(quán)重和激活都轉(zhuǎn)成INT8。這種方法時(shí)間成本低多數(shù)場(chǎng)景下夠用。QAT也就是量化感知訓(xùn)練是在訓(xùn)練過(guò)程中就加入偽量化算子讓模型提前適應(yīng)低精度的“粗糙感”。它會(huì)允許梯度和參數(shù)一點(diǎn)點(diǎn)修正量化誤差精度明顯更穩(wěn)代價(jià)是訓(xùn)練時(shí)間和調(diào)參成本上來(lái)了。我的建議是先做PTQ拿一個(gè)及格版本如果精度掉點(diǎn)超標(biāo)再對(duì)敏感層做QAT或者混合精度。校準(zhǔn)集的選擇比量化方法本身更重要它必須覆蓋真實(shí)場(chǎng)景的分布比如現(xiàn)場(chǎng)噪聲、不同光照條件而不是隨便拿訓(xùn)練集里的幾百?gòu)垐D糊弄。5.3 內(nèi)存的工程經(jīng)驗(yàn)內(nèi)存是MCU上跑模型最大的硬約束這里有幾條實(shí)戰(zhàn)經(jīng)驗(yàn)值得分享。第一模型參數(shù)一定要放到Flash常量區(qū)不要放在RAM里。有些工具鏈默認(rèn)把模型數(shù)據(jù)放到可讀寫段RAM水漲船高改一下段屬性就能省出十幾KB。第二優(yōu)先選擇支持共享激活緩沖區(qū)的推理運(yùn)行時(shí)。早期很多方案是每層動(dòng)態(tài)分配內(nèi)存激活緩沖區(qū)一個(gè)疊一個(gè)RAM占用按倍數(shù)膨脹。改成共享緩沖之后所有層復(fù)用一塊內(nèi)存RAM占用能降到原來(lái)的三分之一。第三如果模型實(shí)在太大有一個(gè)技巧把模型放在外部SPI Flash里推理時(shí)按層把權(quán)重搬到內(nèi)部RAM再計(jì)算算完一層就釋放。雖然會(huì)慢一些但理論上可以跑比內(nèi)部Flash大得多的模型。第四大工程建議用一個(gè)內(nèi)存映射表格把每個(gè)緩沖區(qū)、每個(gè)模型的段地址都登記清楚。這個(gè)習(xí)慣在排查問(wèn)題時(shí)能節(jié)省大量時(shí)間比臨時(shí)用調(diào)試器看變量靠譜得多。5.4 部署后精度變差先查什么模型轉(zhuǎn)換完上板精度回退是家常便飯。這時(shí)候不要急著懷疑量化先按這個(gè)清單排查預(yù)處理和特征提取的數(shù)值類型是否一致。固定點(diǎn)數(shù)格式、均值方差歸一化參數(shù)是否原樣搬到了C代碼里。數(shù)據(jù)通路是否丟幀或錯(cuò)位。DMA緩沖是否覆蓋了一整幀數(shù)據(jù)中斷搶占了其他內(nèi)存會(huì)不會(huì)污染輸入。校準(zhǔn)集分布是否偏離真實(shí)場(chǎng)景。校準(zhǔn)用的是白噪聲真機(jī)上是空調(diào)噪聲怎么量化都會(huì)掉點(diǎn)。算子映射是否存在隱式替換。原廠工具鏈可能把一個(gè)算子映射成精度稍低的實(shí)現(xiàn)需要查看轉(zhuǎn)換日志。中斷和任務(wù)的并發(fā)問(wèn)題。推理時(shí)數(shù)據(jù)被另一個(gè)任務(wù)改寫這種問(wèn)題日志根本看不出只能靠代碼審查。我的經(jīng)驗(yàn)是大多數(shù)TinyML項(xiàng)目部署后精度下降根本輪不到INT8量化背鍋八成是前后處理沒(méi)對(duì)齊。把這條清單走一遍往往能找到真兇。6. 三類用例之外我更想提醒大家的幾件事6.1 先回答“為什么是TinyML”看完三類用例你會(huì)發(fā)現(xiàn)TinyML并不是萬(wàn)能的。如果產(chǎn)品網(wǎng)絡(luò)穩(wěn)定、數(shù)據(jù)不敏感、功耗沒(méi)有極端的約束云端方案其實(shí)更靈活模型可以隨便換、隨時(shí)升級(jí)。TinyML的價(jià)值集中在五個(gè)約束上延遲、帶寬、成本、功耗、隱私。只有當(dāng)其中至少兩條成為產(chǎn)品的硬需求時(shí)才值得把AI挪到MCU上。這聽(tīng)起來(lái)像在勸退但實(shí)際上是在幫你做取舍。拿著“別人都在做邊緣AI”這樣的理由立項(xiàng)項(xiàng)目大概率會(huì)中途返工。拿著真實(shí)的延遲和功耗需求去立項(xiàng)每一行代碼才有方向。6.2 模型小不等于工程簡(jiǎn)單“喚醒模型只有25KB”“視覺(jué)權(quán)重只有幾十KB”聽(tīng)起來(lái)很輕巧但背后是音頻前端的聯(lián)調(diào)、圖像鏈路的校準(zhǔn)、量產(chǎn)一致性的驗(yàn)證。模型壓縮只是整個(gè)項(xiàng)目的一小段真正的工程量在傳感器、驅(qū)動(dòng)和現(xiàn)場(chǎng)環(huán)境適配。我見(jiàn)過(guò)太多團(tuán)隊(duì)在模型結(jié)構(gòu)上死磕卻在工程集成階段被一個(gè)DMA緩沖對(duì)齊問(wèn)題卡兩周。模型小只代表算力門檻低不代表系統(tǒng)復(fù)雜度低。6.3 給正在入坑的人三個(gè)執(zhí)行建議第一從“端到端最小切片”開(kāi)始。哪怕精度一般也要先讓數(shù)據(jù)從傳感器流到模型再流到輸出。這條鏈路一斷后面每一步都會(huì)踩坑。第二盡早建立回測(cè)工具。在板子上寫一個(gè)自動(dòng)化腳本批量輸入驗(yàn)證集數(shù)據(jù)同時(shí)輸出模型推理結(jié)果和PC端結(jié)果對(duì)比。沒(méi)有回測(cè)工具你根本無(wú)法判斷一次改動(dòng)是變好了還是變差了。第三提前對(duì)原廠工具鏈做算子測(cè)試。把自己的網(wǎng)絡(luò)結(jié)構(gòu)拆成最小算子逐個(gè)驗(yàn)證不要等部署時(shí)才發(fā)現(xiàn)某個(gè)常用操作不被支持。至少在我接手過(guò)的幾個(gè)項(xiàng)目里只要把這三條放在最前面踩坑密度能下降一半以上。