機(jī)械零件視覺(jué)檢測(cè)這個(gè)方向這兩年是真火也是真難做。很多做工業(yè)視覺(jué)的朋友拿到一批零件圖像要么數(shù)缺陷、要么量輪廓、要么判斷裝配狀態(tài)靠人工看不僅累標(biāo)準(zhǔn)還不統(tǒng)一上一套分割模型又發(fā)現(xiàn)通用配置根本扛不住現(xiàn)場(chǎng)復(fù)雜的背景和光照。最近我一直在整理一套基于 YOLOv8-seg 的工圖機(jī)械零件特征圖像分割系統(tǒng)把源碼、數(shù)據(jù)集、部署教程全部串起來(lái)做成了閉環(huán)方案里面還集成了 LAWDS、RevCol 等 50 多套改進(jìn)創(chuàng)新點(diǎn)支持一鍵訓(xùn)練還帶 Web 前端界面。這套東西的價(jià)值在于它不是一個(gè)孤立的訓(xùn)練腳本而是從數(shù)據(jù)標(biāo)注、模型改進(jìn)、訓(xùn)練評(píng)估到前端推理部署的全流程參考實(shí)現(xiàn)。如果你想快速落地一個(gè)零件分割 Demo或者想找一些可以寫(xiě)進(jìn)論文的模型改進(jìn)思路這套系統(tǒng)能節(jié)省大量前期摸索時(shí)間。1. 項(xiàng)目概述這套機(jī)械零件分割系統(tǒng)到底做了什么1.1 機(jī)械零件特征分割的痛點(diǎn)機(jī)械零件視覺(jué)檢測(cè)和自然場(chǎng)景的語(yǔ)義分割完全是兩碼事。自然場(chǎng)景里你要分割的是人、車、天空這類語(yǔ)義明確的物體模型誤判一個(gè)像素影響不大但機(jī)械零件檢測(cè)面對(duì)的是金屬反光、油污覆蓋、加工紋理、不同機(jī)臺(tái)光照差異這些問(wèn)題目標(biāo)輪廓還經(jīng)常出現(xiàn)細(xì)微的倒角、螺紋、凹槽。如果用普通檢測(cè)框根本表達(dá)不了零件的精細(xì)邊界比如劃痕的長(zhǎng)度、毛刺的位置、裝配孔的輪廓面積這些都必須依賴像素級(jí)分割結(jié)果。我舉個(gè)例子某汽車零部件產(chǎn)線要做氣門導(dǎo)管外觀檢測(cè)要求分割出導(dǎo)管端面的密封帶區(qū)域誤差超過(guò) 0.2mm 就算不合格。檢測(cè)框能做到嗎做不到。你必須讓模型對(duì)每個(gè)像素做分類輸出精確的 mask才能算面積、算輪廓偏差。這就是圖像分割在工業(yè)場(chǎng)景里不可替代的原因。1.2 這套系統(tǒng)提供了什么這套系統(tǒng)基于 YOLOv8-seg 作為基座模型在此基礎(chǔ)上引入了多個(gè)針對(duì)性改進(jìn)模塊包括 LAWDS 和 RevCol 等結(jié)構(gòu)并且打包了 50 多套改進(jìn)創(chuàng)新點(diǎn)供你組合使用。它不是只給一個(gè)訓(xùn)練好的權(quán)重文件而是把完整鏈路都給你了完整源碼數(shù)據(jù)加載、模型定義、訓(xùn)練腳本、驗(yàn)證腳本、推理腳本一應(yīng)俱全。數(shù)據(jù)集整理了機(jī)械零件特征分割的標(biāo)準(zhǔn)數(shù)據(jù)集包含多類零件特征標(biāo)注。部署教程覆蓋模型導(dǎo)出、云端推理接口、Web 前端展示的完整流程。一鍵訓(xùn)練教程通過(guò)腳本配置即可啟動(dòng)訓(xùn)練不用手動(dòng)拼命令。Web 前端提供基于瀏覽器的圖像上傳與分割結(jié)果可視化界面。這套東西拆開(kāi)看每一部分都可以單獨(dú)復(fù)用合在一起就是一個(gè)可以直接跑起來(lái)的項(xiàng)目模板。1.3 適合誰(shuí)參考如果你是算法工程師可以借鑒里面的改進(jìn)模塊組合方式快速實(shí)驗(yàn)不同的注意力機(jī)制和特征融合策略如果你是研究生這套系統(tǒng)里的 50 套改進(jìn)點(diǎn)能給你提供豐富的實(shí)驗(yàn)對(duì)照靈感省去自己從頭搭模塊的麻煩如果你是做產(chǎn)線集成的工程師Web 前端和部署教程能幫你把模型快速包裝成可演示的 Demo 系統(tǒng)。當(dāng)然前提是你要有基本的 Python、PyTorch 和 Linux 操作基礎(chǔ)完全零基礎(chǔ)的話建議先補(bǔ)一補(bǔ)環(huán)境配置和模型訓(xùn)練的基本概念。2. 核心思路拆解為什么基于 YOLOv8-seg 做改進(jìn)2.1 YOLOv8-seg 的基本盤(pán)夠不夠用先聊聊基座模型的選擇。YOLOv8-seg 是在 YOLOv8 檢測(cè)模型的基礎(chǔ)上增加了分割頭輸出的是每個(gè)檢測(cè)目標(biāo)的 mask 系數(shù)再結(jié)合檢測(cè)框的定位信息重建出像素級(jí)分割結(jié)果。這個(gè)架構(gòu)有幾個(gè)天然優(yōu)勢(shì)第一推理速度快在工業(yè)場(chǎng)景里往往需要多個(gè)相機(jī)工位并行檢測(cè)速度就是產(chǎn)能第二訓(xùn)練部署生態(tài)成熟Ultralytics 倉(cāng)庫(kù)把數(shù)據(jù)加載、增強(qiáng)、訓(xùn)練、導(dǎo)出都封裝得很完整二次開(kāi)發(fā)成本低第三分割質(zhì)量和速度之間的平衡點(diǎn)比較好找不像 Mask R-CNN 那樣重。但基礎(chǔ)模型在機(jī)械零件這種細(xì)粒度特征上有一個(gè)明顯短板分割頭沿用通用的特征金字塔融合機(jī)制對(duì)細(xì)小、低對(duì)比度的特征不夠敏感。比如螺紋牙尖這種只有幾個(gè)像素寬的特征在淺層特征圖里有信息但經(jīng)過(guò)多層卷積和降采樣之后響應(yīng)已經(jīng)被稀釋了。所以在工業(yè)零件分割項(xiàng)目里直接拿原版 YOLOv8-seg 跑經(jīng)常會(huì)出現(xiàn) mask 邊緣鋸齒嚴(yán)重、小特征漏分割的問(wèn)題。2.2 LAWDS 和 RevCol 這兩個(gè)改進(jìn)在解決什么這是這套系統(tǒng)里比較關(guān)鍵的兩個(gè)改進(jìn)模塊我分開(kāi)說(shuō)。LAWDS 本質(zhì)上是在做注意力權(quán)重的動(dòng)態(tài)重分配。零件圖像里前景零件和背景環(huán)境的光照差異經(jīng)常很大固定權(quán)重的注意力機(jī)制容易把注意力集中在高亮區(qū)域忽略暗部細(xì)節(jié)。LAWDS 的思路是在通道注意力或空間注意力計(jì)算時(shí)引入加權(quán)動(dòng)態(tài)縮放讓模型根據(jù)輸入圖像的實(shí)際特征分布自適應(yīng)調(diào)整不同位置和不同通道的響應(yīng)強(qiáng)度。這么做的好處是當(dāng)相機(jī)光照發(fā)生變化時(shí)模型依然能穩(wěn)定提取零件輪廓特征不會(huì)因?yàn)榫植窟^(guò)曝或欠曝導(dǎo)致分割失效。RevCol 是另一條路。它不直接改注意力而是改前向特征流的組織方式。傳統(tǒng)網(wǎng)絡(luò)是一層層往前傳高層特征丟失細(xì)節(jié)是必然的RevCol 引入可逆列結(jié)構(gòu)讓不同層級(jí)的特征之間建立多方向的交互淺層細(xì)節(jié)信息可以通過(guò)旁路反復(fù)參與深層特征構(gòu)建深層語(yǔ)義信息也能回流指導(dǎo)淺層特征增強(qiáng)。對(duì)機(jī)械零件分割來(lái)說(shuō)這意味著小倒角、細(xì)螺紋這類細(xì)節(jié)特征在最終分割 mask 里被保留的概率大大增加。把 LAWDS 和 RevCol 組合在一起使用就是在兩個(gè)維度同時(shí)提升一個(gè)管特征響應(yīng)的分配合理性一個(gè)管多尺度特征的信息流通效率。兩者沒(méi)有參數(shù)沖突可以串聯(lián)接入主干網(wǎng)絡(luò)。2.3 50 多套改進(jìn)點(diǎn)的選擇原則系統(tǒng)里集成 50 多套改進(jìn)創(chuàng)新點(diǎn)很多人第一反應(yīng)是全都拿來(lái)組合測(cè)試。但我實(shí)際跑下來(lái)發(fā)現(xiàn)盲目堆疊模塊有三個(gè)壞處顯存占用飆升訓(xùn)練時(shí)間成倍增加模塊之間還可能互相干擾導(dǎo)致收斂變慢。所以改進(jìn)點(diǎn)要按數(shù)據(jù)特點(diǎn)來(lái)選如果你的零件圖像存在明顯的光照不均、反光干擾優(yōu)先選注意力重標(biāo)定類的改進(jìn)比如 LAWDS。如果你要分割的目標(biāo)包含大量細(xì)小結(jié)構(gòu)比如螺紋、齒形、微小裂紋優(yōu)先選多尺度特征交互類改進(jìn)比如 RevCol 或類似的特征金字塔增強(qiáng)結(jié)構(gòu)。如果你的目標(biāo)是提高分割邊緣光滑度可以考慮在 mask 解碼頭加細(xì)化模塊。如果你的實(shí)時(shí)性要求極高盡量只選計(jì)算開(kāi)銷小的改進(jìn)不要同時(shí)疊加多個(gè)重型模塊。我一般建議在一個(gè)基線模型上只疊加 2 到 3 個(gè)改進(jìn)模塊做消融實(shí)驗(yàn)確認(rèn)每個(gè)模塊的貢獻(xiàn)再?zèng)Q定最終組合。這套系統(tǒng)的好處就在這里改進(jìn)點(diǎn)以模塊化形式組織你可以只改配置文件里的一行參數(shù)就能自由切換組合非常適合做對(duì)照實(shí)驗(yàn)。3. 數(shù)據(jù)集準(zhǔn)備與標(biāo)注要點(diǎn)3.1 數(shù)據(jù)集的構(gòu)成與劃分這套項(xiàng)目配套的數(shù)據(jù)集覆蓋了幾類典型的機(jī)械零件特征包括軸類零件的端面密封帶、盤(pán)類零件的外圓輪廓、扣件類零件的孔洞區(qū)域以及部分零件表面的微小缺陷。圖像來(lái)源包含不同光照條件、不同拍攝角度和不同機(jī)臺(tái)背景這很關(guān)鍵因?yàn)楣I(yè)現(xiàn)場(chǎng)的成像環(huán)境不可能完全一致數(shù)據(jù)多樣性直接決定模型的泛化能力。拿到數(shù)據(jù)集之后第一步不是急著訓(xùn)練而是做數(shù)據(jù)檢查。用工具把每一張圖像的標(biāo)注 mask 疊加在原圖上逐張看一遍重點(diǎn)確認(rèn)零件邊緣的標(biāo)注是否貼合實(shí)際輪廓孔洞區(qū)域是否完整閉合是否存在標(biāo)注遺漏這個(gè)步驟大概會(huì)花掉半天時(shí)間但能避免訓(xùn)練后期才發(fā)現(xiàn)標(biāo)注錯(cuò)誤返工成本極高。數(shù)據(jù)集劃分上我建議按 8:1:1 的比例切分訓(xùn)練集、驗(yàn)證集和測(cè)試集并且保證劃分時(shí)不同類別的樣本比例在三個(gè)集合中大致一致。如果數(shù)據(jù)集里存在同一個(gè)零件在不同角度下拍攝的多張圖像要確保同一個(gè)零件不會(huì)同時(shí)出現(xiàn)在訓(xùn)練集和測(cè)試集中否則測(cè)出來(lái)的指標(biāo)會(huì)虛高部署到現(xiàn)場(chǎng)就原形畢露。3.2 標(biāo)注格式與工具選擇分割標(biāo)注格式主要有兩種COCO 的 JSON 多邊形標(biāo)注和單通道 PNG 掩碼標(biāo)注。YOLOv8-seg 訓(xùn)練時(shí)要求的是每個(gè)目標(biāo)的多邊形頂點(diǎn)坐標(biāo)格式與檢測(cè)任務(wù)類似只是額外增加了 mask 多邊形點(diǎn)序列。配套數(shù)據(jù)集里既然已經(jīng)做好了標(biāo)注格式上一般不用你操心但如果后續(xù)要擴(kuò)充自己的數(shù)據(jù)就必須了解標(biāo)注流程。標(biāo)注工具推薦兩個(gè)一是 X-AnyLabeling支持自動(dòng)分割模型輔助標(biāo)注畫(huà)機(jī)械零件輪廓時(shí)可以先讓模型預(yù)標(biāo)注再人工微調(diào)速度比純手工快非常多二是 Labelme輕量靈活適合小批量精細(xì)標(biāo)注。實(shí)際標(biāo)注時(shí)注意三個(gè)細(xì)節(jié)多邊形頂點(diǎn)數(shù)量要適中。頂點(diǎn)太少輪廓表達(dá)不精細(xì)頂點(diǎn)太多訓(xùn)練時(shí)數(shù)據(jù)加載和增強(qiáng)計(jì)算量變大還可能引入標(biāo)注噪聲。對(duì)微小特征用放大鏡模式逐像素標(biāo)注不要憑感覺(jué)畫(huà)大概輪廓。分割模型對(duì)邊緣標(biāo)注誤差非常敏感。類別標(biāo)簽要統(tǒng)一編碼不同標(biāo)注員之間要提前對(duì)齊標(biāo)注標(biāo)準(zhǔn)避免同類特征被標(biāo)注成不同名稱。3.3 數(shù)據(jù)增強(qiáng)的實(shí)用策略訓(xùn)練分割模型時(shí)數(shù)據(jù)增強(qiáng)不能照搬檢測(cè)任務(wù)的配置。YOLOv8 默認(rèn)的增強(qiáng)策略里包含隨機(jī)透視變換、平移、縮放、翻轉(zhuǎn)等對(duì)自然場(chǎng)景很有效但用在機(jī)械零件上要小心。零件是有明確幾何形狀的過(guò)度透視變換會(huì)讓零件形變失真模型學(xué)到的形狀就偏離真實(shí)情況了。我個(gè)人在工業(yè)零件分割里常用的增強(qiáng)組合是輕度隨機(jī)旋轉(zhuǎn)控制在正負(fù) 15 度以內(nèi)。隨機(jī)亮度對(duì)比度調(diào)整模擬不同產(chǎn)線光照變化。高斯噪聲和模糊模擬鏡頭污漬和傳感器噪聲。隨機(jī)裁剪和縮放模擬零件在不同距離下的成像尺度。馬賽克增強(qiáng)可以在訓(xùn)練后期適當(dāng)開(kāi)啟但強(qiáng)度設(shè)置低一些。還要特別提醒一點(diǎn)一定不要用垂直翻轉(zhuǎn)或水平翻轉(zhuǎn)。機(jī)械零件往往有嚴(yán)格的安裝方向和裝配位置鏡像翻轉(zhuǎn)后零件特征位置關(guān)系完全變了模型訓(xùn)練時(shí)會(huì)受到誤導(dǎo)推理時(shí)反而更差。4. 從源碼到一鍵訓(xùn)練完整復(fù)現(xiàn)過(guò)程4.1 訓(xùn)練環(huán)境配置這套系統(tǒng)我是在 Ubuntu 環(huán)境下跑通的顯卡用了某型號(hào)專業(yè)卡顯存 24GB訓(xùn)練時(shí) batch size 開(kāi)到 16 沒(méi)有壓力。如果你顯存小建議把 batch size 降到 8 或 4同時(shí)把圖像輸入尺寸從 640 降到 512訓(xùn)練時(shí)間會(huì)變長(zhǎng)但不至于跑不起來(lái)。環(huán)境配置方面核心依賴是 Python 3.9 以上、PyTorch 1.13 以上、Ultralytics 倉(cāng)庫(kù)相關(guān)依賴以及 CUDA 對(duì)應(yīng)版本的 PyTorch 預(yù)編譯包。我的建議是直接用 conda 創(chuàng)建獨(dú)立虛擬環(huán)境不要污染系統(tǒng) Python。給一個(gè)基本的創(chuàng)建命令conda create -n parts_seg python3.9 conda activate parts_seg pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics安裝完成后最好先跑一個(gè)最小的驗(yàn)證腳本確認(rèn) PyTorch 能正常調(diào)用 GPU再開(kāi)始訓(xùn)練。很多時(shí)候訓(xùn)練出問(wèn)題根源就是 CUDA 和 PyTorch 版本不匹配GPU 根本沒(méi)被調(diào)用。4.2 一鍵訓(xùn)練腳本解析所謂一鍵訓(xùn)練本質(zhì)上是把原來(lái)需要手動(dòng)敲的訓(xùn)練命令封裝成了腳本同時(shí)把大量可配置參數(shù)集中在一個(gè) YAML 配置文件里。這套系統(tǒng)的訓(xùn)練腳本你做兩件事就能跑起來(lái)第一在配置文件中指定數(shù)據(jù)集路徑第二在配置文件中指定模型改進(jìn)組合。配置文件的典型結(jié)構(gòu)大概長(zhǎng)這樣task: segment mode: train model: yolov8n-seg.pt data: datasets/parts_seg/data.yaml epochs: 300 batch: 16 imgsz: 640 device: 0 optimizer: AdamW lr0: 0.0005 improvements: - name: LAWDS enabled: true - name: RevCol enabled: true訓(xùn)練腳本讀入這個(gè)配置后會(huì)自動(dòng)完成模型結(jié)構(gòu)修改、數(shù)據(jù)加載器構(gòu)建、訓(xùn)練循環(huán)初始化和日志輸出。我實(shí)際體驗(yàn)下來(lái)這個(gè)設(shè)計(jì)對(duì)實(shí)驗(yàn)管理特別友好因?yàn)槟阋懿煌倪M(jìn)組合的對(duì)照實(shí)驗(yàn)時(shí)只需要復(fù)制出一個(gè)新配置文件改幾個(gè)字段訓(xùn)練腳本會(huì)自動(dòng)生成新的實(shí)驗(yàn)?zāi)夸洸粫?huì)覆蓋之前的權(quán)重和日志。啟動(dòng)訓(xùn)練的命令也很簡(jiǎn)單python train.py --config configs/parts_seg_lawds_revcol.yaml日志會(huì)實(shí)時(shí)打印每個(gè) epoch 的 loss、precision、recall、mAP50、mAP50-95 這些指標(biāo)同時(shí)保存訓(xùn)練曲線圖到實(shí)驗(yàn)?zāi)夸浵?。?xùn)練過(guò)程不用一直盯著但要注意觀察前 10 個(gè) epoch 的 loss 下降趨勢(shì)如果 loss 完全不動(dòng)或直接 NaN就要停下來(lái)排查。4.3 訓(xùn)練評(píng)估要看的指標(biāo)很多人訓(xùn)練完只看 mAP50這在工業(yè)分割場(chǎng)景里遠(yuǎn)遠(yuǎn)不夠。mAP50 是 IoU 閾值為 0.5 時(shí)的平均精度寬松閾值下數(shù)值會(huì)偏高但實(shí)際你的零件邊緣可能差了好幾個(gè)像素。我更關(guān)注這幾個(gè)指標(biāo)的組合mAP50 和 mAP50-95兩個(gè)一起看如果 mAP50 高但 mAP50-95 低說(shuō)明模型分割結(jié)果和真實(shí)標(biāo)注的貼合度不夠精細(xì)。IoU交并比每個(gè)類別的 IoU 要單獨(dú)看不能只看平均值。某個(gè)類別 IoU 明顯偏低說(shuō)明該類別特征沒(méi)學(xué)好。邊緣誤差預(yù)測(cè) mask 和真實(shí) mask 邊界之間的像素距離均值。這個(gè)指標(biāo)可以自己寫(xiě)腳本算對(duì)機(jī)械零件分割來(lái)說(shuō)比 mAP 更有業(yè)務(wù)意義。訓(xùn)練結(jié)束之后一定要用測(cè)試集做一次完整推理并且把分割結(jié)果可視化保存下來(lái)逐張檢查。重點(diǎn)關(guān)注小特征是否完整分割、零件邊緣是否平滑、是否有背景噪點(diǎn)被誤分成零件。指標(biāo)只是參考實(shí)際視覺(jué)效果才是判斷模型是否可用的最終標(biāo)準(zhǔn)。5. 部署閉環(huán)與 Web 前端集成5.1 模型導(dǎo)出與推理服務(wù)搭建模型訓(xùn)練完成后要落到實(shí)際使用第一步是導(dǎo)出。YOLOv8-seg 支持導(dǎo)出 ONNX、TensorRT 等格式工業(yè)現(xiàn)場(chǎng)一般優(yōu)先選擇 TensorRT尤其是使用 NVIDIA 顯卡的工控機(jī)TensorRT 的推理速度比原始 PyTorch 模型快好幾倍。導(dǎo)出命令大致是yolo export modelruns/train/parts_seg_lawds_revcol/weights/best.pt formatengine device0 halfTrue導(dǎo)出成功之后就可以脫離訓(xùn)練框架做推理了。但要注意導(dǎo)出的 engine 文件和 CUDA 版本、TensorRT 版本強(qiáng)相關(guān)換一臺(tái)機(jī)器必須重新導(dǎo)出不能直接拷貝使用。這是很多人部署時(shí)掉過(guò)的坑。推理服務(wù)層我用的是 FastAPI把模型封裝成一個(gè) HTTP 接口接收?qǐng)D像上傳返回分割結(jié)果包括每個(gè)目標(biāo)的類別、置信度、mask 像素坐標(biāo)和統(tǒng)計(jì)面積。之所以不直接在 Web 前端里加載模型是因?yàn)闉g覽器端跑分割模型對(duì)用戶設(shè)備要求太高而且模型文件大前端加載慢體驗(yàn)很差。服務(wù)端推理的方式前端只需要拿到結(jié)果 JSON渲染壓力小兼容性也好。5.2 Web 前端交互設(shè)計(jì)這套系統(tǒng)的 Web 前端核心交互就三步上傳圖片、點(diǎn)擊檢測(cè)、查看結(jié)果。視覺(jué)上結(jié)果頁(yè)需要同時(shí)展示原圖和 mask 疊加圖并且支持每個(gè)檢測(cè)目標(biāo)單獨(dú)高亮顯示。前端技術(shù)棧上我建議直接用一個(gè)輕量框架加 Canvas 畫(huà)布。上傳圖像后通過(guò)后端返回的 mask 坐標(biāo)數(shù)據(jù)在前端用 Canvas 繪制半透明遮罩按類別區(qū)分顏色再疊加目標(biāo)框和置信度標(biāo)簽。這樣不需要額外引入重量級(jí)圖像庫(kù)加載速度快代碼邏輯也簡(jiǎn)單。一個(gè)值得注意的交互細(xì)節(jié)是顯示分割結(jié)果時(shí)要給用戶提供放大功能。機(jī)械零件本身的缺陷特征可能很小不放大根本看不清分割細(xì)節(jié)。前端做一個(gè)局部放大框鼠標(biāo)懸停時(shí)放大對(duì)應(yīng)區(qū)域這一功能在實(shí)際演示和產(chǎn)線人員溝通時(shí)非常好用。5.3 部署性能優(yōu)化要點(diǎn)分割模型的推理耗時(shí)主要由兩段組成圖像預(yù)處理和后處理。圖像預(yù)處理階段要盡量避免在 Python 里逐像素操作統(tǒng)一用張量操作完成縮放和歸一化這一步能為整體延遲省下幾十毫秒。后處理階段mask 解碼和坐標(biāo)轉(zhuǎn)換也要做向量化處理不推薦用循環(huán)遍歷每個(gè)像素。還有一個(gè)容易忽略的問(wèn)題顯存分配。推理服務(wù)長(zhǎng)期運(yùn)行時(shí)如果每來(lái)一張圖都新建臨時(shí)張量而不釋放內(nèi)存會(huì)緩慢上漲跑幾天后服務(wù)就崩潰了。建議在服務(wù)初始化時(shí)預(yù)先分配好固定的輸入輸出緩沖區(qū)或者定時(shí)重啟服務(wù)釋放資源。實(shí)際部署中這種問(wèn)題比模型精度問(wèn)題更容易踩到而且是線上事故級(jí)別的坑。圖像上傳接口也要限制文件大小防止超大圖像拖垮服務(wù)進(jìn)程。6. 實(shí)戰(zhàn)中典型的坑與排查思路6.1 訓(xùn)練過(guò)程常見(jiàn)的異常訓(xùn)練階段最常遇到的是 loss 不下降或者訓(xùn)練到一半 loss 突然變成 NaN。我把常見(jiàn)的幾個(gè)情況整理成了一個(gè)速查表方便你對(duì)照排查現(xiàn)象可能原因排查方向loss 從第一個(gè) epoch 就很高且不降學(xué)習(xí)率過(guò)大或數(shù)據(jù)標(biāo)注嚴(yán)重錯(cuò)誤把學(xué)習(xí)率調(diào)低一個(gè)數(shù)量級(jí)抽樣檢查標(biāo)注 mask 是否貼合目標(biāo)loss 前期下降后期波動(dòng)劇烈數(shù)據(jù)增強(qiáng)過(guò)強(qiáng)或 batch size 太小降低馬賽克和旋轉(zhuǎn)強(qiáng)度適當(dāng)增大 batch sizeloss 突然變成 NaN學(xué)習(xí)率過(guò)大導(dǎo)致梯度爆炸或輸入圖像存在異常像素值檢查圖像預(yù)處理是否有除零問(wèn)題調(diào)低學(xué)習(xí)率并用梯度裁剪mAP 一直為 0類別標(biāo)簽配置錯(cuò)誤檢查數(shù)據(jù)配置文件中的類別名稱和標(biāo)注類別是否一一對(duì)應(yīng)驗(yàn)證集 mAP 高但測(cè)試集很低數(shù)據(jù)劃分存在泄露檢查是否同一個(gè)零件出現(xiàn)在多個(gè) split 中6.2 數(shù)據(jù)標(biāo)注的隱蔽問(wèn)題標(biāo)注問(wèn)題往往比模型問(wèn)題更隱蔽。我遇到過(guò)一種情況訓(xùn)練集和驗(yàn)證集指標(biāo)都很高但一到現(xiàn)場(chǎng)測(cè)試就漏分割。最后排查發(fā)現(xiàn)數(shù)據(jù)集里同一類零件在不同圖像中的標(biāo)注粗細(xì)不一致有的標(biāo)注邊緣距離零件真實(shí)邊緣差了 5 到 6 個(gè)像素模型學(xué)出來(lái)的邊緣是偏的。這種情況的解決辦法是在訓(xùn)練前寫(xiě)一個(gè)腳本統(tǒng)計(jì)所有標(biāo)注 mask 的面積分布看是否有同一類別面積異常偏大或偏小的樣本逐一檢查這些異常樣本的標(biāo)注質(zhì)量。另外如果標(biāo)注是不同人做的還要檢查標(biāo)注風(fēng)格是否統(tǒng)一比如倒角部分是要標(biāo)進(jìn)去還是不標(biāo)進(jìn)去這類標(biāo)準(zhǔn)不一致問(wèn)題只能靠人工復(fù)核解決。6.3 部署環(huán)節(jié)的精度和速度問(wèn)題模型從 PyTorch 導(dǎo)出到 TensorRT 后精度一般會(huì)有輕微下降通常在 0.5% 以內(nèi)這是正常的。如果下降太多兩個(gè)地方最可疑一是導(dǎo)出的圖像預(yù)處理方式和訓(xùn)練時(shí)不一致尤其是歸一化參數(shù)二是 TensorRT 用了 FP16 精度某些層對(duì)低精度敏感可以嘗試保留 FP32 導(dǎo)出對(duì)比一下。速度方面如果 TensorRT 推理仍然達(dá)不到實(shí)時(shí)要求不要急著換更大的模型先看瓶頸在哪。用性能分析工具逐層看耗時(shí)很多時(shí)候瓶頸在數(shù)據(jù)加載或后處理而不是模型本身。把圖像讀取改成異步加載后處理改用批處理能解決大部分性能焦慮。7. 個(gè)人實(shí)操體會(huì)這套系統(tǒng)我從數(shù)據(jù)集處理、模型訓(xùn)練到 Web 部署完整跑了一遍我的體會(huì)是工業(yè)零件分割項(xiàng)目的難點(diǎn)往往不在模型結(jié)構(gòu)而是在數(shù)據(jù)質(zhì)量、測(cè)試集劃分和部署細(xì)節(jié)上。LAWDS 和 RevCol 這類改進(jìn)模塊確實(shí)能帶來(lái)指標(biāo)提升尤其對(duì)細(xì)小特征的分割幫助比較明顯但前提是基線數(shù)據(jù)本身是干凈的否則再好的結(jié)構(gòu)也拯救不了。最后分享一個(gè)我自己調(diào)試時(shí)的小技巧訓(xùn)練完成后不要只看最好權(quán)重的指標(biāo)把訓(xùn)練過(guò)程中最后 20 個(gè) epoch 的權(quán)重分別跑一次測(cè)試集看一下指標(biāo)穩(wěn)定性。有時(shí)候最優(yōu)權(quán)重只是某個(gè) epoch 的偶然結(jié)果用訓(xùn)練末期的平均權(quán)重做集成或選一個(gè)更穩(wěn)定的權(quán)重用于部署現(xiàn)場(chǎng)效果反而更好。這套系統(tǒng)里也提供了模型快照保存功能建議你開(kāi)啟后面調(diào)試會(huì)省很多事。