成像異常檢測實戰(zhàn)：從PatchCore到產(chǎn)線避坑指南)
簡介這份碩士項目資料聚焦工業(yè)成像中的異常檢測面向具備一定機器學習基礎、希望將算法落地到質(zhì)量控制與設備故障預防場景的學生和工程師。內(nèi)容圍繞數(shù)據(jù)預處理、特征提取、模型選擇與訓練、異常評分與閾值設定、實驗評估及可解釋性等環(huán)節(jié)展開并涉及半導體制造、機械部件檢測、紡織品缺陷識別等案例以及實時系統(tǒng)集成與模型持續(xù)更新的工程考量。資源包共13個文件約71KB以txt說明、md文檔、py腳本和ipynb筆記本為主其中Jupyter Notebook便于在交互環(huán)境中組織代碼、文本與可視化腳本與說明文件則輔助復現(xiàn)實驗流程。目錄中可見PADIM、Patch-SVDD、SPADE、EGBAD、RIAD等方法模塊以及GDXRay、MVTec等數(shù)據(jù)集入口方便對照不同異常檢測策略。目前已有1780人學習適合作為工業(yè)異常檢測課題的入門參考與實驗起點。1. 工業(yè)成像異常檢測為什么你的模型在產(chǎn)線上總翻車工業(yè)成像里的異常檢測和學術(shù)數(shù)據(jù)集上刷 AUC 完全是兩碼事。很多做碩士項目的同學在 MVTec 這類公開數(shù)據(jù)集上把圖像級 AUROC 跑到 99%信心滿滿地拿到產(chǎn)線上一跑漏檢率直接飆到兩位數(shù)。問題不在模型本身而在于工業(yè)場景的異常定義、成像條件和數(shù)據(jù)分布跟學術(shù) benchmark 之間隔著一道巨大的鴻溝。這個方向要解決的核心問題是在正常樣本充足、異常樣本稀少甚至無法窮舉的前提下讓模型學會“什么是正常的”然后把偏離正常的東西揪出來。它適合做視覺檢測、工業(yè)質(zhì)檢、醫(yī)學影像方向的碩士課題也適合想從通用 CV 轉(zhuǎn)向工業(yè)落地的工程師。接下來我會把這條路徑從原理到代碼到踩坑完整拆一遍盡量讓你少走彎路。2. 異常檢測的三種技術(shù)路線重建、嵌入、合成到底選哪個工業(yè)異常檢測的方法論大致可以分成三條路基于重建的方法、基于特征嵌入的方法、以及基于合成異常的方法。選哪條路取決于你的數(shù)據(jù)條件、算力預算和產(chǎn)線對推理速度的要求。這一章先把三條路的技術(shù)邏輯講清楚再給出選型判斷依據(jù)。2.1 基于重建自編碼器與生成模型的基本邏輯基于重建的思路很直覺用大量正常樣本訓練一個模型讓它學會把正常圖像壓縮再還原。推理時如果輸入是正常圖像重建誤差應該很小如果輸入包含異常區(qū)域模型沒見過這種東西重建就會失敗誤差圖就是異常熱力圖。最經(jīng)典的基線是 AutoEncoder。編碼器把圖像壓到低維隱空間解碼器再還原回來。訓練損失就是輸入和輸出之間的 MSE 或 SSIM。聽起來簡單但實際用的時候有個致命問題如果自編碼器容量太大它連異常區(qū)域也能重建得不錯導致漏檢。這就是所謂的“identity shortcut”問題。import torch import torch.nn as nn class ConvAutoEncoder(nn.Module): def __init__(self, latent_dim256): super().__init__() # 編碼器逐步下采樣提取空間特征 self.encoder nn.Sequential( nn.Conv2d(3, 32, 4, stride2, padding1), # 256 - 128 nn.BatchNorm2d(32), nn.LeakyReLU(0.2), nn.Conv2d(32, 64, 4, stride2, padding1), # 128 - 64 nn.BatchNorm2d(64), nn.LeakyReLU(0.2), nn.Conv2d(64, 128, 4, stride2, padding1), # 64 - 32 nn.BatchNorm2d(128), nn.LeakyReLU(0.2), ) # 解碼器逐步上采樣還原 self.decoder nn.Sequential( nn.ConvTranspose2d(128, 64, 4, stride2, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.ConvTranspose2d(64, 32, 4, stride2, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.ConvTranspose2d(32, 3, 4, stride2, padding1), nn.Sigmoid(), # 輸出歸一化到 [0,1] ) def forward(self, x): z self.encoder(x) return self.decoder(z) # 訓練循環(huán)核心只喂正常樣本最小化重建誤差 model ConvAutoEncoder() optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.MSELoss() for batch in normal_dataloader: img batch.to(device) recon model(img) loss criterion(recon, img) optimizer.zero_grad() loss.backward() optimizer.step()這段代碼里幾個關鍵參數(shù)值得注意。latent_dim控制隱空間維度太小會導致正常樣本也重建不好太大則容易過擬合到異常。LeakyReLU(0.2)的負斜率在重建任務里比 ReLU 更穩(wěn)因為梯度不會在負區(qū)完全死掉。輸出層用Sigmoid是因為輸入圖像歸一化到了 [0,1]如果輸入用的是 [-1,1] 歸一化這里應該換成Tanh。推理階段的異常評分通常用逐像素的 MSE然后做高斯平滑得到異常熱力圖。圖像級評分取熱力圖的 max 或 top-k 均值。這里有個經(jīng)驗用 SSIM 替代 MSE 做評分對光照變化更魯棒但計算慢一些?；谥亟ǖ姆椒ㄟm合紋理類異常檢測比如布匹、金屬表面的劃痕。但對于結(jié)構(gòu)性異常比如缺失零件、錯位裝配重建方法往往力不從心因為異常區(qū)域在低維隱空間里可能被“平滑”掉了。2.2 基于特征嵌入PatchCore 為什么成為工業(yè)基線PatchCore 是這幾年工業(yè)異常檢測里被引用最多的方法之一核心思想是用一個在 ImageNet 上預訓練好的 CNN 提取正常樣本的特征存成一個 memory bank推理時看測試圖像的特征跟 memory bank 里的特征距離有多遠。它的優(yōu)勢在于不需要訓練直接用預訓練特征省去了訓練不穩(wěn)定和過擬合的麻煩。具體流程是把正常訓練集的每張圖切成 patch每個 patch 過一個預訓練 backbone通常是 WideResNet50取中間層的特征做 coreset 采樣壓縮 memory bank推理時用 kNN 找最近鄰距離作為異常分數(shù)。import torch import torch.nn.functional as F from torchvision.models import wide_resnet50_2 class PatchCoreFeatureExtractor: def __init__(self, devicecuda): self.device device # 加載預訓練 backbone取中間層輸出 backbone wide_resnet50_2(pretrainedTrue) self.layer2 backbone.layer2 # 淺層紋理細節(jié) self.layer3 backbone.layer3 # 深層語義信息 self.layer2.eval().to(device) self.layer3.eval().to(device) torch.no_grad() def extract(self, x): # x: [B, 3, H, W] f2 self.layer2(x) # [B, 512, H/8, W/8] f3 self.layer3(x) # [B, 1024, H/16, W/16] # 把 f3 上采樣到 f2 的空間尺寸后拼接 f3_up F.interpolate(f3, sizef2.shape[2:], modebilinear) feat torch.cat([f2, f3_up], dim1) # [B, 1536, H/8, W/8] # 局部鄰域聚合增強空間一致性 feat F.avg_pool2d(feat, kernel_size3, stride1, padding1) return feat def build_memory_bank(self, dataloader, sample_ratio0.1): all_feats [] for batch in dataloader: img batch.to(self.device) feat self.extract(img) B, C, H, W feat.shape # 展平成 patch 向量集合 feat feat.permute(0, 2, 3, 1).reshape(-1, C) all_feats.append(feat) all_feats torch.cat(all_feats, dim0) # coreset 采樣隨機保留一部分實際項目可用 k-center greedy n all_feats.shape[0] idx torch.randperm(n)[:int(n * sample_ratio)] return all_feats[idx]sample_ratio是 memory bank 的壓縮比例通常取 0.01 到 0.1。太小會丟失正常模式的多樣性太大會拖慢推理。實際項目里更推薦用 k-center greedy 做 coreset 采樣雖然慢但覆蓋更均勻。layer2和layer3的拼接是 PatchCore 的關鍵設計淺層特征保留紋理細節(jié)深層特征提供語義上下文兩者互補。推理時對每個測試 patch 特征在 memory bank 里找 k 個最近鄰取距離的加權(quán)和作為該位置的異常分數(shù)。圖像級分數(shù)取所有 patch 分數(shù)的最大值。這里有個工程細節(jié)memory bank 如果存了 10 萬個向量暴力 kNN 在產(chǎn)線上根本跑不動需要用 FAISS 建索引。PatchCore 在 MVTec 上的圖像級 AUROC 通常能到 99% 以上但它的短板是推理速度受 memory bank 大小影響明顯。如果產(chǎn)線節(jié)拍要求單張圖 50ms 以內(nèi)memory bank 得壓到 1 萬條以下這時候精度會掉幾個點。2.3 基于合成異常DRAEM 與 CutPaste 的取舍合成異常的思路是既然異常樣本少那我就人為造一批假異常出來把無監(jiān)督問題轉(zhuǎn)化成有監(jiān)督問題。CutPaste 是最簡單的做法從正常圖像里隨機摳一塊旋轉(zhuǎn)或變色后貼回去作為異常樣本。DRAEM 更進一步用一個獨立的生成網(wǎng)絡合成紋理異常再用判別網(wǎng)絡做分割。import random import torchvision.transforms as T class CutPasteAugment: CutPaste 數(shù)據(jù)增強從正常圖中裁剪 patch 并粘貼到隨機位置 def __init__(self, area_ratio(0.02, 0.15), aspect_range(0.3, 3.3)): self.area_ratio area_ratio self.aspect_range aspect_range def __call__(self, img): W, H img.size area W * H * random.uniform(*self.area_ratio) aspect random.uniform(*self.aspect_range) w int((area * aspect) ** 0.5) h int((area / aspect) ** 0.5) # 隨機裁剪位置 x1 random.randint(0, W - w) y1 random.randint(0, H - h) patch img.crop((x1, y1, x1 w, y1 h)) # 隨機旋轉(zhuǎn)后粘貼到新位置 patch patch.rotate(random.choice([0, 90, 180, 270])) x2 random.randint(0, W - w) y2 random.randint(0, H - h) img.paste(patch, (x2, y2)) return imgCutPaste 的area_ratio控制粘貼塊的大小占比太小模型學不到東西太大又不像真實缺陷。aspect_range控制長寬比模擬不同形狀的缺陷。這個增強方式實現(xiàn)簡單但有個明顯問題粘貼邊界會有硬邊模型可能學會檢測“硬邊”而不是真正的異常。緩解辦法是對粘貼區(qū)域做高斯模糊或泊松融合。DRAEM 的效果通常比 CutPaste 好因為它合成的異常更接近真實紋理但訓練成本高不少需要同時訓練生成器和分割網(wǎng)絡。如果算力有限、時間緊CutPaste 加一個強 backbone 是性價比更高的選擇。選型建議紋理類異常優(yōu)先考慮 PatchCore結(jié)構(gòu)性異?？梢栽?DRAEM算力極度受限時用 CutPaste 加 ResNet 做分類。實際項目里我一般會先用 PatchCore 跑一個 baseline看漏檢集中在哪些區(qū)域再決定要不要換方法。3. 從零搭一個可復現(xiàn)的異常檢測 pipeline這一章把數(shù)據(jù)準備、訓練、評估、可視化的完整流程串起來。假設你手頭有一批正常樣本和少量標注異常樣本目標是搭一個能跑通、能出報告的最小系統(tǒng)。3.1 數(shù)據(jù)組織與 MVTec 格式對齊工業(yè)項目里數(shù)據(jù)組織往往比模型本身更耗時間。推薦直接對齊 MVTec 的目錄結(jié)構(gòu)這樣開源代碼和預訓練權(quán)重都能直接用。# 推薦的目錄結(jié)構(gòu) data/ ├── train/ │ └── good/ # 只放正常樣本 │ ├── 001.png │ └── 002.png ├── test/ │ ├── good/ # 測試用正常樣本 │ ├── scratch/ # 異常類型1 │ ├── dent/ # 異常類型2 │ └── contamination/ # 異常類型3 └── ground_truth/ ├── scratch/ # 對應的像素級標注 mask ├── dent/ └── contamination/訓練集只放正常樣本這是異常檢測的基本設定。測試集按異常類型分文件夾方便后續(xù)做分類別的漏檢分析。ground_truth里放二值 mask白色是異常區(qū)域黑色是背景。如果標注是多邊形格式需要先轉(zhuǎn)成 mask轉(zhuǎn)換腳本用 OpenCV 的fillPoly就行。數(shù)據(jù)量方面每個異常類型至少要有 10 到 20 張測試圖否則評估結(jié)果波動會很大。正常訓練樣本通常 200 張起步紋理簡單的場景 100 張也能跑但結(jié)構(gòu)復雜的場景建議 500 張以上。3.2 訓練循環(huán)與早停策略以 PatchCore 為例它其實沒有傳統(tǒng)意義上的訓練循環(huán)核心是構(gòu)建 memory bank。但如果用 DRAEM 或 AutoEncoder就需要寫訓練循環(huán)。def train_one_epoch(model, dataloader, optimizer, criterion, device): model.train() total_loss 0.0 for img, _ in dataloader: img img.to(device) recon model(img) loss criterion(recon, img) optimizer.zero_grad() loss.backward() # 梯度裁剪防止重建任務里的梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_loss loss.item() return total_loss / len(dataloader) # 早停驗證集用正常樣本的重建誤差誤差不再下降就停 best_loss float(inf) patience 10 wait 0 for epoch in range(100): train_loss train_one_epoch(model, train_loader, optimizer, criterion, device) val_loss evaluate_recon(model, val_loader, criterion, device) if val_loss best_loss: best_loss val_loss torch.save(model.state_dict(), best.pth) wait 0 else: wait 1 if wait patience: print(fEarly stop at epoch {epoch}) breakclip_grad_norm_的max_norm1.0是經(jīng)驗值重建任務里梯度爆炸不算常見但一旦出現(xiàn)就會導致 loss 變 NaN。早停的patience10意味著驗證損失連續(xù) 10 個 epoch 不下降就停這個值可以根據(jù)數(shù)據(jù)集大小調(diào)整小數(shù)據(jù)集用 5 到 10大數(shù)據(jù)集可以放寬到 20。驗證集怎么選從正常訓練樣本里切 10% 出來不參與訓練只用來監(jiān)控重建誤差。注意驗證集也必須是正常樣本不能用異常樣本做早停判斷否則就泄露了。3.3 評估指標AUROC 之外的漏檢率與過殺率學術(shù)論文里幾乎只用 AUROC但產(chǎn)線上真正關心的是漏檢率Miss Rate和過殺率Overkill Rate。漏檢率是異常被判成正常的比例過殺率是正常被判成異常的比例。這兩個指標跟閾值直接相關而 AUROC 是閾值無關的。import numpy as np from sklearn.metrics import roc_auc_score, precision_recall_curve def evaluate_detection(scores, labels, threshold): scores: 模型輸出的異常分數(shù)越高越異常 labels: 0 表示正常1 表示異常 threshold: 判定閾值 preds (scores threshold).astype(int) # 漏檢率異常樣本中被判為正常的比例 miss_rate np.sum((labels 1) (preds 0)) / np.sum(labels 1) # 過殺率正常樣本中被判為異常的比例 overkill_rate np.sum((labels 0) (preds 1)) / np.sum(labels 0) # AUROC 作為參考 auroc roc_auc_score(labels, scores) return { miss_rate: miss_rate, overkill_rate: overkill_rate, auroc: auroc } # 閾值選擇在驗證集上找漏檢率滿足要求時過殺率最低的點 precisions, recalls, thresholds precision_recall_curve(val_labels, val_scores) # 實際項目里通常先定漏檢率上限再選閾值 target_miss_rate 0.01 valid_idx np.where((1 - recalls) target_miss_rate)[0] best_threshold thresholds[valid_idx[np.argmax(precisions[valid_idx])]]閾值選擇是工業(yè)落地的關鍵。學術(shù)上常用 F1 最大化的閾值但產(chǎn)線上通常先定一個漏檢率上限比如 1%在這個約束下選過殺率最低的閾值。target_miss_rate根據(jù)產(chǎn)線質(zhì)量要求設定汽車零部件可能要求 0.1%一般消費品 1% 到 5% 都能接受。還有一個容易被忽略的指標異常定位的 IoU。圖像級判定為異常之后產(chǎn)線操作員還需要知道異常在哪。如果熱力圖定位不準復檢效率會大打折扣。計算像素級 AUROC 或 PROPer-Region Overlap能反映定位質(zhì)量。4. 工業(yè)成像異常檢測的避坑與排查清單這一章記錄幾個我在實際項目里踩過的坑每個都按現(xiàn)象、原因、解決來寫。有些坑在學術(shù)數(shù)據(jù)集上根本遇不到但一到產(chǎn)線就暴露。4.1 坑一正常樣本里混進了異常模型直接學歪現(xiàn)象訓練 loss 正常下降但驗證集上漏檢率居高不下可視化發(fā)現(xiàn)模型把某些缺陷區(qū)域也當成正常重建了。原因訓練集里混進了少量帶缺陷的樣本。工業(yè)現(xiàn)場采集數(shù)據(jù)時操作員可能沒仔細篩選或者缺陷太細微肉眼沒看出來。異常檢測的前提是訓練集“純凈”一旦混入異常模型就學會了重建這些異常。解決訓練前用聚類或孤立森林做一輪粗篩把離群樣本挑出來人工復核。具體做法是用預訓練特征提取每張圖的全局向量跑 K-Means看哪些樣本離聚類中心最遠。另外訓練完成后檢查重建誤差最高的前 20 張訓練圖如果里面有明顯缺陷說明數(shù)據(jù)清洗沒做到位。4.2 坑二光照變化被當成異常過殺率爆炸現(xiàn)象同一批產(chǎn)品換一個班次或換一盞燈過殺率從 2% 飆到 30%。原因模型學到的是“亮度分布”而不是“結(jié)構(gòu)異?！??；谥亟ǖ姆椒▽庹仗貏e敏感因為光照變化直接改變像素值重建誤差自然變大。解決訓練時加顏色抖動和高斯噪聲增強讓模型對光照變化魯棒。推理前做直方圖均衡化或自適應歸一化把不同批次的圖像拉到同一亮度分布。更徹底的做法是改用特征嵌入方法因為預訓練特征對光照的敏感度遠低于像素級重建。4.3 坑三memory bank 太大推理超時現(xiàn)象PatchCore 在測試集上精度很好但部署到產(chǎn)線后單張圖推理要 300ms節(jié)拍要求是 80ms。原因memory bank 存了 20 萬個特征向量每次推理都要做全量 kNN計算量隨 bank 大小線性增長。解決用 FAISS 建 IVF 索引把暴力搜索換成近似最近鄰速度能提升 10 倍以上。同時把sample_ratio從 0.1 降到 0.01memory bank 壓到 2 萬條以內(nèi)。如果精度掉得太多可以按異常類型分別建 bank推理時只查最相關的那個。import faiss import numpy as np # 假設 memory_bank 是 [N, C] 的 numpy 數(shù)組 N, C memory_bank.shape # IVF 索引把空間分成 sqrt(N) 個簇 nlist int(np.sqrt(N)) quantizer faiss.IndexFlatL2(C) index faiss.IndexIVFFlat(quantizer, C, nlist, faiss.METRIC_L2) index.train(memory_bank) index.add(memory_bank) # 推理時只搜索最近的 nprobe 個簇 index.nprobe 8 # 越大越準越小越快 distances, indices index.search(query_feat, k1)nprobe控制搜索多少個簇取 8 到 16 之間通常能在速度和精度之間取得平衡。nlist取sqrt(N)是 FAISS 的推薦值太大索引構(gòu)建慢太小搜索范圍大。4.4 坑四閾值在不同產(chǎn)品間不能復用現(xiàn)象A 產(chǎn)品上調(diào)好的閾值直接用到 B 產(chǎn)品上漏檢率直接翻倍。原因不同產(chǎn)品的紋理復雜度、缺陷對比度、成像條件都不一樣異常分數(shù)的分布自然不同。一個固定閾值不可能通用。解決每個產(chǎn)品單獨標定閾值。產(chǎn)線換型時用新產(chǎn)品的少量正常樣本和已知異常樣本重新跑一遍閾值選擇流程。如果新產(chǎn)品沒有異常樣本可以用正常樣本的分數(shù)分布做無監(jiān)督閾值設定比如取 99.5 分位數(shù)作為閾值。更工程化的做法是把閾值選擇做成配置項跟產(chǎn)品型號綁定。4.5 坑五數(shù)據(jù)增強把異常特征也增強了現(xiàn)象用了 CutPaste 之后模型對真實缺陷的檢測反而變差了。原因CutPaste 合成的異常和真實缺陷的形態(tài)差異太大模型學會了檢測“粘貼邊界”這種偽特征而不是真實缺陷的紋理。另外如果增強強度太大正常樣本的分布也被改變了。解決降低 CutPaste 的使用概率不要每張圖都做增強控制在 30% 到 50%。同時加高斯模糊軟化粘貼邊界減少偽特征。如果真實缺陷有明確的形態(tài)特征優(yōu)先用 DRAEM 這類基于紋理合成的方案而不是簡單的 CutPaste。5. 把異常檢測推到產(chǎn)線幾個能直接用的進階技巧前面四章把方法論和 pipeline 講完了這一章收在幾個實戰(zhàn)技巧上。這些技巧不一定寫在論文里但在產(chǎn)線落地時能幫你省不少時間。第一個技巧是多尺度評分融合。單一尺度的異常分數(shù)往往不夠穩(wěn)尤其是缺陷大小差異大的場景。做法是在 backbone 的不同層級分別提取特征、分別算異常分數(shù)然后加權(quán)融合。淺層分數(shù)對小缺陷敏感深層分數(shù)對大缺陷敏感。權(quán)重可以用驗證集上的漏檢率來調(diào)通常淺層權(quán)重 0.4、深層 0.6 是個不錯的起點。第二個技巧是利用無標注異常做半監(jiān)督微調(diào)。產(chǎn)線上總能攢到一些被操作員攔下來的異常樣本雖然沒標注像素級 mask但圖像級標簽是有的。用這些樣本對模型做一輪微調(diào)把異常分數(shù)拉高能顯著降低漏檢。注意微調(diào)時學習率要小1e-5 量級否則容易把預訓練特征帶偏。第三個技巧是時序一致性過濾。工業(yè)產(chǎn)線通常是連續(xù)采集同一個產(chǎn)品可能有多幀圖像。如果某一幀被判為異常但相鄰幀都正常大概率是噪聲導致的誤報。用一個簡單的滑動窗口做投票能壓掉不少過殺。窗口大小取 3 到 5 幀投票閾值取 2/3 或 3/5。第四個技巧是異常熱力圖的后處理。模型輸出的熱力圖往往有噪聲直接拿來做定位效果不好。先做高斯平滑再用連通域分析去掉面積過小的區(qū)域最后用形態(tài)學閉運算把斷裂的異常區(qū)域連起來。這幾個操作在 OpenCV 里都是現(xiàn)成的加起來不到 20 行代碼但定位 IoU 能提升 5 到 10 個點。import cv2 import numpy as np def postprocess_heatmap(heatmap, min_area50): heatmap: [H, W] 浮點異常分數(shù)圖已歸一化到 [0,1] min_area: 最小連通域面積小于此值的區(qū)域視為噪聲 # 高斯平滑抑制孤立噪點 smoothed cv2.GaussianBlur(heatmap, (5, 5), sigmaX1.5) # 二值化閾值取 0.5 是經(jīng)驗值可根據(jù)驗證集調(diào)整 binary (smoothed 0.5).astype(np.uint8) # 連通域分析去掉小面積區(qū)域 num_labels, labels, stats, _ cv2.connectedComponentsWithStats(binary, connectivity8) clean np.zeros_like(binary) for i in range(1, num_labels): if stats[i, cv2.CC_STAT_AREA] min_area: clean[labels i] 1 # 形態(tài)學閉運算連接斷裂區(qū)域 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (7, 7)) clean cv2.morphologyEx(clean, cv2.MORPH_CLOSE, kernel) return cleanmin_area根據(jù)實際缺陷的最小尺寸來定如果產(chǎn)線要求檢測 0.5mm 的劃痕按像素當量換算一下就行。sigmaX1.5的高斯核大小取 5這是速度和效果的折中核再大定位會變糊。最后一個習慣每次換產(chǎn)品、換光源、換相機都重新跑一遍驗證集看漏檢率和過殺率有沒有漂移。工業(yè)現(xiàn)場的環(huán)境變化比實驗室里大得多模型不是一次調(diào)好就能一直用的。我一般會在產(chǎn)線部署后的第一周每天抽檢 50 張圖確認指標穩(wěn)定后再放寬監(jiān)控頻率。希望幫到你。本文還有配套的精品資源點擊獲取 工業(yè)成像異常檢測實戰(zhàn)：從PatchCore到產(chǎn)線避坑指南
簡介這份碩士項目資料聚焦工業(yè)成像中的異常檢測面向具備一定機器學習基礎、希望將算法落地到質(zhì)量控制與設備故障預防場景的學生和工程師。內(nèi)容圍繞數(shù)據(jù)預處理、特征提取、模型選擇與訓練、異常評分與閾值設定、實驗評估及可解釋性等環(huán)節(jié)展開并涉及半導體制造、機械部件檢測、紡織品缺陷識別等案例以及實時系統(tǒng)集成與模型持續(xù)更新的工程考量。資源包共13個文件約71KB以txt說明、md文檔、py腳本和ipynb筆記本為主其中Jupyter Notebook便于在交互環(huán)境中組織代碼、文本與可視化腳本與說明文件則輔助復現(xiàn)實驗流程。目錄中可見PADIM、Patch-SVDD、SPADE、EGBAD、RIAD等方法模塊以及GDXRay、MVTec等數(shù)據(jù)集入口方便對照不同異常檢測策略。目前已有1780人學習適合作為工業(yè)異常檢測課題的入門參考與實驗起點。1. 工業(yè)成像異常檢測為什么你的模型在產(chǎn)線上總翻車工業(yè)成像里的異常檢測和學術(shù)數(shù)據(jù)集上刷 AUC 完全是兩碼事。很多做碩士項目的同學在 MVTec 這類公開數(shù)據(jù)集上把圖像級 AUROC 跑到 99%信心滿滿地拿到產(chǎn)線上一跑漏檢率直接飆到兩位數(shù)。問題不在模型本身而在于工業(yè)場景的異常定義、成像條件和數(shù)據(jù)分布跟學術(shù) benchmark 之間隔著一道巨大的鴻溝。這個方向要解決的核心問題是在正常樣本充足、異常樣本稀少甚至無法窮舉的前提下讓模型學會“什么是正常的”然后把偏離正常的東西揪出來。它適合做視覺檢測、工業(yè)質(zhì)檢、醫(yī)學影像方向的碩士課題也適合想從通用 CV 轉(zhuǎn)向工業(yè)落地的工程師。接下來我會把這條路徑從原理到代碼到踩坑完整拆一遍盡量讓你少走彎路。2. 異常檢測的三種技術(shù)路線重建、嵌入、合成到底選哪個工業(yè)異常檢測的方法論大致可以分成三條路基于重建的方法、基于特征嵌入的方法、以及基于合成異常的方法。選哪條路取決于你的數(shù)據(jù)條件、算力預算和產(chǎn)線對推理速度的要求。這一章先把三條路的技術(shù)邏輯講清楚再給出選型判斷依據(jù)。2.1 基于重建自編碼器與生成模型的基本邏輯基于重建的思路很直覺用大量正常樣本訓練一個模型讓它學會把正常圖像壓縮再還原。推理時如果輸入是正常圖像重建誤差應該很小如果輸入包含異常區(qū)域模型沒見過這種東西重建就會失敗誤差圖就是異常熱力圖。最經(jīng)典的基線是 AutoEncoder。編碼器把圖像壓到低維隱空間解碼器再還原回來。訓練損失就是輸入和輸出之間的 MSE 或 SSIM。聽起來簡單但實際用的時候有個致命問題如果自編碼器容量太大它連異常區(qū)域也能重建得不錯導致漏檢。這就是所謂的“identity shortcut”問題。import torch import torch.nn as nn class ConvAutoEncoder(nn.Module): def __init__(self, latent_dim256): super().__init__() # 編碼器逐步下采樣提取空間特征 self.encoder nn.Sequential( nn.Conv2d(3, 32, 4, stride2, padding1), # 256 - 128 nn.BatchNorm2d(32), nn.LeakyReLU(0.2), nn.Conv2d(32, 64, 4, stride2, padding1), # 128 - 64 nn.BatchNorm2d(64), nn.LeakyReLU(0.2), nn.Conv2d(64, 128, 4, stride2, padding1), # 64 - 32 nn.BatchNorm2d(128), nn.LeakyReLU(0.2), ) # 解碼器逐步上采樣還原 self.decoder nn.Sequential( nn.ConvTranspose2d(128, 64, 4, stride2, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.ConvTranspose2d(64, 32, 4, stride2, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.ConvTranspose2d(32, 3, 4, stride2, padding1), nn.Sigmoid(), # 輸出歸一化到 [0,1] ) def forward(self, x): z self.encoder(x) return self.decoder(z) # 訓練循環(huán)核心只喂正常樣本最小化重建誤差 model ConvAutoEncoder() optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.MSELoss() for batch in normal_dataloader: img batch.to(device) recon model(img) loss criterion(recon, img) optimizer.zero_grad() loss.backward() optimizer.step()這段代碼里幾個關鍵參數(shù)值得注意。latent_dim控制隱空間維度太小會導致正常樣本也重建不好太大則容易過擬合到異常。LeakyReLU(0.2)的負斜率在重建任務里比 ReLU 更穩(wěn)因為梯度不會在負區(qū)完全死掉。輸出層用Sigmoid是因為輸入圖像歸一化到了 [0,1]如果輸入用的是 [-1,1] 歸一化這里應該換成Tanh。推理階段的異常評分通常用逐像素的 MSE然后做高斯平滑得到異常熱力圖。圖像級評分取熱力圖的 max 或 top-k 均值。這里有個經(jīng)驗用 SSIM 替代 MSE 做評分對光照變化更魯棒但計算慢一些?；谥亟ǖ姆椒ㄟm合紋理類異常檢測比如布匹、金屬表面的劃痕。但對于結(jié)構(gòu)性異常比如缺失零件、錯位裝配重建方法往往力不從心因為異常區(qū)域在低維隱空間里可能被“平滑”掉了。2.2 基于特征嵌入PatchCore 為什么成為工業(yè)基線PatchCore 是這幾年工業(yè)異常檢測里被引用最多的方法之一核心思想是用一個在 ImageNet 上預訓練好的 CNN 提取正常樣本的特征存成一個 memory bank推理時看測試圖像的特征跟 memory bank 里的特征距離有多遠。它的優(yōu)勢在于不需要訓練直接用預訓練特征省去了訓練不穩(wěn)定和過擬合的麻煩。具體流程是把正常訓練集的每張圖切成 patch每個 patch 過一個預訓練 backbone通常是 WideResNet50取中間層的特征做 coreset 采樣壓縮 memory bank推理時用 kNN 找最近鄰距離作為異常分數(shù)。import torch import torch.nn.functional as F from torchvision.models import wide_resnet50_2 class PatchCoreFeatureExtractor: def __init__(self, devicecuda): self.device device # 加載預訓練 backbone取中間層輸出 backbone wide_resnet50_2(pretrainedTrue) self.layer2 backbone.layer2 # 淺層紋理細節(jié) self.layer3 backbone.layer3 # 深層語義信息 self.layer2.eval().to(device) self.layer3.eval().to(device) torch.no_grad() def extract(self, x): # x: [B, 3, H, W] f2 self.layer2(x) # [B, 512, H/8, W/8] f3 self.layer3(x) # [B, 1024, H/16, W/16] # 把 f3 上采樣到 f2 的空間尺寸后拼接 f3_up F.interpolate(f3, sizef2.shape[2:], modebilinear) feat torch.cat([f2, f3_up], dim1) # [B, 1536, H/8, W/8] # 局部鄰域聚合增強空間一致性 feat F.avg_pool2d(feat, kernel_size3, stride1, padding1) return feat def build_memory_bank(self, dataloader, sample_ratio0.1): all_feats [] for batch in dataloader: img batch.to(self.device) feat self.extract(img) B, C, H, W feat.shape # 展平成 patch 向量集合 feat feat.permute(0, 2, 3, 1).reshape(-1, C) all_feats.append(feat) all_feats torch.cat(all_feats, dim0) # coreset 采樣隨機保留一部分實際項目可用 k-center greedy n all_feats.shape[0] idx torch.randperm(n)[:int(n * sample_ratio)] return all_feats[idx]sample_ratio是 memory bank 的壓縮比例通常取 0.01 到 0.1。太小會丟失正常模式的多樣性太大會拖慢推理。實際項目里更推薦用 k-center greedy 做 coreset 采樣雖然慢但覆蓋更均勻。layer2和layer3的拼接是 PatchCore 的關鍵設計淺層特征保留紋理細節(jié)深層特征提供語義上下文兩者互補。推理時對每個測試 patch 特征在 memory bank 里找 k 個最近鄰取距離的加權(quán)和作為該位置的異常分數(shù)。圖像級分數(shù)取所有 patch 分數(shù)的最大值。這里有個工程細節(jié)memory bank 如果存了 10 萬個向量暴力 kNN 在產(chǎn)線上根本跑不動需要用 FAISS 建索引。PatchCore 在 MVTec 上的圖像級 AUROC 通常能到 99% 以上但它的短板是推理速度受 memory bank 大小影響明顯。如果產(chǎn)線節(jié)拍要求單張圖 50ms 以內(nèi)memory bank 得壓到 1 萬條以下這時候精度會掉幾個點。2.3 基于合成異常DRAEM 與 CutPaste 的取舍合成異常的思路是既然異常樣本少那我就人為造一批假異常出來把無監(jiān)督問題轉(zhuǎn)化成有監(jiān)督問題。CutPaste 是最簡單的做法從正常圖像里隨機摳一塊旋轉(zhuǎn)或變色后貼回去作為異常樣本。DRAEM 更進一步用一個獨立的生成網(wǎng)絡合成紋理異常再用判別網(wǎng)絡做分割。import random import torchvision.transforms as T class CutPasteAugment: CutPaste 數(shù)據(jù)增強從正常圖中裁剪 patch 并粘貼到隨機位置 def __init__(self, area_ratio(0.02, 0.15), aspect_range(0.3, 3.3)): self.area_ratio area_ratio self.aspect_range aspect_range def __call__(self, img): W, H img.size area W * H * random.uniform(*self.area_ratio) aspect random.uniform(*self.aspect_range) w int((area * aspect) ** 0.5) h int((area / aspect) ** 0.5) # 隨機裁剪位置 x1 random.randint(0, W - w) y1 random.randint(0, H - h) patch img.crop((x1, y1, x1 w, y1 h)) # 隨機旋轉(zhuǎn)后粘貼到新位置 patch patch.rotate(random.choice([0, 90, 180, 270])) x2 random.randint(0, W - w) y2 random.randint(0, H - h) img.paste(patch, (x2, y2)) return imgCutPaste 的area_ratio控制粘貼塊的大小占比太小模型學不到東西太大又不像真實缺陷。aspect_range控制長寬比模擬不同形狀的缺陷。這個增強方式實現(xiàn)簡單但有個明顯問題粘貼邊界會有硬邊模型可能學會檢測“硬邊”而不是真正的異常。緩解辦法是對粘貼區(qū)域做高斯模糊或泊松融合。DRAEM 的效果通常比 CutPaste 好因為它合成的異常更接近真實紋理但訓練成本高不少需要同時訓練生成器和分割網(wǎng)絡。如果算力有限、時間緊CutPaste 加一個強 backbone 是性價比更高的選擇。選型建議紋理類異常優(yōu)先考慮 PatchCore結(jié)構(gòu)性異?？梢栽?DRAEM算力極度受限時用 CutPaste 加 ResNet 做分類。實際項目里我一般會先用 PatchCore 跑一個 baseline看漏檢集中在哪些區(qū)域再決定要不要換方法。3. 從零搭一個可復現(xiàn)的異常檢測 pipeline這一章把數(shù)據(jù)準備、訓練、評估、可視化的完整流程串起來。假設你手頭有一批正常樣本和少量標注異常樣本目標是搭一個能跑通、能出報告的最小系統(tǒng)。3.1 數(shù)據(jù)組織與 MVTec 格式對齊工業(yè)項目里數(shù)據(jù)組織往往比模型本身更耗時間。推薦直接對齊 MVTec 的目錄結(jié)構(gòu)這樣開源代碼和預訓練權(quán)重都能直接用。# 推薦的目錄結(jié)構(gòu) data/ ├── train/ │ └── good/ # 只放正常樣本 │ ├── 001.png │ └── 002.png ├── test/ │ ├── good/ # 測試用正常樣本 │ ├── scratch/ # 異常類型1 │ ├── dent/ # 異常類型2 │ └── contamination/ # 異常類型3 └── ground_truth/ ├── scratch/ # 對應的像素級標注 mask ├── dent/ └── contamination/訓練集只放正常樣本這是異常檢測的基本設定。測試集按異常類型分文件夾方便后續(xù)做分類別的漏檢分析。ground_truth里放二值 mask白色是異常區(qū)域黑色是背景。如果標注是多邊形格式需要先轉(zhuǎn)成 mask轉(zhuǎn)換腳本用 OpenCV 的fillPoly就行。數(shù)據(jù)量方面每個異常類型至少要有 10 到 20 張測試圖否則評估結(jié)果波動會很大。正常訓練樣本通常 200 張起步紋理簡單的場景 100 張也能跑但結(jié)構(gòu)復雜的場景建議 500 張以上。3.2 訓練循環(huán)與早停策略以 PatchCore 為例它其實沒有傳統(tǒng)意義上的訓練循環(huán)核心是構(gòu)建 memory bank。但如果用 DRAEM 或 AutoEncoder就需要寫訓練循環(huán)。def train_one_epoch(model, dataloader, optimizer, criterion, device): model.train() total_loss 0.0 for img, _ in dataloader: img img.to(device) recon model(img) loss criterion(recon, img) optimizer.zero_grad() loss.backward() # 梯度裁剪防止重建任務里的梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_loss loss.item() return total_loss / len(dataloader) # 早停驗證集用正常樣本的重建誤差誤差不再下降就停 best_loss float(inf) patience 10 wait 0 for epoch in range(100): train_loss train_one_epoch(model, train_loader, optimizer, criterion, device) val_loss evaluate_recon(model, val_loader, criterion, device) if val_loss best_loss: best_loss val_loss torch.save(model.state_dict(), best.pth) wait 0 else: wait 1 if wait patience: print(fEarly stop at epoch {epoch}) breakclip_grad_norm_的max_norm1.0是經(jīng)驗值重建任務里梯度爆炸不算常見但一旦出現(xiàn)就會導致 loss 變 NaN。早停的patience10意味著驗證損失連續(xù) 10 個 epoch 不下降就停這個值可以根據(jù)數(shù)據(jù)集大小調(diào)整小數(shù)據(jù)集用 5 到 10大數(shù)據(jù)集可以放寬到 20。驗證集怎么選從正常訓練樣本里切 10% 出來不參與訓練只用來監(jiān)控重建誤差。注意驗證集也必須是正常樣本不能用異常樣本做早停判斷否則就泄露了。3.3 評估指標AUROC 之外的漏檢率與過殺率學術(shù)論文里幾乎只用 AUROC但產(chǎn)線上真正關心的是漏檢率Miss Rate和過殺率Overkill Rate。漏檢率是異常被判成正常的比例過殺率是正常被判成異常的比例。這兩個指標跟閾值直接相關而 AUROC 是閾值無關的。import numpy as np from sklearn.metrics import roc_auc_score, precision_recall_curve def evaluate_detection(scores, labels, threshold): scores: 模型輸出的異常分數(shù)越高越異常 labels: 0 表示正常1 表示異常 threshold: 判定閾值 preds (scores threshold).astype(int) # 漏檢率異常樣本中被判為正常的比例 miss_rate np.sum((labels 1) (preds 0)) / np.sum(labels 1) # 過殺率正常樣本中被判為異常的比例 overkill_rate np.sum((labels 0) (preds 1)) / np.sum(labels 0) # AUROC 作為參考 auroc roc_auc_score(labels, scores) return { miss_rate: miss_rate, overkill_rate: overkill_rate, auroc: auroc } # 閾值選擇在驗證集上找漏檢率滿足要求時過殺率最低的點 precisions, recalls, thresholds precision_recall_curve(val_labels, val_scores) # 實際項目里通常先定漏檢率上限再選閾值 target_miss_rate 0.01 valid_idx np.where((1 - recalls) target_miss_rate)[0] best_threshold thresholds[valid_idx[np.argmax(precisions[valid_idx])]]閾值選擇是工業(yè)落地的關鍵。學術(shù)上常用 F1 最大化的閾值但產(chǎn)線上通常先定一個漏檢率上限比如 1%在這個約束下選過殺率最低的閾值。target_miss_rate根據(jù)產(chǎn)線質(zhì)量要求設定汽車零部件可能要求 0.1%一般消費品 1% 到 5% 都能接受。還有一個容易被忽略的指標異常定位的 IoU。圖像級判定為異常之后產(chǎn)線操作員還需要知道異常在哪。如果熱力圖定位不準復檢效率會大打折扣。計算像素級 AUROC 或 PROPer-Region Overlap能反映定位質(zhì)量。4. 工業(yè)成像異常檢測的避坑與排查清單這一章記錄幾個我在實際項目里踩過的坑每個都按現(xiàn)象、原因、解決來寫。有些坑在學術(shù)數(shù)據(jù)集上根本遇不到但一到產(chǎn)線就暴露。4.1 坑一正常樣本里混進了異常模型直接學歪現(xiàn)象訓練 loss 正常下降但驗證集上漏檢率居高不下可視化發(fā)現(xiàn)模型把某些缺陷區(qū)域也當成正常重建了。原因訓練集里混進了少量帶缺陷的樣本。工業(yè)現(xiàn)場采集數(shù)據(jù)時操作員可能沒仔細篩選或者缺陷太細微肉眼沒看出來。異常檢測的前提是訓練集“純凈”一旦混入異常模型就學會了重建這些異常。解決訓練前用聚類或孤立森林做一輪粗篩把離群樣本挑出來人工復核。具體做法是用預訓練特征提取每張圖的全局向量跑 K-Means看哪些樣本離聚類中心最遠。另外訓練完成后檢查重建誤差最高的前 20 張訓練圖如果里面有明顯缺陷說明數(shù)據(jù)清洗沒做到位。4.2 坑二光照變化被當成異常過殺率爆炸現(xiàn)象同一批產(chǎn)品換一個班次或換一盞燈過殺率從 2% 飆到 30%。原因模型學到的是“亮度分布”而不是“結(jié)構(gòu)異?！??；谥亟ǖ姆椒▽庹仗貏e敏感因為光照變化直接改變像素值重建誤差自然變大。解決訓練時加顏色抖動和高斯噪聲增強讓模型對光照變化魯棒。推理前做直方圖均衡化或自適應歸一化把不同批次的圖像拉到同一亮度分布。更徹底的做法是改用特征嵌入方法因為預訓練特征對光照的敏感度遠低于像素級重建。4.3 坑三memory bank 太大推理超時現(xiàn)象PatchCore 在測試集上精度很好但部署到產(chǎn)線后單張圖推理要 300ms節(jié)拍要求是 80ms。原因memory bank 存了 20 萬個特征向量每次推理都要做全量 kNN計算量隨 bank 大小線性增長。解決用 FAISS 建 IVF 索引把暴力搜索換成近似最近鄰速度能提升 10 倍以上。同時把sample_ratio從 0.1 降到 0.01memory bank 壓到 2 萬條以內(nèi)。如果精度掉得太多可以按異常類型分別建 bank推理時只查最相關的那個。import faiss import numpy as np # 假設 memory_bank 是 [N, C] 的 numpy 數(shù)組 N, C memory_bank.shape # IVF 索引把空間分成 sqrt(N) 個簇 nlist int(np.sqrt(N)) quantizer faiss.IndexFlatL2(C) index faiss.IndexIVFFlat(quantizer, C, nlist, faiss.METRIC_L2) index.train(memory_bank) index.add(memory_bank) # 推理時只搜索最近的 nprobe 個簇 index.nprobe 8 # 越大越準越小越快 distances, indices index.search(query_feat, k1)nprobe控制搜索多少個簇取 8 到 16 之間通常能在速度和精度之間取得平衡。nlist取sqrt(N)是 FAISS 的推薦值太大索引構(gòu)建慢太小搜索范圍大。4.4 坑四閾值在不同產(chǎn)品間不能復用現(xiàn)象A 產(chǎn)品上調(diào)好的閾值直接用到 B 產(chǎn)品上漏檢率直接翻倍。原因不同產(chǎn)品的紋理復雜度、缺陷對比度、成像條件都不一樣異常分數(shù)的分布自然不同。一個固定閾值不可能通用。解決每個產(chǎn)品單獨標定閾值。產(chǎn)線換型時用新產(chǎn)品的少量正常樣本和已知異常樣本重新跑一遍閾值選擇流程。如果新產(chǎn)品沒有異常樣本可以用正常樣本的分數(shù)分布做無監(jiān)督閾值設定比如取 99.5 分位數(shù)作為閾值。更工程化的做法是把閾值選擇做成配置項跟產(chǎn)品型號綁定。4.5 坑五數(shù)據(jù)增強把異常特征也增強了現(xiàn)象用了 CutPaste 之后模型對真實缺陷的檢測反而變差了。原因CutPaste 合成的異常和真實缺陷的形態(tài)差異太大模型學會了檢測“粘貼邊界”這種偽特征而不是真實缺陷的紋理。另外如果增強強度太大正常樣本的分布也被改變了。解決降低 CutPaste 的使用概率不要每張圖都做增強控制在 30% 到 50%。同時加高斯模糊軟化粘貼邊界減少偽特征。如果真實缺陷有明確的形態(tài)特征優(yōu)先用 DRAEM 這類基于紋理合成的方案而不是簡單的 CutPaste。5. 把異常檢測推到產(chǎn)線幾個能直接用的進階技巧前面四章把方法論和 pipeline 講完了這一章收在幾個實戰(zhàn)技巧上。這些技巧不一定寫在論文里但在產(chǎn)線落地時能幫你省不少時間。第一個技巧是多尺度評分融合。單一尺度的異常分數(shù)往往不夠穩(wěn)尤其是缺陷大小差異大的場景。做法是在 backbone 的不同層級分別提取特征、分別算異常分數(shù)然后加權(quán)融合。淺層分數(shù)對小缺陷敏感深層分數(shù)對大缺陷敏感。權(quán)重可以用驗證集上的漏檢率來調(diào)通常淺層權(quán)重 0.4、深層 0.6 是個不錯的起點。第二個技巧是利用無標注異常做半監(jiān)督微調(diào)。產(chǎn)線上總能攢到一些被操作員攔下來的異常樣本雖然沒標注像素級 mask但圖像級標簽是有的。用這些樣本對模型做一輪微調(diào)把異常分數(shù)拉高能顯著降低漏檢。注意微調(diào)時學習率要小1e-5 量級否則容易把預訓練特征帶偏。第三個技巧是時序一致性過濾。工業(yè)產(chǎn)線通常是連續(xù)采集同一個產(chǎn)品可能有多幀圖像。如果某一幀被判為異常但相鄰幀都正常大概率是噪聲導致的誤報。用一個簡單的滑動窗口做投票能壓掉不少過殺。窗口大小取 3 到 5 幀投票閾值取 2/3 或 3/5。第四個技巧是異常熱力圖的后處理。模型輸出的熱力圖往往有噪聲直接拿來做定位效果不好。先做高斯平滑再用連通域分析去掉面積過小的區(qū)域最后用形態(tài)學閉運算把斷裂的異常區(qū)域連起來。這幾個操作在 OpenCV 里都是現(xiàn)成的加起來不到 20 行代碼但定位 IoU 能提升 5 到 10 個點。import cv2 import numpy as np def postprocess_heatmap(heatmap, min_area50): heatmap: [H, W] 浮點異常分數(shù)圖已歸一化到 [0,1] min_area: 最小連通域面積小于此值的區(qū)域視為噪聲 # 高斯平滑抑制孤立噪點 smoothed cv2.GaussianBlur(heatmap, (5, 5), sigmaX1.5) # 二值化閾值取 0.5 是經(jīng)驗值可根據(jù)驗證集調(diào)整 binary (smoothed 0.5).astype(np.uint8) # 連通域分析去掉小面積區(qū)域 num_labels, labels, stats, _ cv2.connectedComponentsWithStats(binary, connectivity8) clean np.zeros_like(binary) for i in range(1, num_labels): if stats[i, cv2.CC_STAT_AREA] min_area: clean[labels i] 1 # 形態(tài)學閉運算連接斷裂區(qū)域 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (7, 7)) clean cv2.morphologyEx(clean, cv2.MORPH_CLOSE, kernel) return cleanmin_area根據(jù)實際缺陷的最小尺寸來定如果產(chǎn)線要求檢測 0.5mm 的劃痕按像素當量換算一下就行。sigmaX1.5的高斯核大小取 5這是速度和效果的折中核再大定位會變糊。最后一個習慣每次換產(chǎn)品、換光源、換相機都重新跑一遍驗證集看漏檢率和過殺率有沒有漂移。工業(yè)現(xiàn)場的環(huán)境變化比實驗室里大得多模型不是一次調(diào)好就能一直用的。我一般會在產(chǎn)線部署后的第一周每天抽檢 50 張圖確認指標穩(wěn)定后再放寬監(jiān)控頻率。希望幫到你。本文還有配套的精品資源點擊獲取