簡介NEU-DET 鋼材表面缺陷檢測(cè)數(shù)據(jù)集是一份面向工業(yè)視覺檢測(cè)與深度學(xué)習(xí)目標(biāo)檢測(cè)任務(wù)的標(biāo)準(zhǔn)資源適合入門至進(jìn)階的算法工程師、科研人員及競(jìng)賽選手用于模型訓(xùn)練與評(píng)估。資源包含 1799 張 JPEG 原圖并提供 Pascal VOC 格式 XML 與 YOLO 格式 TXT 兩套標(biāo)注文件覆蓋 crazing、inclusion、patches、pitted_surface、rolled-in_scale、scratches 共 6 個(gè)典型缺陷類別總標(biāo)注框數(shù)達(dá) 4186 個(gè)各類別框數(shù)分布清晰可直接用于 YOLO、Faster R-CNN、SSD 等常見檢測(cè)框架。數(shù)據(jù)均采用 labelImg 工具以矩形框精細(xì)標(biāo)注便于用戶快速開展缺陷識(shí)別、數(shù)據(jù)增強(qiáng)或預(yù)訓(xùn)練微調(diào)實(shí)驗(yàn)。壓縮包共 2000 個(gè)文件主要包括 1799 個(gè) xml 標(biāo)注文件與 201 個(gè) txt 標(biāo)注及說明文件整體大小 63.1MB體積精簡、解壓即用目錄組織簡潔能大幅節(jié)省數(shù)據(jù)預(yù)處理時(shí)間。目前已有 1157 人學(xué)習(xí)使用是一份經(jīng)過驗(yàn)證的高質(zhì)量工業(yè)缺陷檢測(cè)入門數(shù)據(jù)集。1. NEU-DET鋼材表面缺陷檢測(cè)數(shù)據(jù)集1799 張圖到底夠不夠用做鋼材表面缺陷檢測(cè)的人大概率繞不開 NEU-DET鋼材表面缺陷檢測(cè)數(shù)據(jù)集。它用 1799 張帶標(biāo)注圖像覆蓋了六類最常見的鋼板表面缺陷同時(shí)給出 VOC 和 YOLO 兩種格式是驗(yàn)證檢測(cè)算法、演練訓(xùn)練流程、練習(xí)格式轉(zhuǎn)換時(shí)最順手的起點(diǎn)。很多人第一眼嫌它小真正用起來才發(fā)現(xiàn)標(biāo)注規(guī)范、類別清晰、解壓后不用做太多清洗就能喂給訓(xùn)練腳本。這個(gè)數(shù)據(jù)集的定位不是生產(chǎn)級(jí)數(shù)據(jù)而是“讓檢測(cè)模型先跑起來”的種子數(shù)據(jù)。想驗(yàn)證 YOLO 系列在工業(yè)缺陷上的效果、想跑通一套從標(biāo)注到訓(xùn)練的完整鏈路、想把自己的數(shù)據(jù)集整理成 VOC/YOLO 格式拿它做對(duì)照最合適。我最初在模擬項(xiàng)目X里接觸目標(biāo)檢測(cè)靠的就是這條鏈路入門。下面從格式拆解開始講到訓(xùn)練配置和踩坑盡量讓你拿到壓縮包后一個(gè)晚上就能跑通第一個(gè)模型。2. 拆開 NEU-DETVOC 與 YOLO 雙格式的目錄結(jié)構(gòu)和六類缺陷網(wǎng)上流傳的 NEU-DET 轉(zhuǎn)存包很多解壓后布局可能不太一樣但核心就兩塊VOC 風(fēng)格的圖像加 XML 標(biāo)注以及 YOLO 風(fēng)格的 images/labels 目錄。先把這兩種格式各自長什么樣搞清楚后面轉(zhuǎn)換和訓(xùn)練時(shí)才不會(huì)看錯(cuò)文件。2.1 六類缺陷的形態(tài)與檢測(cè)難點(diǎn)數(shù)據(jù)集里的六類缺陷分別是 crazing、inclusion、patches、pitted_surface、rolled_in_scale、scratches常見版本里圖像尺寸基本在 200×200 左右內(nèi)容以灰度紋理為主。先記下每類的視覺特征因?yàn)楹竺嬖u(píng)估結(jié)果時(shí)你會(huì)發(fā)現(xiàn)模型在哪一類上翻車往往從圖像形態(tài)上就能預(yù)判。XML 中的 name常見叫法視覺特征檢測(cè)難點(diǎn)crazing裂紋/網(wǎng)狀裂紋細(xì)密紋路灰度對(duì)比弱像背景紋理邊界不清inclusion夾雜物塊狀或條狀暗區(qū)與基材灰度接近patches斑塊片狀灰度異常邊緣不規(guī)則面積大但特征模糊pitted_surface麻點(diǎn)/凹坑密集小點(diǎn)狀凹陷目標(biāo)小且密集rolled_in_scale氧化皮鱗片狀亮/暗區(qū)域形狀多變反光干擾scratches劃痕細(xì)長三角形狀條紋長寬比極大容易漏斷這六類不是隨便拍的基本覆蓋了熱軋、冷軋產(chǎn)線上最常引起客訴的缺陷類型。所以在做工業(yè)質(zhì)檢項(xiàng)目原型驗(yàn)證時(shí)它比很多通用目標(biāo)檢測(cè)數(shù)據(jù)集更貼近真實(shí)場(chǎng)景。另一個(gè)實(shí)際好處是類別少訓(xùn)練迭代周期短適合用來調(diào)參。2.2 VOC 格式XML 標(biāo)注里哪些字段真正決定訓(xùn)練VOC 格式的核心是 JPEGImages 里的原始圖像加 Annotations 里同名 XML。典型目錄布局如下解壓后根目錄/ ├── VOCdevkit/ │ └── NEU-DET/ │ ├── Annotations/ # 每張圖對(duì)應(yīng)一個(gè) .xml │ ├── JPEGImages/ # 原始圖像jpg/png 常見 │ └── ... └── labels/ # 常見 YOLO 布局之一 ├── images/ └── labels/打開任意一個(gè) XML結(jié)構(gòu)基本是這種風(fēng)格annotation folderNEU-DET/folder filenamexxx.jpg/filename size width200/width height200/height depth3/depth /size object namecrazing/name bndbox xmin10/xmin ymin20/ymin xmax180/xmax ymax190/ymax /bndbox difficult0/difficult /object /annotation對(duì)訓(xùn)練真正有用的字段只有 filename、size 和 object 里的 name、bndbox。folder、difficult 這些在大多數(shù)檢測(cè)框架里都會(huì)被忽略。size 里的寬度和高度最容易被忽略但 VOC 轉(zhuǎn) YOLO 時(shí)坐標(biāo)換算要靠它后面會(huì)專門講。檢查數(shù)據(jù)集時(shí)我會(huì)隨手確認(rèn)兩件事每張圖是否都有同名 XML每個(gè) XML 里 bndbox 四個(gè)值是否為整數(shù)且沒超出 0 到 200 的范圍。超出范圍的框基本是標(biāo)注誤操作訓(xùn)練時(shí)輕則警示重則讓 loss 變成 NaN。很多轉(zhuǎn)存包的問題不在數(shù)量而在個(gè)別標(biāo)注文件被轉(zhuǎn)存工具截?cái)唷?.3 YOLO 格式歸一化 txt 的換算邏輯與類別 idYOLO 格式的標(biāo)注不是 XML而是一個(gè)和圖像同名的 txt 文件。每一行代表一個(gè)目標(biāo)框格式是 class_id cx cy width height全部歸一化到 0~1 之間。舉個(gè)直觀例子2 0.4750 0.5250 0.8500 0.4250這行表示該圖像里有一個(gè)類別 id 為 2 的目標(biāo)中心點(diǎn)在圖像的 (0.475, 0.525) 處寬度約 0.85高度約 0.425。歸一化的好處是訓(xùn)練時(shí)和圖像實(shí)際尺寸無關(guān)無論輸入是 320 還是 640標(biāo)注都不會(huì)因?yàn)檫@個(gè)盒子被縮放而需要重算。類別 id 完全依賴你定義的順序。NEU-DET 在 YOLO 格式包里最常用的映射是0 crazing 1 inclusion 2 patches 3 pitted_surface 4 rolled_in_scale 5 scratches這個(gè)順序不是 XML 里的 name 排字典序而是打包者自己定的。拿到包后先打開兩個(gè) txt 和對(duì)應(yīng) XML 對(duì)照一遍確認(rèn) cats 順序再動(dòng)手否則模型訓(xùn)練到一半你會(huì)發(fā)現(xiàn)預(yù)測(cè)框的標(biāo)簽和圖像內(nèi)容對(duì)不上那時(shí)候改映射表等于重訓(xùn)一次。VOC 和 YOLO 雙格式同時(shí)存在時(shí)我習(xí)慣以 XML 內(nèi)容為基準(zhǔn)去校驗(yàn) txt而不是反過來。3. 動(dòng)手前先做三件事完整性校驗(yàn)、VOC 轉(zhuǎn) YOLO 與分層劃分拿到壓縮包先別急著訓(xùn)練。NEU-DET 因?yàn)楸欢啻无D(zhuǎn)存常見問題是標(biāo)簽文件缺失、類別名大小寫不一致、YOLO 標(biāo)注和 VOC 標(biāo)注對(duì)不上。我一般先做三件事總共不到十分鐘能避免后面浪費(fèi)幾小時(shí)。3.1 用一段腳本查清 1799 張圖與標(biāo)注的缺口先寫個(gè)腳本統(tǒng)計(jì)圖像和標(biāo)注數(shù)量并檢查每張圖是否有對(duì)應(yīng)標(biāo)注。路徑按自己解壓的實(shí)際目錄改import xml.etree.ElementTree as ET from collections import Counter from pathlib import Path img_dir Path(JPEGImages) xml_dir Path(Annotations) imgs {p.stem for p in img_dir.glob(*.jpg)} xmls {p.stem for p in xml_dir.glob(*.xml)} print(圖片數(shù)量:, len(imgs)) print(標(biāo)注數(shù)量:, len(xmls)) print(缺失標(biāo)注的圖:, len(imgs - xmls)) print(缺失圖片的標(biāo)注:, len(xmls - imgs)) class_counter Counter() for xml_file in xml_dir.glob(*.xml): root ET.parse(xml_file).getroot() for obj in root.iter(object): name obj.findtext(name) if name: class_counter[name.strip().lower()] 1 print(class_counter.most_common())這段腳本用 stem 去掉擴(kuò)展名后做集合差能同時(shí)找出“有圖沒標(biāo)注”和“有標(biāo)注沒圖”兩種情況。類別統(tǒng)計(jì)里把 name 轉(zhuǎn)成小寫再計(jì)數(shù)是因?yàn)椴煌D(zhuǎn)存包里的類別名可能出現(xiàn) Crazing 與 crazing 混用的情況。如果發(fā)現(xiàn) 1799 張圖但有 1798 個(gè) XML別覺得差一張無所謂直接找到那個(gè)沒有 XML 的圖名后面轉(zhuǎn)換和訓(xùn)練時(shí)它一定是第一個(gè)報(bào)錯(cuò)的文件。如果包里帶的是 YOLO 格式就把上面邏輯換成 images 目錄和 labels 目錄對(duì)比并用 txt 里第一列統(tǒng)計(jì)類別。沒有對(duì)應(yīng) txt 的圖像在 YOLO 訓(xùn)練時(shí)會(huì)被靜默跳過可能整個(gè)類別都被跳過而你完全沒察覺。3.2 VOC 轉(zhuǎn) YOLO坐標(biāo)歸一化腳本與幾個(gè)邊界坑即使壓縮包里已經(jīng)給了 YOLO 格式我仍建議自己做一遍轉(zhuǎn)換。原因很現(xiàn)實(shí)轉(zhuǎn)存包的 labels 可能和 images 不匹配也可能類別順序和你準(zhǔn)備用的訓(xùn)練框架不一致。自己轉(zhuǎn)換能確保標(biāo)注鏈路是可控的。import xml.etree.ElementTree as ET from pathlib import Path from PIL import Image ANNO_DIR Path(Annotations) IMG_DIR Path(JPEGImages) LABEL_DIR Path(labels) LABEL_DIR.mkdir(exist_okTrue) CLASS_NAMES [crazing, inclusion, patches, pitted_surface, rolled_in_scale, scratches] def convert_one(xml_file): root ET.parse(xml_file).getroot() lines [] for obj in root.iter(object): name obj.findtext(name).strip().lower() if name not in CLASS_NAMES: continue cls_id CLASS_NAMES.index(name) box obj.find(bndbox) xmin float(box.findtext(xmin)) ymin float(box.findtext(ymin)) xmax float(box.findtext(xmax)) ymax float(box.findtext(ymax)) cx ((xmin xmax) / 2) / img_w cy ((ymin ymax) / 2) / img_h bw (xmax - xmin) / img_w bh (ymax - ymin) / img_h cx, cy, bw, bh [max(0.0, min(v, 1.0)) for v in (cx, cy, bw, bh)] lines.append(f{cls_id} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) return lines for xml_file in ANNO_DIR.glob(*.xml): with Image.open(IMG_DIR / (xml_file.stem .jpg)) as im: img_w, img_h im.size lines convert_one(xml_file) (LABEL_DIR / (xml_file.stem .txt)).write_text(\n.join(lines), encodingutf-8)這里最關(guān)鍵的是 img_w、img_h 用 PIL 從圖像本身讀取而不是直接信任 XML 里的 size。轉(zhuǎn)存過程中圖像經(jīng)常被重新保存或縮放一旦實(shí)際尺寸和 XML 不一致按錯(cuò)誤尺寸歸一化出的坐標(biāo)全是偏的但這種偏移在視覺上又不太容易發(fā)現(xiàn)。clip 到 0~1 是雙刃劍。bndbox 越界時(shí)把它截?cái)嗟竭吔缒鼙Ｗ∮?xùn)練不報(bào)錯(cuò)但也掩蓋了標(biāo)注問題。我建議先不 clip 跑一遍如果 txt 里出現(xiàn)小于 0 或大于 1 的值把對(duì)應(yīng)的 XML 文件名打出來逐個(gè)檢查是標(biāo)注確實(shí)越界還是圖像被壓縮過。3.3 按類別分層劃分 train/val防止驗(yàn)證集缺類1799 張圖聽起來不少但如果隨機(jī)劃分六個(gè)類別里數(shù)量少的類可能被分到驗(yàn)證集只有幾張導(dǎo)致那一類在訓(xùn)練集里完全沒被充分學(xué)習(xí)。正確做法是按類別分層采樣確保每個(gè)類別在訓(xùn)練集和驗(yàn)證集的比例基本一致。import random from pathlib import Path from collections import defaultdict random.seed(42) img_files list(Path(images).glob(*.jpg)) label_dir Path(labels) def classes_of(img_path): label_path label_dir / (img_path.stem .txt) if not label_path.exists(): return [] with open(label_path) as f: return sorted({line.split()[0] for line in f if line.strip()}) strata defaultdict(list) for img_path in img_files: cls_list classes_of(img_path) key cls_list[0] if cls_list else empty strata[key].append(img_path) train_ratio 0.8 train_files, val_files [], [] for key, paths in strata.items(): random.shuffle(paths) split int(len(paths) * train_ratio) train_files.extend(paths[:split]) val_files.extend(paths[split:]) print(train:, len(train_files), val:, len(val_files))這段腳本把同一圖像里的多個(gè)類別去重后取第一個(gè)作為分層鍵。單張圖只有一個(gè)缺陷的 NEU-DET 里足夠用。如果發(fā)現(xiàn) empty 分組里有文件說明標(biāo)注缺失回到 3.1 去查原因。劃分完成后把 train_files 和 val_files 分別按 YOLO 目錄結(jié)構(gòu)放好下一章直接用。4. 用 YOLO 在 NEU-DET 上完成訓(xùn)練配置文件、命令與評(píng)估要點(diǎn)數(shù)據(jù)準(zhǔn)備好之后訓(xùn)練本身反而最順利。用公開的 YOLO 系列框架只要目錄結(jié)構(gòu)和 yaml 沒問題一條命令就能跑起來。重點(diǎn)在于配置文件怎么寫、超參數(shù)怎么選、結(jié)果到底看什么指標(biāo)。4.1 搭建標(biāo)準(zhǔn)目錄結(jié)構(gòu)和 data.yaml按 YOLO 約定數(shù)據(jù)集目錄長這樣dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/訓(xùn)練前把 3.3 劃分出的文件對(duì)應(yīng)移動(dòng)或軟鏈進(jìn)去。labels 下每個(gè) txt 的文件名必須和 images 下同名圖像一致框架是通過 stem 匹配的文件名對(duì)不上再好的標(biāo)注也找不到。下面是 data.yaml# neu_det.yaml path: /path/to/dataset train: images/train val: images/val nc: 6 names: 0: crazing 1: inclusion 2: patches 3: pitted_surface 4: rolled_in_scale 5: scratchespath 建議寫絕對(duì)路徑因?yàn)橄鄬?duì)路徑在不同工作目錄下行為不一致。names 的順序必須和 3.2 里 CLASS_NAMES 完全一致這是 NEU-DET 容易出現(xiàn)標(biāo)簽錯(cuò)亂的最主要原因。下載后如果壓縮包自帶的 data.yaml 里順序和標(biāo)注不一致以標(biāo)注文件實(shí)際的第一列為準(zhǔn)。4.2 訓(xùn)練命令與關(guān)鍵超參數(shù)從預(yù)訓(xùn)練權(quán)重開始最省事的訓(xùn)練命令是這樣yolo detect train dataneu_det.yaml modelyolov8n.pt \ epochs300 imgsz640 batch16 device0 cacheTrueNEU-DET 只有 1799 張圖epochs 至少要給到 200 以上否則模型還沒收斂就到頭了。imgsz 我建議 448 或 640不建議降到 320。六個(gè)類別里 pitted_surface 和 scratches 屬于典型的細(xì)小目標(biāo)圖像本身只有 200×200再降分辨率會(huì)讓麻點(diǎn)和劃痕的像素特征進(jìn)一步丟失。預(yù)訓(xùn)練權(quán)重非常關(guān)鍵。從零訓(xùn)練一個(gè)小數(shù)據(jù)集收斂慢而且 mAP 通常不及預(yù)期。用在大規(guī)模自然圖像上預(yù)訓(xùn)練過的權(quán)重做初始化等于讓模型把“特征提取的基本功”帶過來只學(xué) NEU-DET 的領(lǐng)域差異這在實(shí)際實(shí)驗(yàn)中能明顯縮短訓(xùn)練時(shí)間。batch 大小根據(jù)顯存調(diào)整16 在常見顯卡上都能跑batch 太大時(shí) BN 層統(tǒng)計(jì)更容易波動(dòng)。還可以順手打開 cacheTrue把圖像緩存到內(nèi)存數(shù)據(jù)集小所以內(nèi)存壓力不大但能顯著加快每個(gè) epoch 的加載速度。4.3 評(píng)估到底看什么單類 AP 比總 mAP 更能發(fā)現(xiàn)問題訓(xùn)練完后用驗(yàn)證集評(píng)估yolo detect val dataneu_det.yaml \ modelruns/detect/train/weights/best.pt輸出里除了 mAP50 和 mAP50-95一定要看每一類的 Precision、Recall 和 AP。NEU-DET 的 mAP50 普遍不低但這個(gè)總分很容易掩蓋單類問題。我見過不少訓(xùn)練結(jié)果總分到了 0.8 以上但 crazing 的 AP 只有 0.3因?yàn)?crazing 在驗(yàn)證集里就幾十張即使全錯(cuò)對(duì)總分影響也很小。更直接的做法是跑一輪批量預(yù)測(cè)yolo detect predict modelruns/detect/train/weights/best.pt \ sourcedataset/images/val預(yù)測(cè)結(jié)果會(huì)保存成帶框的圖片?？焖俜槐檫@些圖重點(diǎn)看兩類漏檢的真實(shí)目標(biāo)和把背景紋理誤檢成缺陷的假正例。這兩個(gè)信息比任何指標(biāo)都能說明模型下一步該怎么調(diào)。5. NEU-DET 使用中的五大坑與排查思路這一章都是實(shí)際跑數(shù)據(jù)時(shí)大概率會(huì)遇到的問題按現(xiàn)象到原因到解決來寫方便你直接對(duì)照。5.1 1799 張圖訓(xùn)練后 loss 很低但驗(yàn)證 mAP 上不去過擬合現(xiàn)象訓(xùn)練集上的 loss 降得很漂亮但驗(yàn)證集的 mAP 訓(xùn)練到一半就停滯甚至下降。原因很簡單數(shù)據(jù)量太小模型把訓(xùn)練集的特征背下來了沒有泛化能力。尤其是網(wǎng)絡(luò)層數(shù)較深時(shí)這種現(xiàn)象更明顯。解決優(yōu)先加大數(shù)據(jù)增強(qiáng)crazing 和 scratches 這類目標(biāo)對(duì)翻轉(zhuǎn)、旋轉(zhuǎn)不敏感可把 fliplr 開到 0.5mosaic 開滿其次用預(yù)訓(xùn)練權(quán)重而不是從零訓(xùn)練再不行就換更小的模型比如直接上 n 系列而不是一上來就用 s 或 m。最后把 epochs 拉長配合早停讓它自己停在泛化最好的位置。5.2 crazing 與 patches 的 Precision 長期為 0類別不均衡與標(biāo)注粒度現(xiàn)象訓(xùn)練完看 per-class 指標(biāo)這兩類的 AP 明顯低于其他四類有時(shí) Precision 直接是 0。原因是這兩個(gè)類別的樣本量在數(shù)據(jù)集中偏少而且 crazing 的網(wǎng)狀裂紋和背景紋理高度相似模型傾向把所有帶紋理的區(qū)域都當(dāng)成背景。解決思路分兩步先看統(tǒng)計(jì)確認(rèn)哪一類樣本最少如果少到幾十張級(jí)別考慮對(duì)這種缺陷做離線復(fù)制增強(qiáng)把框內(nèi)區(qū)域隨機(jī)貼到背景圖合成新樣本然后檢查標(biāo)注框是否太大crazing 的紋理區(qū)域往往是大框套著細(xì)小裂紋標(biāo)注框過大會(huì)讓模型學(xué)到大量背景。減小這類框的粒度往往比加數(shù)據(jù)更有效。5.3 轉(zhuǎn)換后提示 no labels found坐標(biāo)越界與目錄層級(jí)現(xiàn)象訓(xùn)練命令一跑日志提示某個(gè)圖像沒有找到對(duì)應(yīng) labels或者直接報(bào)錯(cuò)找不到標(biāo)簽。原因通常是兩種一是圖像和 txt 不在預(yù)期的 labels/train 目錄下框架默認(rèn)在 images 同級(jí)找 labels目錄層級(jí)錯(cuò)了就找不到二是轉(zhuǎn)換出來的 txt 里坐標(biāo)越界比如框的寬高算出來是負(fù)數(shù)部分框架會(huì)認(rèn)為這是非法標(biāo)注。解決先用 3.1 的校驗(yàn)邏輯檢查每個(gè) txt 是否有有效內(nèi)容再確認(rèn) labels 下的文件和 images 下文件一一對(duì)應(yīng)最后打開一個(gè) txt 看數(shù)字是否都在 0~1 區(qū)間如果出現(xiàn)負(fù)值回到轉(zhuǎn)換腳本檢查 xmax 是否小于 xmin這種問題常見于標(biāo)注框在被壓縮后翻轉(zhuǎn)的情況。5.4 預(yù)測(cè)類別張冠李戴類別 id 順序不一致現(xiàn)象模型訓(xùn)練沒有報(bào)錯(cuò)也收斂了但預(yù)測(cè)出來的框類別和圖像內(nèi)容對(duì)不上比如把氧化皮預(yù)測(cè)成夾雜物。終極原因只有一個(gè)訓(xùn)練時(shí) CLASS_NAMES 的順序和 data.yaml 里 names 的順序不一致。VOC 轉(zhuǎn) YOLO 時(shí)你按一個(gè)順序給類別編號(hào)訓(xùn)練時(shí)框架按照另一個(gè)順序讀取類別名同一個(gè)數(shù)字在兩個(gè)文件里代表不同缺陷。解決把兩張表并排打印出來人工核對(duì)。我習(xí)慣把類別順序?qū)戇M(jìn)一個(gè)固定文件轉(zhuǎn)換腳本、data.yaml、訓(xùn)練輸出三處都從這個(gè)文件讀取徹底消滅手寫不一致的可能。5.5 訓(xùn)練效果換到產(chǎn)線現(xiàn)場(chǎng)就失效域差異現(xiàn)象NEU-DET 上 mAP 很高但拿到自己現(xiàn)場(chǎng)的鋼板圖像上一測(cè)掉點(diǎn)嚴(yán)重。原因是數(shù)據(jù)集本身來自特定產(chǎn)線、特定光照和特定拍攝條件灰度紋理風(fēng)格比較單一而現(xiàn)場(chǎng)圖像的分辨率、角度、氧化程度都不一樣。這不算數(shù)據(jù)集的坑而是使用方式的問題。解決把 NEU-DET 當(dāng)預(yù)訓(xùn)練和流程驗(yàn)證基準(zhǔn)不要指望它替你覆蓋現(xiàn)場(chǎng)域。常見做法是加載在 NEU-DET 上訓(xùn)練好的權(quán)重用現(xiàn)場(chǎng)采集的一兩千張真實(shí)缺陷圖做微調(diào)哪怕標(biāo)注粗糙一些效果也遠(yuǎn)好于直接用 NEU-DET 權(quán)重做推理。6. 不換模型也能漲點(diǎn)的三個(gè) NEU-DET 進(jìn)階技巧數(shù)據(jù)只有 1799 張但有些技巧能在不換網(wǎng)絡(luò)結(jié)構(gòu)的前提下把 mAP 再往上推一點(diǎn)。下面三個(gè)是我常用的。第一個(gè)是偽標(biāo)注自訓(xùn)練。用訓(xùn)練好的 best.pt 對(duì)同一來源但未標(biāo)注的圖像做推理把置信度高的預(yù)測(cè)框直接當(dāng)標(biāo)注加入訓(xùn)練集再訓(xùn)一輪。要注意只挑選置信度大于 0.9 且面積合理的框人工掃一眼抽查幾張。這個(gè)方法在小數(shù)據(jù)集上通常能帶來穩(wěn)定提升相當(dāng)于用模型自己擴(kuò)充了訓(xùn)練數(shù)據(jù)。第二個(gè)是灰度增強(qiáng)副本。NEU-DET 圖像本質(zhì)是灰度紋理但很多訓(xùn)練框架對(duì)灰度圖會(huì)做三通道復(fù)制本身沒有額外信息。我習(xí)慣把 CLAHE 或直方圖均衡化后的圖像作為第二個(gè)版本和原始圖混合進(jìn)訓(xùn)練強(qiáng)迫模型對(duì)光照和對(duì)比度變化更魯棒。操作上不需要改代碼提前跑個(gè)批處理生成增強(qiáng)副本放進(jìn) images/train 即可。第三個(gè)是推理時(shí)多尺度融合。因?yàn)樵紙D像是 200×200輸入 640 本身已經(jīng)是放大三倍多模型對(duì)尺度變化比較敏感。推理時(shí)可以用 TTA 或三尺度推理對(duì)三次預(yù)測(cè)結(jié)果做 NMS 合并。這一招對(duì)小目標(biāo)類別特別有效代價(jià)是推理時(shí)間增加離線批量檢測(cè)場(chǎng)景完全劃得來。就這個(gè)數(shù)據(jù)集而言我最后悔的事情是早期只看總 mAP直到某次把 best.pt 放到現(xiàn)場(chǎng)圖像上才發(fā)現(xiàn) crazing 全線漏檢。后來養(yǎng)成習(xí)慣每次訓(xùn)練完先翻每個(gè)類的壞例圖再?zèng)Q定要不要調(diào)參。這個(gè)習(xí)慣幫我少走了很多彎路希望也能幫到你。本文還有配套的精品資源點(diǎn)擊獲取