簡介面向計算機視覺目標檢測任務尤其適合工業(yè)管道缺陷自動識別場景。數(shù)據(jù)集包含超過900張帶有標注信息的管道圖片已處理為YOLO格式并完成數(shù)據(jù)增廣可直接用于YOLO全系列模型訓練滿足高校實驗、算法調(diào)試及工業(yè)檢測方案驗證等多種需求。壓縮包共1893個文件以945張jpg圖像與946個配套txt標簽文件為主體另附可視化py腳本與class類別文件整體大小32.47MB便于快速下載與部署目前已有1940人瀏覽學習。資源劃分了訓練集與驗證集標簽統(tǒng)一為defect類別借助show腳本可直觀查看邊界框繪制效果幫助評估檢測精度、排查漏檢與誤檢問題。對希望快速上手YOLO管道缺陷檢測、或構(gòu)建工業(yè)安全檢測原型的開發(fā)者而言這是一份能直接復用的實操素材。1. 管道缺陷檢測數(shù)據(jù)集900張標注圖到底能干什么管道缺陷檢測數(shù)據(jù)集這個標題聽著就像又一個普通標注包但它恰恰是工業(yè)視覺里最典型的一種“小樣本但必須做”的場景。900多張圖片和標簽放在通用目標檢測里不算多可放在管道巡檢、管網(wǎng)檢修、焊縫復核這類細分方向上已經(jīng)是一份值得認真對待的家底了。這類數(shù)據(jù)集里的缺陷類型通常集中在腐蝕、裂紋、焊縫缺陷、破損、變形等幾類圖片大多來自管道內(nèi)窺設(shè)備或檢修現(xiàn)場拍照光照差、背景雜、缺陷目標小和自動駕駛那種“大而全”的數(shù)據(jù)集完全是兩個物種。所以它的正確定位不是“拿來從零訓練”而是“拿預訓練模型做遷移學習微調(diào)”——用900張圖把模型從通用檢測器調(diào)成管道缺陷專用檢測器。這個方向值不值得做取決于你能不能把這900多張圖吃透、喂對、調(diào)好而不是圖省事直接開訓。2. 先弄清楚數(shù)據(jù)集里有什么目錄結(jié)構(gòu)、標注格式與缺陷類別拿到這類數(shù)據(jù)集第一件事千萬別是解壓完就寫訓練命令。管道缺陷數(shù)據(jù)集的坑有一半在標注文件里。先花半小時把目錄結(jié)構(gòu)和標注格式對清楚后面訓練能少交三天學費。2.1 解壓后先對賬images與labels的目錄規(guī)約這類數(shù)據(jù)集常見的組織方式是images和labels兩大目錄各自下面再按train和val分開標注文件與圖片同名。拿到壓縮包后先看結(jié)構(gòu)再數(shù)數(shù)量別只看總圖片數(shù)要看train和val的分配比例。# 假設(shè)數(shù)據(jù)集根目錄是 pipe_defect/ # 統(tǒng)計圖片數(shù)量 find pipe_defect/images -name *.jpg | wc -l # 統(tǒng)計標簽數(shù)量 find pipe_defect/labels -name *.txt | wc -l # 找出空標簽文件空文件說明該圖沒有標注目標 find pipe_defect/labels -name *.txt -size 0 | head -20 # 看類別定義文件內(nèi)容確認類別編號與名稱的對應關(guān)系 cat pipe_defect/classes.txt這三條命令能幫你快速定位兩類問題一是圖片和標簽數(shù)量對不上說明有漏標或誤刪文件二是空標簽文件過多如果超過10%你就要考慮這些空圖對訓練是幫助還是干擾。classes.txt是后續(xù)寫dataset.yaml的依據(jù)它每行的順序就是類別編號比如“corrosion”是0“crack”是1這個順序不能隨便改改了等于把所有標簽重新編號。對賬的時候如果發(fā)現(xiàn)train和val的比例是隨機切的我一般會重新劃分一次。900多張圖的數(shù)據(jù)集理想分配是train占80%、val占20%但一定要保證每類缺陷在val里都出現(xiàn)否則驗證時某一類AP永遠是0你都不知道是模型沒學會還是val里壓根沒這類的樣本。2.2 標注格式Y(jié)OLO txt還是VOC xml決定你的工作量管道缺陷數(shù)據(jù)集通常給兩種標注格式之一YOLO txt或Pascal VOC xml。YOLO格式可以直接喂給YOLO系列訓練框架VOC xml則需要轉(zhuǎn)換。二者的本質(zhì)區(qū)別在于坐標體系YOLO txt里存的是歸一化中心點坐標和寬高即x_center、y_center、width、height取值范圍0到1VOC xml里存的是像素坐標xmin、ymin、xmax、ymax必須除以圖片寬高才能歸一化。如果你拿到的是VOC xml數(shù)據(jù)集就需要先轉(zhuǎn)換成YOLO txt。下面這段轉(zhuǎn)換腳本是我常用的基礎(chǔ)版本覆蓋了大多數(shù)情況import xml.etree.ElementTree as ET from pathlib import Path def voc_to_yolo(xml_path: Path, class_list: list, out_txt: Path): 將VOC格式XML轉(zhuǎn)換為YOLO格式txt - xml_path: 單張圖片對應的XML標注文件 - class_list: 類別名稱列表順序決定類別編號 - out_txt: 輸出的txt標簽文件路徑 tree ET.parse(xml_path) root tree.getroot() size root.find(size) img_w int(size.find(width).text) img_h int(size.find(height).text) with open(out_txt, w) as out: for obj in root.iter(object): name obj.find(name).text if name not in class_list: continue cls_id class_list.index(name) box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) # 關(guān)鍵點寬高要取差值不是直接填坐標值 box_w (xmax - xmin) / img_w box_h (ymax - ymin) / img_h # 中心點坐標是兩端坐標的均值除以寬高完成歸一化 x_center ((xmin xmax) / 2) / img_w y_center ((ymin ymax) / 2) / img_h # 防止邊緣坐標越界把計算結(jié)果限制在[0,1]內(nèi) x_center min(max(x_center, 0.0), 1.0) y_center min(max(y_center, 0.0), 1.0) box_w min(box_w, 1.0) box_h min(box_h, 1.0) out.write(f{cls_id} {x_center:.6f} {y_center:.6f} {box_w:.6f} {box_h:.6f}\n)這個腳本最關(guān)鍵的是四個參數(shù)的計算邏輯寬高必須用xmax - xmin中心點必須用兩端坐標的均值而且分母必須是圖片像素寬高。很多人在這一步翻車把歸一化理解成只除以寬或只除以高導致框變形。轉(zhuǎn)換完隨便挑三五個文件用標注可視化腳本畫到原圖上肉眼看一眼位置是否貼合缺陷區(qū)域這比任何自動化校驗都直接。管道缺陷數(shù)據(jù)集里還有一種常見情況標注框比實際缺陷區(qū)域大一圈。因為管道內(nèi)部光線差標注員很難精準框住邊緣不規(guī)則的腐蝕區(qū)域框帶一點冗余是正常的。轉(zhuǎn)換腳本處理不了這類問題只能靠可視化抽查來判斷要不要接受這批標注。2.3 用Python腳本做質(zhì)量審計壞標簽比沒有標簽更傷模型900多張圖的標注質(zhì)量直接決定微調(diào)效果的上限。標注里最常見的四類問題類別編號越界、中心坐標不在圖內(nèi)、寬高為0或超界、文件格式少列。這些問題不會讓訓練報錯但會讓模型學到錯誤的邊界。下面這個審計腳本能幫你快速跑一遍全量標簽from pathlib import Path def audit_labels(labels_dir: str, class_num: int): 檢查目錄下所有YOLO txt標簽的合法性 - labels_dir: labels目錄路徑 - class_num: 類別總數(shù)用于判斷類別編號是否越界 bad_count 0 for txt in Path(labels_dir).glob(*.txt): with open(txt) as f: lines f.readlines() # 空標簽文件不報錯但要單獨統(tǒng)計數(shù)量 if not lines: print(f[EMPTY] {txt.name}) bad_count 1 continue for i, line in enumerate(lines): parts line.strip().split() if len(parts) ! 5: print(f[FORMAT] {txt.name} line {i 1}: {line.strip()}) bad_count 1 continue cls float(parts[0]) x_center float(parts[1]) y_center float(parts[2]) box_w float(parts[3]) box_h float(parts[4]) if cls 0 or cls class_num: print(f[CLASS] {txt.name} cls{cls}) bad_count 1 if not (0 x_center 1 and 0 y_center 1): print(f[CENTER] {txt.name} center({x_center:.3f},{y_center:.3f})) bad_count 1 if box_w 0 or box_h 0 or box_w 1 or box_h 1: print(f[SIZE] {txt.name} size({box_w:.3f},{box_h:.3f})) bad_count 1 print(f檢查完成問題標簽總數(shù): {bad_count}) # 用法audit_labels(pipe_defect/labels/train, class_num5)這段腳本跑出來的結(jié)果建議按問題類型分別處理空標簽文件直接保留訓練時模型會把它當作背景圖類別越界必須修正通常是classes.txt順序和標注方文檔不一致中心點坐標越界則說明標注時把人手畫到了圖片邊緣之外這類標簽要么裁剪掉越界部分要么刪除整張圖不要硬留。管道缺陷圖片里很多目標本身就貼著圖像邊沿這類問題出現(xiàn)的頻率不低。跑完審計你會發(fā)現(xiàn)所謂“900張干凈標注”其實經(jīng)不起細看。這很正常工業(yè)數(shù)據(jù)集的通病就是標注質(zhì)量參差。審計的意義在于讓你提前知道哪些圖需要人工復核而不是等訓練完才發(fā)現(xiàn)模型在某個類別上完全失靈。3. 把管道缺陷數(shù)據(jù)集喂進YOLO從數(shù)據(jù)組織到訓練參數(shù)審計和格式轉(zhuǎn)換都做完之后才能進入訓練環(huán)節(jié)。這一章說清楚三件事數(shù)據(jù)集文件怎么組織、訓練參數(shù)怎么定、數(shù)據(jù)增強怎么開。900張圖的數(shù)據(jù)量決定了這些配置和通用目標檢測不一樣照搬大模型訓練方案大概率要翻車。3.1 用dataset.yaml把訓練和驗證路徑寫清楚YOLO訓練框架讀取數(shù)據(jù)集的入口就是一個yaml文件里面寫明訓練集、驗證集圖片路徑和類別列表。管道缺陷數(shù)據(jù)集的yaml配置長這樣# pipe_defect.yaml path: /your/abs/path/pipe_defect # 數(shù)據(jù)集根目錄的絕對路徑 train: images/train # 訓練集圖片目錄相對于path val: images/val # 驗證集圖片目錄相對于path nc: 5 # 類別總數(shù)與classes.txt行數(shù)一致 names: 0: corrosion # 腐蝕 1: crack # 裂紋 2: weld_defect # 焊縫缺陷 3: dent # 凹陷 4: pitting # 點蝕path這一項一定要寫絕對路徑因為訓練進程的工作目錄可能不在數(shù)據(jù)集根目錄。train和val寫的是相對于path的路徑images/train和images/val是圖片目錄框架會自動去同級的labels目錄里找同名txt。names的編號必須和標簽文件里的類別編號一致否則模型訓練時會把corrosion當成crack來學。寫這個文件的常見錯誤是類別數(shù)量跟實際不符。管道缺陷數(shù)據(jù)集有些版本會把“background”也當作一個類別如果classes.txt里寫了6行但真正標注的只有5類nc應該填5還是6以實際標注為準看標簽文件里出現(xiàn)的最大類別編號是多少而不是數(shù)classes.txt的行數(shù)。3.2 訓練參數(shù)epochs、batch、imgsz的搭配邏輯900張圖的微調(diào)訓練我通常推薦的命令是這樣yolo train \ modelyolov8n.pt \ datapipe_defect.yaml \ epochs100 \ batch16 \ imgsz640 \ patience15 \ lr00.001 \ augmentTrue參數(shù)含義拆開講。modelyolov8n.pt表示加載預訓練權(quán)重用n版本是因為它參數(shù)少、不容易在小數(shù)據(jù)集上過擬合900張圖喂給yolov8x這種大模型訓練集loss會很好看驗證集mAP大概率原地踏步。epochs100不是硬性指標配合patience15意思是連續(xù)15個epoch驗證集mAP沒有提升就自動停通常實際跑到50到70輪就收斂了。batch16在大多數(shù)單卡GPU上都能跑如果你顯存不夠就降到8但不要低于4否則batch normalization的統(tǒng)計量不穩(wěn)定。imgsz640是輸入分辨率管道缺陷檢測場景里可以適當加大到960因為很多裂紋和點蝕在原始圖片里只占幾十像素分辨率太低等于把缺陷直接抹掉了。加大imgsz的代價是顯存占用和訓練時間翻倍所以一般先跑640驗證流程再跑960追求精度。lr00.001是初始學習率加載預訓練權(quán)重微調(diào)時不需要用默認的0.01小數(shù)據(jù)集用小學習率更穩(wěn)。這個值如果發(fā)現(xiàn)訓練loss震蕩厲害可以再降到0.0005但要給足epoch數(shù)學習率太低收斂會變慢。訓練過程要盯兩條曲線訓練集loss和驗證集mAP。如果訓練集loss持續(xù)下降但驗證集mAP在某個數(shù)值附近不動說明過擬合已經(jīng)開始這時候不是加數(shù)據(jù)就是減弱增強而不是繼續(xù)加epoch。3.3 數(shù)據(jù)增強別一上來就開滿管道缺陷有自己的脾氣YOLO訓練框架默認開著mosaic、翻轉(zhuǎn)、縮放等增強手段但對管道缺陷數(shù)據(jù)集默認配置不一定合適。原因在于管道缺陷有很強的方向性和尺度特征裂紋通常沿管道走向分布腐蝕區(qū)域形狀不規(guī)則但尺度相對固定。如果增強配置把圖片隨意旋轉(zhuǎn)90度或大幅縮放學到的特征可能與真實場景背離。常見的做法是保留基礎(chǔ)增強、控制強增強的程度。下面這段超參數(shù)配置代表了我在管道缺陷數(shù)據(jù)上的常用設(shè)定# 在訓練腳本中覆蓋默認增強參數(shù) mosaic: 0.5 # mosaic概率降到0.5避免大量小目標拼接偽影 fliplr: 0.5 # 水平翻轉(zhuǎn)保留裂紋左右對稱 flipud: 0.0 # 垂直翻轉(zhuǎn)關(guān)掉管道方向感不能被破壞 hsv_h: 0.015 # 色調(diào)增強小幅度管道內(nèi)壁顏色不能亂變 hsv_s: 0.5 # 飽和度增強中等 degrees: 0.0 # 旋轉(zhuǎn)關(guān)閉缺陷方向是有物理含義的 scale: 0.5 # 縮放增強保留模擬不同距離拍攝mosaic降到0.5而不是默認的1.0是因為mosaic會把四張圖拼在一起導致小目標數(shù)量暴增而管道缺陷已經(jīng)有大量小目標了再拼接會讓模型花太多精力在異常尺度的目標上干擾正常學習。degrees0.0是很多人的血淚教訓換來的旋轉(zhuǎn)增強對通用目標檢測是好東西但管道缺陷檢測里裂紋的水平或垂直走向本身是判別的有效特征轉(zhuǎn)個90度后這個特征就失真了模型學了等于白學。如果你非要旋轉(zhuǎn)最多只能允許正負10度而且要在后期關(guān)閉。還有一點容易忽略觀察驗證集效果時不要只盯mAP還要看每類的AP。管道缺陷數(shù)據(jù)集的類別分布通常極不均衡全局mAP好但某類AP接近0的情況非常常見。下一章展開說。4. 避坑指南管道缺陷數(shù)據(jù)集最常見的4個坑這部分寫的是我在多次管道缺陷檢測項目里踩過的坑每條都按“現(xiàn)象→原因→解決”來寫。你能搜到管道缺陷數(shù)據(jù)集這個關(guān)鍵詞說明多半已經(jīng)在訓練或準備訓練了這些坑越早知道越省錢。4.1 類別不平衡腐蝕占大頭裂紋只有幾十張現(xiàn)象訓練結(jié)束后看驗證結(jié)果總體mAP0.5在0.7左右但按類別翻看時發(fā)現(xiàn)corrosion的AP有0.85而crack的AP只有0.15甚至趨近于0。模型看起來“能用”實際一部署到現(xiàn)場真正最危險的裂紋一條都測不出來。原因900多張圖里腐蝕類樣本可能占了七八百張裂紋類只有幾十張。模型在訓練時見過的大部分正樣本都是腐蝕自然把“缺陷”這個概念的權(quán)重全部壓在了腐蝕特征上。目標檢測損失函數(shù)里每張圖每個框都是等權(quán)重的樣本多的類別主導了梯度方向。解決常見做法是兩個方向同時走。一是數(shù)據(jù)層面對少數(shù)類做過采樣把裂紋樣本在訓練數(shù)據(jù)中復制幾份配合隨機增強讓模型每次看到略有不同的裂紋圖。二是損失函數(shù)層面如果用的是可調(diào)損失權(quán)重的訓練框架給少數(shù)類提高loss權(quán)重。我一般傾向先做數(shù)據(jù)過采樣因為它直觀、可控、不依賴框架特性。還要記住驗證集里每類樣本都不少于5張否則算出來的單類AP方差太大可信度不高。4.2 缺陷目標太小幾十像素的裂紋在特征圖里消失了現(xiàn)象訓練的loss曲線正常下降驗證時mAP0.5和mAP0.5-95相差非常大前者0.7后者只有0.25。進一步看檢測結(jié)果大塊腐蝕檢測出來了細裂紋完全漏檢。原因管道內(nèi)壁的裂紋寬度可能只有十幾個像素經(jīng)過模型下采樣32倍后到了特征圖里就剩下不到1個像素特征已經(jīng)丟失。imgsz設(shè)成640時這個問題尤其嚴重。解決最直接的辦法是提高imgsz到960或1280讓小目標在輸入層就占更多像素。顯存不夠的話可以改用tiling策略——把大圖切成若干小塊分別檢測再合并結(jié)果。tiling的代價是推理時間線性增加但對管道巡檢這種離線分析場景完全可接受。另一個技巧是關(guān)注小目標的增強參數(shù)模型默認可能有針對小目標的增強配置不要關(guān)掉它。管道缺陷檢測的任務里小目標不是邊緣情況而是主場景這點和通用檢測有很大區(qū)別。4.3 標簽坐標轉(zhuǎn)換錯誤xy順序?qū)懛?、歸一化分母抄錯現(xiàn)象訓練能正常跑下去loss也在降但推理時檢測框位置明顯偏了比如缺陷在圖上方框卻框在圖中間甚至下方。原因VOC轉(zhuǎn)YOLO時x_center和y_center的計算順序?qū)懛椿蛘叻帜赣昧藞D片寬度的值去除高度方向的坐標。這類錯誤在代碼里非常難發(fā)現(xiàn)因為loss照常下降模型以為自己學的是“特征到框”的映射實際學的是“特征到錯誤框”的映射。解決轉(zhuǎn)換后馬上做可視化驗證。寫一個簡單的腳本讀取圖片、讀取標簽、用OpenCV或matplotlib把框畫出來人工看5到10張。下面是最簡驗證邏輯import cv2 def draw_yolo_box(img_path: str, label_path: str, save_path: str): 在圖上畫出YOLO標注框用于轉(zhuǎn)換后的人工抽查 img cv2.imread(img_path) h, w img.shape[:2] with open(label_path) as f: for line in f.readlines(): cls, x, y, bw, bh line.strip().split()[:5] cls int(cls) x, y, bw, bh float(x), float(y), float(bw), float(bh) # 還原像素坐標注意是中心點加減半寬高 xmin int((x - bw / 2) * w) ymin int((y - bh / 2) * h) xmax int((x bw / 2) * w) ymax int((y bh / 2) * h) cv2.rectangle(img, (xmin, ymin), (xmax, ymax), (0, 0, 255), 2) cv2.putText(img, str(cls), (xmin, ymin - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 0, 255), 2) cv2.imwrite(save_path, img)這一步的核心不是代碼多高級而是“人眼確認”。每批次轉(zhuǎn)換完隨機抽5張圖看一眼就能避免坐標順序錯誤這類低級問題帶著你跑兩三天冤枉路。4.4 過擬合訓練loss非常低驗證mAP卻不再提升現(xiàn)象訓練到第20個epoch開始訓練集的box_loss持續(xù)下降驗證集的mAP在0.7附近橫盤再往后train loss繼續(xù)走低、驗證集紋絲不動典型的過擬合信號。原因900張圖對目標檢測模型來說確實少尤其當缺陷形態(tài)多樣時模型很容易把訓練集里的背景特征也背下來。很多人以為加大數(shù)據(jù)增強就能解決但增強開太猛又會產(chǎn)生上一章說的方向失真問題兩頭難平衡。解決我習慣按這個順序排查。第一步換小模型yolov8n換成yolov8s通常能緩解但精度不一定會降。第二步減少訓練輪數(shù)并開啟早停很多情況下模型在第40輪就已經(jīng)達到最優(yōu)驗證效果再訓就是浪費時間。第三步檢查驗證集是否和訓練集太像如果val圖片來自同一管道同一批次拍攝內(nèi)容和訓練集高度重合mAP虛高部署到新場景立刻打回原形。這一點在管道缺陷數(shù)據(jù)集里尤其常見因為采集方往往只在一條管道上拍了幾百張圖隨機劃分出來的val沒有獨立性。解決方式是盡量找不同場景、不同光照條件下拍攝的圖片做驗證集哪怕只有50張也比從同批數(shù)據(jù)里切出來的val更能反映真實效果。5. 剩下20%的功夫驗證指標、閾值校準和小樣本補強訓練跑完不要急著拿著best.pt歡呼900張圖的小樣本模型還有三件事值得做細看每類AP而不是只看全局mAP根據(jù)場景數(shù)據(jù)優(yōu)選置信度閾值用模型做偽標注給數(shù)據(jù)集做一次低成本擴充。這三件事做完模型才真正到了能交付的狀態(tài)。先看驗證結(jié)果里的單類AP。用命令跑一遍驗證yolo val modelruns/detect/train/weights/best.pt datapipe_defect.yaml imgsz640輸出里除了mAP0.5和mAP0.5-95還有每個類別的AP。重點關(guān)注樣本量少的那些類。如果某類AP比均值低超過0.3說明這個類別學得不好回到第4章的類別不平衡處理里去補樣本。不要因為整體mAP好看就跳過這一步這是小樣本數(shù)據(jù)集最容易欺騙你的地方。置信度閾值建議單獨校準。默認閾值通常是0.25但管道缺陷場景里漏檢的代價遠高于誤檢我會把閾值下調(diào)到0.15左右讓模型多吐一些低置信度框后續(xù)人工復核再篩。反過來如果誤檢太多比如把焊縫反光也當成缺陷就上調(diào)閾值。這個值沒有標準答案取決于你的業(yè)務容忍度我一般會在驗證集上跑一遍不同閾值下的precision-recall曲線選曲線的拐點附近。偽標注是最值得做的小樣本補強手段。用訓練好的best.pt在無標簽的管道圖片上推理把置信度高于0.8的檢測框提取出來人工快速復核后補充進訓練集。這個循環(huán)能幫你把數(shù)據(jù)從900張擴到2000張以上而且新樣本來自真實場景比增強出來的虛擬樣本更有價值。代碼邏輯不復雜就是推理后按閾值過濾框再寫入txt標簽文件。我自己的習慣是給每次訓練寫一行備忘錄記下數(shù)據(jù)集版本、yaml內(nèi)容、訓練參數(shù)、每類AP這樣下次拿到新的管道缺陷圖片翻備忘錄就能確定該在哪個版本上接著訓練而不是把模型重訓一遍。小樣本數(shù)據(jù)集的項目迭代效率比單次精度更重要。希望這些經(jīng)驗能幫你在管道缺陷檢測這條路上少走幾步彎路。本文還有配套的精品資源點擊獲取