練微型鴨找針：小目標(biāo)檢測(cè)從數(shù)據(jù)集到Qt部署實(shí)戰(zhàn))
最近看到一個(gè)很有意思的梗托馬斯·沃爾夫自嘲成梗。這位美國(guó)作家曾說過一句著名自嘲——“我訓(xùn)練了一只微型鴨讓它去大海里撈針”。放在文學(xué)語境里這明顯是在調(diào)侃自己作品精力分散、找不準(zhǔn)重點(diǎn)但放在 AI 和深度學(xué)習(xí)領(lǐng)域這句話簡(jiǎn)直就是一個(gè)絕佳的“小目標(biāo)檢測(cè)”教學(xué)場(chǎng)景。在模型訓(xùn)練領(lǐng)域我們也經(jīng)常會(huì)遇到類似“微型鴨找針”式的問題目標(biāo)物體太小、背景太復(fù)雜、數(shù)據(jù)集標(biāo)注質(zhì)量參差不齊、訓(xùn)練出來的模型參數(shù)量對(duì)不上、部署到 Qt 客戶端后發(fā)現(xiàn)檢測(cè)效果大打折扣。這篇文章就借著“訓(xùn)練微型鴨找針”這個(gè)梗完整拆解一套從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、評(píng)估優(yōu)化到 Qt 部署的小目標(biāo)檢測(cè)實(shí)戰(zhàn)流程。無論你是剛接觸 YOLO 系列的新手還是準(zhǔn)備在業(yè)務(wù)中落地目標(biāo)檢測(cè)的開發(fā)者都能在這篇文章里找到可復(fù)制的代碼和避坑方案。1. “微型鴨找針”與目標(biāo)檢測(cè)的背景1.1 這個(gè)梗為什么適合聊模型訓(xùn)練托馬斯·沃爾夫那句“我訓(xùn)練了一只微型鴨讓它去大海里撈針”放在今天的 AI 語境里有幾個(gè)非常精準(zhǔn)的映射點(diǎn)微型鴨代表參數(shù)量有限、結(jié)構(gòu)精簡(jiǎn)的輕量級(jí)模型。找針代表小目標(biāo)檢測(cè)任務(wù)比如在一張高清圖片里找出細(xì)小物體針、裂紋、組件缺陷。大海代表背景復(fù)雜、目標(biāo)占比極低的數(shù)據(jù)集。在真實(shí)項(xiàng)目里“微型鴨找針”這個(gè)場(chǎng)景幾乎天天都在發(fā)生制造業(yè)質(zhì)檢要從 4K 工業(yè)圖像中找出米粒大小的劃痕醫(yī)療影像要從 CT 片中找出微小結(jié)節(jié)遙感圖像要在幾百平方公里的區(qū)域里找到小型船舶。目標(biāo)越小模型越難學(xué)對(duì)數(shù)據(jù)、算法、訓(xùn)練策略和部署精度的要求就越高。1.2 目標(biāo)檢測(cè)技術(shù)發(fā)展脈絡(luò)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的核心任務(wù)之一它要解決兩個(gè)問題圖片中的目標(biāo)在哪個(gè)位置定位給出邊界框。這個(gè)目標(biāo)屬于什么類別分類。從技術(shù)脈絡(luò)來看目標(biāo)檢測(cè)主要經(jīng)歷了三個(gè)階段階段代表算法核心思路不足傳統(tǒng)方法HOG SVM、DPM手工設(shè)計(jì)特征 滑窗分類特征表達(dá)弱速度慢泛化能力差兩階段檢測(cè)器Faster R-CNN、Mask R-CNN先生成候選區(qū)域再逐區(qū)域分類和回歸精度高但速度較慢實(shí)時(shí)性不足單階段檢測(cè)器YOLO、SSD、RetinaNet直接在特征圖上回歸目標(biāo)框和類別速度快小目標(biāo)檢測(cè)能力需要專門優(yōu)化目前工業(yè)落地最主流的選擇仍然是YOLO 系列從 YOLOv5、YOLOv8 到最新的 YOLO26社區(qū)活躍度高工程化工具鏈完善訓(xùn)練自己的數(shù)據(jù)集非常方便。本文的實(shí)戰(zhàn)部分就以 YOLO 生態(tài)為主線。1.3 為什么要強(qiáng)調(diào)“訓(xùn)練自己的數(shù)據(jù)集”很多開發(fā)者剛開始接觸目標(biāo)檢測(cè)時(shí)喜歡直接下載預(yù)訓(xùn)練權(quán)重跑一輪推理看到效果不錯(cuò)就覺得大功告成。但一旦進(jìn)入真實(shí)業(yè)務(wù)場(chǎng)景就會(huì)發(fā)現(xiàn)通用模型完全不適用業(yè)務(wù)目標(biāo)類別不在預(yù)訓(xùn)練模型的支持列表里。目標(biāo)在業(yè)務(wù)圖像中的角度、尺度、拍攝條件與公開數(shù)據(jù)集差異巨大。需要檢測(cè)的是特殊形態(tài)的小目標(biāo)例如針、細(xì)絲、微小裂紋。精度要求高通用模型誤檢漏檢太多。所以訓(xùn)練自己的數(shù)據(jù)集是目標(biāo)檢測(cè)工程師必須掌握的硬技能。這個(gè)過程包括數(shù)據(jù)采集、清洗、標(biāo)注、格式轉(zhuǎn)換、模型配置、訓(xùn)練調(diào)參、評(píng)估以及導(dǎo)出部署。2. 環(huán)境準(zhǔn)備與版本說明本文涉及 Python 環(huán)境、深度學(xué)習(xí)框架、目標(biāo)檢測(cè)工具庫(kù)和 Qt 部署環(huán)境。下面給出統(tǒng)一的環(huán)境清單建議按實(shí)際項(xiàng)目情況微調(diào)。2.1 硬件與操作系統(tǒng)操作系統(tǒng)Windows 10 / 11、Ubuntu 20.04 / 22.04 均可推薦使用 Linux 進(jìn)行模型訓(xùn)練NVIDIA 驅(qū)動(dòng)兼容性更好。GPU建議 NVIDIA GPU顯存 8GB 以上。如果本地沒有 GPU可以使用云 GPU 實(shí)例。CPU僅用來跑極小數(shù)據(jù)集演示訓(xùn)練大模型不現(xiàn)實(shí)。2.2 Python 與框架版本本文示例以以下環(huán)境為準(zhǔn)具體版本請(qǐng)結(jié)合你的項(xiàng)目鎖定Python 3.8 或 3.10 PyTorch 2.0 CUDA 11.8 Ultralytics YOLOv8安裝命令pip install ultralytics pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118如果只需要推理和導(dǎo)出可以使用 CPU 版本pip install ultralytics pip install torch torchvision2.3 工具與依賴工具用途LabelImg / X-AnyLabeling圖像標(biāo)注OpenCV圖像處理與可視化Netron查看 ONNX 模型結(jié)構(gòu)Qt 5.15 / Qt 6客戶端界面開發(fā)ONNX Runtime在客戶端加載并推理 ONNX 模型版本不需要完全一致關(guān)注配置思路即可。3. 核心原理小目標(biāo)檢測(cè)為什么難3.1 小目標(biāo)的定義與難點(diǎn)在 COCO 數(shù)據(jù)集評(píng)估體系中小目標(biāo)通常指像素面積小于 32×32的目標(biāo)。但在工業(yè)場(chǎng)景里哪怕是整張圖幾千像素寬目標(biāo)也可能只有 10×10 像素。小目標(biāo)檢測(cè)的核心難點(diǎn)可以總結(jié)為四條特征信息少目標(biāo)在特征圖中經(jīng)過多次下采樣后可能只剩 1-2 個(gè)像素點(diǎn)模型提不出有效語義特征。背景干擾嚴(yán)重小目標(biāo)周圍的環(huán)境填充了大部分感受野分類器容易把背景誤判為目標(biāo)。錨框匹配困難固定尺寸的錨框很難精準(zhǔn)匹配小目標(biāo)導(dǎo)致正樣本太少。標(biāo)注容忍度低小目標(biāo)的框只要偏移幾個(gè)像素IoU 就會(huì)陡降影響訓(xùn)練收斂。3.2 損失函數(shù)與訓(xùn)練穩(wěn)定性的關(guān)系目標(biāo)檢測(cè)模型的損失函數(shù)通常由三部分組成Loss 分類損失 回歸損失 置信度損失以 YOLOv8 為例分類使用 BCE Loss回歸使用 CIoU Loss 或 DFL Loss。訓(xùn)練中如果發(fā)現(xiàn) loss 波動(dòng)大、不收斂?jī)?yōu)先檢查學(xué)習(xí)率是否過高。標(biāo)簽框是否混亂。正負(fù)樣本是否嚴(yán)重不平衡。數(shù)據(jù)增強(qiáng)是否過強(qiáng)導(dǎo)致小目標(biāo)變形失真。3.3 數(shù)據(jù)增強(qiáng)對(duì)小目標(biāo)的影響數(shù)據(jù)增強(qiáng)是提升小目標(biāo)檢測(cè)效果的有效手段但需要格外小心# 數(shù)據(jù)增強(qiáng)配置示例YOLOv8 的超參 hsv_h: 0.015 hsv_s: 0.7 hsv_v: 0.4 degrees: 0.0 translate: 0.1 scale: 0.5 fliplr: 0.5 mosaic: 1.0scale不能太大否則小目標(biāo)會(huì)被縮到無法辨認(rèn)。mosaic拼接增強(qiáng)能提高小目標(biāo)樣本數(shù)量但容易引入拼接邊界噪聲建議在訓(xùn)練后期關(guān)閉。對(duì)微小目標(biāo)可以考慮Copy-Paste 增強(qiáng)把標(biāo)注目標(biāo)對(duì)象復(fù)制到圖片其他位置增加目標(biāo)實(shí)例數(shù)量。4. 完整實(shí)戰(zhàn)訓(xùn)練一個(gè)“微型鴨找針”模型下面進(jìn)入核心實(shí)戰(zhàn)環(huán)節(jié)。我們模擬一個(gè)場(chǎng)景需要對(duì)工業(yè)圖像中的細(xì)小針狀物進(jìn)行檢測(cè)并用 Qt 客戶端加載模型做實(shí)時(shí)識(shí)別。4.1 項(xiàng)目結(jié)構(gòu)規(guī)劃先在本地建立一個(gè)干凈的目錄結(jié)構(gòu)needle_detection/ ├── dataset/ │ ├── images/ │ │ ├── train/ │ │ ├── val/ │ │ └── test/ │ └── labels/ │ ├── train/ │ └── val/ ├── configs/ │ └── needle.yaml ├── scripts/ │ ├── split_dataset.py │ ├── train.py │ ├── export_onnx.py │ └── detect_qt.py ├── models/ │ └── last.pt └── output/4.2 數(shù)據(jù)準(zhǔn)備與標(biāo)注4.2.1 數(shù)據(jù)采集“找針”數(shù)據(jù)集的采集要注意以下原則圖像分辨率應(yīng)貼合真實(shí)業(yè)務(wù)場(chǎng)景。覆蓋不同光照、角度、背景復(fù)雜度。每張圖中目標(biāo)數(shù)量不要過于平均模擬真實(shí)分布。至少準(zhǔn)備 1000 張以上圖像如果只有幾百?gòu)埿枰浅?qiáng)力的數(shù)據(jù)增強(qiáng)。4.2.2 標(biāo)注工具選擇推薦使用X-AnyLabeling它支持手工標(biāo)注、自動(dòng)標(biāo)注和模型輔助標(biāo)注效率較高。如果你已經(jīng)訓(xùn)練過一個(gè)初始模型可以使用該模型對(duì)大量未標(biāo)注數(shù)據(jù)進(jìn)行預(yù)標(biāo)注再人工修正這就是“模型輔助標(biāo)注”的典型用法。安裝pip install anylabeling啟動(dòng)anylabeling標(biāo)注格式選擇 YOLO 格式每張圖片對(duì)應(yīng)一個(gè)同名.txt文件格式如下class_id x_center y_center width height注意x_center、y_center、width、height 都是歸一化到 0-1 之間的值。例如一張 1920×1080 的圖片中有一個(gè)針狀目標(biāo)框左上角坐標(biāo)為 (960, 540)框?qū)?20高 5那么記錄為0 0.50520833 0.50231481 0.01041667 0.004629634.2.3 數(shù)據(jù)集劃分手動(dòng)劃分?jǐn)?shù)據(jù)集容易出問題使用腳本自動(dòng)化完成# scripts/split_dataset.py import os import random import shutil random.seed(42) image_root dataset/images/all label_root dataset/labels/all train_ratio 0.8 images [f for f in os.listdir(image_root) if f.endswith((.jpg, .png))] random.shuffle(images) train_count int(len(images) * train_ratio) train_images images[:train_count] val_images images[train_count:] os.makedirs(dataset/images/train, exist_okTrue) os.makedirs(dataset/images/val, exist_okTrue) os.makedirs(dataset/labels/train, exist_okTrue) os.makedirs(dataset/labels/val, exist_okTrue) for img in train_images: shutil.copy(os.path.join(image_root, img), dataset/images/train/) label_file img.rsplit(., 1)[0] .txt label_src os.path.join(label_root, label_file) if os.path.exists(label_src): shutil.copy(label_src, dataset/labels/train/) for img in val_images: shutil.copy(os.path.join(image_root, img), dataset/images/val/) label_file img.rsplit(., 1)[0] .txt label_src os.path.join(label_root, label_file) if os.path.exists(label_src): shutil.copy(label_src, dataset/labels/val/) print(fTrain images: {len(train_images)}, Val images: {len(val_images)})4.3 編寫數(shù)據(jù)集配置文件YOLO 系列訓(xùn)練前需要一個(gè) YAML 文件描述數(shù)據(jù)集路徑和類別信息。創(chuàng)建configs/needle.yamlpath: ../dataset train: images/train val: images/val nc: 1 names: 0: needle說明path是數(shù)據(jù)集的根目錄推薦使用相對(duì)路徑。train和val是訓(xùn)練集、驗(yàn)證集圖片所在目錄。nc是類別數(shù)量。names是類別名字典順序必須和標(biāo)注文件里的 class_id 對(duì)應(yīng)。4.4 訓(xùn)練自己的數(shù)據(jù)集4.4.1 基礎(chǔ)訓(xùn)練命令在項(xiàng)目根目錄執(zhí)行yolo detect train dataconfigs/needle.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0參數(shù)說明參數(shù)含義data數(shù)據(jù)集 YAML 路徑model預(yù)訓(xùn)練權(quán)重或模型結(jié)構(gòu) YAMLepochs訓(xùn)練輪數(shù)imgsz輸入圖像尺寸小目標(biāo)可嘗試 960 或 1280batch批次大小顯存不足時(shí)調(diào)小device0 表示第一張 GPUCPU 用 cpu4.4.2 小目標(biāo)優(yōu)化訓(xùn)練策略針對(duì)“找針”這種小目標(biāo)場(chǎng)景建議在基礎(chǔ)命令上做幾項(xiàng)調(diào)整yolo detect train \ dataconfigs/needle.yaml \ modelyolov8n.pt \ epochs150 \ imgsz960 \ batch8 \ device0 \ patience20 \ close_mosaic10關(guān)鍵點(diǎn)imgsz 提高到 960輸入分辨率越高小目標(biāo)在特征圖中保留的信息越多。close_mosaic10最后 10 個(gè) epoch 關(guān)閉 mosaic 增強(qiáng)讓模型在接近真實(shí)分布的數(shù)據(jù)上穩(wěn)定收斂。patience20如果連續(xù) 20 個(gè) epoch 驗(yàn)證集指標(biāo)沒有提升訓(xùn)練提前停止避免過擬合。4.5 訓(xùn)練結(jié)果分析與指標(biāo)解讀訓(xùn)練完成后在runs/detect/train/目錄下會(huì)生成多個(gè)結(jié)果文件重點(diǎn)關(guān)注指標(biāo)全稱說明mAP0.5平均精度IoU 閾值 0.5評(píng)估模型粗定位能力mAP0.5:0.95平均精度多 IoU 閾值評(píng)估模型精確定位能力Precision精確率預(yù)測(cè)為正樣本的結(jié)果中真正類的比例Recall召回率實(shí)際正樣本中被正確找出來的比例小目標(biāo)場(chǎng)景里mAP0.5:0.95 往往偏低切忌只盯著這一個(gè)指標(biāo)。如果 Precision 高但 Recall 低說明模型漏檢嚴(yán)重可以降低置信度閾值。增加小目標(biāo)樣本。提高輸入分辨率。你還會(huì)發(fā)現(xiàn)results.png中繪制了 loss 曲線。正常情況下train loss 和 val loss 都應(yīng)在幾十個(gè) epoch 內(nèi)穩(wěn)步下降如果 val loss 先降后升說明模型已經(jīng)開始過擬合。4.6 模型導(dǎo)出讓“微型鴨”能部署訓(xùn)練完成后模型文件是 PyTorch 格式的.pt文件。如果要集成到 Qt 客戶端需要導(dǎo)出為 ONNX 格式。# scripts/export_onnx.py from ultralytics import YOLO model YOLO(models/last.pt) model.export(formatonnx, imgsz960, opset12, simplifyTrue)導(dǎo)出完成后會(huì)生成models/last.onnx?？梢酝ㄟ^ Netron 打開查看模型結(jié)構(gòu)確認(rèn)輸入輸出是否正常。4.7 Qt 客戶端加載 ONNX 模型推理這是很多開發(fā)者關(guān)心的重點(diǎn)訓(xùn)練好的 YOLO 模型如何被 Qt 調(diào)用這里給出的思路是在 C 側(cè)使用ONNX Runtime完成推理。以下是一個(gè)簡(jiǎn)化的 C 推理函數(shù)核心代碼// utils/Inference.h #pragma once #include onnxruntime_cxx_api.h #include opencv2/opencv.hpp #include vector struct Detection { cv::Rect box; float score; int classId; }; class YoloDetector { public: YoloDetector(const std::string modelPath); std::vectorDetection detect(const cv::Mat image, float confThresh 0.25, float iouThresh 0.45); private: Ort::Env env{ORT_LOGGING_LEVEL_WARNING, yolo_onnx}; Ort::Session session{nullptr}; std::vectorconst char* inputNames; std::vectorconst char* outputNames; int inputH{0}, inputW{0}; };// utils/Inference.cpp #include Inference.h #include algorithm YoloDetector::YoloDetector(const std::string modelPath) : session(env, modelPath.c_str(), Ort::SessionOptions{nullptr}) { Ort::AllocatorWithDefaultOptions allocator; auto inputInfo session.GetInputNameAllocated(0, allocator); auto outputInfo session.GetOutputNameAllocated(0, allocator); inputNames.push_back(inputInfo.get()); outputNames.push_back(outputInfo.get()); auto inputShape session.GetInputTypeInfo(0).GetTensorTypeAndShapeInfo().GetShape(); inputH inputShape[2]; inputW inputShape[3]; } std::vectorDetection YoloDetector::detect(const cv::Mat image, float confThresh, float iouThresh) { cv::Mat resized; cv::resize(image, resized, cv::Size(inputW, inputH)); cv::cvtColor(resized, resized, cv::COLOR_BGR2RGB); resized.convertTo(resized, CV_32F, 1.0 / 255.0); std::vectorfloat inputTensorValues; inputTensorValues.assign(resized.beginfloat(), resized.endfloat()); std::vectorint64_t inputShape {1, 3, inputH, inputW}; Ort::MemoryInfo memoryInfo Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); Ort::Value inputTensor Ort::Value::CreateTensorfloat( memoryInfo, inputTensorValues.data(), inputTensorValues.size(), inputShape.data(), inputShape.size()); auto outputTensors session.Run(Ort::RunOptions{nullptr}, inputNames.data(), inputTensor, 1, outputNames.data(), outputNames.size()); float* outputData outputTensors[0].GetTensorMutableDatafloat(); auto outputShape outputTensors[0].GetTensorTypeAndShapeInfo().GetShape(); int numBoxes outputShape[1]; int numClasses outputShape[2] - 4; // 后處理反算原圖坐標(biāo) float scaleX image.cols / static_castfloat(inputW); float scaleY image.rows / static_castfloat(inputH); std::vectorDetection detections; for (int i 0; i numBoxes; i) { float* row outputData i * (numClasses 4); float cx row[0]; float cy row[1]; float w row[2]; float h row[3]; float maxScore 0; int maxClass -1; for (int j 0; j numClasses; j) { if (row[4 j] maxScore) { maxScore row[4 j]; maxClass j; } } if (maxScore confThresh) { Detection det; det.box cv::Rect( static_castint((cx - w / 2) * scaleX), static_castint((cy - h / 2) * scaleY), static_castint(w * scaleX), static_castint(h * scaleY)); det.score maxScore; det.classId maxClass; detections.push_back(det); } } // NMS 去重 std::sort(detections.begin(), detections.end(), [](const Detection a, const Detection b) { return a.score b.score; }); std::vectorDetection result; std::vectorbool suppressed(detections.size(), false); for (int i 0; i detections.size(); i) { if (suppressed[i]) continue; result.push_back(detections[i]); for (int j i 1; j detections.size(); j) { float iou static_castfloat( (detections[i].box detections[j].box).area()) / static_castfloat((detections[i].box | detections[j].box).area()); if (iou iouThresh) { suppressed[j] true; } } } return result; }CMake 中只需要鏈接 ONNX Runtime 和 OpenCVfind_package(OpenCV REQUIRED) add_executable(needle_qt main.cpp utils/Inference.cpp) target_link_libraries(needle_qt ${OpenCV_LIBS} onnxruntime)這段代碼展示了完整的處理流程預(yù)處理resize、歸一化、RGB 轉(zhuǎn)換、推理、后處理坐標(biāo)換算、置信度過濾、NMS。實(shí)際項(xiàng)目里還需要把檢測(cè)結(jié)果繪制到 Qt 界面上這部分可以用QImage和QLabel配合完成。5. 常見問題與排查思路在訓(xùn)練和部署自己的模型時(shí)有幾個(gè)問題幾乎每個(gè)開發(fā)者都會(huì)碰到這里整理一份排查清單。問題現(xiàn)象常見原因解決思路訓(xùn)練剛開始 loss 就為 NaN學(xué)習(xí)率過高、數(shù)據(jù)集中存在空標(biāo)注文件降低學(xué)習(xí)率清理空標(biāo)簽mAP 一直很低數(shù)據(jù)集太小、標(biāo)注不一致、目標(biāo)過小增加數(shù)據(jù)量統(tǒng)一標(biāo)注規(guī)范提高 imgsz訓(xùn)練集 loss 下降但驗(yàn)證集 loss 上升過擬合增加數(shù)據(jù)增強(qiáng)、加入正則化、提前停止導(dǎo)出 ONNX 后推理結(jié)果不一致預(yù)處理流程與訓(xùn)練時(shí)不一致確保推理時(shí)也執(zhí)行相同的 resize、歸一化Qt 中加載 ONNX 報(bào)錯(cuò)模型版本與 ONNX Runtime 版本不兼容使用 opset 12 以內(nèi)升級(jí) ONNX RuntimeYOLO 訓(xùn)練統(tǒng)計(jì)的參數(shù)量和訓(xùn)練完的權(quán)重參數(shù)量不一致統(tǒng)計(jì)方式不同或包含優(yōu)化器狀態(tài)對(duì)比僅模型權(quán)重的參數(shù)數(shù)量忽略優(yōu)化器參數(shù)小目標(biāo)總是漏檢輸入分辨率太低、錨框不匹配提高 imgsz使用適合小目標(biāo)的模型結(jié)構(gòu)部署端檢測(cè)速度太慢模型體積過大、后處理未優(yōu)化使用量化模型簡(jiǎn)化 NMS或使用 TensorRT5.1 關(guān)于訓(xùn)練輪數(shù)與精度的選擇訓(xùn)練輪數(shù)epochs不是越多越好。通常建議數(shù)據(jù)量小幾百?gòu)坋pochs 100-200配合 early stopping。數(shù)據(jù)量中等幾千張epochs 100-150。數(shù)據(jù)量大幾萬張以上epochs 50-100。關(guān)鍵判斷標(biāo)準(zhǔn)不是固定輪數(shù)而是看驗(yàn)證集指標(biāo)是否還在上升。如果連續(xù) 20 個(gè) epoch 沒有提升繼續(xù)訓(xùn)練只會(huì)浪費(fèi)時(shí)間。5.2 參數(shù)量不一致問題有開發(fā)者反饋YOLO 訓(xùn)練一開始統(tǒng)計(jì)的參數(shù)量和最后訓(xùn)練完得到的參數(shù)量不一致。這個(gè)問題通常是因?yàn)橛?xùn)練開始時(shí)的輸出可能包含整個(gè)模型的參數(shù)統(tǒng)計(jì)而訓(xùn)練完成后腳本只統(tǒng)計(jì)了model.parameters()。訓(xùn)練過程中啟用了數(shù)據(jù)并行DataParallel模型結(jié)構(gòu)被包裝導(dǎo)致統(tǒng)計(jì)口徑變化。部分層被凍結(jié)或替換導(dǎo)致參數(shù)數(shù)量發(fā)生變化。排查方法是分別輸出兩個(gè)階段的sum(p.numel() for p in model.parameters())對(duì)比是否一致并確認(rèn)是否使用了model.model還是model。6. 最佳實(shí)踐與工程建議6.1 數(shù)據(jù)層面的建議標(biāo)注質(zhì)量比標(biāo)注數(shù)量更重要每個(gè)小目標(biāo)至少要保證與真實(shí)物體邊緣對(duì)齊。小目標(biāo)數(shù)據(jù)不足時(shí)優(yōu)先采集真實(shí)數(shù)據(jù)其次使用數(shù)據(jù)增強(qiáng)最后才考慮生成合成數(shù)據(jù)。如果使用模型輔助標(biāo)注要對(duì)自動(dòng)生成的標(biāo)注進(jìn)行人工抽樣校驗(yàn)避免“臟標(biāo)注”進(jìn)入訓(xùn)練集。6.2 模型選擇建議“微型鴨找針”強(qiáng)調(diào)模型夠用即可不要盲目追求大模型。模型參數(shù)量特點(diǎn)適用場(chǎng)景YOLOv8n約 3.2M輕量、速度快邊緣設(shè)備、實(shí)時(shí)檢測(cè)YOLOv8s約 11.2M速度與精度均衡小型服務(wù)器、常規(guī)業(yè)務(wù)YOLOv8m約 25.9M精度更高離線批量檢測(cè)、高精度要求場(chǎng)景RT-DETR約 32M無錨框范式性能強(qiáng)對(duì)延遲不敏感的企業(yè)級(jí)應(yīng)用在 UltraLytics 中訓(xùn)練 RT-DETR 也很簡(jiǎn)單yolo detect train dataconfigs/needle.yaml modelrtdetr-l.pt epochs100 imgsz6406.3 訓(xùn)練環(huán)境與成本建議有讀者問過“人工智能訓(xùn)練為什么需要錢多和 GPU 多”根本原因是深度學(xué)習(xí)訓(xùn)練依賴大量矩陣運(yùn)算GPU 的并行計(jì)算能力是 CPU 的數(shù)倍。但初學(xué)者不需要一開始就追求多卡訓(xùn)練先從單卡開始理解訓(xùn)練流程后再考慮分布式。建議按以下順序配置訓(xùn)練環(huán)境本地單張 RTX 3060 / 4060顯存 8-12GB。云 GPU 實(shí)例按小時(shí)計(jì)費(fèi)適合臨時(shí)訓(xùn)練。企業(yè)內(nèi)部 GPU 集群生產(chǎn)級(jí)訓(xùn)練流水線。6.4 安全與權(quán)限提醒如果你在真實(shí)業(yè)務(wù)中訓(xùn)練模型涉及數(shù)據(jù)集、模型文件和推理結(jié)果的訪問權(quán)限應(yīng)當(dāng)注意數(shù)據(jù)庫(kù)或文件服務(wù)器上的數(shù)據(jù)操作先備份再修改。訓(xùn)練結(jié)果模型的下載和分發(fā)遵循最小權(quán)限原則。模型本身可能包含訓(xùn)練數(shù)據(jù)的分布信息敏感場(chǎng)景下要做好數(shù)據(jù)脫敏。不要在公共網(wǎng)絡(luò)環(huán)境中明文傳輸數(shù)據(jù)集和權(quán)重文件。6.5 訓(xùn)練數(shù)據(jù)投毒與異常檢測(cè)這是大模型和小模型都需要警惕的問題。如果標(biāo)注文件被惡意修改例如把針狀物類別標(biāo)成正常模型訓(xùn)練出來就會(huì)在特定條件下漏檢所有目標(biāo)。建議訓(xùn)練前對(duì)標(biāo)注文件做合法性檢查包括坐標(biāo)范圍、類別 ID、文件數(shù)量是否和圖片一一對(duì)應(yīng)。隨機(jī)抽檢部分標(biāo)注人工復(fù)核。在訓(xùn)練過程中監(jiān)控各類別的 loss如果某個(gè)類別反常地低或高需要排查數(shù)據(jù)。7. 總結(jié)與下一步學(xué)習(xí)路線這篇文章從一個(gè)輕松的“微型鴨找針”梗切入實(shí)際上完整梳理了目標(biāo)檢測(cè)訓(xùn)練與部署的核心鏈路理解了小目標(biāo)檢測(cè)為什么難難在特征信息少、背景干擾強(qiáng)、標(biāo)注要求高。掌握了從數(shù)據(jù)準(zhǔn)備、標(biāo)注、格式轉(zhuǎn)換到模型訓(xùn)練的完整流程。學(xué)會(huì)了修改 YOLO 配置針對(duì)小目標(biāo)做分辨率、增強(qiáng)和訓(xùn)練策略優(yōu)化。知道了如何導(dǎo)出 ONNX 模型并用 C 在 Qt 客戶端中完成推理。下一步可以繼續(xù)學(xué)習(xí)的方向模型量化將 ONNX 模型轉(zhuǎn)換為 INT8 或 FP16 格式提升在邊緣設(shè)備上的推理速度。TensorRT 部署在 NVIDIA 平臺(tái)獲得最優(yōu)性能適合對(duì)實(shí)時(shí)性要求極高的工業(yè)場(chǎng)景。增量訓(xùn)練業(yè)務(wù)數(shù)據(jù)陸續(xù)到來時(shí)如何基于現(xiàn)有權(quán)重繼續(xù)訓(xùn)練避免災(zāi)難性遺忘。Transformer 檢測(cè)器RT-DETR、DINO 等模型在小目標(biāo)場(chǎng)景中的表現(xiàn)也值得嘗試。多類別場(chǎng)景當(dāng)“找針”變成“找針、找線、找裂縫”時(shí)如何平衡多個(gè)小目標(biāo)的訓(xùn)練樣本。在實(shí)際項(xiàng)目里優(yōu)先關(guān)注三類風(fēng)險(xiǎn)數(shù)據(jù)標(biāo)注質(zhì)量、訓(xùn)練與部署預(yù)處理一致性、模型更新對(duì)線上業(yè)務(wù)的影響。任何模型進(jìn)入生產(chǎn)環(huán)境之前都要先在驗(yàn)證集和真實(shí)場(chǎng)景中做充分測(cè)試。如果這篇文章對(duì)你有幫助可以收藏備用。動(dòng)手訓(xùn)練自己的第一個(gè)“微型鴨”吧。 訓(xùn)練微型鴨找針：小目標(biāo)檢測(cè)從數(shù)據(jù)集到Qt部署實(shí)戰(zhàn)
最近看到一個(gè)很有意思的梗托馬斯·沃爾夫自嘲成梗。這位美國(guó)作家曾說過一句著名自嘲——“我訓(xùn)練了一只微型鴨讓它去大海里撈針”。放在文學(xué)語境里這明顯是在調(diào)侃自己作品精力分散、找不準(zhǔn)重點(diǎn)但放在 AI 和深度學(xué)習(xí)領(lǐng)域這句話簡(jiǎn)直就是一個(gè)絕佳的“小目標(biāo)檢測(cè)”教學(xué)場(chǎng)景。在模型訓(xùn)練領(lǐng)域我們也經(jīng)常會(huì)遇到類似“微型鴨找針”式的問題目標(biāo)物體太小、背景太復(fù)雜、數(shù)據(jù)集標(biāo)注質(zhì)量參差不齊、訓(xùn)練出來的模型參數(shù)量對(duì)不上、部署到 Qt 客戶端后發(fā)現(xiàn)檢測(cè)效果大打折扣。這篇文章就借著“訓(xùn)練微型鴨找針”這個(gè)梗完整拆解一套從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、評(píng)估優(yōu)化到 Qt 部署的小目標(biāo)檢測(cè)實(shí)戰(zhàn)流程。無論你是剛接觸 YOLO 系列的新手還是準(zhǔn)備在業(yè)務(wù)中落地目標(biāo)檢測(cè)的開發(fā)者都能在這篇文章里找到可復(fù)制的代碼和避坑方案。1. “微型鴨找針”與目標(biāo)檢測(cè)的背景1.1 這個(gè)梗為什么適合聊模型訓(xùn)練托馬斯·沃爾夫那句“我訓(xùn)練了一只微型鴨讓它去大海里撈針”放在今天的 AI 語境里有幾個(gè)非常精準(zhǔn)的映射點(diǎn)微型鴨代表參數(shù)量有限、結(jié)構(gòu)精簡(jiǎn)的輕量級(jí)模型。找針代表小目標(biāo)檢測(cè)任務(wù)比如在一張高清圖片里找出細(xì)小物體針、裂紋、組件缺陷。大海代表背景復(fù)雜、目標(biāo)占比極低的數(shù)據(jù)集。在真實(shí)項(xiàng)目里“微型鴨找針”這個(gè)場(chǎng)景幾乎天天都在發(fā)生制造業(yè)質(zhì)檢要從 4K 工業(yè)圖像中找出米粒大小的劃痕醫(yī)療影像要從 CT 片中找出微小結(jié)節(jié)遙感圖像要在幾百平方公里的區(qū)域里找到小型船舶。目標(biāo)越小模型越難學(xué)對(duì)數(shù)據(jù)、算法、訓(xùn)練策略和部署精度的要求就越高。1.2 目標(biāo)檢測(cè)技術(shù)發(fā)展脈絡(luò)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的核心任務(wù)之一它要解決兩個(gè)問題圖片中的目標(biāo)在哪個(gè)位置定位給出邊界框。這個(gè)目標(biāo)屬于什么類別分類。從技術(shù)脈絡(luò)來看目標(biāo)檢測(cè)主要經(jīng)歷了三個(gè)階段階段代表算法核心思路不足傳統(tǒng)方法HOG SVM、DPM手工設(shè)計(jì)特征 滑窗分類特征表達(dá)弱速度慢泛化能力差兩階段檢測(cè)器Faster R-CNN、Mask R-CNN先生成候選區(qū)域再逐區(qū)域分類和回歸精度高但速度較慢實(shí)時(shí)性不足單階段檢測(cè)器YOLO、SSD、RetinaNet直接在特征圖上回歸目標(biāo)框和類別速度快小目標(biāo)檢測(cè)能力需要專門優(yōu)化目前工業(yè)落地最主流的選擇仍然是YOLO 系列從 YOLOv5、YOLOv8 到最新的 YOLO26社區(qū)活躍度高工程化工具鏈完善訓(xùn)練自己的數(shù)據(jù)集非常方便。本文的實(shí)戰(zhàn)部分就以 YOLO 生態(tài)為主線。1.3 為什么要強(qiáng)調(diào)“訓(xùn)練自己的數(shù)據(jù)集”很多開發(fā)者剛開始接觸目標(biāo)檢測(cè)時(shí)喜歡直接下載預(yù)訓(xùn)練權(quán)重跑一輪推理看到效果不錯(cuò)就覺得大功告成。但一旦進(jìn)入真實(shí)業(yè)務(wù)場(chǎng)景就會(huì)發(fā)現(xiàn)通用模型完全不適用業(yè)務(wù)目標(biāo)類別不在預(yù)訓(xùn)練模型的支持列表里。目標(biāo)在業(yè)務(wù)圖像中的角度、尺度、拍攝條件與公開數(shù)據(jù)集差異巨大。需要檢測(cè)的是特殊形態(tài)的小目標(biāo)例如針、細(xì)絲、微小裂紋。精度要求高通用模型誤檢漏檢太多。所以訓(xùn)練自己的數(shù)據(jù)集是目標(biāo)檢測(cè)工程師必須掌握的硬技能。這個(gè)過程包括數(shù)據(jù)采集、清洗、標(biāo)注、格式轉(zhuǎn)換、模型配置、訓(xùn)練調(diào)參、評(píng)估以及導(dǎo)出部署。2. 環(huán)境準(zhǔn)備與版本說明本文涉及 Python 環(huán)境、深度學(xué)習(xí)框架、目標(biāo)檢測(cè)工具庫(kù)和 Qt 部署環(huán)境。下面給出統(tǒng)一的環(huán)境清單建議按實(shí)際項(xiàng)目情況微調(diào)。2.1 硬件與操作系統(tǒng)操作系統(tǒng)Windows 10 / 11、Ubuntu 20.04 / 22.04 均可推薦使用 Linux 進(jìn)行模型訓(xùn)練NVIDIA 驅(qū)動(dòng)兼容性更好。GPU建議 NVIDIA GPU顯存 8GB 以上。如果本地沒有 GPU可以使用云 GPU 實(shí)例。CPU僅用來跑極小數(shù)據(jù)集演示訓(xùn)練大模型不現(xiàn)實(shí)。2.2 Python 與框架版本本文示例以以下環(huán)境為準(zhǔn)具體版本請(qǐng)結(jié)合你的項(xiàng)目鎖定Python 3.8 或 3.10 PyTorch 2.0 CUDA 11.8 Ultralytics YOLOv8安裝命令pip install ultralytics pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118如果只需要推理和導(dǎo)出可以使用 CPU 版本pip install ultralytics pip install torch torchvision2.3 工具與依賴工具用途LabelImg / X-AnyLabeling圖像標(biāo)注OpenCV圖像處理與可視化Netron查看 ONNX 模型結(jié)構(gòu)Qt 5.15 / Qt 6客戶端界面開發(fā)ONNX Runtime在客戶端加載并推理 ONNX 模型版本不需要完全一致關(guān)注配置思路即可。3. 核心原理小目標(biāo)檢測(cè)為什么難3.1 小目標(biāo)的定義與難點(diǎn)在 COCO 數(shù)據(jù)集評(píng)估體系中小目標(biāo)通常指像素面積小于 32×32的目標(biāo)。但在工業(yè)場(chǎng)景里哪怕是整張圖幾千像素寬目標(biāo)也可能只有 10×10 像素。小目標(biāo)檢測(cè)的核心難點(diǎn)可以總結(jié)為四條特征信息少目標(biāo)在特征圖中經(jīng)過多次下采樣后可能只剩 1-2 個(gè)像素點(diǎn)模型提不出有效語義特征。背景干擾嚴(yán)重小目標(biāo)周圍的環(huán)境填充了大部分感受野分類器容易把背景誤判為目標(biāo)。錨框匹配困難固定尺寸的錨框很難精準(zhǔn)匹配小目標(biāo)導(dǎo)致正樣本太少。標(biāo)注容忍度低小目標(biāo)的框只要偏移幾個(gè)像素IoU 就會(huì)陡降影響訓(xùn)練收斂。3.2 損失函數(shù)與訓(xùn)練穩(wěn)定性的關(guān)系目標(biāo)檢測(cè)模型的損失函數(shù)通常由三部分組成Loss 分類損失 回歸損失 置信度損失以 YOLOv8 為例分類使用 BCE Loss回歸使用 CIoU Loss 或 DFL Loss。訓(xùn)練中如果發(fā)現(xiàn) loss 波動(dòng)大、不收斂?jī)?yōu)先檢查學(xué)習(xí)率是否過高。標(biāo)簽框是否混亂。正負(fù)樣本是否嚴(yán)重不平衡。數(shù)據(jù)增強(qiáng)是否過強(qiáng)導(dǎo)致小目標(biāo)變形失真。3.3 數(shù)據(jù)增強(qiáng)對(duì)小目標(biāo)的影響數(shù)據(jù)增強(qiáng)是提升小目標(biāo)檢測(cè)效果的有效手段但需要格外小心# 數(shù)據(jù)增強(qiáng)配置示例YOLOv8 的超參 hsv_h: 0.015 hsv_s: 0.7 hsv_v: 0.4 degrees: 0.0 translate: 0.1 scale: 0.5 fliplr: 0.5 mosaic: 1.0scale不能太大否則小目標(biāo)會(huì)被縮到無法辨認(rèn)。mosaic拼接增強(qiáng)能提高小目標(biāo)樣本數(shù)量但容易引入拼接邊界噪聲建議在訓(xùn)練后期關(guān)閉。對(duì)微小目標(biāo)可以考慮Copy-Paste 增強(qiáng)把標(biāo)注目標(biāo)對(duì)象復(fù)制到圖片其他位置增加目標(biāo)實(shí)例數(shù)量。4. 完整實(shí)戰(zhàn)訓(xùn)練一個(gè)“微型鴨找針”模型下面進(jìn)入核心實(shí)戰(zhàn)環(huán)節(jié)。我們模擬一個(gè)場(chǎng)景需要對(duì)工業(yè)圖像中的細(xì)小針狀物進(jìn)行檢測(cè)并用 Qt 客戶端加載模型做實(shí)時(shí)識(shí)別。4.1 項(xiàng)目結(jié)構(gòu)規(guī)劃先在本地建立一個(gè)干凈的目錄結(jié)構(gòu)needle_detection/ ├── dataset/ │ ├── images/ │ │ ├── train/ │ │ ├── val/ │ │ └── test/ │ └── labels/ │ ├── train/ │ └── val/ ├── configs/ │ └── needle.yaml ├── scripts/ │ ├── split_dataset.py │ ├── train.py │ ├── export_onnx.py │ └── detect_qt.py ├── models/ │ └── last.pt └── output/4.2 數(shù)據(jù)準(zhǔn)備與標(biāo)注4.2.1 數(shù)據(jù)采集“找針”數(shù)據(jù)集的采集要注意以下原則圖像分辨率應(yīng)貼合真實(shí)業(yè)務(wù)場(chǎng)景。覆蓋不同光照、角度、背景復(fù)雜度。每張圖中目標(biāo)數(shù)量不要過于平均模擬真實(shí)分布。至少準(zhǔn)備 1000 張以上圖像如果只有幾百?gòu)埿枰浅?qiáng)力的數(shù)據(jù)增強(qiáng)。4.2.2 標(biāo)注工具選擇推薦使用X-AnyLabeling它支持手工標(biāo)注、自動(dòng)標(biāo)注和模型輔助標(biāo)注效率較高。如果你已經(jīng)訓(xùn)練過一個(gè)初始模型可以使用該模型對(duì)大量未標(biāo)注數(shù)據(jù)進(jìn)行預(yù)標(biāo)注再人工修正這就是“模型輔助標(biāo)注”的典型用法。安裝pip install anylabeling啟動(dòng)anylabeling標(biāo)注格式選擇 YOLO 格式每張圖片對(duì)應(yīng)一個(gè)同名.txt文件格式如下class_id x_center y_center width height注意x_center、y_center、width、height 都是歸一化到 0-1 之間的值。例如一張 1920×1080 的圖片中有一個(gè)針狀目標(biāo)框左上角坐標(biāo)為 (960, 540)框?qū)?20高 5那么記錄為0 0.50520833 0.50231481 0.01041667 0.004629634.2.3 數(shù)據(jù)集劃分手動(dòng)劃分?jǐn)?shù)據(jù)集容易出問題使用腳本自動(dòng)化完成# scripts/split_dataset.py import os import random import shutil random.seed(42) image_root dataset/images/all label_root dataset/labels/all train_ratio 0.8 images [f for f in os.listdir(image_root) if f.endswith((.jpg, .png))] random.shuffle(images) train_count int(len(images) * train_ratio) train_images images[:train_count] val_images images[train_count:] os.makedirs(dataset/images/train, exist_okTrue) os.makedirs(dataset/images/val, exist_okTrue) os.makedirs(dataset/labels/train, exist_okTrue) os.makedirs(dataset/labels/val, exist_okTrue) for img in train_images: shutil.copy(os.path.join(image_root, img), dataset/images/train/) label_file img.rsplit(., 1)[0] .txt label_src os.path.join(label_root, label_file) if os.path.exists(label_src): shutil.copy(label_src, dataset/labels/train/) for img in val_images: shutil.copy(os.path.join(image_root, img), dataset/images/val/) label_file img.rsplit(., 1)[0] .txt label_src os.path.join(label_root, label_file) if os.path.exists(label_src): shutil.copy(label_src, dataset/labels/val/) print(fTrain images: {len(train_images)}, Val images: {len(val_images)})4.3 編寫數(shù)據(jù)集配置文件YOLO 系列訓(xùn)練前需要一個(gè) YAML 文件描述數(shù)據(jù)集路徑和類別信息。創(chuàng)建configs/needle.yamlpath: ../dataset train: images/train val: images/val nc: 1 names: 0: needle說明path是數(shù)據(jù)集的根目錄推薦使用相對(duì)路徑。train和val是訓(xùn)練集、驗(yàn)證集圖片所在目錄。nc是類別數(shù)量。names是類別名字典順序必須和標(biāo)注文件里的 class_id 對(duì)應(yīng)。4.4 訓(xùn)練自己的數(shù)據(jù)集4.4.1 基礎(chǔ)訓(xùn)練命令在項(xiàng)目根目錄執(zhí)行yolo detect train dataconfigs/needle.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0參數(shù)說明參數(shù)含義data數(shù)據(jù)集 YAML 路徑model預(yù)訓(xùn)練權(quán)重或模型結(jié)構(gòu) YAMLepochs訓(xùn)練輪數(shù)imgsz輸入圖像尺寸小目標(biāo)可嘗試 960 或 1280batch批次大小顯存不足時(shí)調(diào)小device0 表示第一張 GPUCPU 用 cpu4.4.2 小目標(biāo)優(yōu)化訓(xùn)練策略針對(duì)“找針”這種小目標(biāo)場(chǎng)景建議在基礎(chǔ)命令上做幾項(xiàng)調(diào)整yolo detect train \ dataconfigs/needle.yaml \ modelyolov8n.pt \ epochs150 \ imgsz960 \ batch8 \ device0 \ patience20 \ close_mosaic10關(guān)鍵點(diǎn)imgsz 提高到 960輸入分辨率越高小目標(biāo)在特征圖中保留的信息越多。close_mosaic10最后 10 個(gè) epoch 關(guān)閉 mosaic 增強(qiáng)讓模型在接近真實(shí)分布的數(shù)據(jù)上穩(wěn)定收斂。patience20如果連續(xù) 20 個(gè) epoch 驗(yàn)證集指標(biāo)沒有提升訓(xùn)練提前停止避免過擬合。4.5 訓(xùn)練結(jié)果分析與指標(biāo)解讀訓(xùn)練完成后在runs/detect/train/目錄下會(huì)生成多個(gè)結(jié)果文件重點(diǎn)關(guān)注指標(biāo)全稱說明mAP0.5平均精度IoU 閾值 0.5評(píng)估模型粗定位能力mAP0.5:0.95平均精度多 IoU 閾值評(píng)估模型精確定位能力Precision精確率預(yù)測(cè)為正樣本的結(jié)果中真正類的比例Recall召回率實(shí)際正樣本中被正確找出來的比例小目標(biāo)場(chǎng)景里mAP0.5:0.95 往往偏低切忌只盯著這一個(gè)指標(biāo)。如果 Precision 高但 Recall 低說明模型漏檢嚴(yán)重可以降低置信度閾值。增加小目標(biāo)樣本。提高輸入分辨率。你還會(huì)發(fā)現(xiàn)results.png中繪制了 loss 曲線。正常情況下train loss 和 val loss 都應(yīng)在幾十個(gè) epoch 內(nèi)穩(wěn)步下降如果 val loss 先降后升說明模型已經(jīng)開始過擬合。4.6 模型導(dǎo)出讓“微型鴨”能部署訓(xùn)練完成后模型文件是 PyTorch 格式的.pt文件。如果要集成到 Qt 客戶端需要導(dǎo)出為 ONNX 格式。# scripts/export_onnx.py from ultralytics import YOLO model YOLO(models/last.pt) model.export(formatonnx, imgsz960, opset12, simplifyTrue)導(dǎo)出完成后會(huì)生成models/last.onnx?？梢酝ㄟ^ Netron 打開查看模型結(jié)構(gòu)確認(rèn)輸入輸出是否正常。4.7 Qt 客戶端加載 ONNX 模型推理這是很多開發(fā)者關(guān)心的重點(diǎn)訓(xùn)練好的 YOLO 模型如何被 Qt 調(diào)用這里給出的思路是在 C 側(cè)使用ONNX Runtime完成推理。以下是一個(gè)簡(jiǎn)化的 C 推理函數(shù)核心代碼// utils/Inference.h #pragma once #include onnxruntime_cxx_api.h #include opencv2/opencv.hpp #include vector struct Detection { cv::Rect box; float score; int classId; }; class YoloDetector { public: YoloDetector(const std::string modelPath); std::vectorDetection detect(const cv::Mat image, float confThresh 0.25, float iouThresh 0.45); private: Ort::Env env{ORT_LOGGING_LEVEL_WARNING, yolo_onnx}; Ort::Session session{nullptr}; std::vectorconst char* inputNames; std::vectorconst char* outputNames; int inputH{0}, inputW{0}; };// utils/Inference.cpp #include Inference.h #include algorithm YoloDetector::YoloDetector(const std::string modelPath) : session(env, modelPath.c_str(), Ort::SessionOptions{nullptr}) { Ort::AllocatorWithDefaultOptions allocator; auto inputInfo session.GetInputNameAllocated(0, allocator); auto outputInfo session.GetOutputNameAllocated(0, allocator); inputNames.push_back(inputInfo.get()); outputNames.push_back(outputInfo.get()); auto inputShape session.GetInputTypeInfo(0).GetTensorTypeAndShapeInfo().GetShape(); inputH inputShape[2]; inputW inputShape[3]; } std::vectorDetection YoloDetector::detect(const cv::Mat image, float confThresh, float iouThresh) { cv::Mat resized; cv::resize(image, resized, cv::Size(inputW, inputH)); cv::cvtColor(resized, resized, cv::COLOR_BGR2RGB); resized.convertTo(resized, CV_32F, 1.0 / 255.0); std::vectorfloat inputTensorValues; inputTensorValues.assign(resized.beginfloat(), resized.endfloat()); std::vectorint64_t inputShape {1, 3, inputH, inputW}; Ort::MemoryInfo memoryInfo Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); Ort::Value inputTensor Ort::Value::CreateTensorfloat( memoryInfo, inputTensorValues.data(), inputTensorValues.size(), inputShape.data(), inputShape.size()); auto outputTensors session.Run(Ort::RunOptions{nullptr}, inputNames.data(), inputTensor, 1, outputNames.data(), outputNames.size()); float* outputData outputTensors[0].GetTensorMutableDatafloat(); auto outputShape outputTensors[0].GetTensorTypeAndShapeInfo().GetShape(); int numBoxes outputShape[1]; int numClasses outputShape[2] - 4; // 后處理反算原圖坐標(biāo) float scaleX image.cols / static_castfloat(inputW); float scaleY image.rows / static_castfloat(inputH); std::vectorDetection detections; for (int i 0; i numBoxes; i) { float* row outputData i * (numClasses 4); float cx row[0]; float cy row[1]; float w row[2]; float h row[3]; float maxScore 0; int maxClass -1; for (int j 0; j numClasses; j) { if (row[4 j] maxScore) { maxScore row[4 j]; maxClass j; } } if (maxScore confThresh) { Detection det; det.box cv::Rect( static_castint((cx - w / 2) * scaleX), static_castint((cy - h / 2) * scaleY), static_castint(w * scaleX), static_castint(h * scaleY)); det.score maxScore; det.classId maxClass; detections.push_back(det); } } // NMS 去重 std::sort(detections.begin(), detections.end(), [](const Detection a, const Detection b) { return a.score b.score; }); std::vectorDetection result; std::vectorbool suppressed(detections.size(), false); for (int i 0; i detections.size(); i) { if (suppressed[i]) continue; result.push_back(detections[i]); for (int j i 1; j detections.size(); j) { float iou static_castfloat( (detections[i].box detections[j].box).area()) / static_castfloat((detections[i].box | detections[j].box).area()); if (iou iouThresh) { suppressed[j] true; } } } return result; }CMake 中只需要鏈接 ONNX Runtime 和 OpenCVfind_package(OpenCV REQUIRED) add_executable(needle_qt main.cpp utils/Inference.cpp) target_link_libraries(needle_qt ${OpenCV_LIBS} onnxruntime)這段代碼展示了完整的處理流程預(yù)處理resize、歸一化、RGB 轉(zhuǎn)換、推理、后處理坐標(biāo)換算、置信度過濾、NMS。實(shí)際項(xiàng)目里還需要把檢測(cè)結(jié)果繪制到 Qt 界面上這部分可以用QImage和QLabel配合完成。5. 常見問題與排查思路在訓(xùn)練和部署自己的模型時(shí)有幾個(gè)問題幾乎每個(gè)開發(fā)者都會(huì)碰到這里整理一份排查清單。問題現(xiàn)象常見原因解決思路訓(xùn)練剛開始 loss 就為 NaN學(xué)習(xí)率過高、數(shù)據(jù)集中存在空標(biāo)注文件降低學(xué)習(xí)率清理空標(biāo)簽mAP 一直很低數(shù)據(jù)集太小、標(biāo)注不一致、目標(biāo)過小增加數(shù)據(jù)量統(tǒng)一標(biāo)注規(guī)范提高 imgsz訓(xùn)練集 loss 下降但驗(yàn)證集 loss 上升過擬合增加數(shù)據(jù)增強(qiáng)、加入正則化、提前停止導(dǎo)出 ONNX 后推理結(jié)果不一致預(yù)處理流程與訓(xùn)練時(shí)不一致確保推理時(shí)也執(zhí)行相同的 resize、歸一化Qt 中加載 ONNX 報(bào)錯(cuò)模型版本與 ONNX Runtime 版本不兼容使用 opset 12 以內(nèi)升級(jí) ONNX RuntimeYOLO 訓(xùn)練統(tǒng)計(jì)的參數(shù)量和訓(xùn)練完的權(quán)重參數(shù)量不一致統(tǒng)計(jì)方式不同或包含優(yōu)化器狀態(tài)對(duì)比僅模型權(quán)重的參數(shù)數(shù)量忽略優(yōu)化器參數(shù)小目標(biāo)總是漏檢輸入分辨率太低、錨框不匹配提高 imgsz使用適合小目標(biāo)的模型結(jié)構(gòu)部署端檢測(cè)速度太慢模型體積過大、后處理未優(yōu)化使用量化模型簡(jiǎn)化 NMS或使用 TensorRT5.1 關(guān)于訓(xùn)練輪數(shù)與精度的選擇訓(xùn)練輪數(shù)epochs不是越多越好。通常建議數(shù)據(jù)量小幾百?gòu)坋pochs 100-200配合 early stopping。數(shù)據(jù)量中等幾千張epochs 100-150。數(shù)據(jù)量大幾萬張以上epochs 50-100。關(guān)鍵判斷標(biāo)準(zhǔn)不是固定輪數(shù)而是看驗(yàn)證集指標(biāo)是否還在上升。如果連續(xù) 20 個(gè) epoch 沒有提升繼續(xù)訓(xùn)練只會(huì)浪費(fèi)時(shí)間。5.2 參數(shù)量不一致問題有開發(fā)者反饋YOLO 訓(xùn)練一開始統(tǒng)計(jì)的參數(shù)量和最后訓(xùn)練完得到的參數(shù)量不一致。這個(gè)問題通常是因?yàn)橛?xùn)練開始時(shí)的輸出可能包含整個(gè)模型的參數(shù)統(tǒng)計(jì)而訓(xùn)練完成后腳本只統(tǒng)計(jì)了model.parameters()。訓(xùn)練過程中啟用了數(shù)據(jù)并行DataParallel模型結(jié)構(gòu)被包裝導(dǎo)致統(tǒng)計(jì)口徑變化。部分層被凍結(jié)或替換導(dǎo)致參數(shù)數(shù)量發(fā)生變化。排查方法是分別輸出兩個(gè)階段的sum(p.numel() for p in model.parameters())對(duì)比是否一致并確認(rèn)是否使用了model.model還是model。6. 最佳實(shí)踐與工程建議6.1 數(shù)據(jù)層面的建議標(biāo)注質(zhì)量比標(biāo)注數(shù)量更重要每個(gè)小目標(biāo)至少要保證與真實(shí)物體邊緣對(duì)齊。小目標(biāo)數(shù)據(jù)不足時(shí)優(yōu)先采集真實(shí)數(shù)據(jù)其次使用數(shù)據(jù)增強(qiáng)最后才考慮生成合成數(shù)據(jù)。如果使用模型輔助標(biāo)注要對(duì)自動(dòng)生成的標(biāo)注進(jìn)行人工抽樣校驗(yàn)避免“臟標(biāo)注”進(jìn)入訓(xùn)練集。6.2 模型選擇建議“微型鴨找針”強(qiáng)調(diào)模型夠用即可不要盲目追求大模型。模型參數(shù)量特點(diǎn)適用場(chǎng)景YOLOv8n約 3.2M輕量、速度快邊緣設(shè)備、實(shí)時(shí)檢測(cè)YOLOv8s約 11.2M速度與精度均衡小型服務(wù)器、常規(guī)業(yè)務(wù)YOLOv8m約 25.9M精度更高離線批量檢測(cè)、高精度要求場(chǎng)景RT-DETR約 32M無錨框范式性能強(qiáng)對(duì)延遲不敏感的企業(yè)級(jí)應(yīng)用在 UltraLytics 中訓(xùn)練 RT-DETR 也很簡(jiǎn)單yolo detect train dataconfigs/needle.yaml modelrtdetr-l.pt epochs100 imgsz6406.3 訓(xùn)練環(huán)境與成本建議有讀者問過“人工智能訓(xùn)練為什么需要錢多和 GPU 多”根本原因是深度學(xué)習(xí)訓(xùn)練依賴大量矩陣運(yùn)算GPU 的并行計(jì)算能力是 CPU 的數(shù)倍。但初學(xué)者不需要一開始就追求多卡訓(xùn)練先從單卡開始理解訓(xùn)練流程后再考慮分布式。建議按以下順序配置訓(xùn)練環(huán)境本地單張 RTX 3060 / 4060顯存 8-12GB。云 GPU 實(shí)例按小時(shí)計(jì)費(fèi)適合臨時(shí)訓(xùn)練。企業(yè)內(nèi)部 GPU 集群生產(chǎn)級(jí)訓(xùn)練流水線。6.4 安全與權(quán)限提醒如果你在真實(shí)業(yè)務(wù)中訓(xùn)練模型涉及數(shù)據(jù)集、模型文件和推理結(jié)果的訪問權(quán)限應(yīng)當(dāng)注意數(shù)據(jù)庫(kù)或文件服務(wù)器上的數(shù)據(jù)操作先備份再修改。訓(xùn)練結(jié)果模型的下載和分發(fā)遵循最小權(quán)限原則。模型本身可能包含訓(xùn)練數(shù)據(jù)的分布信息敏感場(chǎng)景下要做好數(shù)據(jù)脫敏。不要在公共網(wǎng)絡(luò)環(huán)境中明文傳輸數(shù)據(jù)集和權(quán)重文件。6.5 訓(xùn)練數(shù)據(jù)投毒與異常檢測(cè)這是大模型和小模型都需要警惕的問題。如果標(biāo)注文件被惡意修改例如把針狀物類別標(biāo)成正常模型訓(xùn)練出來就會(huì)在特定條件下漏檢所有目標(biāo)。建議訓(xùn)練前對(duì)標(biāo)注文件做合法性檢查包括坐標(biāo)范圍、類別 ID、文件數(shù)量是否和圖片一一對(duì)應(yīng)。隨機(jī)抽檢部分標(biāo)注人工復(fù)核。在訓(xùn)練過程中監(jiān)控各類別的 loss如果某個(gè)類別反常地低或高需要排查數(shù)據(jù)。7. 總結(jié)與下一步學(xué)習(xí)路線這篇文章從一個(gè)輕松的“微型鴨找針”梗切入實(shí)際上完整梳理了目標(biāo)檢測(cè)訓(xùn)練與部署的核心鏈路理解了小目標(biāo)檢測(cè)為什么難難在特征信息少、背景干擾強(qiáng)、標(biāo)注要求高。掌握了從數(shù)據(jù)準(zhǔn)備、標(biāo)注、格式轉(zhuǎn)換到模型訓(xùn)練的完整流程。學(xué)會(huì)了修改 YOLO 配置針對(duì)小目標(biāo)做分辨率、增強(qiáng)和訓(xùn)練策略優(yōu)化。知道了如何導(dǎo)出 ONNX 模型并用 C 在 Qt 客戶端中完成推理。下一步可以繼續(xù)學(xué)習(xí)的方向模型量化將 ONNX 模型轉(zhuǎn)換為 INT8 或 FP16 格式提升在邊緣設(shè)備上的推理速度。TensorRT 部署在 NVIDIA 平臺(tái)獲得最優(yōu)性能適合對(duì)實(shí)時(shí)性要求極高的工業(yè)場(chǎng)景。增量訓(xùn)練業(yè)務(wù)數(shù)據(jù)陸續(xù)到來時(shí)如何基于現(xiàn)有權(quán)重繼續(xù)訓(xùn)練避免災(zāi)難性遺忘。Transformer 檢測(cè)器RT-DETR、DINO 等模型在小目標(biāo)場(chǎng)景中的表現(xiàn)也值得嘗試。多類別場(chǎng)景當(dāng)“找針”變成“找針、找線、找裂縫”時(shí)如何平衡多個(gè)小目標(biāo)的訓(xùn)練樣本。在實(shí)際項(xiàng)目里優(yōu)先關(guān)注三類風(fēng)險(xiǎn)數(shù)據(jù)標(biāo)注質(zhì)量、訓(xùn)練與部署預(yù)處理一致性、模型更新對(duì)線上業(yè)務(wù)的影響。任何模型進(jìn)入生產(chǎn)環(huán)境之前都要先在驗(yàn)證集和真實(shí)場(chǎng)景中做充分測(cè)試。如果這篇文章對(duì)你有幫助可以收藏備用。動(dòng)手訓(xùn)練自己的第一個(gè)“微型鴨”吧。