開篇導(dǎo)讀 很多人會用 YOLOv5 訓(xùn)練命令但指標(biāo)一掉就只會加epoch、改lr、換增強(qiáng)。結(jié)果是參數(shù)改了一堆卻說不清到底哪一步真正生效也無法復(fù)現(xiàn)實(shí)驗(yàn)收益。 這篇文章不講玄學(xué)調(diào)參。我會按源碼執(zhí)行路徑把 YOLOv5 從參數(shù)讀取、權(quán)重加載、數(shù)據(jù)管線、損失計(jì)算到 best.pt 保存的關(guān)鍵機(jī)制講透并給出可直接照做的優(yōu)化與排錯方法。 你將獲得三樣?xùn)|西 1一張訓(xùn)練主鏈路圖知道問題該去哪里查 2一份高杠桿改點(diǎn)清單知道優(yōu)先改什么 3一套單變量實(shí)驗(yàn)順序知道怎么證明改動有效。 YOLOv5訓(xùn)練源碼精講萬字詳細(xì)版 一、本文目標(biāo)與閱讀說明 ---------------------- 這篇文章的目標(biāo)非常明確幫你從會用 YOLOv5 訓(xùn)練命令升級到能獨(dú)立診斷問題、能系統(tǒng)性優(yōu)化效果、能自信解釋每一改動的原因。 很多人遇到效果不達(dá)標(biāo)時(shí)第一反應(yīng)是調(diào)參數(shù)——加大 batch、改學(xué)習(xí)率、換增強(qiáng)策略結(jié)果改了一圈說不清哪個(gè)有效指標(biāo)升了不知道為什么升降了不知道為什么降。這是因?yàn)闆]有建立訓(xùn)練鏈路視角沒有把 YOLOv5 訓(xùn)練系統(tǒng)當(dāng)作一個(gè)整體來理解。 本文按 YOLOv5 源碼的真實(shí)執(zhí)行順序組織內(nèi)容從訓(xùn)練入口開始依次覆蓋參數(shù)來源、預(yù)訓(xùn)練權(quán)重加載機(jī)制、凍結(jié)訓(xùn)練策略、輸入尺寸約束、優(yōu)化器與學(xué)習(xí)率、訓(xùn)練數(shù)據(jù)管線含增強(qiáng)與 cache、損失函數(shù)設(shè)計(jì)與調(diào)優(yōu)、驗(yàn)證與模型保存邏輯最后給出排錯清單和推薦實(shí)驗(yàn)順序。 每個(gè)核心章節(jié)都會講清楚機(jī)制是什么what、為什么這樣設(shè)計(jì)why、什么情況下該改when以及怎么改、改了會怎樣how。讀完這篇你不僅能理解每個(gè)模塊在訓(xùn)練鏈路中的位置還能獨(dú)立完成一次有對照的優(yōu)化實(shí)驗(yàn)。 二、訓(xùn)練主鏈路全解析先建全局地圖再深入細(xì)節(jié) -------------------------------------------- 在深入每個(gè)模塊之前先把整條鏈路看清楚。YOLOv5 訓(xùn)練流程可以濃縮為以下十個(gè)關(guān)鍵節(jié)點(diǎn) 節(jié)點(diǎn)1參數(shù)解析。命令行參數(shù) 配置文件hyp.yaml合并產(chǎn)生最終生效的 opt 對象。這一步?jīng)Q定了一切后續(xù)行為的起點(diǎn)。 節(jié)點(diǎn)2模型構(gòu)建。依據(jù) cfg 文件yaml 格式的網(wǎng)絡(luò)結(jié)構(gòu)描述構(gòu)建模型實(shí)例。如果提供了預(yù)訓(xùn)練權(quán)重則進(jìn)入節(jié)點(diǎn)3。 節(jié)點(diǎn)3預(yù)訓(xùn)練權(quán)重加載。嘗試加載 checkpoint按鍵名匹配 shape 匹配的交集邏輯賦值參數(shù)。匹配部分繼承預(yù)訓(xùn)練權(quán)重未匹配部分隨機(jī)初始化。 節(jié)點(diǎn)4凍結(jié)層處理。如果指定了 freeze 參數(shù)則將對應(yīng)層的 requires_grad 設(shè)為 False使這些參數(shù)在反向傳播時(shí)不更新。 節(jié)點(diǎn)5優(yōu)化器與調(diào)度器初始化。包括 optimizerSGD / Adam / AdamW、lr_scheduler余弦退火或階梯衰減、EMA指數(shù)滑動平均、AMP混合精度等可選組件。 節(jié)點(diǎn)6Dataset / Dataloader 構(gòu)建。Dataset 負(fù)責(zé)加載圖片、讀取標(biāo)簽、執(zhí)行在線數(shù)據(jù)增強(qiáng)Dataloader 負(fù)責(zé)多 worker 并行讀取、打亂順序、collate_fn 拼 batch。 節(jié)點(diǎn)7每輪訓(xùn)練epoch loop。前向傳播得到預(yù)測張量 → build_targets 為 GT 分配正負(fù)樣本 → compute_loss 計(jì)算 box/obj/cls 三類損失 → 反向傳播更新參數(shù) → EMA 更新影子權(quán)重。 節(jié)點(diǎn)8驗(yàn)證。每隔 N 個(gè) epoch或每個(gè) epoch跑一次 val將模型通常是 EMA 權(quán)重切換到 eval 模式跑推理并統(tǒng)計(jì) P/R/mAP。 節(jié)點(diǎn)9模型保存。按 fitness 指標(biāo)判斷是否更新 best.pt同時(shí)保存 last.pt 供斷點(diǎn)續(xù)訓(xùn)。 節(jié)點(diǎn)10斷點(diǎn)續(xù)訓(xùn)resume。下次啟動時(shí)從 last.pt 恢復(fù) epoch 進(jìn)度、optimizer 狀態(tài)、scheduler 狀態(tài)、EMA 影子權(quán)重。 理解這張圖的價(jià)值在于任何訓(xùn)練異常loss 不降、指標(biāo)抖動、發(fā)散等都可以先定位到具體節(jié)點(diǎn)再在該節(jié)點(diǎn)內(nèi)部排查。例如 loss 發(fā)散 → 可能是 lr 過高或增強(qiáng)過強(qiáng) → 對應(yīng)節(jié)點(diǎn)5或節(jié)點(diǎn)6。建立了這張地圖才能系統(tǒng)性地排錯而不是盲目試參。 三、訓(xùn)練入口參數(shù)來源的完整梳理 -------------------------------- YOLOv5 訓(xùn)練入口的行為本質(zhì)上是多來源參數(shù)合并 環(huán)境檢查的過程。很多我改了參數(shù)但好像沒生效的問題都出在這一步的理解不夠清晰。 參數(shù)來源一共有三個(gè)層次按優(yōu)先級從高到低排列 第一層命令行參數(shù)Command Line Arguments。用戶在執(zhí)行 python train.py 時(shí)傳入的參數(shù)比如 --batch 16、--img 640、--epochs 300、--data coco128.yaml 等。這些參數(shù)會被解析到 opt 字典中。 第二層配置文件hyp.yaml。位于 data/hyps/hyp.scratch-low.yaml 或 hyp.detection.yaml 等路徑。包含數(shù)據(jù)增強(qiáng)概率flip、mosaic、mixup、hsv、損失權(quán)重box、cls、obj、優(yōu)化器參數(shù)lr0、lrf、momentum、weight_decay等。 第三層resume 快照opt.yaml。當(dāng)使用 --resume 參數(shù)恢復(fù)訓(xùn)練時(shí)run/expN/opt.yaml 文件中保存的歷史參數(shù)快照會覆蓋當(dāng)前命令行參數(shù)。這是很多人最容易踩的坑。 舉一個(gè)典型場景你想在續(xù)訓(xùn)時(shí)把 batch 從 16 改成 32命令寫成 python train.py --resume runs/exp12/weights/last.pt --batch 32。但你可能發(fā)現(xiàn)最終生效的 batch 仍然是 16。這是因?yàn)?resume 時(shí)opt.yaml 中的 batch 參數(shù)優(yōu)先級更高會把你的 --batch 32 覆蓋掉。 正確的做法有兩個(gè) 方法一完全新開一個(gè) run不使用 resume 參數(shù)只改 batch 參數(shù)。 方法二先手動編輯 opt.yaml 中的 batch 參數(shù)再執(zhí)行 resume。 實(shí)戰(zhàn)建議每次啟動訓(xùn)練時(shí)在訓(xùn)練日志開頭打印 opt 的關(guān)鍵字段batch、imgsz、lr0、weight_decay、epochs確認(rèn)這些值和你預(yù)期的一致。養(yǎng)成這個(gè)習(xí)慣可以避免 70% 的參數(shù)不生效類問題。 環(huán)境檢查部分也會執(zhí)行一些輔助操作git diff 查看代碼是否有未提交修改、依賴版本檢查如 torch 版本、AMP 可用性檢測cuDNN 是否支持 fp16等。如果你的環(huán)境比較干凈且確定沒問題這些檢查在調(diào)試階段可以臨時(shí)注釋掉以加快啟動速度但生產(chǎn)環(huán)境建議保留。 四、預(yù)訓(xùn)練權(quán)重加載交集加載機(jī)制的深度理解 ------------------------------------------ 這是 YOLOv5 遷移學(xué)習(xí)能力的核心也是最容易被誤用的模塊。很多結(jié)構(gòu)改動后的訓(xùn)練失敗根因都在預(yù)訓(xùn)練權(quán)重加載這一步。 YOLOv5 的預(yù)訓(xùn)練權(quán)重加載機(jī)制本質(zhì)上是一個(gè)集合交集操作。加載過程分三步 第一步加載 checkpoint。用 torch.load() 將 .pt 文件反序列化為字典。checkpoint 中通常包含model模型狀態(tài)字典、optimizer優(yōu)化器狀態(tài)、training_results訓(xùn)練歷史、epoch當(dāng)前輪次等。 第二步構(gòu)建當(dāng)前模型。用 cfg 文件yaml 格式的模型結(jié)構(gòu)描述實(shí)例化一個(gè)全新的模型。這個(gè)新模型有自己的參數(shù)字典state_dict keys和參數(shù)形狀。 第三步取交集加載。遍歷 checkpoint 中的每個(gè)參數(shù)鍵值對檢查兩個(gè)條件條件A鍵名在當(dāng)前模型中是否存在條件B形狀shape是否完全一致。只有兩個(gè)條件同時(shí)滿足才執(zhí)行賦值。如果鍵名不存在或者 shape 不匹配該參數(shù)就被跳過以當(dāng)前模型的初始化權(quán)重替代。 舉個(gè)例子假設(shè)你在 YOLOv5m 的預(yù)訓(xùn)練權(quán)重基礎(chǔ)上改了檢測頭的通道數(shù)比如把 3 個(gè) anchor 改成 5 個(gè)。新模型中對應(yīng)的 head 層參數(shù) shape 發(fā)生了變化checkpoint 中的對應(yīng)鍵雖然名字相同但 shape 不一致所以這些層不會被加載而是使用新初始化。匹配的層如 backbone 的大部分參數(shù)則完全繼承了預(yù)訓(xùn)練權(quán)重。 這一機(jī)制的設(shè)計(jì)非常優(yōu)雅它允許你在預(yù)訓(xùn)練權(quán)重的基礎(chǔ)上做結(jié)構(gòu)改動而不需要每次都從零訓(xùn)練。具體來說 如果你只改了檢測頭層head layer而 backbone 不變那么 backbone 的權(quán)重基本可以完全繼承匹配率很高訓(xùn)練收斂會很快。 如果你改動了 backbone 的中間層匹配率會下降但只要改得不多預(yù)訓(xùn)練收益仍然可觀。 如果你用 YOLOv5m 的權(quán)重去初始化 YOLOv5s 規(guī)模的模型匹配率會非常低因?yàn)橥ǖ罃?shù)不一致幾乎等同于從零訓(xùn)練。 實(shí)戰(zhàn)操作中加載完成后你應(yīng)該關(guān)注日志中的輸出。YOLOv5 會在加載完成后打印類似這樣的信息 Transfering params [%d/%d] (%.1f%%) ... loaded 這里的百分比就是交集加載的匹配率。如果匹配率低于 80%建議重新評估結(jié)構(gòu)改動是否過大或者考慮使用更接近目標(biāo)結(jié)構(gòu)的預(yù)訓(xùn)練權(quán)重。 另外還有一個(gè)細(xì)節(jié)加載權(quán)重時(shí)YOLOv5 通常會先將 checkpoint 加載到 CPU再用 .to(device) 移到目標(biāo)設(shè)備。這種兩步策略比直接加載到 GPU 更穩(wěn)定可以避免某些設(shè)備上因?yàn)?GPU 初始化順序?qū)е碌膯栴}。如果你在自定義推理代碼中遇到權(quán)重加載報(bào)錯可以檢查是否遵循了這個(gè)CPU 反序列化 → 再遷移的原則。 五、凍結(jié)訓(xùn)練策略從原理到分階段解凍實(shí)戰(zhàn) ---------------------------------------- 凍結(jié)訓(xùn)練Freeze Training是遷移學(xué)習(xí)中最穩(wěn)定、最常用的技巧之一。它的核心原理很簡單通過將指定層的 requires_grad 設(shè)為 False使這些參數(shù)在反向傳播時(shí)不被更新。 freeze 策略的價(jià)值在于三個(gè)方面 第一小數(shù)據(jù)集場景下直接全量訓(xùn)練容易過擬合凍結(jié) backbone 可以減少需要學(xué)習(xí)的參數(shù)規(guī)模降低過擬合風(fēng)險(xiǎn)。 第二大數(shù)據(jù)集跨任務(wù)遷移時(shí)backbone 提取的特征通常已經(jīng)有通用性邊緣、紋理、局部形狀等不需要大幅調(diào)整凍結(jié)可以加快收斂。 第三顯存優(yōu)化凍結(jié)層的梯度不需要保存可以顯著減少顯存占用在顯存受限時(shí)可以跑更大的 batch。 YOLOv5 中 freeze 參數(shù)的指定方式是通過命令行傳入層索引或?qū)用?。例?--freeze 0 10 表示凍結(jié)第 0 層到第 10 層具體對應(yīng) backbone 的前 11 層。凍結(jié)實(shí)現(xiàn)的核心代碼邏輯類似于 for k, v in model.named_parameters(): if int(k.split(.)[1]) freeze_epochs: # 按層索引判斷 v.requires_grad False 注意凍結(jié)和 BatchNorm 的關(guān)系需要額外關(guān)注。凍結(jié)層的 BatchNorm 統(tǒng)計(jì)量均值和方差是固定的來源于預(yù)訓(xùn)練階段。如果你凍結(jié)了 backbone 但 BN 仍在訓(xùn)練模式下更新統(tǒng)計(jì)量可能會造成不一致。YOLOv5 中凍結(jié)操作通常也包含了對應(yīng) BN 層的 eval() 模式切換。 常見的 freeze 策略有以下幾種適用場景各不相同 策略一全凍結(jié)full freeze。所有層都凍結(jié)只訓(xùn)練 head 層。適用場景數(shù)據(jù)集極小幾百張、領(lǐng)域差異極大比如用 ImageNet 預(yù)訓(xùn)練權(quán)重去訓(xùn)一個(gè)醫(yī)學(xué)影像檢測。優(yōu)點(diǎn)是收斂極快缺點(diǎn)是頭部能力受限。 策略二部分凍結(jié)partial freeze。凍結(jié) backbone 前 N 層解凍后 N 層和 head。例如凍結(jié) 0-9 層backbone 的前10層解凍 10 層以后和 head。適用場景小到中等數(shù)據(jù)集、領(lǐng)域有一定差異。這是 YOLOv5 的默認(rèn)做法對大多數(shù)場景都比較穩(wěn)妥。 策略三分階段解凍gradual unfreezing。第一階段凍結(jié) backbone 只訓(xùn) head第二階段解凍 backbone 后幾層較低學(xué)習(xí)率微調(diào)第三階段全量解凍整體微調(diào)。適用場景中等規(guī)模數(shù)據(jù)集、想最大化預(yù)訓(xùn)練收益。這個(gè)策略被多個(gè)論文驗(yàn)證優(yōu)于一次性全量訓(xùn)練但需要手動控制階段切換。 策略四解凍后低學(xué)習(xí)率low-lr fine-tuning。不解凍全部層只以極低學(xué)習(xí)率通常是預(yù)訓(xùn)練 lr 的 1/10 到 1/100微調(diào) backbone 后幾層和 head。適用場景大數(shù)據(jù)集、領(lǐng)域接近的場景如用 COCO 預(yù)訓(xùn)練權(quán)重去訓(xùn)同類別的產(chǎn)品檢測。 判斷何時(shí)該解凍的經(jīng)驗(yàn)法則 觀察 head losscls/obj是否進(jìn)入平臺期連續(xù) 5 個(gè) epoch 變化小于 1%同時(shí)訓(xùn)練集 loss 仍有下降空間。如果兩者同時(shí)滿足可以嘗試解凍。 解凍時(shí)建議將學(xué)習(xí)率降低為原來的 1/10同時(shí)打開 warmup 避免參數(shù)大幅震蕩。 六、輸入尺寸為什么必須是32的倍數(shù) ---------------------------------- 這是 YOLOv5 的高頻面試題也是影響訓(xùn)練穩(wěn)定性和推理一致性的真實(shí)工程約束。 先從下采樣鏈路說起。YOLOv5 的 backbone 包含 5 次下采樣操作每次 stride2 的卷積或池化操作都會將特征圖尺寸減半。所以從輸入圖像到最終特征圖經(jīng)歷了 2^5 32 倍的下采樣。 對應(yīng)三個(gè)檢測頭80x80、40x40、20x20 80x80 特征圖對應(yīng)輸入圖像中每個(gè)格子覆蓋 8x8 像素區(qū)域640/808 40x40 特征圖對應(yīng)輸入圖像中每個(gè)格子覆蓋 16x16 像素區(qū)域640/4016 20x20 特征圖對應(yīng)輸入圖像中每個(gè)格子覆蓋 32x32 像素區(qū)域640/2032 這三個(gè)格子尺寸分別對應(yīng)小目標(biāo)、中目標(biāo)、大目標(biāo)的檢測。 如果輸入尺寸不是 32 的倍數(shù)會怎樣假設(shè)你輸入 608x608608/3219可以整除沒問題但如果你輸入 640x500500/3215.625不能整除代碼通常會做兩種處理 處理方式一自動 padding。將短邊 pad 到最近的 32 倍數(shù)比如 500 pad 到 512變?yōu)?640x512。但這改變了圖像內(nèi)容的寬高比可能導(dǎo)致目標(biāo)形變降低檢測精度。 處理方式二報(bào)錯或警告。有些配置下會要求嚴(yán)格對齊直接報(bào)錯。 多尺度訓(xùn)練的場景下這個(gè)問題更復(fù)雜。YOLOv5 支持在訓(xùn)練時(shí)隨機(jī)選擇多個(gè)尺度比如 320-640 之間但每個(gè)采樣的尺寸仍然要求是 stride 的倍數(shù)。如果選了一個(gè) 544544/3217可以但選了一個(gè) 576576/3218也可以這兩個(gè)尺度產(chǎn)生的特征圖網(wǎng)格不同分別是 18x18 和 17x17 在 stride32 下網(wǎng)絡(luò)要能正確處理這種變化。 建議的工程實(shí)踐 在數(shù)據(jù)預(yù)處理階段將所有圖像 resize 到統(tǒng)一的 32 倍數(shù)尺寸比如 640x640 或 416x416避免訓(xùn)練和推理時(shí)的隱式 padding 行為。 如果你需要處理任意長寬比的圖像優(yōu)先使用 letterbox 方式保持寬高比灰色填充到 32 倍數(shù)而不是簡單的拉伸 resize。 七、優(yōu)化器、學(xué)習(xí)率、EMA、AMP決定訓(xùn)練能不能穩(wěn)住 ------------------------------------------------ 這四個(gè)組件共同決定了訓(xùn)練過程的穩(wěn)定性和最終模型的泛化能力。下面逐一講解每個(gè)模塊的設(shè)計(jì)原理和調(diào)優(yōu)思路。 7.1 優(yōu)化器選擇與 weight decay 的正確理解 YOLOv5 支持 SGD、Adam 和 AdamW 三種優(yōu)化器默認(rèn)使用 SGDmomentum0.937。為什么默認(rèn)是 SGD 因?yàn)樵诖?batch 訓(xùn)練場景下SGD 的泛化性能通常優(yōu)于 Adam。SGD 通過動量momentum累積歷史梯度方向形成一個(gè)更穩(wěn)定的更新方向適合大規(guī)模目標(biāo)檢測這種需要強(qiáng)泛化能力的任務(wù)。 Adam 和 AdamW 的優(yōu)勢在于自適應(yīng)學(xué)習(xí)率每個(gè)參數(shù)有自己的 lr收斂更快但泛化能力有時(shí)不如 SGD。適合小 batch8-16、短訓(xùn)練周期幾十個(gè) epoch、或者數(shù)據(jù)量較小的場景。 weight decay簡稱 wd也叫 L2 正則化是優(yōu)化器中一個(gè)容易被誤用的參數(shù)。很多人直接照抄網(wǎng)上的 weight_decay0.0005卻不理解這個(gè)數(shù)值在不同 batch 下代表什么意義。 weight decay 的實(shí)際正則強(qiáng)度和 batch size 以及有效 batch 數(shù)nbsnominal batch size有關(guān)。在 YOLOv5 中effective batch size batch × accumulation_steps而 weight decay 的影響會被這個(gè)有效 batch 縮放 effective_wd wd × (effective_batch / nbs) 例如如果你把 batch 從 16 改到 64擴(kuò)大 4 倍其他參數(shù)不變那么有效正則強(qiáng)度就增強(qiáng)了約 4 倍。如果你的模型在 batch64 時(shí)出現(xiàn)過擬合可以適當(dāng)降低 wd而不是改 lr。 7.2 學(xué)習(xí)率調(diào)度warmup 和余弦衰減 warmup預(yù)熱是訓(xùn)練初期的一個(gè)關(guān)鍵階段。在前 N 個(gè) epoch 內(nèi)學(xué)習(xí)率從極低值通常是 lr0 的 1/1000逐步上升到 lr0。這個(gè)設(shè)計(jì)的目的是 訓(xùn)練初期模型參數(shù)是隨機(jī)初始化的或者從預(yù)訓(xùn)練權(quán)重繼承的此時(shí)梯度方向很不穩(wěn)定。如果直接用大學(xué)習(xí)率參數(shù)更新幅度過大可能直接跳到 Loss 的一個(gè)很差的位置甚至導(dǎo)致發(fā)散。warmup 讓參數(shù)在初期用小步試探逐步建立穩(wěn)定的梯度方向。 warmup 之后通常接余弦退火cosine annealing或者階梯衰減step LR。余弦退火的優(yōu)點(diǎn)是 lr 曲線平滑從 warmup 結(jié)束時(shí)的 lr0 緩慢下降到接近零讓模型在訓(xùn)練末期有充足時(shí)間在 Loss 谷底找到最優(yōu)解。階梯衰減則是在特定 epoch 將 lr 降低一個(gè)比例比如降低到原來的 1/10適合你想精確控制訓(xùn)練曲線的場景。 調(diào)優(yōu)建議如果你發(fā)現(xiàn)訓(xùn)練初期 loss 波動很大發(fā)散或者震蕩可以增加 warmup epoch 數(shù)默認(rèn)是 3 個(gè)。如果你發(fā)現(xiàn)訓(xùn)練后期 loss 平臺后無法再下降可以嘗試余弦退火替代階梯衰減。 7.3 EMA穩(wěn)定驗(yàn)證指標(biāo)的利器 EMAExponential Moving Average指數(shù)滑動平均維護(hù)一套模型參數(shù)的影子副本。更新公式是 theta_ema decay × theta_ema (1 - decay) × theta_current 其中 decay 通常取 0.9999非常接近1。這意味著 EMA 權(quán)重在每次更新時(shí)只吸收當(dāng)前權(quán)重 0.01% 的變化因此變化非常緩慢。 為什么 EMA 通常帶來更好的泛化因?yàn)?EMA 本質(zhì)上是一個(gè)時(shí)間平均操作。訓(xùn)練末期的參數(shù)往往在一個(gè)最優(yōu)解附近波動直接取最后一個(gè) checkpoint 可能恰好取到了波峰。EMA 通過平滑抵消了這種高頻波動取到的是歷史上多次更新的平均位置通常更接近真實(shí)的最優(yōu)解。 在 YOLOv5 中驗(yàn)證時(shí)默認(rèn)使用 EMA 權(quán)重進(jìn)行推理。保存 best.pt 時(shí)也是 EMA 權(quán)重參與 fitness 計(jì)算。所以你最終拿到的 best.pt 實(shí)際上是 EMA 影子權(quán)重而非訓(xùn)練末期的即時(shí)權(quán)重。 7.4 AMP省顯存提吞吐的正確姿勢 AMPAutomatic Mixed Precision自動混合精度的核心是前向傳播用 FP16 計(jì)算節(jié)省顯存和加速梯度更新用 FP32保證精度不損失。 CUDA 的 tensor core 對 FP16 矩陣運(yùn)算做了硬件加速FP16 的矩陣乘法比 FP32 快將近 8 倍取決于具體硬件。同時(shí) FP16 的顯存占用是 FP32 的一半可以跑更大的 batch。 YOLOv5 中的 AMP 通過 torch.cuda.amp.autocast 和 GradScaler 實(shí)現(xiàn)。autocast 自動決定哪些操作用 FP16、哪些用 FP32通常卷積用 FP16loss 計(jì)算和梯度更新用 FP32。GradScaler 負(fù)責(zé)在 loss scaling 階段防止 FP16 下的下溢問題梯度值太小超出 FP16 表示范圍。 需要注意的風(fēng)險(xiǎn)某些硬件配置老顯卡、驅(qū)動版本過舊下 AMP 可能不穩(wěn)定。如果你在訓(xùn)練中遇到 NaN loss先關(guān)閉 AMP 試試--half False。 八、數(shù)據(jù)管線從 Dataset 到 batch 的完整數(shù)據(jù)流 ----------------------------------------------- 訓(xùn)練數(shù)據(jù)管線是70%的玄學(xué)問題所在。理解這一部分的價(jià)值不僅在于排查問題更在于知道如何通過調(diào)整數(shù)據(jù)策略來提升模型效果。 8.1 Dataset 的職責(zé) YOLOv5 的 Dataset 類通常在 utils/datasets.py 中負(fù)責(zé)以下職責(zé) 第一文件索引。遍歷 images 目錄建立圖片路徑列表。同時(shí)在 labels 目錄下查找對應(yīng)名稱的 .txt 標(biāo)簽文件YOLO 格式class_id cx cy w h全部歸一化到 0-1。 第二標(biāo)簽解析。讀取 .txt 文件每行代表一個(gè) GT 框。解析后存儲為 [class_id, cx, cy, w, h] 的列表。 第三圖像加載與預(yù)處理。讀取圖片文件做 resizeletterbox 或簡單拉伸、通道順序轉(zhuǎn)換BGR→RGB、歸一化/255.0。 第四在線數(shù)據(jù)增強(qiáng)。增強(qiáng)操作在這一步執(zhí)行具體包括 Mosaic、MixUp、幾何變換旋轉(zhuǎn)、平移、縮放、翻轉(zhuǎn)、顏色域增強(qiáng)HSV 調(diào)整、亮度、對比度等。 8.2 文件命名的常見坑 YOLO 數(shù)據(jù)集有一個(gè)隱式約定images/ 和 labels/ 目錄下的文件名必須完全對應(yīng)擴(kuò)展名不同。如果文件名出現(xiàn)以下問題會導(dǎo)致找不到標(biāo)簽或找不到圖片的報(bào)錯 坑1文件名含有多余空格或隱藏字符。比如 img .jpgimg 和 .之間有空格或者文件名校驗(yàn)時(shí)看起來正常但實(shí)際含有多余字符。 坑2文件名含有多余點(diǎn)號。比如 img..jpg兩個(gè)點(diǎn)某些路徑解析邏輯會截取錯誤。 坑3大小寫不匹配。Windows 系統(tǒng)文件名大小寫不敏感但 Linux 服務(wù)器訓(xùn)練環(huán)境通常大小寫敏感。images/ 下是 cat.jpglabels/ 下是 Cat.txt在服務(wù)器上就會找不到。 坑4圖片和標(biāo)簽擴(kuò)展名不統(tǒng)一。比如圖片用 .JPG大寫標(biāo)簽用 .txt小寫解析邏輯可能無法匹配。 建議的工程實(shí)踐寫一個(gè)數(shù)據(jù)校驗(yàn)?zāi)_本在訓(xùn)練前檢查所有圖片和標(biāo)簽是否一一對應(yīng)文件名是否符合規(guī)范。這比訓(xùn)練到一半才發(fā)現(xiàn)數(shù)據(jù)問題要高效得多。 8.3 cache 機(jī)制加速加載的雙刃劍 YOLOv5 支持標(biāo)簽 cache 功能。當(dāng)?shù)谝淮渭虞d數(shù)據(jù)集時(shí)程序會解析所有標(biāo)簽并將結(jié)果緩存到磁盤.cache 文件類似 labels_cache.cache.pkl。后續(xù)訓(xùn)練啟動時(shí)直接從 cache 文件讀取標(biāo)簽不再重新解析每個(gè) .txt 文件可以大幅加速 Dataset 初始化。 這個(gè)機(jī)制的坑在于如果你修改了標(biāo)簽文件改坐標(biāo)、改類別、新增標(biāo)注但 cache 文件沒有刪除程序會繼續(xù)讀取舊的 cache導(dǎo)致你改了標(biāo)注但指標(biāo)沒變化。 正確的做法是每次修改標(biāo)簽后手動刪除對應(yīng)的 .cache 文件?；蛘咴?YOLOv5 中使用 --cache-images disk 參數(shù)將圖片也緩存到內(nèi)存或磁盤這樣標(biāo)簽修改也必須同步更新 cache。 8.4 collate_fn 與 image index對齊 batch 的關(guān)鍵機(jī)制 Dataset 返回的是單張圖片及其 GT 標(biāo)簽列表。collate_fn 的作用是把 N 個(gè)樣本通常 N batch size合并成一個(gè) batch 張量。 這個(gè)過程中最關(guān)鍵的一個(gè)細(xì)節(jié)是 image index圖像索引。GT 標(biāo)簽在拼 batch 時(shí)會在每條 GT 記錄前插入一個(gè) image index表示該 GT 屬于 batch 中的哪一張圖片。 為什么要這樣做因?yàn)?loss 計(jì)算時(shí)batch 內(nèi)的 N 張圖片是一起前向傳播的輸出是 N 張圖合并的預(yù)測結(jié)果。計(jì)算 loss 時(shí)必須知道某條 GT 該和 batch 中哪一張圖的預(yù)測結(jié)果進(jìn)行匹配。如果缺少這個(gè) image indexGT 和預(yù)測會錯位導(dǎo)致 loss 計(jì)算完全錯誤。 這個(gè)細(xì)節(jié)非常適合作為面試表達(dá)素材我不僅知道 YOLO 標(biāo)簽格式是 class_id cx cy w h還知道 batch 拼接時(shí)為什么要加 image index 來做 GT 與預(yù)測的對齊。 九、數(shù)據(jù)增強(qiáng)從原理到實(shí)驗(yàn)順序的全鏈路講解 ------------------------------------------ 數(shù)據(jù)增強(qiáng)是 YOLOv5 訓(xùn)練中最強(qiáng)大也最容易被誤用的模塊。很多人一味疊加增強(qiáng)手段卻不清楚每個(gè)增強(qiáng)的作用邊界和疊加效果最終導(dǎo)致離線指標(biāo)好看但上線效果差。 9.1 為什么增強(qiáng)不是越多越好 數(shù)據(jù)增強(qiáng)的核心目標(biāo)是讓模型在訓(xùn)練時(shí)見過的分布盡可能接近它在現(xiàn)場推理時(shí)會遇到的分布。 真實(shí)數(shù)據(jù)集有三個(gè)常見局限樣本有限采集成本高、場景單一白天多、夜晚少、目標(biāo)形態(tài)單一正面多、側(cè)面少。增強(qiáng)是用低成本的圖像變換模擬高成本的真實(shí)場景多樣性。 但如果增強(qiáng)過度反而會讓訓(xùn)練分布偏離真實(shí)分布。例如把 mosaic 概率設(shè)到 1.0每張圖都是4張合成同時(shí)把 mixup 也開啟每張圖都是多張圖的混合。這會讓模型長期處于一種過度人工的分布中訓(xùn)練學(xué)到的特征不夠貼近真實(shí)單一目標(biāo)最終泛化到真實(shí)場景時(shí)效果反而下降。 所以增強(qiáng)的原則是寧缺毋濫寧可少用有效的也不要濫用全部。 9.2 YOLOv5 增強(qiáng)的執(zhí)行順序非常重要 YOLOv5 中增強(qiáng)的執(zhí)行順序不是隨意排列的理解這個(gè)順序?qū)φ{(diào)試和設(shè)計(jì)增強(qiáng)策略非常關(guān)鍵。以默認(rèn)配置為例mosaic 啟用 第一步Mosaic 拼接。將 4 張圖片及其標(biāo)簽按九宮格方式拼接成 1 張。這張合成圖通常覆蓋了更大的上下文區(qū)域模擬了多目標(biāo)場景。 Mosaic 增強(qiáng)的關(guān)閉方式有兩種方法一是在 hyp.yaml 中將 mosaic 參數(shù)設(shè)為 0方法二是在代碼中將相關(guān)布爾變量置 False。 第二步MixUp 混合。在 mosaic 之后隨機(jī)以一定概率將當(dāng)前圖和另一張圖做加權(quán)混合像素級 blend。對應(yīng)參數(shù) mixup默認(rèn) 0.0不啟用。當(dāng)你的數(shù)據(jù)集較小、目標(biāo)重疊較多時(shí)開啟 mixup 有助于增加多樣性。 第三步幾何變換。包括隨機(jī)旋轉(zhuǎn)-5°到5°、隨機(jī)平移、隨機(jī)縮放。這些變換會同時(shí)作用于圖像和對應(yīng)的 GT 框坐標(biāo)。關(guān)鍵要求是幾何變換必須同步變換標(biāo)簽坐標(biāo)否則 GT 和圖像就錯位了。 第四步顏色域增強(qiáng)。包括 HSV 空間調(diào)整色調(diào)H、飽和度S、亮度V的隨機(jī)偏移、亮度調(diào)整、對比度調(diào)整。顏色增強(qiáng)只改變像素值不改變坐標(biāo)因此不需要同步更新標(biāo)簽。 第五步翻轉(zhuǎn)。水平翻轉(zhuǎn)vertical flip是 YOLO 中最常用的翻轉(zhuǎn)方式。翻轉(zhuǎn)概率在 hyp.yaml 中由 fliplr 參數(shù)控制默認(rèn) 0.5。注意YOLO 通常不做垂直翻轉(zhuǎn)因?yàn)榇蠖鄶?shù)拍攝場景中目標(biāo)不會有上下翻轉(zhuǎn)做垂直翻轉(zhuǎn)反而會引入錯誤的分布。 9.3 常見增強(qiáng)手段及其適用場景 翻轉(zhuǎn)Flip適合對稱目標(biāo)車輛、行人、商品。不適合不對稱目標(biāo)手勢識別中的左右手不能互換。 旋轉(zhuǎn)Rotation小角度旋轉(zhuǎn)±15°適合模擬攝像頭輕微傾斜。過大的旋轉(zhuǎn)角度如 180°只有在攝像頭可能倒裝的場景下才啟用。旋轉(zhuǎn)后的黑邊處理會引入干擾區(qū)域需要額外處理。 Mosaic4圖拼接大幅增加 batch 內(nèi)多樣性適合多目標(biāo)檢測。可以同時(shí)模擬背景多樣性和多目標(biāo)共現(xiàn)。但 mosaic 會讓每張子圖變小對小目標(biāo)的檢測難度實(shí)際是增加的。 MixUp兩圖混合像素級 blend適合類別之間邊界模糊的場景。但會模糊目標(biāo)的輪廓對定位精度有一定負(fù)面影響。 HSV 調(diào)整模擬不同光照條件白天/陰天/室內(nèi)/室外。幾乎所有場景都建議保留屬于低成本高收益的增強(qiáng)。 馬賽克Mosaic9 / 九宮格YOLOv5 源碼中有 Mosaic9 的實(shí)現(xiàn)入口。9張圖拼接上下文信息更豐富但標(biāo)簽處理更復(fù)雜對超密集目標(biāo)場景有一定幫助對大多數(shù)場景收益不明顯。 Albumentations 擴(kuò)展增強(qiáng)如果需要更多增強(qiáng)手段如雨霧模擬、運(yùn)動模糊、色彩空間變換可以接入 Albumentations 庫。需要注意區(qū)分顏色域增強(qiáng)模糊、壓縮、噪聲只改像素不需改坐標(biāo)幾何增強(qiáng)旋轉(zhuǎn)、透視、縮放必須同步更新 GT 框坐標(biāo)。 9.4 增強(qiáng)實(shí)驗(yàn)的正確順序 建議按以下順序做增強(qiáng)實(shí)驗(yàn)每次只開一個(gè)觀察 3-5 個(gè) epoch 的趨勢 第一步關(guān)閉所有復(fù)雜增強(qiáng)mosaic0、mixup0用最基礎(chǔ)的增強(qiáng)HSV、翻轉(zhuǎn)跑基線。記錄基線的 P/R/mAP。 第二步打開 mosaicmixup 保持關(guān)閉觀察指標(biāo)變化。mosaic 通常能帶來明顯收益因?yàn)樵黾恿四繕?biāo)多樣性和背景多樣性。如果收益明顯可以保留。 第三步如果數(shù)據(jù)集較小或類別較多打開 mixupmosaic 保持開觀察收益。mixup 通常對分類有幫助對定位幫助有限。 第四步調(diào)整 HSV 參數(shù)范圍色調(diào)偏移量 H、飽和度偏移量 S、亮度偏移量 V。如果你現(xiàn)場的光照變化劇烈可以擴(kuò)大 HSV 偏移范圍。 第五步調(diào)整翻轉(zhuǎn)概率。如果你的場景中目標(biāo)左右不對稱如手勢、面部表情降低 fliplr。 十、損失函數(shù)設(shè)計(jì)box/obj/cls 三路平衡實(shí)戰(zhàn) ------------------------------------------ 損失函數(shù)是 YOLOv5 訓(xùn)練中最重要的部分也是最值得深入調(diào)優(yōu)的區(qū)域。YOLOv5 的總損失由三類損失加權(quán)求和得到 Total Loss box_loss × λ_box obj_loss × λ_obj cls_loss × λ_cls 其中 λ_box、λ_obj、λ_cls 是由 hyp.yaml 中的 box、cls、obj 參數(shù)控制的權(quán)重項(xiàng)。理解這三路損失的機(jī)制是做有效優(yōu)化的前提。 10.1 box_loss定位質(zhì)量的衡量 box_loss 負(fù)責(zé)衡量預(yù)測框和 GT 框之間的定位誤差。YOLOv5 從 v5.0 開始使用 CIoUComplete IoU作為 box_loss 的核心度量。 回顧一下 IoU 家族的演進(jìn)邏輯 IoU Loss -log(IoU)。直接用兩個(gè)框的重疊程度做損失。當(dāng)兩框完全不重疊時(shí) IoU0無法反映分離程度梯度消失。 GIoUGeneralized IoU在 IoU 基礎(chǔ)上加入了外接框的懲罰項(xiàng)GIoU IoU - (外接框面積 - 并集面積) / 外接框面積。即使兩框完全分離GIoU 也能反映它們的距離遠(yuǎn)近。 DIoUDistance IoU在 GIoU 基礎(chǔ)上進(jìn)一步加入了中心點(diǎn)距離約束DIoU IoU - (中心點(diǎn)距離2 / 外接框?qū)蔷€2)。這讓收斂更快尤其是框大小接近但中心點(diǎn)錯開的情況。 CIoUComplete IoU在 DIoU 基礎(chǔ)上再加入寬高比約束CIoU IoU - (中心點(diǎn)距離項(xiàng)) - (寬高比項(xiàng))。同時(shí)優(yōu)化重疊面積、中心點(diǎn)距離、寬高比是目前 YOLO 系列最常用的 box_loss。 理解這個(gè)演進(jìn)邏輯你就知道為什么改 IoU 變體可能帶來收益不同 IoU 損失對框的什么方面不夠好的敏感度不同。如果你的檢測框總是中心點(diǎn)準(zhǔn)確但寬高比不對CIoU 比 DIoU 更適合如果框總是和 GT 重疊夠但中心點(diǎn)偏得遠(yuǎn)DIoU 是更好的選擇。 10.2 obj_loss目標(biāo)性判斷的置信度學(xué)習(xí) obj_loss 衡量這個(gè)位置有沒有目標(biāo)的判斷能力。這是一個(gè)二分類問題本格子是否包含 GT 目標(biāo)的中心點(diǎn)。 正樣本分配規(guī)則GT 框中心點(diǎn)落在哪個(gè) Grid Cell哪個(gè) Grid Cell 對應(yīng)的 Anchor Box 就是正樣本置信度 target 1。此外如果同一個(gè) GT 和多個(gè) Anchor 匹配通常取 IoU 最高的那個(gè) Anchor 為正樣本。 負(fù)樣本分配規(guī)則不是正樣本但與 GT 的 IoU 超過某個(gè)閾值的格子為忽略樣本通常 target -1不參與 loss 計(jì)算。其余格子為負(fù)樣本target 0置信度應(yīng)該接近0。 obj_loss 使用 BCE二元交叉熵或者 Focal BCE 計(jì)算。如果啟用 Focal Loss通過 hyp.yaml 中的 cls_pw 參數(shù)控制則用 Focal BCE 替代標(biāo)準(zhǔn) BCE以降低易分類負(fù)樣本的影響。 10.3 cls_loss類別判斷的分類學(xué)習(xí) cls_loss 衡量如果有目標(biāo)它屬于哪個(gè)類別的分類能力。使用 CE交叉熵或 Focal CE 計(jì)算。 類別不平衡時(shí)可以通過 class weights類別權(quán)重處理稀有類賦予更高的權(quán)重防止被頭部類別主導(dǎo)。YOLOv5 的 hyp.yaml 中通常不直接配置 class weights需要在 compute_loss 代碼中啟用通常是一個(gè)可選項(xiàng)。 10.4 多尺度頭損失平衡 YOLOv5 有三個(gè)檢測頭P3/P4/P5分別對應(yīng)小目標(biāo)80x80、中目標(biāo)40x40、大目標(biāo)20x20。這三個(gè)頭分別負(fù)責(zé)不同尺度的目標(biāo)大小差異很大直接用同一權(quán)重可能導(dǎo)致某類目標(biāo)訓(xùn)練不充分。 多尺度頭損失平衡的調(diào)節(jié)方式在 compute_loss 時(shí)給不同檢測頭的損失乘以不同的系數(shù)。YOLOv5 源碼中默認(rèn)的平衡系數(shù)是 [4.0, 1.0, 0.4]分別對應(yīng)小目標(biāo)頭、中目標(biāo)頭、大目標(biāo)頭。 如果你發(fā)現(xiàn)小目標(biāo)漏檢嚴(yán)重可以嘗試提高 P3 頭的權(quán)重比如從 4.0 改到 6.0 或 8.0。 如果你發(fā)現(xiàn)大目標(biāo)檢測不穩(wěn)定可以適當(dāng)提高 P5 頭的權(quán)重。 10.5 Focal Loss 的作用與拆分策略 Focal Loss 的設(shè)計(jì)目標(biāo)是解決難易樣本不平衡問題。在 YOLO 中正樣本目標(biāo)區(qū)域遠(yuǎn)少于負(fù)樣本背景區(qū)域且大量負(fù)樣本是簡單背景模型已經(jīng)很容易判斷這里沒有目標(biāo)。如果用標(biāo)準(zhǔn) BCE這些簡單負(fù)樣本貢獻(xiàn)的損失累積起來會淹沒正樣本的梯度。 Focal Loss 的公式FL(p_t) -α_t × (1 - p_t)^γ × log(p_t) 其中 (1-p_t)^γ 是調(diào)制因子。當(dāng)樣本容易分類時(shí)p_t 接近 1調(diào)制因子趨近于 0大幅降低易樣本的損失貢獻(xiàn)當(dāng)樣本難以分類時(shí)p_t 接近 0調(diào)制因子接近 1損失基本不變讓模型繼續(xù)聚焦于難樣本。 工程上有一個(gè)非常有價(jià)值的拆分策略先關(guān)注 obj目標(biāo)檢出再關(guān)注 cls類別分類。具體做法是 第一階段obj_loss 用 Focal BCEcls_loss 用普通 BCE。優(yōu)先保證能檢出來分類交給第二階段。 第二階段在基線穩(wěn)定后將 cls_loss 也切換為 Focal CE強(qiáng)化分類能力。 這種拆分策略適合漏檢代價(jià)高、誤分類代價(jià)相對低的業(yè)務(wù)場景如安監(jiān)、質(zhì)檢。 10.6 IoU 變體替換的實(shí)驗(yàn)方法 替換 IoU 變體CIoU→DIoU→SIoU→EIoU 等是 YOLOv5 調(diào)優(yōu)中一個(gè)經(jīng)常被提到的手段但很多人替換后沒有觀察到收益原因是實(shí)驗(yàn)方法不對。 正確的做法是單因素替換 有對照。每次只替換 IoU 變體固定其他所有參數(shù)lr、batch、增強(qiáng)、權(quán)重初始化跑至少 20-30 個(gè) epoch記錄完整曲線。不同 IoU 變體的收斂速度不同短期內(nèi)可能看不出差異但長期訓(xùn)練后可能有顯著差異。 SIoUSCYLLA-IoU是近年來提出的新變體引入了Angle cost和Distance cost的重新設(shè)計(jì)在某些數(shù)據(jù)集上比 CIoU 收斂更快。EIoU 則進(jìn)一步拆分了寬高比損失項(xiàng)在目標(biāo)形狀多樣的數(shù)據(jù)集上可能更有效。 十一、驗(yàn)證與 best.pt 保存機(jī)制 ------------------------------ 很多人把 best.pt 等同于某個(gè)指標(biāo)最高的 epoch這是一個(gè)常見的誤解。理解 best.pt 的保存機(jī)制對正確評估模型效果和制定保存策略至關(guān)重要。 11.1 fitness 綜合評分機(jī)制 YOLOv5 的 best.pt 不是按單個(gè)指標(biāo)保存的而是按 fitness適應(yīng)度綜合評分決定。fitness 是一個(gè)加權(quán)組合典型的計(jì)算方式是 fitness 0.1 × P 0.9 × mAP0.5:0.95 或者更復(fù)雜的變體 fitness w1 × P w2 × R w3 × mAP0.5 w4 × mAP0.5:0.95 其中 w1、w2、w3、w4 是權(quán)重參數(shù)可以在源碼中修改。權(quán)重的設(shè)計(jì)反映了什么對你更重要 如果你更看重查全率Recall可以提高 R 的權(quán)重防止模型為了追求高精度而漏檢。 如果你更看重高精度Precision可以適當(dāng)降低 Recall 的權(quán)重。 如果你在 COCO 格式數(shù)據(jù)集上評測mAP0.5:0.95 是最重要的指標(biāo)建議給它最高權(quán)重。 這就解釋了為什么最高 Recall 未必是 bestRecall 最高的那一輪可能 Precision 很低導(dǎo)致綜合 fitness 并不是最高的。 11.2 業(yè)務(wù)目標(biāo)映射到 fitness 權(quán)重 不同的業(yè)務(wù)場景對 P/R 的偏好不同 場景一醫(yī)療影像輔助診斷。漏檢假陰性可能導(dǎo)致重大風(fēng)險(xiǎn)此時(shí)應(yīng)該降低 fitness 中 Recall 的權(quán)重閾值或者單獨(dú)設(shè)置Recall 優(yōu)先的保存規(guī)則。寧可多報(bào)一些可疑區(qū)域Precision 降低也不要漏掉真正的病灶。 場景二商品識別計(jì)數(shù)。需要精準(zhǔn)計(jì)數(shù)誤檢假陽性會直接導(dǎo)致計(jì)數(shù)錯誤此時(shí)應(yīng)該更看重 Precision。可以適當(dāng)犧牲一些 Recall。 場景三通用目標(biāo)檢測監(jiān)控、安防。沒有明顯的 P/R 偏好使用默認(rèn)的 fitness 權(quán)重組合通常就是最優(yōu)選擇。 11.3 驗(yàn)證閾值對指標(biāo)觀感的影響 YOLOv5 驗(yàn)證時(shí)會使用 conf_thres 和 iou_thres 兩個(gè)閾值 conf_thres置信度閾值只保留置信度高于此值的預(yù)測。設(shè)得越高Precision 越高但 Recall 越低。 iou_thresNMS 閾值NMS 時(shí) IoU 超過此值的框會被抑制。設(shè)得越低重復(fù)框越少但可能誤刪重疊目標(biāo)。 這兩個(gè)閾值的選擇直接影響驗(yàn)證指標(biāo)。實(shí)戰(zhàn)建議做橫向?qū)Ρ葘?shí)驗(yàn)時(shí)所有模型的驗(yàn)證閾值必須完全一致包括 conf_thres 和 iou_thres否則對比結(jié)論不可靠。 通常 mAP0.5 是最魯棒的指標(biāo)因?yàn)樗辉u估 IoU0.5 下的 P/R 曲線下面積對閾值選擇的敏感性低于 mAP0.5:0.95它評估 IoU 從 0.5 到 0.95 的平均值。 十二、排錯清單從現(xiàn)象到根因的系統(tǒng)定位 ------------------------------------- 本節(jié)整理了 YOLOv5 訓(xùn)練中最常見的四類問題及其完整排查路徑。 12.1 問題一參數(shù)改了但指標(biāo)沒變化 排查步驟 第一步檢查啟動日志中的最終生效參數(shù)。在訓(xùn)練開始時(shí)會打印 opt 字典確認(rèn)關(guān)鍵參數(shù)batch、imgsz、lr、weight_decay、增強(qiáng)開關(guān)是否和預(yù)期一致。 第二步如果使用了 resume檢查 opt.yaml 是否覆蓋了你的修改。打開 run/expN/opt.yaml對比其中的參數(shù)和你的預(yù)期。 第三步如果修改的是 hyp.yaml增強(qiáng)參數(shù)確認(rèn)訓(xùn)練時(shí)是否真的讀取了這個(gè)文件。可以在 hyp.yaml 中加一個(gè)唯一的注釋比如加一行 # DEBUG_TEST_001然后確認(rèn)訓(xùn)練日志中是否出現(xiàn)了這個(gè)注釋。 第四步如果以上都沒問題檢查代碼緩存如果有 .pyc 文件或 __pycache__ 目錄可能運(yùn)行的是舊代碼。執(zhí)行 rm -rf __pycache__ 清理后再試。 12.2 問題二改了標(biāo)簽但指標(biāo)不變 排查步驟 第一步檢查 .cache 文件是否仍然存在。如果存在刪除它并重新啟動訓(xùn)練。 第二步抽樣可視化。用 YOLOv5 自帶的 plot_val_results.py 或者手動寫一個(gè)腳本來可視化 GT 框確認(rèn)標(biāo)簽是否正確讀取。 第三步檢查圖片和標(biāo)簽的對應(yīng)關(guān)系。確認(rèn) images/ 下的圖片文件名和 labels/ 下的標(biāo)簽文件名完全一致注意擴(kuò)展名。 第四步確認(rèn) Dataset 的 cache 參數(shù)設(shè)置。如果使用了 --cache-images確保圖片和標(biāo)簽的 cache 都刷新了。 12.3 問題三自寫推理結(jié)果和官方推理差距大 排查步驟 第一步預(yù)處理一致性排查。這是差距最大的來源。檢查顏色通道順序YOLO 用 RGBOpenCV 默認(rèn) BGR、歸一化系數(shù)/255.0 還是 /255 還是 /1、resize 方式letterbox 保持寬高比 vs 直接拉伸、padding 顏色BGR 還是 RGB值是多少。 第二步后處理一致性排查。檢查 conf_thres 和 iou_thres 是否一致。檢查 NMS 實(shí)現(xiàn)是否和 YOLOv5 的 torchvision.ops.nms 等價(jià)注意 YOLOv5 的 NMS 做了多類別處理不是直接調(diào)用單類別 nms。 第三步模型加載確認(rèn)。檢查加載 best.pt 時(shí)是否正確切換到 eval 模式model.eval()。檢查是否漏了 .float() 或 .half()如果官方用 FP16你用 FP32數(shù)值精度差異可能累積。 第四步輸出張量解析。YOLOv5 的輸出是 [batch, 3, 85, H, W]不是 [batch, 85, H, W, 3]確認(rèn)你解析輸出張量的 reshape 順序是否正確。 12.4 問題四訓(xùn)練 loss 發(fā)散或劇烈抖動 排查步驟 第一步梯度爆炸檢測。在訓(xùn)練循環(huán)中加入梯度范數(shù)打印torch.nn.utils.clip_grad_norm_。如果 grad_norm 超過 100通常說明梯度爆炸。處理方法調(diào)低學(xué)習(xí)率lr0 降低 5-10 倍或者打開梯度裁剪YOLOv5 中可用 --gr 等參數(shù)控制。 第二步學(xué)習(xí)率是否過高。觀察第一個(gè) epoch 的 loss 曲線。如果第一個(gè) epoch loss 就非常高比如超過 10說明 lr 過高。YOLOv5 默認(rèn) lr00.01SGD對于小 batch 或小模型來說可能過高可以嘗試 0.001。 第三步增強(qiáng)是否過強(qiáng)。關(guān)閉 mosaic 和 mixup只用基礎(chǔ)的 HSV 和翻轉(zhuǎn)看 loss 曲線是否恢復(fù)正常。如果恢復(fù)正常說明增強(qiáng)強(qiáng)度超過了模型當(dāng)前能力的接受范圍。 第四步batch size 與 weight decay 的配合。減小 batch 后如果訓(xùn)練變得不穩(wěn)定檢查 weight_decay 是否需要同比降低參考 effective_wd 的計(jì)算公式。 十三、推薦實(shí)驗(yàn)順序一次只改一個(gè)核心因素 ------------------------------------- 做 YOLOv5 優(yōu)化時(shí)最大的浪費(fèi)是同時(shí)改了很多東西然后說不清哪個(gè)有效。下面的實(shí)驗(yàn)順序是經(jīng)過驗(yàn)證的高效優(yōu)化路徑每次只改一個(gè)核心因素確保你能準(zhǔn)確定位每個(gè)改動的收益。 第一階段數(shù)據(jù)正確性驗(yàn)證基石。在開始任何優(yōu)化之前必須確認(rèn)數(shù)據(jù)本身沒問題。操作跑 1-2 個(gè) epoch 的訓(xùn)練然后可視化 10-20 張樣本的 GT 框用 YOLOv5 自帶的 plot_labels 或手寫腳本。檢查GT 框是否畫在正確位置、類別標(biāo)簽是否和圖片內(nèi)容一致、圖片讀取是否正常。如果數(shù)據(jù)有問題優(yōu)化一切都白搭。 第二階段可信基線建立。這一步的目的是在最干凈的條件下獲得一個(gè)基準(zhǔn)指標(biāo)用于后續(xù)對照。操作關(guān)閉 mosaic、關(guān)閉 mixup、增強(qiáng)只保留基礎(chǔ)的 HSV 和水平翻轉(zhuǎn)跑完一個(gè)完整的訓(xùn)練周期通常 300 epochs記錄 best.fitness 和對應(yīng) epoch。增強(qiáng)越少離線指標(biāo)通常越好看因?yàn)橛?xùn)練難度降低了但泛化能力未必最好。所以基線的意義在于基準(zhǔn)而不是最優(yōu)。 第三階段增強(qiáng)逐項(xiàng)恢復(fù)。每隔 3-5 個(gè) epoch 開啟一個(gè)新的增強(qiáng)手段記錄每個(gè)增強(qiáng)單獨(dú)帶來的變化。比如 baseline只有 HSV flip → mosaic → mixup → augment 的其他選項(xiàng) 通過這個(gè)過程你會知道每個(gè)增強(qiáng)在你的數(shù)據(jù)集上帶來的真實(shí)收益是正還是負(fù)。 第四階段損失權(quán)重調(diào)優(yōu)。觀察哪個(gè)尺度小/中/大目標(biāo)的 AP 最低針對性地調(diào)高對應(yīng)檢測頭的損失權(quán)重。比如 P3 (80x80) 的 AP 明顯低于其他兩個(gè)就將對應(yīng)權(quán)重從 4.0 改到 6.0 再到 8.0觀察 5 個(gè) epoch 的趨勢。 第五階段IoU 變體和 Focal 策略。如果基礎(chǔ)優(yōu)化都已做完、指標(biāo)仍有提升空間可以嘗試替換 IoU 損失CIoU→DIoU→SIoU→EIoU和 Focal Loss 的拆分策略。每次替換后跑 20-30 個(gè) epoch 觀察長期趨勢。 第六階段fitness 規(guī)則校準(zhǔn)。根據(jù)業(yè)務(wù)目標(biāo)重新設(shè)定 fitness 權(quán)重組合確保 best.pt 的保存邏輯和驗(yàn)收標(biāo)準(zhǔn)一致。比如業(yè)務(wù)更關(guān)心 Recall就把 fitness 中 Recall 的權(quán)重調(diào)高。 第六步之后你就有了一個(gè)完整對照的實(shí)驗(yàn)記錄可以寫報(bào)告、寫論文、或者做下一步優(yōu)化規(guī)劃。 十四、面試與匯報(bào)的表達(dá)升級從會調(diào)參到會優(yōu)化 ----------------------------------------------- 能清晰表達(dá) YOLOv5 訓(xùn)練鏈路和優(yōu)化思路是區(qū)分調(diào)參工程師和算法工程師的重要標(biāo)志。下面給出幾套可直接使用的表達(dá)模板。 模板一適用于面試算法崗 我做過 YOLOv5 的系統(tǒng)性優(yōu)化核心思路是鏈路診斷 單變量實(shí)驗(yàn)。具體來說我會在訓(xùn)練初期先固定數(shù)據(jù)正確性標(biāo)簽、cache、增強(qiáng)然后關(guān)閉復(fù)雜增強(qiáng)建立基線再逐項(xiàng)恢復(fù)增強(qiáng)觀察單變量收益。在損失優(yōu)化階段我會先分析多尺度頭的 AP 分布針對性調(diào)整頭部損失權(quán)重。IoU 變體替換和 Focal 策略則放在最后做長期對照實(shí)驗(yàn)。 模板二適用于晉升答辯或項(xiàng)目匯報(bào) 本次 YOLOv5 訓(xùn)練的優(yōu)化工作分為三個(gè)層面數(shù)據(jù)層面通過增強(qiáng)逐項(xiàng)恢復(fù)實(shí)驗(yàn)確定 mosaicHSV 是對我們數(shù)據(jù)集收益最高的組合損失層面通過頭部損失平衡調(diào)整將小目標(biāo) AP 提升了 X%工程層面通過 fitness 規(guī)則重設(shè)確保 best.pt 保存邏輯與業(yè)務(wù)驗(yàn)收標(biāo)準(zhǔn)一致。 模板三適用于描述具體問題的診斷過程 當(dāng)發(fā)現(xiàn)訓(xùn)練 loss 抖動后我依次排查了梯度范數(shù)排除爆炸、學(xué)習(xí)率從 0.01 降到 0.001、增強(qiáng)強(qiáng)度關(guān)閉 mosaic 后恢復(fù)穩(wěn)定、weight decay 縮放batch 從 16 改到 64 后降低了 wd。最終通過梯度裁剪和降低 wd 的組合解決了問題并驗(yàn)證了在更大 batch 下模型收斂更穩(wěn)定mAP 提升了約 X%。 這類表達(dá)的核心是說清楚現(xiàn)象→排查→假設(shè)→實(shí)驗(yàn)→結(jié)論的完整過程而不是只給我改了什么參數(shù)、結(jié)果變好了。 十五、最終總結(jié) ------------ YOLOv5 訓(xùn)練源碼學(xué)習(xí)的真正價(jià)值不在于背函數(shù)名而在于建立三個(gè)能力 第一個(gè)能力鏈路視角。能說出參數(shù)從哪來到哪去能定位任何訓(xùn)練異常到具體模塊能解釋為什么這個(gè)參數(shù)這樣設(shè)置。 第二個(gè)能力系統(tǒng)優(yōu)化。不是調(diào)一個(gè)參數(shù)等結(jié)果而是有計(jì)劃地建立基線、逐項(xiàng)實(shí)驗(yàn)、記錄對照最終用數(shù)據(jù)說服自己和他人這個(gè)改動有效。 第三個(gè)能力工程閉環(huán)。能從訓(xùn)練到推理全鏈路保持一致性預(yù)處理/后處理/閾值能設(shè)計(jì)符合業(yè)務(wù)目標(biāo)的 fitness 規(guī)則能用排錯清單快速定位問題根因。 當(dāng)你同時(shí)具備這三個(gè)能力你就已經(jīng)不是會跑 YOLO了而是會優(yōu)化 YOLO。這才是技術(shù)深水區(qū)的核心競爭力。 完