1. 為什么幼苗期雜草檢測(cè)是一個(gè)真問(wèn)題而不是為了跑模型才編出來(lái)的需求做農(nóng)業(yè)視覺(jué)項(xiàng)目最怕的一件事就是拿著一個(gè)通用目標(biāo)檢測(cè)模型套上農(nóng)田兩個(gè)字然后宣稱(chēng)自己做了個(gè)落地系統(tǒng)。實(shí)際上地里的情況遠(yuǎn)比公開(kāi)數(shù)據(jù)集復(fù)雜得多。尤其玉米幼苗期也就是出苗后兩到六葉這個(gè)階段視覺(jué)算法要面對(duì)的根本不是檢測(cè)一個(gè)東西這么簡(jiǎn)單。玉米幼苗期的雜草危害很大雜草會(huì)和幼苗搶水分、搶光照、搶養(yǎng)分而且這個(gè)階段剛好是除草劑施用的關(guān)鍵窗口期。施早了藥效沒(méi)出來(lái)施晚了雜草大了抗性上來(lái)除草劑用量翻倍還可能影響苗的正常生長(zhǎng)。所以什么時(shí)候除草、除哪些草這種決策非常依賴(lài)對(duì)田間雜草分布的準(zhǔn)確感知。過(guò)去靠農(nóng)戶(hù)自己蹲在地頭看一片地幾百畝看不過(guò)來(lái)雇人查成本高且主觀(guān)性強(qiáng)。基于深度學(xué)習(xí)的檢測(cè)系統(tǒng)解決的就是這個(gè)問(wèn)題把攝像頭采集的圖像實(shí)時(shí)識(shí)別出玉米苗和各類(lèi)雜草輸出位置和數(shù)量輔助精準(zhǔn)噴藥或者除草決策。我見(jiàn)過(guò)不少人一開(kāi)始把這個(gè)問(wèn)題想得太簡(jiǎn)單——不就是檢測(cè)兩類(lèi)目標(biāo)嗎。實(shí)際碰過(guò)苗期圖像的人會(huì)明白問(wèn)題難在幾個(gè)非常具體的地方。第一幼苗期的玉米和很多禾本科雜草長(zhǎng)得極其相似都是細(xì)長(zhǎng)葉片、綠色、形態(tài)接近尤其出土后十幾天內(nèi)人和模型都容易混淆。第二農(nóng)田圖像的光照變化極大早晨逆光、中午強(qiáng)光、噴灌后葉片帶水珠、土壤濕度不一樣顏色分布完全不同。第三目標(biāo)尺寸普遍偏小一株剛出土的幼苗在1080p圖像里可能只有二三十個(gè)像素高小目標(biāo)檢測(cè)本身就是目標(biāo)檢測(cè)領(lǐng)域的頑疾。所以這個(gè)項(xiàng)目的完整價(jià)值不在于跑通一個(gè)YOLOv11訓(xùn)練流程而在于搭建了一套能應(yīng)對(duì)上述實(shí)際困難的系統(tǒng)YOLOv11負(fù)責(zé)檢測(cè)核心自建田間數(shù)據(jù)集提供訓(xùn)練支撐登錄注冊(cè)和UI界面讓非算法人員也能用起來(lái)。整套東西更適合三種人參考——正在做智慧農(nóng)業(yè)相關(guān)課題的學(xué)生、想快速搭建視覺(jué)檢測(cè)演示系統(tǒng)的開(kāi)發(fā)者、以及需要給農(nóng)業(yè)信息化項(xiàng)目做技術(shù)驗(yàn)證的產(chǎn)品人員。本文我會(huì)把從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練到系統(tǒng)集成的完整鏈路拆開(kāi)講包括那些訓(xùn)練曲線(xiàn)和接口文檔里不會(huì)寫(xiě)的坑。2. 從玉米苗到檢測(cè)框YOLOv11憑什么能處理這類(lèi)小目標(biāo)場(chǎng)景2.1 YOLO系列演進(jìn)到v11真正受益的是部署端YOLOv11作為YOLO系列的新版本核心結(jié)構(gòu)走的還是backbone neck head這條路線(xiàn)但它在幾個(gè)關(guān)鍵位置上做了調(diào)整。相比早幾代的YOLOv5v11在骨干網(wǎng)絡(luò)里引入了更高效的卷積堆疊模塊比如C3k2這種跨階段部分連接結(jié)構(gòu)的改進(jìn)版能夠讓信息在層與層之間流動(dòng)得更充分同時(shí)計(jì)算成本沒(méi)有明顯增加。SPPF結(jié)構(gòu)繼續(xù)負(fù)責(zé)多尺度特征融合而檢測(cè)頭部分沿用了anchor-free的解耦頭設(shè)計(jì)也就是不再依賴(lài)預(yù)設(shè)的錨框尺寸來(lái)匹配目標(biāo)而是直接回歸目標(biāo)中心和邊界。這一點(diǎn)對(duì)幼苗檢測(cè)來(lái)說(shuō)很實(shí)用因?yàn)槊绾碗s草的尺寸變化范圍很大固定錨框往往顧此失彼anchor-free讓模型在訓(xùn)練階段更容易適配不同尺度的目標(biāo)。還有一個(gè)容易被忽視的點(diǎn)是YOLOv11在訓(xùn)練階段的mosaic增強(qiáng)、自動(dòng)學(xué)習(xí)超參這些機(jī)制上做得比較成熟也就是說(shuō)哪怕你不太會(huì)手動(dòng)調(diào)參默認(rèn)配置也能訓(xùn)練出一個(gè)可用的模型。這個(gè)特性對(duì)于落地項(xiàng)目非常重要因?yàn)閷?shí)際項(xiàng)目里時(shí)間往往花在數(shù)據(jù)上而不是網(wǎng)絡(luò)結(jié)構(gòu)研究上。我自己在測(cè)試集上的體驗(yàn)是同樣的數(shù)據(jù)量v11比v5的mAP能高出三到五個(gè)百分點(diǎn)尤其在小目標(biāo)類(lèi)別上漏檢率改善比較明顯。2.2 一半看模型一半看輸入預(yù)處理環(huán)節(jié)決定了模型上限很多人在跑檢測(cè)項(xiàng)目時(shí)會(huì)忽略預(yù)處理的重要性。YOLOv11本身有自適應(yīng)圖片縮放但它在推理時(shí)默認(rèn)會(huì)做letterbox操作也就是把輸入圖像等比縮放到模型輸入尺寸比如640x640空白部分用灰色填充。這個(gè)操作本身沒(méi)問(wèn)題但在玉米幼苗檢測(cè)場(chǎng)景里有個(gè)很實(shí)際的細(xì)節(jié)幼苗目標(biāo)太小直接把整張圖縮到640x640相當(dāng)于把原本可能在1080p圖像里占幾十像素的小目標(biāo)進(jìn)一步壓縮成十幾個(gè)像素甚至幾個(gè)像素檢測(cè)頭幾乎不可能在這種尺寸下輸出穩(wěn)定結(jié)果。所以這個(gè)項(xiàng)目的推理管線(xiàn)里我在圖像輸入模型前增加了兩個(gè)可配置的選項(xiàng)一個(gè)是切片推理把大圖切成若干有重疊的塊每塊放大后再進(jìn)模型另一個(gè)是整體縮放加多尺度預(yù)測(cè)。前者適合地頭拍的完整田塊圖像后者適合單株或者幾株苗的特寫(xiě)。這個(gè)設(shè)計(jì)思想其實(shí)和遙感圖像目標(biāo)檢測(cè)里的tiling策略一脈相承——不是模型不夠強(qiáng)而是輸入方式?jīng)]有匹配目標(biāo)的實(shí)際尺度。預(yù)處理還包括歸一化方式。YOLOv11內(nèi)部會(huì)把像素值除以255這個(gè)不用自己重復(fù)做但要注意圖像通道順序。OpenCV讀出來(lái)是BGR模型訓(xùn)練時(shí)用的是RGB推理接口里如果忘了轉(zhuǎn)換可能出現(xiàn)訓(xùn)練指標(biāo)很好、實(shí)際檢測(cè)一團(tuán)糟的詭異情況。這類(lèi)問(wèn)題幾乎每個(gè)做過(guò)推理部署的人都遇到過(guò)排查起來(lái)非常隱蔽。2.3 一次推理接口設(shè)計(jì)加載一次模型別每次請(qǐng)求都重新初始化系統(tǒng)落地時(shí)有個(gè)性能問(wèn)題值得單獨(dú)說(shuō)模型加載非常耗時(shí)一張訓(xùn)練好的YOLOv11權(quán)重文件根據(jù)backbone規(guī)模不同加載時(shí)間可能從幾百毫秒到兩三秒不等。如果UI界面里每次點(diǎn)一次檢測(cè)按鈕就去重新加載模型那系統(tǒng)基本沒(méi)法用用戶(hù)體驗(yàn)就是卡頓、轉(zhuǎn)圈、再卡頓。標(biāo)準(zhǔn)的做法是在程序啟動(dòng)時(shí)把模型加載到內(nèi)存里初始化成一個(gè)全局的推理對(duì)象后續(xù)所有檢測(cè)請(qǐng)求直接調(diào)用這個(gè)對(duì)象的predict方法。我見(jiàn)過(guò)一些項(xiàng)目在Flask或者PyQt的槽函數(shù)里反復(fù)重載模型結(jié)果就是模型推理只要幾十毫秒加載反而占了每次操作的大部分時(shí)間。這個(gè)項(xiàng)目里我把模型加載放到了登錄成功后的主界面初始化階段配合一個(gè)進(jìn)度提示用戶(hù)登錄后能看到模型加載中的過(guò)渡狀態(tài)加載完成后所有檢測(cè)操作走內(nèi)存推理單張圖耗時(shí)基本控制在幾十到一百多毫秒的量級(jí)取決于是否啟用切片和多尺度。提示如果后續(xù)要部署成Web服務(wù)建議把推理封裝成獨(dú)立進(jìn)程或者使用常駐服務(wù)避免GUI線(xiàn)程阻塞。Python的GIL對(duì)推理影響不大因?yàn)閅OLO推理主要走底層CUDA計(jì)算但圖像預(yù)處理和結(jié)果后處理仍然會(huì)占用CPU時(shí)間放主線(xiàn)程會(huì)導(dǎo)致界面掉幀。3. 數(shù)據(jù)集決定項(xiàng)目的天花板田間圖像采集與標(biāo)注的那些講究3.1 采集場(chǎng)景覆蓋光照、濕度、生育期一個(gè)都不能少這個(gè)項(xiàng)目的訓(xùn)練數(shù)據(jù)以自建田間數(shù)據(jù)集為主采集階段大概是整個(gè)項(xiàng)目里最累但最值得的一段。首先是時(shí)間分布玉米從出苗到六葉期幾乎每天形態(tài)都在變。我只挑了三天采一次后面發(fā)現(xiàn)模型對(duì)沒(méi)見(jiàn)過(guò)的生育期階段誤檢明顯增多才改成覆蓋多個(gè)采集批次。其次是一天內(nèi)的光照變化清晨和傍晚的側(cè)光會(huì)讓葉片產(chǎn)生長(zhǎng)陰影葉片顏色偏黃綠色正午頂光下顏色偏深綠土壤反光強(qiáng)陰天反而是最均勻的光照。我的建議是建模時(shí)要把光照條件當(dāng)成分層變量來(lái)采集而不是隨機(jī)拍。水肥條件和土壤背景也要納入考慮。覆膜地和露地田的土壤顏色完全不同前者是白色或透明膜反光后者是黃壤或黑壤。噴灌后的葉片帶水珠、滴灌條件下地表濕潤(rùn)顏色偏深這些都會(huì)直接影響模型對(duì)綠色的感知。有一版模型在露地測(cè)試效果不錯(cuò)換到覆膜地塊后誤檢率翻倍就是背景差異太大導(dǎo)致的。玉米苗和雜草混生的情況要重點(diǎn)采集。自然田塊里不會(huì)出現(xiàn)純玉米苗區(qū)和純雜草區(qū)的整齊分界大部分圖像都是苗、草、土混在一起。標(biāo)注時(shí)這種圖像很費(fèi)眼睛但恰恰是這種混亂場(chǎng)景才真正訓(xùn)練出模型的判別力。3.2 標(biāo)注規(guī)范框的邊界、遮擋處理、難例怎么標(biāo)數(shù)據(jù)標(biāo)注是另一個(gè)決定上限的環(huán)節(jié)。我用的標(biāo)注工具是開(kāi)源的labelme和它配套的格式轉(zhuǎn)換腳本先標(biāo)成JSON再轉(zhuǎn)成YOLO格式的txt。如果你有精力和預(yù)算可以用某商業(yè)標(biāo)注平臺(tái)的輔助標(biāo)注功能先跑一遍預(yù)標(biāo)注模型人工修正邊界框效率能提升不少。但對(duì)于單機(jī)個(gè)人項(xiàng)目labelme完全夠用。標(biāo)注時(shí)最需要統(tǒng)一的標(biāo)準(zhǔn)是邊界框的定義。玉米苗葉片展開(kāi)方向各異有的耷拉下來(lái)貼著地面有的斜向上生長(zhǎng)。我統(tǒng)一的原則是框住植株所有可見(jiàn)綠色部分的最小外接矩形如果葉片被雜草遮擋了一部分按完整葉片應(yīng)該占據(jù)的范圍去推斷邊界而不是只框可見(jiàn)部分。后者會(huì)讓模型學(xué)到被遮擋的葉子不該有完整邊界這種錯(cuò)誤規(guī)律。類(lèi)別定義上我最初分了玉米苗、禾本科雜草、闊葉雜草三類(lèi)。后來(lái)發(fā)現(xiàn)禾本科雜草和玉米苗形態(tài)上的相似性導(dǎo)致標(biāo)注本身的含爭(zhēng)議性很大——同一株草不同標(biāo)注者有的標(biāo)為禾本科雜草有的認(rèn)為更像玉米苗。最后項(xiàng)目里采用了更穩(wěn)定的方案統(tǒng)一標(biāo)成玉米苗和雜草兩類(lèi)在類(lèi)別內(nèi)部再由系統(tǒng)輸出目標(biāo)數(shù)量統(tǒng)計(jì)。這個(gè)調(diào)整讓標(biāo)注一致性大幅提高訓(xùn)練出來(lái)的模型反而在用戶(hù)視角更實(shí)用。難例的處理是最花時(shí)間的。比如剛出土的苗只有兩片子葉形態(tài)和某些雜草的幼苗幾乎一樣比如雜草和玉米苗根系交纏重疊比如葉片枯黃但仍算植株一部分的邊界情況。這些難例在初版訓(xùn)練集里占比不高導(dǎo)致模型上線(xiàn)后集中出錯(cuò)。后來(lái)我有意識(shí)地把難例單獨(dú)建了一個(gè)目錄每次訓(xùn)練后專(zhuān)門(mén)看難例集的測(cè)試結(jié)果針對(duì)性地去補(bǔ)采、補(bǔ)標(biāo)而不是盲目增加總數(shù)據(jù)量。3.3 數(shù)據(jù)增強(qiáng)從量大到有效Mosaic與色彩擾動(dòng)配合使用目標(biāo)檢測(cè)任務(wù)里數(shù)據(jù)增強(qiáng)幾乎是必選項(xiàng)YOLOv11自帶的增強(qiáng)策略已經(jīng)很強(qiáng)但有幾個(gè)參數(shù)在農(nóng)業(yè)場(chǎng)景值得手動(dòng)調(diào)整。我保留了Mosaic增強(qiáng)因?yàn)樗馨阉膹垐D拼成一張讓模型在訓(xùn)練時(shí)看到更多樣化的目標(biāo)組合和尺度變化對(duì)小目標(biāo)檢出率很有幫助。不過(guò)mosaic比例過(guò)高會(huì)導(dǎo)致訓(xùn)練后期模型難以收斂我的做法是前一半訓(xùn)練周期開(kāi)啟mosaic后一半逐漸關(guān)掉讓模型在真實(shí)分布上做精調(diào)這一招在YOLOv5時(shí)代就很有效。色彩擾動(dòng)在農(nóng)業(yè)場(chǎng)景要慎重。YOLO默認(rèn)的HSV變換幅度較大比如色相偏移過(guò)大可能把綠色改成紫色或者黃色這在一般物體檢測(cè)里問(wèn)題不大因?yàn)槟繕?biāo)類(lèi)別對(duì)顏色不敏感但玉米苗和雜草的區(qū)分高度依賴(lài)綠色的漸變色相反轉(zhuǎn)會(huì)讓模型收到錯(cuò)誤信息。我把hsv_h從默認(rèn)的0.015降到0.008hsv_s和hsv_v維持在0.6左右讓增強(qiáng)后圖像仍在真實(shí)綠色附近波動(dòng)這樣既提升了光照魯棒性又沒(méi)有破壞類(lèi)別可分性。還有一個(gè)容易忽略的增強(qiáng)是水平翻轉(zhuǎn)。玉米苗的葉片朝向沒(méi)有固定方向規(guī)律水平翻轉(zhuǎn)是安全且有效的垂直翻轉(zhuǎn)一般不建議在田間場(chǎng)景用因?yàn)橥寥篮吞炜盏南鄬?duì)位置關(guān)系隱含了拍攝角度信息垂直翻轉(zhuǎn)會(huì)引入不真實(shí)的視角。旋轉(zhuǎn)方面我控制在正負(fù)15度之內(nèi)超過(guò)這個(gè)范圍玉米葉片原本的細(xì)長(zhǎng)條形態(tài)容易被插值模糊掉。注意數(shù)據(jù)增強(qiáng)不是越多越好。農(nóng)業(yè)場(chǎng)景的難點(diǎn)本身在于環(huán)境差異大增強(qiáng)是用來(lái)模擬環(huán)境差異的而不是用來(lái)把圖像改得面目全非。判斷增強(qiáng)是否合理的標(biāo)準(zhǔn)很簡(jiǎn)單——增強(qiáng)后的圖像人眼是否還能正確識(shí)別出玉米苗和雜草如果人眼都認(rèn)不出來(lái)模型只會(huì)學(xué)到噪聲。4. 模型訓(xùn)練的關(guān)鍵參數(shù)與調(diào)優(yōu)路徑從損失下降到mAP浮動(dòng)的完整過(guò)程4.1 訓(xùn)練配置與顯存約束選對(duì)輸入尺寸和batch size訓(xùn)練環(huán)境我用的是單卡GPU顯存16G這個(gè)配置在目前做YOLOv11訓(xùn)練里算是起點(diǎn)級(jí)別但也足夠訓(xùn)練出一個(gè)可用的苗期檢測(cè)模型。訓(xùn)練前首先要定的是輸入尺寸imgsz。官方默認(rèn)是640前面說(shuō)過(guò)對(duì)于幼苗小目標(biāo)我最終選擇了在訓(xùn)練和推理時(shí)用800到960之間的值。具體選多少取決于顯存。輸入尺寸從640提到960顯存占用大約增加一倍以上我的batch size從16降到8才穩(wěn)定下來(lái)。如果你顯存不夠?qū)幙蒪atch小一點(diǎn)也要保輸入尺寸因?yàn)閷?duì)幼苗檢測(cè)來(lái)說(shuō)小目標(biāo)的像素信息比batch size帶來(lái)的梯度穩(wěn)定性更重要。訓(xùn)練輪數(shù)epochs我設(shè)置的是200輪。實(shí)際發(fā)現(xiàn)模型在120輪左右已經(jīng)基本收斂后面更多是在細(xì)微波動(dòng)。這里有個(gè)經(jīng)驗(yàn)值如果你的訓(xùn)練集只有幾百?gòu)垐D200輪容易過(guò)擬合如果上了兩三千張200輪比較穩(wěn)妥。epochs的設(shè)置還要配合早停機(jī)制我在代碼里加了early stopping連續(xù)20輪驗(yàn)證集mAP沒(méi)有提升就自動(dòng)終止省去了不少等待時(shí)間。優(yōu)化器方面如果不做特殊調(diào)優(yōu)默認(rèn)的SGD和AdamW都能用。我在項(xiàng)目里用的是AdamW初始學(xué)習(xí)率0.001weight decay設(shè)為0.0005。YOLO系列訓(xùn)練時(shí)學(xué)習(xí)率會(huì)自動(dòng)做warmup和余弦退火所以不需要手動(dòng)調(diào)整學(xué)習(xí)率策略。真正需要盯的是loss曲線(xiàn)box_loss、cls_loss、dfl_loss三條曲線(xiàn)都應(yīng)該平滑下降如果某一條突然上揚(yáng)先別急著調(diào)參多半是數(shù)據(jù)里混入了標(biāo)注錯(cuò)誤。4.2 訓(xùn)練結(jié)果怎么看mAP不是唯一指標(biāo)漏檢率才是農(nóng)業(yè)場(chǎng)景的痛點(diǎn)模型訓(xùn)練完最直觀(guān)的評(píng)估指標(biāo)是mAP0.5和mAP0.5:0.95。我這個(gè)項(xiàng)目訓(xùn)練出來(lái)的模型在驗(yàn)證集上mAP0.5大約在0.91到0.93之間mAP0.5:0.95在0.78左右。但說(shuō)句實(shí)在話(huà)農(nóng)業(yè)場(chǎng)景比mAP更重要的是漏檢率和誤檢率的平衡。噴藥機(jī)器人寧可多框出幾株雜草也不能漏掉一株而如果是做除草決策誤檢帶來(lái)的浪費(fèi)和漏檢帶來(lái)的雜草殘留都會(huì)造成實(shí)際損失。所以我在驗(yàn)證階段除了看mAP還專(zhuān)門(mén)統(tǒng)計(jì)了不同尺寸目標(biāo)的召回率小目標(biāo)面積小于32x32像素、中目標(biāo)32x32到96x96、大目標(biāo)。小目標(biāo)的召回率通常比中目標(biāo)低五到十個(gè)百分點(diǎn)這是正常的因?yàn)樾∧繕?biāo)本身攜帶的信息量少。如果小目標(biāo)召回率最低的那一類(lèi)恰好是雜草苗就要回到數(shù)據(jù)層面補(bǔ)小目標(biāo)樣本或者調(diào)整推理時(shí)切片策略而不是盲目調(diào)置信度閾值。置信度閾值的選擇也很有講究。YOLOv11推理時(shí)默認(rèn)conf閾值是0.25這個(gè)值在通用場(chǎng)景比較合適但在幼苗檢測(cè)場(chǎng)景里把閾值降到0.15可以顯著提升召回率代價(jià)是會(huì)有更多誤檢框。我的做法是UI界面里把置信度閾值做成滑桿讓最終使用者根據(jù)地塊實(shí)際情況調(diào)整。農(nóng)業(yè)場(chǎng)景的使用者往往比算法工程師更了解自己的地給他們一個(gè)可調(diào)參數(shù)比幫他們定死一個(gè)值更實(shí)用。4.3 過(guò)擬合與類(lèi)別不平衡的處理寧可欠擬合不要假性收斂農(nóng)業(yè)數(shù)據(jù)集普遍不會(huì)特別大幾百?gòu)埖絻扇埵浅B(tài)。這個(gè)體量下過(guò)擬合是頭號(hào)風(fēng)險(xiǎn)。判斷過(guò)擬合不能只看訓(xùn)練集loss趨近于零而要看驗(yàn)證集mAP是否停滯不前甚至下降。我遇到過(guò)的一種典型情況是訓(xùn)練集mAP到了0.95驗(yàn)證集只有0.7說(shuō)明模型已經(jīng)開(kāi)始背答案而不是學(xué)規(guī)律。解決過(guò)擬合的手段按照性?xún)r(jià)比排序第一是增加數(shù)據(jù)量尤其是難例第二是增強(qiáng)策略也就是前面說(shuō)的Mosaic和色彩擾動(dòng)第三是降低模型規(guī)模如果用的是YOLOv11x可以換到Y(jié)OLOv11m或者s在小數(shù)據(jù)集上大模型反而容易學(xué)壞第四是加dropout或權(quán)重衰減但這個(gè)對(duì)卷積網(wǎng)絡(luò)效果有限。類(lèi)別不平衡的情況在苗期檢測(cè)里也很常見(jiàn)——雜草類(lèi)別樣本多玉米苗類(lèi)別樣本少因?yàn)樽匀惶飰K里雜草分布本來(lái)就比玉米苗密集。訓(xùn)練出來(lái)的模型會(huì)偏向雜草類(lèi)別表現(xiàn)為玉米苗漏檢率偏高。處理方式我建議先不急著用focal loss或者重采樣而是先看一下兩個(gè)類(lèi)別的目標(biāo)數(shù)量比值。如果差距在五倍以?xún)?nèi)通過(guò)數(shù)據(jù)增強(qiáng)擴(kuò)充少數(shù)類(lèi)樣本通常是夠用的如果差距超過(guò)十倍就要考慮圖像層面的采樣策略比如每個(gè)batch強(qiáng)制保證玉米苗樣本的最低比例。提示訓(xùn)練過(guò)程中每輪驗(yàn)證都在做記得保存最優(yōu)權(quán)重而不是最后一輪權(quán)重。YOLO訓(xùn)練默認(rèn)會(huì)保留best.pt和last.ptbest是按驗(yàn)證集mAP選出來(lái)的。我遇到過(guò)有些同學(xué)不知道這一點(diǎn)直接拿last.pt去推理結(jié)果性能差了一截白白浪費(fèi)了訓(xùn)練時(shí)間。5. 從模型到系統(tǒng)UI界面、登錄注冊(cè)和推理鏈路的完整拼裝5.1 系統(tǒng)功能拆解用戶(hù)端所見(jiàn)即所得這套系統(tǒng)的功能結(jié)構(gòu)很直接大致分成四個(gè)模塊用戶(hù)管理、圖像輸入、檢測(cè)展示、結(jié)果導(dǎo)出。用戶(hù)管理就是登錄注冊(cè)負(fù)責(zé)區(qū)分不同使用者的身份防止未授權(quán)訪(fǎng)問(wèn)圖像輸入支持本地圖片選擇也做了攝像頭采集的接入接口檢測(cè)展示是核心交互區(qū)左側(cè)顯示原圖右側(cè)顯示帶檢測(cè)框的結(jié)果圖下方用表格列出識(shí)別出的玉米苗數(shù)量和雜草數(shù)量并對(duì)每類(lèi)目標(biāo)標(biāo)出平均置信度結(jié)果導(dǎo)出可以把檢測(cè)結(jié)果保存成標(biāo)注圖或者JSON格式的檢測(cè)記錄方便后續(xù)做地塊分析。UI框架我用的PyQt5原因是它做桌面工具類(lèi)應(yīng)用足夠成熟控件豐富打包發(fā)布也方便。如果你對(duì)Web技術(shù)更熟也可以把整套系統(tǒng)包裝成Flask或者FastAPI服務(wù)前端用Vue或者React。但桌面版本的好處是模型推理和界面在同一個(gè)進(jìn)程內(nèi)省去了網(wǎng)絡(luò)通信的開(kāi)銷(xiāo)和維護(hù)成本。文檔里常寫(xiě)的前后端分離雖然靈活但在單人單機(jī)項(xiàng)目里往往是過(guò)度設(shè)計(jì)。我對(duì)界面交互的要求是一個(gè)完全不懂深度學(xué)習(xí)的人拿到這個(gè)系統(tǒng)十分鐘內(nèi)能完成從登錄到出檢測(cè)結(jié)果的全流程。所以按鈕命名不用執(zhí)行推理這種專(zhuān)業(yè)詞直接用開(kāi)始檢測(cè)置信度閾值滑桿默認(rèn)0.2界面右側(cè)有實(shí)時(shí)提示閾值越低檢出越多誤檢也可能越多讓使用者能根據(jù)畫(huà)面反饋?zhàn)约赫{(diào)整。5.2 登錄注冊(cè)的實(shí)現(xiàn)細(xì)節(jié)密碼不存明文是底線(xiàn)登錄注冊(cè)模塊看起來(lái)簡(jiǎn)單但安全上的細(xì)節(jié)不少。密碼存儲(chǔ)必須用哈希加鹽我用的Python標(biāo)準(zhǔn)庫(kù)hashlib配合secrets生成的隨機(jī)鹽迭代一萬(wàn)次以上PBKDF2或者直接用bcrypt庫(kù)都行。絕不能把明文密碼存到數(shù)據(jù)庫(kù)里這不僅是規(guī)范問(wèn)題一旦數(shù)據(jù)庫(kù)泄露所有用戶(hù)密碼都會(huì)暴露。用戶(hù)信息我用的是SQLite存儲(chǔ)輕量而且Python內(nèi)置支持對(duì)單機(jī)系統(tǒng)完全夠用。會(huì)話(huà)管理也有講究。登錄成功后系統(tǒng)在主界面內(nèi)存里保存當(dāng)前用戶(hù)信息所有涉及用戶(hù)操作的日志都會(huì)帶上用戶(hù)ID。注冊(cè)時(shí)做了用戶(hù)名唯一性校驗(yàn)和密碼強(qiáng)度檢查最少6位而且必須同時(shí)包含字母和數(shù)字。還有一些體驗(yàn)上的細(xì)節(jié)登錄按鈕回車(chē)觸發(fā)、注冊(cè)成功自動(dòng)回填用戶(hù)名、密碼輸入框支持顯示/隱藏切換這些雖然不起眼但會(huì)實(shí)實(shí)在在影響系統(tǒng)的可用性。如果未來(lái)要把系統(tǒng)放到公網(wǎng)環(huán)境供多用戶(hù)使用建議把登錄注冊(cè)模塊換成JWT或者OAuth方案并且在服務(wù)端加請(qǐng)求頻率限制。不過(guò)話(huà)說(shuō)回來(lái)農(nóng)業(yè)現(xiàn)場(chǎng)環(huán)境往往在田間接入攝像頭或者工控機(jī)網(wǎng)絡(luò)條件不穩(wěn)定本地單機(jī)部署仍然是主流場(chǎng)景過(guò)度的安全設(shè)計(jì)反而會(huì)增加使用門(mén)檻。5.3 推理線(xiàn)程與界面線(xiàn)程的配合保證界面不卡死的核心設(shè)計(jì)桌面端UI開(kāi)發(fā)有個(gè)經(jīng)典問(wèn)題主線(xiàn)程負(fù)責(zé)界面刷新和事件循環(huán)如果推理這類(lèi)耗時(shí)操作直接放在主線(xiàn)程畫(huà)面會(huì)卡住甚至出現(xiàn)未響應(yīng)的提示。我的做法是用Python的QThread把推理放到后臺(tái)線(xiàn)程推理完成后通過(guò)信號(hào)把結(jié)果傳回主線(xiàn)程更新界面。這里有個(gè)坑在Python的線(xiàn)程機(jī)制里很典型模型推理本身是在C底層跑的不一定完全遵守GIL的限制但圖像處理、nms后處理、結(jié)果數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換這些Python層操作會(huì)受GIL影響。如果同時(shí)開(kāi)多個(gè)推理線(xiàn)程性能提升幾乎為零甚至可能下降。所以我干脆把推理設(shè)計(jì)成單線(xiàn)程隊(duì)列所有檢測(cè)請(qǐng)求按順序排隊(duì)避免不必要的鎖競(jìng)爭(zhēng)和上下文切換。攝像頭采集場(chǎng)景還有一個(gè)額外問(wèn)題視頻流幀率一般在25到30幀每秒模型推理速度如果只能達(dá)到10到15幀每秒就需要丟幀策略。我的做法是采集線(xiàn)程始終負(fù)責(zé)拿畫(huà)面并放入隊(duì)列推理線(xiàn)程每次從隊(duì)列里拿最新一幀處理處理完后把舊幀丟棄。這樣界面顯示速度取決于推理速度但畫(huà)面不會(huì)因?yàn)樘幚聿贿^(guò)來(lái)而越積越久導(dǎo)致內(nèi)存暴漲。提示如果你在UI里使用Python的線(xiàn)程去加載模型權(quán)重一旦線(xiàn)程被強(qiáng)制終止比如用戶(hù)關(guān)閉窗口模型占用的顯存可能無(wú)法立即釋放。處理方法是監(jiān)聽(tīng)窗口關(guān)閉事件在關(guān)閉前顯示等待對(duì)話(huà)框并顯式調(diào)用torch.cuda.empty_cache()清理緩存否則重復(fù)啟動(dòng)程序時(shí)可能出現(xiàn)顯存不足的報(bào)錯(cuò)。6. 實(shí)測(cè)效果與踩坑記錄訓(xùn)練指標(biāo)好看不等于地里效果好6.1 多個(gè)測(cè)試地塊的表現(xiàn)對(duì)比光照與土壤背景是主要波動(dòng)源模型訓(xùn)練完成后我找了三類(lèi)不同條件的地塊做了實(shí)測(cè)。第一類(lèi)是大晴天、露地黃壤、苗齡兩葉期整體光線(xiàn)均勻模型表現(xiàn)最好玉米苗和雜草的檢出準(zhǔn)確率目測(cè)在95%以上誤檢主要集中在遠(yuǎn)處貼近地平線(xiàn)的模糊區(qū)域。第二類(lèi)是陰天、覆膜地塊、苗齡四葉期葉片遮擋嚴(yán)重部分薄膜反光形成高光區(qū)模型對(duì)玉米苗的召回率有所下降雜草的誤檢率上升主要原因是覆膜反光產(chǎn)生的偽綠色區(qū)域被當(dāng)成了植物。第三類(lèi)是清晨側(cè)光、土壤濕潤(rùn)、苗齡五葉期長(zhǎng)陰影和葉片反光導(dǎo)致邊界定位偏移檢測(cè)框普遍偏大但目標(biāo)類(lèi)別判別基本正確。這個(gè)結(jié)果印證了我在數(shù)據(jù)采集階段的判斷光照和土壤背景是系統(tǒng)實(shí)際生效的最主要變量。算法層能改進(jìn)的空間有限真正有效的辦法還是數(shù)據(jù)層面的覆蓋。同時(shí)也說(shuō)明只放一套固定的推理參數(shù)是不能指望全場(chǎng)景通用的這也是我們?cè)赨I里保留置信度滑桿的原因之一。6.2 常見(jiàn)問(wèn)題排查清單漏檢、誤檢、標(biāo)簽錯(cuò)位、顯存占用把項(xiàng)目從頭到尾跑的體驗(yàn)記錄成一份問(wèn)題清單對(duì)后來(lái)者會(huì)很有幫助。漏檢該框的沒(méi)框出來(lái)。最常見(jiàn)的原因是目標(biāo)尺寸太小畫(huà)面里一株苗只占幾個(gè)像素再?gòu)?qiáng)的網(wǎng)絡(luò)也識(shí)別不了。對(duì)策是切片推理或者調(diào)高輸入分辨率。其次是目標(biāo)顏色與土壤接近幼苗期有些葉片黃綠色偏淡和干土的褐色在灰度上分不開(kāi)。這種情況人對(duì)顏色敏感但模型對(duì)梯度敏感只能靠更多類(lèi)似的訓(xùn)練樣本。誤檢不該框的框出來(lái)了。我遇到最多的是把土壤中的綠色藻類(lèi)或者苔蘚誤判成雜草以及把覆膜上的反光綠葉倒影當(dāng)成幼苗。后者極難解決因?yàn)閺亩S圖像上看倒影的紋理和真實(shí)葉片確實(shí)高度相似。目前的處理方式是提高置信度閾值以及在后處理階段加入最小目標(biāo)面積過(guò)濾把面積小于一定像素的框直接丟棄。標(biāo)簽錯(cuò)位。檢測(cè)框的位置正確但類(lèi)別來(lái)回橫跳一會(huì)兒是玉米苗一會(huì)兒是雜草。這種情況基本是兩類(lèi)目標(biāo)形狀和顏色重疊太多模型特征判別力不足。解決方向不是調(diào)參而是回到數(shù)據(jù)層把容易混淆的樣本單獨(dú)抽出來(lái)做模型精調(diào)。顯存占用異常。UI窗口反復(fù)打開(kāi)關(guān)閉顯存逐步上漲直到溢出這個(gè)是典型的模型加載后沒(méi)有釋放。排查方式是任務(wù)管理器看進(jìn)程的GPU內(nèi)存占用曲線(xiàn)如果是階梯式上升按前面說(shuō)的方式加顯存清理邏輯。6.3 關(guān)于性能調(diào)優(yōu)的補(bǔ)充N(xiāo)MS和后處理參數(shù)以及批量推理的可能性YOLOv11推理器的后處理里非極大值抑制的IoU閾值默認(rèn)一般是0.45這個(gè)值在田間場(chǎng)景可以嘗試調(diào)低到0.35。原因是玉米葉片和雜草密集交錯(cuò)時(shí)同一個(gè)目標(biāo)可能會(huì)被多個(gè)錨框覆蓋NMS閾值太松會(huì)導(dǎo)致同一個(gè)目標(biāo)被重復(fù)框出閾值適當(dāng)收緊會(huì)減少重復(fù)框代價(jià)是緊挨著的兩個(gè)目標(biāo)可能被合并成一個(gè)。整體上農(nóng)業(yè)場(chǎng)景對(duì)少重復(fù)框的需求大于不合并緊挨目標(biāo)所以我推薦這個(gè)調(diào)整方向。批量推理是提升吞吐量的另一個(gè)思路。如果你需要在系統(tǒng)里批量處理一批地塊圖像不要一張一張循環(huán)predict而是把所有圖像resize后組成一個(gè)batch一次前向推理處理全部。YOLO模型對(duì)batch維度沒(méi)有限制batch size設(shè)為8到16時(shí)GPU利用率明顯上升單張均攤時(shí)間能下降一半以上。我這里沒(méi)有把批量推理暴露到UI界面但預(yù)留了命令行批處理入口實(shí)際批處理兩千張圖的效果是比單張循環(huán)快約一點(diǎn)六倍。7. 如果我重做這個(gè)項(xiàng)目會(huì)在哪些地方改變做法先給一個(gè)個(gè)人判斷這類(lèi)深度學(xué)習(xí)模型界面登錄注冊(cè)的組合項(xiàng)目最大的風(fēng)險(xiǎn)往往不在模型精度而在工程鏈路的完整性。很多人的Demo只跑到模型能在測(cè)試集上框出目標(biāo)就結(jié)束了但實(shí)際要交付給別人用還需要處理環(huán)境依賴(lài)、模型文件管理和異常輸入等問(wèn)題。如果重做我會(huì)考慮三個(gè)改進(jìn)點(diǎn)。第一個(gè)是把模型文件和數(shù)據(jù)集的路徑管理做得更規(guī)范。這個(gè)項(xiàng)目開(kāi)發(fā)過(guò)程中出現(xiàn)過(guò)一次模型路徑寫(xiě)死的問(wèn)題導(dǎo)致?lián)Q機(jī)器跑的時(shí)候系統(tǒng)直接報(bào)錯(cuò)找不到權(quán)重文件。后來(lái)我統(tǒng)一用配置文件管理所有路徑權(quán)重、配置文件、用戶(hù)數(shù)據(jù)庫(kù)、導(dǎo)出目錄各自獨(dú)立程序啟動(dòng)時(shí)檢查目錄是否存在不存在則自動(dòng)創(chuàng)建。這套路徑檢查機(jī)制花了不到半小時(shí)但避免了無(wú)數(shù)個(gè)在我電腦上能跑的尷尬。第二個(gè)是把驗(yàn)證閉環(huán)做得更早。我是在項(xiàng)目后期才意識(shí)到與其等系統(tǒng)完全搭好再采集測(cè)試不如先做一個(gè)小規(guī)模的端到端驗(yàn)證——也就是先用十幾張圖跑通數(shù)據(jù)標(biāo)注 - 訓(xùn)練 - 推理 - 界面顯示的完整流程確認(rèn)每個(gè)環(huán)節(jié)都能銜接再回過(guò)頭來(lái)大規(guī)模補(bǔ)數(shù)據(jù)和優(yōu)化。很多人做項(xiàng)目是數(shù)據(jù)標(biāo)注一個(gè)月、訓(xùn)練一周、寫(xiě)界面半個(gè)月最后發(fā)現(xiàn)推理輸出格式和界面解析邏輯不匹配前面的工作全要返工。先跑通最小閉環(huán)后面的擴(kuò)展只是量變不會(huì)引起質(zhì)變層面的返工。第三是給模型輸出增加了目標(biāo)密度熱力圖。這是我在后期加的一個(gè)小功能檢測(cè)完成后把圖像按網(wǎng)格切分統(tǒng)計(jì)每個(gè)網(wǎng)格內(nèi)雜草目標(biāo)的數(shù)量用顏色深淺表示密度。這個(gè)可視化給使用者的價(jià)值比一堆檢測(cè)框更大因?yàn)檗r(nóng)戶(hù)關(guān)心的不是這一株是草而是這一片草多需要重點(diǎn)處理。它也是從檢測(cè)系統(tǒng)走向決策支持系統(tǒng)的關(guān)鍵一步。實(shí)現(xiàn)起來(lái)并不復(fù)雜在UI右側(cè)增加一個(gè)canvas把檢測(cè)結(jié)果坐標(biāo)映射到熱力圖上即可。我自己的體會(huì)是農(nóng)業(yè)視覺(jué)項(xiàng)目的驗(yàn)收標(biāo)準(zhǔn)永遠(yuǎn)是地里用得穩(wěn)不穩(wěn)而不是指標(biāo)高不高。模型精度再高如果在真實(shí)地塊的三類(lèi)光照條件下表現(xiàn)波動(dòng)巨大、UI卡頓、登錄流程繁瑣項(xiàng)目都很難真正落地。這也是為什么整套系統(tǒng)里我把數(shù)據(jù)覆蓋和交互體驗(yàn)放到了和模型訓(xùn)練同等重要的位置。希望這篇記錄能幫你少走一些彎路在你自己的玉米幼苗檢測(cè)項(xiàng)目里把力氣花在真正影響結(jié)果的地方。