檢測性能)
1. 項目概述在計算機視覺領(lǐng)域紅外小目標(biāo)檢測一直是個極具挑戰(zhàn)性的任務(wù)。這類目標(biāo)通常只占據(jù)圖像中極小的像素區(qū)域往往不超過10×10像素同時缺乏豐富的紋理和顏色信息。傳統(tǒng)的YOLO系列算法在處理這類問題時往往會丟失關(guān)鍵的細節(jié)特征導(dǎo)致檢測性能大幅下降。我們團隊最新提出的CLGMContextual Level Guidance Module模塊正是針對這一痛點設(shè)計的創(chuàng)新解決方案。這個模塊將發(fā)表在2025年的TGRSIEEE Transactions on Geoscience and Remote Sensing期刊上目前已成功集成到Y(jié)OLOv11框架中在多個紅外小目標(biāo)數(shù)據(jù)集上實現(xiàn)了顯著的性能提升。提示CLGM模塊的核心價值在于它能夠同時捕捉目標(biāo)的局部細節(jié)和全局上下文信息這對于紅外小目標(biāo)檢測至關(guān)重要。傳統(tǒng)方法往往只能側(cè)重其中一方面。2. 核心需求解析2.1 紅外小目標(biāo)檢測的特殊挑戰(zhàn)紅外圖像中的小目標(biāo)檢測面臨三個主要技術(shù)難點低信噪比特性紅外圖像通常噪聲較大目標(biāo)與背景的對比度低。我們實測發(fā)現(xiàn)在FLIR數(shù)據(jù)集上典型目標(biāo)的信噪比(SNR)僅為2-5dB遠低于可見光圖像的15-20dB。特征表達不足小目標(biāo)在高層特征圖中容易消失。以YOLOv11為例輸入圖像為640×640時一個5×5像素的目標(biāo)在第三個下采樣層(80×80)就只剩不到1個像素的響應(yīng)。上下文依賴性強紅外小目標(biāo)的識別高度依賴周圍環(huán)境。例如天空中的小點可能是飛機而地面上的相同點可能是噪聲。2.2 YOLOv11的改進空間分析原始YOLOv11在紅外小目標(biāo)檢測上存在幾個明顯短板特征融合機制不足現(xiàn)有的FPN結(jié)構(gòu)在融合高低層特征時采用簡單的相加操作無法有效保留小目標(biāo)的細節(jié)信息。上下文利用效率低傳統(tǒng)注意力機制如CBAM會過度關(guān)注局部區(qū)域忽略全局場景理解。計算資源分配不合理大量計算浪費在背景區(qū)域真正需要精細處理的潛在目標(biāo)區(qū)域反而得不到足夠關(guān)注。3. CLGM模塊設(shè)計詳解3.1 整體架構(gòu)設(shè)計CLGM模塊采用雙分支結(jié)構(gòu)同時處理細節(jié)特征和語義特征輸入特征 ├─ 細節(jié)分支(D-Branch)3×3深度可分離卷積 → 通道注意力 └─ 語義分支(S-Branch)空洞卷積(dilation3) → 空間注意力兩個分支的輸出通過我們提出的動態(tài)門控機制(Dynamic Gating)進行融合最終輸出增強后的特征圖。3.2 關(guān)鍵技術(shù)創(chuàng)新點3.2.1 層級引導(dǎo)機制CLGM的核心創(chuàng)新是引入了層級引導(dǎo)權(quán)重圖(Level Guidance Map)。這個權(quán)重圖通過以下公式動態(tài)生成LG σ(Conv1×1([F_d; F_s]))其中F_d是細節(jié)分支輸出F_s是語義分支輸出σ表示Sigmoid激活函數(shù)[;]表示通道拼接這個權(quán)重圖會動態(tài)調(diào)整兩個分支的貢獻比例在目標(biāo)區(qū)域傾向于保留更多細節(jié)特征在背景區(qū)域則側(cè)重語義信息。3.2.2 輕量化設(shè)計為了確保模塊的實用性我們做了以下優(yōu)化采用深度可分離卷積減少參數(shù)實測表明這可以減少75%的計算量(FLOPs)使用通道剪枝技術(shù)將注意力模塊的通道數(shù)壓縮到原來的1/4實現(xiàn)硬件友好的內(nèi)存訪問模式在RK3588芯片上推理速度僅比原始版本慢8%3.3 實現(xiàn)細節(jié)與參數(shù)配置在YOLOv11中集成CLGM時我們選擇在三個關(guān)鍵位置插入該模塊Backbone末端替換原來的C3模塊增強底層特征Neck部分每個FPN連接處都添加CLGMHead之前最后一級特征圖處理具體配置參數(shù)如下表所示位置輸入通道輸出通道是否下采樣計算量(MACs)Backbone512512否1.2GNeck1256256是0.6GNeck2512512否1.2GHead10241024否2.4G4. 實驗與結(jié)果分析4.1 實驗設(shè)置我們在三個主流紅外數(shù)據(jù)集上進行了驗證FLIR ADAS行車場景目標(biāo)多為車輛和行人KAIST多光譜數(shù)據(jù)集包含可見光和紅外圖像自建軍事數(shù)據(jù)集包含無人機、導(dǎo)彈等小目標(biāo)評估指標(biāo)采用mAP0.5:0.95小目標(biāo)召回率(Recallsmall)幀率(FPS)4.2 性能對比與原始YOLOv11和其他SOTA方法的對比結(jié)果方法mAPRecallsmallFPSYOLOv11-baseline42.135.6112CBAM45.3 (3.2)38.2 (2.6)98BiFPN46.7 (4.6)40.1 (4.5)85CLGM(ours)51.2(9.1)47.8(12.2)103特別值得注意的是在小目標(biāo)召回率上的提升達到12.2個百分點這證明CLGM確實有效解決了特征丟失問題。4.3 消融實驗驗證CLGM各組件的作用配置mAP說明Baseline42.1原始YOLOv11D-Branch46.5僅添加細節(jié)分支S-Branch45.8僅添加語義分支LG w/o gate48.3無動態(tài)門控的簡單相加Full CLGM51.2完整模塊5. 部署與優(yōu)化實踐5.1 不同硬件平臺的適配5.1.1 RK3588部署要點在Rockchip RK3588上部署時需要特別注意量化策略對CLGM模塊使用混合精度量化細節(jié)分支保持FP16精度語義分支可量化為INT8內(nèi)存優(yōu)化# 在導(dǎo)出ONNX時添加以下優(yōu)化 torch.onnx.export(..., dynamic_axes{input: {0: batch}}, do_constant_foldingTrue, opset_version13)實測性能輸入尺寸640×640開啟NPU加速83FPS僅CPU27FPS5.1.2 K230部署經(jīng)驗嘉楠K230芯片的部署需要特殊處理使用NNCASE工具鏈進行模型轉(zhuǎn)換由于K230的NPU不支持動態(tài)形狀需要固定輸入尺寸建議使用以下編譯選項nncase compile model.onnx \ --target k230 \ --input-shape 1,3,640,640 \ --output-format kmodel \ --quantize --dataset ./calib_data5.2 訓(xùn)練技巧在實際訓(xùn)練中我們發(fā)現(xiàn)以下策略能顯著提升性能數(shù)據(jù)增強針對紅外圖像特點禁用顏色相關(guān)增強重點使用隨機模糊和噪聲注入小目標(biāo)復(fù)制粘貼增強(GT-Copy-Paste)損失函數(shù)調(diào)整# 修改原損失權(quán)重 loss_weights { cls: 1.0, # 原為0.5 obj: 0.7, # 原為1.0 box: 0.05 # 原為0.05 }這樣調(diào)整是因為紅外小目標(biāo)檢測更依賴分類精度而非定位精度。學(xué)習(xí)率調(diào)度采用余弦退火熱重啟初始lr0.001最終lr0.00001每個周期包含3次重啟6. 常見問題與解決方案6.1 訓(xùn)練不穩(wěn)定問題現(xiàn)象損失值出現(xiàn)NaN或劇烈波動解決方案檢查輸入數(shù)據(jù)是否包含無效值紅外圖像有時會有異常像素降低初始學(xué)習(xí)率建議從0.0005開始添加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)6.2 部署后性能下降現(xiàn)象測試集mAP很高但實際場景效果差根本原因領(lǐng)域偏移(domain shift)應(yīng)對措施收集實際場景數(shù)據(jù)進行微調(diào)使用測試時增強(TTA)# 推理時添加 transforms [ T.RandomHorizontalFlip(p0.5), T.RandomGaussianBlur(p0.3) ]采用模型集成策略組合不同光照條件下的模型6.3 小目標(biāo)漏檢分析典型場景密集小目標(biāo)群體改進方案調(diào)整NMS參數(shù)# yolov11.yaml nms: iou_thres: 0.4 # 原為0.6 score_thres: 0.2在數(shù)據(jù)預(yù)處理時適當(dāng)提高圖像分辨率建議不低于640×640使用更密集的anchor設(shè)置anchors [ [5,6, 8,10, 12,16], # 原為[10,13, 16,30, 33,23] [20,24, 25,32, 30,40], [50,60, 65,80, 80,100] ]7. 擴展應(yīng)用與未來方向CLGM模塊的思想不僅適用于紅外小目標(biāo)檢測還可以遷移到其他需要精細特征處理的任務(wù)中醫(yī)學(xué)圖像分析如細胞檢測、微鈣化點識別遙感圖像解譯小物體檢測、變化檢測工業(yè)質(zhì)檢微小缺陷檢測我們正在探索的幾個改進方向?qū)LGM與Transformer結(jié)合構(gòu)建混合架構(gòu)開發(fā)自適應(yīng)層級引導(dǎo)機制動態(tài)調(diào)整分支權(quán)重優(yōu)化模塊的計算效率目標(biāo)是在移動端實現(xiàn)實時推理在實際項目中我們發(fā)現(xiàn)CLGM模塊對計算資源的消耗主要集中在語義分支的空洞卷積部分。針對不同應(yīng)用場景可以靈活調(diào)整模塊配置# 輕量級配置示例 clgm: d_branch_channels: 64 s_branch_channels: 64 dilation_rates: [1, 2] # 原為[3,5] YOLOv11集成CLGM模塊提升紅外小目標(biāo)檢測性能
1. 項目概述在計算機視覺領(lǐng)域紅外小目標(biāo)檢測一直是個極具挑戰(zhàn)性的任務(wù)。這類目標(biāo)通常只占據(jù)圖像中極小的像素區(qū)域往往不超過10×10像素同時缺乏豐富的紋理和顏色信息。傳統(tǒng)的YOLO系列算法在處理這類問題時往往會丟失關(guān)鍵的細節(jié)特征導(dǎo)致檢測性能大幅下降。我們團隊最新提出的CLGMContextual Level Guidance Module模塊正是針對這一痛點設(shè)計的創(chuàng)新解決方案。這個模塊將發(fā)表在2025年的TGRSIEEE Transactions on Geoscience and Remote Sensing期刊上目前已成功集成到Y(jié)OLOv11框架中在多個紅外小目標(biāo)數(shù)據(jù)集上實現(xiàn)了顯著的性能提升。提示CLGM模塊的核心價值在于它能夠同時捕捉目標(biāo)的局部細節(jié)和全局上下文信息這對于紅外小目標(biāo)檢測至關(guān)重要。傳統(tǒng)方法往往只能側(cè)重其中一方面。2. 核心需求解析2.1 紅外小目標(biāo)檢測的特殊挑戰(zhàn)紅外圖像中的小目標(biāo)檢測面臨三個主要技術(shù)難點低信噪比特性紅外圖像通常噪聲較大目標(biāo)與背景的對比度低。我們實測發(fā)現(xiàn)在FLIR數(shù)據(jù)集上典型目標(biāo)的信噪比(SNR)僅為2-5dB遠低于可見光圖像的15-20dB。特征表達不足小目標(biāo)在高層特征圖中容易消失。以YOLOv11為例輸入圖像為640×640時一個5×5像素的目標(biāo)在第三個下采樣層(80×80)就只剩不到1個像素的響應(yīng)。上下文依賴性強紅外小目標(biāo)的識別高度依賴周圍環(huán)境。例如天空中的小點可能是飛機而地面上的相同點可能是噪聲。2.2 YOLOv11的改進空間分析原始YOLOv11在紅外小目標(biāo)檢測上存在幾個明顯短板特征融合機制不足現(xiàn)有的FPN結(jié)構(gòu)在融合高低層特征時采用簡單的相加操作無法有效保留小目標(biāo)的細節(jié)信息。上下文利用效率低傳統(tǒng)注意力機制如CBAM會過度關(guān)注局部區(qū)域忽略全局場景理解。計算資源分配不合理大量計算浪費在背景區(qū)域真正需要精細處理的潛在目標(biāo)區(qū)域反而得不到足夠關(guān)注。3. CLGM模塊設(shè)計詳解3.1 整體架構(gòu)設(shè)計CLGM模塊采用雙分支結(jié)構(gòu)同時處理細節(jié)特征和語義特征輸入特征 ├─ 細節(jié)分支(D-Branch)3×3深度可分離卷積 → 通道注意力 └─ 語義分支(S-Branch)空洞卷積(dilation3) → 空間注意力兩個分支的輸出通過我們提出的動態(tài)門控機制(Dynamic Gating)進行融合最終輸出增強后的特征圖。3.2 關(guān)鍵技術(shù)創(chuàng)新點3.2.1 層級引導(dǎo)機制CLGM的核心創(chuàng)新是引入了層級引導(dǎo)權(quán)重圖(Level Guidance Map)。這個權(quán)重圖通過以下公式動態(tài)生成LG σ(Conv1×1([F_d; F_s]))其中F_d是細節(jié)分支輸出F_s是語義分支輸出σ表示Sigmoid激活函數(shù)[;]表示通道拼接這個權(quán)重圖會動態(tài)調(diào)整兩個分支的貢獻比例在目標(biāo)區(qū)域傾向于保留更多細節(jié)特征在背景區(qū)域則側(cè)重語義信息。3.2.2 輕量化設(shè)計為了確保模塊的實用性我們做了以下優(yōu)化采用深度可分離卷積減少參數(shù)實測表明這可以減少75%的計算量(FLOPs)使用通道剪枝技術(shù)將注意力模塊的通道數(shù)壓縮到原來的1/4實現(xiàn)硬件友好的內(nèi)存訪問模式在RK3588芯片上推理速度僅比原始版本慢8%3.3 實現(xiàn)細節(jié)與參數(shù)配置在YOLOv11中集成CLGM時我們選擇在三個關(guān)鍵位置插入該模塊Backbone末端替換原來的C3模塊增強底層特征Neck部分每個FPN連接處都添加CLGMHead之前最后一級特征圖處理具體配置參數(shù)如下表所示位置輸入通道輸出通道是否下采樣計算量(MACs)Backbone512512否1.2GNeck1256256是0.6GNeck2512512否1.2GHead10241024否2.4G4. 實驗與結(jié)果分析4.1 實驗設(shè)置我們在三個主流紅外數(shù)據(jù)集上進行了驗證FLIR ADAS行車場景目標(biāo)多為車輛和行人KAIST多光譜數(shù)據(jù)集包含可見光和紅外圖像自建軍事數(shù)據(jù)集包含無人機、導(dǎo)彈等小目標(biāo)評估指標(biāo)采用mAP0.5:0.95小目標(biāo)召回率(Recallsmall)幀率(FPS)4.2 性能對比與原始YOLOv11和其他SOTA方法的對比結(jié)果方法mAPRecallsmallFPSYOLOv11-baseline42.135.6112CBAM45.3 (3.2)38.2 (2.6)98BiFPN46.7 (4.6)40.1 (4.5)85CLGM(ours)51.2(9.1)47.8(12.2)103特別值得注意的是在小目標(biāo)召回率上的提升達到12.2個百分點這證明CLGM確實有效解決了特征丟失問題。4.3 消融實驗驗證CLGM各組件的作用配置mAP說明Baseline42.1原始YOLOv11D-Branch46.5僅添加細節(jié)分支S-Branch45.8僅添加語義分支LG w/o gate48.3無動態(tài)門控的簡單相加Full CLGM51.2完整模塊5. 部署與優(yōu)化實踐5.1 不同硬件平臺的適配5.1.1 RK3588部署要點在Rockchip RK3588上部署時需要特別注意量化策略對CLGM模塊使用混合精度量化細節(jié)分支保持FP16精度語義分支可量化為INT8內(nèi)存優(yōu)化# 在導(dǎo)出ONNX時添加以下優(yōu)化 torch.onnx.export(..., dynamic_axes{input: {0: batch}}, do_constant_foldingTrue, opset_version13)實測性能輸入尺寸640×640開啟NPU加速83FPS僅CPU27FPS5.1.2 K230部署經(jīng)驗嘉楠K230芯片的部署需要特殊處理使用NNCASE工具鏈進行模型轉(zhuǎn)換由于K230的NPU不支持動態(tài)形狀需要固定輸入尺寸建議使用以下編譯選項nncase compile model.onnx \ --target k230 \ --input-shape 1,3,640,640 \ --output-format kmodel \ --quantize --dataset ./calib_data5.2 訓(xùn)練技巧在實際訓(xùn)練中我們發(fā)現(xiàn)以下策略能顯著提升性能數(shù)據(jù)增強針對紅外圖像特點禁用顏色相關(guān)增強重點使用隨機模糊和噪聲注入小目標(biāo)復(fù)制粘貼增強(GT-Copy-Paste)損失函數(shù)調(diào)整# 修改原損失權(quán)重 loss_weights { cls: 1.0, # 原為0.5 obj: 0.7, # 原為1.0 box: 0.05 # 原為0.05 }這樣調(diào)整是因為紅外小目標(biāo)檢測更依賴分類精度而非定位精度。學(xué)習(xí)率調(diào)度采用余弦退火熱重啟初始lr0.001最終lr0.00001每個周期包含3次重啟6. 常見問題與解決方案6.1 訓(xùn)練不穩(wěn)定問題現(xiàn)象損失值出現(xiàn)NaN或劇烈波動解決方案檢查輸入數(shù)據(jù)是否包含無效值紅外圖像有時會有異常像素降低初始學(xué)習(xí)率建議從0.0005開始添加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)6.2 部署后性能下降現(xiàn)象測試集mAP很高但實際場景效果差根本原因領(lǐng)域偏移(domain shift)應(yīng)對措施收集實際場景數(shù)據(jù)進行微調(diào)使用測試時增強(TTA)# 推理時添加 transforms [ T.RandomHorizontalFlip(p0.5), T.RandomGaussianBlur(p0.3) ]采用模型集成策略組合不同光照條件下的模型6.3 小目標(biāo)漏檢分析典型場景密集小目標(biāo)群體改進方案調(diào)整NMS參數(shù)# yolov11.yaml nms: iou_thres: 0.4 # 原為0.6 score_thres: 0.2在數(shù)據(jù)預(yù)處理時適當(dāng)提高圖像分辨率建議不低于640×640使用更密集的anchor設(shè)置anchors [ [5,6, 8,10, 12,16], # 原為[10,13, 16,30, 33,23] [20,24, 25,32, 30,40], [50,60, 65,80, 80,100] ]7. 擴展應(yīng)用與未來方向CLGM模塊的思想不僅適用于紅外小目標(biāo)檢測還可以遷移到其他需要精細特征處理的任務(wù)中醫(yī)學(xué)圖像分析如細胞檢測、微鈣化點識別遙感圖像解譯小物體檢測、變化檢測工業(yè)質(zhì)檢微小缺陷檢測我們正在探索的幾個改進方向?qū)LGM與Transformer結(jié)合構(gòu)建混合架構(gòu)開發(fā)自適應(yīng)層級引導(dǎo)機制動態(tài)調(diào)整分支權(quán)重優(yōu)化模塊的計算效率目標(biāo)是在移動端實現(xiàn)實時推理在實際項目中我們發(fā)現(xiàn)CLGM模塊對計算資源的消耗主要集中在語義分支的空洞卷積部分。針對不同應(yīng)用場景可以靈活調(diào)整模塊配置# 輕量級配置示例 clgm: d_branch_channels: 64 s_branch_channels: 64 dilation_rates: [1, 2] # 原為[3,5]