項(xiàng)目標(biāo)題: 航拍校園操場人體檢測(cè)數(shù)據(jù)集 | YOLO航拍人體檢測(cè)數(shù)據(jù)集1. 項(xiàng)目概述為什么選校園操場這個(gè)場景做航拍人體檢測(cè)絕大多數(shù)人第一反應(yīng)是去爬取公開的航拍行人數(shù)據(jù)集比如VisDrone、HRNet系列或者用DOTA里的“person”類別湊數(shù)。但真到自己做項(xiàng)目落地時(shí)你會(huì)發(fā)現(xiàn)這些公開數(shù)據(jù)跟你的實(shí)際應(yīng)用場景之間隔著一條巨大的鴻溝——航拍高度不同、視角不同、操場這種半開放場景的人群分布形態(tài)也跟街景、園區(qū)完全不一樣。我這次做的這個(gè)數(shù)據(jù)集定位非常明確針對(duì)校園操場這一特定場景的高空俯拍人體檢測(cè)。場景聚焦在操場、田徑場、籃球場這類開闊場地?zé)o人機(jī)飛行高度在20米到60米之間拍攝角度以接近垂直的俯拍和稍帶傾角的斜俯拍為主。這個(gè)視角下的人體目標(biāo)平均尺寸只有幾十個(gè)像素密集人群場景下人員之間還有大量相互遮擋和常規(guī)地面攝像頭的人體檢測(cè)完全是兩碼事。這個(gè)項(xiàng)目適合誰參考如果你正在做智慧校園、體育考勤自動(dòng)化、大型活動(dòng)人流統(tǒng)計(jì)、安防巡檢這類應(yīng)用或者你手里有一臺(tái)無人機(jī)想自己采集數(shù)據(jù)訓(xùn)練檢測(cè)模型那么這套數(shù)據(jù)集的建設(shè)思路和訓(xùn)練流程可以直接復(fù)用。整篇文章我會(huì)把數(shù)據(jù)采集、標(biāo)注規(guī)范、YOLO系列模型的訓(xùn)練調(diào)參、常見坑位、部署要點(diǎn)全部拆開講盡量做到你照著走一遍就能出結(jié)果。2. 數(shù)據(jù)集構(gòu)建采集策略與標(biāo)注規(guī)范2.1 采集設(shè)計(jì)高度、角度、光照的三重覆蓋數(shù)據(jù)集的源頭質(zhì)量決定了模型性能的上限。我這次采集選了一個(gè)標(biāo)準(zhǔn)的400米跑道操場加兩個(gè)籃球場作為主場景用消費(fèi)級(jí)四旋翼無人機(jī)掛載4K相機(jī)在三個(gè)維度上做了刻意設(shè)計(jì)。第一是高度分層。無人機(jī)分別在20米、30米、45米、60米四個(gè)典型高度懸停拍攝對(duì)應(yīng)人員目標(biāo)在畫面中占比約15%到3%不等。為什么要做這個(gè)分層因?yàn)閷?shí)際部署時(shí)無人機(jī)的高度很難恒定為某一個(gè)值遇到操場周邊有旗桿、樹木、看臺(tái)這類障礙物時(shí)飛手往往需要臨時(shí)提升高度繞飛如果模型只在單一尺度下訓(xùn)練高度一變目標(biāo)尺寸跟著變檢測(cè)率立刻下降。第二是角度覆蓋。正射視角鏡頭垂直向下和目標(biāo)斜射視角鏡頭與地面法線呈15度到45度夾角各占一半比例。正射視角下人的輪廓接近一個(gè)橢圓頭肩特征被壓縮斜射視角下能看到人的側(cè)面輪廓和運(yùn)動(dòng)趨勢(shì)。兩類視角混合訓(xùn)練模型才會(huì)對(duì)鏡頭姿態(tài)變化有魯棒性。實(shí)際操作中斜射視角容易把操場邊上的籃球架、看臺(tái)座椅也拍進(jìn)去這恰好增加了背景負(fù)樣本的多樣性。第三是光照和天氣。上午、中午、傍晚各時(shí)段各采一批陰天和晴天各采一批同時(shí)盡量避開影子很長的正午強(qiáng)光時(shí)段影子會(huì)把兩個(gè)人連成一片標(biāo)注難度極大。最終整理下來共采集有效視頻約6小時(shí)按每隔5幀抽一幀的方式做抽幀得到原始圖片4800余張?zhí)蕹摻?、?qiáng)運(yùn)動(dòng)模糊、遮擋超過70%的極端幀后保留有效圖片共3920張。2.2 標(biāo)注規(guī)范YOLO格式下的人體邊界框細(xì)節(jié)標(biāo)注使用的是LabelImg工具輸出YOLO txt格式類別只設(shè)一個(gè)——“person”。YOLO格式的標(biāo)注內(nèi)容每行是“class x_center y_center width height”坐標(biāo)均為歸一化后的0到1之間的小數(shù)。這里有幾個(gè)特別容易踩的細(xì)節(jié)單獨(dú)拎出來講一下。關(guān)于標(biāo)注邊界的確定我參考了COCO數(shù)據(jù)集的標(biāo)注慣例但做了微調(diào)。單人目標(biāo)完整可見時(shí)框從頭頂外沿到腳底外沿左右貼合身體外輪廓邊緣不額外加margin。這樣處理的好處是邊界框貼合度高訓(xùn)練時(shí)IoU計(jì)算更準(zhǔn)確壞處是稍微偏一點(diǎn)就掉精度。實(shí)際操作中我要求標(biāo)注員統(tǒng)一把框的四個(gè)頂點(diǎn)貼住目標(biāo)的外接矩形內(nèi)緣寧略小勿偏大。多目標(biāo)遮擋時(shí)只要目標(biāo)的可視面積超過整體的40%就單獨(dú)框出來低于40%的不標(biāo)避免標(biāo)注噪聲干擾。還有一個(gè)很多教程不會(huì)提的點(diǎn)對(duì)極高密度人群區(qū)域的處理。比如課間操時(shí)幾百人扎堆在草坪上YOLO格式本身允許一個(gè)圖片里有多行標(biāo)注但密集區(qū)域一個(gè)個(gè)全框出來需要極大的耐心而且人挨人的情況下邊界框高度重疊模型訓(xùn)練出來會(huì)出現(xiàn)大量冗余檢測(cè)框。我的處理策略是密集人群區(qū)域按“可見頭部肩部輪廓”標(biāo)上限可見目標(biāo)隊(duì)伍中完全被遮擋到只剩一條腿或一只手的人不標(biāo)注。這樣既控制標(biāo)注成本又不會(huì)教模型去學(xué)習(xí)錯(cuò)誤的形狀特征。2.3 數(shù)據(jù)統(tǒng)計(jì)與劃分最終數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果如下表所示統(tǒng)計(jì)項(xiàng)數(shù)值有效圖片總數(shù)3920張標(biāo)注目標(biāo)總數(shù)約5.8萬個(gè)單張最多目標(biāo)數(shù)215個(gè)單張平均目標(biāo)數(shù)約14.8個(gè)小目標(biāo)像素面積32×32占比約61%訓(xùn)練集 / 驗(yàn)證集 / 測(cè)試集3120 / 400 / 400劃分時(shí)我特意用了按拍攝片段劃分而不是按單張隨機(jī)劃分。同一個(gè)視頻片段里相鄰幀內(nèi)容高度相似如果隨機(jī)分訓(xùn)練集和驗(yàn)證集里會(huì)出現(xiàn)大量“同卵雙胞胎”驗(yàn)證指標(biāo)虛高換到真場景立刻露餡。按片段劃分才能真實(shí)反映模型面對(duì)未見畫面的泛化能力。3. YOLO模型訓(xùn)練全流程拆解3.1 模型選型與預(yù)訓(xùn)練權(quán)重處理YOLO系列發(fā)展到現(xiàn)在版本很多我最終選用的是YOLOv8n和YOLOv8m兩個(gè)尺寸分別做對(duì)比實(shí)驗(yàn)。為什么不用更大的YOLOv8l或x因?yàn)楹脚母呖請(qǐng)鼍笆切∧繕?biāo)密集場景大模型的容量優(yōu)勢(shì)主要體現(xiàn)在特征表達(dá)力上但在輸入分辨率受限的情況下大模型帶來的提升有限推理開銷卻呈指數(shù)級(jí)增長。實(shí)際產(chǎn)品部署要考慮邊緣設(shè)備或低功耗主機(jī)的算力v8n做實(shí)時(shí)檢測(cè)、v8m做離線精準(zhǔn)分析兩個(gè)檔位就足夠覆蓋絕大多數(shù)需求。預(yù)訓(xùn)練權(quán)重的選擇也有講究。YOLOv8官方發(fā)布的預(yù)訓(xùn)練權(quán)重是在COCO數(shù)據(jù)集上訓(xùn)練的COCO包含80個(gè)類別其中有person類。直接加載這個(gè)權(quán)重做遷移學(xué)習(xí)模型已經(jīng)具備很好的通用特征提取能力和基本的人體形狀認(rèn)知。在下載權(quán)重時(shí)要注意選擇與模型結(jié)構(gòu)對(duì)應(yīng)的文件yolov8n.pt對(duì)應(yīng)nano結(jié)構(gòu)yolov8m.pt對(duì)應(yīng)medium結(jié)構(gòu)別搞混了。我自己試過一次用v8m的權(quán)重啟動(dòng)v8n的模型配置報(bào)錯(cuò)半天才發(fā)現(xiàn)是尺寸不匹配。還有一點(diǎn)訓(xùn)練時(shí)PyTorch版本和Ultralytics版本要配套。我用的是ultralytics 8.1.x配合PyTorch 2.1.x用官方requirements安裝即可。如果你用的PyTorch是2.2及以上注意檢查一下CUDA版本的匹配關(guān)系否則訓(xùn)練時(shí)可能出現(xiàn)莫名其妙的顯存分配錯(cuò)誤。3.2 訓(xùn)練參數(shù)配置與損失函數(shù)調(diào)優(yōu)訓(xùn)練配置文件在ultralytics框架下可以完全通過命令行參數(shù)指定。我的baseline參數(shù)如下yolo train datacampus_person.yaml modelyolov8n.pt epochs300 batch32 imgsz640 patience40 device0 optimizerSGD lr00.01 lrf0.01 momentum0.937 weight_decay0.0005 warmup_epochs3.0 box7.5 cls0.5 dfl1.5這里面最值得說的是box、cls、dfl這三個(gè)損失權(quán)重。YOLOv8的總損失是分類損失cls、邊界框回歸損失box和DFL分布損失dfl的加權(quán)和。默認(rèn)值分別是0.5、1.0、1.5但對(duì)于本數(shù)據(jù)集的高密度小目標(biāo)場景我把邊界框回歸的權(quán)重提高到7.5分類權(quán)重降到0.5。原因是小目標(biāo)本來就像素少位置偏差幾個(gè)像素IoU就掉得厲害必須讓模型優(yōu)先學(xué)會(huì)把框“放準(zhǔn)”而不是糾結(jié)于區(qū)分不同類別反正只有一個(gè)類別分類壓力本身不大。DFL權(quán)重保持1.5用于精細(xì)化邊界框的四邊定位。數(shù)據(jù)增強(qiáng)參數(shù)我也做了調(diào)整。航拍俯拍圖不存在翻轉(zhuǎn)不對(duì)稱的問題因?yàn)槿说男螒B(tài)不會(huì)因?yàn)樽笥曳D(zhuǎn)而改變所以fliplr0.5和flipud0.5都可以開。scale0.4控制訓(xùn)練時(shí)隨機(jī)縮放比例這個(gè)值不建議開太大高空?qǐng)鼍氨旧淼某叨炔町愐延啥喔叨炔杉采w了訓(xùn)練時(shí)再大比例縮放反而會(huì)讓小目標(biāo)縮得更小、更難以學(xué)習(xí)。mosaic1.0默認(rèn)開啟這個(gè)必須保留它對(duì)增強(qiáng)小目標(biāo)上下文信息非常有效但在最后30個(gè)epoch我建議通過mosaic0關(guān)掉它避免模型因?yàn)橛伤膹垐D拼出的“假背景”而學(xué)偏。3.3 訓(xùn)練過程實(shí)錄我用的是一張RTX 309024GB顯存跑YOLOv8mbatch size設(shè)到32imgsz640。第一次跑的時(shí)候loss下降曲線前100個(gè)epoch一路走低到接近收斂但從驗(yàn)證集指標(biāo)看mAP50漲到0.87以后就上不去了明顯是模型容量不夠換v8m之后mAP50到了0.92。還有個(gè)細(xì)節(jié)值得關(guān)注驗(yàn)證集的小目標(biāo)指標(biāo)和整體指標(biāo)差距。YOLOv8的訓(xùn)練日志里會(huì)輸出不同尺寸目標(biāo)的AP數(shù)據(jù)包括small面積小于32×32和medium介于32×32和96×96之間。我這個(gè)數(shù)據(jù)集小目標(biāo)占六成以上訓(xùn)練完看結(jié)果時(shí)如果只盯著整體mAP50可能忽略小目標(biāo)AP值偏低的問題。實(shí)際訓(xùn)練中發(fā)現(xiàn)v8n的小目標(biāo)AP只到0.78v8m能到0.88這個(gè)差距在真實(shí)高空?qǐng)鼍袄矬w感非常明顯——很多多人聚集區(qū)域的目標(biāo)直接漏檢。訓(xùn)練完成后記得用驗(yàn)證集做一次置信度閾值分析。默認(rèn)置信度閾值是0.25在這個(gè)數(shù)據(jù)集上驗(yàn)證集的PR曲線顯示閾值調(diào)到0.35時(shí)能有效過濾掉看臺(tái)座椅、樹木陰影造成的一批誤檢同時(shí)召回率只損失一個(gè)點(diǎn)左右。這個(gè)操作在部署階段對(duì)提升用戶體驗(yàn)很有幫助。很多人訓(xùn)練完不調(diào)置信度閾值直接默認(rèn)值上線誤檢一堆綠色框在樹上晃體驗(yàn)極差。4. 訓(xùn)練與推理中的典型問題排查實(shí)錄4.1 小目標(biāo)漏檢為什么模型對(duì)遠(yuǎn)處的人群視而不見航拍人體檢測(cè)最大的痛點(diǎn)是目標(biāo)尺寸太小。YOLOv8默認(rèn)輸入分辨率是640×640在這個(gè)分辨率下一個(gè)站在50米高空下的成人只有大約12×28像素經(jīng)過骨干網(wǎng)絡(luò)4次下采樣后特征圖上的尺寸僅剩約3×7像素在最高層特征圖上幾乎不可見。解決方案除了前面提到的用更高輸入分辨率imgsz960或1280重新訓(xùn)練外還可以利用YOLOv8的檢測(cè)頭改進(jìn)策略。v8的檢測(cè)頭本身已經(jīng)使用了anchor-free設(shè)計(jì)對(duì)小目標(biāo)比v5友好但仍有優(yōu)化空間。我這里用的一個(gè)有效做法是訓(xùn)練時(shí)輸入尺寸設(shè)960推理時(shí)保持960輸入顯存不夠就減小batch。實(shí)測(cè)v8m在960分辨率下小目標(biāo)AP從0.88提升到0.91但這個(gè)方案對(duì)顯存壓力大一個(gè)batch8時(shí)單卡24GB勉強(qiáng)夠用。另一個(gè)思路是分塊檢測(cè)Tiling把原圖切成左上、右上、左下、右下四個(gè)帶重疊區(qū)的子圖分別送入模型推理后再合并結(jié)果。這個(gè)方法在小目標(biāo)檢測(cè)比賽中很常見對(duì)無人機(jī)畫面效果顯著但會(huì)增加約3到4倍的推理耗時(shí)適合離線分析或單路低要求實(shí)時(shí)場景。4.2 混淆矩陣總和不為1先別慌訓(xùn)練完看驗(yàn)證集混淆矩陣發(fā)現(xiàn)所有格子的數(shù)值加起來不為1有人會(huì)以為是計(jì)算錯(cuò)誤。實(shí)際上YOLO輸出的混淆矩陣默認(rèn)是歸一化后的百分比格式每個(gè)類別行的數(shù)值代表該類別的真實(shí)樣本中被預(yù)測(cè)為各類別的比例背景background單獨(dú)占一行而且右下角代表“真反例”的格子通常是空著或極大的數(shù)字不做歸一化處理。再加上閾值小于0.5才算誤檢模型預(yù)測(cè)得分本身有連續(xù)性誤差所以各行加起來不嚴(yán)格等于1是非常正常的?？椿煜仃嚂r(shí)真正該關(guān)注的是person類別對(duì)角線上的值高不高召回率背景類別有沒有大量樣本被誤判為person誤檢率。我本次訓(xùn)練完的混線矩陣?yán)飌erson對(duì)person的命中率是0.92背景被誤檢為person的比例是0.03屬于可接受范圍。如果背景誤檢比例超過0.1建議增加負(fù)樣本圖片一起參與訓(xùn)練。4.3 訓(xùn)練中BN層崩潰BatchNorm崩潰有次換服務(wù)器重跑訓(xùn)練發(fā)現(xiàn)前30個(gè)epoch里loss直接NAN日志中出現(xiàn)“BN running_var”異常。排查后發(fā)現(xiàn)是batch size設(shè)得太小batch8而模型前一晚的權(quán)重是在batch32下訓(xùn)練的BN統(tǒng)計(jì)量與新的batch不匹配加上學(xué)習(xí)率設(shè)定偏高導(dǎo)致數(shù)值不穩(wěn)定。這個(gè)問題的處理方式有兩條路將batch調(diào)回32以上同時(shí)調(diào)低lr0到0.005讓BN統(tǒng)計(jì)量有足夠多穩(wěn)定樣本重新計(jì)算加載預(yù)訓(xùn)練權(quán)重后先凍結(jié)骨干網(wǎng)絡(luò)只訓(xùn)練檢測(cè)頭跑幾個(gè)epoch等loss穩(wěn)定后再解凍全模型訓(xùn)練。這個(gè)策略對(duì)顯存有限的用戶非常友好。另外值得提到的是YOLO訓(xùn)練中BN的momentum參數(shù)默認(rèn)是0.1如果數(shù)據(jù)集的分布劇烈變化比如從正常光照突然換成大量過曝欠曝樣本BN統(tǒng)計(jì)量的更新速度可能跟不上表現(xiàn)為中間階段驗(yàn)證集指標(biāo)大幅震蕩?？梢栽诔瑓⑽募袑omentum調(diào)到0.03左右犧牲一點(diǎn)收斂速度換穩(wěn)定性。4.4 人群密集區(qū)域重復(fù)檢測(cè)框過多課間操場景下幾百人密集排列模型輸出時(shí)會(huì)出現(xiàn)一個(gè)目標(biāo)對(duì)應(yīng)多個(gè)框的情況。NMS非極大值抑制默認(rèn)IoU閾值是0.7但高密度場景下真目標(biāo)的框相互之間IoU本來就高NMS會(huì)誤殺掉部分正確框造成漏檢。解決辦法有兩個(gè)方向。第一把預(yù)測(cè)時(shí)的agnostic_nms設(shè)為True讓NMS不區(qū)分類別只按IoU做抑制——因?yàn)楸緢鼍爸挥幸粋€(gè)類別這個(gè)設(shè)置不會(huì)產(chǎn)生副作用效果是能有效壓制同目標(biāo)區(qū)域的重復(fù)框。第二把nms_iou閾值從默認(rèn)0.7調(diào)到0.5左右讓框之間做到更激進(jìn)的抑制。代價(jià)是如果兩個(gè)真實(shí)目標(biāo)間距很近、框高度重疊激進(jìn)抑制可能把其中一個(gè)正確框也干掉。實(shí)際測(cè)試中0.5到0.6之間效果最好需要根據(jù)自己的數(shù)據(jù)實(shí)際情況多試幾次。5. 部署實(shí)踐與落地?cái)U(kuò)展5.1 模型導(dǎo)出與TensorRT加速訓(xùn)練好的權(quán)重文件最終要落地部署至少繞不開模型導(dǎo)出這一步。YOLOv8官方支持直接導(dǎo)出為ONNX、TensorRT engine等格式y(tǒng)olo export modelruns/detect/train/weights/best.pt formatonnx opset12 dynamicTrue yolo export modelruns/detect/train/weights/best.pt formatengine device0 halfTrue導(dǎo)出TensorRT engine時(shí)halfTrue啟用FP16精度。我在部署方案中實(shí)測(cè)FP16精度下mAP掉0.5個(gè)百分點(diǎn)左右但推理速度提升約1.8倍對(duì)航拍這類實(shí)時(shí)性要求高的場景完全值得。值得特別說明的是TensorRT對(duì)輸入分辨率非常敏感。一個(gè)AI模型在導(dǎo)出成TensorRT engine時(shí)如果沒有開啟動(dòng)態(tài)shapedynamicTrue那么推理時(shí)的輸入尺寸必須與導(dǎo)出時(shí)固定尺寸完全一致否則會(huì)報(bào)錯(cuò)或直接跑不了。實(shí)際操作中要提前確定推理分辨率不要想著“我訓(xùn)練640導(dǎo)出一個(gè)640的engine然后部署時(shí)用960跑”這是完全行不通的。5.2 多路視頻流的并發(fā)推理設(shè)計(jì)航拍項(xiàng)目部署時(shí)常見需求是操場上有若干定點(diǎn)攝像頭或者一臺(tái)無人機(jī)同時(shí)回傳1080p視頻流后端對(duì)這些流做實(shí)時(shí)人流量統(tǒng)計(jì)。這里涉及“單卡能支持多少路視頻流”的算力規(guī)劃問題。結(jié)合T4顯卡16GB顯存用TensorRT FP16跑YOLOv8m輸入640×640理論單幀推理耗時(shí)約10到12毫秒。但1080p視頻是25fps意味著每幀需要40毫秒內(nèi)完成一幀才不丟幀。這時(shí)關(guān)鍵瓶頸不在模型推理速度而在于4K/1080p輸入的預(yù)處理解碼、縮放、歸一化耗時(shí)——這一步如果放在CPU上跑單路就要占用30毫秒以上加上推理時(shí)間直接就超預(yù)算了。合理的調(diào)度方案是每路視頻流分一個(gè)線程線程內(nèi)先用GPU的torchvision.ops.nms或OpenCV的CUDA版本做統(tǒng)一預(yù)處理N路視頻幀通過批處理方式打包成一個(gè)大batch統(tǒng)一推理。實(shí)測(cè)T4配合這種批處理方式的極限是在25fps下支持約6到8路1080p視頻流的實(shí)時(shí)檢測(cè)。若需要更高路數(shù)建議降低到720p輸入或換成YOLOv8s/n級(jí)別的模型。這些數(shù)據(jù)供參考具體路數(shù)要用自己的顯卡實(shí)測(cè)校驗(yàn)單純按推理耗時(shí)換算往往會(huì)讓人低估預(yù)處理帶來的壓力。5.3 從檢測(cè)到應(yīng)用校園場景的三大落地方向檢測(cè)模型本身只是前端能力結(jié)合業(yè)務(wù)邏輯才能形成完整閉環(huán)。基于這個(gè)航拍校園操場人體檢測(cè)數(shù)據(jù)集我梳理了三個(gè)可落地的應(yīng)用方向。第一是課間操與體育課的出勤統(tǒng)計(jì)。利用俯拍畫面做實(shí)時(shí)人數(shù)統(tǒng)計(jì)對(duì)比系統(tǒng)排課名單自動(dòng)生成缺席預(yù)警。相比傳統(tǒng)地面攝像頭航拍俯視視角不受前排遮擋影響覆蓋率接近100%。這需要額外對(duì)操場做區(qū)域標(biāo)定不同的班級(jí)區(qū)域通過多邊形羅克區(qū)Region of Interest劃分后再做人數(shù)計(jì)數(shù)。第二是運(yùn)動(dòng)軌跡分析與安全事故預(yù)警。利用多幀檢測(cè)框中心點(diǎn)做時(shí)間序列追蹤如ByteTrack算法如果某個(gè)目標(biāo)長時(shí)間停留在原地沒移動(dòng)判定為異常狀態(tài)并觸發(fā)預(yù)警。這個(gè)玩法對(duì)單張圖片檢測(cè)的精度要求沒有太高但對(duì)追蹤的幀間匹配穩(wěn)定性要求很高需要在部署時(shí)調(diào)整ByteTrack的匹配閾值。第三是大型校園活動(dòng)的熱力圖生成。比如運(yùn)動(dòng)會(huì)開幕式或畢業(yè)典禮這類人員大規(guī)模聚集場景把檢測(cè)框的中心點(diǎn)做核密度估計(jì)后投影到操場俯瞰圖上生成實(shí)時(shí)人流熱力圖幫助安保人員識(shí)別人群過度密集區(qū)域輔助分流決策。6. 效率提升技巧與踩坑心得6.1 標(biāo)注效率翻倍的三條經(jīng)驗(yàn)標(biāo)注高空俯拍數(shù)據(jù)集的體驗(yàn)跟標(biāo)注地面視角完全不一樣。地面視角人能看出清晰的“站立的人”的形狀俯拍視角的人更像“帶頭的橢圓”標(biāo)注員看多了極易眼疲勞。我試下來的幾條經(jīng)驗(yàn)很有用先自動(dòng)標(biāo)注再人工修正。拿一個(gè)已經(jīng)訓(xùn)練好的模型哪怕是用公開數(shù)據(jù)集訓(xùn)練的低性能模型跑一遍全部圖片導(dǎo)出偽標(biāo)簽然后標(biāo)注員在偽標(biāo)簽基礎(chǔ)上修正。這個(gè)流程能節(jié)省60%以上的標(biāo)注工作量。注意人工修正時(shí)要格外小心自動(dòng)標(biāo)注中的系統(tǒng)性錯(cuò)誤比如模型習(xí)慣把同色衣服的相鄰人合并成一個(gè)框這種錯(cuò)誤要人工一個(gè)個(gè)拆開。做好預(yù)分類。把圖片按目標(biāo)密度分為高、中、低三檔安排不同熟練度的標(biāo)注員分開處理。高密度圖一張能標(biāo)幾十分鐘低密度圖幾秒就完事混合分配低效且容易讓標(biāo)注員疲勞。定期抽檢。我每完成200張就隨機(jī)抽20張讓另一人復(fù)核計(jì)算框與框之間的平均IoU作為一致性指標(biāo)。低于0.85就組織重新培訓(xùn)標(biāo)注員防止標(biāo)注口徑漂移。6.2 圖片預(yù)處理的兩個(gè)細(xì)節(jié)訓(xùn)練前我用了一個(gè)很多人忽略但至關(guān)重要的處理對(duì)原始4K圖做圖像去畸變。低端無人機(jī)的鏡頭普遍存在明顯的徑向畸變操場邊線的直線在畫面邊緣會(huì)變成弧線。如果不矯正畸變就送進(jìn)模型訓(xùn)練模型會(huì)把畸變特征當(dāng)作“操場場景特征”記住影響泛化能力。我的做法是先用OpenCV的相機(jī)標(biāo)定流程算每臺(tái)無人機(jī)鏡頭的畸變系數(shù)然后統(tǒng)一做去畸變預(yù)處理再縮放為訓(xùn)練分辨率。另外所有圖片統(tǒng)一做了自動(dòng)白平衡校正。無人機(jī)的自動(dòng)白平衡在不同光照環(huán)境下差異很大尤其是黃昏時(shí)畫面整體偏黃早上偏藍(lán)。通過灰世界假設(shè)算法把色溫統(tǒng)一到基準(zhǔn)值減少模型對(duì)色彩的過擬合。6.3 擴(kuò)展思路多模態(tài)與更多場景的融合這個(gè)數(shù)據(jù)集目前只有圖像模態(tài)但航拍場景天然適合融合更多數(shù)據(jù)源。比如后續(xù)可以加入無人機(jī)的GPS定位信息與IMU姿態(tài)角結(jié)合相機(jī)內(nèi)外參把每個(gè)人體檢測(cè)框反投影到操場平面坐標(biāo)上直接輸出每位學(xué)生的經(jīng)緯度位置。這個(gè)方向再往前一步可以將多臺(tái)無人機(jī)或定點(diǎn)攝像頭的檢測(cè)結(jié)果做跨視角融合生成完整的操場三維人流動(dòng)態(tài)。如果想把數(shù)據(jù)集做得更“通用”我還建議加入以下兩類場景負(fù)樣本一是操場無人時(shí)段圖中只有跑道線、草坪紋路沒有任何人這能顯著降低誤檢率二是在操場周邊出現(xiàn)施工圍擋、臨時(shí)帳篷等異形結(jié)構(gòu)物的圖片迫使模型區(qū)分“人形”和“大型立體物體邊緣”。這兩類圖不增加人體樣本數(shù)量但對(duì)魯棒性的提升非?？捎^。最后再分享一個(gè)我在實(shí)際使用中發(fā)現(xiàn)的細(xì)節(jié)實(shí)時(shí)推理時(shí)如果視頻流是從無人機(jī)的圖傳鏈路拉取的畫面碼率經(jīng)常不穩(wěn)定偶爾會(huì)出現(xiàn)花屏或高壓縮偽影。在這種條件下把輸入圖片先做一次輕度的中值濾波降噪能明顯減少錯(cuò)誤檢測(cè)框。代價(jià)是每幀增加約2毫秒處理時(shí)間在算力允許時(shí)是個(gè)性價(jià)比很高的操作。