為什么被算幾百次？我給 YOLO 加了 ByteTrack 目標(biāo)跟蹤)
項(xiàng)目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標(biāo)檢測(cè)實(shí)驗(yàn)項(xiàng)目 - AtomGit上一篇我已經(jīng)把 YOLO 從圖片檢測(cè)擴(kuò)展到了視頻檢測(cè)。當(dāng)時(shí)視頻檢測(cè)已經(jīng)可以完成Video Upload → YOLO Detection → Video Progress → Detection Video → Video Summary → JSON Export但做完以后有一個(gè)很明顯的問(wèn)題。比如一輛車(chē)連續(xù)出現(xiàn)在幾十甚至幾百幀中普通 YOLO 會(huì)在每一幀都檢測(cè)到它。于是統(tǒng)計(jì)結(jié)果可能變成Car ×100但實(shí)際上它可能從頭到尾都是同一輛車(chē)。所以這一次我繼續(xù)使用碼道 Agent在原來(lái)的 YOLO 視頻檢測(cè)項(xiàng)目上加入了YOLO11n ByteTrack讓模型不只是知道這一幀有什么還能夠進(jìn)一步判斷這一幀里的這輛車(chē)和上一幀的是不是同一個(gè)目標(biāo)一、Detection 和 Tracking 到底差在哪普通目標(biāo)檢測(cè)的邏輯是Frame 1 → Car Frame 2 → Car Frame 3 → Car Frame 4 → CarYOLO 并不知道這四個(gè) Car 是不是同一輛。因此統(tǒng)計(jì)時(shí)可能得到Detection Events 4而目標(biāo)跟蹤加入以后會(huì)給目標(biāo)一個(gè)持續(xù)存在的 ID。例如Frame 1 → Car #7 Frame 2 → Car #7 Frame 3 → Car #7 Frame 4 → Car #7雖然產(chǎn)生了 4 次 Detection Event但真正的唯一目標(biāo)只有Unique Objects 1這就是這一次加入 ByteTrack 最核心的原因。二、加入第四種模式Tracking現(xiàn)在項(xiàng)目頂部已經(jīng)有四種模式Single Image Batch Images Video TrackingTracking 模式繼續(xù)復(fù)用之前的視頻上傳和 metadata 讀取能力。我這次測(cè)試的視頻參數(shù)為Resolution: 1920 × 1080 FPS: 29.97 Total Frames: 962 Duration: 32.10 sTracking Settings 中增加了Confidence ThresholdFrame IntervalShow Track TrailsTrail Length這次實(shí)際設(shè)置為Confidence 0.50 Frame Interval Every Frame Show Track Trails ON Trail Length 30三、ByteTrack 是怎么接進(jìn)來(lái)的這次沒(méi)有再引入 DeepSORT 或其他新的 Tracking 框架。直接使用 Ultralytics 已經(jīng)集成的ByteTrack核心思路類(lèi)似model.track( frame, persistTrue, trackerbytetrack.yaml, confconfidence, devicedevice)其中比較關(guān)鍵的是persistTrue它讓 tracker 在連續(xù)視頻幀之間保留跟蹤狀態(tài)。這樣同一個(gè)目標(biāo)在下一幀再次出現(xiàn)時(shí)就有機(jī)會(huì)繼續(xù)使用原來(lái)的track_id例如Car #4 Person #6 Bicycle #15而不是每一幀都當(dāng)成新的目標(biāo)。四、Track ID 才是 Unique Count 的基礎(chǔ)這次后端會(huì)從 ByteTrack 返回結(jié)果中讀取boxes.id再把它轉(zhuǎn)換成真實(shí)的track_id然后維護(hù)一個(gè)集合unique_track_ids set()每出現(xiàn)一個(gè)新的有效 IDunique_track_ids.add(track_id)最終Unique Objects len(unique_track_ids)所以如果Car #7連續(xù)出現(xiàn) 200 幀Detection Events 200 Unique Objects 1這就和之前的視頻檢測(cè)統(tǒng)計(jì)產(chǎn)生了本質(zhì)區(qū)別。五、真實(shí)結(jié)果3989 次檢測(cè)最終只有 37 個(gè)唯一目標(biāo)這次完整處理了962 / 962 Frames Progress: 100%頁(yè)面最終統(tǒng)計(jì)Detection Events: 3989 Unique Objects: 37也就是說(shuō)YOLO 在視頻幀中一共產(chǎn)生了3989 次檢測(cè)事件但 ByteTrack 根據(jù) Track ID 去重以后真正跟蹤到的唯一目標(biāo)數(shù)量是37這就是 Detection 和 Tracking 最直觀的區(qū)別。六、37 個(gè) Unique Objects 分別是什么Tracking Summary 會(huì)按照類(lèi)別繼續(xù)統(tǒng)計(jì)唯一目標(biāo)。這次真實(shí)結(jié)果為ClassUnique ObjectsCar18Person16Bicycle3剛好18 16 3 37這比上一篇單純看到大量 Detection Event 更容易解釋實(shí)際場(chǎng)景。以前只能說(shuō)Car 被檢測(cè)了很多次。現(xiàn)在可以進(jìn)一步說(shuō)ByteTrack 最終關(guān)聯(lián)出了 18 個(gè)不同的 Car Track。七、為什么還要保留 Detection Events既然已經(jīng)有了 Unique Objects是不是 Detection Events 就沒(méi)用了其實(shí)不是。兩者代表不同的信息。Detection Events表示所有檢測(cè)幀中一共出現(xiàn)了多少次目標(biāo)框它更能反映目標(biāo)在視頻中的持續(xù)時(shí)間和檢測(cè)頻率。Unique Objects表示基于 ByteTrack Track ID 去重后的目標(biāo)數(shù)量例如Car #7出現(xiàn) 150 幀。那么Detection Events 150 Unique Objects 1所以這次頁(yè)面同時(shí)保留Detection Event Summary Unique Object Summary兩種統(tǒng)計(jì)而不是用一個(gè)數(shù)字替代另一個(gè)。八、給每個(gè)目標(biāo)畫(huà)上運(yùn)動(dòng)軌跡這次另外加入了一個(gè)比較直觀的功能Track Trails對(duì)于每個(gè) Track ID會(huì)根據(jù) Bounding Box 中心點(diǎn)計(jì)算cx (x1 x2) / 2 cy (y1 y2) / 2然后保存最近若干個(gè)位置。這次設(shè)置Trail Length 30也就是每個(gè)目標(biāo)最多保留最近 30 個(gè)中心點(diǎn)。最后通過(guò) OpenCV 把這些點(diǎn)連接起來(lái)。因此在結(jié)果視頻中除了Bounding Box Class Track ID Confidence還可以看到黃色的運(yùn)動(dòng)軌跡。這比普通 YOLO 的矩形框更容易觀察目標(biāo)到底從哪里移動(dòng)到哪里。九、Active Tracks 和 Unique Seen 不是一個(gè)概念Tracking Progress 中還有兩個(gè)容易混淆的值A(chǔ)ctive Tracks Unique Seen比如這次任務(wù)結(jié)束后頁(yè)面顯示Active Tracks: 0 Unique Seen: 37這并不代表跟蹤失敗。因?yàn)锳ctive Tracks代表的是當(dāng)前幀仍然活躍的目標(biāo)數(shù)量。任務(wù)結(jié)束以后最后一幀如果沒(méi)有活躍目標(biāo)它自然可能變成 0。而Unique Seen代表整個(gè)視頻處理過(guò)程中累計(jì)見(jiàn)過(guò)多少個(gè)不同 Track ID。所以這次真正要看的累計(jì)結(jié)果是Unique Seen 37十、Track List 能看到每個(gè)目標(biāo)的生命周期Tracking 模式還增加了一個(gè)Track List每個(gè)唯一目標(biāo)都會(huì)保存自己的生命周期信息Track ID Class First Frame Last Frame Frames Seen Avg Confidence Max Confidence例如#1 Car Frames: 0 → 79 Seen: 78 Avg Confidence: ... Max Confidence: ...這樣就不只是知道“有 18 輛車(chē)”還可以進(jìn)一步查看某一輛車(chē)是什么時(shí)候第一次出現(xiàn)的持續(xù)了多少幀整個(gè)跟蹤過(guò)程中置信度怎么樣這已經(jīng)開(kāi)始有一點(diǎn)真正視頻分析系統(tǒng)的感覺(jué)了。十一、新任務(wù)必須重置 Tracker做 Tracking 時(shí)還有一個(gè)需要特別注意的問(wèn)題Tracker 本身是有狀態(tài)的。因?yàn)?ByteTrack 要記住上一幀有哪些 Track ID所以如果Video A處理完以后直接開(kāi)始Video B但沒(méi)有清空 tracker那么第二個(gè)任務(wù)可能繼承第一個(gè)視頻中的狀態(tài)。因此這次專(zhuān)門(mén)增加了reset_tracker()每一個(gè)新的 Tracking Job 開(kāi)始以前都先把舊 tracker 狀態(tài)清掉。這樣Tracking Job 1和Tracking Job 2就是完全獨(dú)立的。同時(shí)也不會(huì)影響原來(lái)的普通 Video Detection。十二、導(dǎo)出 Tracking JSON 和 CSV跟蹤完成以后現(xiàn)在可以導(dǎo)出兩類(lèi)結(jié)果。Export Tracking JSONJSON 會(huì)保存Detection Events Unique Objects Unique Class Summary Detection Class Summary Tracks每個(gè) Track 里面還有track_id class_name first_frame last_frame frames_seen avg_confidence max_confidence結(jié)構(gòu)類(lèi)似{ detection_events: 3989, unique_objects: 37, unique_class_summary: { car: 18, person: 16, bicycle: 3 } }Export Tracks CSVCSV 則是一條 Track 一行。例如track_id,class_name,first_frame,last_frame,frames_seen,... 1,car,0,79,78,... 2,person,0,72,57,...相比把視頻每一幀全部導(dǎo)出來(lái)這種形式更適合分析一個(gè)獨(dú)立目標(biāo)的完整生命周期。十三、測(cè)試也增加到了 126 個(gè)在加入 Tracking 之前整個(gè)項(xiàng)目已經(jīng)有77 passed這次又增加了大量 ByteTrack 相關(guān)測(cè)試。最終126 passed前端邏輯測(cè)試72 assertions passed新增測(cè)試主要覆蓋tracker resetTrack ID 解析boxes.id is NoneUnique Track 去重同一 ID 多幀只統(tǒng)計(jì)一次Detection EventsUnique Class SummaryTrail LengthFirst / Last FrameFrames SeenAvg ConfidenceMax ConfidenceActive TracksTracking JSONTracks CSV新 Job 不繼承舊 tracker原 Video / Batch / Single Image 不回歸總結(jié)這一篇之后項(xiàng)目已經(jīng)不只是YOLO Detection而是進(jìn)一步進(jìn)入了YOLO Detection ↓ ByteTrack ↓ Track ID ↓ Cross-frame Association ↓ Unique Object Count ↓ Trajectory Trail ↓ Track Lifecycle這次真實(shí)測(cè)試中962 Frames 3989 Detection Events 37 Unique Objects其中Car ×18 Person ×16 Bicycle ×3也就是說(shuō)之前那些成百上千次重復(fù)檢測(cè)現(xiàn)在終于可以通過(guò) Track ID 關(guān)聯(lián)成真正的獨(dú)立目標(biāo)。從這一幀有一輛車(chē)變成這是之前那輛 Car #7它現(xiàn)在移動(dòng)到了這里。這就是從Object Detection到Multi-Object Tracking最直觀的一步。項(xiàng)目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標(biāo)檢測(cè)實(shí)驗(yàn)項(xiàng)目 - AtomGit下一篇就可以繼續(xù)解決一個(gè)更實(shí)際的問(wèn)題既然已經(jīng)知道每輛車(chē)是誰(shuí)那能不能統(tǒng)計(jì)到底有多少輛車(chē)真正經(jīng)過(guò)某一條線下一步Y(jié)OLO ByteTrack Line Crossing做真正的行人 / 車(chē)流過(guò)線計(jì)數(shù)。 同一輛車(chē)為什么被算幾百次？我給 YOLO 加了 ByteTrack 目標(biāo)跟蹤
項(xiàng)目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標(biāo)檢測(cè)實(shí)驗(yàn)項(xiàng)目 - AtomGit上一篇我已經(jīng)把 YOLO 從圖片檢測(cè)擴(kuò)展到了視頻檢測(cè)。當(dāng)時(shí)視頻檢測(cè)已經(jīng)可以完成Video Upload → YOLO Detection → Video Progress → Detection Video → Video Summary → JSON Export但做完以后有一個(gè)很明顯的問(wèn)題。比如一輛車(chē)連續(xù)出現(xiàn)在幾十甚至幾百幀中普通 YOLO 會(huì)在每一幀都檢測(cè)到它。于是統(tǒng)計(jì)結(jié)果可能變成Car ×100但實(shí)際上它可能從頭到尾都是同一輛車(chē)。所以這一次我繼續(xù)使用碼道 Agent在原來(lái)的 YOLO 視頻檢測(cè)項(xiàng)目上加入了YOLO11n ByteTrack讓模型不只是知道這一幀有什么還能夠進(jìn)一步判斷這一幀里的這輛車(chē)和上一幀的是不是同一個(gè)目標(biāo)一、Detection 和 Tracking 到底差在哪普通目標(biāo)檢測(cè)的邏輯是Frame 1 → Car Frame 2 → Car Frame 3 → Car Frame 4 → CarYOLO 并不知道這四個(gè) Car 是不是同一輛。因此統(tǒng)計(jì)時(shí)可能得到Detection Events 4而目標(biāo)跟蹤加入以后會(huì)給目標(biāo)一個(gè)持續(xù)存在的 ID。例如Frame 1 → Car #7 Frame 2 → Car #7 Frame 3 → Car #7 Frame 4 → Car #7雖然產(chǎn)生了 4 次 Detection Event但真正的唯一目標(biāo)只有Unique Objects 1這就是這一次加入 ByteTrack 最核心的原因。二、加入第四種模式Tracking現(xiàn)在項(xiàng)目頂部已經(jīng)有四種模式Single Image Batch Images Video TrackingTracking 模式繼續(xù)復(fù)用之前的視頻上傳和 metadata 讀取能力。我這次測(cè)試的視頻參數(shù)為Resolution: 1920 × 1080 FPS: 29.97 Total Frames: 962 Duration: 32.10 sTracking Settings 中增加了Confidence ThresholdFrame IntervalShow Track TrailsTrail Length這次實(shí)際設(shè)置為Confidence 0.50 Frame Interval Every Frame Show Track Trails ON Trail Length 30三、ByteTrack 是怎么接進(jìn)來(lái)的這次沒(méi)有再引入 DeepSORT 或其他新的 Tracking 框架。直接使用 Ultralytics 已經(jīng)集成的ByteTrack核心思路類(lèi)似model.track( frame, persistTrue, trackerbytetrack.yaml, confconfidence, devicedevice)其中比較關(guān)鍵的是persistTrue它讓 tracker 在連續(xù)視頻幀之間保留跟蹤狀態(tài)。這樣同一個(gè)目標(biāo)在下一幀再次出現(xiàn)時(shí)就有機(jī)會(huì)繼續(xù)使用原來(lái)的track_id例如Car #4 Person #6 Bicycle #15而不是每一幀都當(dāng)成新的目標(biāo)。四、Track ID 才是 Unique Count 的基礎(chǔ)這次后端會(huì)從 ByteTrack 返回結(jié)果中讀取boxes.id再把它轉(zhuǎn)換成真實(shí)的track_id然后維護(hù)一個(gè)集合unique_track_ids set()每出現(xiàn)一個(gè)新的有效 IDunique_track_ids.add(track_id)最終Unique Objects len(unique_track_ids)所以如果Car #7連續(xù)出現(xiàn) 200 幀Detection Events 200 Unique Objects 1這就和之前的視頻檢測(cè)統(tǒng)計(jì)產(chǎn)生了本質(zhì)區(qū)別。五、真實(shí)結(jié)果3989 次檢測(cè)最終只有 37 個(gè)唯一目標(biāo)這次完整處理了962 / 962 Frames Progress: 100%頁(yè)面最終統(tǒng)計(jì)Detection Events: 3989 Unique Objects: 37也就是說(shuō)YOLO 在視頻幀中一共產(chǎn)生了3989 次檢測(cè)事件但 ByteTrack 根據(jù) Track ID 去重以后真正跟蹤到的唯一目標(biāo)數(shù)量是37這就是 Detection 和 Tracking 最直觀的區(qū)別。六、37 個(gè) Unique Objects 分別是什么Tracking Summary 會(huì)按照類(lèi)別繼續(xù)統(tǒng)計(jì)唯一目標(biāo)。這次真實(shí)結(jié)果為ClassUnique ObjectsCar18Person16Bicycle3剛好18 16 3 37這比上一篇單純看到大量 Detection Event 更容易解釋實(shí)際場(chǎng)景。以前只能說(shuō)Car 被檢測(cè)了很多次。現(xiàn)在可以進(jìn)一步說(shuō)ByteTrack 最終關(guān)聯(lián)出了 18 個(gè)不同的 Car Track。七、為什么還要保留 Detection Events既然已經(jīng)有了 Unique Objects是不是 Detection Events 就沒(méi)用了其實(shí)不是。兩者代表不同的信息。Detection Events表示所有檢測(cè)幀中一共出現(xiàn)了多少次目標(biāo)框它更能反映目標(biāo)在視頻中的持續(xù)時(shí)間和檢測(cè)頻率。Unique Objects表示基于 ByteTrack Track ID 去重后的目標(biāo)數(shù)量例如Car #7出現(xiàn) 150 幀。那么Detection Events 150 Unique Objects 1所以這次頁(yè)面同時(shí)保留Detection Event Summary Unique Object Summary兩種統(tǒng)計(jì)而不是用一個(gè)數(shù)字替代另一個(gè)。八、給每個(gè)目標(biāo)畫(huà)上運(yùn)動(dòng)軌跡這次另外加入了一個(gè)比較直觀的功能Track Trails對(duì)于每個(gè) Track ID會(huì)根據(jù) Bounding Box 中心點(diǎn)計(jì)算cx (x1 x2) / 2 cy (y1 y2) / 2然后保存最近若干個(gè)位置。這次設(shè)置Trail Length 30也就是每個(gè)目標(biāo)最多保留最近 30 個(gè)中心點(diǎn)。最后通過(guò) OpenCV 把這些點(diǎn)連接起來(lái)。因此在結(jié)果視頻中除了Bounding Box Class Track ID Confidence還可以看到黃色的運(yùn)動(dòng)軌跡。這比普通 YOLO 的矩形框更容易觀察目標(biāo)到底從哪里移動(dòng)到哪里。九、Active Tracks 和 Unique Seen 不是一個(gè)概念Tracking Progress 中還有兩個(gè)容易混淆的值A(chǔ)ctive Tracks Unique Seen比如這次任務(wù)結(jié)束后頁(yè)面顯示Active Tracks: 0 Unique Seen: 37這并不代表跟蹤失敗。因?yàn)锳ctive Tracks代表的是當(dāng)前幀仍然活躍的目標(biāo)數(shù)量。任務(wù)結(jié)束以后最后一幀如果沒(méi)有活躍目標(biāo)它自然可能變成 0。而Unique Seen代表整個(gè)視頻處理過(guò)程中累計(jì)見(jiàn)過(guò)多少個(gè)不同 Track ID。所以這次真正要看的累計(jì)結(jié)果是Unique Seen 37十、Track List 能看到每個(gè)目標(biāo)的生命周期Tracking 模式還增加了一個(gè)Track List每個(gè)唯一目標(biāo)都會(huì)保存自己的生命周期信息Track ID Class First Frame Last Frame Frames Seen Avg Confidence Max Confidence例如#1 Car Frames: 0 → 79 Seen: 78 Avg Confidence: ... Max Confidence: ...這樣就不只是知道“有 18 輛車(chē)”還可以進(jìn)一步查看某一輛車(chē)是什么時(shí)候第一次出現(xiàn)的持續(xù)了多少幀整個(gè)跟蹤過(guò)程中置信度怎么樣這已經(jīng)開(kāi)始有一點(diǎn)真正視頻分析系統(tǒng)的感覺(jué)了。十一、新任務(wù)必須重置 Tracker做 Tracking 時(shí)還有一個(gè)需要特別注意的問(wèn)題Tracker 本身是有狀態(tài)的。因?yàn)?ByteTrack 要記住上一幀有哪些 Track ID所以如果Video A處理完以后直接開(kāi)始Video B但沒(méi)有清空 tracker那么第二個(gè)任務(wù)可能繼承第一個(gè)視頻中的狀態(tài)。因此這次專(zhuān)門(mén)增加了reset_tracker()每一個(gè)新的 Tracking Job 開(kāi)始以前都先把舊 tracker 狀態(tài)清掉。這樣Tracking Job 1和Tracking Job 2就是完全獨(dú)立的。同時(shí)也不會(huì)影響原來(lái)的普通 Video Detection。十二、導(dǎo)出 Tracking JSON 和 CSV跟蹤完成以后現(xiàn)在可以導(dǎo)出兩類(lèi)結(jié)果。Export Tracking JSONJSON 會(huì)保存Detection Events Unique Objects Unique Class Summary Detection Class Summary Tracks每個(gè) Track 里面還有track_id class_name first_frame last_frame frames_seen avg_confidence max_confidence結(jié)構(gòu)類(lèi)似{ detection_events: 3989, unique_objects: 37, unique_class_summary: { car: 18, person: 16, bicycle: 3 } }Export Tracks CSVCSV 則是一條 Track 一行。例如track_id,class_name,first_frame,last_frame,frames_seen,... 1,car,0,79,78,... 2,person,0,72,57,...相比把視頻每一幀全部導(dǎo)出來(lái)這種形式更適合分析一個(gè)獨(dú)立目標(biāo)的完整生命周期。十三、測(cè)試也增加到了 126 個(gè)在加入 Tracking 之前整個(gè)項(xiàng)目已經(jīng)有77 passed這次又增加了大量 ByteTrack 相關(guān)測(cè)試。最終126 passed前端邏輯測(cè)試72 assertions passed新增測(cè)試主要覆蓋tracker resetTrack ID 解析boxes.id is NoneUnique Track 去重同一 ID 多幀只統(tǒng)計(jì)一次Detection EventsUnique Class SummaryTrail LengthFirst / Last FrameFrames SeenAvg ConfidenceMax ConfidenceActive TracksTracking JSONTracks CSV新 Job 不繼承舊 tracker原 Video / Batch / Single Image 不回歸總結(jié)這一篇之后項(xiàng)目已經(jīng)不只是YOLO Detection而是進(jìn)一步進(jìn)入了YOLO Detection ↓ ByteTrack ↓ Track ID ↓ Cross-frame Association ↓ Unique Object Count ↓ Trajectory Trail ↓ Track Lifecycle這次真實(shí)測(cè)試中962 Frames 3989 Detection Events 37 Unique Objects其中Car ×18 Person ×16 Bicycle ×3也就是說(shuō)之前那些成百上千次重復(fù)檢測(cè)現(xiàn)在終于可以通過(guò) Track ID 關(guān)聯(lián)成真正的獨(dú)立目標(biāo)。從這一幀有一輛車(chē)變成這是之前那輛 Car #7它現(xiàn)在移動(dòng)到了這里。這就是從Object Detection到Multi-Object Tracking最直觀的一步。項(xiàng)目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標(biāo)檢測(cè)實(shí)驗(yàn)項(xiàng)目 - AtomGit下一篇就可以繼續(xù)解決一個(gè)更實(shí)際的問(wèn)題既然已經(jīng)知道每輛車(chē)是誰(shuí)那能不能統(tǒng)計(jì)到底有多少輛車(chē)真正經(jīng)過(guò)某一條線下一步Y(jié)OLO ByteTrack Line Crossing做真正的行人 / 車(chē)流過(guò)線計(jì)數(shù)。