簡介這是一份面向計算機視覺學(xué)習(xí)者與姿態(tài)識別開發(fā)者的YOLOv8-pose人體關(guān)鍵點檢測實戰(zhàn)項目可直接跑通源碼并配套數(shù)據(jù)集適用于運動分析、人機交互、視頻監(jiān)控等場景的實驗與二次開發(fā)。壓縮包共1369個文件約89.04MB包含jpg圖像與標(biāo)注數(shù)據(jù)、py訓(xùn)練推理腳本、md說明文檔、yaml配置文件以及pt預(yù)訓(xùn)練權(quán)重和日志、緩存等訓(xùn)練產(chǎn)物覆蓋從數(shù)據(jù)準(zhǔn)備到模型評估的主要環(huán)節(jié)。已有6223人學(xué)習(xí)說明其可復(fù)現(xiàn)性和參考價值較高。項目圍繞頭部、肩肘腕、髖膝踝等關(guān)鍵點展開提供完整目錄與運行說明讀者可據(jù)此快速搭建訓(xùn)練與推理流程理解多任務(wù)損失、數(shù)據(jù)增強和預(yù)訓(xùn)練遷移等實現(xiàn)細(xì)節(jié)并在此基礎(chǔ)上做精度調(diào)優(yōu)或場景遷移。1. 從一張多人合影到 17 個關(guān)鍵點這套 YOLOV8-pose 項目適合誰姿態(tài)識別真正落地時最先卡住的通常不是網(wǎng)絡(luò)結(jié)構(gòu)而是關(guān)鍵點定義、標(biāo)簽格式和一套能跑通的訓(xùn)練腳本。這套基于 YOLOV8-pose 的姿態(tài)關(guān)鍵點檢測項目帶數(shù)據(jù)集和可直接跑通的源碼適合想快速驗證人體 17 點、自定義關(guān)節(jié)布局或視頻流動作分析的從業(yè)者。它不承諾解決所有遮擋和長尾場景但能讓你在一個下午內(nèi)把訓(xùn)練、驗證、推理、導(dǎo)出串起來先拿到一個能看的 baseline再決定往哪個方向補數(shù)據(jù)。如果你手頭已有一批關(guān)鍵點標(biāo)注卻總在kpt_shape、flip_idx和標(biāo)簽列數(shù)上翻車這套東西的價值會更明顯它把數(shù)據(jù)契約和訓(xùn)練命令放在同一個可對照的工程里省掉反復(fù)試錯的時間。2. 數(shù)據(jù)契約先立住YOLO pose 標(biāo)簽、kpt_shape 與 flip_idx 三件套YOLOv8-pose 的訓(xùn)練能不能一次跑通七成取決于標(biāo)簽是否和data.yaml里的關(guān)鍵點定義對齊。模型結(jié)構(gòu)反而是后面的事。這一章先把一行標(biāo)簽拆開再把kpt_shape、flip_idx和轉(zhuǎn)換腳本串起來最后給一個訓(xùn)練前必跑的自檢腳本。順序不要反先讓數(shù)據(jù)能被正確解析再談?wù){(diào)參。2.1 一行標(biāo)簽里到底存了什么YOLO pose 的標(biāo)簽文件是.txt文件名與圖片同名一行對應(yīng)一個人。單類人體 17 點的典型行如下0 0.512000 0.438000 0.276000 0.612000 0.501000 0.221000 2 0.523000 0.214000 2 ...前 5 個字段依次是類別 id、bbox 中心 x、bbox 中心 y、bbox 寬、bbox 高全部按圖像寬高歸一化到 0 到 1。后面每 3 個字段是一組關(guān)鍵點x y v。x、y同樣歸一化v是可見性標(biāo)記常見約定是0表示未標(biāo)注1表示標(biāo)注了但不可見2表示可見。17 點就是 51 個關(guān)鍵點字段加上前 5 個一行共 56 列。列數(shù)不對訓(xùn)練框架在解析階段就會報錯或者把關(guān)鍵點錯位讀進(jìn)網(wǎng)絡(luò)。bbox 不要隨手拿檢測框湊。關(guān)鍵點回歸依賴 bbox 提供的空間范圍框太緊會把手腕、腳踝裁到框外框太松又會讓模型學(xué)到多余背景。常見做法是讓 bbox 包住所有可見關(guān)鍵點并在四周留 5% 到 10% 的邊距。如果原始標(biāo)注里的 bbox 明顯不包含某個關(guān)鍵點轉(zhuǎn)換時先外擴(kuò)再歸一化。這個動作很小但對早期收斂影響很直接。注意v0的點不要填一個看似合理的坐標(biāo)。未標(biāo)注就是未標(biāo)注坐標(biāo)置 0 更安全否則翻轉(zhuǎn)增強和損失計算會把一個假坐標(biāo)當(dāng)成真值。2.2 kpt_shape 和 flip_idx 為什么必須與關(guān)鍵點定義綁定data.yaml里的kpt_shape: [17, 3]告訴模型兩件事每個人有 17 個關(guān)鍵點每個點有 3 個值。如果你自定義了 5 個點做手勢或者 21 個點做手部這里必須同步改。只改標(biāo)簽不改kpt_shape訓(xùn)練會報關(guān)鍵點長度不匹配只改kpt_shape不改標(biāo)簽?zāi)Ｐ蜁讯喑鰜淼牧挟?dāng)成下一行數(shù)據(jù)或者直接越界。flip_idx是水平翻轉(zhuǎn)增強的索引映射。開啟fliplr0.5后圖像左右翻轉(zhuǎn)關(guān)鍵點坐標(biāo)也會翻轉(zhuǎn)但左右手腕、左右肩膀的語義不能靠坐標(biāo)自動交換必須由flip_idx指定“第 i 個點翻轉(zhuǎn)后對應(yīng)第幾個點”。17 點人體常用順序是鼻、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髖、右髖、左膝、右膝、左踝、右踝對應(yīng)的flip_idx可以寫成flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]這套映射的意思是鼻尖翻轉(zhuǎn)后還是鼻尖左眼和右眼互換左耳和右耳互換肩肘腕髖膝踝依次左右互換。自定義關(guān)鍵點布局時不要照抄這串?dāng)?shù)字拿一張正面圖手動標(biāo)出左右點翻轉(zhuǎn)后再對一遍索引。這個檢查花十分鐘能省掉后面幾天的“玄學(xué)掉點”。2.3 把 COCO 關(guān)鍵點標(biāo)注轉(zhuǎn)成 YOLO pose 的腳本很多現(xiàn)成數(shù)據(jù)集是 COCO 關(guān)鍵點 JSON 格式不能直接喂給 YOLO pose。下面這個腳本做三件事讀 JSON、把 bbox 轉(zhuǎn)成歸一化中心寬高、把關(guān)鍵點按x y v展開寫.txt。腳本不復(fù)制圖片轉(zhuǎn)換完把圖片軟鏈接或復(fù)制到images/train、images/val即可。import json from pathlib import Path import numpy as np def coco_to_yolo_pose(json_path, out_dir, kpt_shape(17, 3), min_vis0): root Path(json_path).parent out_img Path(out_dir) / images out_lbl Path(out_dir) / labels out_img.mkdir(parentsTrue, exist_okTrue) out_lbl.mkdir(parentsTrue, exist_okTrue) data json.loads(Path(json_path).read_text(encodingutf-8)) images {im[id]: im for im in data[images]} k kpt_shape[0] for ann in data[annotations]: if ann.get(iscrowd, 0) 1: continue if ann.get(num_keypoints, 0) min_vis: continue im images[ann[image_id]] w, h im[width], im[height] x, y, bw, bh ann[bbox] if bw 1 or bh 1: continue # bbox 轉(zhuǎn)為中心點 寬高并歸一化 cx (x bw / 2) / w cy (y bh / 2) / h nw bw / w nh bh / h kps np.asarray(ann[keypoints], dtypenp.float32).reshape(k, 3) parts [] for px, py, v in kps: v int(v) if v 0: # 未標(biāo)注點不要偽造坐標(biāo)置 0 并保留 v0 parts.extend([0.0, 0.0, 0]) else: parts.extend([ float(np.clip(px / w, 0, 1)), float(np.clip(py / h, 0, 1)), v ]) cls_id 0 # 單類人體多類場景按 categories 建映射后替換 line .join( [str(cls_id), f{cx:.6f}, f{cy:.6f}, f{nw:.6f}, f{nh:.6f}] [str(v) for v in parts] ) stem Path(im[file_name]).stem (out_lbl / f{stem}.txt).write_text(line \n, encodingutf-8)kpt_shape必須和數(shù)據(jù)集關(guān)鍵點數(shù)量一致17 點就是(17, 3)。min_vis用來過濾關(guān)鍵點太少的樣本比如設(shè)為 5 可以丟掉幾乎全遮擋的標(biāo)注設(shè) 0 則保留全部。cls_id現(xiàn)在固定為 0多類場景要先從categories建一個category_id - 連續(xù)類別 id的映射不能直接把原始類別 id 寫進(jìn)去否則類別號可能跳號。np.clip是防止個別標(biāo)注越界導(dǎo)致訓(xùn)練時坐標(biāo)異常但裁剪只能兜底轉(zhuǎn)換后仍要統(tǒng)計越界比例。關(guān)鍵點順序必須和flip_idx對應(yīng)。COCO 的 17 點順序與上一節(jié)列出的順序一致時flip_idx可以直接用如果你在轉(zhuǎn)換時重排了關(guān)鍵點flip_idx也要跟著重排。最穩(wěn)的驗證方式是拿一張圖用腳本畫出 GT 骨架再水平翻轉(zhuǎn)圖像和關(guān)鍵點人工看左右手腕是否互換。這個步驟很土但比盯著 loss 猜有效。2.4 跑通前的數(shù)據(jù)自檢五個檢查項訓(xùn)練命令敲下去之前先跑一遍標(biāo)簽自檢。下面腳本檢查五件事標(biāo)簽是否有同名圖片、每行列數(shù)是否等于5 3*k、bbox 是否越界、可見關(guān)鍵點坐標(biāo)是否越界、可見性分布是否合理。from pathlib import Path from collections import Counter import cv2 def check_labels(img_dir, lbl_dir, k17): img_dir, lbl_dir Path(img_dir), Path(lbl_dir) bad, vis [], Counter() for p in sorted(lbl_dir.glob(*.txt)): img img_dir / (p.stem .jpg) if not img.exists(): img img_dir / (p.stem .png) if not img.exists(): bad.append((p.name, 缺圖片)) continue if cv2.imread(str(img)) is None: bad.append((p.name, 圖片不可讀)) continue for ln, line in enumerate(p.read_text().splitlines(), 1): if not line.strip(): continue cols line.split() if len(cols) ! 5 3 * k: bad.append((p.name, f第{ln}行列數(shù){len(cols)})) continue vals list(map(float, cols[1:])) box vals[:4] if not all(0 v 1 for v in box): bad.append((p.name, f第{ln}行bbox越界)) kps vals[4:] for i in range(k): x, y, v kps[3 * i:3 * i 3] vis[int(v)] 1 if v 0 and not (0 x 1 and 0 y 1): bad.append((p.name, f第{ln}行點{i}越界)) print(異常數(shù):, len(bad)) for b in bad[:20]: print(b) print(可見性分布:, vis)k必須和data.yaml的kpt_shape[0]一致。圖片擴(kuò)展名按實際數(shù)據(jù)改.jpeg也要覆蓋。輸出里如果v0占比特別高說明大量關(guān)鍵點未標(biāo)注訓(xùn)練時模型能學(xué)到的監(jiān)督信號有限先補標(biāo)或換數(shù)據(jù)比調(diào)模型更有效。異常數(shù)不為 0 時不要急著開訓(xùn)練先按文件名定位到具體圖片和行號。自檢通過后目錄結(jié)構(gòu)保持images/train、labels/train、images/val、labels/val同級。訓(xùn)練框架按文件名找標(biāo)簽不按目錄遞歸猜。把同一段視頻的相鄰幀同時分進(jìn) train 和 val 會造成指標(biāo)虛高劃分時按視頻或按人物分組比隨機按幀切更可信。3. 把訓(xùn)練跑起來yolov8n-pose 選型、命令行參數(shù)與收斂判斷數(shù)據(jù)契約對齊后訓(xùn)練本身并不復(fù)雜復(fù)雜的是參數(shù)之間的牽制。這一章先講模型尺度怎么選再給一份能直接跑的命令和data.yaml然后說清楚日志里哪些指標(biāo)值得盯最后把推理和可視化接上。訓(xùn)練不是把 epochs 拉滿就完事能在驗證集上穩(wěn)定復(fù)現(xiàn)的配置才有意義。3.1 選 yolov8n-pose 還是 s/m顯存、幀率與精度的三角YOLOv8-pose 的 n/s/m 三個尺度參數(shù)量大約在 3M、11M、26M 量級。n 適合邊緣設(shè)備、單路視頻流和快速驗證s 是精度和速度的折中多數(shù)業(yè)務(wù)先從這個尺度起步m 在遮擋嚴(yán)重、小目標(biāo)多、關(guān)鍵點定位要求高的場景更有優(yōu)勢但顯存和推理耗時也更高。不要一上來就上 m先把 n 跑通確認(rèn)標(biāo)簽和增強沒問題再換 s/m 對比。模型尺度參數(shù)量級相對推理耗時適用場景主要代價yolov8n-pose約 3M最低邊緣端、預(yù)覽、快速 baseline小目標(biāo)關(guān)鍵點容易抖yolov8s-pose約 11M中等通用多人姿態(tài)、視頻流顯存占用上升yolov8m-pose約 26M較高遮擋多、遠(yuǎn)距離、精度優(yōu)先訓(xùn)練和部署成本高選型時不要只看 mAP。姿態(tài)關(guān)鍵點的業(yè)務(wù)指標(biāo)往往和 mAP 不完全一致比如手腕角度是否穩(wěn)定、腳踝在遮擋后能不能找回。先拿 n 跑一個 baseline記錄驗證集 mAP 和實際視頻抽檢結(jié)果再換 s 看提升是否值得多出來的耗時。如果 n 和 s 的指標(biāo)差距很小說明數(shù)據(jù)質(zhì)量或標(biāo)簽一致性是瓶頸繼續(xù)加模型參數(shù)收益有限。3.2 一份能直接跑的訓(xùn)練命令與 data.yamldata.yaml放在數(shù)據(jù)集根目錄路徑寫絕對路徑避免從不同工作目錄啟動時找不到文件。下面這份配置對應(yīng)單類人體 17 點path: /data/pose_dataset train: images/train val: images/val test: images/test kpt_shape: [17, 3] flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15] names: 0: person訓(xùn)練命令如下。先用yolov8n-pose.pt加載預(yù)訓(xùn)練權(quán)重讓骨干和檢測分支有一個不差的起點關(guān)鍵點分支如果和 COCO 17 點一致會直接復(fù)用不一致時會重建重建部分相當(dāng)于隨機初始化學(xué)習(xí)率不要開得太大。yolo pose train \ modelyolov8n-pose.pt \ data/data/pose_dataset/data.yaml \ epochs120 \ imgsz640 \ batch16 \ device0 \ workers8 \ patience30 \ optimizerAdamW \ lr00.001 \ lrf0.01 \ warmup_epochs3 \ close_mosaic15 \ fliplr0.5 \ flipud0.0 \ degrees0.0 \ scale0.5 \ translate0.1 \ cacheram \ projectruns/pose \ nameexp01imgsz640是通用起點遠(yuǎn)距離小目標(biāo)可以試 960但顯存和耗時都會上去。batch16在 8GB 顯存上可能偏大報 OOM 就減到 8 或 4不要同時改imgsz和batch否則排查變量太多。workers在 Windows 上建議設(shè) 0避免多進(jìn)程 DataLoader 卡死Linux 下按 CPU 核心數(shù)設(shè) 8 左右。cacheram只適合數(shù)據(jù)集較小、內(nèi)存充足的情況數(shù)據(jù)量大改成disk或False。close_mosaic15表示最后 15 個 epoch 關(guān)閉 mosaic讓關(guān)鍵點定位在真實拼接分布上收一收通常比全程開 mosaic 更穩(wěn)。fliplr0.5必須配合正確的flip_idx否則左右點會學(xué)混flipud0.0是因為人體上下翻轉(zhuǎn)不符合真實分布除非你的場景確實有倒立需求。注意modelyolov8n-pose.pt適合 17 點人體。自定義 5 點或 21 點時data.yaml的kpt_shape會觸發(fā)關(guān)鍵點頭重建預(yù)訓(xùn)練關(guān)鍵點分支不能直接復(fù)用訓(xùn)練初期 loss 波動更大建議先把lr0降到 0.0005 觀察幾個 epoch。3.3 訓(xùn)練日志怎么看loss 曲線、pose mAP 與過擬合信號訓(xùn)練啟動后終端會持續(xù)打印 box loss、pose loss、分類 loss 和驗證指標(biāo)。姿態(tài)任務(wù)重點看pose_loss是否穩(wěn)定下降以及驗證集上的Pose mAP50、Pose mAP50-95是否同步改善。box loss 下降但 pose mAP 不動常見原因是 bbox 學(xué)得不錯但關(guān)鍵點監(jiān)督信號太弱檢查v0比例、關(guān)鍵點是否大量落在框外、flip_idx是否錯位。每個 epoch 結(jié)束后訓(xùn)練目錄下會生成results.csv和曲線圖。不要只看最后一行拉出最近 20 個 epoch 看趨勢訓(xùn)練 loss 持續(xù)下降、驗證 mAP 連續(xù)多個 epoch 不升甚至下降就是過擬合信號早?；蚣訑?shù)據(jù)增強比繼續(xù)拉 epochs 更合理。驗證集 mAP 抖動很大時先確認(rèn) val 集樣本量是否太少幾百張圖以內(nèi)的驗證集本身方差就大不要根據(jù)單個 epoch 的漲跌做決定。學(xué)習(xí)率方面AdamW 配lr00.001是常用起點SGD 可以試 0.01。如果前 5 個 epoch loss 直接炸成 NaN先降學(xué)習(xí)率再檢查標(biāo)簽里是否有nan或極端越界坐標(biāo)。warmup_epochs3是給預(yù)訓(xùn)練權(quán)重和新建關(guān)鍵點頭一個緩沖自定義關(guān)鍵點數(shù)量時不要關(guān)掉 warmup。3.4 推理與可視化把 xy 坐標(biāo)還給原圖訓(xùn)練完拿best.pt做推理最容易被忽略的是坐標(biāo)還原。YOLOv8 的results.keypoints.xy已經(jīng)是原圖坐標(biāo)不需要再乘寬高如果你自己做了 letterbox 預(yù)處理才需要反向減 padding、除縮放比例。下面這段代碼把每個人可見關(guān)鍵點畫到原圖上并保留每個人的 bbox 對應(yīng)關(guān)系。from ultralytics import YOLO import cv2 model YOLO(runs/pose/exp01/weights/best.pt) results model.predict( sourcedemo.jpg, imgsz640, conf0.25, iou0.7, device0, saveFalse ) for r in results: if r.keypoints is None: continue xy r.keypoints.xy.cpu().numpy() # (N, 17, 2)原圖坐標(biāo) kconf r.keypoints.conf.cpu().numpy() # (N, 17) boxes r.boxes.xyxy.cpu().numpy() # (N, 4) for i in range(xy.shape[0]): x1, y1, x2, y2 boxes[i].astype(int) cv2.rectangle(r.orig_img, (x1, y1), (x2, y2), (0, 255, 0), 1) for j, (x, y) in enumerate(xy[i]): if kconf[i, j] 0.5: cv2.circle(r.orig_img, (int(x), int(y)), 3, (0, 0, 255), -1) cv2.imwrite(vis.jpg, r.orig_img)conf0.25是檢測框置信度閾值iou0.7控制 NMS 合并程度多人擁擠場景可以把iou降到 0.5 到 0.6減少框粘連。kconf是每個關(guān)鍵點的置信度畫圖時過濾 0.5 以下業(yè)務(wù)判定時閾值可以單獨調(diào)不要和檢測框閾值混用。r.orig_img是 BGR 格式直接交給 OpenCV 寫文件。xy和boxes的順序一一對應(yīng)NMS 之后不要只取keypoints再自己排序否則人和骨架會對錯。4. 避坑與排查關(guān)鍵點訓(xùn)練里最容易翻車的五類問題姿態(tài)訓(xùn)練的報錯往往不直觀表面看是 loss 不降根因可能在標(biāo)簽列數(shù)、翻轉(zhuǎn)映射或?qū)С鲱A(yù)處理。這一章按“現(xiàn)象 → 原因 → 解決”列五類高頻問題每條都給可操作的排查動作。遇到問題先按順序排除不要一上來就改模型結(jié)構(gòu)。4.1 標(biāo)簽點數(shù)與 kpt_shape 對不上現(xiàn)象訓(xùn)練啟動即報關(guān)鍵點長度不匹配或者某個 epoch 后突然出現(xiàn)索引越界驗證時Pose mAP直接為 0。原因通常是data.yaml寫了[17, 3]但標(biāo)簽實際是 5 點、21 點或者混入了一批只有 bbox 沒有關(guān)鍵點的檢測標(biāo)簽。解決先統(tǒng)計每個標(biāo)簽文件的列數(shù)換算關(guān)鍵點數(shù)量再統(tǒng)一kpt_shape。python - PY from pathlib import Path from collections import Counter c Counter() for p in Path(labels/train).glob(*.txt): for line in p.read_text().splitlines(): if line.strip(): c[(len(line.split()) - 5) // 3] 1 print(c) PY輸出里如果出現(xiàn)多個關(guān)鍵點數(shù)量說明數(shù)據(jù)集混了不同定義必須按類別或按子集拆開不能靠kpt_shape一個值硬吃。列數(shù)不能被 3 整除的標(biāo)簽也要單獨拎出來通常是手工編輯時多敲了一個字段。4.2 左右關(guān)鍵點翻轉(zhuǎn)后錯位現(xiàn)象訓(xùn)練 loss 能降但驗證集上左右手腕、左右腳踝經(jīng)常互換動作判定時角度忽正忽反。原因多半是fliplr開了flip_idx沒配或配錯。解決先關(guān)掉水平翻轉(zhuǎn)跑一個短 baseline確認(rèn)模型在無翻轉(zhuǎn)增強下左右點能分開再打開fliplr0.5用同一張圖做翻轉(zhuǎn)可視化逐點核對索引。COCO 17 點的flip_idx可以直接用上一章那串但自定義關(guān)鍵點必須自己寫。檢查方法很直接取一張正面圖畫出 GT 骨架水平翻轉(zhuǎn)圖像和關(guān)鍵點看左肩是否落到右肩位置。如果翻轉(zhuǎn)后骨架交叉說明映射錯了。這個錯誤不會讓訓(xùn)練報錯只會讓指標(biāo)悄悄掉屬于典型的“黑匣子”問題。4.3 損失下降但 mAP 不動現(xiàn)象pose_loss一路下降訓(xùn)練集可視化看起來不錯驗證集Pose mAP50長期停在 0.1 到 0.2。原因可能是驗證集標(biāo)簽大量v0、bbox 與關(guān)鍵點不對應(yīng)、train/val 同源導(dǎo)致指標(biāo)虛高后回落或者學(xué)習(xí)率過大把關(guān)鍵點頭推崩。解決抽 20 張驗證圖把 GT 骨架和預(yù)測骨架畫在同一張圖上對比統(tǒng)計v分布檢查 val 集是否和 train 來自同一段視頻把lr0減半再跑 30 個 epoch 看趨勢。如果 GT 骨架本身就在框外優(yōu)先修 bbox不要調(diào)模型。如果v0占比超過一半模型能學(xué)到的點太少補標(biāo)或換數(shù)據(jù)比加 epochs 更有效。驗證集 mAP 突然從很高掉到很低先懷疑數(shù)據(jù)泄漏或驗證集里有損壞圖片不要先懷疑模型。4.4 顯存溢出與 DataLoader 卡死現(xiàn)象訓(xùn)練剛開始就CUDA out of memory或者卡在第一個 epoch 不動Windows 下還會拋多進(jìn)程相關(guān)異常。原因通常是batch或imgsz太大、cacheram吃滿內(nèi)存、workers在 Windows 上開太多。解決按順序減batch、降imgsz、關(guān)cache、把workers設(shè) 0。每次只改一個變量否則不知道是哪個參數(shù)觸發(fā)的。yolo pose train modelyolov8n-pose.pt data/data/pose_dataset/data.yaml \ epochs120 imgsz512 batch8 device0 workers0 cacheFalse ampTrueampTrue默認(rèn)開啟能省顯存但如果出現(xiàn) loss NaN可以臨時關(guān)掉排除混合精度問題。imgsz從 640 降到 512 會損失小目標(biāo)關(guān)鍵點精度只作為排查手段不要長期用低分辨率硬扛。4.5 導(dǎo)出 ONNX 后關(guān)鍵點偏移現(xiàn)象PyTorch 推理關(guān)鍵點貼合導(dǎo)出 ONNX 后整體偏移幾個像素或者多人場景框和點對不上。原因通常是預(yù)處理不一致訓(xùn)練和 PyTorch 推理用了 letterboxONNX 側(cè)直接 resize 導(dǎo)致縮放比例和 padding 不同也可能是導(dǎo)出時沒開simplify或者輸出解析時把歸一化坐標(biāo)當(dāng)成了像素坐標(biāo)。解決統(tǒng)一 letterbox 參數(shù)導(dǎo)出時加simplifyTrue用同一張圖分別跑 PyTorch 和 ONNX逐點對比。yolo export modelruns/pose/exp01/weights/best.pt formatonnx \ imgsz640 opset12 simplifyTrue導(dǎo)出后先用 Netron 看輸入輸出 shape確認(rèn)輸出字段順序。ONNX 側(cè)還原坐標(biāo)時先減 padding再除以縮放比例順序不能反。如果導(dǎo)出時加了nmsTrue輸出格式會變解析邏輯要跟著改不要拿舊腳本硬套。5. 從單幀到視頻流多人關(guān)鍵點歸屬、動作判定與 ONNX 部署單張圖跑通只完成了一半。視頻流里要解決多人關(guān)鍵點歸屬、跨幀抖動和部署預(yù)處理對齊三個問題。這一章按“跟蹤 ID → 角度判定 → ONNX 預(yù)處理”推進(jìn)代碼盡量保持可抄參數(shù)按業(yè)務(wù)調(diào)。5.1 多人關(guān)鍵點歸屬與跟蹤 IDYOLO pose 的輸出天然把每個 bbox 和一組關(guān)鍵點綁定NMS 后boxes、keypoints、conf同序。多人場景不要只取keypoints再按坐標(biāo)排序排序會打亂人的對應(yīng)關(guān)系。需要跨幀穩(wěn)定身份時用內(nèi)置跟蹤器把檢測框和 ID 關(guān)聯(lián)起來關(guān)鍵點跟著框走。from ultralytics import YOLO model YOLO(runs/pose/exp01/weights/best.pt) results model.track( sourcevideo.mp4, persistTrue, trackerbytetrack.yaml, conf0.3, iou0.6, imgsz640 ) for r in results: if r.boxes.id is None: continue ids r.boxes.id.int().cpu().tolist() xy r.keypoints.xy.cpu().numpy() kconf r.keypoints.conf.cpu().numpy() for i, tid in enumerate(ids): # xy[i] 就是該跟蹤 ID 當(dāng)前幀的 17 個關(guān)鍵點 passpersistTrue讓跟蹤器在視頻幀之間保留狀態(tài)tracker文件控制匹配邏輯。boxes.id為空時說明當(dāng)前幀沒有穩(wěn)定軌跡直接跳過不要給None做索引。跨幀抖動可以用指數(shù)滑動平均壓一下對同一個tid新關(guān)鍵點與上一幀做加權(quán)alpha取 0.5 到 0.7太低會拖影太高等于沒平滑。關(guān)鍵點置信度低于閾值的點用上一幀位置補不要用 0 坐標(biāo)補否則角度計算會瞬間跳變。5.2 動作判定角度、滑動窗口與閾值姿態(tài)關(guān)鍵點本身只是坐標(biāo)業(yè)務(wù)要的是動作。以手臂彎曲為例用肩、肘、腕三點夾角判斷角度越小彎曲越明顯。下面函數(shù)負(fù)責(zé)算夾角輸入三個二維點輸出 0 到 180 度。import numpy as np def joint_angle(a, b, c): a, b, c map(np.asarray, (a, b, c)) p a hrefhttps://download.csdn.net/download/m0_51579041/88889941 stylecolor:#ec7500;font-size:14px; 本文還有配套的精品資源點擊獲取 /a img altmenu-r.4af5f7ec.gif srchttps://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif stylewidth:16px;margin-left:4px;vertical-align:text-bottom;cursor:text; /p