做關(guān)鍵點(diǎn)檢測項(xiàng)目的人大多繞不開一個(gè)尷尬的環(huán)節(jié)標(biāo)注工具和訓(xùn)練框架各說各話。我最近在整理一套自用的姿態(tài)關(guān)鍵點(diǎn)數(shù)據(jù)流程標(biāo)注端一直用 labelme因?yàn)樗孅c(diǎn)、拖框、改標(biāo)簽都順手團(tuán)隊(duì)里非技術(shù)背景的同事也能快速上手但訓(xùn)練端用的是 YOLO 系列的關(guān)鍵點(diǎn)檢測模型它只認(rèn)自己那套 txt 標(biāo)注格式。于是每次數(shù)據(jù)更新都要在 labelme 的 JSON 和 YOLO 的 txt 之間來回倒騰一次。這個(gè)“l(fā)abelme2yolo 格式改變”的活兒看著不起眼真做起來坑不少坐標(biāo)歸一化算錯、關(guān)鍵點(diǎn)順序?qū)Σ簧?、可見性?biāo)志丟失、圖像尺寸讀錯任何一個(gè)環(huán)節(jié)出問題訓(xùn)練時(shí) loss 就是降不下去你還以為是模型結(jié)構(gòu)的問題排查半天才發(fā)現(xiàn)是標(biāo)注轉(zhuǎn)換錯了。這篇內(nèi)容就是把我自己這套轉(zhuǎn)換流程完整拆開講清楚。它解決的核心問題很具體把 labelme 標(biāo)注的關(guān)鍵點(diǎn) JSON 文件穩(wěn)定、可復(fù)現(xiàn)地轉(zhuǎn)換成 YOLO 關(guān)鍵點(diǎn)檢測所需的 txt 格式同時(shí)保留關(guān)鍵點(diǎn)的順序語義和可見性信息。適合正在做單人姿態(tài)、手部關(guān)鍵點(diǎn)、工業(yè)部件定位點(diǎn)這類項(xiàng)目的同學(xué)參考無論你是剛接觸關(guān)鍵點(diǎn)檢測的新手還是已經(jīng)跑通過一遍但想搞清楚細(xì)節(jié)的老手都能從里面找到能直接抄作業(yè)的步驟和踩坑經(jīng)驗(yàn)。下面我按設(shè)計(jì)思路、核心細(xì)節(jié)、實(shí)操實(shí)現(xiàn)、問題排查四個(gè)部分展開中間會穿插我自己實(shí)測下來的參數(shù)選擇和避坑技巧。1. 整體設(shè)計(jì)思路與格式差異拆解動手寫轉(zhuǎn)換腳本之前得先把兩邊的數(shù)據(jù)格式徹底搞明白。很多人一上來就搜現(xiàn)成腳本復(fù)制過來跑不通然后開始瞎改根本原因是對兩種格式的字段含義理解不到位。我習(xí)慣先把格式差異列成一張表對著表寫代碼邏輯會清晰很多。1.1 labelme 關(guān)鍵點(diǎn)標(biāo)注的 JSON 結(jié)構(gòu)labelme 保存的每個(gè) JSON 文件對應(yīng)一張圖里面最關(guān)鍵的幾個(gè)字段是imagePath、imageWidth、imageHeight、imageData可選和shapes。關(guān)鍵點(diǎn)標(biāo)注在shapes里每個(gè) shape 有一個(gè)label、一個(gè)shape_type關(guān)鍵點(diǎn)通常是point、以及points數(shù)組。對于點(diǎn)來說points里就一個(gè)坐標(biāo)[x, y]單位是像素。這里有個(gè)容易被忽略的點(diǎn)labelme 的關(guān)鍵點(diǎn)本身不帶“可見性”字段。它只有坐標(biāo)沒有“這個(gè)點(diǎn)被遮擋了”或者“這個(gè)點(diǎn)在圖外”的標(biāo)記。而 YOLO 關(guān)鍵點(diǎn)格式是要求可見性標(biāo)志的0 表示未標(biāo)注、1 表示標(biāo)注但不可見、2 表示可見。所以轉(zhuǎn)換時(shí)我們必須自己定一套規(guī)則來生成可見性常見做法是只要 labelme 里畫了這個(gè)點(diǎn)就認(rèn)為可見性為 2如果某個(gè)關(guān)鍵點(diǎn)缺失就填 0 并把坐標(biāo)補(bǔ) 0。這套規(guī)則必須在整個(gè)數(shù)據(jù)集上統(tǒng)一否則模型學(xué)到的可見性語義會亂。另外labelme 的shapes里可能同時(shí)存在檢測框rectangle和關(guān)鍵點(diǎn)point。YOLO 關(guān)鍵點(diǎn)格式要求每行先有一個(gè)目標(biāo)框再跟若干關(guān)鍵點(diǎn)。所以轉(zhuǎn)換時(shí)要先把框和點(diǎn)配對起來。我的做法是約定每個(gè)目標(biāo)一個(gè)框框的 label 和點(diǎn)的 label 用命名前綴關(guān)聯(lián)比如框叫person點(diǎn)叫person_nose、person_left_eye這樣靠前綴把點(diǎn)歸到對應(yīng)的框下面。這個(gè)約定在標(biāo)注階段就要跟標(biāo)注人員講清楚不然后期配對邏輯會寫得很痛苦。1.2 YOLO 關(guān)鍵點(diǎn) txt 格式的字段含義YOLO 關(guān)鍵點(diǎn)檢測的標(biāo)注是一張圖一個(gè) txt每行描述一個(gè)目標(biāo)。一行的結(jié)構(gòu)是類別索引 cx cy w h px1 py1 v1 px2 py2 v2 ...。其中cx cy w h是目標(biāo)框的中心點(diǎn)和寬高全部按圖像寬高歸一化到 0 到 1后面每個(gè)關(guān)鍵點(diǎn)是三個(gè)值歸一化后的 x、歸一化后的 y、可見性 v。歸一化這一步是錯誤高發(fā)區(qū)。歸一化的分母是圖像寬度和高度不是框的寬高。我見過有人把關(guān)鍵點(diǎn)坐標(biāo)減去框左上角再除以框?qū)捀吣鞘橇硪环N相對框的表示法YOLO 關(guān)鍵點(diǎn)格式不認(rèn)這個(gè)。正確做法就是px x / imageWidth、py y / imageHeight簡單直接但一定要確認(rèn)imageWidth和imageHeight讀的是 JSON 里的字段而不是 PIL 重新打開圖片讀的尺寸兩者理論上一致但圖片被替換過而 JSON 沒更新時(shí)就會不一致這種臟數(shù)據(jù)要提前過濾。還有一個(gè)細(xì)節(jié)關(guān)鍵點(diǎn)的順序必須固定。YOLO 訓(xùn)練時(shí)是按索引位置理解每個(gè)點(diǎn)的語義的第 0 個(gè)點(diǎn)永遠(yuǎn)代表鼻子第 1 個(gè)點(diǎn)永遠(yuǎn)代表左眼以此類推。所以轉(zhuǎn)換腳本里要維護(hù)一個(gè)全局的關(guān)鍵點(diǎn)名稱到索引的映射表所有樣本都按這張表輸出缺失的點(diǎn)補(bǔ) 0。這張表一旦定下來就不能隨便改改了就得重新訓(xùn)練否則模型會把語義搞混。1.3 為什么選擇腳本轉(zhuǎn)換而不是手工處理有人會問數(shù)據(jù)量不大的話能不能手工改我的經(jīng)驗(yàn)是絕對不要。關(guān)鍵點(diǎn)數(shù)據(jù)動輒幾千個(gè)點(diǎn)手工改不僅慢而且歸一化的小數(shù)位、可見性標(biāo)志這些細(xì)節(jié)極容易出錯出錯后還很難定位。寫一個(gè)一次性投入的腳本后面數(shù)據(jù)更新直接重跑才是可持續(xù)的做法。腳本轉(zhuǎn)換的另一個(gè)好處是可審計(jì)。轉(zhuǎn)換過程中可以加校驗(yàn)檢查每個(gè)框是否有點(diǎn)、檢查坐標(biāo)是否越界、檢查關(guān)鍵點(diǎn)數(shù)量是否和映射表一致。這些校驗(yàn)在手工處理時(shí)幾乎不可能系統(tǒng)化地做。我在腳本里加了一個(gè)統(tǒng)計(jì)輸出每次轉(zhuǎn)換完打印總樣本數(shù)、缺失關(guān)鍵點(diǎn)的樣本數(shù)、坐標(biāo)越界的樣本數(shù)一眼就能看出數(shù)據(jù)質(zhì)量。這個(gè)習(xí)慣幫我提前發(fā)現(xiàn)過好幾次標(biāo)注錯誤比如標(biāo)注人員把點(diǎn)畫到了圖像外面。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)格式搞清楚了接下來是轉(zhuǎn)換過程中真正決定成敗的細(xì)節(jié)。這一部分我按“讀什么、配什么、算什么、寫什么”的順序講每個(gè)環(huán)節(jié)都附上我實(shí)際踩過的坑。2.1 圖像尺寸的讀取與校驗(yàn)歸一化依賴圖像寬高所以第一步是把寬高拿準(zhǔn)。labelme 的 JSON 里有imageWidth和imageHeight字段直接讀這兩個(gè)值是最穩(wěn)的因?yàn)樗褪菢?biāo)注時(shí)用的尺寸。但有個(gè)前提JSON 和圖片必須是一一對應(yīng)的且圖片沒有被替換過。我遇到過一種情況同事重新導(dǎo)出了一批圖尺寸變了但 JSON 還是舊的結(jié)果歸一化全錯。所以腳本里我加了一步校驗(yàn)用 PIL 打開imagePath指向的圖片讀實(shí)際尺寸和 JSON 里的字段比對不一致就跳過并記錄到日志。這一步多花幾秒鐘能省掉后面幾小時(shí)的排查。如果圖片路徑在 JSON 里是相對路徑要注意腳本運(yùn)行時(shí)的當(dāng)前工作目錄。我的做法是統(tǒng)一以 JSON 文件所在目錄為基準(zhǔn)拼接圖片路徑這樣不管從哪個(gè)目錄運(yùn)行腳本都不會找不到圖。拼接后如果文件不存在也記錄到日志不中斷整個(gè)轉(zhuǎn)換流程因?yàn)榕繑?shù)據(jù)里偶爾有一兩張圖丟失是常事不能因?yàn)橐粡垐D讓整個(gè)任務(wù)失敗。2.2 框與關(guān)鍵點(diǎn)的配對邏輯配對是轉(zhuǎn)換里最需要設(shè)計(jì)的一環(huán)。前面說了用命名前綴關(guān)聯(lián)具體實(shí)現(xiàn)是先遍歷shapes把shape_type為rectangle的收集成框列表把shape_type為point的收集成點(diǎn)列表。然后對每個(gè)框按它的label作為前綴去點(diǎn)列表里找 label 以“前綴 分隔符”開頭的點(diǎn)。分隔符我習(xí)慣用下劃線比如框person對應(yīng)點(diǎn)person_nose。這里有個(gè)邊界情況要處理一張圖里可能有多個(gè)同類目標(biāo)比如兩個(gè)人。這時(shí)候兩個(gè)框的 label 都是person靠前綴就分不清哪個(gè)點(diǎn)屬于哪個(gè)人了。解決辦法是在標(biāo)注階段就給每個(gè)目標(biāo)加編號比如person_1、person_2點(diǎn)叫person_1_nose、person_2_nose。這個(gè)約定必須在標(biāo)注規(guī)范里寫死轉(zhuǎn)換腳本按編號分組即可。如果標(biāo)注階段沒做這個(gè)約定后期補(bǔ)救很麻煩只能靠點(diǎn)的空間位置去猜它屬于哪個(gè)框用點(diǎn)在框內(nèi)的規(guī)則做歸屬但點(diǎn)落在框外或者兩框重疊時(shí)就不可靠了。所以我的建議是多目標(biāo)場景標(biāo)注時(shí)就把編號加上別偷懶。配對完成后還要檢查每個(gè)框是否配到了預(yù)期數(shù)量的關(guān)鍵點(diǎn)。如果某個(gè)框只配到一半的點(diǎn)說明標(biāo)注漏了這時(shí)候可以選擇跳過該樣本或者補(bǔ) 0。我傾向于跳過并記錄因?yàn)殛P(guān)鍵點(diǎn)缺失太多的樣本對訓(xùn)練是負(fù)貢獻(xiàn)。跳過閾值可以設(shè)成“缺失超過 30% 就跳過”這個(gè)比例可以根據(jù)項(xiàng)目容忍度調(diào)整。2.3 歸一化計(jì)算與數(shù)值精度歸一化的公式前面說了x / width、y / height但數(shù)值精度有講究。YOLO 的 txt 一般保留 6 位小數(shù)就夠了保留太多位沒必要還增大文件體積。我用的是格式化字符串%.6f實(shí)測下來訓(xùn)練完全沒問題。要注意的是坐標(biāo)可能因?yàn)闃?biāo)注誤差略微超出圖像邊界比如 x 等于 width 加 1歸一化后大于 1。這種值要不要截?cái)嗟?0 到 1 之間我的做法是截?cái)嘁驗(yàn)槌鲞吔绲狞c(diǎn)對模型沒有意義截?cái)嗪笾辽俨粫氘惓Ｌ荻取＝財(cái)嗟耐瑫r(shí)記錄一條日志方便回頭檢查標(biāo)注質(zhì)量?？虻臍w一化同理cx (x1 x2) / 2 / width、w (x2 - x1) / width。這里要確保 x1 小于 x2labelme 畫框時(shí)如果從右下往左上拖存下來的點(diǎn)順序可能是反的所以計(jì)算前先對兩個(gè)角點(diǎn)做 min/max 排序。這個(gè)小細(xì)節(jié)不處理算出來的寬高會是負(fù)數(shù)訓(xùn)練直接報(bào)錯。2.4 關(guān)鍵點(diǎn)順序映射表的維護(hù)映射表是整個(gè)轉(zhuǎn)換的“憲法”。我把它寫成一個(gè) Python 字典鍵是關(guān)鍵點(diǎn)名稱后綴比如nose、left_eye值是對應(yīng)的索引。所有樣本輸出時(shí)按索引 0 到 N-1 的順序依次取點(diǎn)取不到就填0 0 0。這張表要和訓(xùn)練時(shí)的配置保持一致YOLO 的模型配置里有個(gè)kpt_shape參數(shù)比如[17, 3]表示 17 個(gè)關(guān)鍵點(diǎn)、每個(gè)點(diǎn) 3 個(gè)值這個(gè) 17 必須和映射表的長度一致。映射表最好單獨(dú)存成一個(gè)配置文件或者常量模塊轉(zhuǎn)換腳本和訓(xùn)練配置都引用它避免兩處各寫一份導(dǎo)致不一致。我吃過這個(gè)虧轉(zhuǎn)換腳本里加了第 18 個(gè)點(diǎn)訓(xùn)練配置忘了改結(jié)果訓(xùn)練時(shí)維度對不上報(bào)錯信息還不直觀查了半天?，F(xiàn)在我的做法是映射表只在一個(gè)地方定義其他地方 import 引用改一處全生效。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)這一部分給出可以直接跑的完整流程。我用 Python 實(shí)現(xiàn)依賴只有標(biāo)準(zhǔn)庫加 Pillow不需要裝額外的深度學(xué)習(xí)框架輕量好部署。下面按步驟走關(guān)鍵代碼貼出來并解釋。3.1 環(huán)境準(zhǔn)備與目錄結(jié)構(gòu)約定先約定目錄結(jié)構(gòu)這能讓腳本邏輯簡單很多。我習(xí)慣這樣組織dataset/ images/ train/ val/ labels_json/ train/ val/ labels_yolo/ train/ val/labels_json放 labelme 導(dǎo)出的 JSONlabels_yolo是腳本輸出的 txt目錄結(jié)構(gòu)鏡像對應(yīng)。這樣訓(xùn)練時(shí)直接指向labels_yolo即可。環(huán)境上只需要 Python 3.8 以上和 Pillow安裝命令就一行pip install pillow不需要裝 labelme 本身因?yàn)槟_本只讀 JSON不依賴 labelme 的運(yùn)行時(shí)。這一點(diǎn)對部署到?jīng)]有圖形界面的服務(wù)器上很有用。3.2 關(guān)鍵點(diǎn)映射表與配置定義先定義映射表和類別表。假設(shè)做的是單人 5 關(guān)鍵點(diǎn)頭、左手、右手、左腳、右腳的簡化姿態(tài)任務(wù)映射表這樣寫# config.py KEYPOINT_NAMES [head, left_hand, right_hand, left_foot, right_foot] KEYPOINT_INDEX {name: i for i, name in enumerate(KEYPOINT_NAMES)} CLASS_NAMES [person] CLASS_INDEX {name: i for i, name in enumerate(CLASS_NAMES)} SEPARATOR _KEYPOINT_INDEX用推導(dǎo)式生成保證索引和名稱順序嚴(yán)格對應(yīng)。類別同理。分隔符單獨(dú)定義方便以后改。這個(gè)文件被轉(zhuǎn)換腳本 import訓(xùn)練配置里也引用len(KEYPOINT_NAMES)作為kpt_shape的第一個(gè)值做到單一數(shù)據(jù)源。3.3 單個(gè) JSON 到 txt 的轉(zhuǎn)換函數(shù)核心轉(zhuǎn)換函數(shù)按前面講的邏輯實(shí)現(xiàn)我把它拆成幾個(gè)小函數(shù)便于測試。先寫讀取和校驗(yàn)import json import os from PIL import Image def load_and_validate(json_path): with open(json_path, r, encodingutf-8) as f: data json.load(f) img_path os.path.join(os.path.dirname(json_path), data[imagePath]) if not os.path.exists(img_path): return None, image_missing with Image.open(img_path) as im: real_w, real_h im.size if real_w ! data[imageWidth] or real_h ! data[imageHeight]: return None, size_mismatch return data, None這個(gè)函數(shù)返回?cái)?shù)據(jù)和錯誤碼調(diào)用方根據(jù)錯誤碼決定跳過還是繼續(xù)。size_mismatch和image_missing都記錄到日志不拋異常保證批量處理不中斷。接著寫配對和轉(zhuǎn)換def convert_one(data): w, h data[imageWidth], data[imageHeight] rects, points [], [] for shape in data[shapes]: if shape[shape_type] rectangle: rects.append(shape) elif shape[shape_type] point: points.append(shape) lines [] for rect in rects: prefix rect[label] (x1, y1), (x2, y2) rect[points] x1, x2 min(x1, x2), max(x1, x2) y1, y2 min(y1, y2), max(y1, y2) cx (x1 x2) / 2 / w cy (y1 y2) / 2 / h bw (x2 - x1) / w bh (y2 - y1) / h kpt_map {} for p in points: label p[label] if label.startswith(prefix SEPARATOR): suffix label[len(prefix) len(SEPARATOR):] if suffix in KEYPOINT_INDEX: kpt_map[KEYPOINT_INDEX[suffix]] p[points][0] cls_id CLASS_INDEX.get(prefix.split(SEPARATOR)[0], 0) parts [str(cls_id), f{cx:.6f}, f{cy:.6f}, f{bw:.6f}, f{bh:.6f}] for i in range(len(KEYPOINT_NAMES)): if i in kpt_map: px, py kpt_map[i] px min(max(px / w, 0.0), 1.0) py min(max(py / h, 0.0), 1.0) parts.extend([f{px:.6f}, f{py:.6f}, 2]) else: parts.extend([0.000000, 0.000000, 0]) lines.append( .join(parts)) return lines這段代碼里幾個(gè)關(guān)鍵點(diǎn)值得說明。prefix.split(SEPARATOR)[0]是為了處理帶編號的框 label比如person_1取person去查類別索引。關(guān)鍵點(diǎn)坐標(biāo)做了截?cái)嗫梢娦援嬃司吞?2、沒畫填 0。缺失點(diǎn)補(bǔ)三個(gè)零值保證每行長度一致。這些處理都是前面設(shè)計(jì)思路的落地。3.4 批量處理與統(tǒng)計(jì)輸出批量處理就是遍歷目錄、調(diào)用轉(zhuǎn)換、寫文件、統(tǒng)計(jì)。統(tǒng)計(jì)部分我單獨(dú)寫因?yàn)樗菙?shù)據(jù)質(zhì)量的晴雨表def batch_convert(json_dir, out_dir): os.makedirs(out_dir, exist_okTrue) stats {total: 0, ok: 0, image_missing: 0, size_mismatch: 0, no_rect: 0} for name in os.listdir(json_dir): if not name.endswith(.json): continue stats[total] 1 data, err load_and_validate(os.path.join(json_dir, name)) if err: stats[err] 1 continue lines convert_one(data) if not lines: stats[no_rect] 1 continue out_path os.path.join(out_dir, name.replace(.json, .txt)) with open(out_path, w, encodingutf-8) as f: f.write(\n.join(lines)) stats[ok] 1 print(stats) return stats跑完打印的統(tǒng)計(jì)里ok是成功數(shù)其他幾個(gè)是各類異常數(shù)。我一般要求ok占比 95% 以上才繼續(xù)訓(xùn)練低于這個(gè)值先回去查標(biāo)注。no_rect表示圖里只有點(diǎn)沒有框這種樣本對關(guān)鍵點(diǎn)檢測沒用直接跳過是對的。3.5 轉(zhuǎn)換結(jié)果的抽樣驗(yàn)證腳本跑完不能直接拿去訓(xùn)練要抽樣驗(yàn)證。我的驗(yàn)證方法很土但有效隨機(jī)抽 5 個(gè) txt把里面的歸一化坐標(biāo)乘回圖像寬高用 Pillow 在原圖上畫點(diǎn)和框肉眼看位置對不對。這一步能發(fā)現(xiàn)歸一化方向搞反、坐標(biāo)軸搞混這類低級但致命的錯誤。驗(yàn)證代碼不復(fù)雜畫完存成圖片對比即可。我還會檢查 txt 的行數(shù)是否等于該圖的目標(biāo)數(shù)以及每行的字段數(shù)是否等于5 3 * 關(guān)鍵點(diǎn)數(shù)字段數(shù)不對說明映射表或補(bǔ)零邏輯有問題。4. 常見問題與排查技巧實(shí)錄轉(zhuǎn)換腳本寫起來不難難的是數(shù)據(jù)出問題時(shí)快速定位。這一部分整理我實(shí)際遇到過的典型問題和排查路徑做成速查表遇到問題先對表。4.1 訓(xùn)練 loss 不降反升的排查順序這是最讓人抓狂的癥狀。我的排查順序是先看標(biāo)注轉(zhuǎn)換再看數(shù)據(jù)劃分最后才懷疑模型。標(biāo)注轉(zhuǎn)換方面重點(diǎn)查三件事關(guān)鍵點(diǎn)順序是否和kpt_shape一致、可見性標(biāo)志是否合理、歸一化是否用了正確的寬高。我遇到過一次 loss 震蕩最后發(fā)現(xiàn)是映射表里兩個(gè)點(diǎn)的索引寫反了模型學(xué)到的語義是亂的改回來立刻正常。可見性方面如果所有點(diǎn)都填 2模型學(xué)不到遮擋信息遇到遮擋樣本表現(xiàn)會差但一般不會導(dǎo)致 loss 不降所以優(yōu)先級放后面。數(shù)據(jù)劃分方面檢查訓(xùn)練集和驗(yàn)證集是否有重復(fù)圖片或者驗(yàn)證集里全是難樣本。這個(gè)用文件名的哈希去重就能查。模型方面反而最后查因?yàn)殛P(guān)鍵點(diǎn)檢測的模型結(jié)構(gòu)相對成熟配置對了很少出問題。4.2 坐標(biāo)越界與負(fù)寬高的處理坐標(biāo)越界前面提過截?cái)嗉尤罩?。?fù)寬高是框角點(diǎn)順序問題min/max 排序解決。還有一種情況是框的寬或高歸一化后等于 0說明標(biāo)注時(shí)框畫成了一條線這種樣本要跳過因?yàn)閷捀邽?0 的框在訓(xùn)練時(shí)會引發(fā)除零或者無效 anchor。我在轉(zhuǎn)換函數(shù)里加了一個(gè)判斷bw或bh小于一個(gè)極小值比如 1e-6就跳過該目標(biāo)并記錄。4.3 多目標(biāo)場景的歸屬混亂前面講過用編號解決這里補(bǔ)充一個(gè)排查技巧如果懷疑點(diǎn)歸屬錯了把每個(gè)框和它配到的點(diǎn)用不同顏色畫出來一眼就能看出哪個(gè)點(diǎn)跑到了別的框下面。歸屬錯誤的典型表現(xiàn)是某個(gè)框的關(guān)鍵點(diǎn)數(shù)量異常多另一個(gè)異常少。統(tǒng)計(jì)每個(gè)框配到的點(diǎn)數(shù)分布偏離預(yù)期值的就是可疑樣本。4.4 常見問題速查表問題現(xiàn)象可能原因排查方法解決方式訓(xùn)練報(bào)維度錯誤映射表長度與 kpt_shape 不一致打印兩者長度對比統(tǒng)一引用同一配置loss 不下降關(guān)鍵點(diǎn)索引錯位抽樣畫點(diǎn)核對語義修正映射表歸一化后坐標(biāo)大于 1標(biāo)注點(diǎn)超出圖像邊界檢查原始坐標(biāo)截?cái)嗖⒂涗浫罩緦捀邽樨?fù)框角點(diǎn)順序反了打印原始角點(diǎn)min/max 排序找不到圖片相對路徑基準(zhǔn)錯打印拼接后路徑以 JSON 目錄為基準(zhǔn)尺寸不一致圖片被替換比對 JSON 與 PIL 尺寸跳過并記錄某框點(diǎn)數(shù)異常多目標(biāo)歸屬錯按顏色畫點(diǎn)核對標(biāo)注加編號這張表我貼在項(xiàng)目文檔里新人接手先看表能解決八成問題。4.5 我踩過的兩個(gè)印象深刻的坑第一個(gè)坑是編碼問題。labelme 的 JSON 里如果有中文標(biāo)簽用默認(rèn)編碼讀在某些環(huán)境下會報(bào)錯統(tǒng)一用utf-8讀寫就沒事。第二個(gè)坑是浮點(diǎn)數(shù)格式化早期我用str(round(x, 6))結(jié)果0.5會輸出成0.5而不是0.500000雖然數(shù)值一樣但某些嚴(yán)格的解析器對字段格式敏感后來統(tǒng)一用%.6f格式化字段寬度一致解析更穩(wěn)。這兩個(gè)坑都不大但排查起來費(fèi)時(shí)間寫在這里給后來人省點(diǎn)事。4.6 轉(zhuǎn)換流程的復(fù)用與擴(kuò)展建議這套流程我后來擴(kuò)展到了手部關(guān)鍵點(diǎn)項(xiàng)目只改了映射表和關(guān)鍵點(diǎn)數(shù)量其他邏輯原樣復(fù)用說明設(shè)計(jì)上把可變部分收斂到配置里是對的。如果以后要支持左右手區(qū)分可以在映射表里加前綴或者拆成兩個(gè)類別。再進(jìn)一步如果標(biāo)注端換成別的工具只要寫一個(gè)適配層把它的輸出轉(zhuǎn)成 labelme 的 JSON 結(jié)構(gòu)后面的轉(zhuǎn)換邏輯完全不用動。這種分層思路是我做數(shù)據(jù)管線時(shí)一直堅(jiān)持的格式適配層和業(yè)務(wù)轉(zhuǎn)換層分開換工具不換邏輯。最后分享一個(gè)我個(gè)人的習(xí)慣每次轉(zhuǎn)換完把統(tǒng)計(jì)結(jié)果和抽樣驗(yàn)證圖存到一個(gè)帶日期的文件夾里數(shù)據(jù)更新時(shí)對比前后統(tǒng)計(jì)能快速發(fā)現(xiàn)新數(shù)據(jù)引入的問題。這個(gè)習(xí)慣看起來繁瑣但在數(shù)據(jù)量上來之后是保證訓(xùn)練穩(wěn)定的重要一環(huán)。關(guān)鍵點(diǎn)檢測的成敗很多時(shí)候不在模型而在這些看起來枯燥的數(shù)據(jù)細(xì)節(jié)里。