簡介結(jié)合深度圖像的三維信息來識別俯仰角、翻滾角與偏航角是頭部姿態(tài)估計(jì)的核心思路相比二維圖像深度數(shù)據(jù)在遮擋和光照變化下更具魯棒性。圍繞這一思路資源包以Visual Studio工程形式呈現(xiàn)共66個(gè)文件、約11.09MB主要包含C源碼、工程配置、編譯生成的dll/exe/obj/bin以及cal標(biāo)定數(shù)據(jù)并保留了Debug目錄結(jié)構(gòu)適合計(jì)算機(jī)視覺初學(xué)者或算法工程師直接打開工程從預(yù)處理、特征提取到姿態(tài)預(yù)測逐層梳理實(shí)現(xiàn)。內(nèi)容覆蓋特征點(diǎn)檢測HOG、SURF、模板匹配、傳統(tǒng)機(jī)器學(xué)習(xí)SVM、隨機(jī)森林以及基于CNN的多任務(wù)深度網(wǎng)絡(luò)等不同技術(shù)路線既展示經(jīng)典算法又包含可運(yùn)行可調(diào)試的工程示例便于理解深度圖歸一化、模型加載等關(guān)鍵環(huán)節(jié)。資源包已吸引288人學(xué)習(xí)可作為理解深度圖像姿態(tài)估計(jì)原理、遷移到實(shí)際項(xiàng)目的實(shí)用參考。1. 深度圖像做頭部姿態(tài)估計(jì)為什么比RGB多一個(gè)維度就多一條出路要做頭部姿態(tài)估計(jì)常見做法是拿普通RGB圖像直接喂給卷積網(wǎng)絡(luò)可一旦遇到室內(nèi)暗光、逆光或者夜間車內(nèi)場景RGB方案就會明顯掉點(diǎn)?；谏疃葓D像的頭部姿態(tài)估計(jì)把深度圖當(dāng)作主輸入從像素級距離信息里恢復(fù)頭部yaw、pitch、roll三個(gè)自由度天然不吃光照也更容易拿到真實(shí)尺度。你在做駕駛分心檢測、人機(jī)交互、睡眠監(jiān)測這類近景視覺任務(wù)時(shí)遇到RGB調(diào)不過去的暗光case換成深度圖往往是更省力的一個(gè)分支。這篇實(shí)踐記錄不聊論文指標(biāo)講落地深度圖怎么轉(zhuǎn)點(diǎn)云PnP、回歸、ICP三條路線怎么選數(shù)據(jù)集怎么準(zhǔn)備和評估以及我在真機(jī)上踩過的幾個(gè)坑。適合手里已經(jīng)有深度相機(jī)、想把頭部姿態(tài)從demo推到產(chǎn)線的工程師。2. 先把深度圖變成能算的東西相機(jī)模型、坐標(biāo)系與點(diǎn)云生成深度圖本身不是圖像它更像一張“距離表”。這一步做不對后面再怎么調(diào)網(wǎng)絡(luò)都是白費(fèi)。很多復(fù)現(xiàn)項(xiàng)目效果差問題往往不在模型而在點(diǎn)云生成時(shí)的單位、內(nèi)參和無效像素沒處理好。2.1 深度圖到底長什么樣三種常見數(shù)據(jù)格式拿到RealSense、Kinect或者手機(jī)ToF相機(jī)的數(shù)據(jù)先看保存格式。常見的有三種。第一種是16位無符號整數(shù)uint16單位是毫米RealSense的z16和Kinect都默認(rèn)這一類導(dǎo)出PNG時(shí)也大多是它。第二種是浮點(diǎn)深度圖單位是米一些SDK的原始回調(diào)直接給float32。第三種是歸一化深度圖取值范圍0到255或者0到1這類最坑因?yàn)槌叨刃畔⒁呀?jīng)被吃掉了只適合做可視化不適合做姿態(tài)回歸。提示先打印一下像素值分布。無效像素在不同相機(jī)里可能是0、2047、65535如果不先統(tǒng)計(jì)直方圖就統(tǒng)一置零后期點(diǎn)云里會出現(xiàn)一批離群點(diǎn)。我一般會在代碼里強(qiáng)制統(tǒng)一成毫米的uint16或者米的float32再做歸一化。否則同一個(gè)模型在RealSense上調(diào)好了換到另一家模組上直接崩。2.2 從二維像素到三維點(diǎn)內(nèi)參、深度值與尺度要把深度圖變成點(diǎn)云只需要相機(jī)內(nèi)參fx、fy、cx、cy。對每個(gè)有效像素(u, v)深度值為z_raw尺度為scale毫米轉(zhuǎn)米就是1000.0三維坐標(biāo)是z z_raw / scalex (u - cx) * z / fxy (v - cy) * z / fy。這里的(x, y, z)是三維點(diǎn)在相機(jī)坐標(biāo)系下的位置。頭部姿態(tài)估計(jì)一般也把相機(jī)坐標(biāo)系作為基準(zhǔn)輸出yaw、pitch、roll就是頭部模型相對于相機(jī)的旋轉(zhuǎn)角。要注意的是OpenCV里x向右、y向下、z向前和你數(shù)學(xué)課上的右手系不完全一樣但視覺領(lǐng)域都按這個(gè)約定走坐標(biāo)符號不要自己改。外參(R, t)在深度圖到點(diǎn)云這一步用不上只有需要把頭部姿態(tài)換算到世界坐標(biāo)、或者融合多臺相機(jī)時(shí)才引入外參。多數(shù)項(xiàng)目前期可以完全忽略外參先把內(nèi)參和尺度管住。2.3 生成點(diǎn)云的最小實(shí)現(xiàn)下面這段代碼把一張16位毫米深度圖轉(zhuǎn)成(N, 3)的相機(jī)系點(diǎn)云import numpy as np def depth_to_pointcloud(depth_raw, fx, fy, cx, cy, scale1000.0, mask_depth2047): # depth_raw: uint16單位mm無效像素通常為0或超出量程 # mask_depth: 深度上限超過該值的像素考慮丟棄避免紅外噪聲點(diǎn) valid (depth_raw 0) (depth_raw mask_depth) rows, cols np.nonzero(valid) z depth_raw[rows, cols].astype(np.float32) / scale x (cols - cx) * z / fx y (rows - cy) * z / fy pts np.stack([x, y, z], axis-1) # (N, 3) return pts, valid邏輯說明先用掩碼把0值和超量程像素剔掉再把有效像素的行列索引取出來。深度值除以scale得到米之后用針孔相機(jī)模型反投影。這里用NumPy全量索引而不是for循環(huán)一張640x480的深度圖在毫秒級出結(jié)果。參數(shù)說明fx、fy一般取深度相機(jī)的出廠內(nèi)參也可以用棋盤格標(biāo)定得到cx、cy是主點(diǎn)部分SDK會隨分辨率變化換了分辨率要重新拿。mask_depth不要拍腦袋設(shè)先看統(tǒng)計(jì)直方圖再定用2047是因?yàn)楹芏郥oF相機(jī)的最大有效測量值接近這一檔。這段代碼我的用法是先在離線上跑一遍整段視頻畫一下深度直方圖確認(rèn)無效值分布后再落到訓(xùn)練和推理流程里。2.4 點(diǎn)云不是必須的什么時(shí)候直接歸一化深度喂網(wǎng)絡(luò)點(diǎn)云適合PnP和ICP這類幾何求解但如果你走回歸路線直接把裁剪后的深度圖歸一化喂給卷積網(wǎng)絡(luò)就行不需要生成點(diǎn)云。歸一化有個(gè)常用做法先把深度clip到0.3到1.5米再縮放到0到1這樣能避免不同安裝距離對網(wǎng)絡(luò)的干擾。這里也給出后面選路線的一個(gè)判斷依據(jù)如果你有可靠的人臉關(guān)鍵點(diǎn)就走PnP如果你只想用一個(gè)輕量網(wǎng)絡(luò)端到端出角度就走回歸如果你的任務(wù)是跟蹤且頭部運(yùn)動范圍小ICP可以作為后端優(yōu)化。我見過不少團(tuán)隊(duì)一開始就往深度學(xué)習(xí)上堆結(jié)果發(fā)現(xiàn)連深度圖的單位都沒統(tǒng)一這屬于典型的“地基沒打就砌墻”。3. 三條落地路線PnP、回歸、ICP我建議怎么選很多剛接觸這個(gè)方向的人會直接去搜“頭部姿態(tài)估計(jì)開源模型”拿一個(gè)現(xiàn)成模型回來跑。真到項(xiàng)目里你會發(fā)現(xiàn)選路線比選模型更重要因?yàn)槊織l路線對輸入、算力和數(shù)據(jù)的要求差得很遠(yuǎn)。3.1 PnP路線2D人臉關(guān)鍵點(diǎn) 3D人臉模型求解在位姿估計(jì)里PnPPerspective-n-Point是把3D點(diǎn)和2D像素對應(yīng)起來求相機(jī)位姿的標(biāo)準(zhǔn)方法。做頭部姿態(tài)估計(jì)時(shí)3D點(diǎn)來自一個(gè)人臉模型的關(guān)鍵點(diǎn)坐標(biāo)鼻尖、眼角、嘴角等2D點(diǎn)來自RGB或深度圖上檢測到的對應(yīng)關(guān)鍵點(diǎn)相機(jī)內(nèi)參已知求解結(jié)果就是頭部相對于相機(jī)的R和t。這條路的好處是幾何可解釋、數(shù)據(jù)量要求低關(guān)鍵點(diǎn)檢測器質(zhì)量夠、3D模型定義不歪角度結(jié)果就可靠。壞處是它對大姿態(tài)不友好——轉(zhuǎn)頭超過50度自遮擋會讓關(guān)鍵點(diǎn)檢測器丟點(diǎn)或錯(cuò)點(diǎn)。import cv2 import numpy as np fx, fy, cx, cy 525.0, 525.0, 320.0, 240.0 # 從相機(jī)標(biāo)定結(jié)果讀取 # 3D 人臉模型關(guān)鍵點(diǎn)單位米原點(diǎn)在頭部中心附近 face_model_3d np.array([ [0.000, 0.000, 0.000], # 鼻尖 [-0.031, -0.031, -0.052], # 左眼外角 [0.031, -0.031, -0.052], # 右眼外角 [-0.031, 0.028, -0.052], # 左嘴角 [0.031, 0.028, -0.052], # 右嘴角 ], dtypenp.float32) # 同一幀由關(guān)鍵點(diǎn)檢測器給出的 2D 像素坐標(biāo) face_2d np.array([ [320.0, 240.0], [283.0, 221.0], [359.0, 221.0], [291.0, 281.0], [351.0, 281.0], ], dtypenp.float32) camera_matrix np.array([ [fx, 0.0, cx], [0.0, fy, cy], [0.0, 0.0, 1.0], ], dtypenp.float32) dist_coeffs np.zeros((5, 1)) ok, rvec, tvec cv2.solvePnP( face_model_3d, face_2d, camera_matrix, dist_coeffs, flagscv2.SOLVEPNP_ITERATIVE ) R, _ cv2.Rodrigues(rvec) # 旋轉(zhuǎn)矩陣邏輯說明cv2.solvePnP輸入3D點(diǎn)、2D點(diǎn)、內(nèi)參和畸變系數(shù)輸出旋轉(zhuǎn)向量rvec和平移向量tvec。rvec是三維向量軸角表達(dá)必須用Rodrigues公式轉(zhuǎn)成3x3旋轉(zhuǎn)矩陣再從R按你定的歐拉角順序拆出yaw、pitch、roll。注意歐拉角順序和旋轉(zhuǎn)矩陣定義必須和后續(xù)可視化、打標(biāo)工具保持一致否則會出現(xiàn)“模型輸出10度看起來像轉(zhuǎn)了80度”的錯(cuò)位。參數(shù)說明SOLVEPNP_ITERATIVE是最常用的迭代解法適合5個(gè)點(diǎn)以上點(diǎn)數(shù)少且不共面時(shí)改用SOLVEPNP_EPNP更可靠。3D模型的最小要求是至少4個(gè)不共線點(diǎn)實(shí)際我用5到7個(gè)關(guān)鍵點(diǎn)就夠點(diǎn)太多反而會把檢測誤差帶進(jìn)來。3D模型坐標(biāo)的符號約定也要注意比如左眼外角到底取x正還是負(fù)決定了yaw的正負(fù)最好先拿一張正面臉驗(yàn)證。3.2 回歸路線深度圖直接出角度回歸路線的思路簡單把裁剪好的深度圖輸入一個(gè)卷積網(wǎng)絡(luò)輸出三個(gè)角度或者輸出六個(gè)值讓模型自己學(xué)習(xí)sin、cos。它的上限取決于數(shù)據(jù)集的覆蓋度和網(wǎng)絡(luò)容量優(yōu)勢是推理鏈路短不需要關(guān)鍵點(diǎn)檢測器夜間和遮擋場景也相對皮實(shí)。常見做法是用輕量主干MobileNetV3、EfficientNet-lite替換ImageNet主干輸出頭改成3個(gè)神經(jīng)元。訓(xùn)練時(shí)注意幾點(diǎn)輸入深度先做歸一化和隨機(jī)裁剪損失函數(shù)不要直接對角度做L1因?yàn)榻嵌仍凇?0度邊界會有跳變建議把角度轉(zhuǎn)為sin、cos輸出推理時(shí)用atan2還原或者加一個(gè)離散角度分類輔助頭幫助收斂。回歸路線的坑在于對數(shù)據(jù)分布特別敏感真想上線要用目標(biāo)場景的數(shù)據(jù)做微調(diào)。3.3 ICP路線點(diǎn)云與頭部模板對齊ICPIterative Closest Point把當(dāng)前點(diǎn)云和一個(gè)預(yù)先準(zhǔn)備好的頭部模板點(diǎn)云對齊通過迭代尋找旋轉(zhuǎn)平移使得兩組點(diǎn)云距離最小。好處是不需要標(biāo)定人臉關(guān)鍵點(diǎn)用的是整個(gè)頭部幾何信息壞處是必須有一個(gè)好的初始位姿否則容易落到局部最優(yōu)。我一般在跟蹤場景這樣用上一幀的PnP結(jié)果作為當(dāng)前幀ICP的初值再限定迭代次數(shù)這樣能把抖動壓下去。單獨(dú)拿ICP做全范圍姿態(tài)搜索不太現(xiàn)實(shí)計(jì)算量大且容易跑飛。如果你只有一個(gè)單幀、沒有任何初始信息不要選這條路。3.4 選型建議先看你的輸入條件下面是我做選型時(shí)常用的判斷表不是標(biāo)準(zhǔn)答案但能幫你少走彎路。路線輸入依賴精度上限算力適合場景PnP關(guān)鍵點(diǎn)檢測器 相機(jī)內(nèi)參中高關(guān)鍵點(diǎn)質(zhì)量決定很低有RGB或深度人臉檢測、需可解釋中間結(jié)果回歸網(wǎng)絡(luò)大量標(biāo)注深度圖高依賴數(shù)據(jù)分布中固定安裝、環(huán)境可覆蓋、端到端部署ICP模板點(diǎn)云 初始位姿高但怕局部最優(yōu)偏高近景跟蹤、頭戴設(shè)備姿態(tài)校正如果你的現(xiàn)場有強(qiáng)紅外干擾深度圖噪聲大PnP比回歸更容易通過幾何約束剔除壞點(diǎn)如果你的深度圖干凈、距離變化范圍小回歸更省心。有的項(xiàng)目我最后把PnP和回歸做了個(gè)簡單融合回歸給初值PnP做精調(diào)效果比單一方案扎實(shí)。4. 數(shù)據(jù)集與評估用 Biwi 和 ICT-3DHP 把模型調(diào)到能上線深度圖像頭部姿態(tài)估計(jì)的開源數(shù)據(jù)不如RGB人臉數(shù)據(jù)多選錯(cuò)數(shù)據(jù)集等于白訓(xùn)練。這章講數(shù)據(jù)集標(biāo)注長什么樣、怎么預(yù)處理、評估指標(biāo)怎么定以及一份能直接復(fù)制的評估代碼。4.1 數(shù)據(jù)集標(biāo)注格式與適用場景業(yè)內(nèi)常用來做深度圖像頭部姿態(tài)估計(jì)的開源數(shù)據(jù)主要是Biwi Head Pose Database和ICT-3DHP。Biwi是單臺Kinect采集的近景RGB-D序列包含頭部中心和旋轉(zhuǎn)矩陣標(biāo)注用來做PnP校驗(yàn)和回歸訓(xùn)練起點(diǎn)都比較合適。ICT-3DHP提供多視角RGB-D序列與頭部姿態(tài)真值適合做跨視角評估和仿真增強(qiáng)的參考。還有一個(gè)更實(shí)際的來源是自采真機(jī)數(shù)據(jù)雖然標(biāo)注貴但它的分布和你上線環(huán)境最一致。數(shù)據(jù)集傳感器標(biāo)注形式我一般拿它做什么BiwiKinect RGB-D頭部中心 旋轉(zhuǎn)矩陣PnP驗(yàn)證、回歸訓(xùn)練ICT-3DHP多視角RGB-D姿態(tài)真值跨視角評估、仿真參考自采數(shù)據(jù)目標(biāo)深度相機(jī)手動標(biāo)角度或旋轉(zhuǎn)矩陣上線前微調(diào)和真機(jī)回歸測試用的時(shí)候注意這些數(shù)據(jù)集的相機(jī)內(nèi)參、深度單位、姿態(tài)定義都不一樣先寫一個(gè)轉(zhuǎn)換層統(tǒng)一到“相機(jī)坐標(biāo)系 毫米深度 yaw/pitch/roll順序”再進(jìn)訓(xùn)練或評測。4.2 數(shù)據(jù)準(zhǔn)備裁剪、縮放到統(tǒng)一尺寸回歸網(wǎng)絡(luò)和PnP的輸入不同但第一步都是把頭部區(qū)域從整幀里切出來。深度圖像不像RGB有成熟的目標(biāo)檢測模型常見做法是先用距離閾值或人體檢測結(jié)果定位頭部中心然后以中心向四周擴(kuò)展一個(gè)固定尺寸的矩形再從深度圖裁剪出對應(yīng)像素。def crop_depth_head(depth_raw, head_center, crop_size): # head_center: (u, v) 頭部中心像素坐標(biāo) # crop_size: 裁剪半徑單位像素 h, w depth_raw.shape[:2] u0, v0 int(head_center[0]), int(head_center[1]) u_min max(0, u0 - crop_size) u_max min(w, u0 crop_size) v_min max(0, v0 - crop_size) v_max min(h, v0 crop_size) crop depth_raw[v_min:v_max, u_min:u_max] return crop邏輯說明這個(gè)函數(shù)只做裁剪不做縮放避免引入插值誤差。裁剪后統(tǒng)一resize到64x64或者128x128再除以深度尺度并歸一化。裁剪半徑要根據(jù)相機(jī)安裝距離來定比如0.5到1米距離下crop_size取40到60像素比較合適距離遠(yuǎn)了頭部占的像素少要適當(dāng)加大半徑。參數(shù)說明歸一化不要直接用整幀min-max而是用預(yù)設(shè)深度范圍比如clip到0.3到1.5米。直接用min-max會讓深度變化不大的頭部區(qū)域?qū)Ρ榷缺粔嚎s模型學(xué)不到距離差這是一些復(fù)現(xiàn)模型在原數(shù)據(jù)集上效果好、換場景就失效的重要原因。4.3 回歸網(wǎng)絡(luò)的評估指標(biāo)MAE 與 N 度準(zhǔn)確率評估指標(biāo)主要看兩個(gè)平均絕對誤差MAE和N度準(zhǔn)確率。MAE就是預(yù)測角度與真值的平均絕對差N度準(zhǔn)確率是預(yù)測與真值最大誤差小于N度的樣本比例N一般取5或10。真實(shí)項(xiàng)目里我會兩個(gè)一起看MAE低但5度準(zhǔn)確率不高說明模型在大部分樣本上不錯(cuò)但在大姿態(tài)樣本上系統(tǒng)性偏大這時(shí)候要補(bǔ)大角度樣本。import numpy as np def evaluate_pose(pred, gt): # pred, gt: [N, 3]順序?yàn)?yaw, pitch, roll單位度 diff pred - gt diff (diff 180.0) % 360.0 - 180.0 # 角度回繞 mae np.mean(np.abs(diff), axis0) max_err np.max(np.abs(diff), axis1) acc_5 np.mean(max_err 5.0) * 100.0 acc_10 np.mean(max_err 10.0) * 100.0 return mae, acc_5, acc_10邏輯說明角度回繞那行很關(guān)鍵否則yaw從179度到-179度真實(shí)只差2度會被算成358度。max_err取每個(gè)樣本三個(gè)角度的最大誤差N度準(zhǔn)確率用這個(gè)最大誤差判斷比單獨(dú)看每個(gè)軸的指標(biāo)更貼近實(shí)際。參數(shù)說明5度準(zhǔn)確率適合要求精細(xì)的場景比如人機(jī)交互的視線估算10度準(zhǔn)確率更適合廣角粗定位比如車內(nèi)人員行為分析。如果看到acc_5因?yàn)樯贁?shù)大姿態(tài)樣本突然掉到80%以下先看是不是歐拉角符號定義和大姿態(tài)分布的問題。4.4 訓(xùn)練集和測試集要按人劃分這算是我吃過大虧的地方按幀隨機(jī)劃分?jǐn)?shù)據(jù)集模型會記住人臉換個(gè)人就掉點(diǎn)。正確的做法是按人頭subject_id劃分訓(xùn)練測試集保證測試集里的人沒有出現(xiàn)在訓(xùn)練集里。這個(gè)細(xì)節(jié)在頭部姿態(tài)估計(jì)里比在一般圖像分類里更敏感因?yàn)樯疃热四樈Y(jié)構(gòu)相似度很高模型很容易把面孔本身當(dāng)作特征。5. 頭部姿態(tài)估計(jì)常見問題排查現(xiàn)象、原因與對策這一章記的是我在真機(jī)上翻車后總結(jié)的排查思路。深度圖像頭部姿態(tài)估計(jì)的難點(diǎn)不在算法本身而在傳感器和場景的坑里。5.1 現(xiàn)象深度圖邊緣跳動導(dǎo)致姿態(tài)角每幀都在抖距離一超過量程深度圖邊緣會出現(xiàn)空洞和跳動頭部貼臉邊緣尤其明顯PnP或ICP結(jié)果就會跟著抖。 原因ToF深度相機(jī)在物體邊界處存在多路徑干擾和低置信度像素深度不連續(xù)區(qū)域的噪聲比平面區(qū)域大得多。 解決先做深度置信度過濾把無效和低置信度像素置零再做時(shí)域?yàn)V波比如對連續(xù)3到5幀的深度取像素級中值。一個(gè)小實(shí)現(xiàn)import numpy as np def temporal_median(depth_frames): # depth_frames: list/array [T, H, W]T一般取3或5 depth_stack np.stack(depth_frames, axis0) return np.median(depth_stack, axis0).astype(np.uint16)這個(gè)濾波能有效去掉跳變點(diǎn)而不會像均值濾波那樣把邊緣搞糊。訓(xùn)練時(shí)也可以隨機(jī)給深度圖加椒鹽噪聲讓網(wǎng)絡(luò)學(xué)會忽略邊緣跳變。5.2 現(xiàn)象換一臺相機(jī)誤差從 3 度漲到 8 度同一個(gè)模型在實(shí)驗(yàn)室RealSense上很好到了產(chǎn)線上另一家的模組就掉點(diǎn)。 原因不同深度相機(jī)的內(nèi)參、深度尺度、分辨率甚至紅外投影圖案都不一樣模型學(xué)到的尺度信息沒有對齊。 解決把所有輸入統(tǒng)一到米制的三維空間而非原始像素深度。訓(xùn)練時(shí)把深度隨機(jī)縮放0.9到1.1倍模擬不同相機(jī)的尺度差異推理時(shí)根據(jù)新相機(jī)內(nèi)參重新裁剪和歸一化。這樣換相機(jī)的遷移損失會明顯變小。5.3 現(xiàn)象頭部旋轉(zhuǎn)超過 45 度PnP 關(guān)鍵點(diǎn)頻繁丟失大姿態(tài)下側(cè)臉、低頭會導(dǎo)致人臉關(guān)鍵點(diǎn)檢測器漏檢PnP退化成只有兩三個(gè)點(diǎn)可用的病態(tài)求解。 原因自遮擋加關(guān)鍵點(diǎn)模型的訓(xùn)練數(shù)據(jù)以正臉為主大姿態(tài)本身是長尾。 解決不要只依賴RGB人臉關(guān)鍵點(diǎn)深度圖上可以用整個(gè)頭部的點(diǎn)云去擬合橢圓或頭部模板給PnP提供更多幾何約束或者在跟蹤場景下用上一幀的位姿做外推限制當(dāng)前幀的搜索范圍。訓(xùn)練關(guān)鍵點(diǎn)檢測器時(shí)大姿態(tài)樣本要故意保留一部分遮擋。5.4 現(xiàn)象yaw 在 ±90 度附近輸出跳變甚至符號反轉(zhuǎn)回歸模型輸出yaw連續(xù)角度時(shí)在邊界處容易出現(xiàn)90度到-90度的跳變這會讓評估指標(biāo)突然惡化。 原因歐拉角本身存在周期性角度空間不是歐幾里得空間用L1或MSE直接回歸角度模型無法處理179與-179的等價(jià)性。 解決輸出sin、cos而不是角度推理用atan2還原或者把分類和回歸結(jié)合起來先判斷離散角度區(qū)間再回歸區(qū)間內(nèi)的偏移。評估時(shí)也要按前面寫的角度回繞邏輯先處理差值否則指標(biāo)失真。5.5 現(xiàn)象訓(xùn)練集指標(biāo)很高真機(jī)一跑就廢模型在Biwi測試集上MAE不到5度接到真實(shí)相機(jī)上各種跑偏。 原因數(shù)據(jù)分布差異包括相機(jī)高度、頭部到相機(jī)距離、安裝角度、人的坐姿習(xí)慣這些在數(shù)據(jù)集里是固定的在真機(jī)上是變化的。 解決離線階段留一部分真機(jī)采集數(shù)據(jù)做驗(yàn)證訓(xùn)練時(shí)做域隨機(jī)化把深度值偏移、隨機(jī)裁剪、隨機(jī)縮放、隨機(jī)遮擋都加上。還有一個(gè)后悔藥不要在項(xiàng)目一開始就迷信精度指標(biāo)先搭一個(gè)包含“采集—標(biāo)注—訓(xùn)練—真機(jī)回灌”的閉環(huán)數(shù)據(jù)管道后面迭代會順很多。6. 上線前先做一輪仿真閉環(huán)最小驗(yàn)證方案與角度編碼技巧最后這個(gè)技巧我?guī)缀趺總€(gè)項(xiàng)目都用。真機(jī)數(shù)據(jù)少、標(biāo)注貴我習(xí)慣先用仿真深度圖把算法鏈路跑通確認(rèn)坐標(biāo)系、角度定義、網(wǎng)絡(luò)輸出都沒有問題再上真機(jī)。第一步用Blender或Unity放一個(gè)頭部模型隨機(jī)擺yaw、pitch、roll渲染深度圖導(dǎo)出一張圖和對應(yīng)的角度真值。第二步在仿真數(shù)據(jù)上跑一遍你的PnP或回歸模型看誤差是不是在預(yù)期范圍。如果仿真都能跑出明顯錯(cuò)誤多半是代碼里坐標(biāo)系定義反了而不是數(shù)據(jù)問題。第三步給仿真深度加噪聲和隨機(jī)裁剪模擬低質(zhì)量深度相機(jī)提前暴露算法短板。角度編碼這里再給一個(gè)挽救性的代碼段?；貧w網(wǎng)絡(luò)不要在最后一層直接輸出角度而是輸出sin和cos# 訓(xùn)練時(shí)把角度轉(zhuǎn)成兩個(gè)值 angle_rad np.deg2rad(yaw_true) yaw_target np.array([np.sin(angle_rad), np.cos(angle_rad)]) # 推理時(shí)從兩個(gè)值還原角度 yaw_pred np.arctan2(yaw_sin, yaw_cos) * 180.0 / np.pi這樣訓(xùn)練目標(biāo)連續(xù)且沒有回繞邊界比直接回歸角度省去不少邊界對齊的功夫。pitch、roll同理輸出6個(gè)值推理時(shí)各自atan2還原。我的習(xí)慣是在動真機(jī)數(shù)據(jù)之前先用仿真把兩條最容易出問題的地方校驗(yàn)掉——旋轉(zhuǎn)矩陣到歐拉角的符號定義以及深度尺度是否統(tǒng)一?，F(xiàn)在不管模型多復(fù)雜我都會先跑一遍這個(gè)閉環(huán)再去碰產(chǎn)線數(shù)據(jù)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取