去年年底我接到一個模擬項目X的需求在某跨平臺系統(tǒng)上實現(xiàn)手勢方向識別最核心的是“上下手勢檢測”。用戶要的不是簡單判斷“有沒有手”而是把手勢當(dāng)作控制指令——手往上揮是上一個操作往下?lián)]是下一個操作誤觸發(fā)率要壓到很低。當(dāng)時組里幾個方案PK過一輪最后落地的是基于YOLOv10n改進(jìn)的版本在模型里嵌入了HWD模塊用一套統(tǒng)一流程同時解決“手在哪”“朝哪動”“算不算一次有效揮動”三個問題。今天這篇就把這個項目的完整思路、踩坑過程和數(shù)據(jù)實測細(xì)節(jié)寫清楚。1. 項目需求拆解方向手勢識別到底難在哪先明確一下我們面對的到底是什么問題。市面上大多數(shù)手勢識別項目做的是“靜態(tài)手勢分類”比如識別數(shù)字、比心、握拳技術(shù)上屬于單幀圖像分類。但“方向手勢識別”是另一類任務(wù)它不僅要求你知道畫面里有一只手的框還要求你判斷這只手正在往哪個方向移動并且要把一段連續(xù)動作切分成“一次有效指令”。1.1 三個核心子任務(wù)的邊界劃分我們把整個項目拆成了三個子任務(wù)邊界必須劃清楚手部檢測定位畫面中的手得到邊界框。方向識別不需要那么精細(xì)的像素級分割一個準(zhǔn)確的框就夠用。這個階段對應(yīng)目標(biāo)檢測模型的主干和檢測頭。方向判斷根據(jù)連續(xù)幀里手部中心點的位移矢量判斷當(dāng)前運(yùn)動方向。方向不是簡單的“上、下、左、右”四分類因為實際揮手軌跡不會是標(biāo)準(zhǔn)的直線必然有抖動和弧度。上下手勢指令判定把“向上揮一次”和“向下?lián)]一次”定義為兩個事件。對單次揮動去抖、判定起止避免一次揮動變成兩三次誤觸發(fā)。從產(chǎn)品角度講第三個子任務(wù)才是真正影響體驗的。檢測模型哪怕偶爾漏掉一幀后面的跟蹤和事件判定邏輯也能兜住但如果事件判定邏輯粗糙整個交互就會讓人覺得“不跟手”或者“亂觸發(fā)”。1.2 為什么不能直接拿現(xiàn)成分類模型改我們最初嘗試過直接用現(xiàn)成的姿態(tài)估計模型把手腕關(guān)鍵點的軌跡拿來做方向判斷。但實測下來有個尷尬的問題姿態(tài)估計模型對手的尺度很敏感當(dāng)手離攝像頭近時關(guān)鍵點抖動非常厲害當(dāng)手離得遠(yuǎn)時關(guān)鍵點又容易和臉部、上半身混淆。而且整套流程需要額外引入骨骼網(wǎng)絡(luò)在低算力設(shè)備上幀率不樂觀。方向識別的本質(zhì)其實是一個“軌跡序列”問題。這段軌跡不需要關(guān)鍵點級別的精度只需要穩(wěn)定的“對象中心點”就行。因此把問題簡化為檢測手部框取框中心點做短窗口軌跡分析。這個簡化讓模型選擇范圍一下子寬了最后落到Y(jié)OLOv10n上也是因為這個判斷。2. 技術(shù)選型復(fù)盤為什么是YOLOv10n而不是YOLOv8n或輕量分類網(wǎng)絡(luò)選型不能拍腦袋我當(dāng)時設(shè)了幾個硬指標(biāo)全部對上才進(jìn)下一輪指標(biāo)要求YOLOv8nYOLOv10n輕量分類網(wǎng)絡(luò)參數(shù)量≤ 3M3.2M2.7M1~2M端側(cè)推理耗時≤ 30ms約26ms約22ms約15ms檢測精度 mAP.5≥ 0.850.870.86無檢測能力是否支持端到端 NMS-free盡量否是不適用后續(xù)擴(kuò)展是否容易加關(guān)鍵點分支容易一般容易困難YOLOv10n那個2.7M參數(shù)里的n后綴很重要n就是nano版本專為端側(cè)和嵌入式設(shè)計。但光看參數(shù)沒意義真正讓我下決心的是它的NMS-free架構(gòu)。傳統(tǒng)YOLO在推理后要做非極大值抑制去掉重疊的框這個操作在端側(cè)很煩因為動態(tài)邏輯不好量化。YOLOv10用“雙標(biāo)簽分配”和“一致匹配度”解決了一對一匹配問題訓(xùn)練時用一對多推理時用一對一可以省掉NMS。省掉的這七八毫秒在30ms預(yù)算里非常值錢。2.1 HWD模塊的設(shè)計動機(jī)標(biāo)題里的HWD是我在模擬項目X里給一個輕量化檢測頭結(jié)構(gòu)起的代號全稱是Hierarchical Weight Decoupling按方向分支解耦的層級權(quán)重檢測頭。HWD的目標(biāo)很直接既然最終任務(wù)是“方向手勢識別”那通用檢測頭的輸出就不能直接滿足需求。標(biāo)準(zhǔn)YOLOv10n的檢測頭輸出是類別概率加邊框回歸。我們可以把手勢方向作為額外類別加進(jìn)去——比如類別從“手”變成“手向上”“手向下”“手靜止”——但這樣做有個問題方向是連續(xù)變化的尤其在揮動轉(zhuǎn)向的瞬間硬分類會產(chǎn)生大量抖動幀。HWD的做法不是把方向硬加入分類而是保留一個主干檢測分支輸出手部框同時在檢測頭側(cè)邊掛一個輕量的方向回歸分支。方向分支不做分類做的是角度回歸通過解耦的權(quán)重更新讓方向分支和檢測分支在梯度回傳時不完全互相干擾。具體來說HWD在檢測頭里設(shè)置了兩個輸出頭共享同一套特征但在最后一層把參數(shù)分成兩組一組負(fù)責(zé)框的寬高中心偏移另一組負(fù)責(zé)方向角度的連續(xù)回歸。分組之后方向分支的梯度更新不會因為手框稍微不準(zhǔn)就劇烈震蕩。這個設(shè)計在數(shù)據(jù)集標(biāo)注不夠干凈時特別有用我們的手框標(biāo)注確實有少量偏移但方向分支在訓(xùn)練中幾乎沒有受到那些偏移的影響。2.2 和“直接加方向類別”方案的對比順帶說一句我們確實做了一版直接把方向作為類別標(biāo)簽的實驗。訓(xùn)練時手向上揮的幀標(biāo)記成“Up”標(biāo)記了大概4000幀手向下?lián)]標(biāo)記“Down”也4000幀。結(jié)果mAP看起來不錯但實際部署出現(xiàn)了嚴(yán)重的邊界抖動手在水平方向移動時模型會在Up和Down之間反復(fù)跳變因為接近垂直分界線時分類置信度本身就低。后來我們用HWD把方向改成回歸問題后這個跳變問題消失了。方向輸出的是-1到1的連續(xù)值-1代表向上極限1代表向下極限中間任何值都允許。事件判定階段再對連續(xù)值做閾值化加了遲滯區(qū)間。這個設(shè)計差異是整個項目最后能穩(wěn)定跑起來的關(guān)鍵。3. HWD方向分支的詳細(xì)設(shè)計與實現(xiàn)這一節(jié)具體講HWD怎么落地的。整體結(jié)構(gòu)還是沿用YOLOv10n的骨干網(wǎng)絡(luò)替換檢測頭時加了方向回歸分支訓(xùn)練階段用多任務(wù)損失。3.1 檢測頭的改造細(xì)節(jié)原始檢測頭輸出張量形狀是[B, 4num_classes, H, W]邊框4個值加類別數(shù)我改成[B, 4num_classes2, H, W]。多出來的2個通道就是方向分支的輸入一個是水平分量一個是垂直分量。后面接了一個小卷積層把多出來那2個通道映射成最終的方向得分。映射規(guī)則是計算cos_sim cos(x方向的向量, y方向的向量)這個做的是手部運(yùn)動方向相對于屏幕豎直方向的余弦相似度。送到一個帶tanh激活的線性層輸出范圍限制在[-1, 1]。角度定義上有個細(xì)節(jié)值得注意我當(dāng)時定的是以垂直方向為基準(zhǔn)向上為正向下為負(fù)。這個定義方向之后loss計算會很方便而且和實際體感一致——人揮手上舉會覺得“正向”放下會覺得“負(fù)向”。3.2 訓(xùn)練損失函數(shù)的組合策略訓(xùn)練時總損失是三部分相加total_loss lambda1 * box_loss lambda2 * cls_loss lambda3 * direction_loss三個權(quán)重在初期設(shè)置成lambda10.5, lambda20.5, lambda30.2。方向分支權(quán)重特意調(diào)低防止模型過度關(guān)注方向而忽略找手的任務(wù)。network 收斂一段epoch之后把lambda3提到0.5。方向loss用的是帶角度感知的平滑L1——這個說直白點就是如果預(yù)測方向和真實方向差得遠(yuǎn)梯度保持恒定不會突然爆炸差得近時梯度逐步變小讓訓(xùn)練后期能精細(xì)收斂。這個loss不是單純算歐氏距離還要考慮角度差在弧度制下的連續(xù)性比如350度和10度在數(shù)值上差340但實際才差20度角度歸一化處理后避免模型被誤導(dǎo)。3.3 標(biāo)簽生成時如何構(gòu)造“方向真值”方向標(biāo)簽不是人工逐個標(biāo)注的而是根據(jù)標(biāo)注框中心點的位移矢量自動生成。做法是在視頻數(shù)據(jù)集上先人工標(biāo)出手的框再按幀序列算中心點位移然后把這個位移矢量歸一化成為標(biāo)簽。單幀的方向標(biāo)簽生成公式# 取第t幀和第t-3幀的手框中心點 dx cx_t - cx_t_minus_3 dy cy_t - cy_t_minus_3 # 歸一化得到方向向量 norm sqrt(dx**2 dy**2) dx_norm dx / max(norm, 1e-6) dy_norm dy / max(norm, 1e-6) # 計算垂直方向分量向上為1向下為-1 label dy_norm # 注意圖像坐標(biāo)系y軸向下所以dy為負(fù)代表向上這里取了t-3幀而不是t-1幀是為了濾掉高頻抖動讓方向標(biāo)簽更穩(wěn)定。間隔太小單幀檢測噪聲偏移會被放大成錯誤方向間隔太大手勢快速換向時標(biāo)簽會失真。t-3在我們數(shù)據(jù)上表現(xiàn)最好這個經(jīng)驗值是試出來的不是計算出來的。3.4 訓(xùn)練與前向推理的完整代碼骨架核心訓(xùn)練配置文件里模型部分的偽代碼如下采用YOLOv10訓(xùn)練腳本的結(jié)構(gòu)class HWD檢測頭(nn.Module): def __init__(self, in_channels, num_classes): super().__init__() self.reg_branch nn.Sequential( nn.Conv2d(in_channels, 64, 3, padding1), nn.BatchNorm2d(64), nn.SiLU(), nn.Conv2d(64, 4, 1) ) self.cls_branch nn.Sequential( nn.Conv2d(in_channels, 64, 3, padding1), nn.BatchNorm2d(64), nn.SiLU(), nn.Conv2d(64, num_classes, 1) ) self.dir_branch nn.Sequential( nn.Conv2d(in_channels, 32, 3, padding1), nn.BatchNorm2d(32), nn.SiLU(), nn.Conv2d(32, 2, 1), nn.Tanh() ) def forward(self, x): return self.reg_branch(x), self.cls_branch(x), self.dir_branch(x)推理階段把檢測分支和方向分支合并后輸出。由于YOLOv10推理不走NMS后處理速度很快方向分支那兩行輸出在整張?zhí)卣鲌D上做一個全局平均池化得到最終方向分?jǐn)?shù)。不得不提一個容易栽的坑方向分支那層Tanh不是直接輸出最終角度而是輸出正弦余弦的中間表示。一開始我天真地直接回歸角度數(shù)值結(jié)果訓(xùn)練中期發(fā)現(xiàn)loss死活降不下去后來才明白角度數(shù)值的尺度比如-180到180和檢測框坐標(biāo)的尺度0到640差太遠(yuǎn)融合時梯度被大數(shù)值主導(dǎo)。改成sin/cos分量回歸之后訓(xùn)練一下子穩(wěn)了。4. 上下手勢判定策略從“檢測方向”到“識別指令”模型輸出的方向是一個連續(xù)值但在產(chǎn)品里用戶感知的只有“上一張”“下一張”兩個操作。中間這層轉(zhuǎn)換就是手勢指令判定模塊要解決的。4.1 遲滯區(qū)間設(shè)計直接對方向分?jǐn)?shù)做閾值處理會出現(xiàn)抖動。用戶向上揮手方向分?jǐn)?shù)從0漲到0.8如果在0.5閾值附近來回穿就會觸發(fā)兩次。解決辦法是不用單閾值用遲滯區(qū)間hysteresis方向分?jǐn)?shù)大于0.6判定為“上”方向分?jǐn)?shù)小于-0.6判定為“下”中間區(qū)域-0.6, 0.6保持上一次的狀態(tài)不變這樣從“下”變“上”需要跨過1.2的跨度不會因為微小抖動來回切換。從體感上用戶揮手的力度只要不是特別輕都能明確落在0.6以上。實際測試中這個區(qū)間最遠(yuǎn)的一檔是0.7和-0.7但幾個用戶反饋0.7需要揮臂幅度稍大改回0.6之后接受度明顯上升。4.2 揮動事件判定狀態(tài)機(jī)遲滯區(qū)間解決了狀態(tài)抖動但還沒解決“一次揮動算幾次”的問題。這里用了個簡單的三狀態(tài)狀態(tài)機(jī)IDLE空閑、WAIT_FOR_COMPLETE等待完成、COOLDOWN冷卻?；具壿嫵跏紶顟B(tài) IDLE。檢測到方向分大于0.6狀態(tài)進(jìn)入 WAIT_FOR_COMPLETE。WAIT_FOR_COMPLETE 狀態(tài)下如果方向分先回落到0.2以下再重新沖上0.6才認(rèn)為完成了一次完整的“向上揮動”。一旦觸發(fā)完成事件進(jìn)入 COOLDOWN冷卻300ms。冷卻時間內(nèi)即使方向分過閾值也不觸發(fā)。向下?lián)]動的判定邏輯鏡像對稱。這個狀態(tài)機(jī)解決了一個很隱蔽的問題人在自然揮手時手臂舉到最高點可能停一下然后放下。如果只看閾值這個停頓加放下就會被算成兩次上揮和末段向下的中途判定。加上回落判斷后只有“從低到高再回低”的完整軌跡才算一次。4.3 與跟蹤模塊的配合單幀檢測的框中心可能存在5~10個像素的抖動直接拿相鄰幀中心點算方向會被噪聲淹沒。我在方向分析前加了一個輕量跟蹤器基于IOU匹配對每個檢測框分配唯一ID然后用卡爾曼濾波平滑中心點軌跡。軌跡窗口取最近6幀大約200ms用平滑后的軌跡點算方向向量。這個窗口比3幀長一倍延遲增加了一點但換來的是方向穩(wěn)定性大幅改善。6幀的窗口在我們端側(cè)設(shè)備上實測只增加了約8ms滯后東側(cè)測試人員反饋基本無感。5. 數(shù)據(jù)集構(gòu)建方向手勢識別成敗的隱形關(guān)鍵方向手勢識別的訓(xùn)練數(shù)據(jù)比普通目標(biāo)檢測數(shù)據(jù)難搞得多。普通檢測標(biāo)一個框就行方向識別需要連續(xù)幀保持同一ID且方向標(biāo)簽準(zhǔn)確。5.1 采集場景與分布考量我總結(jié)了三個必須覆蓋的場景維度缺一個都容易在實際使用時翻車維度具體差異數(shù)據(jù)占比背景室內(nèi)白墻、復(fù)雜辦公室、戶外樹蔭、暗光房間背景均勻覆蓋即可手部姿態(tài)手掌朝攝像頭、握拳、自然半握、手背朝攝像頭比例約1:1:1:0.5運(yùn)動速度慢速揮動、正常速度、快速甩動比例約1:3:1最終采集了約30小時視頻抽幀后有效訓(xùn)練列表約12000幀。單純數(shù)量不算多但勝在每幀都有對應(yīng)的上下方向真值。這里有個教訓(xùn)剛開始找了大量“手拿手機(jī)”的日常視頻模型在屏幕上都能把手機(jī)誤檢成手的一些邊緣紋理后來專門把手機(jī)、水杯這類形似物體標(biāo)成負(fù)樣本才壓下去。5.2 自動標(biāo)注管線標(biāo)注方案是先用YOLOv10n預(yù)訓(xùn)練模型只在公開手勢數(shù)據(jù)集上訓(xùn)練過跑一遍生成手部框然后是人工修正再用“位移矢量自動生成方向標(biāo)簽”的腳本批量生成方向真值。這條管線實際執(zhí)行中需要人工看一遍所有自動生成的標(biāo)簽。最容易出錯的是手部交叉的片段左右手互相遮擋時跟蹤ID會跳變導(dǎo)致中心點位移矢量變成一個極大的跳變方向標(biāo)簽變成異常值。這種異常幀的比例可能在2%~3%之間但會顯著拉低方向分支的收斂效果。后來我在標(biāo)簽生成腳本里加了一行檢測如果相鄰幀中心點位移超過30像素在手部尺寸設(shè)定下就標(biāo)記該幀為無效幀不參與方向loss計算。5.3 數(shù)據(jù)增強(qiáng)時注意保護(hù)方向語義常規(guī)目標(biāo)檢測的隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)、HSV抖動在方向識別任務(wù)里不是全都能直接用。隨機(jī)水平翻轉(zhuǎn)會讓“向左揮”變成“向右揮”但我們只關(guān)心上下方向所以這個沒問題。但旋轉(zhuǎn)增強(qiáng)要格外小心如果旋轉(zhuǎn)90度原本“向上揮”的數(shù)據(jù)變成了“向左揮”方向標(biāo)簽如果沒同步旋轉(zhuǎn)就是錯的。我們的增強(qiáng)策略保持上下方向語義的增強(qiáng)隨機(jī)縮放0.8~1.2倍、HSV擾動、小角度隨機(jī)旋轉(zhuǎn)±5度只針對檢測分支做增強(qiáng)Mosaic拼圖在拼圖時保持各子圖方向標(biāo)簽不變禁用的增強(qiáng)垂直翻轉(zhuǎn)、大角度旋轉(zhuǎn)、隨機(jī)擦除會讓方向序列斷裂Mosaic拼圖其實很值得說一說四個圖拼在一起之后手的尺度變化更豐富檢測分支的魯棒性提升明顯。但方向分支在這種拼圖訓(xùn)練下有小幅震蕩所以我在最后5個epoch關(guān)閉了Mosaic只用單圖訓(xùn)練做精調(diào)。6. 訓(xùn)練過程與量化筆記實測數(shù)據(jù)是最終裁判6.1 超參與訓(xùn)練曲線的關(guān)鍵細(xì)節(jié)使用單塊訓(xùn)練卡模擬環(huán)境輸入分辨率640x640batch size 32初始學(xué)習(xí)率0.01用余弦退火到0.0001總共訓(xùn)練120個epoch。前30個epoch凍結(jié)骨干網(wǎng)絡(luò)只訓(xùn)練檢測頭讓新增的方向分支先穩(wěn)定下來第30個epoch后解凍全部參數(shù)。訓(xùn)練曲線有幾個關(guān)鍵點值得注意前10個epochbox_loss從0.09降到0.04速度很快因為骨干是預(yù)訓(xùn)練模型。第30個epoch解凍后direction_loss出現(xiàn)一次小尖峰從0.2跳到0.35這是正常的骨干參數(shù)開始適應(yīng)方向分支。在約90個epoch時direction_loss降到0.08附近后基本平了。最終驗證集上檢測分支mAP.5是0.886比基線YOLOv10n的0.864略高一點說明方向分支的聯(lián)合訓(xùn)練沒有拖累檢測反而因為特征的復(fù)用略微提升了檢測魯棒性。6.2 INT8量化后的表現(xiàn)部署時目標(biāo)平臺是某端側(cè)推理引擎模型需要做INT8量化。YOLOv10n本身量化友好因為NMS-free結(jié)構(gòu)里沒有復(fù)雜的動態(tài)控制流。量化校準(zhǔn)用了2000幀訓(xùn)練真值圖片在目標(biāo)引擎上跑離線量化。量化后的精度損失如下指標(biāo)FP32INT8損失手部檢測 mAP.50.8860.872-1.4%方向回歸 平均角度誤差4.2度5.1度0.9度推理耗時端側(cè)25ms17ms-32%INT8方向分支的平均角度誤差只增加了不到1度對事件判定閾值0.6來說完全夠用。這里有個經(jīng)驗量化時如果方向分支精度掉得多不如把方向分支單獨保留FP16只量化檢測分支。我們在另一個項目里驗證過這個方案精度幾乎無損只是推理框架要支持混合精度稍微麻煩一點。6.3 一個意外的推理性能坑剛開始部署時端側(cè)推理耗時總是比預(yù)期高排查到最后發(fā)現(xiàn)是方向分支的輸出張量在轉(zhuǎn)換到CPU后沒有做內(nèi)存連續(xù)化后處理讀數(shù)據(jù)時走了慢速路徑。加上一行torch.Tensor.contiguous()后整體后處理耗時降了30%。這個問題屬于引擎層面的邊緣情況寫在這里給遇到類似情況的人一個排查方向。7. 實測效果與踩坑總結(jié)方向手勢識別是否值得這樣設(shè)計最后說一下整個項目的真實測試數(shù)據(jù)以及回過頭來看有哪些決策是對的哪些其實可以換條路。7.1 現(xiàn)場測試成績我們在三種環(huán)境下對最終模型和判定策略做了測試室內(nèi)辦公桌前端側(cè)設(shè)備、客廳沙發(fā)距離約2.5米、戶外弱光環(huán)境傍晚。測試人員用手勢控制某跨平臺系統(tǒng)的上下翻頁功能統(tǒng)計了100次揮動指令的準(zhǔn)確率和誤觸發(fā)次數(shù)。測試環(huán)境向上識別率向下識別率誤觸發(fā)次數(shù)10分鐘內(nèi)辦公桌0.5m98/10097/1000客廳2.5m95/10093/1002戶外弱光82/10079/1007戶外弱光表現(xiàn)差可以從數(shù)據(jù)上解釋訓(xùn)練數(shù)據(jù)里弱光幀占比太低手部對比度不足檢測框抖動變大。這個結(jié)果也直接決定了下一次迭代要優(yōu)先補(bǔ)弱光數(shù)據(jù)。7.2 這個方案的設(shè)計邊界HWD加方向回歸的設(shè)計并不是萬能的它適合的是“手部目標(biāo)相對大、運(yùn)動軌跡相對完整”的場景。如果手勢很小比如遠(yuǎn)距離無人機(jī)手勢控制方向回歸分支的輸入特征分辨率不夠誤差會成倍放大。那種場景應(yīng)該走關(guān)鍵點檢測加軌跡分類的路線而不是在檢測頭側(cè)邊加方向分支。另外這套狀態(tài)機(jī)針對“上下?lián)]動”做了專門優(yōu)化。左右揮手和畫圈手勢在這個方案里也能提取出方向序列但事件判定邏輯要重新設(shè)計不能直接套用。7.3 值得保留和應(yīng)該舍棄的設(shè)計保留遲滯區(qū)間和冷卻機(jī)制這兩個東西用很小的代價解決了實際使用中80%的誤觸發(fā)問題。沒有它們模型精度再高用戶體感都是“亂跳”。舍棄在畫圈或者復(fù)雜手勢識別上強(qiáng)行沿用這個方向回歸分支的做法。我們試過在相同結(jié)構(gòu)上加“順時針/逆時針”判斷效果不理想因為這類語義需要更長的時序上下文不是單幀方向能表達(dá)的。如果重新做一遍我會在數(shù)據(jù)采集階段就投入更多時間在弱光場景而不是等項目后期補(bǔ)拍。方向手勢識別公出問題的不在白天而在傍晚燈剛開、屏幕反光、衣服顏色和手部顏色接近的時候。這類數(shù)據(jù)的價值遠(yuǎn)超多拍幾段白墻背景的完美視頻。這個項目的核心收獲是模型架構(gòu)的改動HWD只解決了一半問題另一半是靠狀態(tài)機(jī)邏輯和針對性的數(shù)據(jù)集設(shè)計解決的。方向手勢識別的本質(zhì)是“用目標(biāo)檢測做感知、用軌跡邏輯做理解”兩者配合好了實際體驗才能穩(wěn)定可靠。