先說一個我自己的真實經(jīng)歷。幾年前我第一次接觸人臉識別相關(guān)的項目當(dāng)時被安排做一個門禁場景的人臉核驗功能。我當(dāng)時的想法特別樸素拿一個分類網(wǎng)絡(luò)把員工照片按工號做分類訓(xùn)練識別時看它分到哪個類就行。真正深入進(jìn)去才發(fā)現(xiàn)人臉識別這件事難點根本不在“分類”而在“無論你今天化了妝、換了眼鏡、轉(zhuǎn)了角度、光線忽明忽暗系統(tǒng)都要認(rèn)出屏幕前這張臉就是你”。后來把CNN的原理真正吃透再回頭看整個流程才明白人臉識別不是某個網(wǎng)絡(luò)結(jié)構(gòu)的炫技而是從檢測、對齊、特征提取到比對一整套流水線的配合。這篇文章就圍繞人臉識別原理和CNN展開寫給兩類人看一類是想搞懂人臉識別底層邏輯、但被各種論文術(shù)語勸退的初學(xué)者另一類是已經(jīng)會用現(xiàn)成接口或開源模型、卻始終沒弄明白“為什么深度學(xué)習(xí)就能認(rèn)出人臉”的開發(fā)者。我會把卷積神經(jīng)網(wǎng)絡(luò)拆開講清楚——卷積、激活、池化、全連接到底各自扮演什么角色也會說明白為什么CNN最終輸出的不是一個“分類結(jié)果”而是一串誰都能比對的數(shù)字向量。1. 人臉識別到底在跑哪幾步流程從圖像到“你是誰”很多人一提人臉識別第一反應(yīng)就是一個神經(jīng)網(wǎng)絡(luò)把照片喂進(jìn)去蹦出一個人名。真實工程里完全不是這個邏輯。一套完整的人臉識別系統(tǒng)至少包含四個環(huán)節(jié)人臉檢測、人臉對齊、特征提取、特征比對。每個環(huán)節(jié)都有專門的模型和方法CNN主要扛起的是“特征提取”這一棒但前面兩步?jīng)]做好后面再強的網(wǎng)絡(luò)也白搭。1.1 人臉檢測和對齊先把臉從畫面里“撈”出來人臉檢測解決的是“這張圖里有沒有人臉有的話臉在哪”。業(yè)界非常經(jīng)典的做法是使用MTCNN多任務(wù)級聯(lián)卷積網(wǎng)絡(luò)這類模型它同時做兩件事框出人臉的位置并定位眼睛、鼻子、嘴角這些關(guān)鍵點。檢測到的關(guān)鍵點不是擺著好看的它要用于下一步的“對齊”。對齊是把檢測到的臉做仿射變換旋轉(zhuǎn)、縮放、平移讓兩只眼睛處在同一水平線、人臉大小歸一化。為什么非要對齊原因很簡單CNN提取特征時對不同位置、不同角度的同一個物體響應(yīng)會不一樣。如果今天拍的是正臉明天拍的是側(cè)臉偏了15度網(wǎng)絡(luò)提取出來的特征就很難一致。通過對齊把所有人臉擺成統(tǒng)一的“標(biāo)準(zhǔn)姿態(tài)”后續(xù)的特征提取才能公平地比較。實際工程里這一步常見輸出是112x112或類似規(guī)格的RGB人臉圖片。1.2 特征提取與比對一張臉變成一串?dāng)?shù)字對齊之后的帶注釋人臉圖才輪到CNN接手。CNN在這里的角色是把輸入圖片映射成一個固定長度的向量——比如128維、256維或者512維。這個向量就是“人臉特征”行業(yè)內(nèi)也叫人臉嵌入face embedding。特征提取做完之后剩下的問題變成純數(shù)學(xué)題庫里存著每個人的特征向量新來一張臉也提取一個向量計算兩者之間的距離。距離小于某個閾值判定為同一個人大于閾值判定為不同的人。常用的距離度量是歐氏距離或余弦相似度。整套系統(tǒng)跑通的本質(zhì)就是把“認(rèn)人”這件事轉(zhuǎn)變成了“向量空間里的距離計算”。1.3 流程里最容易忽視的兩個坑第一有人會把“人臉檢測”和“人臉識別”混為一談。檢測只是回答“臉在哪”識別才是回答“這是誰”中間差了十萬八千里。第二對齊這個環(huán)節(jié)經(jīng)常被輕視但實際上它對最終準(zhǔn)確率的影響非常大。我實測過同一套特征提取模型不做對齊直接丟進(jìn)網(wǎng)絡(luò)和做了標(biāo)準(zhǔn)對齊之后再輸入在公開測試集上的準(zhǔn)確率能差兩三個百分點。人臉識別調(diào)優(yōu)很多時候不是換一個更花哨的backbone而是把前面這些基礎(chǔ)環(huán)節(jié)做扎實。2. 為什么傳統(tǒng)人臉識別干不過CNN從人工設(shè)計特征的困境說起在CNN成為人臉識別標(biāo)配之前學(xué)術(shù)界和工業(yè)界做過大量嘗試這些方法可以統(tǒng)稱為“手工特征時代”。理解它們的局限才能真正理解CNN帶來的是一次認(rèn)知層面的轉(zhuǎn)變。2.1 手工特征時代的主流思路傳統(tǒng)方法的邏輯是“人先想好什么特征重要再寫代碼去提取這些特征”。比較有代表性的有這么幾類LBP局部二值模式把每個像素和周圍像素做大小比較得到一串二進(jìn)制編碼用編碼直方圖來描述紋理。HOG方向梯度直方圖統(tǒng)計圖像局部區(qū)域里梯度方向的分布擅長刻畫輪廓和形狀。特征臉Eigenface用PCA主成分分析把高維人臉圖像投影到低維空間找到“最能區(qū)分不同人”的正交方向。這些方法在約束環(huán)境固定光照、固定角度、配合拍攝下表現(xiàn)尚可所以早期的考勤機、門禁機還能用。但一旦放到自然場景里效果立刻崩。2.2 手工特征的天花板在哪里問題的核心在于手工特征的“表達(dá)能力”有上限。以LBP為例它對光照變化確實比原始像素魯棒但遇到大角度側(cè)臉、夸張表情、遮擋、模糊局部紋理信息發(fā)生巨大變化LBP編碼就會劇烈抖動。更要命的是這些特征彼此之間是割裂的——LBP在描述紋理HOG在描述輪廓它們沒有一個統(tǒng)一的框架去組合和篩選哪些信息對“區(qū)分身份”真正有用。當(dāng)時還有一種思路是先做人臉分塊比如把臉切成額頭、眼睛、鼻子、嘴巴幾個區(qū)域分別提取特征再拼起來。這種做法的問題是“切塊”這件事本身就帶著人的主觀判斷很難適應(yīng)所有人臉形狀的差異?？梢哉f傳統(tǒng)方法是在用有限的、預(yù)先定義好的規(guī)則去匹配無限多樣的現(xiàn)實變化注定不會走遠(yuǎn)。2.3 CNN改變游戲規(guī)則的關(guān)鍵特征不是人設(shè)計的是學(xué)出來的CNN和傳統(tǒng)方法的本質(zhì)區(qū)別在于特征提取的參數(shù)不需要人手工設(shè)計。你只需要準(zhǔn)備海量標(biāo)注好身份的人臉圖片給網(wǎng)絡(luò)一個學(xué)習(xí)目標(biāo)它會自己從數(shù)百萬張圖里總結(jié)出“哪些視覺模式對區(qū)分身份是有效的”以及“這些模式應(yīng)該怎么組合”。這就是所謂“端到端學(xué)習(xí)”的含義。更深一層CNN的多層結(jié)構(gòu)天然形成了“從局部到整體、從具體到抽象”的特征層級淺層卷積核學(xué)到的是邊緣、顏色塊、紋理點中層卷積核學(xué)到的是眼睛、鼻子、嘴巴這類語義部件深層卷積核學(xué)到的則是“整個人的面孔結(jié)構(gòu)”這類更高層的組合模式。人臉識別需要的不正是這種從細(xì)節(jié)到整體、層層整合的建模能力嗎CNN把手工特征時代那個“人怎么設(shè)計特征”的問題變成了“怎么讓網(wǎng)絡(luò)自己學(xué)出特征”這是一次根本性的范式轉(zhuǎn)換。3. CNN核心組件拆解卷積、激活、池化、全連接在“認(rèn)臉”里各自干了什么這一節(jié)是全文的重頭戲。如果你之前看CNN相關(guān)教程覺得云里霧里我建議把自己想象成在搭一條流水線卷積負(fù)責(zé)“找線索”激活負(fù)責(zé)“決定哪些線索值得傳下去”池化負(fù)責(zé)“給信息降噪減量”全連接負(fù)責(zé)“把線索匯總成結(jié)論”。每一步都不玄乎。3.1 卷積層在圖像上滑動“小探針”尋找特定的局部模式卷積操作本質(zhì)上是一個小矩陣卷積核在圖像上滑動每滑到一個位置將卷積核內(nèi)的數(shù)值和圖像對應(yīng)位置的像素做逐點相乘再求和得到一個新的數(shù)值。一個3x3的卷積核就是在每個位置看周圍3x3范圍內(nèi)是否存在某種特定的局部模式。比如有的卷積核學(xué)出來專門響應(yīng)“水平邊緣”有的專門響應(yīng)“垂直邊緣”有的對“眼睛區(qū)域的深色弧線”特別敏感。用人話說卷積層像是在圖像上鋪滿了很多“小探針”每個探針有自己關(guān)心的圖案。整個特征圖feature map就是探針在整個畫面上掃過之后標(biāo)記出“哪里存在我關(guān)心的圖案”。一個卷積層通常有好幾十甚至幾百個這樣的探針?biāo)砸粚泳矸e下來得到的是一個多通道的特征圖集合每一層都在用不同角度描述輸入。關(guān)鍵的一點是卷積核里的數(shù)值并不是人寫死的而是通過訓(xùn)練學(xué)出來的。訓(xùn)練過程可以理解為一個不斷糾錯的過程網(wǎng)絡(luò)把結(jié)果算錯了就反向傳播誤差微調(diào)卷積核里的參數(shù)讓“找線索”這件事越來越準(zhǔn)。這也是CNN最具魅力的地方——沒有人告訴它“眼睛應(yīng)該長什么樣”它自己從數(shù)據(jù)里明白了。3.2 激活函數(shù)給網(wǎng)絡(luò)引入“判斷力”和“非線性”如果只有卷積層的線性加權(quán)求和那不管堆多少層本質(zhì)上還是一個線性變換永遠(yuǎn)無法表達(dá)復(fù)雜規(guī)律。激活函數(shù)的存在就是為了給網(wǎng)絡(luò)引入非線性通俗講就是給網(wǎng)絡(luò)“做判斷”的能力。以最常用的ReLU修正線性單元為例它的數(shù)學(xué)形式很簡單輸入小于0時輸出0輸入大于0時輸出原值。這個看似簡單的操作讓網(wǎng)絡(luò)可以逐步過濾掉“負(fù)向響應(yīng)”只保留那些積極相關(guān)的特征。你可以理解成經(jīng)過激活函數(shù)之后每個神經(jīng)元只會因為“它關(guān)心的特征出現(xiàn)”而興奮不會因為“它關(guān)心的特征沒出現(xiàn)”而出負(fù)值干擾后續(xù)判斷。這對人臉識別尤其重要——一張臉的特征應(yīng)當(dāng)是特定模式的“聚合證據(jù)”而不是一堆正負(fù)抵消的噪聲。3.3 池化層縮小數(shù)據(jù)規(guī)模同時保留關(guān)鍵響應(yīng)池化層做的事情非常物理把一個區(qū)域內(nèi)的值合并成一個代表值。最常見的是最大池化也就是取一個2x2或3x3窗口內(nèi)的最大值作為輸出。為什么池化有效因為卷積層檢測到特征之后我們更關(guān)心“這個區(qū)域里有沒有出現(xiàn)某個線索”而不關(guān)心它出現(xiàn)在像素級的哪個精確位置。位置稍微偏一點池化結(jié)果基本不受影響這就帶來了所謂的“平移魯棒性”。池化同時在幫你減負(fù)。人臉識別網(wǎng)絡(luò)的輸入是112x112圖片如果每一層都不做尺寸縮減計算量會爆炸。通過池化把特征圖尺寸一點點壓小比如112→56→28→14網(wǎng)絡(luò)在高層就能用更少的參數(shù)表達(dá)更大范圍的信息也減少了過擬合的風(fēng)險。3.4 全連接層把“特征地圖”匯總成全局判斷卷積層和池化層輸出的還是具有一定空間結(jié)構(gòu)的特征圖比如7x7x512。到了網(wǎng)絡(luò)末端通常會把這個三維張量“拉平”成一維然后接一個或幾個全連接層。全連接層的每個神經(jīng)元會和上一層的所有神經(jīng)元相連它做的事是把前面提取到的局部特征做全局綜合——相當(dāng)于把所有分散的“線索”匯總到一個統(tǒng)一的表達(dá)里。在人臉識別網(wǎng)絡(luò)里全連接層有兩種存在形式。一種是用全連接層做最終分類輸出每個人的概率分布另一種是拿倒數(shù)第二層或某個特定中間層的輸出作為人臉特征向量。后面這種形式正是人臉識別區(qū)別于普通圖像分類的關(guān)鍵點下一節(jié)細(xì)說。你可以把全連接層理解成“腦補”的過程前面的層負(fù)責(zé)看細(xì)節(jié)、找線索全連接層負(fù)責(zé)把所有線索湊在一起形成一個完整的判斷。3.5 一張圖看懂一個簡化的CNN人臉特征網(wǎng)絡(luò)結(jié)構(gòu)假設(shè)輸入是一張對齊后的112x112x3人臉圖一個典型的CNN特征提取網(wǎng)絡(luò)大致長這樣輸入: 112x112x3 → 卷積層(3x3, 64) ReLU → 池化(2x2) → 56x56x64 → 卷積層(3x3, 128) ReLU → 池化(2x2) → 28x28x128 → 卷積層(3x3, 256) ReLU → 池化(2x2) → 14x14x256 → 卷積層(3x3, 512) ReLU → 池化(2x2) → 7x7x512 → 拉平 → 全連接層(1024) → ReLU → 輸出層(512維特征向量)這個結(jié)構(gòu)很簡化真實的人臉識別網(wǎng)絡(luò)比如基于ResNet架構(gòu)的變體會用殘差連接、更深的層數(shù)、以及更精細(xì)的通道設(shè)計但整體思路是高度一致的逐步抽象逐步壓縮最終得到一個緊湊的特征向量。如果要用PyTorch寫一個骨架大概是這樣import torch.nn as nn class FaceFeatureNet(nn.Module): def __init__(self, embedding_size512): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(128, 256, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(256, 512, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.head nn.Sequential( nn.Linear(512 * 7 * 7, 1024), nn.ReLU(inplaceTrue), nn.Linear(1024, embedding_size), ) def forward(self, x): x self.features(x) # 輸出形狀: [B, 512, 7, 7] x x.view(x.size(0), -1) # 拉平 x self.head(x) # 輸出形狀: [B, 512] return x注意最后輸出的512維向量就是這個網(wǎng)絡(luò)對一張人臉圖的“特征刻畫”。訓(xùn)練好之后這個網(wǎng)絡(luò)可以扔到任何機器上把任意人臉圖變成512個浮點數(shù)。4. 人臉識別真正的難點不是分類而是“認(rèn)出同一個你”很多初學(xué)者會困惑一個問題CNN訓(xùn)練的時候不是用Softmax做分類嗎那為什么識別的時候不直接取最大概率的類別而要搞什么特征向量和距離計算這是一個非常關(guān)鍵的問題值得單獨用一章講透。4.1 分類只是在幫網(wǎng)絡(luò)“學(xué)會分辨”識別卻是一場開放式考試在訓(xùn)練階段我們確實會用分類的思路去驅(qū)動網(wǎng)絡(luò)學(xué)習(xí)。比如訓(xùn)練集里有10000個人每個人有幾十張照片網(wǎng)絡(luò)的最后一層就是一個10000類的Softmax分類器目標(biāo)是把每一張照片分到對應(yīng)的人名下。這個分類訓(xùn)練的目的是什么是迫使網(wǎng)絡(luò)前面那些層提取出“足以區(qū)分10000個人”的特征。分類器只是輔助工具真正有價值的是分類器之前的那一層特征輸出——因為要分對10000個人網(wǎng)絡(luò)就必須把人臉映射到一個足夠有判別力的特征空間。但到了真實部署時分類邏輯就失效了。原因很直接你不可能提前知道系統(tǒng)將來會錄入哪些新人。今天門禁系統(tǒng)有1000個員工明天入職一個新員工如果識別依賴的是固定類別數(shù)那就得重新訓(xùn)練整個分類網(wǎng)絡(luò)。這顯然不可接受。所以工程上普遍的做法是只拿訓(xùn)練好的CNN做特征提取新員工來了只往人臉特征庫里新增一條向量完全不需要動網(wǎng)絡(luò)本身。識別時新的臉提取出特征向量在庫里找“最像的鄰居”即可。4.2 從Softmax到度量學(xué)習(xí)讓同一個人的特征“聚成一團”分類訓(xùn)練有個隱含問題Softmax鼓勵的是把不同類別分開但它并不直接約束同類樣本之間要緊湊。也就是說同一個人的不同照片在特征空間里可能分散得比較開。對人臉識別來說我們希望的是同一個人的特征向量盡量接近類內(nèi)緊湊不同人的特征向量盡量遠(yuǎn)離類間分離。這就是“度量學(xué)習(xí)”要解決的問題。業(yè)界演進(jìn)出了幾代代表性損失函數(shù)Softmax 交叉熵基礎(chǔ)方案能學(xué)會分辨但同類特征的緊湊度不夠。Triplet Loss三元組損失每次取三張圖——錨點、正樣本同一個人、負(fù)樣本不同的人約束“錨點與正樣本的距離”比“錨點與負(fù)樣本的距離”至少小一個閾值。ArcFace / CosFace加性角度間隔損失在Softmax的基礎(chǔ)上直接在角度空間里給正確類加一個“間隔約束”讓決策邊界變得更嚴(yán)格。這類方法在公開測評集上的效果非常好是目前工業(yè)界的主流標(biāo)配。我自己調(diào)試過Triplet Loss和ArcFace直觀感受是ArcFace對訓(xùn)練數(shù)據(jù)的質(zhì)量要求相對較低收斂更穩(wěn)定不像Triplet Loss那樣需要費心思做三元組的難樣本挖掘。這也是為什么現(xiàn)在很多開源人臉識別模型都默認(rèn)用ArcFace這類損失函數(shù)。4.3 特征空間里的“一條線”怎么畫訓(xùn)練好的模型把所有臉映射到一個高維空間通常是512維。在這個空間里不同人的特征集群會自然分布在不同的區(qū)域。識別時只需要定義一個閾值——當(dāng)兩張臉的歐氏距離小于閾值時判定為同一人大于閾值時判定為不同人。這里有一個工程上的細(xì)節(jié)閾值到底怎么定不能用拍腦袋的方式。正確做法是準(zhǔn)備一批正樣本人臉對同一人不同照片和負(fù)樣本人臉對不同人的照片提取特征后遍歷候選閾值找到讓準(zhǔn)確率和誤判率平衡的最佳折中。很多剛?cè)腴T的人會忽略這一步導(dǎo)致上線后誤識別率居高不下。4.4 實際工程里的比對流程是怎么做的模型訓(xùn)練好之后落地流程大概是這樣的每個注冊用戶提供1張或者多張標(biāo)準(zhǔn)人臉照片過檢測對齊提取特征向量存入向量數(shù)據(jù)庫。每次識別時攝像頭抓拍一幀跑檢測對齊提取當(dāng)前人臉特征向量和庫里所有向量做距離計算。取距離最近的一個或距離小于閾值的所有候選輸出匹配結(jié)果。整套流程里CNN只負(fù)責(zé)一件事把任意人臉映射成向量。剩下的事情都交給向量檢索和距離計算。這也是為什么現(xiàn)代人臉識別系統(tǒng)能支持百萬級甚至億級庫的原因——向量檢索本身已經(jīng)是很成熟的工程領(lǐng)域有大量索引和加速方案可以疊加。5. 從訓(xùn)練到落地的完整實操經(jīng)驗這幾點是我踩過最深的坑最后分享一些實戰(zhàn)層面的經(jīng)驗。免得你看完了原理真正開始訓(xùn)練時又繞遠(yuǎn)路。5.1 數(shù)據(jù)準(zhǔn)備決定了準(zhǔn)確率的天花板人臉識別模型是極度“吃數(shù)據(jù)”的模型。原理再好的網(wǎng)絡(luò)結(jié)構(gòu)沒有足夠多樣化的訓(xùn)練數(shù)據(jù)也白搭。訓(xùn)練數(shù)據(jù)需要覆蓋什么不同角度、不同光照、不同表情、不同年齡階段、不同遮擋程度眼鏡、口罩、帽子。如果訓(xùn)練集里全是光照均勻的正面照模型一到暗光或逆光場景就抓瞎這不是玄學(xué)是數(shù)據(jù)分布的問題。數(shù)據(jù)清洗比數(shù)據(jù)量更重要。我見過一個項目訓(xùn)練集里有不少“同一個人的照片被誤標(biāo)成不同人”的情況導(dǎo)致模型怎么訓(xùn)練都收不斂。后來花了好幾天清洗標(biāo)注錯誤率降了一個數(shù)量級。實操中建議至少做一次自動化質(zhì)量篩選——用一個人臉檢測模型做對齊置信度檢查把模糊、姿態(tài)過偏、關(guān)鍵點檢測差的圖片剔除。5.2 模型選型和遷移學(xué)習(xí)的取舍backbone選擇上當(dāng)前主流是人臉方向優(yōu)化的ResNet變體或者輕量的MobileFaceNet。如果算力充裕選大網(wǎng)絡(luò)準(zhǔn)確率上限更高如果要部署到邊緣設(shè)備MobileFaceNet這種輕量網(wǎng)絡(luò)更合適。很多開源預(yù)訓(xùn)練模型已經(jīng)提供了很好的起點你可以在這個基礎(chǔ)上用自己場景的數(shù)據(jù)做微調(diào)fine-tuning。微調(diào)時我的經(jīng)驗是先用較小的學(xué)習(xí)率比如初始學(xué)習(xí)率0.001配合余弦退火訓(xùn)練讓網(wǎng)絡(luò)在自己場景的數(shù)據(jù)上“適應(yīng)”幾個epoch不要一上來就用大學(xué)習(xí)率猛沖否則預(yù)訓(xùn)練學(xué)到的通用人臉表達(dá)能力會被快速破壞。如果自己的數(shù)據(jù)量不大全量微調(diào)還不如直接凍結(jié)backbone、只訓(xùn)練后面的特征映射層。5.3 訓(xùn)練超參數(shù)與損失函數(shù)的選擇建議這里給一份我實際跑下來比較穩(wěn)的基礎(chǔ)配置參考配置項建議取值說明輸入分辨率112x112業(yè)界常見標(biāo)準(zhǔn)再高收益有限且耗時批量大小batch size256或以上度量學(xué)習(xí)類損失對批大小敏感越大越穩(wěn)初始學(xué)習(xí)率0.01ArcFace配合warmup和余弦退火數(shù)據(jù)增強隨機水平翻轉(zhuǎn)、隨機灰度、輕度光照擾動不要做劇烈?guī)缀涡巫內(nèi)四槍R后結(jié)構(gòu)相對固定輸出特征維度512實測比128維在復(fù)雜場景下更穩(wěn)Trick在于難樣本的作用。雖然ArcFace對難樣本挖掘的要求低但如果你發(fā)現(xiàn)模型在“側(cè)臉對側(cè)臉”“戴口罩對戴口罩”這類場景上經(jīng)常認(rèn)不出可以考慮挑出這些難題做額外epoch效果往往立竿見影。但要注意不要只拿難題訓(xùn)練過頭否則模型會對難題過擬合反而損傷一般場景的表現(xiàn)。5.4 用標(biāo)準(zhǔn)協(xié)議評測你的模型別只看訓(xùn)練集準(zhǔn)確率人臉識別領(lǐng)域通用的評測協(xié)議有LFW野外人臉數(shù)據(jù)集、MegaFace等。它們的核心思路是把測試組織成成對的比對任務(wù)通過固定閾值或ROC曲線計算準(zhǔn)確率。評測時一個常見的誤區(qū)是拿“訓(xùn)練集里的人”來測準(zhǔn)確率那幾乎必然膨脹。正確做法是保證測試集里的人和訓(xùn)練集完全無交集這才是跨身份泛化能力的真實體現(xiàn)。我習(xí)慣在每個訓(xùn)練階段結(jié)束時跑一次測試集觀察準(zhǔn)確率變化趨勢如果訓(xùn)練集準(zhǔn)確率一路走高而測試集準(zhǔn)確率停滯就要警惕過擬合立刻降低學(xué)習(xí)率或者加正則。5.5 部署階段容易被忽略的細(xì)節(jié)模型部署時一個很值得注意的問題是標(biāo)準(zhǔn)化方式的一致性。訓(xùn)練時你用了某種均值/方差做圖像歸一化部署時也必須用完全相同的方式否則特征會漂移。我見過不止一次因為訓(xùn)練和推理代碼里的預(yù)處理不完全一致導(dǎo)致線上識別表現(xiàn)大幅縮水的案例。特征庫的管理同樣重要。隨著注冊用戶增多庫里會累積大量向量。定期清理長期未登錄的、重復(fù)注冊的向量對檢索速度和準(zhǔn)確率都有幫助。另外檢測閾值和識別閾值建議分開設(shè)置——門禁這種安全等級高的場景可以把判定閾值調(diào)嚴(yán)雖然犧牲一點通過率但能顯著減少“陌生人被放進(jìn)來”的嚴(yán)重事故。我個人的習(xí)慣是在正式上線前專門準(zhǔn)備一批“刁鉆測試”樣本——逆光、大側(cè)臉、戴口罩、戴帽子、表情夸張每種場景至少100張單獨跑一遍通過率和誤識率。只有這些刁鉆樣本的表現(xiàn)達(dá)到預(yù)期我才會放手讓系統(tǒng)在真實環(huán)境里跑。人臉識別這個領(lǐng)域原理看起來簡單但每個環(huán)節(jié)都有大量瑣碎而關(guān)鍵的細(xì)節(jié)多花時間做扎實測試遠(yuǎn)比追求結(jié)構(gòu)更花哨的網(wǎng)絡(luò)更有價值。