我從一個真實的業(yè)務(wù)場景說起。前兩年我在某制造企業(yè)的視覺檢測項目里遇到一個特別典型的困境某類產(chǎn)品的外觀缺陷現(xiàn)場能拿到的壞品樣本只有一兩百張標(biāo)注師傅花了整整一周才湊出一個勉強能用的訓(xùn)練集結(jié)果模型剛上線客戶新增了兩種缺陷形態(tài)準(zhǔn)確率立刻掉到?jīng)]法看。這就是小樣本學(xué)習(xí)Few-shot Learning真正要解決的問題——不是學(xué)術(shù)界自娛自樂而是工業(yè)落地中每天都在發(fā)生的“數(shù)據(jù)不夠任務(wù)照做”。在圖像領(lǐng)域小樣本學(xué)習(xí)研究的是如何讓模型在每類只有幾張、幾十張標(biāo)注樣本的情況下依然具備可靠的識別、檢測和分割能力。這篇文章我會從問題定義開始梳理方法演化的幾條主線再重點講評測基準(zhǔn)里的隱形陷阱最后結(jié)合我自己在項目里反復(fù)踩坑換來的實操經(jīng)驗聊聊到底哪些技術(shù)在真實場景中管用、哪些看著美好但實際上很難落地。無論你是剛接觸這個方向的研究生還是在工業(yè)視覺、自動駕駛、醫(yī)療影像里被數(shù)據(jù)短缺折磨的算法工程師都可以從中找到自己能直接用的東西。1. 小樣本學(xué)習(xí)在圖像任務(wù)里解決的是哪一類真問題1.1 先用一個業(yè)務(wù)場景把問題說透先說清楚小樣本學(xué)習(xí)不是什么“錦上添花”的技術(shù)。在很多人的印象里深度學(xué)習(xí)模型只要有大量數(shù)據(jù)就能工作但現(xiàn)實里大量數(shù)據(jù)本身就是奢侈品。比如工業(yè)質(zhì)檢缺陷樣本少是因為生產(chǎn)線上合格品占絕大多數(shù)缺陷種類又特別多每一種都要單獨積累數(shù)據(jù)比如醫(yī)療影像罕見病的陽性切片全國可能都湊不出幾百張再比如遙感圖像里的特定目標(biāo)某種類型的船只或者車輛可能某段時間內(nèi)只出現(xiàn)在幾張衛(wèi)星圖上。這些場景的共同點是類別多、每類樣本少、新類別還在不斷出現(xiàn)你不可能每遇到一個新類別就重新標(biāo)幾千張圖。小樣本學(xué)習(xí)的核心設(shè)定正是針對這種困境模型在訓(xùn)練階段見過大量類別這個階段叫基類學(xué)習(xí)base class learning但最終要被測試的類別是它沒見過的每個新類別只給少量標(biāo)注樣本一般是每類1張或5張看模型能不能快速適應(yīng)。這就是為什么在小樣本學(xué)習(xí)的論文里你永遠會看到“N-way K-shot”這種說法它的意思是測試時一共有N個新類別每個類別給K張標(biāo)注圖片。1.2 訓(xùn)練邏輯與傳統(tǒng)分類有一個關(guān)鍵區(qū)別小樣本學(xué)習(xí)和普通分類任務(wù)最大的不同在于訓(xùn)練方式。傳統(tǒng)分類訓(xùn)練時模型學(xué)會的是“這張圖是貓還是狗”的決策邊界小樣本學(xué)習(xí)訓(xùn)練時模型要學(xué)會的是“如何利用少量樣本快速建立決策邊界”這個能力本身。為了訓(xùn)練這種能力研究者設(shè)計了一種被稱為“episodic training”的訓(xùn)練范式。每次訓(xùn)練迭代會模擬一次小樣本測試從訓(xùn)練集中隨機抽N個類別作為虛擬的新類別每個類別抽K張作為支持集support set再抽若干張作為查詢集query set。模型只能在支持集上學(xué)習(xí)然后對查詢集做預(yù)測。通過反復(fù)模擬這種低數(shù)據(jù)場景模型慢慢就學(xué)會了“遇到陌生類別時應(yīng)該怎么看圖、怎么比較、怎么做決策”。這里我要強調(diào)一個很多初學(xué)者容易忽略的點小樣本學(xué)習(xí)模型的“泛化能力”和傳統(tǒng)模型的“泛化能力”不是一回事。傳統(tǒng)模型要泛化到同分布的新樣本小樣本模型要泛化的是“適應(yīng)新類別的方法論”它得面對比普通分類大得多的不確定性。所以你不能簡單地把小樣本問題當(dāng)成“用少量數(shù)據(jù)微調(diào)一個預(yù)訓(xùn)練模型”這種做法在類別偏移大的場景下往往效果很差后面我會專門講這一點。2. 從方法演化看主線度量、元學(xué)習(xí)與預(yù)訓(xùn)練的三波推動2.1 第一波度量學(xué)習(xí)讓“像不像”變得可計算小樣本圖像識別最早一批被廣泛認可的方法核心思想可以概括成一句話把問題從“這個圖是什么”變成“這張圖和哪張已知圖更像”。這個思路直接催生了度量學(xué)習(xí)方法家族。我見過很多工程出身的人第一次接觸這類方法時的反應(yīng)這不就是K近鄰加了一個神經(jīng)網(wǎng)絡(luò)特征提取器嗎這么說其實不算錯但關(guān)鍵差別在于特征提取器是怎么被訓(xùn)練出來的。早期的孿生網(wǎng)絡(luò)Siamese Network用成對圖片作為輸入讓網(wǎng)絡(luò)學(xué)會判斷兩張圖是否屬于同一類后續(xù)的匹配網(wǎng)絡(luò)Matching Network則引入了可學(xué)習(xí)的距離度量。到原型網(wǎng)絡(luò)Prototype Network出現(xiàn)時方法變得非常優(yōu)雅對每個類的K張支持集圖片提取特征算出一個“原型”作為該類的特征均值查詢集的圖片只要看它和哪個原型最近就行。關(guān)系網(wǎng)絡(luò)Relation Network又往前走了一步它不滿足于用固定距離函數(shù)而是讓網(wǎng)絡(luò)自己學(xué)習(xí)“什么樣的相似度判斷最合理”。我很喜歡原型網(wǎng)絡(luò)的一點是它雖然簡單但在很多真實場景中反而是最穩(wěn)的baseline。因為它幾乎沒有額外參數(shù)不容易過擬合而且對特征質(zhì)量的要求非常直接——只要你的特征提取器足夠好原型分類就能打得過一堆花里胡哨的算法。這類方法后來還衍生出了很多變體比如對特征做特征變換、用多個原型描述一個類別的多模態(tài)分布等但底層邏輯始終沒變。2.2 第二波元學(xué)習(xí)把“學(xué)會學(xué)習(xí)”變成可優(yōu)化的目標(biāo)度量學(xué)習(xí)雖然有效但它有一個潛在的天花板模型本質(zhì)上是被動地比較特征而不是主動地為新任務(wù)調(diào)整自己的行為。元學(xué)習(xí)Meta-learning試圖突破這個天花板它的思路是讓模型在大量小樣本任務(wù)上訓(xùn)練出一個“初始狀態(tài)”這個初始狀態(tài)經(jīng)過少量幾步梯度更新就能在新類別上表現(xiàn)良好。這類方法里最具代表性的思路是“基于梯度的元學(xué)習(xí)”算法維護一組模型參數(shù)在每個訓(xùn)練任務(wù)上先計算幾步梯度更新再根據(jù)更新后的模型在查詢集上的表現(xiàn)反推初始參數(shù)應(yīng)該怎么調(diào)整。你可以把訓(xùn)練過程想象成“訓(xùn)練一個容易被微調(diào)的模型”也就是找到一個特別好的起點從起點出發(fā)每個新任務(wù)只要走上幾步就能到達低損失區(qū)域。這種思路在數(shù)學(xué)上很漂亮但我在實際使用中必須提醒大家它對計算資源的要求不低而且在訓(xùn)練分布和測試分布差異較大的時候梯度元學(xué)習(xí)的優(yōu)勢常常發(fā)揮不出來。還有一個工程上的坑是這類方法通常要展開多次梯度計算顯存消耗高調(diào)參也敏感稍有不慎訓(xùn)練就不穩(wěn)定。與梯度元學(xué)習(xí)并行發(fā)展的還有另一條線即“基于參數(shù)生成的元學(xué)習(xí)”。這類方法不直接優(yōu)化初始參數(shù)而是用一個額外的生成網(wǎng)絡(luò)根據(jù)支持集信息直接生成分類器的參數(shù)。它的好處是測試時不需要迭代更新推理速度和普通分類一致很適合工程部署。但代價是生成網(wǎng)絡(luò)本身很難訓(xùn)練對小數(shù)據(jù)集尤其苛刻。2.3 第三波預(yù)訓(xùn)練與自監(jiān)督正在重新定義少樣本問題近幾年小樣本學(xué)習(xí)的研究重心發(fā)生了明顯轉(zhuǎn)移。過去大家拼命設(shè)計復(fù)雜的算法來解決“數(shù)據(jù)太少怎么辦”現(xiàn)在越來越多的證據(jù)表明一個在超大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練過的通用視覺特征提取器哪怕不做任何小樣本特殊優(yōu)化直接拿特征做最近鄰分類結(jié)果就能超過很多精心設(shè)計的元學(xué)習(xí)算法。這個現(xiàn)象聽起來反直覺但實際上很好理解。預(yù)訓(xùn)練模型見過海量的圖像分布它學(xué)習(xí)到的特征表征包含了豐富的語義信息比如紋理、形狀、部件結(jié)構(gòu)。新類別和預(yù)訓(xùn)練數(shù)據(jù)里的類別即使完全不同也共享大量的底層視覺結(jié)構(gòu)。小樣本學(xué)習(xí)算法要做的本質(zhì)上就是在這個通用表征之上做快速適應(yīng)地基打好了樓就好蓋。自監(jiān)督預(yù)訓(xùn)練在這個方向上的作用更明顯。它不需要任何人工標(biāo)注可以在大規(guī)模無標(biāo)注數(shù)據(jù)上學(xué)習(xí)特征這正好緩解了小樣本場景“標(biāo)注稀缺”的痛點。我個人的判斷是未來幾年小樣本圖像識別的工作重心會有相當(dāng)大一部分轉(zhuǎn)移到“如何在強大的預(yù)訓(xùn)練特征之上設(shè)計更高效的適配模塊”上而不是再去發(fā)明一個全新的學(xué)習(xí)范式。3. 評測基準(zhǔn)里的那些隱形陷阱數(shù)據(jù)劃分與跨域失效3.1 主流基準(zhǔn)是怎么構(gòu)造的小樣本圖像識別能快速發(fā)展很大程度上依賴一套相對統(tǒng)一的評測基準(zhǔn)。研究者通常從一個規(guī)模較大的圖像數(shù)據(jù)集中挑選若干類別作為基類另外選互不重疊的若干類別作為新類然后反復(fù)隨機抽取N-way K-shot任務(wù)來評估模型。這里最關(guān)鍵也最容易被忽視的是基類和新類之間的劃分方式。不同的劃分方式會帶來完全不同的難度。早期比較常見的劃分方式是純隨機劃分所有類別都來自同一個大領(lǐng)域的自然圖像基類和新類在語義上非常接近模型只要學(xué)會了通用的視覺比較能力遷移起來就容易。后來出現(xiàn)了一些更難的數(shù)據(jù)集劃分時會刻意讓基類和新類來自不同的高階語義類別比如基類里全是植物和日用品新類里全是某種特定動物這樣模型就不能只靠“見過類似類別”來蒙答案必須真正學(xué)會理解新類的判別性特征。3.2 三類最容易翻車的評測陷阱第一類陷阱是數(shù)據(jù)泄露。小樣本學(xué)習(xí)的標(biāo)準(zhǔn)設(shè)定是基類類別與新類類別完全不相交但不少人在構(gòu)造實驗時會把同一個類別的不同圖片既放在訓(xùn)練階段又放在測試階段哪怕不是嚴格意義上的測試集泄露也會讓評測結(jié)果虛高。尤其是在用公開數(shù)據(jù)集隨機裁剪子集做實驗時如果不仔細檢查類別ID的沖突很輕松就會造出一個看起來精度很高但實際上沒有意義的模型。第二類陷阱是類別粒度的不一致。有些數(shù)據(jù)集里的類別是粗粒度概念比如“汽車”作為一個類有些數(shù)據(jù)集里的類別是細粒度概念比如“某品牌某年款轎車的側(cè)前方視角”。小樣本模型在粗粒度類別上看起來效果很好一旦切換到細粒度類別同類之間的差異可能比異類之間的差異還小精度會斷崖式下跌。實際業(yè)務(wù)中遇到的基本都是細粒度問題比如不同型號的電路板、不同品種的農(nóng)作物病害所以實驗室效果好到業(yè)務(wù)里未必頂用。第三類陷阱是跨域失效。很多論文的實驗都在和訓(xùn)練數(shù)據(jù)同分布的測試類別上做精度報表漂亮但到了真實場景里光照、角度、背景、成像設(shè)備一變性能立刻打回原形。我在跨域小樣本的復(fù)現(xiàn)實驗里見過不少案例同一個模型在標(biāo)準(zhǔn)基準(zhǔn)上能達到80%以上的精度換到一個新的成像域之后只剩不到50%。這也是為什么現(xiàn)在越來越多的研究工作開始專門討論跨域評測基準(zhǔn)而不是只在同一個數(shù)據(jù)源里自娛自樂。4. 從論文到落地我在真實項目里積累的實操經(jīng)驗4.1 先用預(yù)訓(xùn)練特征做Baseline別急著上元學(xué)習(xí)這是我踩過多少次坑之后最重要的經(jīng)驗任何小樣本圖像項目第一版模型都應(yīng)該用“預(yù)訓(xùn)練特征 最簡分類器”來做。具體來說用在大規(guī)模圖像數(shù)據(jù)上預(yù)訓(xùn)練好的骨干網(wǎng)絡(luò)提取特征然后嘗試三種最簡分類方式最近鄰、線性分類器、原型分類。這個組合幾乎不需要額外訓(xùn)練推理速度極快而且往往能給你一個意外高的起點。我經(jīng)歷過好幾個項目團隊花了幾周時間實現(xiàn)和調(diào)優(yōu)元學(xué)習(xí)算法最后發(fā)現(xiàn)性能比預(yù)訓(xùn)練特征加最近鄰還低一截。這里面的原因并不復(fù)雜元學(xué)習(xí)算法的訓(xùn)練目標(biāo)是在模擬的小樣本任務(wù)上提升但模擬任務(wù)和真實任務(wù)之間存在分布差距算法在模擬上表現(xiàn)好不等于在真實上表現(xiàn)好。而當(dāng)預(yù)訓(xùn)練特征本身已經(jīng)很強時復(fù)雜的自適應(yīng)機制反而可能破壞原有特征的空間結(jié)構(gòu)。正確的做法是先把Baseline跑通確認特征提取器本身的性能邊界如果Baseline已經(jīng)能到70%左右那么后續(xù)方法選擇的重點就應(yīng)該放在“如何更有效地利用這K張支持集樣本做決策”上而不是推翻重來。4.2 數(shù)據(jù)增強與擴充策略的性價比排序在樣本極少的情況下數(shù)據(jù)增強幾乎是必選項但不是所有增強方法都值得做。我的經(jīng)驗是要按性價比排序來做不要一上來就堆所有增強手段。首先最簡單也最穩(wěn)妥的是幾何增強包括隨機裁剪、水平翻轉(zhuǎn)、旋轉(zhuǎn)、縮放這些操作不改變圖像的語義內(nèi)容適合絕大多數(shù)視覺任務(wù)。其次是顏色抖動包括亮度、對比度、飽和度的微調(diào)它模擬的是光照環(huán)境的變化對魯棒性有幫助但不要調(diào)得過猛否則會讓模型學(xué)到錯誤的顏色關(guān)聯(lián)。再往后是更復(fù)雜的增強比如混合增強、基于生成模型的樣本合成、基于特征空間插值的增強等這些方法在特定場景下很有效但實現(xiàn)成本和調(diào)參難度都高需要謹慎評估。我自己的經(jīng)驗是對于每類只有5張圖的場景幾何增強加顏色抖動就能帶來明顯的提升這個提升往往比換一個更復(fù)雜的模型結(jié)構(gòu)來得實在。另外一個值得注意的細節(jié)是數(shù)據(jù)增強不一定要在訓(xùn)練時對所有樣本統(tǒng)一應(yīng)用可以把原始樣本保留不動只在構(gòu)造支持集時對K張原圖做增強擴充這樣可以同時利用原始數(shù)據(jù)的真實性和增強數(shù)據(jù)的多樣性。4.3 Transductive還是Inductive根據(jù)業(yè)務(wù)形態(tài)選擇小樣本學(xué)習(xí)里有一對容易被忽略的概念inductive和transductive。Inductive推理是標(biāo)準(zhǔn)的單樣本推理模式模型看一張查詢圖根據(jù)支持集做一次判斷各張查詢圖之間互不影響。Transductive推理則是批量預(yù)測模式模型一次拿到一批查詢圖可以利用這批查詢圖的整體分布信息來輔助決策比如統(tǒng)計查詢集的特征分布來判斷類別中心的偏移。在標(biāo)準(zhǔn)學(xué)術(shù)評測中transductive方法通常能比inductive方法高出好幾個百分點因為查詢集的分布信息相當(dāng)于額外的無標(biāo)注數(shù)據(jù)。但工業(yè)落地時能不能用transductive方法完全取決于你的業(yè)務(wù)流程。如果系統(tǒng)是單張圖片實時傳入的比如在線質(zhì)檢工位每一次來一張圖那就只能做inductive推理如果是離線批量處理比如一批歷史圖片統(tǒng)一識別那transductive方法就能派上用場。我在一個離線圖片歸檔項目里嘗試過transductive方法提升確實可觀但也要注意它的穩(wěn)定性問題。批次的大小、查詢集的類別分布形態(tài)都會影響結(jié)果極端情況下如果一批查詢圖全部屬于同一個新類transductive方法的類別估計可能會嚴重跑偏。所以生產(chǎn)環(huán)境如果用這類方法一定要做批次粒度的監(jiān)控。4.4 少樣本場景的評價指標(biāo)與調(diào)參建議小樣本圖像任務(wù)里很多人習(xí)慣只看平均精度但在實際項目中這個指標(biāo)遠遠不夠。當(dāng)類別數(shù)較多且樣本極少時少數(shù)困難類別會把整體精度拖低只關(guān)注平均精度會讓你以為模型整體不錯實際上某些關(guān)鍵類別完全不可用。我建議至少同時觀察三個指標(biāo)整體平均精度、每類精度標(biāo)準(zhǔn)差、以及業(yè)務(wù)上最關(guān)心的核心類別的單獨精度。調(diào)參方面我認為小樣本場景中最敏感的超參數(shù)不是學(xué)習(xí)率而是支持集圖片的預(yù)處理方式。同樣的增強策略在普通大規(guī)模訓(xùn)練里只是錦上添花在每類只有幾張圖的場景里卻能直接決定成敗。另一個容易踩坑的地方是骨干網(wǎng)絡(luò)的參數(shù)量選擇。很多人習(xí)慣性地用大網(wǎng)絡(luò)但在小樣本場景中大的骨干網(wǎng)絡(luò)往往更容易過擬合到支持集上反而不如一個中等規(guī)模的網(wǎng)絡(luò)加充足的數(shù)據(jù)增強來得穩(wěn)。5. 當(dāng)前的開放問題與我認為值得投入的方向5.1 跨域小樣本問題比同域更難也更實用接下來聊幾個我認為這個領(lǐng)域目前真正有價值的方向。第一個是跨域小樣本問題也就是訓(xùn)練時的基類和測試時的新類不僅可以語義不同連圖像風(fēng)格、成像模態(tài)都可能完全不同。典型的例子是訓(xùn)練數(shù)據(jù)是普通自然圖像測試數(shù)據(jù)是醫(yī)學(xué)內(nèi)窺鏡圖像、無人機視角圖像或者紅外圖像?？缬驐l件下預(yù)訓(xùn)練特征的優(yōu)勢會被大幅削弱因為特征提取器沒見過這種圖像分布?？缬蛐颖纠镒钔怀龅奶魬?zhàn)是“域偏移”和“類別偏移”同時存在。模型不僅要判斷“這個沒見過的東西是什么”還要先解決“這種圖像長什么樣”。目前比較有希望的方向包括利用域自適應(yīng)技術(shù)拉近特征空間的距離或者在預(yù)訓(xùn)練階段就讓模型接觸更多樣的圖像域。我認為這個方向會在工業(yè)落地帶來越來越大的價值因為真實場景沒有哪個是干干凈凈的同一個數(shù)據(jù)源。5.2 分布外問題與小樣本的結(jié)合和跨域問題相關(guān)但又不同的一類挑戰(zhàn)是分布外檢測也就是模型應(yīng)該知道自己什么時候不知道。小樣本場景下新類別的特征空間極其稀疏模型很容易把一張不屬于任何已知類別的圖像強行歸類到某個新類中去。這個誤差在真實業(yè)務(wù)中代價很高比如工業(yè)質(zhì)檢里一種完全沒見過的缺陷類型如果被歸類為某個已有缺陷類型就會導(dǎo)致漏檢。我的建議是任何小樣本分類系統(tǒng)上線前都要加一個拒絕機制。最簡單的做法是在特征空間里設(shè)定一個距離閾值當(dāng)查詢圖像離所有已知原型的距離都超過閾值時判定為“未知”而不是強行分類。這個閾值可以用驗證集來調(diào)原則是寧可犧牲一點已知類別的召回率也要降低未知樣本的誤判率。別小看這個設(shè)計在很多嚴格監(jiān)管場景里它才是系統(tǒng)能否被接受的關(guān)鍵。5.3 主動學(xué)習(xí)、人機協(xié)同與大模型輔助最后一個我長期看好的方向是把小樣本學(xué)習(xí)放到完整的人機協(xié)同閉環(huán)里去思考。小樣本學(xué)習(xí)本身是解決“數(shù)據(jù)少”的問題但現(xiàn)實系統(tǒng)中數(shù)據(jù)是可以持續(xù)增長的問題是如何花最小的標(biāo)注代價獲得最大的性能提升。主動學(xué)習(xí)正好互補模型先對一批無標(biāo)注數(shù)據(jù)做預(yù)測篩選出最不確定、信息量最大的樣本給標(biāo)注人員標(biāo)注后的樣本繼續(xù)補充到支持集中形成一輪一輪的正向循環(huán)。大模型的輔助作用同樣值得關(guān)注。多模態(tài)預(yù)訓(xùn)練模型內(nèi)化了大量視覺和語言知識可以為零樣本和小樣本任務(wù)提供更強的先驗。比如通過圖文對齊找到一個更好的特征空間讓新類別的語義理解和特征定位都更準(zhǔn)確或者用一個強大的通用模型對無標(biāo)注數(shù)據(jù)做高質(zhì)量偽標(biāo)注再在小樣本模型上篩選使用。當(dāng)然這類方法對算力和工程實現(xiàn)都有要求但它確實代表了一個很清晰的趨勢小樣本學(xué)習(xí)不再是一個孤立的模塊而是整個數(shù)據(jù)生產(chǎn)與模型迭代鏈路中的一環(huán)。我自己實際使用中的一個體會是小樣本學(xué)習(xí)項目的成敗往往不是取決于模型算法本身多么前沿而是取決于整個數(shù)據(jù)閉環(huán)設(shè)計得是否合理。你能不能在模型失敗時快速定位是特征問題還是分類問題能不能高效地把新樣本轉(zhuǎn)化為支持集能不能在類別逐漸增多的過程中保持舊類別的穩(wěn)定性這些工程問題綜合起來決定了一個系統(tǒng)能不能從實驗室里的演示變成生產(chǎn)線上的工具。把這個閉環(huán)想清楚比追著一篇篇新論文換算法要重要得多。