我最早接觸小樣本學習Few-shot learning是在一個工業(yè)質檢的項目里。某個缺陷類別當時只收集到二十幾張真實樣本常規(guī)分類模型訓練到第三輪就開始過擬合測試集準確率一路往下掉。后來換成基于Prototypical Network的做法用同類別的少量樣本做原型嵌入效果才勉強能用。那時候我就意識到Few-shot learning不是一篇論文里的概念玩具而是很多實際項目繞不開的硬需求。這篇博文的定位不是帶你從頭復現(xiàn)某個模型而是以論文整理和收藏為主線把小樣本學習領域最值得讀的論文、最核心的技術路線、最常踩的坑整理成一份可以持續(xù)更新的收藏夾。適合三類人剛接觸Few-shot learning的研究生想在業(yè)務里用少量樣本解決問題的工程師以及想快速了解這個方向全貌、找論文做調研的從業(yè)者。我盡量用自己做實驗、看論文、復現(xiàn)代碼時積累的實際經(jīng)驗來講不會只做干巴巴的論文列表。1. 先搞清楚Few-shot learning到底在解決什么問題1.1 問題定義N-way K-shot的真正含義小樣本學習的目標很好理解讓模型在見過極少樣本的情況下學會區(qū)分新的類別。但里面有個細節(jié)經(jīng)常被新手忽略——Few-shot learning的少樣本不是指訓練數(shù)據(jù)總量少而是指新類別上的標注樣本少。通常我們用N-way K-shot來描述一個任務假設你現(xiàn)在要做一個5類分類任務每個類別只給你1張或5張標注樣本這就是5-way 1-shot或5-way 5-shot。這些少量標注數(shù)據(jù)叫支撐集support set用來教會模型識別新類別另外還有一組查詢集query set用來評估模型對新類別的判別能力。訓練和測試階段采用同樣的任務構造方式但測試階段出現(xiàn)的類別必須和訓練階段完全不相交。這一點特別重要模型不是見過狗的照片后學會認貓而是在訓練時見過幾百個不同的小任務學會了一套快速適應任何新任務的能力。這種問題設定一開始會讓很多從傳統(tǒng)監(jiān)督學習轉過來的人不習慣。傳統(tǒng)分類里訓練集和測試集共享類別空間模型學的是從圖片到固定類別標簽的映射Few-shot learning里每個task的類別都在變模型實際學到的是如何在一個新任務里快速建立分類能力。所以看論文時如果看到某個方法在miniImageNet上表現(xiàn)很好先別急著驚嘆要確認它的實驗設置是不是標準的學習算法設置否則結果很可能不可比。1.2 四個維度理解Few-shot learning的難點我把小樣本學習的難點歸納為四個維度這樣在看論文、選方向時更有針對性。第一是經(jīng)驗風險最小化失效。樣本量太少時標準監(jiān)督學習的經(jīng)驗風險無法逼近期望風險模型很容易退化成記憶訓練樣本而不是學到通用特征。很多早期論文會專門驗證模型在訓練集上是不是過擬合這個細節(jié)值得關注。第二是類別缺口。訓練階段和測試階段的類別完全不同意味著模型必須學習類別的遷移能力而不是類別的固定表征。這正是度量學習和元學習能派上用場的原因。第三是領域漂移。訓練域和測試域如果差異較大比如訓練用自然圖像、測試用醫(yī)療影像小樣本問題會被進一步放大。這也是Meta-Dataset這類跨域benchmark出現(xiàn)的原因。第四是評估方差。隨機采樣的task會導致結果起伏很大不同隨機種子下的準確率可能差好幾個點。所以論文里不看多次實驗的均值等于白看。理解了這四點你再去看論文里的方法設計就會明白很多機制不是為了炫技而是在解決有限樣本下的邊界問題。1.3 三個常見的錯誤理解很多剛入門的同學會把小樣本學習和數(shù)據(jù)增強劃等號認為只要把樣本翻幾倍就能解決問題。實際上數(shù)據(jù)增強只解決樣本多樣性不足的問題對小樣本學習中類別不可見這一核心矛盾幫助有限。第二個常見誤區(qū)是覺得預訓練模型加微調就夠了。直接微調在大模型時代某些場景下確實效果不錯但在標準Few-shot benchmark上傳統(tǒng)微調方式往往跑不過專門設計的元學習算法除非你加入特殊的正則化和調參策略。第三個誤區(qū)更隱蔽把transductive和inductive搞混。inductive設置下模型只能利用當前任務的支撐集和查詢集測試時對每個樣本逐個預測transductive設置下模型能利用整個查詢集的分布信息來輔助預測。很多論文會聲稱自己比別的方法高出幾個點但你仔細看實驗設置會發(fā)現(xiàn)它用的是transductive而這個信息往往藏在實驗細節(jié)的小字里。我在整理論文時養(yǎng)成了一個習慣先看實驗設置再看方法最后才看結果。2. 核心技術路線從四條主線梳理經(jīng)典論文小樣本學習發(fā)展到現(xiàn)在方法多到讓人眼花繚亂。但如果按底層思路來分類其實可以分成四條主線數(shù)據(jù)增強線、度量學習線、元學習線、優(yōu)化方法線。每條線都有各自的經(jīng)典論文和代表性工作下面逐一展開。2.1 數(shù)據(jù)增強與樣本生成線給模型無中生有的能力這條線的最直接想法是樣本不夠那就生成更多樣本。早期代表性工作有使用GAN和VAE做樣本生成的方案但這些方法有個致命問題——在極度稀缺樣本條件下生成模型自己也很難訓練好。后來大家開始用語義信息來輔助生成比如通過類別屬性的語義嵌入來合成特征而不是直接合成圖片。這在我整理的論文里算一個分支方向。更實用的是基于圖像變換和特征增強的方法。例如把同一類的不同圖片做mixup、cutout或者在特征空間內做插值這類方法雖然樸素但實現(xiàn)簡單、加成穩(wěn)定經(jīng)常被用作baseline的上界參考。需要注意數(shù)據(jù)增強方法很少單獨作為主力方法出現(xiàn)更多是和其他框架尤其是度量學習結合起來用起到疊加buff的作用。我在實際復現(xiàn)中體會很深的一點是增強策略的選擇要和你所用的backbone、數(shù)據(jù)集強相關ImageNet上有效的策略在醫(yī)學圖像上不一定有效。2.2 度量學習線把分類問題變成距離比較問題度量學習是Few-shot learning里最經(jīng)典、最容易被理解的一條線。核心思想特別樸素把樣本映射到嵌入空間后通過比較樣本間的距離來判斷類別相似性。最早期的代表是Siamese Network孿生網(wǎng)絡發(fā)表于2015年當時主要解決的是one-shot手寫字符識別問題。它用共享權重的雙分支網(wǎng)絡分別編碼兩張圖片再用對比損失讓同類圖片距離近、異類圖片距離遠。思路簡單但現(xiàn)在回頭看來它的能力上限不高因為模型只學會比較成對樣本沒有充分利用整個支撐集的結構信息。隨后Vinyals等人在2016年提出Matching Networks這是真正意義上定義現(xiàn)代Few-shot learning框架的工作之一。它引入注意力機制讓查詢樣本通過與支撐集樣本的相似度加權和來獲得預測結果還提出了在訓練時使用與測試時一致的task采樣策略也就是episodic training。這篇論文奠定了后來很多工作的范式基礎。如果說Siamese Network是比一對那Matching Networks就是比一組。2017年Snell等人提出Prototypical Networks把這一思路推向簡潔極致。它對每個類別的所有支撐樣本嵌入取均值得到該類別的原型prototype然后計算查詢樣本與各類別原型的歐氏距離用softmax做分類。實驗證明在大多數(shù)benchmark上Prototypical Networks的表現(xiàn)不遜于Matching Networks甚至更好而且結構更簡單、更穩(wěn)定?？梢哉f它是目前性價比最高的Few-shot baseline工業(yè)界落地時我會優(yōu)先考慮它。再往后有Relation Network2018思路是距離度量不是固定的而是學習出來的。它不直接使用歐氏距離或余弦相似度而是把查詢樣本和支撐樣本的特征拼接起來丟給一個關系網(wǎng)絡輸出一個關系分數(shù)。這個設計讓模型可以學習到更復雜的相似性模式但也增加了過擬合風險。之后還有DeepEMD這類將最優(yōu)傳輸理論引入度量學習的論文把距離度量問題建模成一個分布匹配問題效果很好但計算開銷大。總體來看度量學習線的核心演進邏輯就是從簡單固定的距離到可學習的距離再到更復雜的分布匹配距離。2.3 元學習線讓模型學會如何學習元學習Meta-learning是Few-shot learning里理論深度更高的一個分支。它不再直接學一個分類器而是學一個能快速學習分類器的學習器。這一方向最出圈的論文當屬Finn等人在2017年提出的MAMLModel-Agnostic Meta-Learning。MAML的核心思想是用雙層優(yōu)化內層在支撐集上快速微調模型參數(shù)外層在查詢集上評估微調后的表現(xiàn)并更新初始參數(shù)。最終學到的是一個好的初始參數(shù)這個初始參數(shù)能讓模型在只見過少量樣本后幾步梯度下降就能快速適應新任務。類比一下它不是在教學生做這道題而是在給學生一套快速掌握任何新題型的思維方式。MAML之后一系列變體陸續(xù)出現(xiàn)。Reptile簡化了MAML的推導直接通過多次梯度更新后把參數(shù)拉回初始點實現(xiàn)更簡單但效果接近Meta-SGD在MAML基礎上學習更新方向和更新步長進一步增強了適應能力LEO則引入隱空間和變分推斷讓MAML在高維參數(shù)空間里更容易優(yōu)化。元學習確實浪漫但在實際工程落地時有個繞不開的問題計算開銷很大。MAML涉及二階梯度計算顯存占用和時間消耗都很高。后來雖然有一階近似方案如FOMAML也犧牲了一部分效果。我個人的觀點是如果你要快速落地小樣本分類優(yōu)先嘗試度量學習如果你的場景是RL或其他復雜任務且計算資源充足再考慮MAML系方法。Where strong generalization is needed元學習仍然是最好的選擇之一。2.4 優(yōu)化方法線調整參數(shù)而非調整損失第四條線是從優(yōu)化算法角度切入代表工作是Ravi和Larochelle在2017年發(fā)表的Optimization as a Model for Few-Shot Learning。這篇論文觀察到傳統(tǒng)的梯度下降優(yōu)化器在小樣本場景下很不穩(wěn)定樣本少梯度噪聲大很容易陷入局部最優(yōu)。于是他們提出用LSTM作為元學習器來學習優(yōu)化更新規(guī)則相當于用一個元模型來指導主模型的參數(shù)更新。這條線和MAML在形式上很像但出發(fā)點不同MAML學的是一個好的初始參數(shù)LSTM優(yōu)化器學的是一個好的更新策略。簡單說MAML告訴你從哪出發(fā)優(yōu)化方法告訴你每步怎么走?？上STM優(yōu)化器的訓練復雜度高泛化能力也有限后來逐漸被更簡潔的meta-learning框架超越。不過它的思想對后來的很多工作都有啟發(fā)比如一些基于學習率調度和梯度校正的方法都可以追溯到這篇論文。除了上面四條主線還有兩條值得留意的支線。一是基于圖網(wǎng)絡的方法把整個task建模成圖用GNN做標簽傳遞和分類代表作是2018年的Few-Shot Learning with Graph Neural Networks這種思路在處理樣本間復雜關系時很有效。二是基于生成模型和半監(jiān)督思想的方案用未標注數(shù)據(jù)輔助小樣本學習代表如LaplacianShot在transductive設置下表現(xiàn)很亮眼。整理論文時我建議以四條主線為骨架把支線掛到對應的主線上這樣知識結構才清晰。3. 收藏夾里的經(jīng)典論文閱讀路徑與復現(xiàn)價值論文整理最難的不是把論文放進列表而是讓列表有梯度、有邏輯。下面給出一條我推薦的閱讀路徑和收藏優(yōu)先級按難度和基礎性分層。3.1 入門五篇論文怎么讀怎么選如果只讓我從收藏夾里挑五篇必讀論文我會選Matching Networks、Prototypical Networks、MAML、Relation Network、A Closer Look at Few-shot Classification。Matching Networks和Prototypical Networks是理解episodic training和task構造的鑰匙讀完它們你就知道Few-shot learning的數(shù)據(jù)流是什么樣。MAML讓你理解元學習的核心思想。Relation Network會讓你看到度量學習流的多樣性。而A Closer Look這篇論文極為重要它是很多人容易忽略的定海神針——作者對比了各種baseline后發(fā)現(xiàn)只要在標準backbone上做簡單的距離度量效果就已經(jīng)能匹敵很多復雜元學習算法。這篇論文讓我重新思考了很多刷點工作的可信度強烈建議在讀完前四篇之后立刻讀。讀這五篇的順序也有講究先讀Prototypical Networks理解基礎再讀Matching Networks理解注意力版本接著讀Relation Network擴展對度量學習的想象然后讀MAML進入元學習最后用A Closer Look收束建立對baseline的清醒認知。這樣讀完你在跟別人聊Few-shot learning時就不會只停留在名詞層面。3.2 必備的baseline和重新審視類論文我整理論文時會單列一個baseline與審視分類因為做實驗沒有靠譜baseline等于沒有坐標系。A Closer Look at Few-shot Classification2019是這個分類里的第一優(yōu)先級。它明確了幾種baselineRegular Fine-tuning、Baseline用特征提取器加分類器、Baseline加入余弦分類器。論文的核心結論是預訓練特征提取器的質量在很大程度上決定了Few-shot性能方法本身的增益沒有想象中大。這給我們一個提醒別急著上復雜的元學習先確認你的backbone夠不夠強。另一篇值得關注的審視類論文是Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?2022年ECCV。作者發(fā)現(xiàn)一個精心訓練的嵌入模型配合簡單的距離分類器就能在多個benchmark上達到SOTA水平。這再次印證了特征質量的重要性。讀到這類論文后我會刻意在自己的實驗里多設計強backbone 簡單分類器的對照實驗而不是一上來就堆復雜模塊。這類審視類論文對研究方向的影響非常深遠。它們能幫你篩掉大量實質貢獻有限、只是通過復雜模塊刷點的論文。我的經(jīng)驗是任何新方法要想說服我至少要能回答一個問題——你的復雜設計比同樣backbone下的簡單baseline強多少如果只強1-2個點那要打個問號。3.3 關于benchmark和數(shù)據(jù)集的選擇論文刷榜離不開數(shù)據(jù)集但很多新人不知道如何選數(shù)據(jù)集。我把常用benchmark整理成一張表方便收藏時對照使用。數(shù)據(jù)集類別數(shù)單類樣本量特點適用場景Omniglot162320字符集任務簡單適合快速驗證驗證算法可行性的首選miniImageNet100600小規(guī)模ImageNet子集使用最廣泛標準對比絕大多數(shù)論文的擂臺tieredImageNet608約1000按WordNet層級劃分類別間語義gap更大測試類別泛化能力CIFAR-FS100600從CIFAR-100采樣分辨率低快速實驗資源受限時FC100100600從CIFAR-100按層級劃分比CIFAR-FS更接近真實場景CUB-200200平均約30細粒度鳥類識別測試細粒度小樣本能力Meta-Dataset多域不固定跨域多任務benchmark評測模型跨域泛化能力Omniglot雖然是入門必備但它的任務難度偏低很多在Omniglot上效果驚艷的方法在miniImageNet上可能直接翻車。其原因我在前面強調過字符圖像類別之間差異較大且背景干凈、多樣化程度低模型容易學到捷徑。所以看論文時如果對方只在Omniglot上做實驗那參考價值有限。我自己最快的驗證流程是先在miniImageNet上跑通再在CUB上用細粒度數(shù)據(jù)壓測一次最后如果業(yè)務場景和自然圖像差異大再補Meta-Dataset。對于細粒度場景CUB-200是很好的壓力測試。它是細粒度識別的經(jīng)典集類別之間的差異非常小能暴露出方法是否真的理解了類別間的細微差別。很多在miniImageNet上表現(xiàn)不錯的度量學習方法在CUB上反而掉點原因就是它們只學到了大類間的區(qū)分特征沒有學到細粒度判別特征。4. 我在論文整理和復現(xiàn)中踩過的坑這個部分是我最想寫的因為網(wǎng)上教程很少講細節(jié)。我整理論文、復現(xiàn)代碼的過程里踩了不少坑有的坑浪費了我一整周時間。4.1 評估協(xié)議的坑隨機采樣還是固定劃分Few-shot learning最常見的坑出現(xiàn)在評估協(xié)議上。早期很多論文使用隨機采樣的task來測試即從測試類里隨機選5個類構成task做大量episode后取平均。這種做法的缺點是不同隨機種子下結果波動大很可能把某個運氣好的結果當成方法有效?，F(xiàn)在的標準做法是使用固定seed或固定劃分并且報告多次seed的均值方差。還有更隱蔽的坑訓練時的task采樣分布和測試時不一致。有些論文在訓練時使用更多的way類別數(shù)測試時使用更少的way這雖然是一種正則化手段但會讓結果不公平。我在復現(xiàn)某篇論文時發(fā)現(xiàn)它訓練時用10-way測試時用5-way而對比方法都用5-way訓練這就成了一個不公平競爭。復現(xiàn)前一定要確認task配置完全一致。4.2 代碼復現(xiàn)的坑transductive/inductive很容易混這是我在復現(xiàn)時最頭疼的坑。有些論文只寫in the transductive setting但代碼里已經(jīng)把整個query set傳給模型做批標準化統(tǒng)計量計算而這個細節(jié)在正文里根本不會細說。如果你用同樣的超參數(shù)跑inductive版本結果會差很多但你以為方法失效了其實只是設置不同。建議在整理論文時對每一篇方法打一個標簽inductive還是transductive。這直接決定了它能否在你的業(yè)務場景上使用——比如在線推理場景是典型inductive你不可能等到一批query湊齊了再預測。另一個常見問題是數(shù)據(jù)劃分泄露。miniImageNet的劃分版本有很多啊Ravi版本、Vinyals版本、還有后來重新劃分的版本不同版本之間的模型性能差異非常大。整理代碼時要先確認它用的是哪套劃分文件最好直接使用論文作者提供的train.csv、val.csv、test.csv自己手動重排很容易出錯。4.3 論文整理的工具與流程說了這么多論文相關的內容最后分享一個實操性強的工具流和方法。我目前使用的論文整理方案是GitHub倉庫 Notion數(shù)據(jù)庫 Zotero文獻管理三管齊下。GitHub倉庫放的是markdown格式的論文列表每條記錄包含標題、會議/期刊、年份、代碼鏈接、一句話說明、我的閱讀狀態(tài)。Notion數(shù)據(jù)庫用于日常閱讀標記和筆記屬性字段包括分類數(shù)據(jù)增強/度量/元學習/優(yōu)化、數(shù)據(jù)集、是否transductive、我的復現(xiàn)難度評分。Zotero用來掛PDF正文和注釋配合插件可以一鍵抓取論文元信息。我建議每條論文記錄都要填一句話說明。這個說明不是論文摘要而是你的個人理解。比如對Prototypical Networks我寫的是類原型均值歐氏距離極簡但穩(wěn)對MAML寫的是學初始參數(shù)雙層優(yōu)化代價高。當你積攢到幾十條之后回看自己的一句話說清楚整理效率會極大提升。最后分享一個我自己的整理習慣每個月我會翻一遍自己整理的論文列表把那些當時覺得有意思但沒有深入的論文重新打開看一遍。我的經(jīng)驗是很多論文當時看不懂或者覺得沒用等你在業(yè)務里遇到對應問題后回看反而會讀出新的價值。小樣本學習這個方向變化很快但核心問題和解法框架是穩(wěn)定的。你把主干抓住每年產生的枝枝葉葉掃一遍就夠了這也是我持續(xù)維護這份收藏夾的底層邏輯。提示如果你是從零開始建自己的Few-shot學習論文收藏庫不要太追求全。先把我上面列的三條主線核心論文讀透建立起baseline體系再按需擴展即可。別人的收藏夾永遠代替不了自己動手做一遍實驗論文整理只是第一步。