1. 計(jì)算機(jī)視覺學(xué)術(shù)速遞到底在速遞什么第一次看到計(jì)算機(jī)視覺學(xué)術(shù)速遞[5.25]這個(gè)標(biāo)題很多人會(huì)以為是一份簡單的論文列表。實(shí)際上這類速遞內(nèi)容的核心價(jià)值在于把當(dāng)天或近期冒出來的新工作做一次快速篩選和歸類幫你在信息過載的環(huán)境里抓住真正值得花時(shí)間讀的東西。計(jì)算機(jī)視覺這個(gè)方向每天都有大量新論文上傳光靠刷列表根本看不過來所以速遞的本質(zhì)是降噪——把Transformer、擴(kuò)散模型、多模態(tài)融合這些熱詞背后的實(shí)際進(jìn)展挑出來告訴你哪些是真有新東西哪些只是換個(gè)名字重新包裝。我自己跟蹤這個(gè)方向有幾年了最大的感受是Transformer架構(gòu)從2020年之后幾乎滲透到了計(jì)算機(jī)視覺的每一個(gè)子任務(wù)里。從最早的ViT把圖像切成patch做分類到Swin Transformer引入窗口注意力解決高分辨率下的計(jì)算量問題再到各種針對(duì)特定場景改造的變體這條技術(shù)線已經(jīng)非常清晰。速遞里如果出現(xiàn)Transformer相關(guān)的工作我會(huì)優(yōu)先看它到底改了什么——是改了注意力機(jī)制的計(jì)算方式還是改了token的構(gòu)造方法還是純粹在訓(xùn)練策略上做文章。這個(gè)判斷習(xí)慣幫我省了大量時(shí)間。這份速遞適合誰看如果你是剛進(jìn)實(shí)驗(yàn)室的研究生需要快速了解某個(gè)子方向的現(xiàn)狀速遞能幫你建立地圖感如果你是在做計(jì)算機(jī)視覺大作業(yè)的本科生速遞里的方法概述和代碼線索能讓你少走彎路如果你是已經(jīng)工作的算法工程師速遞能幫你判斷某個(gè)新技術(shù)值不值得跟進(jìn)落地。不同基礎(chǔ)的人看同一份速遞收獲點(diǎn)不一樣但前提是你得知道怎么讀。2. Transformer在視覺任務(wù)里的核心邏輯拆解2.1 從自注意力到視覺token化Transformer最早是為自然語言處理設(shè)計(jì)的核心是自注意力機(jī)制。放到計(jì)算機(jī)視覺里第一個(gè)要解決的問題就是圖像是二維的像素網(wǎng)格怎么變成Transformer能吃的序列ViT的做法很直接把圖像切成固定大小的patch比如16x16每個(gè)patch拉平成一個(gè)向量再經(jīng)過線性映射變成token。這一步看起來簡單但patch大小的選擇直接影響模型能捕捉到的細(xì)節(jié)粒度。patch越小token越多計(jì)算量按平方增長patch越大token越少但每個(gè)token承載的信息更雜。我實(shí)際跑過ViT的幾種配置patch16在ImageNet上是個(gè)比較平衡的選擇patch32會(huì)明顯損失細(xì)粒度信息patch8則顯存吃不消。這個(gè)經(jīng)驗(yàn)在速遞里讀論文時(shí)很有用——看到有人聲稱用極小的patch取得了好效果第一反應(yīng)應(yīng)該是去看他怎么解決計(jì)算量問題的通常要么是用了稀疏注意力要么是做了token合并。Swin Transformer的思路更巧妙它不搞全局注意力而是在局部窗口內(nèi)做自注意力然后通過移位窗口讓不同窗口之間產(chǎn)生信息交換。這個(gè)設(shè)計(jì)把計(jì)算復(fù)雜度從平方級(jí)降到了線性級(jí)讓Transformer能處理更高分辨率的輸入。速遞里如果出現(xiàn)Swin的變體我會(huì)重點(diǎn)關(guān)注它的窗口劃分策略和移位方式有沒有新意。2.2 視覺Transformer的幾種典型改造路線從速遞里讀多了會(huì)發(fā)現(xiàn)視覺Transformer的改造基本圍繞幾條路線走。第一條是注意力機(jī)制的稀疏化代表工作包括Swin、Twins、CSWin等核心思路都是減少需要計(jì)算注意力的token對(duì)數(shù)量。第二條是token的動(dòng)態(tài)管理比如Token Merging、EViT這類工作在推理過程中逐步合并或丟棄不重要的token換取速度提升。第三條是引入卷積的先驗(yàn)比如Conformer、CMT把卷積的局部歸納偏置和Transformer的全局建模能力結(jié)合起來。這幾條路線背后其實(shí)是在回答同一個(gè)問題視覺任務(wù)到底需要什么樣的注意力純?nèi)肿⒁饬τ?jì)算量太大純局部注意力又丟了長距離依賴所以大家都在找中間地帶。我個(gè)人的判斷是沒有一種改造能通吃所有任務(wù)。分類任務(wù)對(duì)全局信息需求高檢測(cè)和分割更依賴多尺度特征所以速遞里看到某個(gè)方法在分類上刷了新高不要急著往檢測(cè)任務(wù)上套先看它的token設(shè)計(jì)是否支持多尺度。2.3 速遞里怎么快速判斷一篇Transformer論文的含金量速遞通常只給標(biāo)題和摘要怎么在幾分鐘內(nèi)判斷值不值得精讀我的做法是看三個(gè)點(diǎn)。第一看它改的是哪個(gè)環(huán)節(jié)——是tokenizer、注意力計(jì)算、還是訓(xùn)練目標(biāo)。改tokenizer的工作往往影響面最大因?yàn)橄掠嗡腥蝿?wù)都依賴token表示。第二看實(shí)驗(yàn)對(duì)比的對(duì)象——如果只跟同量級(jí)的Transformer比說服力有限如果跟卷積網(wǎng)絡(luò)和Transformer都做了充分對(duì)比可信度更高。第三看有沒有開源代碼——速遞里如果標(biāo)注了代碼鏈接我會(huì)優(yōu)先看代碼結(jié)構(gòu)因?yàn)楹芏嗾撐牡姆椒枋龊蛯?shí)際實(shí)現(xiàn)之間有g(shù)ap讀代碼比讀論文快。注意速遞里的論文標(biāo)題經(jīng)常用很花哨的縮寫比如PDFormer、MultiLevel等不要被名字唬住直接看它解決的是什么具體問題。很多工作只是把已有方法換個(gè)場景應(yīng)用創(chuàng)新度有限。3. 從速遞到實(shí)操Transformer模型復(fù)現(xiàn)的關(guān)鍵步驟3.1 環(huán)境準(zhǔn)備與依賴選擇看到速遞里感興趣的工作下一步就是復(fù)現(xiàn)。我一般從環(huán)境開始PyTorch是首選版本建議1.12以上因?yàn)楹芏嘈碌淖⒁饬?shí)現(xiàn)依賴較新的算子。CUDA版本要和PyTorch匹配這個(gè)不用多說但有個(gè)坑是有些論文用了FlashAttention需要CUDA 11.6以上如果你的環(huán)境是11.3要么升級(jí)要么找替代實(shí)現(xiàn)。timm庫是個(gè)好東西里面集成了大量視覺Transformer的預(yù)訓(xùn)練權(quán)重和實(shí)現(xiàn)速遞里很多工作的backbone都能在timm里找到對(duì)應(yīng)版本。我的習(xí)慣是先用timm里的現(xiàn)成模型跑通流程再根據(jù)論文細(xì)節(jié)做修改。這樣比從零寫快得多也不容易在基礎(chǔ)結(jié)構(gòu)上出錯(cuò)。# 典型的環(huán)境安裝命令 conda create -n vit python3.9 conda activate vit pip install torch1.13.1cu117 torchvision0.14.1cu117 -f https://download.pytorch.org/whl/torch_stable.html pip install timm0.9.2 pip install einops # 很多Transformer實(shí)現(xiàn)用einops做張量操作einops這個(gè)庫值得單獨(dú)提一下它讓多頭注意力的維度變換寫起來非常清晰。比如把(batch, seq, dim)變成(batch, heads, seq, dim_per_head)用rearrange一行就搞定比permuteview的組合可讀性好太多。速遞里如果有論文的代碼用了einops讀起來會(huì)順暢很多。3.2 數(shù)據(jù)準(zhǔn)備與預(yù)處理要點(diǎn)計(jì)算機(jī)視覺任務(wù)的數(shù)據(jù)預(yù)處理直接影響最終效果。以分類任務(wù)為例標(biāo)準(zhǔn)的流程是resize到固定尺寸、歸一化、可能加一些數(shù)據(jù)增強(qiáng)。但Transformer對(duì)輸入尺寸比較敏感因?yàn)槲恢镁幋a的維度跟序列長度綁定。如果你用預(yù)訓(xùn)練權(quán)重輸入尺寸最好跟預(yù)訓(xùn)練時(shí)一致否則位置編碼需要插值。我踩過的一個(gè)坑是用ViT的預(yù)訓(xùn)練權(quán)重做遷移學(xué)習(xí)輸入尺寸從224改成384直接加載權(quán)重會(huì)報(bào)維度不匹配。解決辦法是對(duì)位置編碼做雙線性插值這個(gè)在timm里有現(xiàn)成的函數(shù)。速遞里如果論文聲稱支持任意輸入尺寸通常就是用了插值或者可學(xué)習(xí)的位置編碼。數(shù)據(jù)增強(qiáng)方面RandAugment和Mixup是Transformer訓(xùn)練里的?？?。我實(shí)測(cè)下來RandAugment的強(qiáng)度參數(shù)需要根據(jù)數(shù)據(jù)集大小調(diào)小數(shù)據(jù)集用太強(qiáng)的增強(qiáng)反而掉點(diǎn)。Mixup的alpha值一般設(shè)0.8或1.0對(duì)分類任務(wù)比較穩(wěn)。3.3 模型搭建的核心代碼結(jié)構(gòu)以多頭自注意力為例核心代碼其實(shí)不復(fù)雜但細(xì)節(jié)決定成敗。下面是一個(gè)標(biāo)準(zhǔn)的實(shí)現(xiàn)框架import torch import torch.nn as nn from einops import rearrange class MultiHeadAttention(nn.Module): def __init__(self, dim, heads8, dropout0.1): super().__init__() self.heads heads self.scale (dim // heads) ** -0.5 self.qkv nn.Linear(dim, dim * 3) self.proj nn.Linear(dim, dim) self.dropout nn.Dropout(dropout) def forward(self, x): qkv self.qkv(x).chunk(3, dim-1) q, k, v map(lambda t: rearrange(t, b n (h d) - b h n d, hself.heads), qkv) attn torch.softmax(torch.einsum(b h i d, b h j d - b h i j, q, k) * self.scale, dim-1) attn self.dropout(attn) out torch.einsum(b h i j, b h j d - b h i d, attn, v) out rearrange(out, b h n d - b n (h d)) return self.proj(out)這段代碼里scale是縮放因子等于每個(gè)頭維度的平方根倒數(shù)。為什么要縮放因?yàn)辄c(diǎn)積的方差隨維度增長不縮放的話softmax會(huì)進(jìn)入飽和區(qū)梯度消失。這個(gè)細(xì)節(jié)很多速遞里的論文不會(huì)提但實(shí)現(xiàn)時(shí)不能漏。位置編碼有兩種主流做法可學(xué)習(xí)的和正弦固定的。可學(xué)習(xí)的更靈活但需要足夠的數(shù)據(jù)才能學(xué)好正弦編碼不需要訓(xùn)練外推性稍好。我一般分類任務(wù)用可學(xué)習(xí)的檢測(cè)任務(wù)用正弦的因?yàn)闄z測(cè)的輸入尺寸變化多。3.4 訓(xùn)練策略與調(diào)參經(jīng)驗(yàn)Transformer的訓(xùn)練比卷積網(wǎng)絡(luò)更吃數(shù)據(jù)和調(diào)參。學(xué)習(xí)率用AdamW初始值一般設(shè)1e-4到5e-4權(quán)重衰減0.05左右。warmup很重要前5到10個(gè)epoch線性升溫避免訓(xùn)練初期不穩(wěn)定。batch size盡量大梯度累積可以模擬大batch。我實(shí)測(cè)下來ViT在小數(shù)據(jù)集上從頭訓(xùn)練效果很差必須用預(yù)訓(xùn)練權(quán)重。如果速遞里的論文聲稱在小數(shù)據(jù)集上從頭訓(xùn)練取得了好效果要仔細(xì)看它是不是用了很強(qiáng)的正則化或者特殊的訓(xùn)練技巧。常見的手段包括更強(qiáng)的數(shù)據(jù)增強(qiáng)、隨機(jī)深度、層縮放初始化。層縮放初始化這個(gè)技巧值得展開說——它把殘差分支的權(quán)重初始值設(shè)得很小讓網(wǎng)絡(luò)初始狀態(tài)接近恒等映射訓(xùn)練更穩(wěn)定。這個(gè)在timm里是默認(rèn)開啟的。提示如果你在復(fù)現(xiàn)速遞里的工作時(shí)發(fā)現(xiàn)loss不下降先檢查學(xué)習(xí)率和warmup再檢查位置編碼的加載方式最后檢查數(shù)據(jù)預(yù)處理是否跟論文一致。這三個(gè)地方是最常見的翻車點(diǎn)。4. 速遞里高頻出現(xiàn)的幾個(gè)方向與實(shí)操建議4.1 多模態(tài)融合Transformer的落地思路速遞里經(jīng)常出現(xiàn)多模態(tài)融合的工作比如遙感語義分割里的多層級(jí)多模態(tài)融合Transformer。這類工作的核心是把不同來源的數(shù)據(jù)比如光學(xué)圖像和SAR圖像用Transformer做特征交互。實(shí)操時(shí)的關(guān)鍵點(diǎn)是不同模態(tài)的特征維度和空間分辨率往往不一致需要先對(duì)齊再融合。我做過的一個(gè)項(xiàng)目里光學(xué)圖像是RGB三通道SAR是單通道分辨率也不一樣。做法是分別用兩個(gè)backbone提特征然后通過交叉注意力讓一個(gè)模態(tài)的token去查詢另一個(gè)模態(tài)的token。交叉注意力的計(jì)算量和token數(shù)量平方相關(guān)所以實(shí)際部署時(shí)要做token采樣或者窗口化。速遞里如果論文沒提計(jì)算量優(yōu)化落地時(shí)大概率要自己補(bǔ)。融合位置也有講究。早期融合在輸入層做簡單但靈活性差中期融合在特征層做最常用晚期融合在決策層做適合模態(tài)差異極大的情況。我的經(jīng)驗(yàn)是遙感任務(wù)用中期融合比較多因?yàn)椴煌B(tài)在特征層還有互補(bǔ)信息到了決策層信息已經(jīng)損失太多。4.2 動(dòng)態(tài)長距離Transformer在時(shí)序相關(guān)任務(wù)中的應(yīng)用速遞里有一類工作專門處理時(shí)序相關(guān)的視覺任務(wù)比如交通流預(yù)測(cè)里的傳播延遲感知?jiǎng)討B(tài)長距離Transformer。這類任務(wù)的特點(diǎn)是輸入不只是單幀圖像而是帶時(shí)間維度的序列。Transformer處理序列本來是強(qiáng)項(xiàng)但視覺序列的長度往往很大直接做全局注意力不現(xiàn)實(shí)。動(dòng)態(tài)長距離注意力的思路是不是所有時(shí)間步之間都需要交互只對(duì)有關(guān)聯(lián)的時(shí)間步計(jì)算注意力。傳播延遲感知的意思是某個(gè)位置的交通狀態(tài)變化會(huì)延遲影響下游位置注意力機(jī)制要能捕捉這種延遲模式。實(shí)操時(shí)這類方法通常需要構(gòu)造一個(gè)延遲矩陣或者學(xué)習(xí)一個(gè)位置間的關(guān)聯(lián)圖。我在做類似任務(wù)時(shí)的體會(huì)是時(shí)間維度的下采樣比空間維度更敏感?？臻g下采樣丟的是細(xì)節(jié)時(shí)間下采樣丟的是動(dòng)態(tài)模式。所以如果速遞里的方法在時(shí)間維度做了激進(jìn)的下采樣要警惕它是否損失了關(guān)鍵的時(shí)序信息。一個(gè)折中做法是用空洞卷積在時(shí)間維度擴(kuò)大感受野同時(shí)保持分辨率。4.3 分類任務(wù)中Transformer的微調(diào)技巧分類是計(jì)算機(jī)視覺大作業(yè)里最常見的任務(wù)也是速遞里Transformer工作最集中的方向。用預(yù)訓(xùn)練的ViT或Swin做微調(diào)有幾個(gè)實(shí)操技巧。第一分類頭要重新初始化backbone用較小的學(xué)習(xí)率分類頭用較大的學(xué)習(xí)率。第二如果目標(biāo)數(shù)據(jù)集跟預(yù)訓(xùn)練數(shù)據(jù)集差異大可以解凍最后幾個(gè)block一起微調(diào)差異小的話只調(diào)分類頭就夠了。第三測(cè)試時(shí)可以用多裁剪或者中心裁剪加翻轉(zhuǎn)做增強(qiáng)通常能漲0.5到1個(gè)點(diǎn)。我對(duì)比過幾種微調(diào)策略在小型數(shù)據(jù)集上的表現(xiàn)結(jié)果如下微調(diào)策略訓(xùn)練時(shí)間準(zhǔn)確率適用場景只調(diào)分類頭最短基準(zhǔn)目標(biāo)域與預(yù)訓(xùn)練域接近調(diào)最后2個(gè)block分類頭中等1.5%目標(biāo)域有中等差異全量微調(diào)最長2.5%數(shù)據(jù)量足夠差異大全量微調(diào)強(qiáng)增強(qiáng)最長3.0%數(shù)據(jù)量中等易過擬合這個(gè)表是我在幾個(gè)公開數(shù)據(jù)集上跑出來的經(jīng)驗(yàn)值具體數(shù)字會(huì)隨數(shù)據(jù)集變化但趨勢(shì)是穩(wěn)定的。速遞里如果論文只報(bào)了全量微調(diào)的結(jié)果而你的數(shù)據(jù)量不夠不要硬套從只調(diào)分類頭開始試。5. 常見問題與排查技巧實(shí)錄5.1 訓(xùn)練不收斂或loss震蕩這是復(fù)現(xiàn)Transformer時(shí)最常見的問題。排查順序我一般是這樣先看學(xué)習(xí)率是不是太大Transformer對(duì)學(xué)習(xí)率比卷積網(wǎng)絡(luò)敏感1e-3以上很容易震蕩再看warmup是不是太短前幾個(gè)epoch的梯度范數(shù)往往很大沒有warmup容易把預(yù)訓(xùn)練權(quán)重帶偏然后看batch size和梯度累積的配置等效batch size太小會(huì)導(dǎo)致梯度噪聲大。還有一個(gè)容易被忽略的點(diǎn)是權(quán)重衰減的應(yīng)用范圍。LayerNorm的權(quán)重和偏置不應(yīng)該加權(quán)重衰減位置編碼也不應(yīng)該。如果統(tǒng)一加了訓(xùn)練會(huì)不穩(wěn)定。這個(gè)細(xì)節(jié)在速遞里的論文中很少提但代碼里如果沒做區(qū)分效果會(huì)差。5.2 顯存不夠用的幾種解法Transformer的顯存占用主要來自注意力矩陣序列長度的平方級(jí)增長。顯存不夠時(shí)按優(yōu)先級(jí)嘗試以下方案第一減小batch size配合梯度累積第二用混合精度訓(xùn)練torch.cuda.amp通常能省30%到40%顯存第三用梯度檢查點(diǎn)torch.utils.checkpoint用計(jì)算時(shí)間換顯存第四減小輸入分辨率或patch大小第五換用更高效的注意力實(shí)現(xiàn)比如FlashAttention。我實(shí)測(cè)下來混合精度加梯度檢查點(diǎn)能在單張24G卡上把ViT-Base的輸入分辨率從224推到384代價(jià)是訓(xùn)練速度慢大概40%。如果速遞里的方法聲稱在單卡上訓(xùn)練了高分辨率模型大概率用了這些技巧的組合。5.3 預(yù)訓(xùn)練權(quán)重加載失敗的排查加載預(yù)訓(xùn)練權(quán)重時(shí)報(bào)錯(cuò)常見原因有幾個(gè)。鍵名不匹配是最多的比如預(yù)訓(xùn)練模型用了backbone.blocks.0.attn.qkv你的模型用了encoder.layer.0.attention.query名字對(duì)不上。解決辦法是打印兩邊的state_dict鍵名寫個(gè)映射函數(shù)。維度不匹配通常出現(xiàn)在分類頭或者位置編碼上分類頭直接跳過加載位置編碼做插值。還有一個(gè)坑是DataParallel和DistributedDataParallel保存的權(quán)重鍵名會(huì)多一個(gè)module.前綴加載時(shí)要去掉。這個(gè)在單機(jī)多卡訓(xùn)練后加載權(quán)重時(shí)經(jīng)常遇到。注意速遞里如果論文提供了預(yù)訓(xùn)練權(quán)重先看它的加載腳本通常作者會(huì)處理這些細(xì)節(jié)。如果沒有腳本就按上面的順序排查。5.4 推理速度慢的優(yōu)化方向訓(xùn)練完了要部署推理速度是下一個(gè)問題。Transformer的推理瓶頸通常在注意力計(jì)算和內(nèi)存訪問。優(yōu)化方向包括用ONNX或TensorRT導(dǎo)出做圖優(yōu)化把注意力換成FlashAttention的實(shí)現(xiàn)對(duì)token做剪枝或合并用知識(shí)蒸餾換小模型。我做過一個(gè)對(duì)比同一個(gè)Swin-T模型PyTorch原生推理、ONNX Runtime、TensorRT三種方式的延遲大概是1:0.7:0.4的關(guān)系。如果速遞里的方法強(qiáng)調(diào)實(shí)時(shí)性先看它有沒有做這些工程優(yōu)化沒有的話落地時(shí)自己補(bǔ)。6. 速遞閱讀與項(xiàng)目落地的銜接經(jīng)驗(yàn)速遞看多了容易陷入一種狀態(tài)每天都在讀新論文但手上的項(xiàng)目沒什么進(jìn)展。我的經(jīng)驗(yàn)是速遞要帶著問題讀。比如你正在做分割任務(wù)就重點(diǎn)看分割相關(guān)的Transformer工作正在調(diào)分類模型就關(guān)注分類的微調(diào)技巧。沒有問題導(dǎo)向的閱讀信息留存率很低。另外速遞里的工作從論文到可用代碼通常有幾個(gè)月的時(shí)間差。如果某個(gè)方法你很感興趣但找不到代碼可以先去Papers with Code或者GitHub搜一下很多時(shí)候有第三方復(fù)現(xiàn)。第三方復(fù)現(xiàn)的質(zhì)量參差不齊但至少能幫你快速驗(yàn)證想法。我自己在復(fù)現(xiàn)速遞里的工作時(shí)大概有三分之一的情況是直接用了第三方代碼省了大量時(shí)間。最后分享一個(gè)我自己的習(xí)慣每讀一篇速遞里的論文我會(huì)在筆記里記三行——它解決什么問題、核心方法是什么、我能不能用上。這個(gè)習(xí)慣堅(jiān)持下來半年后回頭看能清楚看到自己的知識(shí)增長軌跡也能快速定位到之前讀過但當(dāng)時(shí)沒用上的方法。計(jì)算機(jī)視覺這個(gè)方向變化快但核心問題的變化沒那么快抓住核心問題速遞里的新工作就只是不同的解法而已。