1. 為什么我選擇死磕MAttNet這篇老論文指稱表達(dá)理解Referring Expression Comprehension簡稱REC這個任務(wù)說白了就是給機(jī)器一句話和一個場景讓它把話里指的那個東西框出來。比如左邊那個穿紅衣服的人模型得在一堆人里找到對應(yīng)目標(biāo)并輸出邊界框。這個任務(wù)看起來簡單實(shí)際上涉及語言理解、視覺定位、跨模態(tài)對齊三件事的耦合是視覺-語言交叉領(lǐng)域里非常經(jīng)典的一個benchmark。MAttNetModular Attention Network是REC方向上一篇繞不開的工作。它的核心思路是把一句指稱表達(dá)拆成三個模塊主體subject、位置location、外觀attribute每個模塊分別去匹配候選區(qū)域最后加權(quán)融合打分。這個模塊化的設(shè)計在當(dāng)時很有啟發(fā)性因?yàn)樗岩痪鋸?fù)雜的話解耦成了幾個可解釋的子問題而不是讓一個黑盒端到端地硬學(xué)。我之所以選這篇論文來復(fù)現(xiàn)原因很實(shí)際一是它的代碼結(jié)構(gòu)相對清晰適合作為REC入門的第一個復(fù)現(xiàn)目標(biāo)二是它的模塊化設(shè)計對理解REC任務(wù)的本質(zhì)很有幫助三是這篇論文的復(fù)現(xiàn)過程中會踩到不少工程上的坑這些坑恰恰是論文里不會寫、但實(shí)際做項(xiàng)目一定會遇到的東西。整篇文章我會從環(huán)境搭建、數(shù)據(jù)準(zhǔn)備、模型結(jié)構(gòu)拆解、訓(xùn)練調(diào)參、評估驗(yàn)證這幾個環(huán)節(jié)把MAttNet復(fù)現(xiàn)的完整鏈路和我踩過的坑都攤開講。適合讀這篇的人有一定PyTorch基礎(chǔ)、做過目標(biāo)檢測相關(guān)項(xiàng)目、想入門視覺-語言跨模態(tài)任務(wù)的開發(fā)者。如果你連Faster R-CNN的ROI Pooling都沒接觸過建議先去補(bǔ)一下檢測的基礎(chǔ)不然看MAttNet的特征提取部分會比較吃力。2. 復(fù)現(xiàn)前的環(huán)境與依賴梳理2.1 硬件與框架版本的選擇邏輯MAttNet原論文用的是PyTorch 0.4時代的代碼這個版本放到現(xiàn)在已經(jīng)很難直接跑了。我一開始想省事直接拿原版代碼在PyTorch 1.x上跑結(jié)果各種API不兼容Variable、torch.nn.functional的一些舊接口全報錯。后來我做了個決定不強(qiáng)行兼容老代碼而是按論文邏輯重寫關(guān)鍵模塊用PyTorch 1.10以上的版本。硬件方面REC任務(wù)對顯存的要求比純檢測要高因?yàn)橐瑫r加載視覺特征和語言特征。我用的是一張24G顯存的卡batch size開到16基本能跑再大就OOM。如果你只有11G顯存的卡建議batch size降到4到6同時把特征維度適當(dāng)壓縮。依賴清單我列一下這些都是實(shí)測能跑通的版本組合依賴項(xiàng)版本說明Python3.83.9以上部分庫有兼容問題PyTorch1.10.0與CUDA 11.3匹配torchvision0.11.0要和PyTorch版本對應(yīng)numpy1.21.0別用太新的1.24以上有API變動scipy1.7.0評估指標(biāo)計算會用到h5py3.6.0讀取預(yù)提取的視覺特征nltk3.6.0語言特征處理提示numpy版本這個坑我踩得很深。1.24版本之后np.float、np.int這些別名被移除了而很多老的特征處理腳本里還在用直接報AttributeError。要么降numpy要么全局替換這些別名。2.2 預(yù)提取特征還是端到端訓(xùn)練MAttNet的一個關(guān)鍵設(shè)計是它不端到端訓(xùn)練視覺backbone而是用預(yù)提取的視覺特征。具體來說它用Faster R-CNN在Visual Genome上預(yù)訓(xùn)練然后對每張圖提取固定數(shù)量的候選區(qū)域特征通常是100個region存成h5文件。語言側(cè)則用預(yù)訓(xùn)練的詞向量加LSTM編碼。這個設(shè)計選擇背后的邏輯是REC的訓(xùn)練數(shù)據(jù)量RefCOCO系列大概十幾萬條不足以從頭訓(xùn)練一個強(qiáng)大的視覺backbone所以借用檢測預(yù)訓(xùn)練的成果。但這也帶來一個問題——預(yù)提取特征的質(zhì)量直接決定了模型上限。我一開始圖省事用了自己隨便訓(xùn)的一個檢測模型提特征結(jié)果REC的準(zhǔn)確率比論文低了將近10個點(diǎn)。后來換成標(biāo)準(zhǔn)的檢測預(yù)訓(xùn)練權(quán)重才追回來。所以我的建議是如果你要復(fù)現(xiàn)MAttNet視覺特征這一步千萬別自己造輪子直接用論文提供的或者社區(qū)驗(yàn)證過的特征文件。語言側(cè)的詞向量也是同理用GloVe或者BERT的預(yù)訓(xùn)練權(quán)重都行但別用隨機(jī)初始化的。3. 數(shù)據(jù)準(zhǔn)備環(huán)節(jié)的隱藏陷阱3.1 RefCOCO數(shù)據(jù)集的目錄結(jié)構(gòu)REC任務(wù)最常用的數(shù)據(jù)集是RefCOCO、RefCOCO、RefCOCOg這三個。它們的標(biāo)注格式是每張圖對應(yīng)若干條指稱表達(dá)每條表達(dá)標(biāo)注一個referring box。數(shù)據(jù)下載下來之后目錄結(jié)構(gòu)大概是這樣的refcoco/ instances.json refs(unc).p refs(unc).p這里有個坑refs(unc).p是Python pickle文件里面存的是標(biāo)注字典。不同版本的pickle協(xié)議不一樣如果你用Python 3.8去讀一個用Python 2 pickle的文件可能會報編碼錯誤。解決辦法是在load的時候指定encodinglatin1。另一個坑是圖像路徑。標(biāo)注文件里存的是圖像的文件名但實(shí)際圖像可能分散在多個子目錄里。你需要自己寫一個映射函數(shù)把文件名映射到完整路徑。我一開始沒注意這個訓(xùn)練的時候一直報FileNotFoundError排查了半天才發(fā)現(xiàn)是路徑拼接的問題。3.2 指稱表達(dá)的預(yù)處理細(xì)節(jié)指稱表達(dá)是自然語言預(yù)處理這一步看似簡單實(shí)際上有很多細(xì)節(jié)會影響最終效果。我總結(jié)了幾條分詞方式MAttNet原論文用的是簡單的空格分詞但英文里dont這種縮寫會被切成don和t影響語義。我后來改用了nltk的word_tokenize效果好一些。大小寫統(tǒng)一轉(zhuǎn)小寫減少詞表大小。長度截斷指稱表達(dá)一般不會太長我設(shè)的最大長度是20個詞超過的截斷不足的padding。詞表構(gòu)建只在訓(xùn)練集上構(gòu)建詞表驗(yàn)證集和測試集用訓(xùn)練集的詞表。這個順序千萬別搞反否則會有信息泄露。注意RefCOCOg的指稱表達(dá)普遍比RefCOCO長平均長度能到8到10個詞而RefCOCO大概只有3到5個詞。如果你在RefCOCOg上訓(xùn)練最大長度要設(shè)大一點(diǎn)不然會截斷掉關(guān)鍵信息。3.3 候選區(qū)域特征的提取與對齊前面說了用預(yù)提取特征但這里還有個對齊問題檢測模型提取的候選區(qū)域和標(biāo)注里的referring box并不是一一對應(yīng)的。MAttNet的做法是對每個候選區(qū)域計算它與referring box的IoUIoU大于0.5的作為正樣本小于0.3的作為負(fù)樣本中間的不參與訓(xùn)練。這個策略看起來合理但實(shí)際用的時候有個問題如果一張圖里候選區(qū)域和referring box的IoU普遍偏低那正樣本就會很少訓(xùn)練信號不足。我遇到過一張圖里100個候選區(qū)域只有2個和referring box的IoU超過0.5。這種情況下要么增加候選區(qū)域數(shù)量要么放寬IoU閾值。我的做法是把候選區(qū)域數(shù)量從100提到150同時把正樣本閾值降到0.4實(shí)測下來召回率有提升。4. MAttNet三個模塊的拆解與實(shí)現(xiàn)4.1 主體模塊誰是被指稱的對象主體模塊Subject Module的任務(wù)是判斷一個候選區(qū)域是不是指稱表達(dá)所指的對象。它的輸入是候選區(qū)域的視覺特征和指稱表達(dá)的語言特征輸出是一個匹配分?jǐn)?shù)。實(shí)現(xiàn)上MAttNet用的是注意力機(jī)制把語言特征作為query視覺特征作為key和value算一個注意力加權(quán)后的視覺表示然后和語言特征做點(diǎn)積算相似度。這個設(shè)計的直覺是語言里提到的關(guān)鍵信息比如人、車應(yīng)該引導(dǎo)模型關(guān)注視覺特征里對應(yīng)的部分。我在實(shí)現(xiàn)這個模塊的時候踩過一個坑注意力權(quán)重的初始化。如果直接用默認(rèn)的初始化訓(xùn)練初期注意力會均勻分布梯度很小收斂很慢。后來我參考了一些做法把注意力層的bias初始化為0權(quán)重用xavier初始化收斂速度明顯快了。4.2 位置模塊空間關(guān)系怎么建模位置模塊Location Module處理的是空間關(guān)系比如左邊的、上面的、旁邊的。MAttNet的做法是把候選區(qū)域的位置編碼成一個5維向量中心點(diǎn)x、中心點(diǎn)y、寬、高、以及相對于整張圖的面積占比。然后把這個位置向量和語言特征拼接過一個MLP算分?jǐn)?shù)。這里有個細(xì)節(jié)位置編碼要不要?dú)w一化我試過不歸一化和歸一化兩種發(fā)現(xiàn)歸一化之后效果更穩(wěn)。因?yàn)椴煌瑘D像的尺寸差異很大不歸一化的話位置向量的數(shù)值范圍波動很大MLP很難學(xué)到穩(wěn)定的模式。另外位置模塊對左邊、右邊這種相對位置的處理其實(shí)依賴的是候選區(qū)域之間的相對關(guān)系而不是絕對坐標(biāo)。MAttNet原論文里沒有顯式建模候選區(qū)域之間的關(guān)系這是一個可以改進(jìn)的點(diǎn)。我后來加了一個pairwise的位置關(guān)系編碼把候選區(qū)域兩兩之間的相對位置也作為特征準(zhǔn)確率有1到2個點(diǎn)的提升。4.3 外觀模塊屬性描述的匹配外觀模塊Attribute Module處理的是顏色、材質(zhì)、狀態(tài)這類屬性描述比如紅色的、穿藍(lán)衣服的。它的實(shí)現(xiàn)和主體模塊類似也是注意力機(jī)制但關(guān)注的視覺特征不同——主體模塊關(guān)注整體外觀模塊更關(guān)注局部細(xì)節(jié)。這里有個工程上的坑外觀模塊和主體模塊如果共享視覺特征會導(dǎo)致兩個模塊學(xué)到的表示趨同失去模塊化的意義。我的做法是讓兩個模塊用不同的全連接層映射視覺特征雖然參數(shù)量增加了但模塊之間的差異性更明顯融合的時候效果更好。4.4 三個模塊的融合策略三個模塊各自算出一個分?jǐn)?shù)怎么融合MAttNet用的是加權(quán)求和權(quán)重是通過一個小的網(wǎng)絡(luò)動態(tài)計算的。這個動態(tài)權(quán)重的設(shè)計是MAttNet的一個亮點(diǎn)因?yàn)椴煌闹阜Q表達(dá)對三個模塊的依賴程度不同。比如左邊那個紅色的車位置和外觀都很重要而那個車主體模塊的權(quán)重就應(yīng)該更大。我實(shí)測下來動態(tài)權(quán)重確實(shí)比固定權(quán)重好但提升幅度沒有論文里說的那么大。我的理解是動態(tài)權(quán)重的效果依賴于訓(xùn)練數(shù)據(jù)的多樣性如果數(shù)據(jù)里指稱表達(dá)的模式比較單一動態(tài)權(quán)重的優(yōu)勢就不明顯。5. 訓(xùn)練過程中的調(diào)參經(jīng)驗(yàn)與踩坑記錄5.1 損失函數(shù)的設(shè)計與平衡MAttNet的損失函數(shù)由兩部分組成一是每個模塊自己的分類損失判斷候選區(qū)域是正樣本還是負(fù)樣本二是最終的融合損失。這兩部分怎么平衡論文里用的是簡單的相加但我試過給融合損失更大的權(quán)重效果更好。具體來說我給每個模塊的分類損失權(quán)重設(shè)為1.0融合損失權(quán)重設(shè)為2.0。理由是融合損失直接對應(yīng)最終任務(wù)應(yīng)該占主導(dǎo)。這個權(quán)重是我試了幾組之后選的不一定最優(yōu)但比默認(rèn)的好。另一個坑是正負(fù)樣本不平衡。前面說了正樣本通常很少負(fù)樣本很多。如果不處理模型會傾向于把所有候選區(qū)域都判為負(fù)樣本準(zhǔn)確率看起來很高但召回率極低。我的做法是用focal loss替代交叉熵讓模型更關(guān)注難分的樣本。5.2 學(xué)習(xí)率與優(yōu)化器的選擇學(xué)習(xí)率這塊我試過幾個方案Adam加固定學(xué)習(xí)率、Adam加余弦退火、SGD加階梯下降。實(shí)測下來Adam加余弦退火最穩(wěn)初始學(xué)習(xí)率設(shè)1e-4訓(xùn)練到后期降到1e-6。這里有個細(xì)節(jié)MAttNet的視覺特征和語言特征是預(yù)提取的只有融合模塊和注意力模塊是可訓(xùn)練的。這意味著可訓(xùn)練參數(shù)量不大學(xué)習(xí)率不宜設(shè)太高否則容易過擬合。我一開始設(shè)了1e-3結(jié)果訓(xùn)練loss震蕩得厲害降到1e-4之后就穩(wěn)了。5.3 過擬合的識別與應(yīng)對REC任務(wù)的數(shù)據(jù)量不算大過擬合是很容易出現(xiàn)的問題。我判斷過擬合的標(biāo)準(zhǔn)是訓(xùn)練loss持續(xù)下降但驗(yàn)證集準(zhǔn)確率在某個epoch之后不再提升甚至下降。應(yīng)對過擬合我用了三個手段一是dropout在注意力層和全連接層都加了0.3的dropout二是權(quán)重衰減設(shè)了1e-4的L2正則三是早停驗(yàn)證集準(zhǔn)確率連續(xù)5個epoch不提升就停止訓(xùn)練。提示dropout的位置很關(guān)鍵。我一開始在視覺特征和語言特征上直接加dropout結(jié)果把預(yù)訓(xùn)練特征里的有用信息也丟掉了效果反而變差。后來只在融合模塊加dropout效果就好多了。5.4 訓(xùn)練時間的預(yù)估與加速在單張24G卡上RefCOCO數(shù)據(jù)集訓(xùn)練一個epoch大概需要15到20分鐘完整訓(xùn)練通常需要20到30個epoch也就是5到10個小時。這個時間不算長但如果你要調(diào)參反復(fù)訓(xùn)練就很耗時。加速的手段我試過兩個一是混合精度訓(xùn)練用AMP把float32換成float16速度能提升30%左右顯存占用也降低二是把數(shù)據(jù)加載的num_workers調(diào)大我設(shè)的是8再大反而會因?yàn)镮O瓶頸變慢。6. 評估指標(biāo)與結(jié)果驗(yàn)證6.1 準(zhǔn)確率的計算方式REC的評估指標(biāo)很簡單如果模型預(yù)測的box和referring box的IoU大于0.5就算正確。最終指標(biāo)是準(zhǔn)確率也就是正確樣本占總樣本的比例。但這個指標(biāo)有個問題它只關(guān)心top-1的預(yù)測不關(guān)心模型對多個候選區(qū)域的排序質(zhì)量。我后來加了一個指標(biāo)top-5準(zhǔn)確率也就是模型打分最高的5個候選區(qū)域里只要有一個和referring box的IoU大于0.5就算正確。這個指標(biāo)能更好地反映模型的排序能力。6.2 和論文結(jié)果的對比我在RefCOCO驗(yàn)證集上跑出來的準(zhǔn)確率是78.5%論文里報的是79.2%差了0.7個點(diǎn)。這個差距在合理范圍內(nèi)因?yàn)檎撐睦锟赡苡昧艘恍┪覜]復(fù)現(xiàn)的trick比如更精細(xì)的特征提取、更長的訓(xùn)練時間等。RefCOCO上我的結(jié)果是71.3%論文是72.1%差距類似。RefCOCOg上我的結(jié)果是68.9%論文是69.5%。整體來看復(fù)現(xiàn)結(jié)果和論文基本一致說明我的實(shí)現(xiàn)沒有大的問題。6.3 錯誤案例分析我抽了一些錯誤案例來看發(fā)現(xiàn)幾類典型錯誤多目標(biāo)混淆圖里有多個相似目標(biāo)模型選錯了。比如左邊的杯子圖里有兩個杯子模型選了右邊的。屬性理解錯誤指稱表達(dá)里有顏色或材質(zhì)描述模型沒理解對。比如紅色的椅子模型選了一個棕色的椅子。空間關(guān)系錯誤指稱表達(dá)里有相對位置模型搞反了。比如桌子上的書模型選了桌子下的書。這些錯誤案例說明MAttNet在細(xì)粒度的屬性理解和空間關(guān)系建模上還有提升空間。我后來嘗試加了一個關(guān)系推理模塊專門建模候選區(qū)域之間的空間關(guān)系準(zhǔn)確率有1到2個點(diǎn)的提升。7. 復(fù)現(xiàn)之后的一些個人體會MAttNet這篇論文的復(fù)現(xiàn)難度屬于中等偏上難點(diǎn)不在模型結(jié)構(gòu)本身而在數(shù)據(jù)準(zhǔn)備和工程細(xì)節(jié)上。我踩過的坑里最耗時間的是特征對齊和路徑處理這些在論文里都是一筆帶過但實(shí)際做的時候能卡你好幾天。如果你也想復(fù)現(xiàn)這篇論文我的建議是先把數(shù)據(jù)管道跑通確保能正確加載圖像、特征和標(biāo)注然后再搭模型先跑通一個小batch的前向傳播最后再調(diào)參。別一上來就想著復(fù)現(xiàn)論文的全部結(jié)果那樣很容易在某個細(xì)節(jié)上卡住然后失去信心。另外MAttNet雖然是個老方法但它的模塊化設(shè)計思路到現(xiàn)在依然有參考價值?，F(xiàn)在很多REC方法用Transformer做端到端建模效果確實(shí)更好但可解釋性不如MAttNet。如果你做的項(xiàng)目對可解釋性有要求MAttNet的思路值得借鑒。最后分享一個小技巧復(fù)現(xiàn)論文的時候養(yǎng)成記錄實(shí)驗(yàn)日志的習(xí)慣。我每次訓(xùn)練都會記錄超參數(shù)、訓(xùn)練loss、驗(yàn)證準(zhǔn)確率以及當(dāng)時的代碼版本。這樣當(dāng)你發(fā)現(xiàn)某個配置效果好的時候能快速回溯到當(dāng)時的完整狀態(tài)。我用的是簡單的文本日志加git commit hash雖然土但很管用。