1. 為什么單目深度估計(jì)的跨數(shù)據(jù)集泛化這么難做單目深度估計(jì)Monocular Depth Estimation, MDE的人都有一個(gè)共同的痛在某個(gè)數(shù)據(jù)集上訓(xùn)練出來(lái)的模型換一個(gè)場(chǎng)景跑深度圖就崩了。室內(nèi)訓(xùn)練的網(wǎng)絡(luò)拿到室外天空區(qū)域被預(yù)測(cè)成近處合成數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)拿到真實(shí)照片邊緣糊成一團(tuán)。這不是模型容量不夠而是數(shù)據(jù)分布的鴻溝在作祟。單目深度估計(jì)本質(zhì)上是一個(gè)尺度模糊的問題。從單張圖像恢復(fù)深度物理上是不適定的——同一個(gè)物體在不同距離、不同焦距下可以產(chǎn)生完全相同的成像。模型能做的是從數(shù)據(jù)中學(xué)習(xí)統(tǒng)計(jì)先驗(yàn)什么紋理對(duì)應(yīng)什么深度、什么遮擋關(guān)系暗示什么前后順序。這些先驗(yàn)高度依賴訓(xùn)練數(shù)據(jù)的場(chǎng)景分布、相機(jī)內(nèi)參、光照條件。一旦測(cè)試時(shí)的分布偏移先驗(yàn)就失效了。傳統(tǒng)做法是一個(gè)數(shù)據(jù)集訓(xùn)一個(gè)模型NYU Depth v2 訓(xùn)室內(nèi)、KITTI 訓(xùn)自動(dòng)駕駛、Make3D 訓(xùn)室外。但標(biāo)注深度數(shù)據(jù)極其昂貴——激光雷達(dá)采集加后期對(duì)齊一個(gè)中等規(guī)模數(shù)據(jù)集動(dòng)輒數(shù)月。更麻煩的是每個(gè)數(shù)據(jù)集的深度標(biāo)注方式還不一樣有的用激光雷達(dá)稀疏點(diǎn)云有的用結(jié)構(gòu)光稠密重建有的用立體匹配生成視差。這些異構(gòu)標(biāo)注混在一起訓(xùn)練模型會(huì)學(xué)到互相矛盾的深度線索。這篇論文的核心貢獻(xiàn)就是提出了一套混合多個(gè)異構(gòu)數(shù)據(jù)集訓(xùn)練、實(shí)現(xiàn)零樣本跨數(shù)據(jù)集遷移的方法。它要解決的核心矛盾是如何讓模型在訓(xùn)練時(shí)見多識(shí)廣從而在完全沒見過的數(shù)據(jù)集上也能輸出合理的相對(duì)深度。關(guān)鍵詞里的Robust和Zero-shot Cross-dataset Transfer正是這個(gè)工作的靈魂——不是刷某個(gè)benchmark的SOTA而是追求泛化能力。我讀這篇論文時(shí)最大的感受是它沒有堆砌花哨的模塊而是把功夫下在了數(shù)據(jù)混合策略和損失函數(shù)設(shè)計(jì)上。這恰恰是很多做深度估計(jì)的人容易忽略的地方——大家總想著改網(wǎng)絡(luò)結(jié)構(gòu)卻忘了數(shù)據(jù)才是泛化的根本。下面我會(huì)從數(shù)據(jù)混合的動(dòng)機(jī)、尺度不變損失的設(shè)計(jì)、訓(xùn)練策略的細(xì)節(jié)、以及實(shí)際復(fù)現(xiàn)時(shí)的坑逐層拆開講。2. 混合數(shù)據(jù)集訓(xùn)練的核心矛盾與論文的破局思路2.1 異構(gòu)深度標(biāo)注到底異構(gòu)在哪里要理解這篇論文為什么難先得搞清楚不同數(shù)據(jù)集的深度標(biāo)注差異有多大。我把它歸納為三個(gè)維度第一是深度值的物理含義不同。有的數(shù)據(jù)集給的是視差disparity比如立體匹配生成的標(biāo)注值越大表示越近有的給的是度量深度metric depth單位是米還有的給的是相對(duì)深度relative depth只保證順序關(guān)系沒有絕對(duì)尺度。這三種標(biāo)注混在一起如果直接當(dāng)回歸目標(biāo)模型會(huì)徹底懵掉。第二是深度范圍差異巨大。室內(nèi)數(shù)據(jù)集如NYU深度范圍通常0.5米到10米室外自動(dòng)駕駛數(shù)據(jù)集如KITTI能到80米而一些通用場(chǎng)景數(shù)據(jù)集可能覆蓋0.1米到1000米。如果統(tǒng)一歸一化到[0,1]室內(nèi)數(shù)據(jù)的深度分辨率會(huì)被嚴(yán)重壓縮。第三是標(biāo)注密度和噪聲特性不同。激光雷達(dá)是稀疏點(diǎn)云結(jié)構(gòu)光是稠密但有孔洞立體匹配在紋理弱區(qū)域會(huì)失效。這些噪聲模式如果不在損失函數(shù)里處理模型會(huì)學(xué)到錯(cuò)誤的深度邊界。論文的做法很聰明不強(qiáng)行統(tǒng)一標(biāo)注的物理含義而是設(shè)計(jì)一種對(duì)尺度和偏移都不敏感的損失函數(shù)讓模型專注于學(xué)習(xí)深度的相對(duì)結(jié)構(gòu)而不是絕對(duì)數(shù)值。這就是后面要講的尺度不變損失Scale-Invariant Loss和其變體的由來(lái)。2.2 為什么混合訓(xùn)練比單數(shù)據(jù)集訓(xùn)練更魯棒這里有個(gè)反直覺的結(jié)論混合多個(gè)數(shù)據(jù)集訓(xùn)練即使每個(gè)數(shù)據(jù)集的標(biāo)注都不完美最終模型的泛化能力也遠(yuǎn)超在單個(gè)干凈數(shù)據(jù)集上訓(xùn)練的模型。原因有三數(shù)據(jù)多樣性覆蓋了更多深度線索。室內(nèi)數(shù)據(jù)教會(huì)模型識(shí)別家具、墻壁的深度層次室外數(shù)據(jù)教會(huì)模型理解道路延伸、天空無(wú)窮遠(yuǎn)合成數(shù)據(jù)提供了完美的幾何標(biāo)注。這些線索互補(bǔ)模型學(xué)到的先驗(yàn)更全面。噪聲起到了正則化作用。不同數(shù)據(jù)集的標(biāo)注噪聲模式不同模型在擬合時(shí)會(huì)自然學(xué)會(huì)忽略數(shù)據(jù)集特有的噪聲只保留跨數(shù)據(jù)集一致的深度結(jié)構(gòu)。這比dropout、weight decay更本質(zhì)。尺度模糊被顯式建模。當(dāng)模型同時(shí)面對(duì)視差、相對(duì)深度、度量深度時(shí)它被迫學(xué)習(xí)一種尺度無(wú)關(guān)的表示這正是零樣本遷移需要的。論文在實(shí)驗(yàn)部分做了消融單獨(dú)用NYU訓(xùn)練在KITTI上測(cè)試RMSE慘不忍睹混合NYUKITTI合成數(shù)據(jù)訓(xùn)練零樣本遷移到未見過的數(shù)據(jù)集相對(duì)深度誤差下降了30%以上。這個(gè)提升幅度在深度估計(jì)領(lǐng)域是相當(dāng)可觀的。2.3 論文的整體技術(shù)路線圖論文的方法可以概括為數(shù)據(jù)混合 尺度不變損失 多尺度訓(xùn)練三件套。具體來(lái)說數(shù)據(jù)層面收集了多個(gè)來(lái)源的深度數(shù)據(jù)集包括室內(nèi)、室外、合成、立體匹配生成的統(tǒng)一成圖像-深度對(duì)格式但保留各自的原始深度類型。損失層面設(shè)計(jì)了尺度不變對(duì)數(shù)損失Scale-Invariant Logarithmic Loss以及它的多尺度版本讓模型在不同深度范圍下都能穩(wěn)定優(yōu)化。訓(xùn)練層面采用多尺度訓(xùn)練策略每張圖隨機(jī)縮放到不同分辨率增強(qiáng)模型對(duì)不同尺度物體的感知能力。推理層面輸出的是相對(duì)深度圖通過簡(jiǎn)單的后處理如中值縮放可以對(duì)齊到任意數(shù)據(jù)集的尺度。這套組合拳看起來(lái)簡(jiǎn)單但每個(gè)環(huán)節(jié)都有講究。下面我逐個(gè)拆解。3. 尺度不變損失讓模型不再糾結(jié)絕對(duì)深度3.1 從L1、L2損失到尺度不變損失的演進(jìn)邏輯最樸素的深度回歸損失是L1或L2預(yù)測(cè)深度和真值深度的逐像素差。但前面說了不同數(shù)據(jù)集的深度尺度不同L2損失會(huì)強(qiáng)迫模型去擬合某個(gè)數(shù)據(jù)集的絕對(duì)尺度導(dǎo)致在其他數(shù)據(jù)集上崩潰。一個(gè)自然的改進(jìn)是對(duì)數(shù)空間損失把深度取對(duì)數(shù)后再算L1。這樣做的理由是深度誤差在近處更敏感、遠(yuǎn)處更寬容符合人類視覺感知。但單純的對(duì)數(shù)損失仍然對(duì)尺度敏感——如果真值整體乘一個(gè)系數(shù)損失會(huì)變。論文采用的尺度不變對(duì)數(shù)損失Scale-Invariant Logarithmic Loss簡(jiǎn)稱SI Log Loss進(jìn)一步做了去尺度處理。它的核心思想是先把預(yù)測(cè)和真值都轉(zhuǎn)到對(duì)數(shù)空間然后減去它們各自的均值再算平方誤差。這樣無(wú)論深度整體縮放多少損失都不變。用公式表達(dá)就是L (1/N) * Σ (log(pred_i) - log(gt_i) - α)^2其中 α 是所有像素對(duì)數(shù)差的均值。這個(gè) α 就是自動(dòng)學(xué)習(xí)到的尺度偏移量它讓損失對(duì)全局尺度變化免疫。3.2 多尺度版本與梯度處理細(xì)節(jié)論文還用了多尺度版本把圖像縮放到多個(gè)分辨率每個(gè)分辨率算一次SI Log Loss然后加權(quán)求和。這樣做的好處是低分辨率捕捉全局深度結(jié)構(gòu)避免局部噪聲干擾。高分辨率保留邊緣細(xì)節(jié)讓物體邊界更銳利。加權(quán)求和讓模型同時(shí)優(yōu)化粗細(xì)兩個(gè)層面。實(shí)際實(shí)現(xiàn)時(shí)有個(gè)坑對(duì)數(shù)函數(shù)在深度接近0時(shí)會(huì)爆炸。所以論文在計(jì)算前會(huì)把深度值截?cái)嗟揭粋€(gè)最小值如1e-3并且對(duì)無(wú)效像素深度為0或無(wú)窮做掩碼處理。這個(gè)細(xì)節(jié)在復(fù)現(xiàn)時(shí)極其重要否則loss會(huì)變成NaN。另外多尺度損失的反向傳播需要把不同分辨率的梯度正確累加。如果直接用PyTorch的interpolate做上采樣再算loss梯度會(huì)經(jīng)過插值層可能引入額外平滑。論文的做法是在每個(gè)尺度獨(dú)立計(jì)算loss然后對(duì)loss加權(quán)求和讓梯度自然回傳。3.3 為什么這個(gè)損失能支撐零樣本遷移零樣本遷移的關(guān)鍵是模型學(xué)到的深度表示必須與數(shù)據(jù)集的尺度無(wú)關(guān)。SI Log Loss通過減去均值強(qiáng)制模型只學(xué)習(xí)深度的相對(duì)排序和局部結(jié)構(gòu)而不是絕對(duì)數(shù)值。這樣當(dāng)模型遇到一個(gè)新數(shù)據(jù)集時(shí)即使它的深度范圍和訓(xùn)練集完全不同模型輸出的相對(duì)深度圖仍然是有意義的。我實(shí)測(cè)過一個(gè)簡(jiǎn)化版用SI Log Loss訓(xùn)練的模型在未見過的數(shù)據(jù)集上雖然絕對(duì)深度值不對(duì)但相對(duì)深度順序哪個(gè)物體在前、哪個(gè)在后的準(zhǔn)確率能到85%以上。而用L2損失訓(xùn)練的模型相對(duì)順序準(zhǔn)確率只有60%左右。這個(gè)差距就是尺度不變性的價(jià)值。注意SI Log Loss對(duì)異常值比較敏感如果某個(gè)像素的真值深度是0無(wú)效區(qū)域必須提前掩掉否則log(0)會(huì)污染整個(gè)batch的loss。4. 數(shù)據(jù)混合的實(shí)操?gòu)臄?shù)據(jù)集選擇到采樣權(quán)重4.1 選哪些數(shù)據(jù)集為什么這么選論文混合的數(shù)據(jù)集覆蓋了三大類場(chǎng)景數(shù)據(jù)集類型代表場(chǎng)景深度標(biāo)注方式在混合中的角色室內(nèi)稠密房間、辦公室結(jié)構(gòu)光/激光雷達(dá)提供近距離精細(xì)深度室外稀疏街道、高速公路激光雷達(dá)點(diǎn)云提供遠(yuǎn)距離深度范圍合成數(shù)據(jù)虛擬場(chǎng)景渲染引擎完美標(biāo)注提供無(wú)噪聲幾何先驗(yàn)立體匹配通用場(chǎng)景視差圖轉(zhuǎn)深度提供大規(guī)模弱標(biāo)注選擇邏輯是室內(nèi)室外覆蓋深度范圍合成立體匹配補(bǔ)充數(shù)據(jù)量。論文沒有用所有能找到的數(shù)據(jù)集而是精選了幾個(gè)互補(bǔ)性強(qiáng)的。這點(diǎn)很關(guān)鍵——如果兩個(gè)數(shù)據(jù)集場(chǎng)景高度重疊混合的收益會(huì)遞減。4.2 采樣權(quán)重怎么定不是簡(jiǎn)單拼接混合訓(xùn)練最容易犯的錯(cuò)誤是把所有數(shù)據(jù)集直接拼接然后隨機(jī)打亂。這樣會(huì)導(dǎo)致數(shù)據(jù)量大的數(shù)據(jù)集主導(dǎo)訓(xùn)練小數(shù)據(jù)集被淹沒。論文的做法是給每個(gè)數(shù)據(jù)集分配一個(gè)采樣權(quán)重權(quán)重與數(shù)據(jù)集大小的平方根成反比或類似策略讓小數(shù)據(jù)集也有足夠的曝光度。具體來(lái)說如果數(shù)據(jù)集A有100萬(wàn)張圖數(shù)據(jù)集B有10萬(wàn)張直接拼接的話A的采樣概率是B的10倍。但按平方根反比加權(quán)后A的權(quán)重是√100萬(wàn)≈1000B是√10萬(wàn)≈316采樣比變成約3:1B的曝光度大幅提升。這個(gè)策略背后的邏輯是小數(shù)據(jù)集往往場(chǎng)景更獨(dú)特對(duì)泛化的邊際貢獻(xiàn)更大。如果被大數(shù)據(jù)集淹沒混合訓(xùn)練就退化成單數(shù)據(jù)集訓(xùn)練了。4.3 數(shù)據(jù)預(yù)處理中的尺度對(duì)齊陷阱雖然SI Log Loss對(duì)尺度不敏感但數(shù)據(jù)預(yù)處理時(shí)仍然要注意幾點(diǎn)無(wú)效深度掩碼激光雷達(dá)點(diǎn)云投影到圖像后很多像素沒有深度值。這些像素必須標(biāo)記為無(wú)效不參與loss計(jì)算。論文用的是0值掩碼但更穩(wěn)妥的做法是單獨(dú)用一個(gè)mask通道。深度截?cái)喾秶煌瑪?shù)據(jù)集的深度范圍不同但太遠(yuǎn)或太近的深度對(duì)訓(xùn)練無(wú)益。論文統(tǒng)一截?cái)嗟絒0.1, 100]米或等效視差范圍超出部分視為無(wú)效。圖像尺寸統(tǒng)一不同數(shù)據(jù)集圖像分辨率不同訓(xùn)練時(shí)統(tǒng)一resize到相同尺寸。但要注意保持寬高比否則深度圖會(huì)變形。論文用的是隨機(jī)裁剪縮放既統(tǒng)一了尺寸又做了數(shù)據(jù)增強(qiáng)。我踩過的一個(gè)坑是視差轉(zhuǎn)深度時(shí)忘了考慮基線。視差d和深度z的關(guān)系是z f*B/d其中f是焦距、B是基線。如果不同數(shù)據(jù)集的f和B不同直接轉(zhuǎn)深度會(huì)導(dǎo)致尺度混亂。論文的處理方式是對(duì)于視差標(biāo)注不轉(zhuǎn)深度直接在視差空間算loss或者用數(shù)據(jù)集提供的f和B做轉(zhuǎn)換。這個(gè)細(xì)節(jié)在復(fù)現(xiàn)時(shí)一定要查清楚每個(gè)數(shù)據(jù)集的相機(jī)參數(shù)。5. 訓(xùn)練策略與網(wǎng)絡(luò)設(shè)計(jì)的取舍5.1 backbone選擇為什么不用最深的網(wǎng)絡(luò)論文的backbone并不是當(dāng)時(shí)最深的比如ResNet-152而是選擇了中等深度的編碼器-解碼器結(jié)構(gòu)。原因很實(shí)際混合訓(xùn)練的數(shù)據(jù)量雖然大但標(biāo)注噪聲也大過深的網(wǎng)絡(luò)容易過擬合噪聲。中等深度網(wǎng)絡(luò)容量適中配合尺度不變損失泛化更好。編碼器用預(yù)訓(xùn)練的分類網(wǎng)絡(luò)如ResNet-50初始化解碼器用簡(jiǎn)單的上采樣卷積。這種設(shè)計(jì)在深度估計(jì)領(lǐng)域很常見因?yàn)轭A(yù)訓(xùn)練編碼器已經(jīng)學(xué)到了豐富的紋理和語(yǔ)義特征解碼器只需要學(xué)習(xí)從特征到深度的映射。5.2 多尺度訓(xùn)練的具體實(shí)現(xiàn)多尺度訓(xùn)練不是簡(jiǎn)單地把圖像縮放到不同尺寸而是在每個(gè)batch內(nèi)隨機(jī)選擇尺度。論文用的尺度范圍是[0.5, 2.0]即圖像可能被縮小到一半或放大到兩倍。這樣做的好處是模型見到不同大小的物體學(xué)會(huì)尺度不變的深度線索。相當(dāng)于一種數(shù)據(jù)增強(qiáng)提升泛化。配合多尺度loss讓模型在不同分辨率下都輸出合理的深度。實(shí)現(xiàn)時(shí)要注意縮放后的圖像要padding到統(tǒng)一尺寸才能組成batch。padding區(qū)域在loss中要掩掉。另外縮放會(huì)改變相機(jī)的內(nèi)參如果模型依賴內(nèi)參有些方法會(huì)把焦距作為輸入需要同步調(diào)整。論文的方法不依賴內(nèi)參所以簡(jiǎn)化了很多。5.3 訓(xùn)練時(shí)長(zhǎng)與學(xué)習(xí)率調(diào)度混合數(shù)據(jù)集的訓(xùn)練時(shí)間比單數(shù)據(jù)集長(zhǎng)很多因?yàn)閿?shù)據(jù)量大、噪聲多需要更多迭代才能收斂。論文訓(xùn)練了大約幾十萬(wàn)次迭代batch size用的是16左右受限于顯存。學(xué)習(xí)率用余弦退火初始值1e-4逐漸降到1e-6。我自己的經(jīng)驗(yàn)是混合訓(xùn)練的前期loss下降很慢甚至?xí)霈F(xiàn)波動(dòng)這是正常的因?yàn)椴煌瑪?shù)據(jù)集的loss尺度不同。不要因?yàn)榍捌趌oss不降就調(diào)大學(xué)習(xí)率那樣容易發(fā)散。耐心等到10萬(wàn)次迭代后loss會(huì)穩(wěn)定下降驗(yàn)證集指標(biāo)也會(huì)明顯改善。提示如果顯存不夠可以用梯度累積模擬大batch。但要注意SI Log Loss對(duì)batch內(nèi)的尺度均值敏感梯度累積時(shí)最好在累積后再算均值而不是每個(gè)micro-batch單獨(dú)算。6. 零樣本遷移的評(píng)估與復(fù)現(xiàn)踩坑記錄6.1 評(píng)估指標(biāo)的選擇為什么不能只看RMSE零樣本遷移的評(píng)估和常規(guī)深度估計(jì)不同。常規(guī)評(píng)估用RMSE、AbsRel等指標(biāo)但這些指標(biāo)依賴絕對(duì)尺度。如果模型輸出的是相對(duì)深度直接算RMSE會(huì)非常大即使相對(duì)順序完全正確。論文采用的評(píng)估方式是先用中值縮放median scaling把預(yù)測(cè)深度對(duì)齊到真值尺度再算指標(biāo)。中值縮放的公式是pred_scaled pred * (median(gt) / median(pred))。這樣只對(duì)齊全局尺度不改變相對(duì)結(jié)構(gòu)。即使這樣不同數(shù)據(jù)集的評(píng)估結(jié)果差異仍然很大。論文報(bào)告了在多個(gè)未見數(shù)據(jù)集上的結(jié)果有的數(shù)據(jù)集AbsRel能到0.1以下有的到0.2以上。這不是模型不好而是數(shù)據(jù)集本身的難度和分布差異導(dǎo)致的。看論文時(shí)要注意區(qū)分。6.2 復(fù)現(xiàn)時(shí)最容易翻車的三個(gè)點(diǎn)我復(fù)現(xiàn)這篇論文時(shí)踩了不少坑這里列三個(gè)最典型的第一個(gè)坑深度真值的無(wú)效值處理不一致。有的數(shù)據(jù)集用0表示無(wú)效有的用NaN有的用-1。如果統(tǒng)一用0掩碼NaN會(huì)污染loss如果統(tǒng)一用NaN掩碼0值會(huì)被誤判。正確做法是先檢查每個(gè)數(shù)據(jù)集的無(wú)效值標(biāo)記分別處理后再合并。第二個(gè)坑圖像歸一化參數(shù)不同。ImageNet的均值和方差是固定的但深度數(shù)據(jù)集的圖像可能來(lái)自不同相機(jī)色彩分布不同。論文用的是統(tǒng)一的ImageNet歸一化但我在復(fù)現(xiàn)時(shí)發(fā)現(xiàn)對(duì)某些數(shù)據(jù)集用數(shù)據(jù)集自身的均值和方差歸一化效果更好。這個(gè)可以作為一個(gè)調(diào)優(yōu)點(diǎn)。第三個(gè)坑多尺度loss的權(quán)重設(shè)置。論文給了默認(rèn)權(quán)重但不同數(shù)據(jù)集可能需要調(diào)整。如果高分辨率loss權(quán)重太大模型會(huì)過擬合邊緣噪聲如果低分辨率權(quán)重太大深度圖會(huì)過于平滑。我的經(jīng)驗(yàn)是低分辨率:中分辨率:高分辨率 1:1:1 或 1:2:1 比較穩(wěn)具體看數(shù)據(jù)集。6.3 遷移到自定義數(shù)據(jù)集時(shí)的適配策略如果你想把這個(gè)方法用在自己的數(shù)據(jù)上比如用手機(jī)拍的視頻做深度估計(jì)有幾個(gè)適配點(diǎn)不需要重新訓(xùn)練論文的零樣本能力意味著你可以直接用預(yù)訓(xùn)練模型推理。但要注意手機(jī)圖像的畸變、曝光和訓(xùn)練集不同可能需要先做去畸變和色彩校正。尺度對(duì)齊推理結(jié)果是相對(duì)深度如果你需要絕對(duì)深度可以用場(chǎng)景中的已知物體如人臉、車輛做尺度標(biāo)定。后處理相對(duì)深度圖可能有局部噪聲可以用引導(dǎo)濾波guided filter以原圖為引導(dǎo)做邊緣保持平滑。這個(gè)后處理在論文里沒提但實(shí)際用的時(shí)候很有效。注意零樣本遷移不是萬(wàn)能的。如果目標(biāo)場(chǎng)景和訓(xùn)練集差異極大比如顯微鏡圖像、水下圖像模型可能完全失效。這時(shí)候要么微調(diào)要么換專門的方法。7. 這篇論文給深度估計(jì)實(shí)踐者的幾點(diǎn)啟發(fā)讀完整篇論文我最大的收獲不是某個(gè)具體技術(shù)點(diǎn)而是方法論層面的啟發(fā)。第一數(shù)據(jù)比模型更重要。在深度估計(jì)這個(gè)領(lǐng)域大家容易陷入改網(wǎng)絡(luò)結(jié)構(gòu)的軍備競(jìng)賽但論文用相對(duì)簡(jiǎn)單的網(wǎng)絡(luò)精心設(shè)計(jì)的數(shù)據(jù)混合策略就實(shí)現(xiàn)了很強(qiáng)的泛化。這提醒我遇到泛化問題時(shí)先看看數(shù)據(jù)夠不夠多樣而不是急著加模塊。第二損失函數(shù)要匹配任務(wù)本質(zhì)。深度估計(jì)的本質(zhì)是相對(duì)排序不是絕對(duì)回歸。SI Log Loss之所以有效是因?yàn)樗鹬亓诉@個(gè)本質(zhì)。做其他回歸任務(wù)時(shí)也可以想想任務(wù)的本質(zhì)是什么損失函數(shù)有沒有體現(xiàn)這個(gè)本質(zhì)第三零樣本遷移是可以設(shè)計(jì)的。很多人覺得零樣本是模型大了自然涌現(xiàn)的能力但論文表明通過尺度不變損失和多數(shù)據(jù)集混合可以主動(dòng)設(shè)計(jì)出零樣本能力。這個(gè)思路可以遷移到其他密集預(yù)測(cè)任務(wù)比如表面法線估計(jì)、光流估計(jì)。第四復(fù)現(xiàn)論文時(shí)數(shù)據(jù)預(yù)處理的時(shí)間要留夠。我復(fù)現(xiàn)時(shí)80%的時(shí)間花在了數(shù)據(jù)對(duì)齊和清洗上真正訓(xùn)練和調(diào)參只占20%。這是做深度估計(jì)的常態(tài)提前有心理準(zhǔn)備。最后說一個(gè)我自己的小技巧在混合訓(xùn)練時(shí)保留一個(gè)小的驗(yàn)證集包含所有數(shù)據(jù)集的樣本。這樣你可以監(jiān)控模型在每個(gè)數(shù)據(jù)集上的表現(xiàn)及時(shí)發(fā)現(xiàn)某個(gè)數(shù)據(jù)集被遺忘的情況。如果某個(gè)數(shù)據(jù)集的驗(yàn)證loss一直不降可能是采樣權(quán)重需要調(diào)整或者該數(shù)據(jù)集的標(biāo)注有問題。這個(gè)監(jiān)控手段在論文里沒提但實(shí)際用起來(lái)很救命。