我的日常工作經常要和“Agent會學到什么樣的狀態(tài)表征”這個問題打交道。一個感知模塊、一個策略網絡背后真正決定天花板的東西往往不是網絡層數(shù)也不是訓練步數(shù)而是它在內部到底“理解”了什么。AI Agent的自我監(jiān)督表示學習說白了就是讓智能體在不依賴人工標注的前提下從原始交互數(shù)據(jù)里自己提煉出有用的、緊湊的、可遷移的特征結構。這個方向最近幾乎成了所有決策智能項目的必經之路但我發(fā)現(xiàn)很多同行對它的理解還停留在“換個損失函數(shù)”的層面或者被一堆對比學習術語勸退。這篇文章我會從實際項目經驗出發(fā)把自監(jiān)督表示學習的動機、方法論、完整實操流程以及我踩過的坑全部攤開講適合正在做強化學習、機器人控制、多模態(tài)感知或者任何跟Agent沾邊項目的朋友參考。1. 為什么AI Agent必須要做自監(jiān)督表示學習1.1 先搞清楚這組概念在說什么“AI Agent的自我監(jiān)督表示學習”這個標題拆開看有三個詞AI Agent、自我監(jiān)督、表示學習。AI Agent指的是能感知環(huán)境、做出決策并執(zhí)行動作的智能體范圍可以覆蓋游戲AI、機器人、自動駕駛系統(tǒng)、對話助手甚至模擬環(huán)境里的NPC。自我監(jiān)督Self-Supervision指的是不依賴人工標簽而是從數(shù)據(jù)自身結構里構造監(jiān)督信號比如預測下一幀、恢復被遮蓋的片段、拉近不同視角下同一樣本的表征。表示學習Representation Learning則是把原始輸入——像素、點云、文本、傳感器讀數(shù)——映射到一個低維向量空間讓這個向量空間里的距離、角度和方向能對應上語義上的相似性和變化趨勢。這個三角關系的核心是Agent最需要的東西不是“分類準確率”而是“對狀態(tài)空間的可靠壓縮”。比如一個機器人手臂原始狀態(tài)可能是關節(jié)角度、力矩、圖像和觸覺信號的拼接維度很高、冗余很重。如果直接把這種高維原始狀態(tài)扔給策略網絡學習效率會急劇下降而且一旦換一個外形參數(shù)略有變化的機械臂策略就廢掉了。自監(jiān)督表示學習要做的就是用一種無人干預的方式把高維原始狀態(tài)壓縮成一個幾十維、幾百維的向量同時保證這個向量還能承載足夠多與決策相關的信息。我見過太多人把自監(jiān)督表示學習當作“錦上添花”的組件實際上在數(shù)據(jù)稀缺的真實場景里它往往是救命稻草。一個任務可以沒有標注數(shù)據(jù)但只要有足夠的原始觀測數(shù)據(jù)自監(jiān)督方法就有辦法從中榨出結構。如果這個道理沒想通后面所有細節(jié)都是空中樓閣。1.2 監(jiān)督學習范式在Agent場景里的天然短板很多人習慣用監(jiān)督學習的方式訓練感知模塊采集大量數(shù)據(jù)人工標注然后訓一個CNN或者Transformer去做分類或者回歸。在靜態(tài)數(shù)據(jù)集上這套玩法很成熟但放在Agent場景里至少有四個問題。第一是標注成本問題。給一只機械臂的十萬幀觀測圖像做精細標注涉及物體分割、位姿估計甚至軌跡合理性判斷成本極高。而且標注質量直接影響后續(xù)策略學習標錯了等于把錯誤一路傳導下去。第二是分布漂移問題。Agent是在和一個動態(tài)環(huán)境交互的今天看到的場景分布和明天看到的可能差異很大。監(jiān)督學習假設訓練集和測試集獨立同分布這個假設在Agent場景下基本不成立。政策變化會導致觀測分布劇烈變化一個只在固定數(shù)據(jù)集上訓好的視覺表征換一個探索策略之后可能立刻失效。第三是吵鬧標簽問題。Agent數(shù)據(jù)里有很多信號本身就是模糊的——遮擋嚴重時物體到底在哪高速運動時的模糊幀里到底有什么這些連人都不一定標得準。監(jiān)督學習面對這種不確定性只能強行擬合出一個確定答案反而把噪聲當成了信號去學習。第四是任務遷移問題。監(jiān)督學習學到的特征往往會過度適配標注任務。比如只標“紅色物體”這一任務模型可能把所有顏色特征都丟掉但Agent下一個任務恰好需要區(qū)分顏色這時候就必須從頭訓練。自監(jiān)督學習的價值恰恰體現(xiàn)在這些場景里。它不需要標注只依賴數(shù)據(jù)內在結構它天然在學一般性的物理規(guī)律和視覺規(guī)律它產出的表征可以拿去做各種下游任務遷移成本遠低于監(jiān)督特征。所以在Agent這個場景下自監(jiān)督不再是一種可選的“高級技巧”而是保證系統(tǒng)真正具備泛化能力的基礎設施。1.3 “好的表征”在Agent語境下的判斷標準討論自監(jiān)督表示學習必須先定義什么叫“好”。我個人的判斷標準有三條和學術界常用的線性探測準確率不完全是一回事。第一條是預測充分性。表征里要包含能夠預測未來狀態(tài)或任務結果的信息。如果壓縮之后把關鍵物理量丟掉了比如速度、力、物體持久性那這個表征再平滑也沒用。第二條是壓縮有效性。在信息不丟失的前提下維度要盡量低、無關噪聲要盡量少。原始圖像里有光照、相機噪聲這些與決策無關的干擾好的表征應該把它們?yōu)V掉。第三條是結構遷移性。好的表征空間應該呈現(xiàn)一種“可組合”的結構同類狀態(tài)聚在一起、沿著某個特征維度平滑變化這樣下游策略只需要很簡單的網絡就能利用起來。舉個例子某次我在一個仿真環(huán)境里做經過路點的導航任務初始方案直接用原始觀測高分辨率圖像拼接位置信息訓策略結果樣本效率極低而且訓練過程中經常出現(xiàn)策略突然崩潰的情況。后面換成了自監(jiān)督預訓練出來的表征維度從幾千降到了128發(fā)現(xiàn)環(huán)境里相近位置的狀態(tài)在表征空間里也聚成了團策略訓練的收斂速度大概提升了三倍以上崩潰也少了很多。這就是預測充分性、壓縮有效性和結構遷移性同時起作用的結果。2. 自監(jiān)督表示學習的核心方法論拆解2.1 對比學習拉近正樣本、推遠負樣本對比學習是當前自監(jiān)督表示學習里面應用最廣的一類方法從SimCLR到MoCo再到BYOL底層邏輯都是同一個同一個樣本經過不同增強之后它們的表征應該盡可能接近不同樣本的表征應該盡可能遠離。這個思想簡單直接但實現(xiàn)細節(jié)里全是坑。最基本的損失函數(shù)是InfoNCE。給定一個錨點樣本、一組正樣本和一組負樣本InfoNCE的表達式是L -log( exp(sim(z_a, z_p) / τ) / Σ exp(sim(z_a, z_i) / τ) )其中sim通常是余弦相似度τ是溫度系數(shù)。這個式子可以理解成一個多分類問題在所有候選樣本中正確地把正樣本挑出來。分母里包含所有負樣本所以負樣本的質量和數(shù)量會直接影響表征的質量。對比學習在Agent場景里有個天然優(yōu)勢時間本身就是一種監(jiān)督信號。同一軌跡中鄰近時刻的觀測天然適合當作正樣本對因為它們在物理上高度相關遠處或者不同軌跡的觀測就是天然的負樣本。這種思路叫做時間對比學習我之前在項目中大量使用它來構建感知表征不需要任何人工標注就能學到“狀態(tài)變化”的結構。但是對比學習的收斂非常依賴三樣東西增強策略、批次大小、溫度系數(shù)。增強太大或者太小都不行比如對機器人圖像做過度隨機裁剪可能把機械臂的關鍵工作區(qū)域裁掉得到的表征完全偏離真實狀態(tài)。批次大小決定了負樣本的豐富程度負樣本太少模型容易塌縮到一個平凡解——所有樣本的表征都一樣這種塌縮現(xiàn)象在對比學習里非常常見表現(xiàn)形式就是損失不降、表征分布退化成幾個孤立的簇。2.2 時序預測Agent數(shù)據(jù)的隱含時間結構Agent數(shù)據(jù)有一個純圖像分類數(shù)據(jù)集沒有的特點時間連續(xù)性。狀態(tài)沿著時間軸演化是有規(guī)律的——幀與幀之間不會突變因果關系貫穿始終。自監(jiān)督方法完全可以利用這個結構做預測式學習。一類做法是預測編碼。給定一段歷史的觀測序列讓表征去預測未來時刻的表征而不是直接預測未來的像素。這里的邏輯和語言模型里的next token prediction很像只不過預測空間從離散詞表換成了連續(xù)向量空間。因為目標是表征空間而不是像素空間模型不用花大量容量去重建細節(jié)紋理可以把精力集中在結構性的、與決策相關的信息上。具體實現(xiàn)上我會用一個臨時對齊的窗口訓練時隨機抽取一段軌跡把前T幀編碼成上下文向量然后用一個過渡模塊預測未來H幀的表示再和實際未來幀的表示計算余弦相似度或均方誤差。這里有個被很多人忽略的細節(jié)預測目標必須是“未來表征的stop-gradient版本”不能反過來影響編碼器的梯度更新否則模型會走捷徑把表征空間退化成只保留歷史信息、丟掉未來可預測性的狀態(tài)。這個思路在做Agent決策時有直接幫助。策略網絡本質上就是在做“基于當前狀態(tài)預測未來收益”的事情如果狀態(tài)表征里自帶對未來演化的預測能力策略學習的難度會降低一個量級。我在導航任務里加了這個輔助目標之后策略對動態(tài)障礙的規(guī)避能力明顯變好這應該是因為表征里已經編碼了一些“物體運動趨勢”的信息。2.3 多模態(tài)對齊讓Agent的表征跨模態(tài)互通真實Agent的輸入往往是多模態(tài)的視覺、本體感知、任務指令、語音甚至觸覺。模型如果只在單一模態(tài)內部做自監(jiān)督得到的表征空間各說各話下游模塊要額外學習一層跨模態(tài)對齊費力而且容易出錯。更好的方式是在預訓練階段就直接用跨模態(tài)對齊作為監(jiān)督信號?？缒B(tài)對齊最經典的思想是同一時刻不同模態(tài)對同一個物理事件進行了觀測它們的表征應該互相匹配。比如同一幀圖像、同一時刻的關節(jié)角度、同一時刻的指令嵌入應該落在表征空間的鄰近區(qū)域。實現(xiàn)方式就是把兩個模態(tài)的編碼器輸出投影到同一個空間里然后做對比損失正樣本對是同一時刻的兩個模態(tài)負樣本對是隨機拼湊的其他組合。我在一個物體抓取模擬項目中用到了這個思路視覺觀測和觸覺信號的模態(tài)差異很大但它們在物理上描述同一個接觸事件。預訓練階段讓視覺編碼器和觸覺編碼器對齊結果兩個分支的性能都有顯著提升尤其是觸覺信號很少的時候視覺分支已經能承擔部分觸覺語義的推斷功能。這說明跨模態(tài)自監(jiān)督不只是“對齊”還在缺乏某個模態(tài)數(shù)據(jù)時產生了信息補足的效果。多模態(tài)對齊里還要注意模態(tài)間的信息不對等問題。視覺信息豐富但噪聲大觸覺信息稀疏但準確。如果直接簡單粗暴地做對齊豐富模態(tài)會主導表征結構稀疏模態(tài)學不到東西。我的做法是給不同模態(tài)的對齊損失分配不同的權重同時每一模態(tài)還保留一份自己的單模態(tài)重構損失作為穩(wěn)定錨。2.4 生成式方法掩碼重建與預測式預訓練對比學習不是自監(jiān)督的全部生成式方法同樣在Agent表示學習里扮演重要角色。生成式方法的思路是從部分觀測出發(fā)重建完整觀測或者從一系列掩碼中恢復缺失內容。這個思想比對比學習更古老但在Transformer興起之后迎來了第二春其中最典型的代表是掩碼自編碼器。從技術原理上講對比學習傾向于壓縮——聚焦共享信息并丟棄個體細節(jié)生成式重建傾向于還原——傾向于保留完整信息。Agent任務通常需要兩類信息同時具備決策需要關鍵結構快速歸納部分任務又需要精細重建比如拿取物體時的邊緣參數(shù)計算。因此我建議不要把對比和生成當作二選一的矛盾選項而是組合起來用。具體操作上我在觀察空間為圖像序列設計掩碼隨機遮蓋空間區(qū)域的50%到70%剩下的任務就是把被遮掉的部分重建出來。這個重建目標不以像素精確重建為唯一目標而是混合使用像素誤差和表征對齊損失既保留底層細節(jié)又強化高層語義。我還嘗試過在時間維度上做掩碼把某一段軌跡遮住讓模型根據(jù)前后文恢復這個方式對學習“事件開展順序”特別有效比空間掩碼更適合處理視頻類Agent數(shù)據(jù)。不過生成式方法消耗的算力明顯更大一次完整預訓練跑下來比對比方法多出至少百分之六十的時間。而且如果重建目標過于追求像素級精度模型可能會把注意力都花在重建紋理上對全局語義就相對弱化。這里我的經驗是早期訓練以像素損失為主中期增加表征一致性損失后期再加入少量對比損失做精調這種階梯式損失調整比全部損失從一開始就疊加要穩(wěn)定得多。3. 實操從零搭建Agent自監(jiān)督表示學習流水線3.1 數(shù)據(jù)采集策略與增強方案設計自監(jiān)督學習的第一步不是寫模型而是想清楚數(shù)據(jù)從哪里來。Agent項目里最常見的數(shù)據(jù)來源有三種專家示范數(shù)據(jù)、隨機探索數(shù)據(jù)、在線策略收集數(shù)據(jù)。三種數(shù)據(jù)各有側重專家示范數(shù)據(jù)質量高但覆蓋度差隨機探索數(shù)據(jù)覆蓋面廣但有大量無效狀態(tài)在線策略收集的數(shù)據(jù)分布會隨策略演化而漂移。最優(yōu)做法是混合使用并讓各類數(shù)據(jù)占比保持動態(tài)平衡。數(shù)據(jù)增強策略決定了哪些不變性會被編碼進表征。圖像方面我建議按優(yōu)先級依次考慮隨機裁剪至少覆蓋主要物體裁剪比例控制在80%以上、顏色擾動亮度、對比度、飽和度在一個有限范圍內變化、模糊、噪聲添加。這些增強對應的是真實環(huán)境中光照、視角、畫質的變化學到的表征對這些因素魯棒。同時要注意某些增強對特定任務反而是有害的比如顏色擾動對需要區(qū)分紅綠燈的駕駛任務就是災難所以在設計增強時不要盲目套模板最好能結合下游任務的先驗知識做篩選。時間序列數(shù)據(jù)方面也有自己的增強方式對軌跡做時間方向的隨機平移、在相鄰幀之間做插值或刪減來模擬不同響應延遲、對傳感器讀數(shù)做隨機縮放偏移。這類增強會讓表征對時序上的微小畸變更魯棒同時保留長期因果結構。自監(jiān)督數(shù)據(jù)清洗同樣容易被忽略。很多原始數(shù)據(jù)存在連續(xù)重復幀、黑屏瞬間和環(huán)境完全靜止的長尾片段這類片段沒有信息量還會引入大量噪聲正樣本對。我的經驗是在預處理階段把重復幀去除、把連續(xù)長時間靜止的片段剪除同時盡量減少片段長度波動統(tǒng)一每個軌跡片段的長度這樣在訓練時能獲得更穩(wěn)定的批次結構。3.2 編碼器架構與投影頭設計選擇編碼器時要同時考慮性能和部署限制。對二維圖像輸入編碼器可以考慮標準的卷積網絡或者Vision Transformer對狀態(tài)序列輸入更推薦使用帶因果掩碼的Transformer對于多模態(tài)聯(lián)合輸入先分別用各模態(tài)專用的編碼器提取特征再進入一個統(tǒng)一的融合Transformer這是目前最自然的架構選擇。具體選擇沒有固定答案和Agent下游模塊的性能預算、推理延遲都有關系。表征學習的“讀出口”是投影頭。注意預訓練階段的投影頭和下游實際使用的嵌入在邏輯上是分離的。常見做法是在編碼器后面接一個兩層的MLP投影頭把編碼器輸出的高維表示壓到一個更緊湊的空間比如128或256維在這個投影空間里計算對比損失。預訓練結束后真正用來喂給策略網絡的是編碼器的輸出或者投影頭的輸出這由實際任務效果決定。我個人的經驗是保留投影頭的輸出比較穩(wěn)定它的維度更低而且恰好是和“語義距離”對齊的。投影頭的結構并不需要很復雜兩層MLP加ReLU激活一般就夠用了。設計投影頭時的關鍵是中途層的維度和最終維度不能差得太多。如果中間層從1024驟降到128信息損失太嚴重從512降到256這種常規(guī)方案效果是最穩(wěn)的。架構層面還必須考慮批歸一化的行為差異。在自監(jiān)督預訓練中BatchNorm的統(tǒng)計量會在不同批次之間漂移在對比學習尤其是小批次場景下可能導致表征空間不穩(wěn)定。相對更安全的做法是使用LayerNorm或者直接不用歸一化層把歸一化的責任留給后續(xù)任務。這一點在Agent端側部署時尤其重要因為端側推理經常是單樣本預測BatchNorm此時會引入嚴重的統(tǒng)計偏差。3.3 損失函數(shù)組合與平衡策略單一的自監(jiān)督損失往往不足以讓Agent學到一個全能的表征我實際項目中會用多組損失組合。常用的組合方式是主體損失無論是對比還是重建加上可選的時序一致性損失加上可選的跨模態(tài)對齊損失。每個損失各管一個維度共同約束表征空間的結構。設計多組損失時最關鍵的問題是如何搭配加權系數(shù)這個基本沒有理論上的最優(yōu)解只能靠實驗經驗。我建議按照以下順序調試先只開主體損失讓模型得到一個可用的基礎表征再以較小的權重加入時序一致性損失權重為主體的10%到30%再加載跨模態(tài)對齊權重從10%開始緩慢增至20%。某次試驗我一開始就設置了大規(guī)模權重疊加齊頭并進結果主體損失正常下降但時序一致性損失不降反升表征空間出現(xiàn)震蕩最后用了兩周時間定位到是權重過高、梯度方向沖突導致的。降權之后配合梯度裁剪加線性預熱各種損失才一起穩(wěn)定下降。梯度裁剪是一個在自監(jiān)督訓練中很容易被忽略的點但它的作用非常明顯。多組損失同時回傳時梯度范數(shù)可能瞬間爆炸裁剪閾值設置在1.0到5.0之間僅僅是讓訓練過程穩(wěn)定并不能解決損失沖突。真正解決沖突還是要靠損失權重和表征維度之間的適配——表征維度越高各損失之間越容易各自為政因此盡量不要一開始就設置非常大的投影維度。3.4 三階段訓練流程預訓練、微調、在線適配Agent的自監(jiān)督表示學習和下游任務不是一次性完成的工作而是一個三階段過程。第一階段是離線預訓練。用大規(guī)模無標簽數(shù)據(jù)訓練編碼器和投影頭目標是得到通用的基礎表征。這個階段計算量最大但如果數(shù)據(jù)充足能得到一個相當完備的初始化。建議在這個階段保持較長的訓練周期定期保存checkpoint并把中間checkpoint用于評估因為你永遠不知道哪個checkpoint對下游任務最有效。第二階段是任務微調。下游強化學習或者模仿學習開始時有兩種選擇凍結編碼器只訓練策略網絡或者連同編碼器一起微調。我強烈建議先在凍結模式下測試這樣可以驗證基礎表征的質量如果凍結模式下下游任務就能達到可接受的性能說明表征質量過硬如果達不到再逐步解凍編碼器的最后幾層。完全解凍反而容易因為梯度回傳破壞表征結構導致性能能回升一段時間之后又急劇崩壞。第三階段是在線適配。Agent真正部署后環(huán)境分布可能會和預訓練數(shù)據(jù)有偏差。這個階段可以采取輕量化的在線更新策略比如隨時用新采樣數(shù)據(jù)更新表征頭編碼器保持低頻更新。這樣既保證了快速適應又避免了策略和表征同時劇烈變化導致的訓練不穩(wěn)定。三階段訓練中我最大的經驗是不要把所有階段都做成一個在線流程。一開始我以為更頻繁的更新總是更好的實際運行起來發(fā)現(xiàn)更新太頻繁會讓整個訓練過程像在沙地上蓋樓表征稍有不穩(wěn)策略立刻跟著振蕩。后來采取“預訓練不動、任務微調小步、在線適配周期化”的節(jié)奏系統(tǒng)的穩(wěn)定性才好起來。4. 訓練參數(shù)調優(yōu)與避坑實錄4.1 溫度系數(shù)、批次大小與負樣本數(shù)量溫度系數(shù)τ是影響自監(jiān)督訓練最關鍵的超參。τ越小損失越聚焦于最硬的負樣本表征的點會被推得更分散τ越大所有負樣本的影響趨于均勻表征會相對平滑。實踐中的推薦范圍是0.05到0.3之間。我見過很多人直接把τ設置成0.07然后跑所有實驗遠不是所有場景都適用。判斷τ是否合適的辦法是看表征空間的可視化結果如果同類樣本聚不到一起則嘗試調低τ如果不同類完全混合且類內擠得很緊則調高τ。批次大小對對比學習的影響體現(xiàn)在兩方面批次越大負樣本越豐富模型越容易學到平滑的決策邊界但超級大的批次對端側訓練來說不可承受。更值得推薦的做法是用較大的批次做負樣本池但使用內存隊列來緩存歷史表征MoCo的做法這樣就能在不盲目擴大物理批次的情況下變相擴大負樣本池。對于Agent項目我常用的方案是物理批次256內存隊列長度8192。這個配置在效果和顯存占用之間平衡得很好。隊列還有一個被忽略的坑是隊列中的舊表征和當前編碼器參數(shù)不一致。因為編碼器是持續(xù)更新的隊列頭部和尾部特征實際上來自不同訓練階段的編碼器版本如果不做什么處理梯度信號就不穩(wěn)定。解決方法是引入動量編碼器讓用來生成隊列表征的編碼器只是緩慢跟隨主編碼器更新動量系數(shù)設置在0.99到0.999之間。這算是MoCo這類方法能成功的核心細節(jié)我建議所有做大規(guī)模對比訓練的同行都這樣做。4.2 表征空間可視化診斷與“塌縮”防護這個部分我要重點講講訓練過程中的監(jiān)控與調試。自監(jiān)督訓練最大、最隱蔽的問題是表征塌縮模型找到了一個捷徑把所有輸入都映射到同一個表征點或者一個極小的空間區(qū)域。塌縮之后對比損失可以無限下降但這個表征對下游任務是零價值的。如何盡早發(fā)現(xiàn)塌縮我常用的第一個診斷工具是表征分布可視化。抽出一個驗證集對表征做PCA降到二維或者三維看所有樣本是否都擠在一個小區(qū)域。如果可視化結果是一個沒有內部結構的單點云基本可以斷定已經塌縮了。第二個診斷工具是計算表征協(xié)方差矩陣的奇異值正常狀態(tài)的奇異值應該有一個明顯的長尾塌縮狀態(tài)的奇異值會急劇降到接近零。這個指標比可視化更適合自動化監(jiān)控。防護塌縮主要有三招。第一是使用stop-gradient配合預測頭在目標側不更新梯度。第二是加大負樣本的難度比如主動加入難負樣本挖掘讓模型無法通過簡單特征區(qū)分樣本。第三是給表征加一個方差約束給批內表征的每一維設定一個目標方差強制表征空間不要過度收縮。我自己還踩過一個跟增強相關的坑。有一個階段模型訓練很穩(wěn)定、可視化形態(tài)也不錯但遷移到下游任務時性能持續(xù)低迷。后來排查發(fā)現(xiàn)是增強策略太強了把顏色和幾何信息徹底打亂表征學到了非常抽象的語義卻丟失了和物理位置相關的精細信息。增強不是越強越好要針對Agent任務保留決策必需的信息通道。4.3 計算資源規(guī)劃與訓練加速實踐Agent自監(jiān)督預訓練是個吃計算資源的工程提前做好資源規(guī)劃能避免很多尷尬。以我的項目為例數(shù)據(jù)量在幾十萬幀圖像左右輸入分辨率為128乘以128編碼器采用一個中等規(guī)模的視覺Transformer顯存占用在30GB左右單卡每次迭代約1.2秒。預訓練到收斂大概需要跑十萬步區(qū)間在一天半到三天之間。如果你的項目想完全復現(xiàn)我的成規(guī)模訓練用四卡分布式訓練是明顯體驗更好也更穩(wěn)的方案。分布式訓練中第一個問題是多卡同步BatchNorm。默認情況下每張卡獨自計算批統(tǒng)計量這在小批次條件下會帶來很嚴重的分布不一致。解決方案是用同步BatchNorm在訓練框架中把普通的BatchNorm2d替換為SyncBatchNorm讓統(tǒng)計量跨卡同步。這個改動在一階段預訓練中幾乎是必選項。第二個加速手段是混合精度訓練把計算和存儲放到FP16或者BF16上進行。對于自監(jiān)督訓練我遇到過梯度下溢的情況解決辦法是把損失縮放系數(shù)設得大一些或者直接用BF16在某些支持硬件上會更加省心。實測下來混合精度能讓訓練速度提升60%到80%代價是偶爾需要關注數(shù)值穩(wěn)定性。第三個建議是數(shù)據(jù)加載不要成為瓶頸。Agent數(shù)據(jù)經常是視頻流存儲使用JPEG或者PNG逐幀讀取很慢。建議在預處理時把視頻抽出來做成一個按幀索引的內存映射文件例如Mosaic或WebDataset格式這樣數(shù)據(jù)吞吐量至少能翻一倍而且不會讓GPU在等待數(shù)據(jù)時摸魚。5. 常見問題與排查技巧速查5.1 典型故障和處理辦法我把過去項目中遇到的典型問題整理成了一張速查表覆蓋自監(jiān)督訓練最常見的故障現(xiàn)象和處理手段故障現(xiàn)象可能原因排查路徑與解決方案損失持續(xù)不降學習率太低 / 增強太強導致特征被破壞先調大學習率試一兩個epoch再逐步減弱增強強度表征塌縮可視化全擠在一起負樣本不足 / 未使用stop-gradient方案加大隊列長度檢查是否誤刪掉stop-gradient下游任務性能提升不明顯預訓練和微調之間的數(shù)據(jù)分布不一致檢查預訓練數(shù)據(jù)是否覆蓋與下游任務一致的狀態(tài)分布擴大數(shù)據(jù)覆蓋微調時表征結構被破壞編碼器全部解凍且學習率過高凍結表征層只解凍最后兩層并降低學習率訓練不穩(wěn)定損失震蕩劇烈多組損失梯度方向沖突降低輔助損失權重增加預熱階段和梯度裁剪分布式訓練結果和單卡對不上未使用同步BatchNorm / 數(shù)據(jù)shuffle不一致檢查歸一化層統(tǒng)一隨機種子驗證數(shù)據(jù)分發(fā)方式端側部署性能下降明顯BatchNorm統(tǒng)計量在單樣本推理時失效切換到LayerNorm或者導出時把BN層的統(tǒng)計量固化這里放一個比較容易被忽視的細節(jié)微調階段評估表征質量最好用“凍結線性評測”模式就是在預訓練好的表征上接一個線性層只訓練這個線性層來做一些簡單的預測任務。如果這個線性評測的效果都達不到預期說明表征本身質量是有問題的換再復雜的網絡也沒用。這樣可以把“表征問題”和“策略訓練問題”解耦開來避免排查時互相甩鍋。5.2 一條真實排查實錄連續(xù)三次重啟訓練都不收斂有一段時間我連續(xù)三次重啟預訓練任務全部出現(xiàn)同一現(xiàn)象前500步損失快速下降之后突然反彈到初始水平再之后陷入長期緩慢下降。最初我以為是學習率的問題調整了三次依然無效。后來仔細檢查訓練日志發(fā)現(xiàn)每一次重啟的隨機種子相同、數(shù)據(jù)順序是固定的于是懷疑是數(shù)據(jù)順序導致的難易樣本分布不均勻。分批檢查后發(fā)現(xiàn)用于打亂的一條隨機邏輯在線程數(shù)大于1時產生了一個漏洞導致后半段數(shù)據(jù)集幾乎全是困難樣本困難樣本集中出現(xiàn)自然會讓損失沖高反彈。把數(shù)據(jù)打亂邏輯修復之后訓練曲線立刻正常。這個案例提醒我遇到訓練不收斂時先懷疑數(shù)據(jù)和工程邏輯再懷疑算法和超參。很多人一看見損失曲線異常就去調學習率和溫度系數(shù)實際上真正的問題可能在一行不起眼的shuffle代碼里。5.3 如何設計一次有效的表征消融實驗在向團隊或自己證明“自監(jiān)督表示學習確實有效”時不能只看最終任務指標那樣很難定位變量。我用得比較成功的方式是做一套系統(tǒng)的消融實驗重點比較三組設置第一組用隨機初始化的表征直接訓策略第二組用自監(jiān)督預訓練但凍結的表征訓策略第三組用自監(jiān)督預訓練加微調的表征訓策略。每組設置下跑同一個下游任務記錄三樣東西樣本效率達到目標性能所需的環(huán)境交互步數(shù)、最終性能、訓練穩(wěn)定性多次重復試驗的性能方差。這三樣綜合起來才能給出一個可靠的結論。只比較最終性能的話圖省事有時候甚至會得出負結論因為下游策略的不穩(wěn)定性會淹沒表征帶來的優(yōu)勢。我一般把方案組選了三種都可以的場景細化每次實驗至少跑三次不同的隨機種子性能方差就是最強的說服力。在我自己的經驗里最明顯的收益往往不是最終性能提升而是樣本效率的大幅改善。自監(jiān)督預訓練模型通常能在更少的環(huán)境交互步數(shù)內達到同等性能這在真實物理系統(tǒng)上意味著節(jié)省大量的真機試錯成本它體現(xiàn)的價值比一兩個點的最終精度更加可貴。6. 基于個人經驗的最后幾條實戰(zhàn)建議自監(jiān)督表示學習不是一個能夠短平快解決的小工具而是一個對整個Agent系統(tǒng)產生長期影響的基礎環(huán)節(jié)。我建議所有剛接觸它的同行不要一上來就追最新模型、堆最大算力而是先把數(shù)據(jù)質量做扎實充分理解增強策略對表征語義的影響再穩(wěn)步展開實驗。挑模型時我會特別提醒不要盲目迷信生成式重建方法。像素重建目標更加消耗計算資源在分辨率高、場景復雜的Agent任務里往往需要非常仔細地設計損失權重才能收斂到一個有意義的狀態(tài)。對比式和預測式方法在很多中等規(guī)模項目里的性價比會更高也能更容易地和已有的強化學習框架集成。還有一個建議是如果條件允許把自監(jiān)督預訓練和你最終的Agent應用任務放在同一個仿真環(huán)境里進行而不要使用完全無關的通用數(shù)據(jù)集。同一環(huán)境產出的數(shù)據(jù)天然匹配Agent遇到的輸入分布差別太大的數(shù)據(jù)集哪怕規(guī)模再大預處理出來的表征也很難適應具體任務。這個道理和我一開始說到的監(jiān)督學習短板同出一源分布的一致性重要性遠高于無腦的數(shù)據(jù)量。最后想分享一個小技巧保存checkpoint的時候不只是保存最終那一個而是隔幾個階段就把中間checkpoint也存下來。自監(jiān)督訓練有時會在某些checkpoint上表現(xiàn)出奇特的下游優(yōu)勢可能比最后收斂的那個還要好用。這些中間狀態(tài)在語義結構上往往還沒有被過度壓縮或過度平滑正好適配某些下游任務的需求。后來這成了我的標配習慣也讓我的項目總能在關鍵時刻找到一條靈活的退路。自監(jiān)督表示學習的演進還在繼續(xù)目前看到的潮流是更大規(guī)模、更多模態(tài)、更長上下文但核心的邏輯不會變讓Agent從數(shù)據(jù)自身的結構里成長出對世界的穩(wěn)定理解而不是什么都靠人一塊塊喂給它。