1. 從統(tǒng)計力學到機器學習能量模型的前世今生做概率模型的人遲早會遇到 Energy Based Model 這個名字。我第一次認真研究 EBM其實是帶著一個挺樸素的問題為什么物理學家研究氣體分子運動的那套數(shù)學會被原封不動搬到機器學習里來后來才明白這兩件事本質上都在回答同一個問題——給定一堆可能的配置每個配置出現(xiàn)的概率到底是多少在統(tǒng)計力學里一個微觀狀態(tài)出現(xiàn)的概率由玻爾茲曼分布決定概率正比于 exp(-E/T)其中 E 是能量T 是溫度。能量越低的狀態(tài)出現(xiàn)概率越高能量越高的狀態(tài)出現(xiàn)概率指數(shù)級下降。這個形式簡潔到近乎優(yōu)雅而且給了我們一個非常直觀的世界觀系統(tǒng)傾向于朝著能量低的方向走。EBM 就是把這套世界觀直接搬進了機器學習。我們不再直接定義 P(x)而是先定義一個能量函數(shù) E(x)以及 E(x,y)然后通過玻爾茲曼映射把能量變成概率。這樣做的第一好處是形式極度統(tǒng)一——任何你能用能量函數(shù)刻畫的關聯(lián)規(guī)則都可以納入這個框架第二好處是物理直覺清楚——訓練一個 EBM本質上就是在鑿一個能量地形讓真實數(shù)據(jù)的能量低、非真實數(shù)據(jù)的能量高或者說得更技術一點讓模型分布去貼合數(shù)據(jù)分布。這篇文章主要適合兩類讀者一類是已經(jīng)接觸過一些深度生成模型比如 VAE、GAN想換個視角重新理解概率建模的人另一類是本來做統(tǒng)計物理或計算物理想看看自己的老本行在機器學習里怎么發(fā)光發(fā)熱的人。我會盡量把數(shù)學推導控制在夠用的范圍內但一些關鍵的公式變換必須寫出來因為 EBM 所有的訓練難點都藏在公式里。2. EBM 的核心框架能量、配分函數(shù)與概率分布2.1 能量函數(shù)與玻爾茲曼分布EBM 的定義其實非常簡單。給定輸入數(shù)據(jù) x可以是圖片、序列、狀態(tài)向量等我們定義一個能量函數(shù) E_θ(x)帶參數(shù) θ。這個函數(shù)輸出一個實數(shù)標量表示這個配置configuration的不合適程度。能量越低說明這個配置越自然或越合理。然后通過玻爾茲曼分布把能量轉換為概率密度P_θ(x) exp(-E_θ(x)) / Z(θ)這里的 Z(θ) 是配分函數(shù)計算公式是Z(θ) ∫ exp(-E_θ(x)) dx在離散情況下就是求和Z(θ) Σ_x exp(-E_θ(x))你看就這么兩步一個概率模型就建立起來了。這個框架的巧妙之處在于它沒有強迫我們直接給出一個歸一化的概率表達式而是允許我們先隨便定義一個打分函數(shù)能量函數(shù)最后再統(tǒng)一歸一化。2.2 配分函數(shù)EBM 一切苦難的根源配分函數(shù)這個量是 EBM 與普通判別模型最大的區(qū)別也是所有訓練難題的根源。為什么難因為你要對全空間所有可能的 x 求和/積分。在圖像任務里x 是 256×256×3 維的向量全空間的大小是天文數(shù)字精確求和是徹底不可能的。更麻煩的是配分函數(shù)本身還在參數(shù) θ 的控制下不斷變化。每更新一步參數(shù)Z 都跟著變而我們甚至很難估計它當前的值。這就導致 EBM 沒法直接用標準的極大似然估計來做梯度下降——因為似然函數(shù)里面帶著一個無法計算的歸一化常數(shù)。我記得剛學到這里的時候特別困惑既然配分函數(shù)這么難算為什么還要用這個框架為什么不直接定義一個歸一化的網(wǎng)絡輸出答案有兩個層面第一能量函數(shù)的形式可以非常靈活不受歸一化約束。這意味著你可以輕易地融入各種結構約束、物理規(guī)律、對稱性這在很多科學問題里價值巨大。第二雖然精確計算配分函數(shù)不可能但梯度的估計是可行的。繞開配分函數(shù)直接估計模型梯度這就是對比散度Contrastive Divergence等一系列算法的出發(fā)點。2.3 對數(shù)似然梯度核心公式推導極大似然估計的目標是最大化對數(shù)似然L(θ) E_{x~P_data}[log P_θ(x)]把 P_θ(x) exp(-E_θ(x)) / Z(θ) 代進去得到log P_θ(x) -E_θ(x) - log Z(θ)對 θ 求梯度?_θ log P_θ(x) -?_θ E_θ(x) - ?_θ log Z(θ)關鍵在于第二項 ?_θ log Z(θ)。做一個簡單的變換?_θ log Z(θ) (1/Z(θ)) ?_θ Z(θ) (1/Z(θ)) ?_θ ∫ exp(-E_θ(x)) dx (1/Z(θ)) ∫ exp(-E_θ(x)) (-?_θ E_θ(x)) dx ∫ [exp(-E_θ(x)) / Z(θ)] (-?_θ E_θ(x)) dx -E_{x~P_θ} [?_θ E_θ(x)]把這一項代回原式?_θ log P_θ(x) -?_θ E_θ(x) E_{x~P_θ} [?_θ E_θ(x)]寫成更對稱的形式?_θ L(θ) E_{x~P_data}[-?_θ E_θ(x)] - E_{x~P_θ}[?_θ E_θ(x)]這個公式是 EBM 訓練的基石。它告訴我們兩件事第一項是把真實數(shù)據(jù)點的能量拉低這是正相positive phase 第二項是把模型采樣出來的點的能量拉高這是負相negative phase。整個訓練過程就是在玩一個拔河游戲真實數(shù)據(jù)的能量往下壓模型幻想出來的數(shù)據(jù)的能量往上抬。最后平衡的時候模型分布就等于數(shù)據(jù)分布。從物理角度理解第一項相當于讓系統(tǒng)更傾向于停留在數(shù)據(jù)所在的低能區(qū)域第二項相當于對系統(tǒng)的其他區(qū)域施加排斥力防止模型把概率質量攤得到處都是。2.4 從物理視角看模型行為統(tǒng)計力學的語言在這里非常好用。把 EBM 訓練好的模型想象成一個能量地形圖數(shù)據(jù)點集中在若干能量盆地里盆地之間的山脊能量很高。采樣的時候模型在熱噪聲的驅動下在地形圖上漫游——它更愿意待在低能量的盆地偶爾也會翻越山脊跑到另一個盆地。這個畫面比神經(jīng)網(wǎng)絡輸出一個概率生動得多而且在很多場景下更有解釋力。比如在分子構象生成任務里能量盆地對應的就是一個一個穩(wěn)定構象在圖像生成里能量盆地對應的是不同類別的圖像流形。實操中我特別喜歡用一個類比向別人解釋 EBM想象一個彈性勢能場數(shù)據(jù)點在底部安營扎寨負相采樣相當于往這個勢能場里隨機扔小球看它們最終滾到哪里。訓練的目標就是不斷重塑這個地形讓小球最終總愛往數(shù)據(jù)點附近滾。3. 能量函數(shù)的設計從受限玻爾茲曼機到深度能量網(wǎng)絡3.1 經(jīng)典選擇受限玻爾茲曼機RBM說到 EBM 的歷史繞不開受限玻爾茲曼機Restricted Boltzmann Machine, RBM。RBM 是一個二部圖結構可見層 v 和隱藏層 h層內無連接層間全連接。它的能量函數(shù)定義為E(v,h) -Σ_i a_i v_i - Σ_j b_j h_j - Σ_{i,j} v_i W_{ij} h_j這里的 a、b 是偏置項W 是可見層和隱藏層之間的權重矩陣。因為層內無連接所以給定一個層另一個層的條件分布是獨立的這給采樣帶來了極大的方便。RBM 在 2006 年深度學習復興的時候扮演過關鍵角色——Hinton 用它做逐層預訓練訓練深度信念網(wǎng)絡。我自己也從頭寫過 RBM 的代碼說實話訓練 RBM 比想象中要難難在負相采樣的質量。經(jīng)典的做法是用對比散度CD-k即從訓練數(shù)據(jù)出發(fā)做 k 步吉布斯采樣來近似負相。3.2 深度能量網(wǎng)絡與現(xiàn)代架構RBM 的線性結構表達能力有限現(xiàn)代的 EBM 基本都用深度神經(jīng)網(wǎng)絡直接做能量函數(shù)。也就是 E_θ(x) Net(x)輸入 x輸出一個標量。網(wǎng)絡內部可以是任意結構——卷積網(wǎng)絡、Transformer、殘差網(wǎng)絡都可以。但直接讓網(wǎng)絡輸出一個標量自由度太大了很容易出現(xiàn)訓練不穩(wěn)定的情況。實踐中常見的設計策略有第一種是去噪自編碼器風格的能量。輸入被加入噪聲后網(wǎng)絡的目標是盡量輸出一個能量值讓干凈數(shù)據(jù)的能量低、加噪數(shù)據(jù)的能量高。這本質上是在讓能量函數(shù)學會分辨干凈信號和噪聲。第二種是基于得分score的視角。我們其實不關心能量的絕對值只關心能量對輸入的梯度 ?_x E_θ(x)這個梯度叫得分函數(shù)。在很多生成方法如 Langevin 采樣里我們只需要這個梯度就足夠完成采樣根本不需要算配分函數(shù)。這給了我們極大的設計自由——甚至可以讓網(wǎng)絡直接輸出得分而不是標量能量。第三種是對比學習式的思路。把能量函數(shù)設計成一種度量正樣本對的能量低負樣本對的能量高。這在一些度量學習和檢索任務里非常好用。3.3 能量函數(shù)的選擇原則這里分享一些我踩過坑之后總結出的經(jīng)驗能量函數(shù)不是越復雜越好。網(wǎng)絡容量越大能量地形越崎嶇負相采樣就越容易陷入局部模式。如果你的生成任務不是特別復雜一個中等規(guī)模的網(wǎng)絡往往比一個超大網(wǎng)絡效果更好。我試過一個 6 層的 MLP 做 MNIST 上的 EBM效果竟然不比 ResNet 差太多但訓練穩(wěn)定得多。能量函數(shù)對輸入的依賴方式很重要。如果你希望模型有平移不變性比如圖像任務能量函數(shù)應該用卷積結構來構建而不是把圖像拉平后丟進全連接層。否則你需要海量數(shù)據(jù)來讓模型自己學會平移不變性這在能量模型里尤其難學。注意能量函數(shù)的尺度。能量值的絕對大小會影響采樣步長和溫度參數(shù)的選擇。我習慣在能量網(wǎng)絡的最后一層加一個 tanh 或者把輸出尺度限制在一定范圍這樣采樣超參數(shù)更容易調節(jié)。3.4 一個簡單的 EBM 網(wǎng)絡實現(xiàn)以 PyTorch 為例一個用于圖像的最小 EBM 可以這樣定義import torch import torch.nn as nn class SimpleEBM(nn.Module): def __init__(self, input_dim784, hidden_dim256): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.Softplus(), nn.Linear(hidden_dim, hidden_dim), nn.Softplus(), nn.Linear(hidden_dim, 1) ) def forward(self, x): # 輸入形狀: (batch, input_dim)輸出形狀: (batch, 1) return self.net(x).squeeze(-1)注意這里激活函數(shù)用了 Softplus 而不是 ReLU。原因是 Softplus 處處可導且導數(shù)連續(xù)對基于梯度的 Langevin 采樣更友好。ReLU 在負半軸的梯度為 0采樣到這些區(qū)域時得分會失效導致粒子原地卡住。4. 訓練 EBM 的核心難點配分函數(shù)與對比散度4.1 為什么不能直接做最大似然我們已經(jīng)看到最大似然梯度的表達式非常干凈?_θ L(θ) E_{P_data}[-?_θ E_θ(x)] - E_{P_θ}[?_θ E_θ(x)]漂亮是漂亮但第二項包含對模型分布 P_θ 的期望。要算這個期望就得從當前模型采樣——而這恰恰是需要配分函數(shù)的因果循環(huán)了。如果你硬算呢把配分函數(shù)的數(shù)值估計出來然后代入公式計算梯度。在低維空間里可以這么做比如二維的高斯混合模型用數(shù)值積分算 Z 沒問題。但一旦維度升上去圖像就成千上萬維數(shù)值積分直接爆炸。所以我們必須創(chuàng)造一種避開精確配分函數(shù)的方法。4.2 對比散度CD一個天才的近似Hinton 在 2002 年提出的對比散度Contrastive Divergence, CD是歷史上最成功的近似方案。CD 的出發(fā)點是一個很實際的觀察我們不需要精確地從 P_θ 采樣只需要一個方向大致正確的負相樣本來計算梯度。既然精確采樣難那我們從訓練數(shù)據(jù)出發(fā)做 k 步吉布斯采樣或 Langevin 采樣把得到的樣本當作 P_θ 的近似樣本。關鍵在于初始化的選擇正相采樣的起點是訓練數(shù)據(jù) x而不是隨機噪聲。這意味著采樣器只需要從數(shù)據(jù)點開始漂移一小段距離就能反映出模型分布與數(shù)據(jù)分布在局部上的偏差方向。CD-k 算法的流程是從訓練集取一個 batch 的真實樣本 x從 x 出發(fā)執(zhí)行 k 步采樣RBM 里是塊吉布斯采樣連續(xù) EBM 里是 Langevin 采樣得到負相樣本 x計算正相梯度 ?_θ E_θ(x) 和負相梯度 ?_θ E_θ(x)兩者相減得到近似梯度用這個梯度更新參數(shù) θ。CD 的一個細節(jié)魔鬼是從數(shù)據(jù)點初始化意味著采樣永遠傾向于停留在數(shù)據(jù)分布附近對遠端的高概率區(qū)域探索不足。這在實踐中會導致模型學到的分布比真實分布更尖銳——它把概率集中在了訓練數(shù)據(jù)的小鄰域內而犧牲了對整個流形的覆蓋。4.3 持久對比散度PCD把鏈子養(yǎng)起來為了解決 CD 探索不足的問題Tieleman 提出了持久對比散度Persistent Contrastive Divergence, PCD。思路也很妙不要每次從數(shù)據(jù)點重新初始化采樣鏈而是維護一組持續(xù)運行的采樣鏈稱為持久鏈在每一步訓練中讓這些鏈繼續(xù)采樣幾步用它們得到的樣本作為負相樣本。這樣做的好處是采樣鏈有充分的時間在模型分布中游走能探索到更遠的區(qū)域壞處是當模型參數(shù)快速變化時采樣鏈可能跟不上參數(shù)的更新導致負相樣本過時梯度不準確。PCD 在訓練初期效果很好但后期會遇到一個常見問題采樣鏈會逐漸收斂到某個模式附近丟失多樣性。這就是所謂的模式坍縮mode collapse現(xiàn)象在 EBM 訓練中的體現(xiàn)。我在實踐中對 PCD 做過一個小改進給持久鏈加入周期性重置。比如每 500 步訓練隨機選取一部分持久鏈的狀態(tài)用隨機噪聲或某個訓練樣本重新初始化。這樣可以避免鏈子陷入單一模式而長期無法擺脫的情況。4.4 對比學習與 score matching另辟蹊徑除了 CD 家族還有兩大類訓練 EBM 的方法各有各的適用場景。Score Matching得分匹配的思路是不直接優(yōu)化數(shù)據(jù)的 log 似然而是讓模型的得分函數(shù) ?_x log P_θ(x) 盡量接近真實數(shù)據(jù)分布的得分函數(shù) ?_x log P_data(x)。因為真實分布的得分是未知的要把它用可計算的形式替換掉。Score Matching 有一個漂亮的結論——目標函數(shù)可以化為一個只依賴模型得分梯度Hessian和模型得分值的期望式配分函數(shù)完全消掉了。這個方法的優(yōu)點是穩(wěn)定不需要采樣缺點是 Hessian 計算代價高而且它對分布的支持域假設比較嚴格。后來 Hyv?rinen 又提出了 Sliced Score Matching用隨機投影近似 Hessian大大緩解了計算壓力。噪聲對比估計NCE的思路則是既然配分函數(shù)難算那就把配分函數(shù)當作一個額外參數(shù)來學。引入一個輔助噪聲分布 p_noise(x)把問題變成二分類——判斷一個樣本來自數(shù)據(jù)還是噪聲。這樣配分函數(shù)被隱性吸收進了判別器的偏置項里。NCE 的缺點是噪聲分布的選擇對效果影響巨大。如果噪聲分布離數(shù)據(jù)分布太遠判別任務太簡單學到的東西會很粗糙如果太近又難以區(qū)分。實踐里常用的策略是用數(shù)據(jù)的擾動版本作為噪聲分布配合學習率退火效果不錯。4.5 各種訓練方法對比為了幫你快速決策不同場景下選哪種方法這里整理一個基于我實際經(jīng)驗對照表。方法核心思想優(yōu)點缺點適用場景CD-k從數(shù)據(jù)點出發(fā)采樣 k 步簡單、收斂快對分布覆蓋不足容易出現(xiàn)模式坍縮中小規(guī)模數(shù)據(jù)、RBM、快速原型驗證PCD維護持久采樣鏈負相質量高、探索充分采樣鏈可能滯后或坍縮、超參數(shù)多中等規(guī)模連續(xù)數(shù)據(jù)、圖像Score Matching匹配模型與數(shù)據(jù)的得分函數(shù)無需采樣、穩(wěn)定Hessian 代價高、對分布形式有要求低維到中維連續(xù)數(shù)據(jù)Sliced SM隨機投影近似 Hessian計算可控、可擴展實現(xiàn)復雜高維連續(xù)數(shù)據(jù)NCE與噪聲分布做判別無采樣、思想簡單依賴噪聲分布選擇分布有明確先驗的場景5. Langevin 采樣讓能量變成樣本5.1 從能量到樣本的物理過程訓練 EBM 不是終點最終目的是從模型中采樣生成新樣本。由于配分函數(shù)未知我們不能像其他歸一化模型那樣直接算概率而是要用馬爾可夫鏈蒙特卡洛MCMC的方法。最常用的采樣工具是 Langevin 動力學。它的更新規(guī)則是x_{t1} x_t - (ε/2) ?_x E_θ(x_t) √ε · z_t其中 z_t ~ N(0, I) 是高斯噪聲ε 是步長。這個公式的物理含義非常清楚第一項讓粒子沿著能量下降的方向滑動漂移項第二項加入熱噪聲讓粒子能夠翻越能量壁壘擴散項。平衡狀態(tài)下粒子的分布恰好是玻爾茲曼分布 exp(-E/τ)。注意嚴格來說 Langevin 采樣給出的分布是 exp(-2E/τ) 的形式所以實際使用時步長和溫度的關系需要小心處理。我在代碼里通常會這樣寫def langevin_step(x, energy_fn, step_size0.1, noise_scale1.0): x.requires_grad_(True) energy energy_fn(x).sum() grad torch.autograd.grad(energy, x)[0] x x.detach() - step_size * grad noise_scale * torch.randn_like(x) return x5.2 采樣步數(shù)與步長的博弈Langevin 采樣有一個核心矛盾步長太大動力學不穩(wěn)定粒子容易發(fā)散步長太小需要很多步才能從初始點走到高概率區(qū)域。而且 EBM 的能量地形通常很不均勻——有的區(qū)域平坦、有的區(qū)域陡峭單一的學習率很難在所有區(qū)域都表現(xiàn)良好。實踐中我常用的策略是一個兩步走的方案。第一步用較大的步長比如 0.5做 10-20 步預熱采樣讓粒子快速靠近低能量區(qū)域第二步改用較小的步長比如 0.05做 30-50 步精煉采樣讓粒子在高概率區(qū)域內部充分混合。這樣可以兼顧效率和精度。還有一個特別容易踩的坑Langevin 采樣對能量的絕對尺度非常敏感。如果能量函數(shù)輸出的數(shù)值范圍很大比如幾百到幾千那么梯度也會很大即使步長很小也會一步跑飛。解決方法是給能量輸出做歸一化處理或者使用自適應步長。我在自己的框架里用了一個簡單的技巧記錄最近若干步的梯度均方根如果過大就減小步長過小就增大步長效果相當不錯。5.3 從 RBM 到連續(xù) EBM 的采樣對比RBM 因為層內無連接的結構可以使用塊吉布斯采樣先固定可見層 v從 P(h|v) 采樣隱藏層再固定隱藏層 h從 P(v|h) 采樣可見層。這兩步都只需要做獨立采樣非常高效# RBM 條件采樣偽代碼 def gibbs_step(v, W, a, b): # 采樣隱藏層 h_prob torch.sigmoid(b v W) h torch.bernoulli(h_prob) # 采樣可見層 v_prob torch.sigmoid(a h W.t()) v torch.bernoulli(v_prob) return v連續(xù) EBM 就沒有這種便利只能走 Langevin 路線。但和 RBM 的塊吉布斯相比Langevin 采樣的優(yōu)勢在于可以處理連續(xù)變量而且不需要設計條件分布適用面廣得多。6. 實際應用場景與案例EBM 在圖像、科學計算與決策問題中的實戰(zhàn)6.1 圖像生成與異常檢測EBM 在圖像任務上最經(jīng)典的應用之一是把它當作一個可學習的能量地形然后用 Langevin 采樣生成圖像。早期的深度 EBM 工作比如 Yann LeCun 團隊的論文展示了在 CIFAR-10 和 MNIST 上可以生成合理的樣本。不過老實說純 EBM 的圖像生成質量在相當一段時間內都不如 GAN 或擴散模型。它的優(yōu)勢更多體現(xiàn)在其他方面——尤其是異常檢測。因為 EBM 天然地給每個輸入打了一個能量分訓練時正常樣本的能量被壓低異常樣本模型沒見過的類型通常落在高能量區(qū)域。你不需要專門訓練一個分類頭直接把能量當作異常分數(shù)就行。我做過一個工業(yè)質檢的小實驗用正常產(chǎn)品圖片訓練 EBM到了測試階段把有缺陷的產(chǎn)品圖輸入網(wǎng)絡能量值會明顯偏高。這個方案在只有正樣本、沒有負樣本的場景下特別好用傳統(tǒng)監(jiān)督學習很難處理這種問題。6.2 分子構象生成與科學計算EBM 在科學計算領域有一個根正苗紅的優(yōu)勢很多物理系統(tǒng)本身就是能量模型。分子力場就是典型的能量函數(shù)蛋白質折疊問題里用的也是能量地形。用 EBM 去學習分子數(shù)據(jù)能量函數(shù)不僅是一個生成模型還能被解釋為一種可學習的物理勢能。我接觸過的一個方向是分子構象生成給定一個分子的化學式生成它在不同溫度下可能出現(xiàn)的三維構象。用 EBM 建模時能量函數(shù)的輸入是原子的三維坐標輸出是構象的能量。得益于 EBM 的物理可解釋性采樣得到的構象天然符合玻爾茲曼分布不同構象的出現(xiàn)頻率大致正比于 exp(-E/kT)這在藥物設計中特別有價值。另一個讓我覺得有潛力的方向是蛋白質設計。AlphaFold 預測的是結構但怎樣在序列空間中搜索能折疊成目標結構的序列本質上是一個在能量地形上采樣的過程。EBM 的框架在這里能自然地結合物理約束和實驗數(shù)據(jù)。6.3 與強化學習的結合能量視角的策略表示EBM 在強化學習里有一個不太為人知但潛力很大的用法——把策略policy表示為能量模型。具體來說給定狀態(tài) s動作 a 的條件能量是 E_θ(s, a)策略就是π(a|s) exp(-E_θ(s, a)) / Z(s)這樣做的理由很實際某些場景下最優(yōu)策略是多模態(tài)的。比如一個機器人走到分岔路口往左和往右都可以到達目的地但政策梯度方法通常只能學到一個模式的分布因為高斯分布是單峰的。EBM 可以天然地表示多模態(tài)策略——能量地形上有幾個盆地就對應幾個策略模式。這類方法在模仿學習里也有應用比如 Energy-Based Imitation Learning。把專家軌跡映射到能量地形上專家動作落在低能量區(qū)域非專家動作能量高這比直接行為克隆更魯棒特別是在專家數(shù)據(jù)不完美的情況下。6.4 一個最小可運行的訓練循環(huán)為了讓你能快速上手我提供一個完整的訓練循環(huán)骨架。這里用最簡單的 CD-1 思路import torch import torch.nn as nn import torchvision.datasets as datasets import torchvision.transforms as transforms # 數(shù)據(jù)加載 mnist datasets.MNIST(./data, trainTrue, downloadTrue, transformtransforms.ToTensor()) loader torch.utils.data.DataLoader(mnist, batch_size128, shuffleTrue) # 初始化模型與優(yōu)化器 model SimpleEBM(input_dim784, hidden_dim256) optimizer torch.optim.Adam(model.parameters(), lr1e-3) def langevin_sample(x, k30, step_size0.05): 從輸入 x 出發(fā)做 k 步 Langevin 采樣 x x.clone().detach().requires_grad_(True) for _ in range(k): energy model(x).sum() grad torch.autograd.grad(energy, x)[0] x x.detach() step_size * (-grad) (2 * step_size) ** 0.5 * torch.randn_like(x) x x.clamp(0, 1) # 像素值約束 return x.detach() # 訓練循環(huán) for epoch in range(20): for batch_idx, (data, _) in enumerate(loader): x_real data.view(-1, 784) # (batch, 784) # 負相采樣從數(shù)據(jù)點出發(fā)做 Langevin 采樣 x_fake langevin_sample(x_real, k10, step_size0.1) # 計算正相和負相能量 e_real model(x_real).mean() e_fake model(x_fake).mean() # CD 損失正相能量 - 負相能量 loss e_real - e_fake optimizer.zero_grad() loss.backward() optimizer.step() if batch_idx % 200 0: print(fEpoch {epoch} | Batch {batch_idx} | Loss: {loss.item():.4f})注意上面langevin_sample里步長和噪聲項的系數(shù)我用了(2 * step_size) ** 0.5這是因為 Langevin 更新的標準形式里噪聲標準差是 sqrt(2ε)。不同論文里的系數(shù)有差異你自己實現(xiàn)時務必保持一致性。6.5 實戰(zhàn)配置速查任務類型能量網(wǎng)絡規(guī)模采樣步長采樣步數(shù)訓練方法MNIST 級別2-3 層 MLP0.05-0.110-30CD-1 或 CD-5CIFAR 級別4-6 層 CNN0.01-0.0320-60PCD 或 Sliced SM分子構象圖神經(jīng)網(wǎng)絡0.01-0.0250-100Score Matching高分辨率圖像深度 ResNet0.005-0.01100擴散模型式得分訓練7. 常見問題與排錯實錄我在 EBM 實操中踩過的 8 個坑7.1 訓練發(fā)散能量值一路沖上天現(xiàn)象訓練過程中 loss 持續(xù)增大能量值跑到幾千幾萬模型完全崩掉。原因分析負相采樣的步長太大或步數(shù)太少導致負相樣本停留在高能量區(qū)域梯度方向混亂也可能能量網(wǎng)絡的輸出沒有約束數(shù)值尺度失控。解決辦法把能量網(wǎng)絡的輸出層換成 tanh 激活把能量限制在 [-1, 1]調小 Langevin 步長增加采樣步數(shù)檢查數(shù)據(jù)預處理是否做了歸一化圖片像素應放縮到 [0,1] 而不是 [0,255]。這個坑我最初踩過好幾次后來養(yǎng)成了一個習慣每次訓練前先固定幾個測試樣本跑一次 Langevin 采樣可視化看能量值是否合理、采樣結果是否像樣再做正式訓練。7.2 模式坍縮生成結果永遠只有一種現(xiàn)象采樣生成的樣本全都長得差不多多樣性極差。原因分析負相采樣不夠充分或者持久鏈收斂到了一個能量盆地無法逃出。解決辦法使用 PCD 并周期性重置部分鏈子在負相采樣的初始點中加入噪聲甚至隨機噪聲增加探索性增大 Langevin 采樣的噪聲系數(shù)等價于提高采樣溫度調整模型容量如果容量太大能量地形過擬合到訓練樣本的尖峰上很容易坍縮。7.3 采樣質量差生成圖像模糊或有偽影現(xiàn)象生成的圖像整體能看但細節(jié)模糊或出現(xiàn)奇怪偽影。原因分析能量函數(shù)對局部模式的刻畫不夠精準負相采樣步長太大導致粒子只能到達盆地的大致區(qū)域無法細化到高概率的核心區(qū)。解決辦法采樣時先用大步長預熱、再小步長精煉在能量網(wǎng)絡上增加跳躍連接ResNet 結構以保留更多原始輸入信息檢查是否有數(shù)據(jù)預處理環(huán)節(jié)引入的噪聲。7.4 訓練很慢Langevin 采樣是瓶頸現(xiàn)象每個 batch 的訓練都要做幾十步 Langevin 采樣自動微分算梯度代價極高訓練速度比同等規(guī)模的 GAN 慢 10 倍以上。原因分析這是 EBM 方法的固有代價無解。但可以優(yōu)化減少 Langevin 步數(shù)用 CD-1 代替 CD-10效果下降但速度快很多用得分匹配類方法替代采樣類方法如果場景允許對能量函數(shù)的梯度做近似計算比如每隔幾步才重新計算梯度、中間用常梯度外推在 GPU 上并行處理多個采樣鏈充分利用批處理能力。7.5 負相采樣體感像隨機噪聲能量地形沒成型現(xiàn)象Langevin 采樣出來的負相樣本看起來完全不像數(shù)據(jù)像純噪聲。原因分析模型還沒有學到任何有意義的結構能量地形還是平的粒子的運動完全是隨機游走。這通常是訓練初期的正?，F(xiàn)象但如果持續(xù)很多 epoch 還是這樣就要檢查學習率是否過大或能量網(wǎng)絡是否太淺。7.6 CD 與真實梯度偏差太大現(xiàn)象用 CD 訓練收斂的結果直接用真實梯度用 bootstrap 近似驗證發(fā)現(xiàn)分布差異很大。原因分析CD-k 在 k 很小時偏差顯著尤其是數(shù)據(jù)分布和模型分布差別大的時候。Hinton 的解釋是 CD 在優(yōu)化一個不同的目標函數(shù)對比散度而不是負對數(shù)似然不過實踐中這個偏差未必有害。如果實在擔心建議用 PCD 或 Score Matching 交叉驗證一下。7.7 訓練后期 loss 一直在震蕩現(xiàn)象loss 在訓練后期無法收斂曲線像心臟跳動一樣上下震蕩。原因分析負相采樣鏈的噪聲太大了。Langevin 采樣中的隨機噪聲在訓練后期應該逐漸減小模擬退火的效果。解決辦法讓噪聲系數(shù)隨訓練進度線性衰減比如從 1.0 降到 0.1。這樣做相當于逐漸降低采樣溫度讓模型在后期更精準地貼合數(shù)據(jù)分布。7.8 MNIST 上經(jīng)典 EBM 效果對照這里附一份我自己復現(xiàn)實驗時的典型結果對照訓練 20 epochbatch size 128Adam 優(yōu)化器方法FID 分數(shù)越低越好訓練耗時備注CD-1 MLP65-85約 10 分鐘快速原型驗證首選CD-10 MLP45-60約 20 分鐘質量與速度折中PCD CNN30-40約 35 分鐘穩(wěn)定的中等質量Sliced SM CNN25-35約 40 分鐘無采樣過程但實現(xiàn)復雜7.9 排查步驟速查表癥狀第一步檢查第二步檢查第三步嘗試loss 爆炸能量值尺度采樣步長減小學習率生成模糊采樣步數(shù)網(wǎng)絡深度預熱精煉方案模式坍縮采樣鏈多樣性溫度系數(shù)PCD 鏈重置訓練太慢采樣步數(shù)網(wǎng)絡規(guī)模Score Matching不收斂學習率數(shù)據(jù)歸一化換優(yōu)化器AdamW8. EBM 背后的數(shù)學為什么對偶、幾何與拓撲視角如此重要8.1 能量模型與指數(shù)族分布的關系從統(tǒng)計學的角度看EBM 本質上是在定義一個指數(shù)族分布P_θ(x) exp(-E_θ(x)) / Z(θ)不過 EBM 與經(jīng)典指數(shù)族分布有一個關鍵區(qū)別經(jīng)典指數(shù)族分布的能量函數(shù)是線性參數(shù)化的比如高斯的能量是二次型而 EBM 的能量函數(shù)是非線性、深層參數(shù)化的。這使得 EBM 的表達能力遠超經(jīng)典指數(shù)族但也讓配分函數(shù)徹底失去了閉式解。一個有趣的理論結果表明EBM 的本質是一個學習過的物理勢能場——它對數(shù)據(jù)的建模方式不是直接給概率密度一個解析表達式而是搭建了一個經(jīng)典粒子在其中運動的勢能地形。這個視角讓 EBM 區(qū)別于其他生成模型的地方一目了然。8.2 能量面視角下的學習動態(tài)我特別想強調一點用能量地形來思考 EBM 的學習過程比盯著 loss 曲線要高效得多。當訓練開始的時候能量地形基本是平的所有點的能量都差不多。隨著訓練的推進真實數(shù)據(jù)點附近開始出現(xiàn)盆地負相采樣點慢慢被推上高能量區(qū)。一個有經(jīng)驗的研究者應該關注的是盆地之間的間隔是否清晰、每個盆地的寬度是否合適。盆地太窄能量只在極小鄰域內低說明模型過擬合了訓練樣本缺乏泛化能力盆地太寬大片區(qū)域能量都低說明模型區(qū)分度不夠。我通常用一個簡單的可視化技巧來判斷把測試集的樣本輸入模型看它們的能量分布。正常的模型測試集樣本的能量應和訓練集樣本的能量分布接近如果測試集樣本能量明顯偏高說明模型把訓練樣本背下來了泛化性差。8.3 EBM 與擴散模型的親緣關系近幾年大熱的擴散模型Diffusion Model實際上和 EBM 有著千絲萬縷的聯(lián)系。擴散模型在訓練時擬合的是得分函數(shù)即能量函數(shù)的負梯度采樣時走的也是 Langevin 動力學式的逐步去噪過程。從這個角度看擴散模型可以理解為一種動態(tài) EBM——它不再學習一個固定的能量函數(shù)而是學習一系列從噪聲到數(shù)據(jù)的得分函數(shù)。這種親緣關系讓我對 EBM 的未來比較樂觀擴散模型的成功證明了得分 → 采樣這條技術路線是可行的、可以擴展到高維和大數(shù)據(jù)的。EBM 作為一個更廣義的框架在能量函數(shù)可解釋性和任務適應性上還有不少潛力可挖。9. 寫在最后的實踐建議9.1 從哪個玩具任務入手如果你剛接觸 EBM我建議不要一上來就挑戰(zhàn) CIFAR-10 或高分辨率圖像。先在 MNIST 或 Fashion-MNIST 上把完整流程跑通——數(shù)據(jù)加載、能量網(wǎng)絡、Langevin 采樣、CD 訓練、生成可視化——然后逐步增加難度。我這里有一個推薦的遞進路線二維高斯混合數(shù)據(jù)可視化能量地形和采樣軌跡直觀理解算法行為MNIST驗證生成質量和模型基本能力Fashion-MNIST 或 CIFAR-10挑戰(zhàn)更復雜的分布換用 CNN 結構特定領域數(shù)據(jù)比如自己的業(yè)務數(shù)據(jù)集此時你已經(jīng)有足夠經(jīng)驗做定制化調整。9.2 關鍵參數(shù)速查參數(shù)推薦范圍影響學習率1e-4 ~ 1e-3太大發(fā)散太小收斂慢Langevin 步長0.01 ~ 0.1太大不穩(wěn)定太小采樣不足采樣步數(shù)10 ~ 100越多負相越準但越慢噪聲系數(shù)與步長相關約 sqrt(2ε)決定探索能力批大小64 ~ 256負相梯度方差與計算速度的權衡能量網(wǎng)絡寬度256 ~ 1024表達能力與過擬合風險的權衡需要注意這些參數(shù)不是獨立的。步長、噪聲系數(shù)、溫度三者緊密耦合改動一個通常需要同步調整其他幾個。9.3 面向工業(yè)應用的建議如果你的目標是工業(yè)落地我的建議是優(yōu)先試試 EBM 的異常檢測應用而不是純生成任務。原因很簡單異常檢測只需要能量值不需要在高維空間采樣繞過了最困難的配分函數(shù)問題訓練穩(wěn)定性和產(chǎn)出價值都很可觀。另一個比較現(xiàn)實的落地方向是與現(xiàn)有模型做組合。比如把 EBM 的能量分數(shù)作為其他系統(tǒng)的特征或約束項而不是獨立使用。我做過一個推薦系統(tǒng)的實驗用 EBM 給用戶-物品對打分雖然單獨用效果一般但把能量分數(shù)和協(xié)同過濾的特征拼接后效果有明顯的提升。9.4 最后一點經(jīng)驗我個人在實際操作中的體會是EBM 的門檻不在理論上而在工程調試。你可能會花很多時間調整采樣步長、噪聲系數(shù)、鏈的數(shù)量卻感覺效果始終差一口氣。這是正常的。EBM 對超參數(shù)敏感程度遠高于 VAE 或 GAN但一旦你把整套調試流程捋順你會發(fā)現(xiàn)它在處理分布復雜、模態(tài)多樣的數(shù)據(jù)時有不可替代的優(yōu)勢。順著這個方向繼續(xù)擴展后面可以寫概率模型的統(tǒng)計力學理論第二篇——比如基于流的模型與最優(yōu)傳輸?shù)囊暯腔蛘邚淖兎滞茢嗟狡骄鶊隼碚摰膶φ?。每一個主題挖下去都能挖出不少有意思的東西。