一視角)
概率圖模型、貝葉斯模型、VAE和GAN這四個(gè)詞放在一起很多人第一反應(yīng)是這能放一塊講嗎。能而且必須放一塊講。因?yàn)樗鼈儽举|(zhì)上都在回答同一個(gè)問(wèn)題當(dāng)我們面對(duì)一個(gè)充滿(mǎn)不確定性的世界時(shí)如何用一個(gè)可計(jì)算的框架去描述它、推斷它、甚至生成它。我接觸這幾個(gè)方向是從做異常檢測(cè)開(kāi)始的。當(dāng)時(shí)需要在一個(gè)沒(méi)有標(biāo)簽的數(shù)據(jù)集上判斷哪些樣本不對(duì)勁試過(guò)孤立森林、One-Class SVM效果都一般。后來(lái)轉(zhuǎn)向概率圖模型做密度估計(jì)才真正理解了用概率描述世界這件事的威力。再往后深入發(fā)現(xiàn)VAE和GAN雖然看起來(lái)是深度學(xué)習(xí)的東西但它們的根都在概率推斷里。VAE的ELBO推導(dǎo)本質(zhì)就是變分推斷GAN的對(duì)抗訓(xùn)練背后是最小化JS散度。不理解概率圖模型和貝葉斯推斷看VAE和GAN的論文就只能停留在調(diào)包層面。這篇文章我打算把這四個(gè)東西串起來(lái)講。不是教科書(shū)式的定義羅列而是按照為什么需要它→它怎么工作→它和前后左右的關(guān)系是什么→實(shí)際用的時(shí)候要注意什么這條線(xiàn)來(lái)展開(kāi)。適合有一定機(jī)器學(xué)習(xí)基礎(chǔ)、想真正搞懂生成模型底層邏輯的讀者。如果你只是想知道怎么調(diào)庫(kù)這篇文章可能不太適合你但如果你想在面試?yán)锇裋AE和GAN的區(qū)別講清楚或者想在自己的項(xiàng)目里判斷該用哪個(gè)模型那往下看。1. 從不確定性說(shuō)起為什么我們需要概率圖模型1.1 確定性模型的局限在哪里傳統(tǒng)機(jī)器學(xué)習(xí)模型大多在做一件事給定輸入x輸出一個(gè)確定的y。圖像分類(lèi)輸出類(lèi)別回歸輸出數(shù)值。這種范式在很多場(chǎng)景下工作得很好但它有一個(gè)隱含假設(shè)——世界是確定的或者至少噪聲是可以被平均掉的?，F(xiàn)實(shí)往往不是這樣。同一個(gè)癥狀可能對(duì)應(yīng)多種疾病同一句話(huà)可能有多重含義同一個(gè)用戶(hù)行為可能出于完全不同的動(dòng)機(jī)。這時(shí)候如果模型只輸出一個(gè)確定答案它其實(shí)是在假裝自己很確定而忽略了真實(shí)存在的不確定性。概率圖模型的核心思想就是不要假裝確定而是把不確定性顯式地建模出來(lái)。它用節(jié)點(diǎn)表示隨機(jī)變量用邊表示變量之間的依賴(lài)關(guān)系整個(gè)圖就是一個(gè)聯(lián)合概率分布的緊湊表示。1.2 圖結(jié)構(gòu)到底在表達(dá)什么很多人學(xué)概率圖模型的時(shí)候卡在為什么要有圖這一步。直接用聯(lián)合概率分布不行嗎舉個(gè)例子。假設(shè)有5個(gè)二值隨機(jī)變量聯(lián)合分布有2^5 - 1 31個(gè)參數(shù)。如果有20個(gè)變量呢2^20 - 1超過(guò)一百萬(wàn)。參數(shù)量隨變量數(shù)指數(shù)增長(zhǎng)根本沒(méi)法估計(jì)。但如果我們知道這些變量之間的依賴(lài)關(guān)系是稀疏的——比如每個(gè)變量只和它的鄰居直接相關(guān)——那就可以用圖來(lái)編碼這種稀疏性。貝葉斯網(wǎng)絡(luò)里一個(gè)變量的條件概率只依賴(lài)于它的父節(jié)點(diǎn)馬爾可夫隨機(jī)場(chǎng)里一個(gè)變量的條件概率只依賴(lài)于它的鄰居。參數(shù)量從指數(shù)級(jí)降到線(xiàn)性級(jí)。這就是圖的威力它把哪些變量直接相關(guān)這個(gè)先驗(yàn)知識(shí)編碼進(jìn)了模型結(jié)構(gòu)里從而大幅降低了需要學(xué)習(xí)的參數(shù)量。1.3 有向圖和無(wú)向圖的分工概率圖模型分兩大陣營(yíng)有向圖貝葉斯網(wǎng)絡(luò)和無(wú)向圖馬爾可夫隨機(jī)場(chǎng)。有向圖的邊有方向A→B表示A是B的原因。聯(lián)合分布可以分解為每個(gè)節(jié)點(diǎn)在給定父節(jié)點(diǎn)下的條件概率的乘積P(x?, x?, ..., x?) ∏? P(x? | parents(x?))無(wú)向圖的邊沒(méi)有方向表示變量之間的相關(guān)性。聯(lián)合分布用團(tuán)勢(shì)函數(shù)的乘積來(lái)表示需要除以一個(gè)歸一化常數(shù)Z配分函數(shù)。實(shí)際用的時(shí)候怎么選如果變量之間有明確的因果方向用有向圖如果只是相關(guān)性或者因果關(guān)系循環(huán)用無(wú)向圖。我個(gè)人的經(jīng)驗(yàn)是做因果推斷優(yōu)先有向圖做圖像分割、社交網(wǎng)絡(luò)分析這類(lèi)任務(wù)無(wú)向圖更自然。注意有向圖里不能有環(huán)這是貝葉斯網(wǎng)絡(luò)的定義要求。如果你發(fā)現(xiàn)自己的因果假設(shè)里有循環(huán)要么重新審視假設(shè)要么改用無(wú)向圖或者動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)。2. 貝葉斯模型從先驗(yàn)到后驗(yàn)的推斷邏輯2.1 貝葉斯定理不只是公式貝葉斯定理寫(xiě)出來(lái)就一行P(θ | D) P(D | θ) · P(θ) / P(D)但它的含義遠(yuǎn)不止一行。它說(shuō)的是我們對(duì)參數(shù)的信念先驗(yàn)P(θ)在看到數(shù)據(jù)D之后應(yīng)該更新為后驗(yàn)P(θ | D)。更新的力度取決于數(shù)據(jù)D在假設(shè)θ下的似然P(D | θ)。這個(gè)框架的美妙之處在于它把學(xué)習(xí)這件事從找最優(yōu)參數(shù)變成了更新信念分布。頻率學(xué)派說(shuō)參數(shù)是固定的、未知的貝葉斯學(xué)派說(shuō)參數(shù)本身就有分布數(shù)據(jù)的作用是讓我們對(duì)這個(gè)分布的認(rèn)識(shí)更精確。2.2 共軛先驗(yàn)讓計(jì)算可行的關(guān)鍵技巧貝葉斯推斷最大的計(jì)算障礙是分母P(D)P(D) ∫ P(D | θ) · P(θ) dθ這個(gè)積分在高維空間里幾乎不可能解析計(jì)算。共軛先驗(yàn)就是來(lái)解決這個(gè)問(wèn)題的。如果先驗(yàn)分布和后驗(yàn)分布屬于同一個(gè)分布族那先驗(yàn)就叫似然的共軛先驗(yàn)。比如似然共軛先驗(yàn)后驗(yàn)伯努利Beta分布Beta分布多項(xiàng)式Dirichlet分布Dirichlet分布高斯已知方差高斯分布高斯分布泊松Gamma分布Gamma分布用共軛先驗(yàn)的好處是后驗(yàn)有閉式解不需要做數(shù)值積分。這在概率圖模型里特別重要因?yàn)閳D模型里有很多條件概率需要推斷如果每個(gè)都做數(shù)值積分計(jì)算量會(huì)爆炸。2.3 從精確推斷到近似推斷共軛先驗(yàn)?zāi)芙鉀Q一部分問(wèn)題但大多數(shù)真實(shí)模型里后驗(yàn)沒(méi)有閉式解。這時(shí)候就需要近似推斷。兩大類(lèi)方法變分推斷用一個(gè)簡(jiǎn)單的分布q(θ)去近似真實(shí)后驗(yàn)p(θ | D)通過(guò)優(yōu)化讓q和p盡可能接近。接近程度用KL散度衡量。變分推斷把推斷問(wèn)題轉(zhuǎn)化成了優(yōu)化問(wèn)題速度快但精度受限于q的表達(dá)能力。采樣方法從后驗(yàn)分布中采樣用樣本估計(jì)期望。MCMC馬爾可夫鏈蒙特卡洛是最經(jīng)典的方法理論上可以收斂到真實(shí)后驗(yàn)但計(jì)算量大收斂判斷也麻煩。我自己的經(jīng)驗(yàn)是數(shù)據(jù)量小、模型簡(jiǎn)單的時(shí)候用MCMC精度有保障數(shù)據(jù)量大、模型復(fù)雜的時(shí)候用變分推斷速度優(yōu)先。現(xiàn)在深度學(xué)習(xí)里的貝葉斯方法基本都是變分推斷的變體。實(shí)操心得變分推斷的KL散度是q||p還是p||q結(jié)果差別很大。q||p是均值尋求mode-seeking傾向于讓q集中在p的一個(gè)峰上p||q是均值覆蓋mass-covering傾向于讓q覆蓋p的所有峰。VAE里用的是q||p所以生成的樣本有時(shí)候會(huì)偏保守。3. VAE當(dāng)變分推斷遇上深度學(xué)習(xí)3.1 VAE到底在優(yōu)化什么VAE變分自編碼器的核心是一個(gè)帶隱變量的生成模型p(x) ∫ p(x | z) · p(z) dzx是觀測(cè)數(shù)據(jù)比如一張圖片z是隱變量比如圖片的抽象特征p(z)是隱變量的先驗(yàn)通常取標(biāo)準(zhǔn)正態(tài)分布p(x | z)是解碼器從隱變量生成數(shù)據(jù)。問(wèn)題還是那個(gè)積分。VAE的解法是引入一個(gè)編碼器q(z | x)來(lái)近似真實(shí)后驗(yàn)p(z | x)然后推導(dǎo)出一個(gè)可優(yōu)化的下界——ELBO證據(jù)下界log p(x) ≥ E_q(z|x)[log p(x | z)] - KL(q(z | x) || p(z))第一項(xiàng)是重構(gòu)誤差第二項(xiàng)是KL散度衡量編碼器輸出的分布和先驗(yàn)的差距。最大化ELBO就是在重構(gòu)得準(zhǔn)和隱空間規(guī)整之間找平衡。3.2 重參數(shù)化技巧讓采樣可導(dǎo)VAE訓(xùn)練里有一個(gè)技術(shù)細(xì)節(jié)特別關(guān)鍵從q(z | x)采樣z這個(gè)操作本身是不可導(dǎo)的梯度傳不回去。重參數(shù)化技巧解決了這個(gè)問(wèn)題。假設(shè)q(z | x)是正態(tài)分布N(μ, σ2)我們不直接從N(μ, σ2)采樣而是先采一個(gè)標(biāo)準(zhǔn)正態(tài)噪聲ε ~ N(0, 1)然后令z μ σ · ε。這樣z的隨機(jī)性來(lái)自ε而μ和σ是確定性的、可導(dǎo)的。梯度可以通過(guò)μ和σ傳回編碼器。這個(gè)技巧看起來(lái)簡(jiǎn)單但它是VAE能端到端訓(xùn)練的關(guān)鍵。沒(méi)有它VAE就只能用強(qiáng)化學(xué)習(xí)里的策略梯度來(lái)訓(xùn)練方差大、收斂慢。3.3 VAE的隱空間為什么規(guī)整KL散度項(xiàng)強(qiáng)迫q(z | x)接近標(biāo)準(zhǔn)正態(tài)分布。這意味著隱空間是連續(xù)的相近的z解碼出相近的x隱空間是稠密的從先驗(yàn)里隨便采一個(gè)z解碼出來(lái)都像那么回事隱空間是可插值的兩個(gè)z之間的線(xiàn)性插值能平滑過(guò)渡這三點(diǎn)讓VAE的隱空間特別適合做表示學(xué)習(xí)。我做過(guò)一個(gè)實(shí)驗(yàn)用VAE編碼人臉然后在隱空間里做算術(shù)戴眼鏡的z減去不戴眼鏡的z加上不戴眼鏡的z解碼出來(lái)基本就是戴眼鏡的。這種結(jié)構(gòu)化的隱空間是VAE相比普通自編碼器最大的優(yōu)勢(shì)。但代價(jià)也很明顯KL散度項(xiàng)太強(qiáng)的時(shí)候解碼器會(huì)偷懶生成的圖片模糊。這就是VAE生成質(zhì)量不如GAN的根本原因——它為了隱空間的規(guī)整性犧牲了生成分布的銳利度。踩坑記錄我最早訓(xùn)VAE的時(shí)候重構(gòu)損失用MSE結(jié)果生成的圖片全是糊的。后來(lái)?yè)Q成感知損失用預(yù)訓(xùn)練網(wǎng)絡(luò)提取特征算距離清晰度明顯提升。再后來(lái)發(fā)現(xiàn)MSE本身就是在假設(shè)數(shù)據(jù)服從高斯分布對(duì)圖像這種分布高斯假設(shè)太弱了。4. GAN用對(duì)抗代替似然4.1 GAN繞開(kāi)了什么難題GAN的思路和VAE完全不同。它不建模似然不做變分推斷而是直接訓(xùn)練一個(gè)生成器G讓它的輸出分布逼近真實(shí)數(shù)據(jù)分布。怎么逼近引入一個(gè)判別器DD的任務(wù)是區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)G的任務(wù)是騙過(guò)D。兩者交替訓(xùn)練最終G生成的樣本讓D無(wú)法區(qū)分。這個(gè)框架繞開(kāi)了概率密度估計(jì)這個(gè)難題。我們不需要知道p(x)的具體形式只需要能從p(x)里采樣真實(shí)數(shù)據(jù)本身就是樣本然后讓G的輸出分布和它對(duì)齊。4.2 對(duì)抗訓(xùn)練背后的散度GAN的原始目標(biāo)函數(shù)是min_G max_D E_x~p_data[log D(x)] E_z~p_z[log(1 - D(G(z)))]理論上可以證明當(dāng)D最優(yōu)時(shí)最小化這個(gè)目標(biāo)等價(jià)于最小化真實(shí)分布和生成分布之間的JS散度。JS散度有個(gè)問(wèn)題當(dāng)兩個(gè)分布沒(méi)有重疊的時(shí)候JS散度是常數(shù)log 2梯度為0。這就是GAN訓(xùn)練不穩(wěn)定的根源——如果真實(shí)分布和生成分布支撐集不重疊判別器完美區(qū)分生成器就得不到有效梯度。WGAN用Wasserstein距離替代JS散度解決了這個(gè)問(wèn)題。Wasserstein距離即使兩個(gè)分布不重疊也能提供有意義的梯度。實(shí)現(xiàn)上WGAN要求判別器滿(mǎn)足Lipschitz連續(xù)性通過(guò)權(quán)重裁剪或者梯度懲罰來(lái)實(shí)現(xiàn)。4.3 模式崩潰GAN的頑疾模式崩潰mode collapse是GAN最讓人頭疼的問(wèn)題生成器只生成少數(shù)幾種樣本覆蓋不了真實(shí)分布的所有模式。原因在于生成器的目標(biāo)是騙過(guò)判別器而不是覆蓋整個(gè)分布。如果生成器發(fā)現(xiàn)生成某一種樣本就能騙過(guò)判別器它就會(huì)一直生成這種樣本放棄其他模式。緩解方法有不少M(fèi)ini-batch discrimination讓判別器看一批樣本而不是單個(gè)樣本如果一批樣本太相似就判為假Unrolled GAN生成器更新時(shí)考慮判別器未來(lái)幾步的反應(yīng)Wasserstein距離提供更平滑的梯度讓生成器不容易卡在單一模式多個(gè)生成器每個(gè)生成器負(fù)責(zé)不同模式我自己的經(jīng)驗(yàn)是WGAN-GP帶梯度懲罰的WGAN在大多數(shù)任務(wù)上最穩(wěn)但訓(xùn)練速度比原始GAN慢。如果追求生成質(zhì)量StyleGAN系列是目前的天花板但結(jié)構(gòu)復(fù)雜訓(xùn)練成本高。實(shí)操心得GAN訓(xùn)練時(shí)判別器和生成器的更新頻率很關(guān)鍵。原始論文是1:1交替但實(shí)踐中判別器更新太頻繁會(huì)導(dǎo)致生成器梯度消失更新太少又會(huì)讓判別器太弱、生成器得不到有效信號(hào)。我一般會(huì)監(jiān)控D的準(zhǔn)確率保持在60%-80%之間比較健康。如果D準(zhǔn)確率接近100%說(shuō)明判別器太強(qiáng)了要降低它的學(xué)習(xí)率或者減少更新次數(shù)。5. 四個(gè)框架的橫向?qū)Ρ扰c選型邏輯5.1 從建模對(duì)象看差異框架建模對(duì)象推斷方式生成方式概率圖模型聯(lián)合分布P(X)精確/近似推斷ancestral sampling貝葉斯模型后驗(yàn)P(θ|D)MCMC/變分推斷后驗(yàn)預(yù)測(cè)VAE隱變量模型P(x,z)變分推斷從先驗(yàn)采樣z解碼GAN生成分布P_G(x)無(wú)推斷從噪聲映射概率圖模型和貝葉斯模型是框架VAE和GAN是具體模型。VAE可以看作概率圖模型的一種有隱變量的有向圖它的訓(xùn)練用的是貝葉斯推斷里的變分推斷。GAN則跳出了概率圖模型的框架用對(duì)抗的方式直接對(duì)齊分布。5.2 什么時(shí)候用哪個(gè)需要可解釋的因果結(jié)構(gòu)概率圖模型。比如醫(yī)療診斷你需要知道癥狀和疾病之間的依賴(lài)關(guān)系而不是一個(gè)黑箱輸出概率。需要量化不確定性貝葉斯模型。比如金融風(fēng)控你需要知道預(yù)測(cè)的置信區(qū)間而不是一個(gè)點(diǎn)估計(jì)。需要結(jié)構(gòu)化隱空間VAE。比如做表示學(xué)習(xí)、數(shù)據(jù)壓縮、異常檢測(cè)VAE的隱空間有良好的幾何性質(zhì)。需要高質(zhì)量生成GAN。比如圖像生成、風(fēng)格遷移、超分辨率GAN生成的樣本銳利度高。需要密度估計(jì)VAE或者標(biāo)準(zhǔn)化流normalizing flow。GAN不提供密度VAE提供的是ELBO下界標(biāo)準(zhǔn)化流提供精確密度。5.3 融合趨勢(shì)最近幾年的趨勢(shì)是融合。比如VAE-GAN用GAN的判別器增強(qiáng)VAE的重構(gòu)質(zhì)量Adversarial VAE在VAE的ELBO上加對(duì)抗損失Normalizing Flow VAE用可逆變換增強(qiáng)后驗(yàn)的表達(dá)能力Diffusion Model本質(zhì)上是層次化VAE但用去噪得分匹配訓(xùn)練生成質(zhì)量超過(guò)GANDiffusion Model值得單獨(dú)提一句。它把生成過(guò)程拆成很多步每步加一點(diǎn)噪聲然后學(xué)習(xí)逆過(guò)程。訓(xùn)練目標(biāo)簡(jiǎn)單就是去噪生成質(zhì)量高但采樣慢?，F(xiàn)在很多工作在做加速采樣比如DDIM、一致性模型。6. 實(shí)際項(xiàng)目中的踩坑與調(diào)參經(jīng)驗(yàn)6.1 VAE的KL散度權(quán)重VAE的損失是重構(gòu)損失加KL散度。KL項(xiàng)的權(quán)重β直接影響生成質(zhì)量和隱空間規(guī)整度的平衡。β1是標(biāo)準(zhǔn)VAE。β1β-VAE會(huì)得到更解耦的隱表示但重構(gòu)質(zhì)量下降。β1會(huì)得到更清晰的重構(gòu)但隱空間可能不夠規(guī)整。我的經(jīng)驗(yàn)是做表示學(xué)習(xí)用β4到10做生成用β0.5到1。如果發(fā)現(xiàn)隱空間有空洞采樣出來(lái)解碼是噪聲說(shuō)明KL項(xiàng)太弱了要加大β。6.2 GAN的梯度懲罰系數(shù)WGAN-GP的梯度懲罰系數(shù)λ一般取10。這個(gè)值不是隨便定的它對(duì)應(yīng)著Lipschitz常數(shù)和Wasserstein距離估計(jì)之間的權(quán)衡。λ太小Lipschitz約束不夠Wasserstein距離估計(jì)不準(zhǔn)λ太大梯度懲罰主導(dǎo)損失生成質(zhì)量下降。我試過(guò)λ從1到10010確實(shí)是最穩(wěn)的。如果訓(xùn)練不穩(wěn)定可以先檢查梯度懲罰項(xiàng)的實(shí)際值它應(yīng)該接近0如果很大說(shuō)明判別器不滿(mǎn)足Lipschitz約束。6.3 概率圖模型的結(jié)構(gòu)學(xué)習(xí)概率圖模型最難的不是參數(shù)學(xué)習(xí)是結(jié)構(gòu)學(xué)習(xí)——怎么從數(shù)據(jù)里學(xué)出圖結(jié)構(gòu)。基于評(píng)分的方法如BIC、BDeu在小規(guī)模問(wèn)題上可行但變量多了就是NP難?；诩s束的方法如PC算法用條件獨(dú)立性檢驗(yàn)來(lái)建邊但對(duì)檢驗(yàn)的可靠性很敏感。我的建議是如果領(lǐng)域知識(shí)足夠手動(dòng)定結(jié)構(gòu)如果不夠先用基于約束的方法得到一個(gè)初始結(jié)構(gòu)再用領(lǐng)域知識(shí)修正。完全自動(dòng)的結(jié)構(gòu)學(xué)習(xí)在變量超過(guò)20個(gè)的時(shí)候基本不可靠。6.4 貝葉斯模型的先驗(yàn)選擇先驗(yàn)的選擇是貝葉斯建模里最藝術(shù)的部分。無(wú)信息先驗(yàn)如均勻分布看起來(lái)客觀但在高維空間里會(huì)導(dǎo)致后驗(yàn)不正則化。Jeffreys先驗(yàn)用Fisher信息矩陣來(lái)構(gòu)造有不變性但計(jì)算復(fù)雜。弱信息先驗(yàn)是實(shí)踐中最常用的給一個(gè)寬的正態(tài)分布或者柯西分布既不完全無(wú)信息也不強(qiáng)加太多主觀信念。我個(gè)人的原則是如果對(duì)參數(shù)有明確的領(lǐng)域知識(shí)用信息先驗(yàn)如果沒(méi)有用弱信息先驗(yàn)如果數(shù)據(jù)量足夠大先驗(yàn)的影響會(huì)被似然淹沒(méi)這時(shí)候用什么先驗(yàn)差別不大。注意先驗(yàn)的選擇會(huì)影響后驗(yàn)的尾部行為。如果做風(fēng)險(xiǎn)敏感的任務(wù)比如金融尾部行為很重要要特別小心先驗(yàn)的選擇。正態(tài)先驗(yàn)的尾部是指數(shù)衰減的柯西先驗(yàn)的尾部是多項(xiàng)式衰減的后者更厚尾對(duì)異常值更魯棒。7. 從理論到代碼幾個(gè)關(guān)鍵實(shí)現(xiàn)細(xì)節(jié)7.1 VAE的損失函數(shù)實(shí)現(xiàn)import torch import torch.nn as nn import torch.nn.functional as F class VAE(nn.Module): def __init__(self, input_dim, hidden_dim, latent_dim): super().__init__() self.encoder nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU() ) self.mu nn.Linear(hidden_dim, latent_dim) self.logvar nn.Linear(hidden_dim, latent_dim) self.decoder nn.Sequential( nn.Linear(latent_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, input_dim), nn.Sigmoid() ) def reparameterize(self, mu, logvar): std torch.exp(0.5 * logvar) eps torch.randn_like(std) return mu eps * std def forward(self, x): h self.encoder(x) mu, logvar self.mu(h), self.logvar(h) z self.reparameterize(mu, logvar) x_recon self.decoder(z) return x_recon, mu, logvar def vae_loss(x_recon, x, mu, logvar, beta1.0): recon_loss F.binary_cross_entropy(x_recon, x, reductionsum) kl_loss -0.5 * torch.sum(1 logvar - mu.pow(2) - logvar.exp()) return recon_loss beta * kl_loss這里logvar而不是var是為了保證方差為正。重參數(shù)化里std exp(0.5 * logvar)就是σ。7.2 GAN的訓(xùn)練循環(huán)def train_gan(G, D, dataloader, optimizer_G, optimizer_D, latent_dim, n_critic5, clip_value0.01): for real_data, _ in dataloader: batch_size real_data.size(0) # 訓(xùn)練判別器 for _ in range(n_critic): z torch.randn(batch_size, latent_dim) fake_data G(z).detach() real_score D(real_data) fake_score D(fake_data) d_loss -torch.mean(real_score) torch.mean(fake_score) optimizer_D.zero_grad() d_loss.backward() optimizer_D.step() # WGAN的權(quán)重裁剪 for p in D.parameters(): p.data.clamp_(-clip_value, clip_value) # 訓(xùn)練生成器 z torch.randn(batch_size, latent_dim) fake_data G(z) g_loss -torch.mean(D(fake_data)) optimizer_G.zero_grad() g_loss.backward() optimizer_G.step()這是WGAN的簡(jiǎn)化實(shí)現(xiàn)。n_critic5表示判別器更新5次生成器更新1次。權(quán)重裁剪是WGAN的原始做法實(shí)踐中WGAN-GP用梯度懲罰替代效果更好但計(jì)算量更大。7.3 貝葉斯推斷的變分實(shí)現(xiàn)class BayesianLinear(nn.Module): def __init__(self, in_features, out_features): super().__init__() self.in_features in_features self.out_features out_features # 權(quán)重的變分參數(shù) self.weight_mu nn.Parameter(torch.randn(out_features, in_features) * 0.1) self.weight_logvar nn.Parameter(torch.randn(out_features, in_features) * 0.1) # 偏置的變分參數(shù) self.bias_mu nn.Parameter(torch.randn(out_features) * 0.1) self.bias_logvar nn.Parameter(torch.randn(out_features) * 0.1) def forward(self, x): # 采樣權(quán)重 weight_std torch.exp(0.5 * self.weight_logvar) weight_eps torch.randn_like(weight_std) weight self.weight_mu weight_eps * weight_std bias_std torch.exp(0.5 * self.bias_logvar) bias_eps torch.randn_like(bias_std) bias self.bias_mu bias_eps * bias_std return F.linear(x, weight, bias) def kl_loss(self): # 變分后驗(yàn)和標(biāo)準(zhǔn)正態(tài)先驗(yàn)的KL散度 weight_kl -0.5 * torch.sum( 1 self.weight_logvar - self.weight_mu.pow(2) - self.weight_logvar.exp() ) bias_kl -0.5 * torch.sum( 1 self.bias_logvar - self.bias_mu.pow(2) - self.bias_logvar.exp() ) return weight_kl bias_kl貝葉斯神經(jīng)網(wǎng)絡(luò)的核心就是把權(quán)重從確定值變成分布前向傳播時(shí)采樣權(quán)重?fù)p失函數(shù)里加KL散度項(xiàng)。訓(xùn)練時(shí)用重參數(shù)化技巧保證可導(dǎo)。8. 幾個(gè)容易混淆的概念澄清8.1 變分推斷和變分自編碼器的關(guān)系變分推斷是一種通用的近似推斷方法VAE是變分推斷在深度學(xué)習(xí)里的一個(gè)應(yīng)用。VAE的編碼器就是變分推斷里的變分分布q(z | x)解碼器是生成模型p(x | z)。VAE的創(chuàng)新在于用神經(jīng)網(wǎng)絡(luò)參數(shù)化q和p并且用重參數(shù)化技巧實(shí)現(xiàn)了端到端訓(xùn)練。但變分推斷不一定要用神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的變分推斷用指數(shù)族分布來(lái)構(gòu)造q用坐標(biāo)上升法優(yōu)化。VAE只是把q和p都換成了神經(jīng)網(wǎng)絡(luò)。8.2 生成模型和判別模型的區(qū)別判別模型建模P(y | x)給定輸入預(yù)測(cè)輸出。生成模型建模P(x)或者P(x, y)可以生成新樣本。但要注意生成模型不一定能生成高質(zhì)量樣本。比如樸素貝葉斯是生成模型但它生成的樣本質(zhì)量很差。VAE和GAN是生成模型但它們的生成能力來(lái)自神經(jīng)網(wǎng)絡(luò)的表達(dá)能力而不是生成模型這個(gè)標(biāo)簽本身。8.3 隱變量模型和降維的關(guān)系隱變量模型假設(shè)觀測(cè)數(shù)據(jù)是由一些不可見(jiàn)的隱變量生成的。如果隱變量維度低于觀測(cè)維度那隱變量模型就起到了降維的作用。PCA可以看作一個(gè)線(xiàn)性高斯隱變量模型VAE是非線(xiàn)性的版本。但隱變量模型不只是降維。它還可以做密度估計(jì)、異常檢測(cè)、缺失值填補(bǔ)。隱變量的含義也不一定是低維表示它可以是任何有助于建模觀測(cè)數(shù)據(jù)的中間變量。8.4 貝葉斯深度學(xué)習(xí)和傳統(tǒng)深度學(xué)習(xí)的區(qū)別傳統(tǒng)深度學(xué)習(xí)用最大似然或者最大后驗(yàn)來(lái)估計(jì)參數(shù)得到一個(gè)點(diǎn)估計(jì)。貝葉斯深度學(xué)習(xí)用變分推斷或者M(jìn)CMC來(lái)估計(jì)參數(shù)的后驗(yàn)分布得到一個(gè)分布。區(qū)別在于不確定性量化。傳統(tǒng)深度學(xué)習(xí)給一個(gè)預(yù)測(cè)但不知道這個(gè)預(yù)測(cè)有多可靠。貝葉斯深度學(xué)習(xí)給一個(gè)預(yù)測(cè)分布可以告訴你置信區(qū)間。但貝葉斯深度學(xué)習(xí)的計(jì)算成本高而且先驗(yàn)的選擇會(huì)影響結(jié)果。實(shí)踐中如果只是追求預(yù)測(cè)精度傳統(tǒng)深度學(xué)習(xí)往往就夠了如果需要不確定性量化才值得上貝葉斯方法。9. 學(xué)習(xí)路徑與資源建議如果你是從零開(kāi)始我建議按這個(gè)順序第一步概率論基礎(chǔ)。條件概率、貝葉斯定理、期望、方差、常見(jiàn)分布。不用太深但基本概念要清楚。第二步概率圖模型入門(mén)。從貝葉斯網(wǎng)絡(luò)開(kāi)始理解有向無(wú)環(huán)圖、條件獨(dú)立性、d-分離。然后看馬爾可夫隨機(jī)場(chǎng)理解無(wú)向圖和團(tuán)勢(shì)函數(shù)。推薦Koller的《Probabilistic Graphical Models》書(shū)很厚但前幾章讀完就能建立直覺(jué)。第三步貝葉斯推斷。理解先驗(yàn)、后驗(yàn)、共軛先驗(yàn)、MCMC、變分推斷。推薦Bishop的《Pattern Recognition and Machine Learning》第10章和第11章。第四步VAE。從ELBO推導(dǎo)開(kāi)始理解重參數(shù)化技巧然后看原始論文和后續(xù)改進(jìn)β-VAE、VQ-VAE。代碼實(shí)現(xiàn)一遍比看十遍論文都有用。第五步GAN。從原始GAN開(kāi)始理解對(duì)抗訓(xùn)練和JS散度。然后看WGAN、WGAN-GP、StyleGAN。GAN的論文很多但核心思想就那幾個(gè)不要被各種變體迷惑。第六步擴(kuò)散模型。如果對(duì)生成模型感興趣擴(kuò)散模型是現(xiàn)在的前沿。理解前向加噪和反向去噪的過(guò)程然后看DDPM、DDIM、一致性模型。我自己的學(xué)習(xí)路徑是反過(guò)來(lái)的先用了VAE和GAN發(fā)現(xiàn)很多地方不理解才回頭補(bǔ)的概率圖模型和貝葉斯推斷。這種從用到學(xué)的路徑也有好處就是知道每個(gè)概念在實(shí)際中對(duì)應(yīng)什么問(wèn)題。但缺點(diǎn)是知識(shí)體系不系統(tǒng)容易有盲區(qū)。最后分享一個(gè)小技巧學(xué)這些模型的時(shí)候不要只看公式要?jiǎng)邮滞茖?dǎo)一遍。ELBO的推導(dǎo)、GAN的目標(biāo)函數(shù)、重參數(shù)化技巧自己推一遍和看別人推一遍理解深度完全不一樣。我當(dāng)初推ELBO推了三遍才真正搞懂每一項(xiàng)的含義但搞懂之后再看VAE的各種變體就一目了然了。 概率圖模型、貝葉斯推斷、VAE與GAN：從不確定性建模到生成模型的統(tǒng)一視角
概率圖模型、貝葉斯模型、VAE和GAN這四個(gè)詞放在一起很多人第一反應(yīng)是這能放一塊講嗎。能而且必須放一塊講。因?yàn)樗鼈儽举|(zhì)上都在回答同一個(gè)問(wèn)題當(dāng)我們面對(duì)一個(gè)充滿(mǎn)不確定性的世界時(shí)如何用一個(gè)可計(jì)算的框架去描述它、推斷它、甚至生成它。我接觸這幾個(gè)方向是從做異常檢測(cè)開(kāi)始的。當(dāng)時(shí)需要在一個(gè)沒(méi)有標(biāo)簽的數(shù)據(jù)集上判斷哪些樣本不對(duì)勁試過(guò)孤立森林、One-Class SVM效果都一般。后來(lái)轉(zhuǎn)向概率圖模型做密度估計(jì)才真正理解了用概率描述世界這件事的威力。再往后深入發(fā)現(xiàn)VAE和GAN雖然看起來(lái)是深度學(xué)習(xí)的東西但它們的根都在概率推斷里。VAE的ELBO推導(dǎo)本質(zhì)就是變分推斷GAN的對(duì)抗訓(xùn)練背后是最小化JS散度。不理解概率圖模型和貝葉斯推斷看VAE和GAN的論文就只能停留在調(diào)包層面。這篇文章我打算把這四個(gè)東西串起來(lái)講。不是教科書(shū)式的定義羅列而是按照為什么需要它→它怎么工作→它和前后左右的關(guān)系是什么→實(shí)際用的時(shí)候要注意什么這條線(xiàn)來(lái)展開(kāi)。適合有一定機(jī)器學(xué)習(xí)基礎(chǔ)、想真正搞懂生成模型底層邏輯的讀者。如果你只是想知道怎么調(diào)庫(kù)這篇文章可能不太適合你但如果你想在面試?yán)锇裋AE和GAN的區(qū)別講清楚或者想在自己的項(xiàng)目里判斷該用哪個(gè)模型那往下看。1. 從不確定性說(shuō)起為什么我們需要概率圖模型1.1 確定性模型的局限在哪里傳統(tǒng)機(jī)器學(xué)習(xí)模型大多在做一件事給定輸入x輸出一個(gè)確定的y。圖像分類(lèi)輸出類(lèi)別回歸輸出數(shù)值。這種范式在很多場(chǎng)景下工作得很好但它有一個(gè)隱含假設(shè)——世界是確定的或者至少噪聲是可以被平均掉的?，F(xiàn)實(shí)往往不是這樣。同一個(gè)癥狀可能對(duì)應(yīng)多種疾病同一句話(huà)可能有多重含義同一個(gè)用戶(hù)行為可能出于完全不同的動(dòng)機(jī)。這時(shí)候如果模型只輸出一個(gè)確定答案它其實(shí)是在假裝自己很確定而忽略了真實(shí)存在的不確定性。概率圖模型的核心思想就是不要假裝確定而是把不確定性顯式地建模出來(lái)。它用節(jié)點(diǎn)表示隨機(jī)變量用邊表示變量之間的依賴(lài)關(guān)系整個(gè)圖就是一個(gè)聯(lián)合概率分布的緊湊表示。1.2 圖結(jié)構(gòu)到底在表達(dá)什么很多人學(xué)概率圖模型的時(shí)候卡在為什么要有圖這一步。直接用聯(lián)合概率分布不行嗎舉個(gè)例子。假設(shè)有5個(gè)二值隨機(jī)變量聯(lián)合分布有2^5 - 1 31個(gè)參數(shù)。如果有20個(gè)變量呢2^20 - 1超過(guò)一百萬(wàn)。參數(shù)量隨變量數(shù)指數(shù)增長(zhǎng)根本沒(méi)法估計(jì)。但如果我們知道這些變量之間的依賴(lài)關(guān)系是稀疏的——比如每個(gè)變量只和它的鄰居直接相關(guān)——那就可以用圖來(lái)編碼這種稀疏性。貝葉斯網(wǎng)絡(luò)里一個(gè)變量的條件概率只依賴(lài)于它的父節(jié)點(diǎn)馬爾可夫隨機(jī)場(chǎng)里一個(gè)變量的條件概率只依賴(lài)于它的鄰居。參數(shù)量從指數(shù)級(jí)降到線(xiàn)性級(jí)。這就是圖的威力它把哪些變量直接相關(guān)這個(gè)先驗(yàn)知識(shí)編碼進(jìn)了模型結(jié)構(gòu)里從而大幅降低了需要學(xué)習(xí)的參數(shù)量。1.3 有向圖和無(wú)向圖的分工概率圖模型分兩大陣營(yíng)有向圖貝葉斯網(wǎng)絡(luò)和無(wú)向圖馬爾可夫隨機(jī)場(chǎng)。有向圖的邊有方向A→B表示A是B的原因。聯(lián)合分布可以分解為每個(gè)節(jié)點(diǎn)在給定父節(jié)點(diǎn)下的條件概率的乘積P(x?, x?, ..., x?) ∏? P(x? | parents(x?))無(wú)向圖的邊沒(méi)有方向表示變量之間的相關(guān)性。聯(lián)合分布用團(tuán)勢(shì)函數(shù)的乘積來(lái)表示需要除以一個(gè)歸一化常數(shù)Z配分函數(shù)。實(shí)際用的時(shí)候怎么選如果變量之間有明確的因果方向用有向圖如果只是相關(guān)性或者因果關(guān)系循環(huán)用無(wú)向圖。我個(gè)人的經(jīng)驗(yàn)是做因果推斷優(yōu)先有向圖做圖像分割、社交網(wǎng)絡(luò)分析這類(lèi)任務(wù)無(wú)向圖更自然。注意有向圖里不能有環(huán)這是貝葉斯網(wǎng)絡(luò)的定義要求。如果你發(fā)現(xiàn)自己的因果假設(shè)里有循環(huán)要么重新審視假設(shè)要么改用無(wú)向圖或者動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)。2. 貝葉斯模型從先驗(yàn)到后驗(yàn)的推斷邏輯2.1 貝葉斯定理不只是公式貝葉斯定理寫(xiě)出來(lái)就一行P(θ | D) P(D | θ) · P(θ) / P(D)但它的含義遠(yuǎn)不止一行。它說(shuō)的是我們對(duì)參數(shù)的信念先驗(yàn)P(θ)在看到數(shù)據(jù)D之后應(yīng)該更新為后驗(yàn)P(θ | D)。更新的力度取決于數(shù)據(jù)D在假設(shè)θ下的似然P(D | θ)。這個(gè)框架的美妙之處在于它把學(xué)習(xí)這件事從找最優(yōu)參數(shù)變成了更新信念分布。頻率學(xué)派說(shuō)參數(shù)是固定的、未知的貝葉斯學(xué)派說(shuō)參數(shù)本身就有分布數(shù)據(jù)的作用是讓我們對(duì)這個(gè)分布的認(rèn)識(shí)更精確。2.2 共軛先驗(yàn)讓計(jì)算可行的關(guān)鍵技巧貝葉斯推斷最大的計(jì)算障礙是分母P(D)P(D) ∫ P(D | θ) · P(θ) dθ這個(gè)積分在高維空間里幾乎不可能解析計(jì)算。共軛先驗(yàn)就是來(lái)解決這個(gè)問(wèn)題的。如果先驗(yàn)分布和后驗(yàn)分布屬于同一個(gè)分布族那先驗(yàn)就叫似然的共軛先驗(yàn)。比如似然共軛先驗(yàn)后驗(yàn)伯努利Beta分布Beta分布多項(xiàng)式Dirichlet分布Dirichlet分布高斯已知方差高斯分布高斯分布泊松Gamma分布Gamma分布用共軛先驗(yàn)的好處是后驗(yàn)有閉式解不需要做數(shù)值積分。這在概率圖模型里特別重要因?yàn)閳D模型里有很多條件概率需要推斷如果每個(gè)都做數(shù)值積分計(jì)算量會(huì)爆炸。2.3 從精確推斷到近似推斷共軛先驗(yàn)?zāi)芙鉀Q一部分問(wèn)題但大多數(shù)真實(shí)模型里后驗(yàn)沒(méi)有閉式解。這時(shí)候就需要近似推斷。兩大類(lèi)方法變分推斷用一個(gè)簡(jiǎn)單的分布q(θ)去近似真實(shí)后驗(yàn)p(θ | D)通過(guò)優(yōu)化讓q和p盡可能接近。接近程度用KL散度衡量。變分推斷把推斷問(wèn)題轉(zhuǎn)化成了優(yōu)化問(wèn)題速度快但精度受限于q的表達(dá)能力。采樣方法從后驗(yàn)分布中采樣用樣本估計(jì)期望。MCMC馬爾可夫鏈蒙特卡洛是最經(jīng)典的方法理論上可以收斂到真實(shí)后驗(yàn)但計(jì)算量大收斂判斷也麻煩。我自己的經(jīng)驗(yàn)是數(shù)據(jù)量小、模型簡(jiǎn)單的時(shí)候用MCMC精度有保障數(shù)據(jù)量大、模型復(fù)雜的時(shí)候用變分推斷速度優(yōu)先。現(xiàn)在深度學(xué)習(xí)里的貝葉斯方法基本都是變分推斷的變體。實(shí)操心得變分推斷的KL散度是q||p還是p||q結(jié)果差別很大。q||p是均值尋求mode-seeking傾向于讓q集中在p的一個(gè)峰上p||q是均值覆蓋mass-covering傾向于讓q覆蓋p的所有峰。VAE里用的是q||p所以生成的樣本有時(shí)候會(huì)偏保守。3. VAE當(dāng)變分推斷遇上深度學(xué)習(xí)3.1 VAE到底在優(yōu)化什么VAE變分自編碼器的核心是一個(gè)帶隱變量的生成模型p(x) ∫ p(x | z) · p(z) dzx是觀測(cè)數(shù)據(jù)比如一張圖片z是隱變量比如圖片的抽象特征p(z)是隱變量的先驗(yàn)通常取標(biāo)準(zhǔn)正態(tài)分布p(x | z)是解碼器從隱變量生成數(shù)據(jù)。問(wèn)題還是那個(gè)積分。VAE的解法是引入一個(gè)編碼器q(z | x)來(lái)近似真實(shí)后驗(yàn)p(z | x)然后推導(dǎo)出一個(gè)可優(yōu)化的下界——ELBO證據(jù)下界log p(x) ≥ E_q(z|x)[log p(x | z)] - KL(q(z | x) || p(z))第一項(xiàng)是重構(gòu)誤差第二項(xiàng)是KL散度衡量編碼器輸出的分布和先驗(yàn)的差距。最大化ELBO就是在重構(gòu)得準(zhǔn)和隱空間規(guī)整之間找平衡。3.2 重參數(shù)化技巧讓采樣可導(dǎo)VAE訓(xùn)練里有一個(gè)技術(shù)細(xì)節(jié)特別關(guān)鍵從q(z | x)采樣z這個(gè)操作本身是不可導(dǎo)的梯度傳不回去。重參數(shù)化技巧解決了這個(gè)問(wèn)題。假設(shè)q(z | x)是正態(tài)分布N(μ, σ2)我們不直接從N(μ, σ2)采樣而是先采一個(gè)標(biāo)準(zhǔn)正態(tài)噪聲ε ~ N(0, 1)然后令z μ σ · ε。這樣z的隨機(jī)性來(lái)自ε而μ和σ是確定性的、可導(dǎo)的。梯度可以通過(guò)μ和σ傳回編碼器。這個(gè)技巧看起來(lái)簡(jiǎn)單但它是VAE能端到端訓(xùn)練的關(guān)鍵。沒(méi)有它VAE就只能用強(qiáng)化學(xué)習(xí)里的策略梯度來(lái)訓(xùn)練方差大、收斂慢。3.3 VAE的隱空間為什么規(guī)整KL散度項(xiàng)強(qiáng)迫q(z | x)接近標(biāo)準(zhǔn)正態(tài)分布。這意味著隱空間是連續(xù)的相近的z解碼出相近的x隱空間是稠密的從先驗(yàn)里隨便采一個(gè)z解碼出來(lái)都像那么回事隱空間是可插值的兩個(gè)z之間的線(xiàn)性插值能平滑過(guò)渡這三點(diǎn)讓VAE的隱空間特別適合做表示學(xué)習(xí)。我做過(guò)一個(gè)實(shí)驗(yàn)用VAE編碼人臉然后在隱空間里做算術(shù)戴眼鏡的z減去不戴眼鏡的z加上不戴眼鏡的z解碼出來(lái)基本就是戴眼鏡的。這種結(jié)構(gòu)化的隱空間是VAE相比普通自編碼器最大的優(yōu)勢(shì)。但代價(jià)也很明顯KL散度項(xiàng)太強(qiáng)的時(shí)候解碼器會(huì)偷懶生成的圖片模糊。這就是VAE生成質(zhì)量不如GAN的根本原因——它為了隱空間的規(guī)整性犧牲了生成分布的銳利度。踩坑記錄我最早訓(xùn)VAE的時(shí)候重構(gòu)損失用MSE結(jié)果生成的圖片全是糊的。后來(lái)?yè)Q成感知損失用預(yù)訓(xùn)練網(wǎng)絡(luò)提取特征算距離清晰度明顯提升。再后來(lái)發(fā)現(xiàn)MSE本身就是在假設(shè)數(shù)據(jù)服從高斯分布對(duì)圖像這種分布高斯假設(shè)太弱了。4. GAN用對(duì)抗代替似然4.1 GAN繞開(kāi)了什么難題GAN的思路和VAE完全不同。它不建模似然不做變分推斷而是直接訓(xùn)練一個(gè)生成器G讓它的輸出分布逼近真實(shí)數(shù)據(jù)分布。怎么逼近引入一個(gè)判別器DD的任務(wù)是區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)G的任務(wù)是騙過(guò)D。兩者交替訓(xùn)練最終G生成的樣本讓D無(wú)法區(qū)分。這個(gè)框架繞開(kāi)了概率密度估計(jì)這個(gè)難題。我們不需要知道p(x)的具體形式只需要能從p(x)里采樣真實(shí)數(shù)據(jù)本身就是樣本然后讓G的輸出分布和它對(duì)齊。4.2 對(duì)抗訓(xùn)練背后的散度GAN的原始目標(biāo)函數(shù)是min_G max_D E_x~p_data[log D(x)] E_z~p_z[log(1 - D(G(z)))]理論上可以證明當(dāng)D最優(yōu)時(shí)最小化這個(gè)目標(biāo)等價(jià)于最小化真實(shí)分布和生成分布之間的JS散度。JS散度有個(gè)問(wèn)題當(dāng)兩個(gè)分布沒(méi)有重疊的時(shí)候JS散度是常數(shù)log 2梯度為0。這就是GAN訓(xùn)練不穩(wěn)定的根源——如果真實(shí)分布和生成分布支撐集不重疊判別器完美區(qū)分生成器就得不到有效梯度。WGAN用Wasserstein距離替代JS散度解決了這個(gè)問(wèn)題。Wasserstein距離即使兩個(gè)分布不重疊也能提供有意義的梯度。實(shí)現(xiàn)上WGAN要求判別器滿(mǎn)足Lipschitz連續(xù)性通過(guò)權(quán)重裁剪或者梯度懲罰來(lái)實(shí)現(xiàn)。4.3 模式崩潰GAN的頑疾模式崩潰mode collapse是GAN最讓人頭疼的問(wèn)題生成器只生成少數(shù)幾種樣本覆蓋不了真實(shí)分布的所有模式。原因在于生成器的目標(biāo)是騙過(guò)判別器而不是覆蓋整個(gè)分布。如果生成器發(fā)現(xiàn)生成某一種樣本就能騙過(guò)判別器它就會(huì)一直生成這種樣本放棄其他模式。緩解方法有不少M(fèi)ini-batch discrimination讓判別器看一批樣本而不是單個(gè)樣本如果一批樣本太相似就判為假Unrolled GAN生成器更新時(shí)考慮判別器未來(lái)幾步的反應(yīng)Wasserstein距離提供更平滑的梯度讓生成器不容易卡在單一模式多個(gè)生成器每個(gè)生成器負(fù)責(zé)不同模式我自己的經(jīng)驗(yàn)是WGAN-GP帶梯度懲罰的WGAN在大多數(shù)任務(wù)上最穩(wěn)但訓(xùn)練速度比原始GAN慢。如果追求生成質(zhì)量StyleGAN系列是目前的天花板但結(jié)構(gòu)復(fù)雜訓(xùn)練成本高。實(shí)操心得GAN訓(xùn)練時(shí)判別器和生成器的更新頻率很關(guān)鍵。原始論文是1:1交替但實(shí)踐中判別器更新太頻繁會(huì)導(dǎo)致生成器梯度消失更新太少又會(huì)讓判別器太弱、生成器得不到有效信號(hào)。我一般會(huì)監(jiān)控D的準(zhǔn)確率保持在60%-80%之間比較健康。如果D準(zhǔn)確率接近100%說(shuō)明判別器太強(qiáng)了要降低它的學(xué)習(xí)率或者減少更新次數(shù)。5. 四個(gè)框架的橫向?qū)Ρ扰c選型邏輯5.1 從建模對(duì)象看差異框架建模對(duì)象推斷方式生成方式概率圖模型聯(lián)合分布P(X)精確/近似推斷ancestral sampling貝葉斯模型后驗(yàn)P(θ|D)MCMC/變分推斷后驗(yàn)預(yù)測(cè)VAE隱變量模型P(x,z)變分推斷從先驗(yàn)采樣z解碼GAN生成分布P_G(x)無(wú)推斷從噪聲映射概率圖模型和貝葉斯模型是框架VAE和GAN是具體模型。VAE可以看作概率圖模型的一種有隱變量的有向圖它的訓(xùn)練用的是貝葉斯推斷里的變分推斷。GAN則跳出了概率圖模型的框架用對(duì)抗的方式直接對(duì)齊分布。5.2 什么時(shí)候用哪個(gè)需要可解釋的因果結(jié)構(gòu)概率圖模型。比如醫(yī)療診斷你需要知道癥狀和疾病之間的依賴(lài)關(guān)系而不是一個(gè)黑箱輸出概率。需要量化不確定性貝葉斯模型。比如金融風(fēng)控你需要知道預(yù)測(cè)的置信區(qū)間而不是一個(gè)點(diǎn)估計(jì)。需要結(jié)構(gòu)化隱空間VAE。比如做表示學(xué)習(xí)、數(shù)據(jù)壓縮、異常檢測(cè)VAE的隱空間有良好的幾何性質(zhì)。需要高質(zhì)量生成GAN。比如圖像生成、風(fēng)格遷移、超分辨率GAN生成的樣本銳利度高。需要密度估計(jì)VAE或者標(biāo)準(zhǔn)化流normalizing flow。GAN不提供密度VAE提供的是ELBO下界標(biāo)準(zhǔn)化流提供精確密度。5.3 融合趨勢(shì)最近幾年的趨勢(shì)是融合。比如VAE-GAN用GAN的判別器增強(qiáng)VAE的重構(gòu)質(zhì)量Adversarial VAE在VAE的ELBO上加對(duì)抗損失Normalizing Flow VAE用可逆變換增強(qiáng)后驗(yàn)的表達(dá)能力Diffusion Model本質(zhì)上是層次化VAE但用去噪得分匹配訓(xùn)練生成質(zhì)量超過(guò)GANDiffusion Model值得單獨(dú)提一句。它把生成過(guò)程拆成很多步每步加一點(diǎn)噪聲然后學(xué)習(xí)逆過(guò)程。訓(xùn)練目標(biāo)簡(jiǎn)單就是去噪生成質(zhì)量高但采樣慢?，F(xiàn)在很多工作在做加速采樣比如DDIM、一致性模型。6. 實(shí)際項(xiàng)目中的踩坑與調(diào)參經(jīng)驗(yàn)6.1 VAE的KL散度權(quán)重VAE的損失是重構(gòu)損失加KL散度。KL項(xiàng)的權(quán)重β直接影響生成質(zhì)量和隱空間規(guī)整度的平衡。β1是標(biāo)準(zhǔn)VAE。β1β-VAE會(huì)得到更解耦的隱表示但重構(gòu)質(zhì)量下降。β1會(huì)得到更清晰的重構(gòu)但隱空間可能不夠規(guī)整。我的經(jīng)驗(yàn)是做表示學(xué)習(xí)用β4到10做生成用β0.5到1。如果發(fā)現(xiàn)隱空間有空洞采樣出來(lái)解碼是噪聲說(shuō)明KL項(xiàng)太弱了要加大β。6.2 GAN的梯度懲罰系數(shù)WGAN-GP的梯度懲罰系數(shù)λ一般取10。這個(gè)值不是隨便定的它對(duì)應(yīng)著Lipschitz常數(shù)和Wasserstein距離估計(jì)之間的權(quán)衡。λ太小Lipschitz約束不夠Wasserstein距離估計(jì)不準(zhǔn)λ太大梯度懲罰主導(dǎo)損失生成質(zhì)量下降。我試過(guò)λ從1到10010確實(shí)是最穩(wěn)的。如果訓(xùn)練不穩(wěn)定可以先檢查梯度懲罰項(xiàng)的實(shí)際值它應(yīng)該接近0如果很大說(shuō)明判別器不滿(mǎn)足Lipschitz約束。6.3 概率圖模型的結(jié)構(gòu)學(xué)習(xí)概率圖模型最難的不是參數(shù)學(xué)習(xí)是結(jié)構(gòu)學(xué)習(xí)——怎么從數(shù)據(jù)里學(xué)出圖結(jié)構(gòu)。基于評(píng)分的方法如BIC、BDeu在小規(guī)模問(wèn)題上可行但變量多了就是NP難?；诩s束的方法如PC算法用條件獨(dú)立性檢驗(yàn)來(lái)建邊但對(duì)檢驗(yàn)的可靠性很敏感。我的建議是如果領(lǐng)域知識(shí)足夠手動(dòng)定結(jié)構(gòu)如果不夠先用基于約束的方法得到一個(gè)初始結(jié)構(gòu)再用領(lǐng)域知識(shí)修正。完全自動(dòng)的結(jié)構(gòu)學(xué)習(xí)在變量超過(guò)20個(gè)的時(shí)候基本不可靠。6.4 貝葉斯模型的先驗(yàn)選擇先驗(yàn)的選擇是貝葉斯建模里最藝術(shù)的部分。無(wú)信息先驗(yàn)如均勻分布看起來(lái)客觀但在高維空間里會(huì)導(dǎo)致后驗(yàn)不正則化。Jeffreys先驗(yàn)用Fisher信息矩陣來(lái)構(gòu)造有不變性但計(jì)算復(fù)雜。弱信息先驗(yàn)是實(shí)踐中最常用的給一個(gè)寬的正態(tài)分布或者柯西分布既不完全無(wú)信息也不強(qiáng)加太多主觀信念。我個(gè)人的原則是如果對(duì)參數(shù)有明確的領(lǐng)域知識(shí)用信息先驗(yàn)如果沒(méi)有用弱信息先驗(yàn)如果數(shù)據(jù)量足夠大先驗(yàn)的影響會(huì)被似然淹沒(méi)這時(shí)候用什么先驗(yàn)差別不大。注意先驗(yàn)的選擇會(huì)影響后驗(yàn)的尾部行為。如果做風(fēng)險(xiǎn)敏感的任務(wù)比如金融尾部行為很重要要特別小心先驗(yàn)的選擇。正態(tài)先驗(yàn)的尾部是指數(shù)衰減的柯西先驗(yàn)的尾部是多項(xiàng)式衰減的后者更厚尾對(duì)異常值更魯棒。7. 從理論到代碼幾個(gè)關(guān)鍵實(shí)現(xiàn)細(xì)節(jié)7.1 VAE的損失函數(shù)實(shí)現(xiàn)import torch import torch.nn as nn import torch.nn.functional as F class VAE(nn.Module): def __init__(self, input_dim, hidden_dim, latent_dim): super().__init__() self.encoder nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU() ) self.mu nn.Linear(hidden_dim, latent_dim) self.logvar nn.Linear(hidden_dim, latent_dim) self.decoder nn.Sequential( nn.Linear(latent_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, input_dim), nn.Sigmoid() ) def reparameterize(self, mu, logvar): std torch.exp(0.5 * logvar) eps torch.randn_like(std) return mu eps * std def forward(self, x): h self.encoder(x) mu, logvar self.mu(h), self.logvar(h) z self.reparameterize(mu, logvar) x_recon self.decoder(z) return x_recon, mu, logvar def vae_loss(x_recon, x, mu, logvar, beta1.0): recon_loss F.binary_cross_entropy(x_recon, x, reductionsum) kl_loss -0.5 * torch.sum(1 logvar - mu.pow(2) - logvar.exp()) return recon_loss beta * kl_loss這里logvar而不是var是為了保證方差為正。重參數(shù)化里std exp(0.5 * logvar)就是σ。7.2 GAN的訓(xùn)練循環(huán)def train_gan(G, D, dataloader, optimizer_G, optimizer_D, latent_dim, n_critic5, clip_value0.01): for real_data, _ in dataloader: batch_size real_data.size(0) # 訓(xùn)練判別器 for _ in range(n_critic): z torch.randn(batch_size, latent_dim) fake_data G(z).detach() real_score D(real_data) fake_score D(fake_data) d_loss -torch.mean(real_score) torch.mean(fake_score) optimizer_D.zero_grad() d_loss.backward() optimizer_D.step() # WGAN的權(quán)重裁剪 for p in D.parameters(): p.data.clamp_(-clip_value, clip_value) # 訓(xùn)練生成器 z torch.randn(batch_size, latent_dim) fake_data G(z) g_loss -torch.mean(D(fake_data)) optimizer_G.zero_grad() g_loss.backward() optimizer_G.step()這是WGAN的簡(jiǎn)化實(shí)現(xiàn)。n_critic5表示判別器更新5次生成器更新1次。權(quán)重裁剪是WGAN的原始做法實(shí)踐中WGAN-GP用梯度懲罰替代效果更好但計(jì)算量更大。7.3 貝葉斯推斷的變分實(shí)現(xiàn)class BayesianLinear(nn.Module): def __init__(self, in_features, out_features): super().__init__() self.in_features in_features self.out_features out_features # 權(quán)重的變分參數(shù) self.weight_mu nn.Parameter(torch.randn(out_features, in_features) * 0.1) self.weight_logvar nn.Parameter(torch.randn(out_features, in_features) * 0.1) # 偏置的變分參數(shù) self.bias_mu nn.Parameter(torch.randn(out_features) * 0.1) self.bias_logvar nn.Parameter(torch.randn(out_features) * 0.1) def forward(self, x): # 采樣權(quán)重 weight_std torch.exp(0.5 * self.weight_logvar) weight_eps torch.randn_like(weight_std) weight self.weight_mu weight_eps * weight_std bias_std torch.exp(0.5 * self.bias_logvar) bias_eps torch.randn_like(bias_std) bias self.bias_mu bias_eps * bias_std return F.linear(x, weight, bias) def kl_loss(self): # 變分后驗(yàn)和標(biāo)準(zhǔn)正態(tài)先驗(yàn)的KL散度 weight_kl -0.5 * torch.sum( 1 self.weight_logvar - self.weight_mu.pow(2) - self.weight_logvar.exp() ) bias_kl -0.5 * torch.sum( 1 self.bias_logvar - self.bias_mu.pow(2) - self.bias_logvar.exp() ) return weight_kl bias_kl貝葉斯神經(jīng)網(wǎng)絡(luò)的核心就是把權(quán)重從確定值變成分布前向傳播時(shí)采樣權(quán)重?fù)p失函數(shù)里加KL散度項(xiàng)。訓(xùn)練時(shí)用重參數(shù)化技巧保證可導(dǎo)。8. 幾個(gè)容易混淆的概念澄清8.1 變分推斷和變分自編碼器的關(guān)系變分推斷是一種通用的近似推斷方法VAE是變分推斷在深度學(xué)習(xí)里的一個(gè)應(yīng)用。VAE的編碼器就是變分推斷里的變分分布q(z | x)解碼器是生成模型p(x | z)。VAE的創(chuàng)新在于用神經(jīng)網(wǎng)絡(luò)參數(shù)化q和p并且用重參數(shù)化技巧實(shí)現(xiàn)了端到端訓(xùn)練。但變分推斷不一定要用神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的變分推斷用指數(shù)族分布來(lái)構(gòu)造q用坐標(biāo)上升法優(yōu)化。VAE只是把q和p都換成了神經(jīng)網(wǎng)絡(luò)。8.2 生成模型和判別模型的區(qū)別判別模型建模P(y | x)給定輸入預(yù)測(cè)輸出。生成模型建模P(x)或者P(x, y)可以生成新樣本。但要注意生成模型不一定能生成高質(zhì)量樣本。比如樸素貝葉斯是生成模型但它生成的樣本質(zhì)量很差。VAE和GAN是生成模型但它們的生成能力來(lái)自神經(jīng)網(wǎng)絡(luò)的表達(dá)能力而不是生成模型這個(gè)標(biāo)簽本身。8.3 隱變量模型和降維的關(guān)系隱變量模型假設(shè)觀測(cè)數(shù)據(jù)是由一些不可見(jiàn)的隱變量生成的。如果隱變量維度低于觀測(cè)維度那隱變量模型就起到了降維的作用。PCA可以看作一個(gè)線(xiàn)性高斯隱變量模型VAE是非線(xiàn)性的版本。但隱變量模型不只是降維。它還可以做密度估計(jì)、異常檢測(cè)、缺失值填補(bǔ)。隱變量的含義也不一定是低維表示它可以是任何有助于建模觀測(cè)數(shù)據(jù)的中間變量。8.4 貝葉斯深度學(xué)習(xí)和傳統(tǒng)深度學(xué)習(xí)的區(qū)別傳統(tǒng)深度學(xué)習(xí)用最大似然或者最大后驗(yàn)來(lái)估計(jì)參數(shù)得到一個(gè)點(diǎn)估計(jì)。貝葉斯深度學(xué)習(xí)用變分推斷或者M(jìn)CMC來(lái)估計(jì)參數(shù)的后驗(yàn)分布得到一個(gè)分布。區(qū)別在于不確定性量化。傳統(tǒng)深度學(xué)習(xí)給一個(gè)預(yù)測(cè)但不知道這個(gè)預(yù)測(cè)有多可靠。貝葉斯深度學(xué)習(xí)給一個(gè)預(yù)測(cè)分布可以告訴你置信區(qū)間。但貝葉斯深度學(xué)習(xí)的計(jì)算成本高而且先驗(yàn)的選擇會(huì)影響結(jié)果。實(shí)踐中如果只是追求預(yù)測(cè)精度傳統(tǒng)深度學(xué)習(xí)往往就夠了如果需要不確定性量化才值得上貝葉斯方法。9. 學(xué)習(xí)路徑與資源建議如果你是從零開(kāi)始我建議按這個(gè)順序第一步概率論基礎(chǔ)。條件概率、貝葉斯定理、期望、方差、常見(jiàn)分布。不用太深但基本概念要清楚。第二步概率圖模型入門(mén)。從貝葉斯網(wǎng)絡(luò)開(kāi)始理解有向無(wú)環(huán)圖、條件獨(dú)立性、d-分離。然后看馬爾可夫隨機(jī)場(chǎng)理解無(wú)向圖和團(tuán)勢(shì)函數(shù)。推薦Koller的《Probabilistic Graphical Models》書(shū)很厚但前幾章讀完就能建立直覺(jué)。第三步貝葉斯推斷。理解先驗(yàn)、后驗(yàn)、共軛先驗(yàn)、MCMC、變分推斷。推薦Bishop的《Pattern Recognition and Machine Learning》第10章和第11章。第四步VAE。從ELBO推導(dǎo)開(kāi)始理解重參數(shù)化技巧然后看原始論文和后續(xù)改進(jìn)β-VAE、VQ-VAE。代碼實(shí)現(xiàn)一遍比看十遍論文都有用。第五步GAN。從原始GAN開(kāi)始理解對(duì)抗訓(xùn)練和JS散度。然后看WGAN、WGAN-GP、StyleGAN。GAN的論文很多但核心思想就那幾個(gè)不要被各種變體迷惑。第六步擴(kuò)散模型。如果對(duì)生成模型感興趣擴(kuò)散模型是現(xiàn)在的前沿。理解前向加噪和反向去噪的過(guò)程然后看DDPM、DDIM、一致性模型。我自己的學(xué)習(xí)路徑是反過(guò)來(lái)的先用了VAE和GAN發(fā)現(xiàn)很多地方不理解才回頭補(bǔ)的概率圖模型和貝葉斯推斷。這種從用到學(xué)的路徑也有好處就是知道每個(gè)概念在實(shí)際中對(duì)應(yīng)什么問(wèn)題。但缺點(diǎn)是知識(shí)體系不系統(tǒng)容易有盲區(qū)。最后分享一個(gè)小技巧學(xué)這些模型的時(shí)候不要只看公式要?jiǎng)邮滞茖?dǎo)一遍。ELBO的推導(dǎo)、GAN的目標(biāo)函數(shù)、重參數(shù)化技巧自己推一遍和看別人推一遍理解深度完全不一樣。我當(dāng)初推ELBO推了三遍才真正搞懂每一項(xiàng)的含義但搞懂之后再看VAE的各種變體就一目了然了。