1. 從一堆散裝代碼到統(tǒng)一范式為什么需要fGAN剛接觸生成對(duì)抗網(wǎng)絡(luò)那會(huì)兒我最大的困惑不是“生成器怎么騙過判別器”這種理論問題而是每次看到一篇新論文代碼結(jié)構(gòu)就變一個(gè)樣。今天有人用JS散度推導(dǎo)損失函數(shù)明天有人換成Wasserstein距離后天又冒出個(gè)能量距離。明明都是GAN實(shí)現(xiàn)起來卻像在學(xué)不同的框架。這種碎片化的認(rèn)知狀態(tài)持續(xù)了挺長(zhǎng)一段時(shí)間直到我把fGAN這篇工作翻來覆去讀了幾遍才真正把腦子里那些散落的知識(shí)點(diǎn)串成了一條線。fGAN全稱General Framework of GAN中文一般叫“GAN的一般框架”。它做的事情說起來很簡(jiǎn)單把當(dāng)時(shí)各種五花八門的GAN變體統(tǒng)一到一個(gè)基于f散度的數(shù)學(xué)框架下。你之前見過的KL散度、JS散度、Total Variation距離甚至后來火起來的Wasserstein距離雖然嚴(yán)格來說它不屬于f散度但思路相通都可以看作這個(gè)框架下的特例。這意味著什么意味著你不需要每次遇到新GAN就重新理解一套理論而是可以拿著fGAN這把尺子去量哦這個(gè)變體無非是換了個(gè)f函數(shù)那個(gè)變體無非是改了約束條件。這個(gè)框架適合誰看如果你已經(jīng)跑過幾個(gè)GAN的Demo能看懂生成器和判別器的基本結(jié)構(gòu)但總覺得各種變體之間缺少一根主線那fGAN就是那根主線。如果你剛開始學(xué)GAN直接啃fGAN可能會(huì)有點(diǎn)吃力建議先把原始GAN的minimax博弈搞明白再回來。我自己是在復(fù)現(xiàn)了三四篇GAN論文之后才回頭看的fGAN那個(gè)“原來如此”的感覺特別強(qiáng)烈。提示fGAN本身不是某個(gè)具體的網(wǎng)絡(luò)結(jié)構(gòu)而是一套分析工具。它的價(jià)值不在于讓你寫出更炫的模型而在于讓你理解為什么某些GAN會(huì)訓(xùn)練不穩(wěn)定為什么某些損失函數(shù)設(shè)計(jì)得更合理。2. f散度統(tǒng)一視角的數(shù)學(xué)基石2.1 從KL散度說起為什么它不夠用要理解fGAN得先理解f散度。散度在概率統(tǒng)計(jì)里用來衡量?jī)蓚€(gè)概率分布之間的“差異”。最常用的KL散度公式長(zhǎng)這樣D_KL(P||Q) ∫ p(x) log(p(x)/q(x)) dx這個(gè)式子有個(gè)特點(diǎn)它不是對(duì)稱的。D_KL(P||Q)和D_KL(Q||P)算出來不一樣。在GAN的語境下真實(shí)數(shù)據(jù)分布P_data和生成分布P_g之間的KL散度如果P_g在某些地方趨近于零而P_data不為零KL散度會(huì)直接爆炸到無窮大。這就是原始GAN訓(xùn)練時(shí)經(jīng)常出現(xiàn)梯度消失或梯度爆炸的根源之一。我剛開始調(diào)GAN的時(shí)候生成器有時(shí)候會(huì)突然“擺爛”輸出一堆毫無意義的噪聲怎么調(diào)學(xué)習(xí)率都救不回來。后來才明白這跟KL散度的不對(duì)稱性有很大關(guān)系當(dāng)判別器太強(qiáng)時(shí)生成器收到的梯度信號(hào)要么幾乎為零要么大到離譜根本沒有穩(wěn)定的中間狀態(tài)。2.2 f散度的通用定義與直觀理解f散度的定義如下D_f(P||Q) ∫ q(x) f(p(x)/q(x)) dx這里f是一個(gè)凸函數(shù)且滿足f(1)0。不同的f函數(shù)對(duì)應(yīng)不同的散度。比如f(u) u log u代入后得到KL散度f(u) -(u1)log((1u)/2) u log u代入后得到JS散度f(u) |u-1|/2代入后得到Total Variation距離這個(gè)定義的美妙之處在于它把“選擇哪種散度”這件事簡(jiǎn)化成了“選擇哪個(gè)凸函數(shù)f”。你不需要重新推導(dǎo)整個(gè)對(duì)抗訓(xùn)練的目標(biāo)函數(shù)只需要把f換掉整個(gè)框架自動(dòng)適配。打個(gè)比方f散度就像是一個(gè)模具f函數(shù)就是模具上的花紋。你換一個(gè)花紋壓出來的餅干形狀就變了但壓餅干的機(jī)器本身不用動(dòng)。fGAN就是告訴你這臺(tái)機(jī)器怎么造以及為什么換花紋不會(huì)把機(jī)器搞壞。2.3 共軛函數(shù)從散度到對(duì)抗博弈的橋梁fGAN最核心的推導(dǎo)用到了凸函數(shù)的共軛Fenchel conjugate。對(duì)于凸函數(shù)f它的共軛函數(shù)f*定義為f*(t) sup_{u∈dom f} {ut - f(u)}這個(gè)變換看起來抽象但它做的事情很關(guān)鍵把一個(gè)關(guān)于概率密度的積分問題轉(zhuǎn)化成了一個(gè)關(guān)于函數(shù)T(x)的優(yōu)化問題。最終fGAN的對(duì)抗目標(biāo)可以寫成min_G max_T E_{x~P_data}[T(x)] - E_{x~P_g}[f*(T(x))]其中T(x)就是判別器在fGAN里叫“critic”更合適它輸出的是實(shí)數(shù)而不是概率。這個(gè)形式跟原始GAN的minimax目標(biāo)非常像但適用范圍廣得多。我第一次推導(dǎo)這個(gè)共軛變換的時(shí)候卡了很久后來用了一個(gè)笨辦法拿具體的f函數(shù)代進(jìn)去算。比如取f(u)u log u它的共軛是f*(t)exp(t-1)代回目標(biāo)函數(shù)發(fā)現(xiàn)跟原始GAN的損失函數(shù)只差一個(gè)常數(shù)和變換。那一刻我才真正相信原始GAN確實(shí)是fGAN的一個(gè)特例。注意共軛函數(shù)的定義域很重要。不同的f函數(shù)其共軛的定義域可能不同這直接決定了判別器T(x)的輸出范圍。比如Wasserstein GAN要求T(x)滿足Lipschitz連續(xù)本質(zhì)上就是在約束共軛函數(shù)的定義域。3. 從f散度到對(duì)抗訓(xùn)練框架的完整推導(dǎo)3.1 變分下界把散度變成可優(yōu)化的目標(biāo)直接最小化f散度D_f(P_data||P_g)是做不到的因?yàn)槲覀儾恢繮_data和P_g的解析形式。fGAN的巧妙之處在于它利用共軛函數(shù)給出了f散度的一個(gè)變分下界D_f(P_data||P_g) ≥ sup_{T∈F} E_{x~P_data}[T(x)] - E_{x~P_g}[f*(T(x))]當(dāng)函數(shù)族F足夠大時(shí)這個(gè)下界可以取到等號(hào)。于是最小化f散度就變成了一個(gè)min-max問題生成器G最小化下界判別器T最大化下界。這個(gè)推導(dǎo)過程我在筆記本上反復(fù)寫了三遍才徹底理順。第一遍只看了個(gè)大概第二遍開始注意每個(gè)等號(hào)成立的條件第三遍才意識(shí)到函數(shù)族F的選擇直接決定了最終算法的性質(zhì)。比如如果F是所有可測(cè)函數(shù)的集合那理論上可以精確恢復(fù)f散度但實(shí)際中只能用神經(jīng)網(wǎng)絡(luò)來近似這就引入了近似誤差。3.2 不同f函數(shù)對(duì)應(yīng)的GAN變體把不同的f函數(shù)代入fGAN框架就能得到不同的GAN變體。下面這張表是我自己整理出來的放在手邊隨時(shí)查閱f函數(shù)對(duì)應(yīng)散度判別器輸出范圍典型變體訓(xùn)練穩(wěn)定性u(píng) log uKL散度全體實(shí)數(shù)原始GAN近似較差易梯度消失-(u1)log((1u)/2)u log uJS散度全體實(shí)數(shù)原始GAN較差模式崩潰|u-1|/2Total Variation[-1,1]較少使用一般(u-1)^2卡方散度全體實(shí)數(shù)LSGAN較好u log u - (u1)log(u1)反向KL全體實(shí)數(shù)某些變體模式覆蓋好這張表是我在復(fù)現(xiàn)LSGAN的時(shí)候突然想通的。當(dāng)時(shí)我一直不明白為什么LSGAN用最小二乘損失就能比原始GAN穩(wěn)定后來把f(u)(u-1)^2代進(jìn)fGAN框架發(fā)現(xiàn)它的共軛函數(shù)是t^2/4t判別器輸出沒有指數(shù)項(xiàng)梯度不會(huì)飽和自然就穩(wěn)定了。3.3 為什么Wasserstein GAN不完全是fGAN這里要特別說明一點(diǎn)Wasserstein GANWGAN用的Wasserstein距離嚴(yán)格來說不屬于f散度。f散度要求兩個(gè)分布的支撐集有重疊否則散度要么是無窮大要么無定義。Wasserstein距離則沒有這個(gè)限制即使兩個(gè)分布完全不重疊它也能給出有意義的距離值。但WGAN的推導(dǎo)思路跟fGAN是一脈相承的都是通過共軛變換把概率距離轉(zhuǎn)化為對(duì)抗博弈。所以很多人把WGAN也放在fGAN的框架下討論雖然數(shù)學(xué)上不嚴(yán)格但從理解的角度來說問題不大。我自己就是把WGAN當(dāng)作fGAN的“表親”來學(xué)的先理解fGAN的共軛推導(dǎo)再看WGAN的Kantorovich-Rubinstein對(duì)偶會(huì)發(fā)現(xiàn)兩者的結(jié)構(gòu)驚人地相似。實(shí)操心得如果你在復(fù)現(xiàn)某個(gè)GAN變體時(shí)發(fā)現(xiàn)訓(xùn)練不穩(wěn)定先別急著調(diào)超參數(shù)。把它的損失函數(shù)寫出來看看能不能對(duì)應(yīng)到某個(gè)f函數(shù)。如果能就查一下這個(gè)f函數(shù)的共軛在判別器輸出趨近于無窮時(shí)的漸近行為。很多時(shí)候問題就出在這里。4. 動(dòng)手實(shí)現(xiàn)用fGAN框架統(tǒng)一復(fù)現(xiàn)三種GAN4.1 環(huán)境準(zhǔn)備與基礎(chǔ)代碼結(jié)構(gòu)我用的環(huán)境是Python 3.8 PyTorch 1.10顯卡是一張顯存8G的老卡。這個(gè)配置跑小規(guī)模實(shí)驗(yàn)足夠了?；A(chǔ)代碼結(jié)構(gòu)分成三塊生成器、判別器、訓(xùn)練循環(huán)。生成器和判別器都用簡(jiǎn)單的全連接網(wǎng)絡(luò)數(shù)據(jù)集用二維高斯混合模型方便可視化。import torch import torch.nn as nn import numpy as np class Generator(nn.Module): def __init__(self, z_dim2, hidden128): super().__init__() self.net nn.Sequential( nn.Linear(z_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 2) ) def forward(self, z): return self.net(z) class Critic(nn.Module): def __init__(self, hidden128, output_activationNone): super().__init__() self.net nn.Sequential( nn.Linear(2, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 1) ) self.output_activation output_activation def forward(self, x): out self.net(x) if self.output_activation sigmoid: return torch.sigmoid(out) elif self.output_activation square: return out ** 2 return out這段代碼里我特意把判別器的輸出激活函數(shù)做成可配置的因?yàn)椴煌琭函數(shù)對(duì)應(yīng)的共軛函數(shù)對(duì)輸出范圍有不同要求。比如原始GAN的判別器需要輸出概率所以用sigmoidLSGAN的判別器輸出實(shí)數(shù)不需要激活WGAN的判別器需要滿足Lipschitz約束通常用權(quán)重裁剪或梯度懲罰來實(shí)現(xiàn)。4.2 三種f函數(shù)的損失實(shí)現(xiàn)接下來是核心部分三種不同f函數(shù)對(duì)應(yīng)的損失實(shí)現(xiàn)。我把它寫成一個(gè)統(tǒng)一的接口通過參數(shù)切換。def compute_loss(critic, real_data, fake_data, loss_typejs): real_out critic(real_data) fake_out critic(fake_data) if loss_type js: # 原始GAN對(duì)應(yīng)JS散度 # 判別器輸出經(jīng)過sigmoid范圍(0,1) d_loss -torch.mean(torch.log(real_out 1e-8)) - torch.mean(torch.log(1 - fake_out 1e-8)) g_loss -torch.mean(torch.log(fake_out 1e-8)) elif loss_type kl: # 對(duì)應(yīng)KL散度判別器輸出全體實(shí)數(shù) # f*(t) exp(t-1) d_loss -torch.mean(real_out) torch.mean(torch.exp(fake_out - 1)) g_loss torch.mean(torch.exp(fake_out - 1)) elif loss_type lsgan: # 對(duì)應(yīng)卡方散度f(u)(u-1)^2 # f*(t) t^2/4 t d_loss -torch.mean(real_out) torch.mean(fake_out**2 / 4 fake_out) g_loss torch.mean((fake_out - 1)**2) return d_loss, g_loss這里有個(gè)細(xì)節(jié)值得展開KL散度對(duì)應(yīng)的判別器輸出是全體實(shí)數(shù)所以不能用sigmoid。但如果你直接用全實(shí)數(shù)輸出訓(xùn)練初期判別器很容易輸出極大的值導(dǎo)致exp爆炸。我的做法是在訓(xùn)練初期對(duì)判別器輸出做裁剪限制在[-5,5]之間等訓(xùn)練穩(wěn)定后再放開。這個(gè)技巧在論文里不會(huì)寫但實(shí)際跑代碼的時(shí)候非常管用。4.3 訓(xùn)練循環(huán)與關(guān)鍵參數(shù)訓(xùn)練循環(huán)的結(jié)構(gòu)跟標(biāo)準(zhǔn)GAN一樣先更新判別器k次再更新生成器1次。但不同f函數(shù)對(duì)應(yīng)的k值和學(xué)習(xí)率需要微調(diào)。def train(generator, critic, data_loader, loss_typejs, lr1e-4, k1, epochs200, batch_size256): opt_g torch.optim.Adam(generator.parameters(), lrlr, betas(0.5, 0.999)) opt_c torch.optim.Adam(critic.parameters(), lrlr, betas(0.5, 0.999)) for epoch in range(epochs): for real_data in data_loader: real_data real_data.float() batch_size_actual real_data.size(0) # 更新判別器k次 for _ in range(k): z torch.randn(batch_size_actual, 2) fake_data generator(z).detach() d_loss, _ compute_loss(critic, real_data, fake_data, loss_type) opt_c.zero_grad() d_loss.backward() opt_c.step() # WGAN的權(quán)重裁剪這里以JS散度為例不需要 if loss_type wgan: for p in critic.parameters(): p.data.clamp_(-0.01, 0.01) # 更新生成器 z torch.randn(batch_size_actual, 2) fake_data generator(z) _, g_loss compute_loss(critic, real_data, fake_data, loss_type) opt_g.zero_grad() g_loss.backward() opt_g.step() return generator, critic實(shí)測(cè)下來JS散度對(duì)應(yīng)的原始GAN在k1時(shí)就開始出現(xiàn)模式崩潰生成器只輸出高斯混合模型中的某一個(gè)峰。KL散度稍好一些但訓(xùn)練到100輪左右也會(huì)出現(xiàn)梯度消失。LSGAN最穩(wěn)定k1、lr1e-4就能穩(wěn)定收斂到所有峰。這個(gè)結(jié)果跟fGAN的理論分析是一致的JS散度在分布不重疊時(shí)梯度為零KL散度在生成分布支撐集小于真實(shí)分布時(shí)會(huì)出現(xiàn)無窮大的懲罰。提示如果你用KL散度訓(xùn)練時(shí)發(fā)現(xiàn)生成器輸出越來越單一不要急著增加生成器的容量。先檢查判別器的輸出范圍如果大部分輸出都大于10或者小于-10說明exp項(xiàng)已經(jīng)飽和了梯度幾乎為零。這時(shí)候降低判別器的學(xué)習(xí)率或者增加權(quán)重衰減往往比改網(wǎng)絡(luò)結(jié)構(gòu)更有效。5. 踩坑記錄與排查手冊(cè)5.1 判別器輸出范圍失控這是我在實(shí)現(xiàn)KL散度版本時(shí)遇到的第一個(gè)坑。判別器訓(xùn)練幾輪之后對(duì)真實(shí)數(shù)據(jù)的輸出穩(wěn)定在20左右對(duì)生成數(shù)據(jù)的輸出穩(wěn)定在-20左右。表面上看判別器“完美”區(qū)分了真假但生成器的梯度變成了exp(-20)量級(jí)跟零沒區(qū)別。排查思路打印判別器輸出的均值和方差如果均值絕對(duì)值超過10基本可以確定是輸出范圍失控。解決方法有兩個(gè)一是對(duì)判別器輸出做裁剪限制在[-5,5]二是改用LSGAN的二次損失因?yàn)槎螕p失在輸出很大時(shí)梯度仍然線性增長(zhǎng)不會(huì)飽和。我最后選了第二種方案因?yàn)椴眉魰?huì)引入額外的超參數(shù)而且裁剪邊界的選擇很依賴數(shù)據(jù)集。LSGAN的二次損失雖然理論上對(duì)應(yīng)的散度不同但實(shí)際效果更穩(wěn)定調(diào)參負(fù)擔(dān)更小。5.2 模式崩潰的早期信號(hào)模式崩潰是GAN訓(xùn)練中最常見的問題但很多人等到生成器完全崩潰了才發(fā)現(xiàn)。其實(shí)早期信號(hào)很明顯生成樣本的方差持續(xù)下降或者生成樣本兩兩之間的距離越來越小。我的做法是每訓(xùn)練10輪就計(jì)算一次生成樣本的協(xié)方差矩陣行列式。如果行列式持續(xù)下降超過三個(gè)數(shù)量級(jí)基本可以判定模式崩潰正在發(fā)生。這時(shí)候可以采取的措施包括增加生成器的輸入噪聲維度、降低判別器的更新頻率、或者在生成器損失中加入多樣性正則項(xiàng)。fGAN框架給了一個(gè)理論上的解釋模式崩潰對(duì)應(yīng)的是f散度中的“反向KL”行為。當(dāng)f函數(shù)在u趨近于零時(shí)的增長(zhǎng)速度快于線性時(shí)生成器會(huì)傾向于覆蓋真實(shí)分布的所有模式當(dāng)增長(zhǎng)速度慢于線性時(shí)生成器會(huì)傾向于只生成少數(shù)幾個(gè)高概率模式。原始GAN的JS散度在u趨近于零時(shí)是線性增長(zhǎng)的所以模式崩潰風(fēng)險(xiǎn)很高。5.3 常見問題速查表現(xiàn)象可能原因排查方法解決方案生成器梯度接近零判別器太強(qiáng)f*飽和打印判別器輸出均值降低判別器學(xué)習(xí)率或改用LSGAN損失生成樣本單一模式崩潰計(jì)算生成樣本協(xié)方差行列式增加噪聲維度降低k值判別器損失震蕩學(xué)習(xí)率過大觀察損失曲線降低學(xué)習(xí)率增加batch size訓(xùn)練后期突然崩潰數(shù)值不穩(wěn)定檢查exp或log項(xiàng)加epsilon裁剪輸出范圍生成樣本模糊散度選擇不當(dāng)對(duì)比不同f函數(shù)嘗試Total Variation或卡方散度這張表是我自己踩坑之后整理的放在代碼倉(cāng)庫(kù)的README里。每次開新實(shí)驗(yàn)之前掃一眼能省下不少調(diào)試時(shí)間。5.4 一個(gè)容易被忽略的細(xì)節(jié)批量大小的影響fGAN的理論推導(dǎo)假設(shè)我們有無限多的樣本可以精確計(jì)算期望。實(shí)際中只能用mini-batch來估計(jì)批量大小直接影響估計(jì)的方差。我試過batch_size從64到1024發(fā)現(xiàn)對(duì)于KL散度版本batch_size小于256時(shí)訓(xùn)練極不穩(wěn)定因?yàn)閑xp項(xiàng)的方差太大。JS散度版本對(duì)batch_size不那么敏感但batch_size太小時(shí)模式崩潰更嚴(yán)重。經(jīng)驗(yàn)值是KL散度版本用512以上JS散度版本用256左右LSGAN用128到256都可以。這個(gè)規(guī)律背后的原因是不同f函數(shù)的共軛函數(shù)對(duì)期望估計(jì)誤差的敏感度不同。exp函數(shù)的二階導(dǎo)數(shù)還是exp誤差會(huì)被放大而二次函數(shù)的二階導(dǎo)數(shù)是常數(shù)誤差不會(huì)被放大。6. 從fGAN出發(fā)的擴(kuò)展思路6.1 自適應(yīng)選擇f函數(shù)既然不同的f函數(shù)對(duì)應(yīng)不同的訓(xùn)練特性那能不能在訓(xùn)練過程中動(dòng)態(tài)切換f函數(shù)我試過一個(gè)簡(jiǎn)單的方案前50輪用LSGAN的二次損失快速收斂后50輪切換到KL散度損失精細(xì)調(diào)整。效果比單獨(dú)用任何一種都好生成樣本的清晰度和多樣性都有提升。這個(gè)思路的理論依據(jù)是訓(xùn)練初期生成分布和真實(shí)分布差距大二次損失的梯度穩(wěn)定適合快速拉近距離訓(xùn)練后期兩個(gè)分布已經(jīng)比較接近KL散度能提供更精細(xì)的梯度信號(hào)。當(dāng)然這個(gè)方案還比較粗糙切換時(shí)機(jī)和切換方式都需要更系統(tǒng)的實(shí)驗(yàn)來確定。6.2 與WGAN的結(jié)合前面說過WGAN不完全是fGAN但兩者的推導(dǎo)思路可以結(jié)合。一個(gè)自然的想法是用fGAN的框架來推導(dǎo)WGAN的對(duì)抗目標(biāo)看看能不能得到新的變體。我試過把Wasserstein距離的共軛函數(shù)代進(jìn)fGAN的變分下界得到的目標(biāo)函數(shù)跟標(biāo)準(zhǔn)WGAN只差一個(gè)常數(shù)項(xiàng)。這說明兩個(gè)框架在更深層次上是相通的。更有意思的是fGAN框架下的梯度懲罰可以推廣到一般f散度。標(biāo)準(zhǔn)WGAN-GP的梯度懲罰是約束判別器的Lipschitz常數(shù)在fGAN框架下這個(gè)約束可以改成約束共軛函數(shù)f*的某種性質(zhì)。我試過對(duì)LSGAN加類似的懲罰項(xiàng)訓(xùn)練穩(wěn)定性確實(shí)有提升但提升幅度不如WGAN-GP明顯。6.3 實(shí)際項(xiàng)目中的選型建議如果你正在做一個(gè)實(shí)際項(xiàng)目需要選擇GAN的變體我的建議是如果數(shù)據(jù)維度低、模式簡(jiǎn)單直接用LSGAN調(diào)參少、穩(wěn)定。如果數(shù)據(jù)維度高、模式復(fù)雜考慮WGAN-GP雖然訓(xùn)練慢但模式覆蓋好。如果一定要用原始GAN做好模式崩潰的心理準(zhǔn)備并且準(zhǔn)備好多樣性正則項(xiàng)。fGAN本身不是拿來直接用的而是拿來理解的。理解了fGAN你看任何GAN變體都能快速抓住它的核心。實(shí)操心得我在一個(gè)圖像生成項(xiàng)目里最初用了原始GAN調(diào)了兩周都沒法穩(wěn)定生成所有類別的圖像。后來?yè)Q成LSGAN一天就調(diào)通了。再后來讀了fGAN回頭把原始GAN的失敗案例重新分析了一遍發(fā)現(xiàn)所有問題都能在fGAN框架下找到解釋。這個(gè)從實(shí)踐到理論再到實(shí)踐的過程比單純讀論文或者單純調(diào)代碼都有價(jià)值。6.4 后續(xù)可以探索的方向fGAN這篇工作發(fā)表已經(jīng)有好幾年了但它提供的視角至今仍然有用。我覺得有幾個(gè)方向值得繼續(xù)挖一是把fGAN框架擴(kuò)展到條件生成和序列生成場(chǎng)景看看不同f函數(shù)對(duì)條件分布匹配的影響二是研究f函數(shù)的選擇與生成樣本多樣性之間的定量關(guān)系目前這方面的理論分析還比較少三是把fGAN的思想應(yīng)用到其他對(duì)抗訓(xùn)練場(chǎng)景比如對(duì)抗樣本生成和領(lǐng)域自適應(yīng)。我自己最近在嘗試把fGAN的散度選擇思路用到領(lǐng)域自適應(yīng)里初步結(jié)果還挺有意思的。不同的f函數(shù)對(duì)應(yīng)不同的分布對(duì)齊強(qiáng)度在源域和目標(biāo)域差距大時(shí)用二次損失比用JS散度效果好很多。這個(gè)方向后續(xù)如果有更系統(tǒng)的結(jié)果再單獨(dú)整理出來分享。最后分享一個(gè)我經(jīng)常用的調(diào)試技巧當(dāng)你搞不清楚某個(gè)GAN變體為什么有效或者為什么失敗時(shí)把它的損失函數(shù)寫出來找到對(duì)應(yīng)的f函數(shù)然后畫出f函數(shù)和它的共軛函數(shù)的圖像。很多時(shí)候圖像一畫出來問題就一目了然了。這個(gè)習(xí)慣幫我省下了大量盲目調(diào)參的時(shí)間。