簡介這份資源是面向深度學習與生成模型學習者的 ACGAN PyTorch 實現(xiàn)代碼包適合已掌握 GAN 基礎、希望進一步理解條件生成與類別可控圖像生成的開發(fā)者。ACGAN 在傳統(tǒng)生成對抗網絡基礎上引入輔助分類器使生成器能依據(jù)隨機噪聲與 one-hot 類別標簽合成指定類別的樣本常用于圖像生成、數(shù)據(jù)增強與半監(jiān)督學習等場景。資源包共 4 個文件包含 3 個 py 腳本與 1 個 md 說明文檔分別對應模型定義、訓練主流程與判別邏輯整體約 3KB結構精簡便于快速閱讀與二次修改。目前已有 823 人學習下載。通過該實現(xiàn)讀者可掌握生成器、判別器與輔助分類器的網絡搭建方式理解對抗損失與類別條件損失的組合設計并參考交替訓練策略完成模型調試與生成效果監(jiān)控。1. ACGAN PyTorch 實現(xiàn)從「生成得像」到「生成得準」的那一步用 MNIST 跑通一個 DCGAN看著數(shù)字從噪聲里慢慢浮現(xiàn)確實挺爽。但很快你會撞上一堵墻模型能生成「像數(shù)字的東西」卻完全不聽你指揮——你想讓它畫個 7它給你個 3你想批量生成 100 張 8它給你一堆隨機數(shù)字。這不是訓練不夠是 DCGAN 的判別器只判斷「真不真」壓根不關心「是幾」。ACGANAuxiliary Classifier GAN要解決的就是這件事在判別器上掛一個輔助分類頭讓生成器不僅騙過真假判別還得讓判別器把生成樣本分到正確的類別上。一句話ACGAN 把「生成得像」升級成了「生成得準」。這篇筆記面向兩類人一類是已經跑通過基礎 GAN、想搞懂條件生成怎么落地的人另一類是直接想拿 ACGAN 做數(shù)據(jù)增強、類別補齊、小樣本擴充的工程師。我會用 PyTorch 從零搭一個能在 MNIST 和 CIFAR-10 上跑的 ACGAN把損失函數(shù)怎么寫、標簽怎么嵌、參數(shù)怎么調、哪里容易翻車全部拆開講清楚。代碼可以直接抄參數(shù)可以照著改坑我替你踩過了。2. ACGAN 的結構拆解判別器為什么要多一個頭2.1 從 DCGAN 到 ACGAN判別器的職責變了DCGAN 的判別器只輸出一個標量表示輸入圖像為真的概率。生成器的損失就是讓這個概率越大越好。問題在于這個信號太弱了——它只告訴生成器「你畫得不夠真」但沒告訴它「你畫錯了類別」。當你要生成 10 類數(shù)字時生成器完全不知道當前噪聲對應的應該是哪個數(shù)字它只能隨機覆蓋整個數(shù)據(jù)分布。ACGAN 的做法很直接判別器輸出兩個東西。第一個還是真假判別輸出維度 1第二個是類別分類輸出維度等于類別數(shù)。生成器的輸入除了噪聲 z還多了一個類別標簽 c。生成器要同時騙過兩個頭讓真假頭認為生成樣本是真的讓分類頭認為生成樣本屬于標簽 c。判別器則要同時做對兩件事分清真假以及把真實樣本和生成樣本都分到正確的類別。這里有個關鍵細節(jié)判別器的分類頭對真實樣本和生成樣本都要計算分類損失。對真實樣本標簽就是它的真實類別對生成樣本標簽是生成時用的那個 c。這意味著判別器不僅要學會分類真實圖像還要學會分類生成圖像——后者其實是在幫生成器做「反向監(jiān)督」。2.2 損失函數(shù)兩個交叉熵怎么加ACGAN 的損失函數(shù)是兩部分之和。判別器的損失包括真假判別的二分類交叉熵或 BCEWithLogitsLoss加上類別分類的交叉熵。生成器的損失包括真假判別部分希望判別器把生成樣本判為真加上類別分類部分希望判別器把生成樣本分到正確類別。具體來說設判別器對輸入 x 的輸出為 (adv_out, class_out)其中 adv_out 是標量class_out 是長度為 C 的向量。對于真實樣本 (x_real, y_real)判別器損失為L_D BCE(adv_out_real, 1) BCE(adv_out_fake, 0) CE(class_out_real, y_real) CE(class_out_fake, y_fake)對于生成器損失為L_G BCE(adv_out_fake, 1) CE(class_out_fake, y_fake)注意這里生成器的分類損失和判別器的分類損失方向是相反的判別器希望分類正確生成器希望判別器「誤以為」生成樣本屬于 y_fake——但 y_fake 本來就是生成時指定的標簽所以實際上生成器是在推動判別器把生成樣本分到那個標簽。這兩個損失在訓練中會形成對抗但不會像純 GAN 那樣完全零和因為分類任務本身有真實標簽作為錨點。一個常見的實現(xiàn)細節(jié)是分類損失用 CrossEntropyLoss真假損失用 BCEWithLogitsLoss。后者把 sigmoid 和 BCE 合在一起數(shù)值更穩(wěn)定。如果你用 BCELoss記得在判別器輸出后手動加 sigmoid。2.3 生成器怎么把標簽嵌進去生成器的輸入是噪聲 z 和標簽 c。標簽 c 是整數(shù)需要先轉成 one-hot 向量或嵌入向量。兩種做法都行我一般用 nn.Embedding因為它在類別數(shù)多的時候更省參數(shù)而且嵌入維度可以調。具體操作把 c 通過 Embedding 層變成維度為 embed_dim 的向量然后把 z 和這個嵌入向量拼接torch.cat一起送進生成器的反卷積網絡。嵌入維度一般取 50 到 100MNIST 這種 10 類問題取 50 就夠了。拼接后的向量維度是 z_dim embed_dim通常設 z_dim100embed_dim50總共 150 維。判別器這邊不需要嵌入它直接接收圖像輸出 adv_out 和 class_out。class_out 的維度是類別數(shù)用全連接層從特征圖映射過去。2.4 一個最小可跑的 ACGAN 代碼骨架下面這段代碼是 MNIST 上的最小實現(xiàn)包含生成器、判別器和訓練循環(huán)的核心部分。我把它拆成幾個代碼塊方便你逐段理解。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms # 超參數(shù) z_dim 100 embed_dim 50 num_classes 10 batch_size 128 lr 2e-4 epochs 50 device torch.device(cuda if torch.cuda.is_available() else cpu)這段定義了所有超參數(shù)。z_dim 是噪聲維度embed_dim 是標簽嵌入維度num_classes 是類別數(shù)。學習率 2e-4 是 GAN 訓練的常用值比普通分類網絡低因為 GAN 對學習率很敏感。batch_size 128 在 MNIST 上足夠穩(wěn)定。class Generator(nn.Module): def __init__(self): super().__init__() self.embed nn.Embedding(num_classes, embed_dim) self.fc nn.Sequential( nn.Linear(z_dim embed_dim, 256), nn.BatchNorm1d(256), nn.ReLU(True), nn.Linear(256, 512), nn.BatchNorm1d(512), nn.ReLU(True), nn.Linear(512, 1024), nn.BatchNorm1d(1024), nn.ReLU(True), nn.Linear(1024, 28 * 28), nn.Tanh() ) def forward(self, z, labels): c self.embed(labels) # (B, embed_dim) x torch.cat([z, c], dim1) # (B, z_dim embed_dim) x self.fc(x) return x.view(-1, 1, 28, 28)生成器用全連接層而不是反卷積因為 MNIST 只有 28x28全連接足夠。注意最后一層用 Tanh把輸出壓到 [-1, 1]因為輸入圖像也歸一化到了這個范圍。BatchNorm1d 在 1D 特征上做歸一化訓練時要注意 batch 不能太小否則 BN 的統(tǒng)計量不準。class Discriminator(nn.Module): def __init__(self): super().__init__() self.features nn.Sequential( nn.Linear(28 * 28, 512), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(512, 256), nn.LeakyReLU(0.2, inplaceTrue), ) self.adv_head nn.Linear(256, 1) # 真假判別 self.class_head nn.Linear(256, num_classes) # 類別分類 def forward(self, x): x x.view(x.size(0), -1) feat self.features(x) adv_out self.adv_head(feat) # (B, 1) class_out self.class_head(feat) # (B, num_classes) return adv_out, class_out判別器共享特征提取層然后分兩個頭。adv_head 輸出 1 維class_head 輸出 num_classes 維。注意這里沒有在 adv_head 后加 sigmoid因為后面用 BCEWithLogitsLoss它內部會做 sigmoid。LeakyReLU 的負斜率 0.2 是 GAN 里的常見選擇比 ReLU 更不容易讓梯度死掉。# 初始化模型、優(yōu)化器、損失函數(shù) G Generator().to(device) D Discriminator().to(device) opt_G optim.Adam(G.parameters(), lrlr, betas(0.5, 0.999)) opt_D optim.Adam(D.parameters(), lrlr, betas(0.5, 0.999)) bce nn.BCEWithLogitsLoss() ce nn.CrossEntropyLoss() # 數(shù)據(jù)加載 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) loader DataLoader(dataset, batch_sizebatch_size, shuffleTrue, drop_lastTrue)優(yōu)化器用 Adambetas 設為 (0.5, 0.999) 而不是默認的 (0.9, 0.999)。這是 GAN 訓練的一個經驗值降低動量可以避免訓練震蕩。drop_lastTrue 是為了避免最后一個 batch 只有 1 個樣本導致 BatchNorm 報錯。for epoch in range(epochs): for imgs, labels in loader: imgs, labels imgs.to(device), labels.to(device) B imgs.size(0) # 真實和生成標簽 real_target torch.ones(B, 1, devicedevice) fake_target torch.zeros(B, 1, devicedevice) # --------------------- # 訓練判別器 # --------------------- z torch.randn(B, z_dim, devicedevice) fake_labels torch.randint(0, num_classes, (B,), devicedevice) fake_imgs G(z, fake_labels) adv_real, class_real D(imgs) adv_fake, class_fake D(fake_imgs.detach()) loss_D (bce(adv_real, real_target) bce(adv_fake, fake_target) ce(class_real, labels) ce(class_fake, fake_labels)) opt_D.zero_grad() loss_D.backward() opt_D.step() # --------------------- # 訓練生成器 # --------------------- adv_fake, class_fake D(fake_imgs) loss_G bce(adv_fake, real_target) ce(class_fake, fake_labels) opt_G.zero_grad() loss_G.backward() opt_G.step()訓練循環(huán)里有兩個關鍵點。第一訓練判別器時生成樣本要 detach()否則梯度會回傳到生成器打亂訓練節(jié)奏。第二生成器的損失里真假部分用的是 real_target希望判別器把假樣本判為真分類部分用的是 fake_labels生成時指定的標簽。這兩個損失一起反傳生成器就會同時優(yōu)化「像真」和「類別對」兩個目標。3. 在 MNIST 和 CIFAR-10 上跑通參數(shù)、結構和訓練策略3.1 MNIST 上的收斂曲線和生成效果MNIST 上 ACGAN 通常 20 到 30 個 epoch 就能收斂。判別器的真假損失會穩(wěn)定在 0.5 到 0.8 之間分類損失會降到 0.1 以下。生成器的真假損失會波動但整體趨勢是下降的。如果你看到判別器損失迅速降到 0說明判別器太強了生成器學不動這時候要降低判別器的學習率或者減少它的更新次數(shù)。生成效果上ACGAN 的優(yōu)勢在于你可以指定標簽生成。比如固定 z只改標簽就能看到同一個噪聲在不同類別下的輸出。如果生成器學到了類別特征同一個 z 在不同標簽下應該生成不同數(shù)字但風格筆畫粗細、傾斜角度保持一致。如果風格也變了說明標簽嵌入沒有真正起作用生成器可能只是把標簽當成了額外的噪聲。一個驗證方法是做標簽插值取兩個標簽的嵌入向量做線性插值看生成圖像是否平滑過渡。如果從 0 到 1 的插值中間出現(xiàn)了 8 或 9說明嵌入空間沒有組織好可能需要增大 embed_dim 或者加一個嵌入向量的正則項。3.2 CIFAR-10 上要改什么從全連接到卷積CIFAR-10 是 32x32 彩色圖像全連接生成器參數(shù)量會爆炸而且生成質量很差。這時候要換成卷積結構。生成器用 ConvTranspose2d 做上采樣判別器用 Conv2d 做下采樣。標簽嵌入還是拼在噪聲后面但拼接后要 reshape 成 (B, z_dimembed_dim, 1, 1)然后通過反卷積逐層放大到 32x32。class ConvGenerator(nn.Module): def __init__(self): super().__init__() self.embed nn.Embedding(num_classes, embed_dim) self.fc nn.Linear(z_dim embed_dim, 256 * 4 * 4) self.net nn.Sequential( nn.BatchNorm2d(256), nn.ReLU(True), nn.ConvTranspose2d(256, 128, 4, 2, 1), # 4x4 - 8x8 nn.BatchNorm2d(128), nn.ReLU(True), nn.ConvTranspose2d(128, 64, 4, 2, 1), # 8x8 - 16x16 nn.BatchNorm2d(64), nn.ReLU(True), nn.ConvTranspose2d(64, 3, 4, 2, 1), # 16x16 - 32x32 nn.Tanh() ) def forward(self, z, labels): c self.embed(labels) x torch.cat([z, c], dim1) x self.fc(x).view(-1, 256, 4, 4) return self.net(x)ConvTranspose2d 的參數(shù)是 (in_channels, out_channels, kernel_size, stride, padding)。這里用 kernel_size4, stride2, padding1可以把特征圖尺寸翻倍。三層反卷積從 4x4 放大到 32x32。判別器對稱地用 Conv2d 下采樣最后接兩個頭。CIFAR-10 上訓練時間更長通常要 100 個 epoch 以上。學習率可以保持 2e-4但 batch_size 建議降到 64因為 CIFAR-10 的圖像更復雜大 batch 容易讓判別器過強。另外CIFAR-10 上可以加譜歸一化Spectral Normalization來穩(wěn)定訓練PyTorch 里用 nn.utils.spectral_norm 包一下卷積層就行。3.3 訓練策略什么時候更新判別器什么時候更新生成器標準 ACGAN 是每步同時更新 D 和 G。但實踐中如果判別器太強生成器會梯度消失如果生成器太強判別器會分類不準。一個常用的策略是每訓練 1 次生成器訓練 1 到 2 次判別器。具體比例要看數(shù)據(jù)。MNIST 上 1:1 就夠了CIFAR-10 上可以試 1:2。另一個策略是標簽平滑。把真實樣本的標簽從 1 改成 0.9假樣本從 0 改成 0.1可以防止判別器過度自信。這個技巧在 ACGAN 上同樣有效尤其是分類頭標簽平滑能緩解過擬合。還有一個細節(jié)生成器的分類損失權重。有些實現(xiàn)里會給分類損失乘一個系數(shù)比如 0.5 或 1.0。如果分類損失太大生成器會優(yōu)先保證類別正確犧牲圖像質量如果太小類別控制會變弱。我一般從 1.0 開始調如果生成圖像模糊但類別很準就降到 0.5如果類別經常錯就升到 2.0。4. 避坑與排查ACGAN 訓練中最容易翻車的 5 個地方4.1 生成器只生成一類圖像或者類別完全隨機現(xiàn)象訓練一段時間后生成器對所有標簽都輸出同一個數(shù)字或者標簽和輸出完全不對應。原因最常見的原因是判別器的分類頭太強生成器的分類損失梯度被真假損失淹沒。另一個原因是標簽嵌入沒有學好生成器把標簽當成了噪聲。解決先檢查判別器的分類準確率。如果真實樣本的分類準確率超過 95%但生成樣本的分類準確率很低說明判別器在分類任務上過擬合了。這時候要降低判別器分類損失的權重或者給判別器加 dropout。如果標簽嵌入沒學好可以嘗試增大 embed_dim或者在生成器里加一個輔助分類器讓生成器自己也預測類別。4.2 訓練震蕩損失忽高忽低現(xiàn)象判別器和生成器的損失劇烈波動生成圖像質量時好時壞。原因學習率太大或者 Adam 的 beta1 太高。GAN 訓練本身就不穩(wěn)定ACGAN 因為多了分類任務震蕩會更明顯。解決把學習率降到 1e-4 或 5e-5beta1 從 0.9 降到 0.5。如果還震蕩可以試 RMSprop 或者 SGD。另外減小 batch_size 也有幫助因為小 batch 的梯度噪聲更大反而能平滑訓練。4.3 生成圖像出現(xiàn)棋盤格偽影現(xiàn)象生成圖像上有規(guī)律的網格狀紋理尤其在反卷積層較多時明顯。原因ConvTranspose2d 的 stride 和 kernel_size 不匹配導致輸出像素重疊不均勻。解決把 kernel_size 設為 stride 的整數(shù)倍比如 stride2 時 kernel_size 用 4 或 6。或者用最近鄰上采樣加普通卷積代替反卷積。PyTorch 里可以用 nn.Upsample(scale_factor2, modenearest) 接一個 Conv2d效果通常更干凈。4.4 判別器分類頭對生成樣本的損失不下降現(xiàn)象判別器對真實樣本分類很準但對生成樣本的分類損失一直很高。原因生成樣本的分布和真實樣本差異太大判別器學到的分類邊界不適用于生成樣本。這其實是正?，F(xiàn)象因為生成樣本在訓練初期質量很差。但如果訓練很久后仍然不下降說明生成器沒有學到類別特征。解決檢查生成器的分類損失是否在下降。如果生成器的分類損失也不降說明標簽嵌入沒有起作用?？梢試L試把標簽嵌入和噪聲拼接的方式改成相乘或者用條件批歸一化Conditional BatchNorm。另一個方法是給生成器加一個獨立的分類器用真實分類器來監(jiān)督生成樣本的類別。4.5 顯存溢出或訓練速度過慢現(xiàn)象CIFAR-10 上訓練時顯存不夠或者每個 epoch 要跑很久。原因判別器的兩個頭共享特征層但分類頭的參數(shù)量可能很大。另外如果 batch_size 太大BatchNorm 的統(tǒng)計量會占用額外顯存。解決減小 batch_size或者把判別器的特征層通道數(shù)減半。如果顯存還是不夠可以用混合精度訓練torch.cuda.amp。速度方面把 DataLoader 的 num_workers 設為 4 或 8pin_memoryTrue能明顯加快數(shù)據(jù)加載。5. 進階技巧用 ACGAN 做數(shù)據(jù)增強和類別補齊ACGAN 最實用的落地場景是數(shù)據(jù)增強。當你手頭某個類別的樣本特別少可以用 ACGAN 生成該類的合成樣本擴充訓練集。但這里有個坑生成樣本的質量直接決定增強效果。如果生成樣本和真實樣本分布差異大增強反而會 hurt 模型。我的做法是先用真實數(shù)據(jù)訓練一個分類器然后用 ACGAN 生成樣本把生成樣本喂給這個分類器看分類準確率。如果準確率下降超過 5%說明生成樣本質量不夠不能直接用。這時候可以調低生成樣本的權重或者只把生成樣本用于預訓練再用真實數(shù)據(jù)微調。另一個技巧是類別插值。ACGAN 的標簽嵌入空間是連續(xù)的你可以取兩個類別的嵌入向量做插值生成中間類別的圖像。這在做細粒度分類時很有用比如從「貓」到「狗」的插值可以生成一些介于兩者之間的樣本幫助模型學到更平滑的決策邊界。驗證 ACGAN 是否真正學到了類別控制有一個簡單方法固定噪聲 z遍歷所有標簽生成一組圖像。如果這些圖像在類別上明顯不同但在風格上一致說明模型學到了解耦的表示。如果風格也跟著變說明標簽和噪聲沒有解耦需要調整嵌入維度或者加正則。最后說一個我踩過的坑ACGAN 的生成器在訓練后期容易過擬合到訓練集的類別分布。如果訓練集里某個類別樣本少生成器對這個類別的生成質量會明顯差。解決辦法是在訓練時對類別進行重采樣讓每個 batch 里各類別樣本數(shù)均衡。這個細節(jié)在數(shù)據(jù)增強場景下特別重要因為你要補的恰恰是少樣本類別。希望幫到你。本文還有配套的精品資源點擊獲取