習(xí)架構(gòu)實戰(zhàn)：CNN、Transformer、GAN與膠囊網(wǎng)絡(luò)全解析)
1. 開篇一次把四種主流架構(gòu)全部過一遍如果你看過這個系列的第一篇應(yīng)該還記得我們當(dāng)時用 Keras 把基礎(chǔ)的全連接網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)從頭到尾搭了一遍核心就是在“動手寫代碼”這個層面把一些看起來很嚇人的概念落到實際可運行的模型上。這一篇我們繼續(xù)往前走目標(biāo)很明確——把 CNN、Transformer、GAN 和膠囊網(wǎng)絡(luò)這四種架構(gòu)放在同一套 TensorFlow Keras 環(huán)境里逐一拆開揉碎搞明白它們各自解決什么問題、網(wǎng)絡(luò)結(jié)構(gòu)怎么搭、訓(xùn)練時有哪些坑以及哪些場景真的值得用它們。這篇內(nèi)容最適合兩類人一類是已經(jīng)會用 Keras 寫簡單模型但面對“Transformer 到底怎么實現(xiàn)”“GAN 訓(xùn)練為什么總是不收斂”“膠囊網(wǎng)絡(luò)到底是干什么的”這類問題時心里沒底的同學(xué)另一類是準(zhǔn)備面試或做課程設(shè)計需要快速理解主流模型內(nèi)部原理并且能動手寫代碼的人。我會盡可能把每一步代碼背后“為什么這么做”也講清楚而不是丟一段能跑就完事的代碼。先說一句總結(jié)性的話這四種架構(gòu)本質(zhì)上是在不同維度上做特征提取和表示學(xué)習(xí)。CNN 擅長局部模式識別Transformer 擅長長距離依賴建模GAN 用對抗博弈驅(qū)動生成膠囊網(wǎng)絡(luò)試圖解決 CNN 丟失空間層次關(guān)系的問題。理解了這一點你再看它們的代碼就會覺得順很多。2. 四種架構(gòu)的核心差異與選型思路2.1 CNN在局部窗口里找模式卷積神經(jīng)網(wǎng)絡(luò)的核心假設(shè)是圖像或者信號中相鄰區(qū)域的特征往往高度相關(guān)。比如一張貓臉照片耳朵、眼睛、鼻子這些器官是由局部像素組合而成的不需要看整張圖才能識別出耳朵。卷積操作就是用一個小窗口比如 3×3 或 5×5掃過整張?zhí)卣鲌D在每個局部位置做加權(quán)求和把局部模式提取出來。在 Keras 里一個標(biāo)準(zhǔn)的卷積塊通常長這樣from tensorflow.keras import layers, models def conv_block(x, filters, kernel_size3): x layers.Conv2D(filters, kernel_size, paddingsame)(x) x layers.BatchNormalization()(x) x layers.ReLU()(x) x layers.MaxPooling2D(pool_size(2, 2))(x) return x這個塊做了四件事卷積提取特征、歸一化穩(wěn)定訓(xùn)練、激活函數(shù)引入非線性、池化降低分辨率。很多人寫 CNN 時容易忽略 BatchNormalization 的位置——放激活之前還是之后都有講究。我自己的習(xí)慣是先卷積、再 BN、再激活這樣 BN 能更直接地規(guī)約卷積輸出的分布訓(xùn)練更穩(wěn)定。選型時要知道 CNN 的邊界在哪里它擅長捕捉局部關(guān)系但如果兩個關(guān)鍵特征距離很遠需要堆很多層才能把感受野撐大而且訓(xùn)練難度也會增加。這也是為什么后面會出現(xiàn) Transformer 和膠囊網(wǎng)絡(luò)。2.2 Transformer關(guān)注全局關(guān)系Transformer 和 CNN 最大的不同在于它一開始就不假設(shè)數(shù)據(jù)有局部的空間結(jié)構(gòu)。它的核心機制是自注意力Self-Attention讓序列里的每一個位置都能直接和序列里所有其他位置計算相關(guān)性。比如處理一句話時“它”指代的是前面的“貓”還是“狗”模型可以通過注意力權(quán)重自己學(xué)出來不需要像 RNN 那樣一步步傳遞信息。用 Keras 實現(xiàn)一個最簡 Transformer 編碼器核心代碼可以這樣寫class TransformerBlock(layers.Layer): def __init__(self, embed_dim, num_heads, ff_dim, rate0.1): super().__init__() self.att layers.MultiHeadAttention(num_headsnum_heads, key_dimembed_dim) self.ffn models.Sequential([ layers.Dense(ff_dim, activationrelu), layers.Dense(embed_dim), ]) self.layernorm1 layers.LayerNormalization(epsilon1e-6) self.layernorm2 layers.LayerNormalization(epsilon1e-6) self.dropout1 layers.Dropout(rate) self.dropout2 layers.Dropout(rate) def call(self, inputs, trainingFalse): attn_output self.att(inputs, inputs) attn_output self.dropout1(attn_output, trainingtraining) out1 self.layernorm1(inputs attn_output) ffn_output self.ffn(out1) ffn_output self.dropout2(ffn_output, trainingtraining) return self.layernorm2(out1 ffn_output)這段代碼里有一個容易忽略但很關(guān)鍵的細節(jié)注意力輸出之后要先經(jīng)過 Dropout再做殘差連接和 LayerNorm。順序顛倒或者漏掉殘差Transformer 很容易訓(xùn)練崩掉。第二個細節(jié)是 LayerNormalization 是對每個樣本的特征維度做歸一化而不是像 BatchNormalization 那樣跨樣本做歸一化這在 NLP 和序列任務(wù)中更穩(wěn)定。選型時Transformer 的強項是長距離建模弱點是計算量隨序列長度平方增長。處理圖像時如果直接展平成序列一張 224×224 的圖就有 5 萬多個像素點實際運算量會非常驚人所以視覺 Transformer 通常先切 patch 再處理。2.3 GAN生成器與判別器的對抗博弈GAN 的思路特別直觀有兩個網(wǎng)絡(luò)互相博弈。生成器負責(zé)“造假”判別器負責(zé)“驗真”。生成器想把隨機噪聲變成以假亂真的樣本判別器則努力分辨真實樣本和生成樣本。兩者不斷對抗最后生成器學(xué)到的分布會越來越接近真實數(shù)據(jù)的分布。在 Keras 里一個最簡單的 GAN 訓(xùn)練循環(huán)包含三個模型生成器、判別器、以及把兩者拼接起來的對抗模型。generator models.Sequential([ layers.Dense(256, input_shape(latent_dim,)), layers.LeakyReLU(alpha0.2), layers.BatchNormalization(), layers.Dense(512), layers.LeakyReLU(alpha0.2), layers.BatchNormalization(), layers.Dense(28 * 28 * 1, activationsigmoid), layers.Reshape((28, 28, 1)), ])生成器里我故意用了 LeakyReLU 而不是普通 ReLU這是因為 ReLU 會把負數(shù)全部置零導(dǎo)致梯度稀疏生成器容易陷入“只會輸出重復(fù)樣本”的模式坍塌狀態(tài)。至于 BatchNormalization可以穩(wěn)定生成器內(nèi)部特征的分布讓訓(xùn)練過程平滑很多。判別器是二分類模型輸出一個 0 到 1 之間的真假分?jǐn)?shù)。但訓(xùn)練時有一個細節(jié)判別器不能訓(xùn)練得太好否則它一眼就識破所有生成樣本梯度消失生成器學(xué)不到任何東西。所以經(jīng)驗上判別器和生成器的訓(xùn)練節(jié)奏要交替進行判別器每訓(xùn)兩步生成器才訓(xùn)一步。2.4 膠囊網(wǎng)絡(luò)試圖給 CNN 補上“空間關(guān)系課”膠囊網(wǎng)絡(luò)這個概念最早是為了解決 CNN 的一個先天不足CNN 通過多次池化不斷壓縮空間尺寸雖然獲得了更大的感受野卻也丟失了物體部件之間的精確位置關(guān)系。比如一張圖里“臉”在“身體”上面這種空間位置關(guān)系對 CNN 來說并不敏感只要局部特征都出現(xiàn)了它就可能判定為同一個類別。膠囊網(wǎng)絡(luò)的做法是用一組向量神經(jīng)元也就是膠囊來表示一個實體向量的長度表示實體存在的概率向量的方向表示實體的姿態(tài)屬性位置、角度、尺度等。層與層之間用動態(tài)路由算法來傳遞信息讓上層膠囊自動決定接收下層哪些膠囊的信息。膠囊網(wǎng)絡(luò)代碼比 CNN 復(fù)雜不少后面我會詳細拆解它的關(guān)鍵部分。這里先提醒一句膠囊網(wǎng)絡(luò)目前更多是實驗性應(yīng)用訓(xùn)練成本高、對超參敏感工業(yè)落地的案例遠不如 CNN 和 Transformer 多。如果你想在簡歷或課程設(shè)計里展示學(xué)習(xí)深度它是個很好的話題點但真要上生產(chǎn)環(huán)境還是得謹(jǐn)慎。3. CNN 實戰(zhàn)從零搭一個能用的圖像分類模型3.1 數(shù)據(jù)準(zhǔn)備和增強策略實戰(zhàn)部分我用一個模擬的圖像分類數(shù)據(jù)集來演示假設(shè)有 10 個類別每類 5000 張 64×64 的彩色圖片。數(shù)據(jù)量不大所以數(shù)據(jù)增強是必須的。from tensorflow.keras.preprocessing.image import ImageDataGenerator datagen ImageDataGenerator( rotation_range20, width_shift_range0.2, height_shift_range0.2, shear_range0.15, zoom_range0.2, horizontal_flipTrue, fill_modenearest, validation_split0.2, )注意數(shù)據(jù)增強是在線進行的不是在訓(xùn)練前一次性生成一批增強圖片并存儲。這樣每個 epoch 模型看到的都是不同的變換版本相當(dāng)于隱式地擴大了數(shù)據(jù)集。輪轉(zhuǎn)角度不要設(shè)置太大20 度以內(nèi)比較合理過大的角度會讓語義本身發(fā)生變化。比如數(shù)字“6”旋轉(zhuǎn) 180 度就變成“9”標(biāo)簽就錯了。3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計與參數(shù)選擇我們設(shè)計一個淺但有效的 CNNdef build_cnn(input_shape(64, 64, 3), num_classes10): inputs layers.Input(shapeinput_shape) x conv_block(inputs, 32) x conv_block(x, 64) x conv_block(x, 128) x layers.GlobalAveragePooling2D()(x) x layers.Dropout(0.5)(x) outputs layers.Dense(num_classes, activationsoftmax)(x) model models.Model(inputs, outputs) return model這里有幾個刻意的設(shè)計。第一用 GlobalAveragePooling2D 而不是直接 Flatten 再接全連接層前者能把每個通道的特征圖壓成一個值大幅減少參數(shù)量也降低過擬合風(fēng)險。第二最后一個卷積塊輸出 128 個通道然后接一個 0.5 丟棄率的 Dropout。CNN 的參數(shù)量主要集中在最后的全連接層和較深的卷積層Dropout 在這里效果最明顯。編譯參數(shù)上優(yōu)化器我推薦用 Adam初始學(xué)習(xí)率 1e-3。如果訓(xùn)練過程中驗證集準(zhǔn)確率長時間停滯可以動態(tài)降低學(xué)習(xí)率lr_scheduler tf.keras.optimizers.schedules.ReduceLROnPlateau( monitorval_loss, factor0.5, patience3, min_lr1e-6)這里補充一個我自己踩過的坑如果直接用 ImageDataGenerator 的 flow_from_directory 加載數(shù)據(jù)一定要把 class_mode 設(shè)置成正確的類型分類任務(wù)用 ‘categorical’單標(biāo)簽二分類可以用 ‘binary’。我第一次跑的時候沒注意默認(rèn)值不對損失函數(shù)計算直接報錯排查了半天。3.3 訓(xùn)練監(jiān)控與過擬合判斷訓(xùn)練時建議同時監(jiān)控訓(xùn)練集和驗證集的指標(biāo)。判斷過擬合的一個實用標(biāo)準(zhǔn)是訓(xùn)練集準(zhǔn)確率持續(xù)上升而驗證集準(zhǔn)確率在某個 epoch 之后不再增長甚至下降同時訓(xùn)練損失還在下降這就是明顯的過擬合信號。應(yīng)對策略優(yōu)先級從高到低是增加數(shù)據(jù)增強強度但不改變語義、增加 Dropout 比例、減小網(wǎng)絡(luò)容量、加入 L2 正則化。千萬不要一上來就換一個更大的預(yù)訓(xùn)練模型那只會讓過擬合更嚴(yán)重。等到增強和正則化都用到位還欠擬合再考慮提高模型容量。3.4 遷移學(xué)習(xí)用預(yù)訓(xùn)練權(quán)重快速提升效果如果數(shù)據(jù)量更少比如每類只有幾百張從頭訓(xùn)練 CNN 很容易過擬合這時候遷移學(xué)習(xí)是首選。用 Keras 內(nèi)置的預(yù)訓(xùn)練模型非常方便base_model tf.keras.applications.ResNet50( include_topFalse, weightsimagenet, input_shape(224, 224, 3)) base_model.trainable False inputs layers.Input(shape(224, 224, 3)) x base_model(inputs, trainingFalse) x layers.GlobalAveragePooling2D()(x) x layers.Dropout(0.3)(x) outputs layers.Dense(num_classes, activationsoftmax)(x)核心細節(jié)是 base_model.trainable False也就是凍結(jié)預(yù)訓(xùn)練權(quán)重只訓(xùn)練新增的分類頭。這一步能防止預(yù)訓(xùn)練權(quán)重在訓(xùn)練初期被隨機初始化的分類層破壞。等分類頭收斂后如果想進一步微調(diào)可以把 base_model 設(shè)置為可訓(xùn)練并用一個很小的學(xué)習(xí)率比如 1e-5僅解凍后面幾層。這個“先凍結(jié)再解凍”的兩階段微調(diào)策略實測下來比一步到位效果穩(wěn)定得多。4. Transformer 實現(xiàn)從位置編碼到多頭注意力4.1 為什么需要位置編碼Transformer 的注意力機制本身完全不感知順序。它對一組輸入向量計算相關(guān)性時如果把順序打亂注意力結(jié)果不變。這在處理文本或時序數(shù)據(jù)時是致命的因為“我愛你”和“你愛我”含義截然相反。位置編碼就是給每個輸入向量加上位置信息。代碼實現(xiàn)上最常見的是用正弦余弦函數(shù)生成固定位置編碼def positional_encoding(length, d_model): pos tf.range(length, dtypetf.float32)[:, tf.newaxis] i tf.range(d_model, dtypetf.float32)[tf.newaxis, :] angle_rates 1 / tf.pow(10000.0, (2 * (i // 2)) / d_model) angle_rads pos * angle_rates angle_rads tf.where( tf.cast(i % 2, tf.bool), tf.math.cos(angle_rads), tf.math.sin(angle_rads)) return angle_rads[tf.newaxis, ...]這個設(shè)計的巧妙之處在于不同頻率的正弦波組合可以讓模型通過線性變換推斷出相對位置關(guān)系而且編碼向量是固定的、不需要學(xué)習(xí)省去了額外參數(shù)。在最新的實現(xiàn)里也有人用可學(xué)習(xí)的位置編碼效果在某些任務(wù)上略好但原理上都是為了把“第幾個位置”這個信息注入進去。4.2 多頭注意力的內(nèi)部流程多頭注意力簡單說就是把輸入向量投影到多個子空間分別計算注意力再拼接起來做一次線性變換。這樣模型能同時關(guān)注不同層面的相關(guān)性一個頭關(guān)注語義相似性另一個頭可能關(guān)注句法位置關(guān)系。手寫這個流程比較繁瑣但 Keras 的 MultiHeadAttention 層已經(jīng)封裝得很好。關(guān)鍵參數(shù)只有兩個num_heads 和 key_dim。實際使用時要注意 key_dim 一般取 embed_dim / num_heads保證多頭輸出拼接后維度能和輸入匹配。比如 embed_dim128num_heads8那么每個頭的 key_dim 就是 16。在視覺任務(wù)里如果直接用純 Transformer 模型比如 ViT需要先把圖像切成固定大小的 patch每個 patch 展平并做線性投影得到 patch embedding。一個 32×32 的圖像patch_size4就得到 64 個 patch每個 patch 是一個 16×348 維的向量投影到 embed_dim128 后進入 Transformer 編碼器。這個預(yù)處理本質(zhì)上就是把圖像轉(zhuǎn)成“序列”用 Transformer 的方式建模 patch 之間的全局關(guān)系。4.3 用 Keras 搭建一個最小可用的 ViT下面是一個簡化版視覺 Transformer 結(jié)構(gòu)def patch_extract(inputs, patch_size): patches tf.image.extract_patches( imagesinputs, sizes[1, patch_size, patch_size, 1], strides[1, patch_size, patch_size, 1], rates[1, 1, 1, 1], paddingVALID) patch_dim patches.shape[-1] patches tf.reshape(patches, [-1, patches.shape[1] * patches.shape[2], patch_dim]) return patches def build_vit(input_shape(64, 64, 3), patch_size8, embed_dim128, num_heads8, ff_dim256, num_layers4): inputs layers.Input(shapeinput_shape) patches patch_extract(inputs, patch_size) x layers.Dense(embed_dim)(patches) x x positional_encoding(x.shape[1], embed_dim) for _ in range(num_layers): x TransformerBlock(embed_dim, num_heads, ff_dim)(x) x layers.GlobalAveragePooling1D()(x) outputs layers.Dense(10, activationsoftmax)(x) model models.Model(inputs, outputs) return model這段代碼可以直接替換前面的 CNN 做圖像分類對比實驗。我實測過在同樣的小數(shù)據(jù)集上CNN 收斂更快、準(zhǔn)確率更高因為 CNN 的歸納偏置局部性、平移等變性在小數(shù)據(jù)上天然有優(yōu)勢。Transformer 在大規(guī)模數(shù)據(jù)和充足算力下才能體現(xiàn)優(yōu)勢。所以選型時要結(jié)合自己的數(shù)據(jù)規(guī)模別盲目跟風(fēng)。4.4 訓(xùn)練 Transformer 的注意事項Transformer 對超參數(shù)很敏感尤其注意以下幾點學(xué)習(xí)率不能太大建議從 1e-4 起步配合 warmup 策略。不看 warmup 直接上大學(xué)習(xí)率loss 經(jīng)常直接變成 NaN。殘差連接和層歸一化是標(biāo)配不能省。去掉殘差連接后深層 Transformer 基本訓(xùn)不動。序列長度越長顯存占用越高。訓(xùn)練時如果 OOM優(yōu)先減小 batch size其次減少 num_heads 或 embed_dim。優(yōu)化器推薦 AdamW帶權(quán)重衰減的 Adam可以配合學(xué)習(xí)率調(diào)度器使用。Keras 里可以直接用 AdamW 優(yōu)化器。5. GAN 實戰(zhàn)從 DCGAN 到訓(xùn)練穩(wěn)定性的調(diào)優(yōu)5.1 DCGAN 結(jié)構(gòu)設(shè)計與關(guān)鍵約束DCGAN 是 GAN 家族里最經(jīng)典的卷積版本用轉(zhuǎn)置卷積Conv2DTranspose把低維噪聲逐層放大成圖像。一個標(biāo)準(zhǔn)的 DCGAN 生成器在 Keras 里長這樣def build_generator(latent_dim128): model models.Sequential(namegenerator) model.add(layers.Dense(7 * 7 * 256, input_shape(latent_dim,))) model.add(layers.BatchNormalization()) model.add(layers.ReLU()) model.add(layers.Reshape((7, 7, 256))) model.add(layers.Conv2DTranspose(128, kernel_size4, strides2, paddingsame)) model.add(layers.BatchNormalization()) model.add(layers.ReLU()) model.add(layers.Conv2DTranspose(64, kernel_size4, strides2, paddingsame)) model.add(layers.BatchNormalization()) model.add(layers.ReLU()) model.add(layers.Conv2DTranspose(1, kernel_size4, strides2, paddingsame, activationtanh)) return model注意輸出層用 tanh 激活取值范圍在 [-1, 1]所以訓(xùn)練數(shù)據(jù)也要歸一化到 [-1, 1]而不用 [0, 1]。這是我見過很多人犯的錯誤——生成器輸出范圍定義和輸入數(shù)據(jù)分布不一致模型怎么訓(xùn)練都停留在“灰色模糊圖”。判別器是生成器的鏡像用普通卷積逐步壓縮空間尺寸最后輸出一個標(biāo)量真假分?jǐn)?shù)。判別器內(nèi)部不要用 BatchNormalization至少不能對每個樣本獨立做 BN因為判別器要對單個樣本輸出真假判斷樣本之間數(shù)據(jù)分布差異本來就很大BN 反而會引入干擾。用 LeakyReLU 更合適避免判別器梯度消失。5.2 訓(xùn)練循環(huán)的寫法GAN 訓(xùn)練不能像普通模型那樣直接 fit需要手動管理每一步tf.function def train_step(real_images): batch_size tf.shape(real_images)[0] noise tf.random.normal([batch_size, latent_dim]) with tf.GradientTape() as gen_tape, tf.GradientTape() as disc_tape: fake_images generator(noise, trainingTrue) real_logits discriminator(real_images, trainingTrue) fake_logits discriminator(fake_images, trainingTrue) disc_loss_real loss_fn(tf.ones_like(real_logits), real_logits) disc_loss_fake loss_fn(tf.zeros_like(fake_logits), fake_logits) disc_loss disc_loss_real disc_loss_fake gen_loss loss_fn(tf.ones_like(fake_logits), fake_logits) grads_disc disc_tape.gradient(disc_loss, discriminator.trainable_variables) grads_gen gen_tape.gradient(gen_loss, generator.trainable_variables) optimizer_disc.apply_gradients(zip(grads_disc, discriminator.trainable_variables)) optimizer_gen.apply_gradients(zip(grads_gen, generator.trainable_variables))生成器的損失函數(shù)用的是“想讓判別器把假圖判定為真圖”的損失這是一種“欺騙”式的訓(xùn)練方式。值得注意的是在計算生成器損失時通常翻轉(zhuǎn)標(biāo)簽或者使用一種特殊形式比如用最小化 -log(D(G(z))) 代替 log(1-D(G(z)))原因是后者在生成器初期梯度太平滑學(xué)習(xí)速度太慢。還有一個很實用的設(shè)計把判別器的真實損失和生成器損失分開計算不要共用一個損失函數(shù)否則梯度回傳路徑會糾纏在一起代碼調(diào)試難度直接上升。5.3 模式坍塌GAN 最頭疼的問題模式坍塌指生成器只學(xué)會生成幾種固定樣本無法覆蓋真實數(shù)據(jù)的多樣性。表現(xiàn)形式是訓(xùn)練過程中生成圖片一直重復(fù)且種類極少。常見的緩解經(jīng)驗減小學(xué)習(xí)率尤其生成器的學(xué)習(xí)率讓它別那么快鎖死到某個模式上。增加噪聲向量的維度讓生成器有更多可變化的自由度?？紤]用 Wasserstein 損失WGAN它對模式坍塌的抑制作用明顯但實現(xiàn)時要額外注意判別器權(quán)重的裁剪或梯度懲罰工作量會增加不少。每隔幾個 epoch 手動可視化生成結(jié)果實時觀察多樣性變化。不要只靠 loss 曲線判斷GAN 的 loss 曲線與生成質(zhì)量并不是嚴(yán)格對應(yīng)的。我自己的實操習(xí)慣是固定隨機種子每訓(xùn)練 5 個 epoch 保存一組生成圖。這樣既能觀察訓(xùn)練進度也能在出現(xiàn)模式坍塌時快速回退到之前的穩(wěn)定版本。5.4 從 DCGAN 到 WGAN-GP 的遷移如果 DCGAN 訓(xùn)練反復(fù)震蕩一個成熟的升級路徑是改造成 WGAN-GP帶梯度懲罰的 Wasserstein GAN。核心改動就兩點一是把判別器最后一層的 sigmoid 去掉改成輸出未歸一化的分?jǐn)?shù)二是損失函數(shù)從二元交叉熵換成 Wasserstein 距離的近似形式并且加入梯度懲罰項。梯度懲罰的實現(xiàn)通常是在判別器輸入空間隨機插值然后計算判別器輸出的梯度限制其 L2 范數(shù)接近 1。這個操作會占不少計算量但在穩(wěn)定性和生成質(zhì)量上的收益值得。6. 膠囊網(wǎng)絡(luò)向量神經(jīng)元和動態(tài)路由的實現(xiàn)細節(jié)6.1 膠囊的核心用向量代替標(biāo)量傳統(tǒng) CNN 的神經(jīng)元輸出一個標(biāo)量表示“這個特征存在與否”的概率。膠囊網(wǎng)絡(luò)的神經(jīng)元輸出一個向量除了表示存在概率向量的長度還能攜帶姿態(tài)信息向量方向。這意味著膠囊既能告訴你“這里有一只眼睛”還能告訴你“眼睛朝哪個方向、有多大”。在 Keras 中實現(xiàn)膠囊層需要自定義 Layer手動實現(xiàn)向量神經(jīng)元的計算和動態(tài)路由。一個常用技巧是用 squash 激活函數(shù)把向量長度壓縮到 [0,1] 之間同時保持方向不變def squash(vectors, axis-1): squared_norm tf.reduce_sum(tf.square(vectors), axisaxis, keepdimsTrue) scale squared_norm / (1 squared_norm) / tf.sqrt(squared_norm 1e-8) return scale * vectors這個公式看起來復(fù)雜其實可以理解為向量越長壓縮后長度越接近 1代表實體存在的置信度越高向量越短壓縮后越接近 0代表“這個實體不存在”。6.2 動態(tài)路由是怎么迭代的動態(tài)路由解決的問題是低層膠囊應(yīng)該把信息發(fā)送給哪些高層膠囊。傳統(tǒng)神經(jīng)元是全連接每個上層神經(jīng)元接收所有下層神經(jīng)元的加權(quán)和膠囊網(wǎng)絡(luò)則是先讓低層膠囊預(yù)測“自己應(yīng)該匹配哪個高層膠囊”然后通過迭代調(diào)整耦合系數(shù)。算法流程簡化為如下幾步對每個低層膠囊計算它對所有高層膠囊的預(yù)測向量。初始化耦合系數(shù)為均勻分布。迭代多輪按當(dāng)前耦合系數(shù)加權(quán)求和得到高層膠囊輸入squash 后得到高層輸出再根據(jù)高層輸出和低層預(yù)測的相似度點積更新耦合系數(shù)。迭代結(jié)束后高層膠囊作為最終輸出傳給下一層。這個機制的直觀理解是低層膠囊和高層膠囊方向一致就增加它們之間的連接強度方向不一致就減少。通過這種方式網(wǎng)絡(luò)自動學(xué)習(xí)了“哪些部件組成哪個整體”的層次關(guān)系。6.3 膠囊網(wǎng)絡(luò)的圖像分類實現(xiàn)簡化版在 Keras 里實現(xiàn)膠囊網(wǎng)絡(luò)的完整代碼量比較大我這里給一個核心膠囊層和路由的骨架方便理解class CapsuleLayer(layers.Layer): def __init__(self, num_capsules, capsule_dim, routings3): super().__init__() self.num_capsules num_capsules self.capsule_dim capsule_dim self.routings routings def build(self, input_shape): input_capsules input_shape[1] input_dim input_shape[2] self.W self.add_weight( shape[input_capsules, self.num_capsules, input_dim, self.capsule_dim], initializerglorot_uniform, trainableTrue) super().build(input_shape) def call(self, inputs): batch_size tf.shape(inputs)[0] inputs_expand tf.expand_dims(inputs, 2) # [B, in_caps, 1, in_dim] inputs_tiled tf.tile(inputs_expand, [1, 1, self.num_capsules, 1]) # [B, in_caps, out_caps, in_dim] votes tf.einsum(bikj,ikjd-bikd, inputs_tiled, self.W) logits tf.zeros([batch_size, inputs_shape[1], self.num_capsules]) for i in range(self.routings): probs tf.nn.softmax(logits, axis-1) weighted_sum tf.einsum(bik,bikd-bid, probs, votes) capsules squash(weighted_sum) if i self.routings - 1: similarity tf.einsum(bid,bikd-bik, capsules, votes) logits similarity return capsules這段代碼的核心在 einsum 運算第一次接觸可能不習(xí)慣但它能把多維張量的加權(quán)求和寫得很簡潔。如果不熟悉 einsum建議先在文檔里系統(tǒng)看一遍因為后面對膠囊網(wǎng)絡(luò)的調(diào)參和改結(jié)構(gòu)都離不開這些維度操作。6.4 膠囊網(wǎng)絡(luò)的局限和實用建議膠囊網(wǎng)絡(luò)理論框架很優(yōu)美但實際使用有幾個硬傷一定要提前知道計算量比同尺寸 CNN 大一個數(shù)量級。動態(tài)路由本身是迭代過程每一步都要做矩陣乘法顯存和時間的消耗都不是小數(shù)。對超參非常敏感耦合系數(shù)的迭代輪數(shù)、膠囊維度、正則化系數(shù)每一個都可能顯著影響最終效果。實現(xiàn)難度高、生態(tài)支持少。Keras 內(nèi)置沒有膠囊層第三方實現(xiàn)質(zhì)量參差不齊部署到移動端或者服務(wù)端都要額外做算子適配。所以我的建議是膠囊網(wǎng)絡(luò)很適合作為學(xué)習(xí)和研究項目用來展示你對“CNN 表達能力的邊界”有獨立思考。但如果你要做實際產(chǎn)品老老實實選 CNN 或 Transformer 更穩(wěn)妥。7. 常見問題與排查技巧實錄7.1 問題速查表現(xiàn)象常見原因處理方案訓(xùn)練 loss 為 NaN學(xué)習(xí)率過大、數(shù)據(jù)未歸一化降低學(xué)習(xí)率檢查輸入數(shù)據(jù)范圍GAN 生成圖片全是模糊噪聲生成器輸出激活函數(shù)和數(shù)據(jù)范圍不匹配輸出用 tanh輸入歸一化到 [-1,1]Transformer 訓(xùn)練不收斂缺少殘差連接或?qū)W習(xí)率設(shè)置過大檢查殘差結(jié)構(gòu)使用 warmup 調(diào)度器CNN 驗證集準(zhǔn)確率停滯學(xué)習(xí)率過大或過擬合降低學(xué)習(xí)率增強數(shù)據(jù)增強或加 Dropout膠囊網(wǎng)絡(luò)訓(xùn)練極慢路由迭代次數(shù)太多、膠囊維度過大減 routings 到 2降低 capsule_dim訓(xùn)練集準(zhǔn)確率高但測試集差過擬合增加數(shù)據(jù)增強、Dropout 或減小模型容量GPU 顯存不足序列過長或 batch 過大減小 batch size用混合精度訓(xùn)練損失曲線震蕩劇烈學(xué)習(xí)率過高或 GAN 訓(xùn)練節(jié)奏不穩(wěn)降低學(xué)習(xí)率檢查判別器和生成器的訓(xùn)練步數(shù)比例7.2 我踩過的三個坑第一個坑是關(guān)于 BatchNormalization 在 GAN 生成器里的使用。生成器輸入是隨機噪聲如果噪聲維度太小比如只有 8 或 16BN 層會因為樣本統(tǒng)計量波動太大導(dǎo)致輸出極不穩(wěn)定。后來我把噪聲維度加到 128并且從頭到尾保留 BN才明顯改善。第二個坑是 Transformer 輸入維度不匹配。我用 MultiHeadAttention 時一開始直接把 key_dim 設(shè)成和 embed_dim 一樣大結(jié)果維度翻倍后面 Dense 層全亂套。后來才意識到 key_dim 應(yīng)該是 embed_dim / num_heads而不是 embed_dim 本身。第三個坑是數(shù)據(jù)增強和標(biāo)簽不一致。我在做圖像分類時用了 rotation_range90結(jié)果某些類別的語義在旋轉(zhuǎn) 90 度后完全變了比如數(shù)字 6 和 9、左箭頭和上箭頭。這種問題不會導(dǎo)致程序報錯但驗證集準(zhǔn)確率會莫名其妙下降。排查方法也很簡單把增強后的樣本可視化出來看一遍很多問題一眼就能發(fā)現(xiàn)。7.3 一套通用的調(diào)試順序我在訓(xùn)練任何新模型時都會先跑一個小型實驗用很少的數(shù)據(jù)和很少的 epoch 過一遍完整流程。如果小實驗?zāi)茼樌芡ㄔ僦鸩椒糯髷?shù)據(jù)量和訓(xùn)練輪數(shù)。這樣可以把“模型結(jié)構(gòu)錯誤”和“訓(xùn)練策略不合理”兩類問題分開排查。如果訓(xùn)練遇到問題我的排查順序是先檢查輸入數(shù)據(jù)形狀和標(biāo)簽維度是否匹配輸出層的類別數(shù)。再看 loss 函數(shù)和最后一層激活函數(shù)的搭配是否正確二分類用 sigmoid binary crossentropy多分類用 softmax categorical crossentropy。然后檢查梯度是否正常最直接的辦法是看前幾個 batch 的 loss 是否下降如果完全不降很可能是沒有調(diào)用 apply_gradients 或者梯度計算錯位。最后才考慮學(xué)習(xí)率、正則化、網(wǎng)絡(luò)深度等超參數(shù)問題。這套順序幫我在很多調(diào)試場合省了大量時間特別是能避免把超參數(shù)調(diào)了半天、結(jié)果發(fā)現(xiàn)是前面維度寫錯的尷尬情況。8. 寫在最后的幾個實操心得四種架構(gòu)都跑下來之后我心里最深的體會是會調(diào)庫和真正理解模型之間有一條巨大的鴻溝。Keras 讓搭建模型變得特別簡單幾行代碼就能把 Transformer 編碼器調(diào)出來但真正遇到問題的時候起決定性作用的還是你對模型內(nèi)部機制的把握以及你那套成體系的調(diào)試方法。如果你現(xiàn)在正準(zhǔn)備動手實踐我建議的順序是CNN 一定要先吃透它是后續(xù)所有架構(gòu)的基石。Transformer 則要親自動手寫一遍位置編碼和注意力層的流程不用追求一次寫完美哪怕參考別人的實現(xiàn)也要自己敲進去、跑通、改改參數(shù)看效果變化。GAN 是最讓人上頭的因為它給了你“創(chuàng)造圖像”的即時反饋但一定不要期望第一次訓(xùn)練就穩(wěn)定多準(zhǔn)備些隨機種子和可視化代碼。膠囊網(wǎng)絡(luò)適合作為進階探索不用花太長時間但值得親手跑一跑感受傳統(tǒng) CNN 的局限在哪里。如果你現(xiàn)在正處于“代碼能跑但不懂為什么”的階段不妨在每跑通一個模型后嘗試刪掉一個關(guān)鍵組件觀察效果變化。比如把 BN 刪掉、把殘差連接刪掉、把耦合系數(shù)定死成均勻分布這種“破壞性實驗”對理解的提升往往比多看十篇文章都管用。下一篇我可能聊聊如何把這四種架構(gòu)組合起來做混合模型比如用 CNN 提取底層特征再接 Transformer 做全局建?；蛘哂?GAN 做數(shù)據(jù)增強來提升小樣本分類器的效果。你自己動手跑的時候如果遇到什么奇怪的報錯或者反直覺的現(xiàn)象也歡迎在評論里拿出來一起討論很多坑都是互相踩踩才被填平的。 四種主流深度學(xué)習(xí)架構(gòu)實戰(zhàn)：CNN、Transformer、GAN與膠囊網(wǎng)絡(luò)全解析
1. 開篇一次把四種主流架構(gòu)全部過一遍如果你看過這個系列的第一篇應(yīng)該還記得我們當(dāng)時用 Keras 把基礎(chǔ)的全連接網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)從頭到尾搭了一遍核心就是在“動手寫代碼”這個層面把一些看起來很嚇人的概念落到實際可運行的模型上。這一篇我們繼續(xù)往前走目標(biāo)很明確——把 CNN、Transformer、GAN 和膠囊網(wǎng)絡(luò)這四種架構(gòu)放在同一套 TensorFlow Keras 環(huán)境里逐一拆開揉碎搞明白它們各自解決什么問題、網(wǎng)絡(luò)結(jié)構(gòu)怎么搭、訓(xùn)練時有哪些坑以及哪些場景真的值得用它們。這篇內(nèi)容最適合兩類人一類是已經(jīng)會用 Keras 寫簡單模型但面對“Transformer 到底怎么實現(xiàn)”“GAN 訓(xùn)練為什么總是不收斂”“膠囊網(wǎng)絡(luò)到底是干什么的”這類問題時心里沒底的同學(xué)另一類是準(zhǔn)備面試或做課程設(shè)計需要快速理解主流模型內(nèi)部原理并且能動手寫代碼的人。我會盡可能把每一步代碼背后“為什么這么做”也講清楚而不是丟一段能跑就完事的代碼。先說一句總結(jié)性的話這四種架構(gòu)本質(zhì)上是在不同維度上做特征提取和表示學(xué)習(xí)。CNN 擅長局部模式識別Transformer 擅長長距離依賴建模GAN 用對抗博弈驅(qū)動生成膠囊網(wǎng)絡(luò)試圖解決 CNN 丟失空間層次關(guān)系的問題。理解了這一點你再看它們的代碼就會覺得順很多。2. 四種架構(gòu)的核心差異與選型思路2.1 CNN在局部窗口里找模式卷積神經(jīng)網(wǎng)絡(luò)的核心假設(shè)是圖像或者信號中相鄰區(qū)域的特征往往高度相關(guān)。比如一張貓臉照片耳朵、眼睛、鼻子這些器官是由局部像素組合而成的不需要看整張圖才能識別出耳朵。卷積操作就是用一個小窗口比如 3×3 或 5×5掃過整張?zhí)卣鲌D在每個局部位置做加權(quán)求和把局部模式提取出來。在 Keras 里一個標(biāo)準(zhǔn)的卷積塊通常長這樣from tensorflow.keras import layers, models def conv_block(x, filters, kernel_size3): x layers.Conv2D(filters, kernel_size, paddingsame)(x) x layers.BatchNormalization()(x) x layers.ReLU()(x) x layers.MaxPooling2D(pool_size(2, 2))(x) return x這個塊做了四件事卷積提取特征、歸一化穩(wěn)定訓(xùn)練、激活函數(shù)引入非線性、池化降低分辨率。很多人寫 CNN 時容易忽略 BatchNormalization 的位置——放激活之前還是之后都有講究。我自己的習(xí)慣是先卷積、再 BN、再激活這樣 BN 能更直接地規(guī)約卷積輸出的分布訓(xùn)練更穩(wěn)定。選型時要知道 CNN 的邊界在哪里它擅長捕捉局部關(guān)系但如果兩個關(guān)鍵特征距離很遠需要堆很多層才能把感受野撐大而且訓(xùn)練難度也會增加。這也是為什么后面會出現(xiàn) Transformer 和膠囊網(wǎng)絡(luò)。2.2 Transformer關(guān)注全局關(guān)系Transformer 和 CNN 最大的不同在于它一開始就不假設(shè)數(shù)據(jù)有局部的空間結(jié)構(gòu)。它的核心機制是自注意力Self-Attention讓序列里的每一個位置都能直接和序列里所有其他位置計算相關(guān)性。比如處理一句話時“它”指代的是前面的“貓”還是“狗”模型可以通過注意力權(quán)重自己學(xué)出來不需要像 RNN 那樣一步步傳遞信息。用 Keras 實現(xiàn)一個最簡 Transformer 編碼器核心代碼可以這樣寫class TransformerBlock(layers.Layer): def __init__(self, embed_dim, num_heads, ff_dim, rate0.1): super().__init__() self.att layers.MultiHeadAttention(num_headsnum_heads, key_dimembed_dim) self.ffn models.Sequential([ layers.Dense(ff_dim, activationrelu), layers.Dense(embed_dim), ]) self.layernorm1 layers.LayerNormalization(epsilon1e-6) self.layernorm2 layers.LayerNormalization(epsilon1e-6) self.dropout1 layers.Dropout(rate) self.dropout2 layers.Dropout(rate) def call(self, inputs, trainingFalse): attn_output self.att(inputs, inputs) attn_output self.dropout1(attn_output, trainingtraining) out1 self.layernorm1(inputs attn_output) ffn_output self.ffn(out1) ffn_output self.dropout2(ffn_output, trainingtraining) return self.layernorm2(out1 ffn_output)這段代碼里有一個容易忽略但很關(guān)鍵的細節(jié)注意力輸出之后要先經(jīng)過 Dropout再做殘差連接和 LayerNorm。順序顛倒或者漏掉殘差Transformer 很容易訓(xùn)練崩掉。第二個細節(jié)是 LayerNormalization 是對每個樣本的特征維度做歸一化而不是像 BatchNormalization 那樣跨樣本做歸一化這在 NLP 和序列任務(wù)中更穩(wěn)定。選型時Transformer 的強項是長距離建模弱點是計算量隨序列長度平方增長。處理圖像時如果直接展平成序列一張 224×224 的圖就有 5 萬多個像素點實際運算量會非常驚人所以視覺 Transformer 通常先切 patch 再處理。2.3 GAN生成器與判別器的對抗博弈GAN 的思路特別直觀有兩個網(wǎng)絡(luò)互相博弈。生成器負責(zé)“造假”判別器負責(zé)“驗真”。生成器想把隨機噪聲變成以假亂真的樣本判別器則努力分辨真實樣本和生成樣本。兩者不斷對抗最后生成器學(xué)到的分布會越來越接近真實數(shù)據(jù)的分布。在 Keras 里一個最簡單的 GAN 訓(xùn)練循環(huán)包含三個模型生成器、判別器、以及把兩者拼接起來的對抗模型。generator models.Sequential([ layers.Dense(256, input_shape(latent_dim,)), layers.LeakyReLU(alpha0.2), layers.BatchNormalization(), layers.Dense(512), layers.LeakyReLU(alpha0.2), layers.BatchNormalization(), layers.Dense(28 * 28 * 1, activationsigmoid), layers.Reshape((28, 28, 1)), ])生成器里我故意用了 LeakyReLU 而不是普通 ReLU這是因為 ReLU 會把負數(shù)全部置零導(dǎo)致梯度稀疏生成器容易陷入“只會輸出重復(fù)樣本”的模式坍塌狀態(tài)。至于 BatchNormalization可以穩(wěn)定生成器內(nèi)部特征的分布讓訓(xùn)練過程平滑很多。判別器是二分類模型輸出一個 0 到 1 之間的真假分?jǐn)?shù)。但訓(xùn)練時有一個細節(jié)判別器不能訓(xùn)練得太好否則它一眼就識破所有生成樣本梯度消失生成器學(xué)不到任何東西。所以經(jīng)驗上判別器和生成器的訓(xùn)練節(jié)奏要交替進行判別器每訓(xùn)兩步生成器才訓(xùn)一步。2.4 膠囊網(wǎng)絡(luò)試圖給 CNN 補上“空間關(guān)系課”膠囊網(wǎng)絡(luò)這個概念最早是為了解決 CNN 的一個先天不足CNN 通過多次池化不斷壓縮空間尺寸雖然獲得了更大的感受野卻也丟失了物體部件之間的精確位置關(guān)系。比如一張圖里“臉”在“身體”上面這種空間位置關(guān)系對 CNN 來說并不敏感只要局部特征都出現(xiàn)了它就可能判定為同一個類別。膠囊網(wǎng)絡(luò)的做法是用一組向量神經(jīng)元也就是膠囊來表示一個實體向量的長度表示實體存在的概率向量的方向表示實體的姿態(tài)屬性位置、角度、尺度等。層與層之間用動態(tài)路由算法來傳遞信息讓上層膠囊自動決定接收下層哪些膠囊的信息。膠囊網(wǎng)絡(luò)代碼比 CNN 復(fù)雜不少后面我會詳細拆解它的關(guān)鍵部分。這里先提醒一句膠囊網(wǎng)絡(luò)目前更多是實驗性應(yīng)用訓(xùn)練成本高、對超參敏感工業(yè)落地的案例遠不如 CNN 和 Transformer 多。如果你想在簡歷或課程設(shè)計里展示學(xué)習(xí)深度它是個很好的話題點但真要上生產(chǎn)環(huán)境還是得謹(jǐn)慎。3. CNN 實戰(zhàn)從零搭一個能用的圖像分類模型3.1 數(shù)據(jù)準(zhǔn)備和增強策略實戰(zhàn)部分我用一個模擬的圖像分類數(shù)據(jù)集來演示假設(shè)有 10 個類別每類 5000 張 64×64 的彩色圖片。數(shù)據(jù)量不大所以數(shù)據(jù)增強是必須的。from tensorflow.keras.preprocessing.image import ImageDataGenerator datagen ImageDataGenerator( rotation_range20, width_shift_range0.2, height_shift_range0.2, shear_range0.15, zoom_range0.2, horizontal_flipTrue, fill_modenearest, validation_split0.2, )注意數(shù)據(jù)增強是在線進行的不是在訓(xùn)練前一次性生成一批增強圖片并存儲。這樣每個 epoch 模型看到的都是不同的變換版本相當(dāng)于隱式地擴大了數(shù)據(jù)集。輪轉(zhuǎn)角度不要設(shè)置太大20 度以內(nèi)比較合理過大的角度會讓語義本身發(fā)生變化。比如數(shù)字“6”旋轉(zhuǎn) 180 度就變成“9”標(biāo)簽就錯了。3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計與參數(shù)選擇我們設(shè)計一個淺但有效的 CNNdef build_cnn(input_shape(64, 64, 3), num_classes10): inputs layers.Input(shapeinput_shape) x conv_block(inputs, 32) x conv_block(x, 64) x conv_block(x, 128) x layers.GlobalAveragePooling2D()(x) x layers.Dropout(0.5)(x) outputs layers.Dense(num_classes, activationsoftmax)(x) model models.Model(inputs, outputs) return model這里有幾個刻意的設(shè)計。第一用 GlobalAveragePooling2D 而不是直接 Flatten 再接全連接層前者能把每個通道的特征圖壓成一個值大幅減少參數(shù)量也降低過擬合風(fēng)險。第二最后一個卷積塊輸出 128 個通道然后接一個 0.5 丟棄率的 Dropout。CNN 的參數(shù)量主要集中在最后的全連接層和較深的卷積層Dropout 在這里效果最明顯。編譯參數(shù)上優(yōu)化器我推薦用 Adam初始學(xué)習(xí)率 1e-3。如果訓(xùn)練過程中驗證集準(zhǔn)確率長時間停滯可以動態(tài)降低學(xué)習(xí)率lr_scheduler tf.keras.optimizers.schedules.ReduceLROnPlateau( monitorval_loss, factor0.5, patience3, min_lr1e-6)這里補充一個我自己踩過的坑如果直接用 ImageDataGenerator 的 flow_from_directory 加載數(shù)據(jù)一定要把 class_mode 設(shè)置成正確的類型分類任務(wù)用 ‘categorical’單標(biāo)簽二分類可以用 ‘binary’。我第一次跑的時候沒注意默認(rèn)值不對損失函數(shù)計算直接報錯排查了半天。3.3 訓(xùn)練監(jiān)控與過擬合判斷訓(xùn)練時建議同時監(jiān)控訓(xùn)練集和驗證集的指標(biāo)。判斷過擬合的一個實用標(biāo)準(zhǔn)是訓(xùn)練集準(zhǔn)確率持續(xù)上升而驗證集準(zhǔn)確率在某個 epoch 之后不再增長甚至下降同時訓(xùn)練損失還在下降這就是明顯的過擬合信號。應(yīng)對策略優(yōu)先級從高到低是增加數(shù)據(jù)增強強度但不改變語義、增加 Dropout 比例、減小網(wǎng)絡(luò)容量、加入 L2 正則化。千萬不要一上來就換一個更大的預(yù)訓(xùn)練模型那只會讓過擬合更嚴(yán)重。等到增強和正則化都用到位還欠擬合再考慮提高模型容量。3.4 遷移學(xué)習(xí)用預(yù)訓(xùn)練權(quán)重快速提升效果如果數(shù)據(jù)量更少比如每類只有幾百張從頭訓(xùn)練 CNN 很容易過擬合這時候遷移學(xué)習(xí)是首選。用 Keras 內(nèi)置的預(yù)訓(xùn)練模型非常方便base_model tf.keras.applications.ResNet50( include_topFalse, weightsimagenet, input_shape(224, 224, 3)) base_model.trainable False inputs layers.Input(shape(224, 224, 3)) x base_model(inputs, trainingFalse) x layers.GlobalAveragePooling2D()(x) x layers.Dropout(0.3)(x) outputs layers.Dense(num_classes, activationsoftmax)(x)核心細節(jié)是 base_model.trainable False也就是凍結(jié)預(yù)訓(xùn)練權(quán)重只訓(xùn)練新增的分類頭。這一步能防止預(yù)訓(xùn)練權(quán)重在訓(xùn)練初期被隨機初始化的分類層破壞。等分類頭收斂后如果想進一步微調(diào)可以把 base_model 設(shè)置為可訓(xùn)練并用一個很小的學(xué)習(xí)率比如 1e-5僅解凍后面幾層。這個“先凍結(jié)再解凍”的兩階段微調(diào)策略實測下來比一步到位效果穩(wěn)定得多。4. Transformer 實現(xiàn)從位置編碼到多頭注意力4.1 為什么需要位置編碼Transformer 的注意力機制本身完全不感知順序。它對一組輸入向量計算相關(guān)性時如果把順序打亂注意力結(jié)果不變。這在處理文本或時序數(shù)據(jù)時是致命的因為“我愛你”和“你愛我”含義截然相反。位置編碼就是給每個輸入向量加上位置信息。代碼實現(xiàn)上最常見的是用正弦余弦函數(shù)生成固定位置編碼def positional_encoding(length, d_model): pos tf.range(length, dtypetf.float32)[:, tf.newaxis] i tf.range(d_model, dtypetf.float32)[tf.newaxis, :] angle_rates 1 / tf.pow(10000.0, (2 * (i // 2)) / d_model) angle_rads pos * angle_rates angle_rads tf.where( tf.cast(i % 2, tf.bool), tf.math.cos(angle_rads), tf.math.sin(angle_rads)) return angle_rads[tf.newaxis, ...]這個設(shè)計的巧妙之處在于不同頻率的正弦波組合可以讓模型通過線性變換推斷出相對位置關(guān)系而且編碼向量是固定的、不需要學(xué)習(xí)省去了額外參數(shù)。在最新的實現(xiàn)里也有人用可學(xué)習(xí)的位置編碼效果在某些任務(wù)上略好但原理上都是為了把“第幾個位置”這個信息注入進去。4.2 多頭注意力的內(nèi)部流程多頭注意力簡單說就是把輸入向量投影到多個子空間分別計算注意力再拼接起來做一次線性變換。這樣模型能同時關(guān)注不同層面的相關(guān)性一個頭關(guān)注語義相似性另一個頭可能關(guān)注句法位置關(guān)系。手寫這個流程比較繁瑣但 Keras 的 MultiHeadAttention 層已經(jīng)封裝得很好。關(guān)鍵參數(shù)只有兩個num_heads 和 key_dim。實際使用時要注意 key_dim 一般取 embed_dim / num_heads保證多頭輸出拼接后維度能和輸入匹配。比如 embed_dim128num_heads8那么每個頭的 key_dim 就是 16。在視覺任務(wù)里如果直接用純 Transformer 模型比如 ViT需要先把圖像切成固定大小的 patch每個 patch 展平并做線性投影得到 patch embedding。一個 32×32 的圖像patch_size4就得到 64 個 patch每個 patch 是一個 16×348 維的向量投影到 embed_dim128 后進入 Transformer 編碼器。這個預(yù)處理本質(zhì)上就是把圖像轉(zhuǎn)成“序列”用 Transformer 的方式建模 patch 之間的全局關(guān)系。4.3 用 Keras 搭建一個最小可用的 ViT下面是一個簡化版視覺 Transformer 結(jié)構(gòu)def patch_extract(inputs, patch_size): patches tf.image.extract_patches( imagesinputs, sizes[1, patch_size, patch_size, 1], strides[1, patch_size, patch_size, 1], rates[1, 1, 1, 1], paddingVALID) patch_dim patches.shape[-1] patches tf.reshape(patches, [-1, patches.shape[1] * patches.shape[2], patch_dim]) return patches def build_vit(input_shape(64, 64, 3), patch_size8, embed_dim128, num_heads8, ff_dim256, num_layers4): inputs layers.Input(shapeinput_shape) patches patch_extract(inputs, patch_size) x layers.Dense(embed_dim)(patches) x x positional_encoding(x.shape[1], embed_dim) for _ in range(num_layers): x TransformerBlock(embed_dim, num_heads, ff_dim)(x) x layers.GlobalAveragePooling1D()(x) outputs layers.Dense(10, activationsoftmax)(x) model models.Model(inputs, outputs) return model這段代碼可以直接替換前面的 CNN 做圖像分類對比實驗。我實測過在同樣的小數(shù)據(jù)集上CNN 收斂更快、準(zhǔn)確率更高因為 CNN 的歸納偏置局部性、平移等變性在小數(shù)據(jù)上天然有優(yōu)勢。Transformer 在大規(guī)模數(shù)據(jù)和充足算力下才能體現(xiàn)優(yōu)勢。所以選型時要結(jié)合自己的數(shù)據(jù)規(guī)模別盲目跟風(fēng)。4.4 訓(xùn)練 Transformer 的注意事項Transformer 對超參數(shù)很敏感尤其注意以下幾點學(xué)習(xí)率不能太大建議從 1e-4 起步配合 warmup 策略。不看 warmup 直接上大學(xué)習(xí)率loss 經(jīng)常直接變成 NaN。殘差連接和層歸一化是標(biāo)配不能省。去掉殘差連接后深層 Transformer 基本訓(xùn)不動。序列長度越長顯存占用越高。訓(xùn)練時如果 OOM優(yōu)先減小 batch size其次減少 num_heads 或 embed_dim。優(yōu)化器推薦 AdamW帶權(quán)重衰減的 Adam可以配合學(xué)習(xí)率調(diào)度器使用。Keras 里可以直接用 AdamW 優(yōu)化器。5. GAN 實戰(zhàn)從 DCGAN 到訓(xùn)練穩(wěn)定性的調(diào)優(yōu)5.1 DCGAN 結(jié)構(gòu)設(shè)計與關(guān)鍵約束DCGAN 是 GAN 家族里最經(jīng)典的卷積版本用轉(zhuǎn)置卷積Conv2DTranspose把低維噪聲逐層放大成圖像。一個標(biāo)準(zhǔn)的 DCGAN 生成器在 Keras 里長這樣def build_generator(latent_dim128): model models.Sequential(namegenerator) model.add(layers.Dense(7 * 7 * 256, input_shape(latent_dim,))) model.add(layers.BatchNormalization()) model.add(layers.ReLU()) model.add(layers.Reshape((7, 7, 256))) model.add(layers.Conv2DTranspose(128, kernel_size4, strides2, paddingsame)) model.add(layers.BatchNormalization()) model.add(layers.ReLU()) model.add(layers.Conv2DTranspose(64, kernel_size4, strides2, paddingsame)) model.add(layers.BatchNormalization()) model.add(layers.ReLU()) model.add(layers.Conv2DTranspose(1, kernel_size4, strides2, paddingsame, activationtanh)) return model注意輸出層用 tanh 激活取值范圍在 [-1, 1]所以訓(xùn)練數(shù)據(jù)也要歸一化到 [-1, 1]而不用 [0, 1]。這是我見過很多人犯的錯誤——生成器輸出范圍定義和輸入數(shù)據(jù)分布不一致模型怎么訓(xùn)練都停留在“灰色模糊圖”。判別器是生成器的鏡像用普通卷積逐步壓縮空間尺寸最后輸出一個標(biāo)量真假分?jǐn)?shù)。判別器內(nèi)部不要用 BatchNormalization至少不能對每個樣本獨立做 BN因為判別器要對單個樣本輸出真假判斷樣本之間數(shù)據(jù)分布差異本來就很大BN 反而會引入干擾。用 LeakyReLU 更合適避免判別器梯度消失。5.2 訓(xùn)練循環(huán)的寫法GAN 訓(xùn)練不能像普通模型那樣直接 fit需要手動管理每一步tf.function def train_step(real_images): batch_size tf.shape(real_images)[0] noise tf.random.normal([batch_size, latent_dim]) with tf.GradientTape() as gen_tape, tf.GradientTape() as disc_tape: fake_images generator(noise, trainingTrue) real_logits discriminator(real_images, trainingTrue) fake_logits discriminator(fake_images, trainingTrue) disc_loss_real loss_fn(tf.ones_like(real_logits), real_logits) disc_loss_fake loss_fn(tf.zeros_like(fake_logits), fake_logits) disc_loss disc_loss_real disc_loss_fake gen_loss loss_fn(tf.ones_like(fake_logits), fake_logits) grads_disc disc_tape.gradient(disc_loss, discriminator.trainable_variables) grads_gen gen_tape.gradient(gen_loss, generator.trainable_variables) optimizer_disc.apply_gradients(zip(grads_disc, discriminator.trainable_variables)) optimizer_gen.apply_gradients(zip(grads_gen, generator.trainable_variables))生成器的損失函數(shù)用的是“想讓判別器把假圖判定為真圖”的損失這是一種“欺騙”式的訓(xùn)練方式。值得注意的是在計算生成器損失時通常翻轉(zhuǎn)標(biāo)簽或者使用一種特殊形式比如用最小化 -log(D(G(z))) 代替 log(1-D(G(z)))原因是后者在生成器初期梯度太平滑學(xué)習(xí)速度太慢。還有一個很實用的設(shè)計把判別器的真實損失和生成器損失分開計算不要共用一個損失函數(shù)否則梯度回傳路徑會糾纏在一起代碼調(diào)試難度直接上升。5.3 模式坍塌GAN 最頭疼的問題模式坍塌指生成器只學(xué)會生成幾種固定樣本無法覆蓋真實數(shù)據(jù)的多樣性。表現(xiàn)形式是訓(xùn)練過程中生成圖片一直重復(fù)且種類極少。常見的緩解經(jīng)驗減小學(xué)習(xí)率尤其生成器的學(xué)習(xí)率讓它別那么快鎖死到某個模式上。增加噪聲向量的維度讓生成器有更多可變化的自由度?？紤]用 Wasserstein 損失WGAN它對模式坍塌的抑制作用明顯但實現(xiàn)時要額外注意判別器權(quán)重的裁剪或梯度懲罰工作量會增加不少。每隔幾個 epoch 手動可視化生成結(jié)果實時觀察多樣性變化。不要只靠 loss 曲線判斷GAN 的 loss 曲線與生成質(zhì)量并不是嚴(yán)格對應(yīng)的。我自己的實操習(xí)慣是固定隨機種子每訓(xùn)練 5 個 epoch 保存一組生成圖。這樣既能觀察訓(xùn)練進度也能在出現(xiàn)模式坍塌時快速回退到之前的穩(wěn)定版本。5.4 從 DCGAN 到 WGAN-GP 的遷移如果 DCGAN 訓(xùn)練反復(fù)震蕩一個成熟的升級路徑是改造成 WGAN-GP帶梯度懲罰的 Wasserstein GAN。核心改動就兩點一是把判別器最后一層的 sigmoid 去掉改成輸出未歸一化的分?jǐn)?shù)二是損失函數(shù)從二元交叉熵換成 Wasserstein 距離的近似形式并且加入梯度懲罰項。梯度懲罰的實現(xiàn)通常是在判別器輸入空間隨機插值然后計算判別器輸出的梯度限制其 L2 范數(shù)接近 1。這個操作會占不少計算量但在穩(wěn)定性和生成質(zhì)量上的收益值得。6. 膠囊網(wǎng)絡(luò)向量神經(jīng)元和動態(tài)路由的實現(xiàn)細節(jié)6.1 膠囊的核心用向量代替標(biāo)量傳統(tǒng) CNN 的神經(jīng)元輸出一個標(biāo)量表示“這個特征存在與否”的概率。膠囊網(wǎng)絡(luò)的神經(jīng)元輸出一個向量除了表示存在概率向量的長度還能攜帶姿態(tài)信息向量方向。這意味著膠囊既能告訴你“這里有一只眼睛”還能告訴你“眼睛朝哪個方向、有多大”。在 Keras 中實現(xiàn)膠囊層需要自定義 Layer手動實現(xiàn)向量神經(jīng)元的計算和動態(tài)路由。一個常用技巧是用 squash 激活函數(shù)把向量長度壓縮到 [0,1] 之間同時保持方向不變def squash(vectors, axis-1): squared_norm tf.reduce_sum(tf.square(vectors), axisaxis, keepdimsTrue) scale squared_norm / (1 squared_norm) / tf.sqrt(squared_norm 1e-8) return scale * vectors這個公式看起來復(fù)雜其實可以理解為向量越長壓縮后長度越接近 1代表實體存在的置信度越高向量越短壓縮后越接近 0代表“這個實體不存在”。6.2 動態(tài)路由是怎么迭代的動態(tài)路由解決的問題是低層膠囊應(yīng)該把信息發(fā)送給哪些高層膠囊。傳統(tǒng)神經(jīng)元是全連接每個上層神經(jīng)元接收所有下層神經(jīng)元的加權(quán)和膠囊網(wǎng)絡(luò)則是先讓低層膠囊預(yù)測“自己應(yīng)該匹配哪個高層膠囊”然后通過迭代調(diào)整耦合系數(shù)。算法流程簡化為如下幾步對每個低層膠囊計算它對所有高層膠囊的預(yù)測向量。初始化耦合系數(shù)為均勻分布。迭代多輪按當(dāng)前耦合系數(shù)加權(quán)求和得到高層膠囊輸入squash 后得到高層輸出再根據(jù)高層輸出和低層預(yù)測的相似度點積更新耦合系數(shù)。迭代結(jié)束后高層膠囊作為最終輸出傳給下一層。這個機制的直觀理解是低層膠囊和高層膠囊方向一致就增加它們之間的連接強度方向不一致就減少。通過這種方式網(wǎng)絡(luò)自動學(xué)習(xí)了“哪些部件組成哪個整體”的層次關(guān)系。6.3 膠囊網(wǎng)絡(luò)的圖像分類實現(xiàn)簡化版在 Keras 里實現(xiàn)膠囊網(wǎng)絡(luò)的完整代碼量比較大我這里給一個核心膠囊層和路由的骨架方便理解class CapsuleLayer(layers.Layer): def __init__(self, num_capsules, capsule_dim, routings3): super().__init__() self.num_capsules num_capsules self.capsule_dim capsule_dim self.routings routings def build(self, input_shape): input_capsules input_shape[1] input_dim input_shape[2] self.W self.add_weight( shape[input_capsules, self.num_capsules, input_dim, self.capsule_dim], initializerglorot_uniform, trainableTrue) super().build(input_shape) def call(self, inputs): batch_size tf.shape(inputs)[0] inputs_expand tf.expand_dims(inputs, 2) # [B, in_caps, 1, in_dim] inputs_tiled tf.tile(inputs_expand, [1, 1, self.num_capsules, 1]) # [B, in_caps, out_caps, in_dim] votes tf.einsum(bikj,ikjd-bikd, inputs_tiled, self.W) logits tf.zeros([batch_size, inputs_shape[1], self.num_capsules]) for i in range(self.routings): probs tf.nn.softmax(logits, axis-1) weighted_sum tf.einsum(bik,bikd-bid, probs, votes) capsules squash(weighted_sum) if i self.routings - 1: similarity tf.einsum(bid,bikd-bik, capsules, votes) logits similarity return capsules這段代碼的核心在 einsum 運算第一次接觸可能不習(xí)慣但它能把多維張量的加權(quán)求和寫得很簡潔。如果不熟悉 einsum建議先在文檔里系統(tǒng)看一遍因為后面對膠囊網(wǎng)絡(luò)的調(diào)參和改結(jié)構(gòu)都離不開這些維度操作。6.4 膠囊網(wǎng)絡(luò)的局限和實用建議膠囊網(wǎng)絡(luò)理論框架很優(yōu)美但實際使用有幾個硬傷一定要提前知道計算量比同尺寸 CNN 大一個數(shù)量級。動態(tài)路由本身是迭代過程每一步都要做矩陣乘法顯存和時間的消耗都不是小數(shù)。對超參非常敏感耦合系數(shù)的迭代輪數(shù)、膠囊維度、正則化系數(shù)每一個都可能顯著影響最終效果。實現(xiàn)難度高、生態(tài)支持少。Keras 內(nèi)置沒有膠囊層第三方實現(xiàn)質(zhì)量參差不齊部署到移動端或者服務(wù)端都要額外做算子適配。所以我的建議是膠囊網(wǎng)絡(luò)很適合作為學(xué)習(xí)和研究項目用來展示你對“CNN 表達能力的邊界”有獨立思考。但如果你要做實際產(chǎn)品老老實實選 CNN 或 Transformer 更穩(wěn)妥。7. 常見問題與排查技巧實錄7.1 問題速查表現(xiàn)象常見原因處理方案訓(xùn)練 loss 為 NaN學(xué)習(xí)率過大、數(shù)據(jù)未歸一化降低學(xué)習(xí)率檢查輸入數(shù)據(jù)范圍GAN 生成圖片全是模糊噪聲生成器輸出激活函數(shù)和數(shù)據(jù)范圍不匹配輸出用 tanh輸入歸一化到 [-1,1]Transformer 訓(xùn)練不收斂缺少殘差連接或?qū)W習(xí)率設(shè)置過大檢查殘差結(jié)構(gòu)使用 warmup 調(diào)度器CNN 驗證集準(zhǔn)確率停滯學(xué)習(xí)率過大或過擬合降低學(xué)習(xí)率增強數(shù)據(jù)增強或加 Dropout膠囊網(wǎng)絡(luò)訓(xùn)練極慢路由迭代次數(shù)太多、膠囊維度過大減 routings 到 2降低 capsule_dim訓(xùn)練集準(zhǔn)確率高但測試集差過擬合增加數(shù)據(jù)增強、Dropout 或減小模型容量GPU 顯存不足序列過長或 batch 過大減小 batch size用混合精度訓(xùn)練損失曲線震蕩劇烈學(xué)習(xí)率過高或 GAN 訓(xùn)練節(jié)奏不穩(wěn)降低學(xué)習(xí)率檢查判別器和生成器的訓(xùn)練步數(shù)比例7.2 我踩過的三個坑第一個坑是關(guān)于 BatchNormalization 在 GAN 生成器里的使用。生成器輸入是隨機噪聲如果噪聲維度太小比如只有 8 或 16BN 層會因為樣本統(tǒng)計量波動太大導(dǎo)致輸出極不穩(wěn)定。后來我把噪聲維度加到 128并且從頭到尾保留 BN才明顯改善。第二個坑是 Transformer 輸入維度不匹配。我用 MultiHeadAttention 時一開始直接把 key_dim 設(shè)成和 embed_dim 一樣大結(jié)果維度翻倍后面 Dense 層全亂套。后來才意識到 key_dim 應(yīng)該是 embed_dim / num_heads而不是 embed_dim 本身。第三個坑是數(shù)據(jù)增強和標(biāo)簽不一致。我在做圖像分類時用了 rotation_range90結(jié)果某些類別的語義在旋轉(zhuǎn) 90 度后完全變了比如數(shù)字 6 和 9、左箭頭和上箭頭。這種問題不會導(dǎo)致程序報錯但驗證集準(zhǔn)確率會莫名其妙下降。排查方法也很簡單把增強后的樣本可視化出來看一遍很多問題一眼就能發(fā)現(xiàn)。7.3 一套通用的調(diào)試順序我在訓(xùn)練任何新模型時都會先跑一個小型實驗用很少的數(shù)據(jù)和很少的 epoch 過一遍完整流程。如果小實驗?zāi)茼樌芡ㄔ僦鸩椒糯髷?shù)據(jù)量和訓(xùn)練輪數(shù)。這樣可以把“模型結(jié)構(gòu)錯誤”和“訓(xùn)練策略不合理”兩類問題分開排查。如果訓(xùn)練遇到問題我的排查順序是先檢查輸入數(shù)據(jù)形狀和標(biāo)簽維度是否匹配輸出層的類別數(shù)。再看 loss 函數(shù)和最后一層激活函數(shù)的搭配是否正確二分類用 sigmoid binary crossentropy多分類用 softmax categorical crossentropy。然后檢查梯度是否正常最直接的辦法是看前幾個 batch 的 loss 是否下降如果完全不降很可能是沒有調(diào)用 apply_gradients 或者梯度計算錯位。最后才考慮學(xué)習(xí)率、正則化、網(wǎng)絡(luò)深度等超參數(shù)問題。這套順序幫我在很多調(diào)試場合省了大量時間特別是能避免把超參數(shù)調(diào)了半天、結(jié)果發(fā)現(xiàn)是前面維度寫錯的尷尬情況。8. 寫在最后的幾個實操心得四種架構(gòu)都跑下來之后我心里最深的體會是會調(diào)庫和真正理解模型之間有一條巨大的鴻溝。Keras 讓搭建模型變得特別簡單幾行代碼就能把 Transformer 編碼器調(diào)出來但真正遇到問題的時候起決定性作用的還是你對模型內(nèi)部機制的把握以及你那套成體系的調(diào)試方法。如果你現(xiàn)在正準(zhǔn)備動手實踐我建議的順序是CNN 一定要先吃透它是后續(xù)所有架構(gòu)的基石。Transformer 則要親自動手寫一遍位置編碼和注意力層的流程不用追求一次寫完美哪怕參考別人的實現(xiàn)也要自己敲進去、跑通、改改參數(shù)看效果變化。GAN 是最讓人上頭的因為它給了你“創(chuàng)造圖像”的即時反饋但一定不要期望第一次訓(xùn)練就穩(wěn)定多準(zhǔn)備些隨機種子和可視化代碼。膠囊網(wǎng)絡(luò)適合作為進階探索不用花太長時間但值得親手跑一跑感受傳統(tǒng) CNN 的局限在哪里。如果你現(xiàn)在正處于“代碼能跑但不懂為什么”的階段不妨在每跑通一個模型后嘗試刪掉一個關(guān)鍵組件觀察效果變化。比如把 BN 刪掉、把殘差連接刪掉、把耦合系數(shù)定死成均勻分布這種“破壞性實驗”對理解的提升往往比多看十篇文章都管用。下一篇我可能聊聊如何把這四種架構(gòu)組合起來做混合模型比如用 CNN 提取底層特征再接 Transformer 做全局建?；蛘哂?GAN 做數(shù)據(jù)增強來提升小樣本分類器的效果。你自己動手跑的時候如果遇到什么奇怪的報錯或者反直覺的現(xiàn)象也歡迎在評論里拿出來一起討論很多坑都是互相踩踩才被填平的。