全解析：從ReLU到Softmax，解決梯度消失與訓(xùn)練難題)
**開頭 ·激活函數(shù)在深度學(xué)習(xí)里究竟是什么地位如果只能用一個(gè)詞來形容我會(huì)說它是“非線性的閘門”。之前幫一個(gè)師弟調(diào)試 MNIST 手寫識(shí)別模型他堆了八層全連接激活函數(shù)全部用的恒等映射結(jié)果訓(xùn)練到吐loss 停在 0.69 一動(dòng)不動(dòng)最后換成 ReLU 之后五個(gè) epoch 直接壓到了 0.02 的準(zhǔn)確率往下走。那一瞬間他就明白了沒有激活函數(shù)多層網(wǎng)絡(luò)和單層線性變換沒有任何本質(zhì)區(qū)別。這篇文章會(huì)把深度學(xué)習(xí)里常見激活函數(shù)全部拿出來過一遍包括 Sigmoid、Tanh、ReLU 家族、Softmax 以及它們背后的梯度行為。不僅有公式和 PyTorch 寫法還會(huì)補(bǔ)充實(shí)際訓(xùn)練中怎么選、怎么調(diào)、踩過哪些坑。無論你是剛看完吳恩達(dá)深度學(xué)習(xí)課后題準(zhǔn)備上手的初學(xué)者還是跟著《動(dòng)手深度學(xué)習(xí)》擼過一遍代碼但心里還有疑問的實(shí)踐者這篇文章都值得仔細(xì)讀一遍。1. 為什么說激活函數(shù)是深度學(xué)習(xí)繞不開的坎1.1 沒有它深層網(wǎng)絡(luò)約等于一個(gè)線性變換先捋一個(gè)最基礎(chǔ)的問題。假設(shè)網(wǎng)絡(luò)里沒有激活函數(shù)每一層只做y Wx b那你把兩個(gè)線性層疊起來會(huì)得到什么y W2(W1x b1) b2展開之后其實(shí)是W2W1這樣一個(gè)合并矩陣再加一個(gè)合并偏置。也就是說不管網(wǎng)絡(luò)疊多少層表達(dá)能力的上限就是一條直線無法逼近任何復(fù)雜曲面。這個(gè)道理用生活類比來說就是一個(gè)人只會(huì)直線走你讓他轉(zhuǎn)彎他永遠(yuǎn)走不到 T 字路口。激活函數(shù)就是那個(gè)“轉(zhuǎn)彎”的能力來源。真正讓深度學(xué)習(xí)能擬合任意復(fù)雜函數(shù)的關(guān)鍵就是非線性激活函數(shù)一層層嵌套造成的復(fù)合變換。從數(shù)學(xué)角度看Kolmogorov-Arnold 定理也支持這一點(diǎn)——任何連續(xù)多元函數(shù)都可以表示為“一元函數(shù)的有限求和復(fù)合”而深度學(xué)習(xí)通過層層堆疊帶非線性的神經(jīng)元正是在數(shù)值上逼近這種分解。你說的 ReLU、Sigmoid、Tanh就是在給網(wǎng)絡(luò)“注入”一個(gè)個(gè)彎曲能力。1.2 反向傳播里激活函數(shù)決定了梯度能不能流下去訓(xùn)練神經(jīng)網(wǎng)絡(luò)靠的是反向傳播。損失函數(shù)對(duì)某層輸出求梯度時(shí)需要沿著網(wǎng)絡(luò)逐層往回傳遞梯度每一層都要乘以該層激活函數(shù)的導(dǎo)數(shù)。拿一個(gè)單神經(jīng)元舉例前向是z wx b然后a σ(z)最后接損失 L。那反向傳遞時(shí)梯度是?L/?w ?L/?a · σ(z) · x這里σ(z)越小梯度在傳過這一層時(shí)就被削得越狠。深度網(wǎng)絡(luò)里連續(xù)乘幾十次這種壓縮系數(shù)后梯度就會(huì)以指數(shù)級(jí)衰減這正是“梯度消失”問題的由來。所以激活函數(shù)選擇不只是一個(gè)“用哪個(gè)函數(shù)”的偏好問題它直接決定了梯度是否能順暢流動(dòng)、網(wǎng)絡(luò)能不能正常訓(xùn)練。我在實(shí)際調(diào)參中見過太多 loss 卡著不動(dòng)的案例最后定位下來都是激活函數(shù)區(qū)段飽和導(dǎo)致的。這也是下面每講一個(gè)激活函數(shù)我都會(huì)把導(dǎo)數(shù)行為放在第一位的原因。2. 老牌選手 Sigmoid 和 Tanh能用但別亂用2.1 Sigmoid二分類輸出層的經(jīng)典備選Sigmoid 的公式是σ(x) 1 / (1 e^(-x))輸出范圍是 (0, 1)這個(gè)特性讓它天然適配“概率”這種語義。它最經(jīng)典的應(yīng)用是二分類輸出層搭配二元交叉熵?fù)p失或者多標(biāo)簽分類時(shí)對(duì)每個(gè)類別獨(dú)立輸出一個(gè) [0,1] 概率值。它的導(dǎo)數(shù)有個(gè)非常漂亮的性質(zhì)σ(x) σ(x) · (1 - σ(x))也就是說只要知道了前向輸出值導(dǎo)數(shù)立刻就能算出來。這在反向傳播實(shí)現(xiàn)上非常方便所以它是一個(gè)經(jīng)典中的經(jīng)典。但是問題也恰恰出在導(dǎo)數(shù)形態(tài)上當(dāng)輸入非常大或非常小σ(x) 趨近 1 或 0 時(shí)σ(x) 趨近 0梯度被徹底截?cái)唷＿@就是梯度消失的主要來源。輸出均值不為 0恒大于 0上一層網(wǎng)絡(luò)接收到的輸入全部是同號(hào)參數(shù)更新會(huì)發(fā)生 Zigzag 震蕩收斂變慢。指數(shù)運(yùn)算相對(duì)耗時(shí)網(wǎng)絡(luò)規(guī)模一大時(shí)前向和反向都會(huì)吃不少計(jì)算資源。在實(shí)際工程里我?guī)缀醪粫?huì)在隱藏層用 Sigmoid除非是 3 層以內(nèi)的淺層網(wǎng)絡(luò)、做快速原型驗(yàn)證。如果你非要在隱藏層用推薦配合 Xavier 初始化和較小的網(wǎng)絡(luò)深度同時(shí)把損失函數(shù)的輸出映射到中心區(qū)域減少進(jìn)入飽和區(qū)的概率。2.2 Tanh零中心化的改良版但依然會(huì)飽和Tanh 的公式是tanh(x) (e^x - e^(-x)) / (e^x e^(-x))輸出范圍是 (-1, 1)它的最大改進(jìn)在于輸出均值是 0解決了 Sigmoid 非零中心化導(dǎo)致的收斂慢問題。它的導(dǎo)數(shù)tanh(x) 1 - tanh2(x)這里有一個(gè)很實(shí)用的工程技巧Tanh 在輸入為 0 附近時(shí)tanh(0) 1梯度能順暢通過而且它的飽和區(qū)比 Sigmoid 更靠外所以訓(xùn)練速度通常比 Sigmoid 快。這也解釋了為什么 LSTM 里的輸入門、遺忘門、候選狀態(tài)喜歡用 Tanh 而不是 Sigmoid。不過 Tanh 的兩端依然飽和深網(wǎng)絡(luò)里依然會(huì)發(fā)生梯度消失。所以它的舞臺(tái)主要是循環(huán)神經(jīng)網(wǎng)絡(luò)RNN/LSTM、某些需要輸出有正負(fù)范圍的特征層、或者淺層 MLP。2.3 老牌激活函數(shù)在什么場(chǎng)景還能用我總結(jié)一下自己實(shí)際項(xiàng)目里的使用經(jīng)驗(yàn)輸出層做二分類Sigmoid沒問題。輸出層做多分類Softmax后面單獨(dú)講。LSTM 或 GRU 內(nèi)部狀態(tài)更新Tanh 是標(biāo)配。隱藏層強(qiáng)上 Sigmoid/Tanh僅限淺層網(wǎng)絡(luò)深度超過十層要慎重。這張表可以幫你快速判斷激活函數(shù)輸出范圍零中心梯度飽和常見適用場(chǎng)景Sigmoid(0, 1)否嚴(yán)重二分類輸出、門控機(jī)制Tanh(-1, 1)是較嚴(yán)重RNN/LSTM內(nèi)部、特征輸出3. ReLU 家族現(xiàn)代深度網(wǎng)絡(luò)的事實(shí)標(biāo)準(zhǔn)3.1 ReLU為什么它成了默認(rèn)選項(xiàng)ReLU 的全稱是 Rectified Linear Unit公式簡(jiǎn)單到讓人懷疑ReLU(x) max(0, x)正區(qū)間導(dǎo)數(shù)為 1負(fù)區(qū)間導(dǎo)數(shù)為 0。這個(gè)極簡(jiǎn)設(shè)計(jì)帶來了幾個(gè)決定性的工程優(yōu)勢(shì)正區(qū)間梯度恒為 1從根源上緩解了植被梯度消失的問題深層網(wǎng)絡(luò)能正常訓(xùn)練。負(fù)區(qū)間輸出恒為 0讓網(wǎng)絡(luò)自然具有稀疏性這相當(dāng)于一種隱式的特征選擇。計(jì)算只需要一次比較沒有任何指數(shù)運(yùn)算在 GPU 上大規(guī)模并行時(shí)極快。用生活類比說ReLU 就像一扇單向門陽光能照進(jìn)來但逆光直接被擋住。正輸入暢通無阻負(fù)輸入一律滅掉。這種“非線性稀疏”的組合讓它在 CNN、Transformer 等現(xiàn)代架構(gòu)里幾乎成了標(biāo)配。但 ReLU 不是沒有坑。最典型的就是“神經(jīng)元死亡”問題如果某一層所有輸入的加權(quán)和長(zhǎng)期為負(fù)該神經(jīng)元輸出永遠(yuǎn)是 0梯度永遠(yuǎn)為 0參數(shù)再也無法更新相當(dāng)于這個(gè)神經(jīng)元“死了”。如果大批神經(jīng)元死亡網(wǎng)絡(luò)容量會(huì)嚴(yán)重縮水。3.2 Leaky ReLU 和 PReLU給負(fù)數(shù)側(cè)留一條活路為了解決死亡 ReLU 問題Leaky ReLU 在負(fù)區(qū)間給了一個(gè)極小的斜率 αLeakyReLU(x) max(0, x) α · min(0, x)通常 α 取 0.01 或 0.1。這樣負(fù)區(qū)間梯度不再是 0神經(jīng)元即使處于負(fù)區(qū)間也能獲得微小梯度的更新避免徹底死亡。再進(jìn)一步PReLUParametric ReLU把 α 變成一個(gè)可學(xué)習(xí)的參數(shù)讓網(wǎng)絡(luò)自己去學(xué)負(fù)數(shù)側(cè)斜率應(yīng)該多大。這在人臉識(shí)別這類對(duì)特征表達(dá)能力要求極高的任務(wù)中效果往往比固定 α 的 Leaky ReLU 更好。不過要注意PReLU 增加參數(shù)量數(shù)據(jù)量小的時(shí)候容易過擬合。在 PyTorch 里的寫法非常直白import torch.nn as nn # Leaky ReLUα0.1 layer nn.LeakyReLU(negative_slope0.1) # PReLU每個(gè)通道一個(gè)可學(xué)習(xí)參數(shù) layer nn.PReLU(num_parameters1)3.3 ELU 和 SELU讓輸出均值更接近零ELUExponential Linear Unit的思路和 Leaky 系列完全不同。它在負(fù)區(qū)間不是用一個(gè)固定斜率而是用指數(shù)衰減ELU(x) x, x 0 ELU(x) α · (e^x - 1), x ≤ 0負(fù)區(qū)間輸出逐漸趨于 -α而不是線性延伸。它的好處是負(fù)區(qū)間更平滑對(duì)噪聲的魯棒性更好同時(shí)輸出均值比 ReLU 更接近 0有助于緩解偏置漂移問題。缺點(diǎn)是涉及指數(shù)運(yùn)算訓(xùn)練速度比 ReLU 要慢一些。SELUScaled ELU是 ELU 的一個(gè)特殊縮放版本。論文作者證明當(dāng)網(wǎng)絡(luò)使用特定的lecun_normal初始化并且用 SELU 做激活時(shí)網(wǎng)絡(luò)能自動(dòng)把每層輸出分布?xì)w一化到均值為 0、方差為 1也就是“自歸一化”特性可以顯著減少對(duì) BatchNorm 的依賴。這個(gè)想法很有啟發(fā)性但在實(shí)際任務(wù)里我很少用它因?yàn)閷?duì)初始化要求苛刻一旦初始化不當(dāng)效果反而不如 ReLUBatchNorm 穩(wěn)。3.4 聊聊 GELU當(dāng)前大模型里的隱藏高手還有一個(gè)你在 Transformer 里經(jīng)常遇見、但很容易忽略的激活函數(shù)GELUGaussian Error Linear Unit。它的核心思想是按輸入值大小進(jìn)行隨機(jī)保留或歸零而不是像 ReLU 那樣硬截?cái)郍ELU(x) x · Φ(x)其中Φ(x)是標(biāo)準(zhǔn)正態(tài)分布的累積概率函數(shù)。通俗理解就是輸入越大保留概率越高輸入越小保留概率越低。這個(gè)設(shè)計(jì)保留了類似 ReLU 的稀疏性又讓負(fù)數(shù)側(cè)有概率流過一點(diǎn)信息梯度更平滑。它在 BERT、GPT 等 Transformer 類模型里是標(biāo)配。PyTorch 里直接寫layer nn.GELU()如果你的任務(wù)不是苛刻到極致用它和 ReLU 都能訓(xùn)出不差的結(jié)果但它在大模型里的表現(xiàn)確實(shí)值得你記住。3.5 Swish / SiLU踩在趨勢(shì)上的自門控激活函數(shù)Swish也叫 SiLU是 Google Brain 提出的Swish(x) x · sigmoid(x)直觀來看它在正區(qū)間近似 ReLU在負(fù)區(qū)間不完全歸零而是保留很小的負(fù)值因此比 ReLU 更平滑。由于負(fù)區(qū)間存在殘差梯度死亡神經(jīng)元概率更低。很多高效輕量模型比如 MobileNet 系列用它取得了比 ReLU 更好的成績(jī)。PyTorch 里layer nn.SiLU()不過它也有代價(jià)計(jì)算 sigmoid 會(huì)比 max 慢。在小網(wǎng)絡(luò)或推理時(shí)延敏感的場(chǎng)景下我會(huì)回歸 ReLU要質(zhì)量再考慮 Swish。4. 輸出層的激活函數(shù)選擇Softmax 與概率化輸出4.1 多分類的標(biāo)準(zhǔn)答案SoftmaxSoftmax 其實(shí)不算嚴(yán)格意義的激活函數(shù)它更像一種輸出層的歸一化策略。它把一個(gè)K維向量映射成概率分布Softmax(z)_i e^{z_i} / Σ_{j1}^{K} e^{z_j}所有輸出都為正且和為 1。這讓它天然匹配交叉熵?fù)p失函數(shù)兩者組合在數(shù)值上非常穩(wěn)定。實(shí)操編碼的時(shí)候有一個(gè)高頻注意點(diǎn)直接用e^{z_i}很容易數(shù)值溢出因?yàn)?z 很大的時(shí)候指數(shù)直接爆炸。正確做法是先減掉最大值import torch z torch.tensor([[3.2, 1.1, 0.7]]) z_max z.max(dim-1, keepdimTrue).values z_stable z - z_max probs torch.softmax(z_stable, dim-1)不過 PyTorch 的torch.softmax底層內(nèi)部已經(jīng)做了最大值平移所以直接調(diào)用即可。但如果你在用 NumPy 手寫實(shí)現(xiàn)務(wù)必要做這一步。4.2 二分類和多標(biāo)簽場(chǎng)景別搞錯(cuò)二分類輸出層用nn.Sigmoid搭配nn.BCEWithLogitsLossPyTorch 會(huì)自動(dòng)把 logits 輸進(jìn)去做穩(wěn)定計(jì)算。多分類輸出層用nn.Softmax(dim1)搭配nn.CrossEntropyLoss注意 CrossEntropyLoss 內(nèi)部已經(jīng)含了 Softmax不要在模型輸出層再手動(dòng)加。多標(biāo)簽分類對(duì)每個(gè)輸出維度獨(dú)立用 Sigmoid而不是用 Softmax因?yàn)槊總€(gè)標(biāo)簽可以同時(shí)為 1 或 0它們不互斥。4.3 溫度參數(shù)Softmax 的隱藏調(diào)節(jié)旋鈕溫度參數(shù) T 是 Softmax 里一個(gè)少有人提、但很有用的擴(kuò)展Softmax(z)_i e^{z_i / T} / Σ_j e^{z_j / T}T 越大概率分布越平滑T 越小分布越接近 one-hot。這個(gè)技巧常用于知識(shí)蒸餾里把大模型輸出的平滑概率當(dāng)作“軟標(biāo)簽”來訓(xùn)練小模型小模型能學(xué)到更多類別間的相似性結(jié)構(gòu)比生硬地用 one-hot 效果好很多。我實(shí)際做過一個(gè)實(shí)驗(yàn)同樣的蒸餾任務(wù)溫度 T4 時(shí)的蒸餾效果比 T1 時(shí)高 3 個(gè)百分點(diǎn)的準(zhǔn)確率。所以這個(gè)旋鈕很有價(jià)值。5. 動(dòng)手實(shí)踐PyTorch 里激活函數(shù)怎么用、怎么調(diào)、怎么自己寫5.1 常用激活函數(shù)速查表和初始化搭配寫網(wǎng)絡(luò)的時(shí)候激活函數(shù)一般作為nn.Sequential里的一個(gè)模塊或者寫在自定義forward里。下面是我常用的配方網(wǎng)絡(luò)類型推薦激活函數(shù)推薦初始化淺層 MLPReLU 或 TanhHe 或 Xavier深層 CNNReLU / LeakyReLU / SiLUHeTransformer / BertGELU預(yù)訓(xùn)練權(quán)重RNN / LSTM 內(nèi)部Tanh / SigmoidXavier 正交化輸出層-多分類Softmax配合 CE Loss輸出層-二分類Sigmoid配合 BCE Loss“激活函數(shù) 初始化”要配套這一件事很多人會(huì)忽略。ReLU 系激活函數(shù)配 He 初始化能保證前向傳播的方差不衰減Tanh / Sigmoid 配 Xavier 初始化能保證信號(hào)在飽和區(qū)外流動(dòng)。初始化不匹配網(wǎng)絡(luò)往往會(huì)在前幾個(gè) epoch 就炸掉或者一動(dòng)不動(dòng)。5.2 自定義激活函數(shù)的方法PyTorch 里自定義激活函數(shù)非常簡(jiǎn)單。以 Swish 為例import torch import torch.nn as nn class Swish(nn.Module): def __init__(self, beta1.0): super().__init__() self.beta beta def forward(self, x): return x * torch.sigmoid(self.beta * x)如果你還想更細(xì)可以給 beta 設(shè)成可學(xué)習(xí)參數(shù)class LearnableSwish(nn.Module): def __init__(self, beta1.0): super().__init__() self.beta nn.Parameter(torch.tensor(beta)) def forward(self, x): return x * torch.sigmoid(self.beta * x)自定義的時(shí)候必須保證 forward 全程可導(dǎo)別用不可導(dǎo)的采樣操作或斷言條件否則 autograd 會(huì)直接給你報(bào)錯(cuò)。Min、Max、指數(shù)這些都是可以用的因?yàn)?PyTorch 為它們都定義了次梯度。5.3 用前向 Hook 診斷激活函數(shù)的工作狀態(tài)隱藏層內(nèi)部發(fā)生了什么單看訓(xùn)練曲線往往看不出來。我會(huì)在前向傳播里加一個(gè) hook打印某層輸出的分布。import torch.nn as nn def register_activation_hook(layer, name): def hook_fn(module, input, output): print(f[{name}] mean{output.mean().item():.4f}, fstd{output.std().item():.4f}, fmin{output.min().item():.4f}, fmax{output.max().item():.4f}) layer.register_forward_hook(hook_fn)診斷指標(biāo)怎么理解如果某層輸出大量等于 0min 和 max 看著都像 0 附近說明死神經(jīng)元比例過高如果輸出分布在 (-1,1) 或 (0,1) 邊界徘徊說明進(jìn)入了激活函數(shù)的飽和區(qū)如果輸出方差趨近 0說明網(wǎng)絡(luò)信號(hào)在消失。這些是訓(xùn)練里排查問題的最直接信號(hào)強(qiáng)烈建議你養(yǎng)成打 hook 的習(xí)慣。6. 激活函數(shù)引發(fā)的典型問題與排查實(shí)錄6.1 loss 完全不動(dòng)、訓(xùn)練卡住的梯度消失案例一個(gè)實(shí)際回放場(chǎng)景我調(diào)一個(gè)五層全連接網(wǎng)絡(luò)做回歸任務(wù)初始用了 Tanh。結(jié)果 loss 在第一個(gè) epoch 掉到 0.04 左右就徹底不動(dòng)了。加層數(shù)、調(diào)學(xué)習(xí)率都沒用。最后把 hook 打上去發(fā)現(xiàn)倒數(shù)第二層的輸出絕大多數(shù)落在 -1 或 1 附近。這就是飽和激活值全擠在 Tanh 飽和區(qū)梯度傳回來已經(jīng)約等于 0。解決方案是兩層第一把中間層激活換成 LeakyReLU保證梯度不衰減第二激進(jìn)一點(diǎn)把前面幾層換成 BatchNorm把輸出分布重新拉回 0 均值附近。但更根本的是深度超過五層不要讓隱藏層用 Tanh。6.2 訓(xùn)練一開始就出 NaN 的爆炸梯度案例訓(xùn)練一個(gè)卷積網(wǎng)絡(luò)epoch 1 的 loss 就是 NaN。這種爆炸梯度問題和激活函數(shù)有直接關(guān)系——比如某層激活值過大反向傳播梯度累計(jì)成指數(shù)增長(zhǎng)。排查時(shí)按以下順序找原因檢查輸入數(shù)據(jù)是否含有 NaN 或無窮大值。檢查是不是學(xué)習(xí)率太大尤其初始化使用大權(quán)重時(shí)ReLU 的輸出在若干層后可能爆炸。把模型里的 logits 直接輸入損失函數(shù)用帶 logits 的版本避免中間手動(dòng)計(jì)算 Softmax 產(chǎn)生數(shù)值不穩(wěn)定。加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)梯度裁剪不是解決根因的辦法但能防止訓(xùn)練過程直接崩掉。根因還是要回歸到初始化、輸入歸一化和激活函數(shù)選擇上。6.3 死亡 ReLU 的判斷標(biāo)準(zhǔn)和應(yīng)對(duì)策略判斷一個(gè) ReLU 網(wǎng)絡(luò)里死神經(jīng)元多不多最直接的方法是用前向 hook 統(tǒng)計(jì)某層輸出剛好為 0 的比例。import torch torch.no_grad() def dead_ratio(output, threshold1e-6): return (output threshold).float().mean().item()如果某個(gè)卷積層的死亡比例超過 30%網(wǎng)絡(luò)表達(dá)能力就明顯受損了。應(yīng)對(duì)手段按優(yōu)先級(jí)把 ReLU 替換成 LeakyReLU(0.01) 或 ELU。檢查學(xué)習(xí)率是不是太高ReLU 負(fù)區(qū)間一瞬間輸出 0之后梯度為 0參數(shù)再也回不來。檢查 L2 正則化權(quán)重是不是設(shè)太大。權(quán)重被強(qiáng)壓向 0logits 長(zhǎng)時(shí)間為負(fù)等于大規(guī)模制造死亡神經(jīng)元。把 BN 放到激活函數(shù)之前通常順序是 Conv → BN → ReLU效果會(huì)比 Conv → ReLU → BN 更穩(wěn)。6.4 輸出分布漂移和偏置偏移問題用 ReLU 的深度網(wǎng)絡(luò)有一個(gè)常見現(xiàn)象是激活值均值整體漂移到正數(shù)比如 0.5 以上。這是因?yàn)?ReLU 把所有負(fù)數(shù)都清洗掉了正向輸出占了主導(dǎo)。層數(shù)一多均值持續(xù)漂移最終導(dǎo)致網(wǎng)絡(luò)偏置量積累。求解思路有幾種給每層加 BatchNorm歸一化激活值分布這是最標(biāo)準(zhǔn)的做法。換用 ELU / SELU靠負(fù)區(qū)間的輸出把均值拉回 0 附近。在自定義網(wǎng)絡(luò)里每層初始化時(shí)手動(dòng)把偏置設(shè)成小正值比如 0.01減少神經(jīng)元一開始就進(jìn)入死亡區(qū)間的概率。我的經(jīng)驗(yàn)是BatchNorm 方案最穩(wěn)但如果你追求極致的部署簡(jiǎn)化不想引入 BatchNorm 的推理復(fù)雜度那 SELU lecun_normal 是一個(gè)值得一試的替代。最后的實(shí)操心得這些激活函數(shù)一個(gè)一個(gè)用下來我的體會(huì)是激活函數(shù)不是一個(gè)“選最貴的”問題而是一個(gè)“配出穩(wěn)定梯度流”的工程問題。很多項(xiàng)目一開始用 ReLU 覺得沒問題但層數(shù)一深、訓(xùn)練范圍一大你就會(huì)發(fā)現(xiàn)它在某些階段帶來死亡神經(jīng)元、均值漂移等問題。這時(shí)候不是換一個(gè)更復(fù)雜的激活函數(shù)就完事了而是要帶著診斷工具去觀察每一層輸出的均值、方差、零值比例找到梯度斷流的真實(shí)位置。最后分享一個(gè)我自己的經(jīng)驗(yàn)性原則新手用 ReLU He 初始化 BatchNorm這套組合在絕大多數(shù)場(chǎng)景下都不會(huì)出大問題等虧過幾次梯度消失后你再回頭去試 ELU、Swish、GELU會(huì)明顯感受到“卡住的感覺少了很多”。訓(xùn)練網(wǎng)絡(luò)就像走山路激活函數(shù)決定了你的每一步踩下去能不能受力選穩(wěn)了后面的路才走得快。 激活函數(shù)全解析：從ReLU到Softmax，解決梯度消失與訓(xùn)練難題
**開頭 ·激活函數(shù)在深度學(xué)習(xí)里究竟是什么地位如果只能用一個(gè)詞來形容我會(huì)說它是“非線性的閘門”。之前幫一個(gè)師弟調(diào)試 MNIST 手寫識(shí)別模型他堆了八層全連接激活函數(shù)全部用的恒等映射結(jié)果訓(xùn)練到吐loss 停在 0.69 一動(dòng)不動(dòng)最后換成 ReLU 之后五個(gè) epoch 直接壓到了 0.02 的準(zhǔn)確率往下走。那一瞬間他就明白了沒有激活函數(shù)多層網(wǎng)絡(luò)和單層線性變換沒有任何本質(zhì)區(qū)別。這篇文章會(huì)把深度學(xué)習(xí)里常見激活函數(shù)全部拿出來過一遍包括 Sigmoid、Tanh、ReLU 家族、Softmax 以及它們背后的梯度行為。不僅有公式和 PyTorch 寫法還會(huì)補(bǔ)充實(shí)際訓(xùn)練中怎么選、怎么調(diào)、踩過哪些坑。無論你是剛看完吳恩達(dá)深度學(xué)習(xí)課后題準(zhǔn)備上手的初學(xué)者還是跟著《動(dòng)手深度學(xué)習(xí)》擼過一遍代碼但心里還有疑問的實(shí)踐者這篇文章都值得仔細(xì)讀一遍。1. 為什么說激活函數(shù)是深度學(xué)習(xí)繞不開的坎1.1 沒有它深層網(wǎng)絡(luò)約等于一個(gè)線性變換先捋一個(gè)最基礎(chǔ)的問題。假設(shè)網(wǎng)絡(luò)里沒有激活函數(shù)每一層只做y Wx b那你把兩個(gè)線性層疊起來會(huì)得到什么y W2(W1x b1) b2展開之后其實(shí)是W2W1這樣一個(gè)合并矩陣再加一個(gè)合并偏置。也就是說不管網(wǎng)絡(luò)疊多少層表達(dá)能力的上限就是一條直線無法逼近任何復(fù)雜曲面。這個(gè)道理用生活類比來說就是一個(gè)人只會(huì)直線走你讓他轉(zhuǎn)彎他永遠(yuǎn)走不到 T 字路口。激活函數(shù)就是那個(gè)“轉(zhuǎn)彎”的能力來源。真正讓深度學(xué)習(xí)能擬合任意復(fù)雜函數(shù)的關(guān)鍵就是非線性激活函數(shù)一層層嵌套造成的復(fù)合變換。從數(shù)學(xué)角度看Kolmogorov-Arnold 定理也支持這一點(diǎn)——任何連續(xù)多元函數(shù)都可以表示為“一元函數(shù)的有限求和復(fù)合”而深度學(xué)習(xí)通過層層堆疊帶非線性的神經(jīng)元正是在數(shù)值上逼近這種分解。你說的 ReLU、Sigmoid、Tanh就是在給網(wǎng)絡(luò)“注入”一個(gè)個(gè)彎曲能力。1.2 反向傳播里激活函數(shù)決定了梯度能不能流下去訓(xùn)練神經(jīng)網(wǎng)絡(luò)靠的是反向傳播。損失函數(shù)對(duì)某層輸出求梯度時(shí)需要沿著網(wǎng)絡(luò)逐層往回傳遞梯度每一層都要乘以該層激活函數(shù)的導(dǎo)數(shù)。拿一個(gè)單神經(jīng)元舉例前向是z wx b然后a σ(z)最后接損失 L。那反向傳遞時(shí)梯度是?L/?w ?L/?a · σ(z) · x這里σ(z)越小梯度在傳過這一層時(shí)就被削得越狠。深度網(wǎng)絡(luò)里連續(xù)乘幾十次這種壓縮系數(shù)后梯度就會(huì)以指數(shù)級(jí)衰減這正是“梯度消失”問題的由來。所以激活函數(shù)選擇不只是一個(gè)“用哪個(gè)函數(shù)”的偏好問題它直接決定了梯度是否能順暢流動(dòng)、網(wǎng)絡(luò)能不能正常訓(xùn)練。我在實(shí)際調(diào)參中見過太多 loss 卡著不動(dòng)的案例最后定位下來都是激活函數(shù)區(qū)段飽和導(dǎo)致的。這也是下面每講一個(gè)激活函數(shù)我都會(huì)把導(dǎo)數(shù)行為放在第一位的原因。2. 老牌選手 Sigmoid 和 Tanh能用但別亂用2.1 Sigmoid二分類輸出層的經(jīng)典備選Sigmoid 的公式是σ(x) 1 / (1 e^(-x))輸出范圍是 (0, 1)這個(gè)特性讓它天然適配“概率”這種語義。它最經(jīng)典的應(yīng)用是二分類輸出層搭配二元交叉熵?fù)p失或者多標(biāo)簽分類時(shí)對(duì)每個(gè)類別獨(dú)立輸出一個(gè) [0,1] 概率值。它的導(dǎo)數(shù)有個(gè)非常漂亮的性質(zhì)σ(x) σ(x) · (1 - σ(x))也就是說只要知道了前向輸出值導(dǎo)數(shù)立刻就能算出來。這在反向傳播實(shí)現(xiàn)上非常方便所以它是一個(gè)經(jīng)典中的經(jīng)典。但是問題也恰恰出在導(dǎo)數(shù)形態(tài)上當(dāng)輸入非常大或非常小σ(x) 趨近 1 或 0 時(shí)σ(x) 趨近 0梯度被徹底截?cái)唷＿@就是梯度消失的主要來源。輸出均值不為 0恒大于 0上一層網(wǎng)絡(luò)接收到的輸入全部是同號(hào)參數(shù)更新會(huì)發(fā)生 Zigzag 震蕩收斂變慢。指數(shù)運(yùn)算相對(duì)耗時(shí)網(wǎng)絡(luò)規(guī)模一大時(shí)前向和反向都會(huì)吃不少計(jì)算資源。在實(shí)際工程里我?guī)缀醪粫?huì)在隱藏層用 Sigmoid除非是 3 層以內(nèi)的淺層網(wǎng)絡(luò)、做快速原型驗(yàn)證。如果你非要在隱藏層用推薦配合 Xavier 初始化和較小的網(wǎng)絡(luò)深度同時(shí)把損失函數(shù)的輸出映射到中心區(qū)域減少進(jìn)入飽和區(qū)的概率。2.2 Tanh零中心化的改良版但依然會(huì)飽和Tanh 的公式是tanh(x) (e^x - e^(-x)) / (e^x e^(-x))輸出范圍是 (-1, 1)它的最大改進(jìn)在于輸出均值是 0解決了 Sigmoid 非零中心化導(dǎo)致的收斂慢問題。它的導(dǎo)數(shù)tanh(x) 1 - tanh2(x)這里有一個(gè)很實(shí)用的工程技巧Tanh 在輸入為 0 附近時(shí)tanh(0) 1梯度能順暢通過而且它的飽和區(qū)比 Sigmoid 更靠外所以訓(xùn)練速度通常比 Sigmoid 快。這也解釋了為什么 LSTM 里的輸入門、遺忘門、候選狀態(tài)喜歡用 Tanh 而不是 Sigmoid。不過 Tanh 的兩端依然飽和深網(wǎng)絡(luò)里依然會(huì)發(fā)生梯度消失。所以它的舞臺(tái)主要是循環(huán)神經(jīng)網(wǎng)絡(luò)RNN/LSTM、某些需要輸出有正負(fù)范圍的特征層、或者淺層 MLP。2.3 老牌激活函數(shù)在什么場(chǎng)景還能用我總結(jié)一下自己實(shí)際項(xiàng)目里的使用經(jīng)驗(yàn)輸出層做二分類Sigmoid沒問題。輸出層做多分類Softmax后面單獨(dú)講。LSTM 或 GRU 內(nèi)部狀態(tài)更新Tanh 是標(biāo)配。隱藏層強(qiáng)上 Sigmoid/Tanh僅限淺層網(wǎng)絡(luò)深度超過十層要慎重。這張表可以幫你快速判斷激活函數(shù)輸出范圍零中心梯度飽和常見適用場(chǎng)景Sigmoid(0, 1)否嚴(yán)重二分類輸出、門控機(jī)制Tanh(-1, 1)是較嚴(yán)重RNN/LSTM內(nèi)部、特征輸出3. ReLU 家族現(xiàn)代深度網(wǎng)絡(luò)的事實(shí)標(biāo)準(zhǔn)3.1 ReLU為什么它成了默認(rèn)選項(xiàng)ReLU 的全稱是 Rectified Linear Unit公式簡(jiǎn)單到讓人懷疑ReLU(x) max(0, x)正區(qū)間導(dǎo)數(shù)為 1負(fù)區(qū)間導(dǎo)數(shù)為 0。這個(gè)極簡(jiǎn)設(shè)計(jì)帶來了幾個(gè)決定性的工程優(yōu)勢(shì)正區(qū)間梯度恒為 1從根源上緩解了植被梯度消失的問題深層網(wǎng)絡(luò)能正常訓(xùn)練。負(fù)區(qū)間輸出恒為 0讓網(wǎng)絡(luò)自然具有稀疏性這相當(dāng)于一種隱式的特征選擇。計(jì)算只需要一次比較沒有任何指數(shù)運(yùn)算在 GPU 上大規(guī)模并行時(shí)極快。用生活類比說ReLU 就像一扇單向門陽光能照進(jìn)來但逆光直接被擋住。正輸入暢通無阻負(fù)輸入一律滅掉。這種“非線性稀疏”的組合讓它在 CNN、Transformer 等現(xiàn)代架構(gòu)里幾乎成了標(biāo)配。但 ReLU 不是沒有坑。最典型的就是“神經(jīng)元死亡”問題如果某一層所有輸入的加權(quán)和長(zhǎng)期為負(fù)該神經(jīng)元輸出永遠(yuǎn)是 0梯度永遠(yuǎn)為 0參數(shù)再也無法更新相當(dāng)于這個(gè)神經(jīng)元“死了”。如果大批神經(jīng)元死亡網(wǎng)絡(luò)容量會(huì)嚴(yán)重縮水。3.2 Leaky ReLU 和 PReLU給負(fù)數(shù)側(cè)留一條活路為了解決死亡 ReLU 問題Leaky ReLU 在負(fù)區(qū)間給了一個(gè)極小的斜率 αLeakyReLU(x) max(0, x) α · min(0, x)通常 α 取 0.01 或 0.1。這樣負(fù)區(qū)間梯度不再是 0神經(jīng)元即使處于負(fù)區(qū)間也能獲得微小梯度的更新避免徹底死亡。再進(jìn)一步PReLUParametric ReLU把 α 變成一個(gè)可學(xué)習(xí)的參數(shù)讓網(wǎng)絡(luò)自己去學(xué)負(fù)數(shù)側(cè)斜率應(yīng)該多大。這在人臉識(shí)別這類對(duì)特征表達(dá)能力要求極高的任務(wù)中效果往往比固定 α 的 Leaky ReLU 更好。不過要注意PReLU 增加參數(shù)量數(shù)據(jù)量小的時(shí)候容易過擬合。在 PyTorch 里的寫法非常直白import torch.nn as nn # Leaky ReLUα0.1 layer nn.LeakyReLU(negative_slope0.1) # PReLU每個(gè)通道一個(gè)可學(xué)習(xí)參數(shù) layer nn.PReLU(num_parameters1)3.3 ELU 和 SELU讓輸出均值更接近零ELUExponential Linear Unit的思路和 Leaky 系列完全不同。它在負(fù)區(qū)間不是用一個(gè)固定斜率而是用指數(shù)衰減ELU(x) x, x 0 ELU(x) α · (e^x - 1), x ≤ 0負(fù)區(qū)間輸出逐漸趨于 -α而不是線性延伸。它的好處是負(fù)區(qū)間更平滑對(duì)噪聲的魯棒性更好同時(shí)輸出均值比 ReLU 更接近 0有助于緩解偏置漂移問題。缺點(diǎn)是涉及指數(shù)運(yùn)算訓(xùn)練速度比 ReLU 要慢一些。SELUScaled ELU是 ELU 的一個(gè)特殊縮放版本。論文作者證明當(dāng)網(wǎng)絡(luò)使用特定的lecun_normal初始化并且用 SELU 做激活時(shí)網(wǎng)絡(luò)能自動(dòng)把每層輸出分布?xì)w一化到均值為 0、方差為 1也就是“自歸一化”特性可以顯著減少對(duì) BatchNorm 的依賴。這個(gè)想法很有啟發(fā)性但在實(shí)際任務(wù)里我很少用它因?yàn)閷?duì)初始化要求苛刻一旦初始化不當(dāng)效果反而不如 ReLUBatchNorm 穩(wěn)。3.4 聊聊 GELU當(dāng)前大模型里的隱藏高手還有一個(gè)你在 Transformer 里經(jīng)常遇見、但很容易忽略的激活函數(shù)GELUGaussian Error Linear Unit。它的核心思想是按輸入值大小進(jìn)行隨機(jī)保留或歸零而不是像 ReLU 那樣硬截?cái)郍ELU(x) x · Φ(x)其中Φ(x)是標(biāo)準(zhǔn)正態(tài)分布的累積概率函數(shù)。通俗理解就是輸入越大保留概率越高輸入越小保留概率越低。這個(gè)設(shè)計(jì)保留了類似 ReLU 的稀疏性又讓負(fù)數(shù)側(cè)有概率流過一點(diǎn)信息梯度更平滑。它在 BERT、GPT 等 Transformer 類模型里是標(biāo)配。PyTorch 里直接寫layer nn.GELU()如果你的任務(wù)不是苛刻到極致用它和 ReLU 都能訓(xùn)出不差的結(jié)果但它在大模型里的表現(xiàn)確實(shí)值得你記住。3.5 Swish / SiLU踩在趨勢(shì)上的自門控激活函數(shù)Swish也叫 SiLU是 Google Brain 提出的Swish(x) x · sigmoid(x)直觀來看它在正區(qū)間近似 ReLU在負(fù)區(qū)間不完全歸零而是保留很小的負(fù)值因此比 ReLU 更平滑。由于負(fù)區(qū)間存在殘差梯度死亡神經(jīng)元概率更低。很多高效輕量模型比如 MobileNet 系列用它取得了比 ReLU 更好的成績(jī)。PyTorch 里layer nn.SiLU()不過它也有代價(jià)計(jì)算 sigmoid 會(huì)比 max 慢。在小網(wǎng)絡(luò)或推理時(shí)延敏感的場(chǎng)景下我會(huì)回歸 ReLU要質(zhì)量再考慮 Swish。4. 輸出層的激活函數(shù)選擇Softmax 與概率化輸出4.1 多分類的標(biāo)準(zhǔn)答案SoftmaxSoftmax 其實(shí)不算嚴(yán)格意義的激活函數(shù)它更像一種輸出層的歸一化策略。它把一個(gè)K維向量映射成概率分布Softmax(z)_i e^{z_i} / Σ_{j1}^{K} e^{z_j}所有輸出都為正且和為 1。這讓它天然匹配交叉熵?fù)p失函數(shù)兩者組合在數(shù)值上非常穩(wěn)定。實(shí)操編碼的時(shí)候有一個(gè)高頻注意點(diǎn)直接用e^{z_i}很容易數(shù)值溢出因?yàn)?z 很大的時(shí)候指數(shù)直接爆炸。正確做法是先減掉最大值import torch z torch.tensor([[3.2, 1.1, 0.7]]) z_max z.max(dim-1, keepdimTrue).values z_stable z - z_max probs torch.softmax(z_stable, dim-1)不過 PyTorch 的torch.softmax底層內(nèi)部已經(jīng)做了最大值平移所以直接調(diào)用即可。但如果你在用 NumPy 手寫實(shí)現(xiàn)務(wù)必要做這一步。4.2 二分類和多標(biāo)簽場(chǎng)景別搞錯(cuò)二分類輸出層用nn.Sigmoid搭配nn.BCEWithLogitsLossPyTorch 會(huì)自動(dòng)把 logits 輸進(jìn)去做穩(wěn)定計(jì)算。多分類輸出層用nn.Softmax(dim1)搭配nn.CrossEntropyLoss注意 CrossEntropyLoss 內(nèi)部已經(jīng)含了 Softmax不要在模型輸出層再手動(dòng)加。多標(biāo)簽分類對(duì)每個(gè)輸出維度獨(dú)立用 Sigmoid而不是用 Softmax因?yàn)槊總€(gè)標(biāo)簽可以同時(shí)為 1 或 0它們不互斥。4.3 溫度參數(shù)Softmax 的隱藏調(diào)節(jié)旋鈕溫度參數(shù) T 是 Softmax 里一個(gè)少有人提、但很有用的擴(kuò)展Softmax(z)_i e^{z_i / T} / Σ_j e^{z_j / T}T 越大概率分布越平滑T 越小分布越接近 one-hot。這個(gè)技巧常用于知識(shí)蒸餾里把大模型輸出的平滑概率當(dāng)作“軟標(biāo)簽”來訓(xùn)練小模型小模型能學(xué)到更多類別間的相似性結(jié)構(gòu)比生硬地用 one-hot 效果好很多。我實(shí)際做過一個(gè)實(shí)驗(yàn)同樣的蒸餾任務(wù)溫度 T4 時(shí)的蒸餾效果比 T1 時(shí)高 3 個(gè)百分點(diǎn)的準(zhǔn)確率。所以這個(gè)旋鈕很有價(jià)值。5. 動(dòng)手實(shí)踐PyTorch 里激活函數(shù)怎么用、怎么調(diào)、怎么自己寫5.1 常用激活函數(shù)速查表和初始化搭配寫網(wǎng)絡(luò)的時(shí)候激活函數(shù)一般作為nn.Sequential里的一個(gè)模塊或者寫在自定義forward里。下面是我常用的配方網(wǎng)絡(luò)類型推薦激活函數(shù)推薦初始化淺層 MLPReLU 或 TanhHe 或 Xavier深層 CNNReLU / LeakyReLU / SiLUHeTransformer / BertGELU預(yù)訓(xùn)練權(quán)重RNN / LSTM 內(nèi)部Tanh / SigmoidXavier 正交化輸出層-多分類Softmax配合 CE Loss輸出層-二分類Sigmoid配合 BCE Loss“激活函數(shù) 初始化”要配套這一件事很多人會(huì)忽略。ReLU 系激活函數(shù)配 He 初始化能保證前向傳播的方差不衰減Tanh / Sigmoid 配 Xavier 初始化能保證信號(hào)在飽和區(qū)外流動(dòng)。初始化不匹配網(wǎng)絡(luò)往往會(huì)在前幾個(gè) epoch 就炸掉或者一動(dòng)不動(dòng)。5.2 自定義激活函數(shù)的方法PyTorch 里自定義激活函數(shù)非常簡(jiǎn)單。以 Swish 為例import torch import torch.nn as nn class Swish(nn.Module): def __init__(self, beta1.0): super().__init__() self.beta beta def forward(self, x): return x * torch.sigmoid(self.beta * x)如果你還想更細(xì)可以給 beta 設(shè)成可學(xué)習(xí)參數(shù)class LearnableSwish(nn.Module): def __init__(self, beta1.0): super().__init__() self.beta nn.Parameter(torch.tensor(beta)) def forward(self, x): return x * torch.sigmoid(self.beta * x)自定義的時(shí)候必須保證 forward 全程可導(dǎo)別用不可導(dǎo)的采樣操作或斷言條件否則 autograd 會(huì)直接給你報(bào)錯(cuò)。Min、Max、指數(shù)這些都是可以用的因?yàn)?PyTorch 為它們都定義了次梯度。5.3 用前向 Hook 診斷激活函數(shù)的工作狀態(tài)隱藏層內(nèi)部發(fā)生了什么單看訓(xùn)練曲線往往看不出來。我會(huì)在前向傳播里加一個(gè) hook打印某層輸出的分布。import torch.nn as nn def register_activation_hook(layer, name): def hook_fn(module, input, output): print(f[{name}] mean{output.mean().item():.4f}, fstd{output.std().item():.4f}, fmin{output.min().item():.4f}, fmax{output.max().item():.4f}) layer.register_forward_hook(hook_fn)診斷指標(biāo)怎么理解如果某層輸出大量等于 0min 和 max 看著都像 0 附近說明死神經(jīng)元比例過高如果輸出分布在 (-1,1) 或 (0,1) 邊界徘徊說明進(jìn)入了激活函數(shù)的飽和區(qū)如果輸出方差趨近 0說明網(wǎng)絡(luò)信號(hào)在消失。這些是訓(xùn)練里排查問題的最直接信號(hào)強(qiáng)烈建議你養(yǎng)成打 hook 的習(xí)慣。6. 激活函數(shù)引發(fā)的典型問題與排查實(shí)錄6.1 loss 完全不動(dòng)、訓(xùn)練卡住的梯度消失案例一個(gè)實(shí)際回放場(chǎng)景我調(diào)一個(gè)五層全連接網(wǎng)絡(luò)做回歸任務(wù)初始用了 Tanh。結(jié)果 loss 在第一個(gè) epoch 掉到 0.04 左右就徹底不動(dòng)了。加層數(shù)、調(diào)學(xué)習(xí)率都沒用。最后把 hook 打上去發(fā)現(xiàn)倒數(shù)第二層的輸出絕大多數(shù)落在 -1 或 1 附近。這就是飽和激活值全擠在 Tanh 飽和區(qū)梯度傳回來已經(jīng)約等于 0。解決方案是兩層第一把中間層激活換成 LeakyReLU保證梯度不衰減第二激進(jìn)一點(diǎn)把前面幾層換成 BatchNorm把輸出分布重新拉回 0 均值附近。但更根本的是深度超過五層不要讓隱藏層用 Tanh。6.2 訓(xùn)練一開始就出 NaN 的爆炸梯度案例訓(xùn)練一個(gè)卷積網(wǎng)絡(luò)epoch 1 的 loss 就是 NaN。這種爆炸梯度問題和激活函數(shù)有直接關(guān)系——比如某層激活值過大反向傳播梯度累計(jì)成指數(shù)增長(zhǎng)。排查時(shí)按以下順序找原因檢查輸入數(shù)據(jù)是否含有 NaN 或無窮大值。檢查是不是學(xué)習(xí)率太大尤其初始化使用大權(quán)重時(shí)ReLU 的輸出在若干層后可能爆炸。把模型里的 logits 直接輸入損失函數(shù)用帶 logits 的版本避免中間手動(dòng)計(jì)算 Softmax 產(chǎn)生數(shù)值不穩(wěn)定。加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)梯度裁剪不是解決根因的辦法但能防止訓(xùn)練過程直接崩掉。根因還是要回歸到初始化、輸入歸一化和激活函數(shù)選擇上。6.3 死亡 ReLU 的判斷標(biāo)準(zhǔn)和應(yīng)對(duì)策略判斷一個(gè) ReLU 網(wǎng)絡(luò)里死神經(jīng)元多不多最直接的方法是用前向 hook 統(tǒng)計(jì)某層輸出剛好為 0 的比例。import torch torch.no_grad() def dead_ratio(output, threshold1e-6): return (output threshold).float().mean().item()如果某個(gè)卷積層的死亡比例超過 30%網(wǎng)絡(luò)表達(dá)能力就明顯受損了。應(yīng)對(duì)手段按優(yōu)先級(jí)把 ReLU 替換成 LeakyReLU(0.01) 或 ELU。檢查學(xué)習(xí)率是不是太高ReLU 負(fù)區(qū)間一瞬間輸出 0之后梯度為 0參數(shù)再也回不來。檢查 L2 正則化權(quán)重是不是設(shè)太大。權(quán)重被強(qiáng)壓向 0logits 長(zhǎng)時(shí)間為負(fù)等于大規(guī)模制造死亡神經(jīng)元。把 BN 放到激活函數(shù)之前通常順序是 Conv → BN → ReLU效果會(huì)比 Conv → ReLU → BN 更穩(wěn)。6.4 輸出分布漂移和偏置偏移問題用 ReLU 的深度網(wǎng)絡(luò)有一個(gè)常見現(xiàn)象是激活值均值整體漂移到正數(shù)比如 0.5 以上。這是因?yàn)?ReLU 把所有負(fù)數(shù)都清洗掉了正向輸出占了主導(dǎo)。層數(shù)一多均值持續(xù)漂移最終導(dǎo)致網(wǎng)絡(luò)偏置量積累。求解思路有幾種給每層加 BatchNorm歸一化激活值分布這是最標(biāo)準(zhǔn)的做法。換用 ELU / SELU靠負(fù)區(qū)間的輸出把均值拉回 0 附近。在自定義網(wǎng)絡(luò)里每層初始化時(shí)手動(dòng)把偏置設(shè)成小正值比如 0.01減少神經(jīng)元一開始就進(jìn)入死亡區(qū)間的概率。我的經(jīng)驗(yàn)是BatchNorm 方案最穩(wěn)但如果你追求極致的部署簡(jiǎn)化不想引入 BatchNorm 的推理復(fù)雜度那 SELU lecun_normal 是一個(gè)值得一試的替代。最后的實(shí)操心得這些激活函數(shù)一個(gè)一個(gè)用下來我的體會(huì)是激活函數(shù)不是一個(gè)“選最貴的”問題而是一個(gè)“配出穩(wěn)定梯度流”的工程問題。很多項(xiàng)目一開始用 ReLU 覺得沒問題但層數(shù)一深、訓(xùn)練范圍一大你就會(huì)發(fā)現(xiàn)它在某些階段帶來死亡神經(jīng)元、均值漂移等問題。這時(shí)候不是換一個(gè)更復(fù)雜的激活函數(shù)就完事了而是要帶著診斷工具去觀察每一層輸出的均值、方差、零值比例找到梯度斷流的真實(shí)位置。最后分享一個(gè)我自己的經(jīng)驗(yàn)性原則新手用 ReLU He 初始化 BatchNorm這套組合在絕大多數(shù)場(chǎng)景下都不會(huì)出大問題等虧過幾次梯度消失后你再回頭去試 ELU、Swish、GELU會(huì)明顯感受到“卡住的感覺少了很多”。訓(xùn)練網(wǎng)絡(luò)就像走山路激活函數(shù)決定了你的每一步踩下去能不能受力選穩(wěn)了后面的路才走得快。