優(yōu)化、歸一化層與 PyTorch 卷積/自動微分實戰(zhàn))
示例工程【免費下載鏈接】NYU-DLSP20NYU Deep Learning Spring 2020項目地址https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning點擊查看免費下載本周課程是 NYU-DLSP20NYU Deep Learning Spring 2020對應(yīng)本倉庫優(yōu)化與卷積主題的核心章節(jié)橫跨三大部分Lecture A講解梯度下降GD、隨機(jī)梯度下降SGD與動量Momentum三類基礎(chǔ)優(yōu)化技術(shù)Lecture B講解 RMSprop、ADAM 等自適應(yīng)方法、歸一化層Normalization Layers以及深度學(xué)習(xí)加速 MRI 重建的工業(yè)級案例Practicum則回到動手環(huán)節(jié)手推 1D 卷積、用 PyTorch 驗證 kernel 與輸出維度、理解自動微分引擎并編寫自定義梯度模塊。讀完本文你將掌握優(yōu)化器的數(shù)學(xué)原理、調(diào)參經(jīng)驗、歸一化層的選型依據(jù)并能用 PyTorch 獨立復(fù)現(xiàn)卷積尺寸計算與autograd自定義梯度。一、Lecture A從梯度下降到帶動量的 SGD1.1 梯度下降Gradient Descent最基礎(chǔ)也最差的方法我們研究優(yōu)化方法通常從最基礎(chǔ)也最樸素的方法開始——梯度下降。其目標(biāo)是最小化一個連續(xù)可微函數(shù)問題$$ \min_w f(w) $$迭代解法$$ w_{k1} w_k - \gamma_k \nabla f(w_k) $$其中各符號含義為$w_{k1}$第 $k$ 次迭代后更新得到的值$w_k$第 $k$ 次迭代前的初始值$\gamma_k$步長step size即學(xué)習(xí)率$\nabla f(w_k)$函數(shù) $f$ 在 $w_k$ 處的梯度。這里的基本假設(shè)是函數(shù) $f$ 連續(xù)且可微。我們的目標(biāo)是找到優(yōu)化函數(shù)的谷底但通往谷底的真實方向未知只能做局部觀察——因此負(fù)梯度方向是我們掌握的最好信息。沿該方向邁出一小步就能更接近最小值走完一步后重新計算梯度再沿新方向移動如此反復(fù)直至抵達(dá)谷底。本質(zhì)上梯度下降就是在沿著**最陡下降方向負(fù)梯度方向**前進(jìn)。$\gamma$ 被稱為步長學(xué)習(xí)率。通常我們并不知道最優(yōu)步長的取值因此必須嘗試不同數(shù)值標(biāo)準(zhǔn)做法是在對數(shù)尺度log-scale上試一批值再選用效果最好的一個。以 1D 二次函數(shù)為例存在幾種典型場景見下圖學(xué)習(xí)率過低向最小值穩(wěn)步前進(jìn)但耗時遠(yuǎn)超理想情況學(xué)習(xí)率略高于最優(yōu)實際上收斂最快是最理想的選擇學(xué)習(xí)率過大迭代點離最小值越來越遠(yuǎn)導(dǎo)致發(fā)散。實踐中我們通常希望學(xué)習(xí)率比發(fā)散閾值略小一點。圖片出處本倉庫 docs/images/week05/05-1/step-size.png對應(yīng)英文原筆記 docs/en/week05/05-1.md。1.2 隨機(jī)梯度下降SGD無偏、帶噪、更便宜在隨機(jī)梯度下降中我們用梯度的隨機(jī)估計替代真實梯度向量。對神經(jīng)網(wǎng)絡(luò)而言隨機(jī)估計即單個數(shù)據(jù)點單個樣本損失的梯度。設(shè) $f_i$ 為網(wǎng)絡(luò)在第 $i$ 個樣本上的損失$$ f_i l(x_i, y_i, w) $$我們希望最小化的是所有樣本的總損失 $f$$$ f \frac{1}{n}\sum_i^n f_i $$SGD 按 $f_i$ 的梯度而非總損失 $f$ 的梯度更新權(quán)重$$ \begin{aligned} w_{k1} w_k - \gamma_k \nabla f_i(w_k) \quad\text{i 均勻隨機(jī)選取} \end{aligned} $$若 $i$ 隨機(jī)選取則 $f_i$ 是 $f$ 的一個帶噪聲但無偏的估計數(shù)學(xué)上寫作$$ \mathbb{E}[\nabla f_i(w_k)] \nabla f(w_k) $$因此 SGD 第 $k$ 步的期望與全批量梯度下降第 $k$ 步相同$$ \mathbb{E}[w_{k1}] w_k - \gamma_k \mathbb{E}[\nabla f_i(w_k)] w_k - \gamma_k \nabla f(w_k) $$也就是說任何一次 SGD 更新在期望意義下都等價于全批量更新。但 SGD 并不僅僅是更快的帶噪梯度下降——它還能帶來更好的結(jié)果SGD 的噪聲可以幫助我們跳過較淺的局部最小值找到更深的、更優(yōu)的最小值。這一現(xiàn)象稱為退火annealing?？偨Y(jié) SGD 的優(yōu)勢各樣本之間存在大量冗余信息SGD 避免了大量冗余計算訓(xùn)練初期噪聲相對梯度中的信息量很小因此一步 SGD幾乎與一步 GD 同樣有效退火效應(yīng)——SGD 更新中的噪聲可以避免收斂到糟糕淺層的局部最小值SGD 的計算成本大幅降低無需遍歷所有數(shù)據(jù)點。1.3 Mini-batching小批量Mini-batching 不是在單個樣本上計算損失而是在多個隨機(jī)選取的樣本上計算損失從而降低每一步更新的噪聲$$ w_{k1} w_k - \gamma_k \frac{1}{|B_i|} \sum_{j \in B_i}\nabla f_j(w_k) $$使用 mini-batch 而非單樣本往往能更充分地利用硬件例如單樣本訓(xùn)練時 GPU 利用率很差。分布式訓(xùn)練技術(shù)會把一個大的 mini-batch 拆分到集群的各臺機(jī)器上再聚合各自算出的梯度英文原筆記中提到 Facebook 曾用分布式訓(xùn)練在一小時內(nèi)完成 ImageNet 上的網(wǎng)絡(luò)訓(xùn)練此為課程講述的行業(yè)案例非本倉庫實測數(shù)據(jù)。一個重要的實操提醒梯度下降不應(yīng)配合全量大小的 batch 使用。如果確實想在全量 batch 上訓(xùn)練應(yīng)使用 LBFGS 這類優(yōu)化技術(shù)——PyTorch 與 SciPy 都提供了 LBFGS 的實現(xiàn)。1.4 動量Momentum兩種更新規(guī)則動量方法維護(hù)兩個迭代量$p$ 和 $w$而不是只維護(hù)一個$$ \begin{aligned} p_{k1} \hat{\beta_k}p_k \nabla f_i(w_k) \ w_{k1} w_k - \gamma_kp_{k1} \ \end{aligned} $$其中 $p$ 被稱為SGD 動量。每一步更新時先把舊動量按因子 $\beta$取值在 0 到 1 之間衰減再加上當(dāng)前隨機(jī)梯度因此 $p$ 可以理解為梯度的運行平均running average。最后讓 $w$ 沿新動量 $p$ 的方向移動。等價形式隨機(jī)重球法Stochastic Heavy Ball Method$$ \begin{aligned} w_{k1} w_k - \gamma_k\nabla f_i(w_k) \beta_k(w_k - w_{k-1}) 0 \leq \beta 1 \end{aligned} $$該形式與上一形式數(shù)學(xué)等價下一步 上一步的方向$w_k - w_{k-1}$與新的負(fù)梯度的組合。直覺物理中的動量SGD 動量與物理學(xué)中的動量概念類似優(yōu)化過程就像一顆重球滾下坡動量讓球保持原有的運動方向而梯度可以看作把球推向其他方向的力。與劇烈改變行進(jìn)方向相比動量只做溫和的修正能有效抑制純 SGD 中常見的來回震蕩。$\beta$ 參數(shù)被稱為阻尼因子Dampening Factor$\beta$ 必須大于 0——若等于 0就退化為普通梯度下降$\beta$ 必須小于 1——否則一切都會爆炸$\beta$ 越小轉(zhuǎn)向越快$\beta$ 越大轉(zhuǎn)向越慢。實踐指南動量幾乎總是應(yīng)與 SGD 配合使用$\beta 0.9$ 或 $0.99$ 幾乎總是表現(xiàn)良好增大動量參數(shù)時通常需要減小步長以維持收斂當(dāng) $\beta$ 從 0.9 變?yōu)?0.99 時學(xué)習(xí)率大約需要縮小 10 倍。為什么動量有效1加速AccelerationNesterov 動量的更新規(guī)則如下$$ p_{k1} \hat{\beta_k}p_k \nabla f_i(w_k) \ w_{k1} w_k - \gamma_k(\nabla f_i(w_k) \hat{\beta_k}p_{k1}) $$只要常數(shù)選取得當(dāng)Nesterov 動量可以獲得加速收斂。但這只適用于凸問題不適用于神經(jīng)網(wǎng)絡(luò)。很多人聲稱普通動量也是加速方法但事實上它只對二次函數(shù)加速而且加速與噪聲不兼容SGD 本身帶噪因此加速并不能很好解釋 Momentum SGD 的高性能。2噪聲平滑Noise Smoothing更實際、更可能的解釋是噪聲平滑動量對梯度取平均每次步進(jìn)使用的是梯度的運行平均。理論上 SGD 要正常工作應(yīng)當(dāng)對所有步進(jìn)取平均$$ \bar w_k \frac{1}{K} \sum_{k1}^K w_k $$SGD 加動量的好處在于不再需要這種顯式平均動量給優(yōu)化過程引入了平滑使每一步更新都成為對解的良好近似。純 SGD 則往往需要平均一大批更新之后才朝該方向邁步。加速與噪聲平滑共同貢獻(xiàn)了動量的高性能。從 docs/images/week05/05-1/sgd-vs-momentum.png 可以看出純 SGD 初期朝解的方向進(jìn)展良好但到達(dá)谷底碗底后會在底部來回彈跳調(diào)整學(xué)習(xí)率只是讓彈跳變慢而加上動量后步長被平滑幾乎不再彈跳。二、Lecture B自適應(yīng)優(yōu)化、歸一化層與優(yōu)化的終結(jié)2.1 為什么需要自適應(yīng)方法Adaptive Methods帶動量的 SGD 目前仍是許多機(jī)器學(xué)習(xí)問題的先進(jìn)優(yōu)化方法但還有一類自適應(yīng)方法對**病態(tài)條件poorly conditioned**的問題尤其有用即 SGD 失效的場景。在 SGD 公式中網(wǎng)絡(luò)中每一個權(quán)重都用同一個全局學(xué)習(xí)率 $\gamma$ 更新。自適應(yīng)方法則為每個權(quán)重單獨適配學(xué)習(xí)率依據(jù)是每個權(quán)重各自的梯度信息。實際使用的網(wǎng)絡(luò)在不同部分結(jié)構(gòu)差異很大例如 CNN 早期可能是在大圖上做很淺的卷積后期則是在小圖上做大量通道的卷積兩者性質(zhì)迥異適合網(wǎng)絡(luò)前期的學(xué)習(xí)率未必適合后期——這說明按層自適應(yīng)的學(xué)習(xí)率是有價值的。網(wǎng)絡(luò)后部的權(quán)重例如 VGG16 中 4096 維的全連接層見 docs/images/week05/05-2/5_2_vgg.png直接決定輸出對輸出影響極強需要更小的學(xué)習(xí)率而前期權(quán)重尤其隨機(jī)初始化時對輸出的個體影響更小。2.2 RMSprop用梯度均方根做歸一化Root Mean Square Propagation均方根傳播的核心思想是用梯度的均方根對梯度做歸一化。下式中梯度平方表示對向量每個元素分別平方$$ \begin{aligned} v_{t1} {\alpha}v_t (1 - \alpha) \nabla f_i(w_t)^2 \ w_{t1} w_t - \gamma \frac {\nabla f_i(w_t)}{ \sqrt{v_{t1}} \epsilon} \end{aligned} $$其中$\gamma$ 是全局學(xué)習(xí)率$\epsilon$ 是接近機(jī)器精度 $\epsilon$ 的小量量級為 $10^{-7}$ 或 $10^{-8}$用于避免除零錯誤$v_{t1}$ 是二階矩second moment估計。我們用指數(shù)移動平均exponential moving average更新 $v$ 來估計這個帶噪量——這是維護(hù)可能隨時間變化之量的平均的標(biāo)準(zhǔn)方式新值攜帶更多信息應(yīng)給予更大權(quán)重于是用常數(shù) $\alpha$0 到 1 之間對舊值逐級指數(shù)降權(quán)直到舊值不再重要。原始 RMSprop 維護(hù)的是非中心二階矩的指數(shù)移動平均因此這里不減均值二階矩被用來逐元素歸一化梯度即每個梯度元素除以二階矩估計的平方根。當(dāng)梯度期望值很小時這個過程近似于用標(biāo)準(zhǔn)差去除梯度。分母使用很小的 $\epsilon$ 并不會導(dǎo)致發(fā)散因為當(dāng) $v$ 很小時動量梯度本身也很小。2.3 ADAMRMSprop 動量ADAMAdaptive Moment Estimation自適應(yīng)矩估計可以理解為 RMSprop 加上動量是目前更常用的方法。動量更新被改造成指數(shù)移動平均且處理 $\beta$ 時無需改變學(xué)習(xí)率與 RMSprop 一樣這里也對梯度平方取指數(shù)移動平均$$ \begin{aligned} m_{t1} {\beta}m_t (1 - \beta) \nabla f_i(w_t) \ v_{t1} {\alpha}v_t (1 - \alpha) \nabla f_i(w_t)^2 \ w_{t1} w_t - \gamma \frac {m_{t}}{ \sqrt{v_{t1}} \epsilon} \end{aligned} $$其中 $m_{t1}$ 是動量的指數(shù)移動平均。上式中省略了偏差修正bias correction——該修正用于在早期迭代中保持移動平均無偏。實踐對比訓(xùn)練神經(jīng)網(wǎng)絡(luò)時SGD 在訓(xùn)練初期常常朝錯誤方向走而 RMSprop 能較快瞄準(zhǔn)正確方向但 RMSprop 與普通 SGD 一樣受噪聲困擾接近局部最小值后會在最優(yōu)點附近顯著彈跳。就像給 SGD 加動量一樣ADAM 帶來了同樣的改進(jìn)它是解的一個良好、無噪的估計因此通常推薦使用 ADAM 而非 RMSprop對比圖見 docs/images/week05/05-2/5_2_comparison.png。ADAM 對訓(xùn)練某些語言模型網(wǎng)絡(luò)是必需的優(yōu)化神經(jīng)網(wǎng)絡(luò)時一般優(yōu)先選擇帶動量的 SGD 或 ADAM。但 ADAM 的論文理論尚不完善且存在若干缺點可以在非常簡單的測試問題上證明該方法不收斂已知會帶來泛化誤差網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上損失為零未必能在未見數(shù)據(jù)上保持零損失尤其在圖像問題上其泛化誤差往往比 SGD 更差可能因素包括找到的是最近的局部最小值、ADAM 噪聲更小、或其自身結(jié)構(gòu)等ADAM 需要維護(hù)3 個緩沖區(qū)而 SGD 只需 2 個。除非模型大到數(shù) GB 量級、可能放不進(jìn)內(nèi)存否則這影響不大需要調(diào)2 個動量參數(shù)而不是 1 個。2.4 歸一化層Normalization Layers與前文改進(jìn)優(yōu)化算法不同歸一化層改進(jìn)的是網(wǎng)絡(luò)結(jié)構(gòu)本身它們作為額外層插入已有層之間目標(biāo)是提升優(yōu)化與泛化性能。神經(jīng)網(wǎng)絡(luò)通常在線性運算與非線性運算激活函數(shù)如 ReLU之間交替歸一化層可以放在線性層之前或激活函數(shù)之后最常見的做法是放在線性層與激活函數(shù)之間在 CNN 中典型形態(tài)為卷積 → 批量歸一化 → ReLU見圖 docs/images/week05/05-2/5_2_norm_layer_c.png。需要注意歸一化層改變流經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)但并不改變網(wǎng)絡(luò)的表達(dá)能力——只要權(quán)重配置得當(dāng)未歸一化的網(wǎng)絡(luò)仍可產(chǎn)生與歸一化網(wǎng)絡(luò)相同的輸出。歸一化的通用記號$$ y \frac{a}{\sigma}(x - \mu) b $$其中$x$ 為輸入向量$y$ 為輸出向量$\mu$ 為 $x$ 均值的估計$\sigma$ 為 $x$ 標(biāo)準(zhǔn)差std的估計$a$ 為可學(xué)習(xí)的縮放因子$b$ 為可學(xué)習(xí)的偏置項。如果沒有可學(xué)習(xí)參數(shù) $a$ 和 $b$輸出向量 $y$ 的分布將固定為均值 0、標(biāo)準(zhǔn)差 1。$a$ 與 $b$ 的作用是保持網(wǎng)絡(luò)的表示能力——輸出值仍可落在任意特定范圍。注意 $a$、$b$ 并不會抵消歸一化因為它們是可學(xué)習(xí)參數(shù)比 $\mu$、$\sigma$ 穩(wěn)定得多。四種歸一化方式對于包含 $N$ 張高 $H$ 寬 $W$、共 $C$ 個通道的 mini-batch 圖像示意圖見 docs/images/week05/05-2/5_2_norm_operations.png按選取的歸一化樣本范圍不同有 4 種典型做法方法歸一化范圍適用場景Batch Norm批量歸一化只對輸入的一個通道做歸一化首個被提出、最廣為人知的方法視覺任務(wù)效果好Layer Norm層歸一化單張圖像內(nèi)跨全部通道語言任務(wù)中大量使用Instance Norm實例歸一化單張圖像、單個通道語言/風(fēng)格類任務(wù)中大量使用Group Norm分組歸一化單張圖像、跨部分通道如 0~9 一組、10~19 一組視覺任務(wù)效果好且與 SGD 不沖突關(guān)于 Group Norm 的補充實踐中分組大小幾乎總是32這也是課程講師 Aaron Defazio 推薦的做法——實際性能好且不與 SGD 沖突。為什么歸一化有幫助雖然歸一化在實踐中效果很好但其有效的原因仍有爭議。最初它被提出用于減小內(nèi)部協(xié)變量偏移internal covariate shift但已有學(xué)者通過實驗證偽了這一解釋?？梢源_認(rèn)的是歸一化帶來了以下多種因素的綜合效果優(yōu)化效果帶歸一化層的網(wǎng)絡(luò)更易優(yōu)化允許使用更大的學(xué)習(xí)率從而加速訓(xùn)練正則化效果由于批次內(nèi)樣本隨機(jī)均值/標(biāo)準(zhǔn)差估計帶有噪聲這種額外噪聲在某些情況下帶來更好的泛化降低對權(quán)重初始化的敏感性。因此歸一化讓你可以更隨意幾乎可以把任意網(wǎng)絡(luò)構(gòu)件組合在一起而無需過多擔(dān)心網(wǎng)絡(luò)病態(tài)程度仍有機(jī)會成功訓(xùn)練。實踐注意事項與 PyTorch 用法反向傳播必須經(jīng)過均值/標(biāo)準(zhǔn)差的計算以及歸一化的應(yīng)用否則網(wǎng)絡(luò)訓(xùn)練會發(fā)散。這一反向傳播計算相當(dāng)繁瑣且易錯而 PyTorch 能自動完成非常省力。PyTorch 中對應(yīng)的兩個歸一化層類torch.nn.BatchNorm2d(num_features, ...) torch.nn.GroupNorm(num_groups, num_channels, ...)Batch Norm 是最早提出、最廣為人知的方法但Aaron Defazio 推薦改用 Group Norm它更穩(wěn)定、理論上更簡單通常效果更好分組大小 32 是不錯的默認(rèn)值。另外注意Batch Norm 與 Instance Norm 在訓(xùn)練結(jié)束后使用固定的均值/標(biāo)準(zhǔn)差不再每次評估時重算因為歸一化需要多個訓(xùn)練樣本而 Group Norm 與 Layer Norm 只需單個訓(xùn)練樣本即可歸一化因此無此問題。2.5 優(yōu)化的終結(jié)深度學(xué)習(xí)加速 MRI 重建有時外行闖入一個陌生領(lǐng)域反而能改善現(xiàn)狀深度學(xué)習(xí)用于 MRI 圖像重建加速便是典型例子。傳統(tǒng) MRI 重建傳統(tǒng) MRI 重建中原始數(shù)據(jù)來自 MRI 機(jī)器用簡單管線/算法重建圖像。MRI 機(jī)器在二維傅里葉域逐行或逐列每幾毫秒一次采集數(shù)據(jù)原始輸入由頻率與相位兩個通道組成數(shù)值代表特定頻率和相位的正弦波幅度——可簡單理解為一張含實部、虛部通道的復(fù)值圖像。對其做逆傅里葉變換把這些正弦波按數(shù)值加權(quán)求和即可得到原始解剖圖像見 docs/images/week05/05-2/5_2_mri.png。目前從傅里葉域到圖像域存在一個非常高效的線性映射無論圖像多大都只需毫秒級完成。問題在于能不能更快加速 MRIAccelerated MRI加速的關(guān)鍵思路迄今最成功是不全采所有列可以隨機(jī)跳過部分列但實踐中最好保留中間列它們橫跨整幅圖像、信息量大外圍則隨機(jī)采樣。問題隨之而來——此時線性映射不再適用對下采樣后的傅里葉空間直接做線性映射得到的結(jié)果毫無用處見 docs/images/week05/05-2/5_2_acc_mri.png顯然需要更聰明的做法。壓縮感知Compressed Sensing壓縮感知是理論數(shù)學(xué)的重大突破之一Candes 等人的論文證明從下采樣的傅里葉域圖像出發(fā)在理論上可以獲得完美重建——當(dāng)目標(biāo)信號稀疏或具有稀疏結(jié)構(gòu)時用更少的測量即可完美重建。但實際應(yīng)用有若干前提不需要隨機(jī)采樣而需要非相干采樣incoherent sampling——不過實踐中人們通常就是隨機(jī)采樣采一列或半列耗時相同因此實踐中整列采樣圖像需要具備稀疏性大量零值/黑色像素。原始輸入經(jīng)波長分解后可稀疏表示但只是近似稀疏而非嚴(yán)格稀疏所以壓縮感知能得到相當(dāng)好但不完美的重建見 docs/images/week05/05-2/5_2_comp_sensing.png若輸入在波長域非常稀疏則能獲得完美圖像。壓縮感知基于優(yōu)化理論其重建方式是求解一個帶額外正則項的小型優(yōu)化問題$$ \hat{x} \arg\min_x \frac{1}{2} \Vert M (\mathcal{F}(x)) - y \Vert^2 \lambda TV(x) $$其中 $M$ 是掩碼函數(shù)把未采樣位置置零$\mathcal{F}$ 是傅里葉變換$y$ 是觀測到的傅里葉域數(shù)據(jù)$\lambda$ 是正則化懲罰強度$V$ 是正則化函數(shù)。這個優(yōu)化問題必須對 MRI 掃描的每個時間步/每個切片求解一次耗時常常超過掃描本身——這讓我們有理由尋找更好的方案。誰還需要優(yōu)化——用深度網(wǎng)絡(luò)一步求解與其每個時間步都解一個小優(yōu)化問題不如用一個大型神經(jīng)網(wǎng)絡(luò)直接產(chǎn)出所需解。希望在于訓(xùn)練一個足夠復(fù)雜的網(wǎng)絡(luò)讓它一步基本解決優(yōu)化問題輸出質(zhì)量堪比逐時間步求解優(yōu)化問題的結(jié)果$$ \hat{x} B(y) $$其中 $B$ 是深度學(xué)習(xí)模型$y$ 是觀測到的傅里葉域數(shù)據(jù)。15 年前這條路很難走如今實現(xiàn)起來容易得多結(jié)果對比見 docs/images/week05/05-2/5_2_dl_approach.png。課程指出用于生成該重建的模型采用ADAM 優(yōu)化器 Group Norm 歸一化層 基于 U-Net 的卷積神經(jīng)網(wǎng)絡(luò)這一方案已非常接近實際應(yīng)用。三、Practicum手推卷積、PyTorch 尺寸驗證與自動微分3.1 理解 1D 卷積堆疊與平移 kernel這一部分探討卷積是因為我們希望利用數(shù)據(jù)的稀疏性sparsity、平穩(wěn)性stationarity與組合性compositionality。與上一周使用的矩陣 $A$見 上一周筆記不同這里把矩陣寬度改為 kernel 大小 $k$于是矩陣的每一行就是一個 kernel。通過堆疊stacking與平移shiftingkernel見 docs/images/week05/05-3/Illustration_1D_Conv.png可以得到 $m$ 層高度為 $n-k1$ 的輸出即 $m$厚度個大小為 $n-k1$ 的向量見 docs/images/week05/05-3/Result_1D_Conv.png。單個輸入向量可以看作單聲道m(xù)onophonic信號見 docs/images/week05/05-3/Monophonic_Signal.png。此時輸入 $x$ 是一個映射$$ x:\Omega\rightarrow\mathbb{R}^{c} $$其中 $\Omega \lbrace 1, 2, 3, \cdots \rbrace \subset \mathbb{N}^1$因為這是 1 維信號/擁有 1 維定義域此時通道數(shù) $c1$當(dāng) $c2$ 時即為立體聲stereophonic信號。對 1D 卷積只需逐 kernel 計算標(biāo)量積見 docs/images/week05/05-3/Layer_by_layer_scalar_product.png。3.2 PyTorch 中 kernel 與輸出寬度的維度驗證技巧在 IPython 中可以使用問號查看函數(shù)文檔例如輸入nn.Conv1d?得到簽名Init signature: nn.Conv1d( in_channels, # 輸入圖像中的通道數(shù) out_channels, # 卷積產(chǎn)生的通道數(shù) kernel_size, # 卷積核的大小 stride1, # 卷積的步幅 padding0, # 在輸入兩側(cè)添加的零填充 dilation1, # 卷積核元素之間的間距 groups1, # 從輸入到輸出的阻塞連接數(shù) biasTrue, # 若為 True則為輸出添加可學(xué)習(xí)的偏置 padding_modezeros, # 填充模式接受 zeros 與 circular )1D 卷積示例假設(shè)做 1 維卷積從 2 個通道立體聲信號到 16 個通道16 個 kernelkernel 大小為 3、stride 為 1。于是共有 16 個厚度 2、長度 3 的 kernel。設(shè)輸入信號 batch 大小為 1一個信號、2 個通道、64 個采樣點。輸出層為 1 個信號、16 個通道信號長度 $62 64-31$。每個輸出通道一個偏置因此 bias 大小為 16。conv nn.Conv1d(2, 16, 3) # 2 通道立體聲16 個大小為 3 的 kernel conv.weight.size() # 輸出: torch.Size([16, 2, 3]) conv.bias.size() # 輸出: torch.Size([16]) x torch.rand(1, 2, 64) # batch 為 12 通道64 個采樣點 conv(x).size() # 輸出: torch.Size([1, 16, 62]) conv nn.Conv1d(2, 16, 5) # 2 通道16 個大小為 5 的 kernel conv(x).size() # 輸出: torch.Size([1, 16, 60])2D 卷積示例輸入為 1 個樣本、20 個通道例如高光譜圖像高 64、寬 128。2D 卷積輸入 20 通道、16 個大小為 $3\times5$ 的 kernel。卷積后輸出為 1 個樣本、16 個通道高 $6264-31$寬 $124128-51$。執(zhí)行 2D 卷積所需存儲的 kernel 張量是4 維的。x torch.rand(1, 20, 64, 128) # 1 個樣本20 通道高 64寬 128 conv nn.Conv2d(20, 16, (3, 5)) # 20 通道16 個 kernelkernel 大小為 3 x 5 conv.weight.size() # 輸出: torch.Size([16, 20, 3, 5]) conv(x).size() # 輸出: torch.Size([1, 16, 62, 124])若想保持輸入輸出維度一致可以加 padding。延續(xù)上面代碼設(shè)置stride1、padding(1, 2)即在 $y$ 方向填充 1頂部、底部各 1在 $x$ 方向填充 2。此時輸出與輸入尺寸相同# 20 通道16 個大小為 3 x 5 的 kernelstride 為 1padding 為 (1, 2) conv nn.Conv2d(20, 16, (3, 5), 1, (1, 2)) conv(x).size() # 輸出: torch.Size([1, 16, 64, 128])3.3 自動梯度Autograd是如何工作的本節(jié)讓 torch 追蹤張量上的所有計算從而計算偏導(dǎo)數(shù)創(chuàng)建帶梯度累積能力的 $2\times2$ 張量 $\boldsymbol{x}$對 $\boldsymbol{x}$ 的所有元素減 2 得到 $\boldsymbol{y}$。打印y.grad_fn會得到SubBackward0 object ...說明 $y$ 由減法模塊$\boldsymbol{x}-2$生成也可用y.grad_fn.next_functions[0][0].variable反推原始張量繼續(xù)運算$\boldsymbol{z} 3\boldsymbol{y}^2$計算 $\boldsymbol{z}$ 的均值。反向傳播用于計算梯度。在本例中反向傳播過程可看作計算 $\frac{d\boldsymbol{a}}{d\boldsymbol{x}}$。手工驗證 $\frac{d\boldsymbol{a}}{d\boldsymbol{x}}$ 后可以發(fā)現(xiàn)執(zhí)行a.backward()得到的x.grad與我們手算結(jié)果一致。手算過程如下$$ \begin{aligned} a \frac{1}{4} (z_1 z_2 z_3 z_4) \ z_i 3y_i^2 3(x_i-2)^2 \ \frac{da}{dx_i} \frac{1}{4}\times3\times2(x_i-2) \frac{3}{2}x_i-3 \ x \begin{pmatrix} 12\34\end{pmatrix} \ \left(\frac{da}{dx_i}\right)^\top \begin{pmatrix} 1.5-33-3\[2mm]4.5-36-3\end{pmatrix}\begin{pmatrix} -1.50\[2mm]1.53\end{pmatrix} \end{aligned} $$在 PyTorch 中使用偏導(dǎo)時得到的梯度與原始數(shù)據(jù)形狀相同但從嚴(yán)格的 Jacobian 角度看正確形式應(yīng)是轉(zhuǎn)置。從基礎(chǔ)到更瘋狂循環(huán)中的梯度設(shè) $x$ 為 $1\times3$ 向量令 $y$ 為 $x$ 的兩倍并不斷把 $y$ 翻倍直到其范數(shù)小于 1000。由于 $x$ 是隨機(jī)的無法直接預(yù)知循環(huán)終止的迭代次數(shù)x torch.randn(3, requires_gradTrue) y x * 2 i 0 while y.data.norm() 1000: y y * 2 i 1但借助梯度可以輕易推斷gradients torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) tensor([1.0240e02, 1.0240e03, 1.0240e-01]) print(i) 9requires_grad 與 no_grad 的邊界用requires_gradTrue標(biāo)記希望追蹤梯度累積。若在 $x$ 或 $w$ 的聲明中省略requires_gradTrue再對 $z$ 調(diào)用backward()將因缺少梯度累積而報運行時錯誤# x 與 w 都允許梯度累積 x torch.arange(1., n 1, requires_gradTrue) w torch.ones(n, requires_gradTrue) z w x z.backward() print(x.grad, w.grad, sep\n)反向地可用with torch.no_grad()關(guān)閉梯度累積x torch.arange(1., n 1) w torch.ones(n, requires_gradTrue) # 其中的所有 torch 張量都不會累積梯度 with torch.no_grad(): z w x try: z.backward() # PyTorch 會在此拋錯因為 z 沒有梯度累積 except RuntimeError as e: print(RuntimeError!!! :[) print(e)3.4 自定義梯度Custom Gradients除了基礎(chǔ)數(shù)值運算我們還可以生成自定義模塊/函數(shù)并將其插入神經(jīng)網(wǎng)絡(luò)計算圖。配套 Jupyter Notebook 位于倉庫 extra/b-custom_grads.ipynb。做法是繼承torch.autograd.Function并重寫forward()與backward()。例如訓(xùn)練網(wǎng)絡(luò)時需要前向傳播、并知道輸入對輸出的偏導(dǎo)數(shù)才能把該模塊用在代碼的任何位置只要掌握了輸入對輸出的偏導(dǎo)數(shù)就可以通過反向傳播鏈?zhǔn)椒▌t把它插入運算鏈的任意位置。Notebook 中有三個自定義模塊示例add、split與max。例如自定義加法模塊# 自定義加法模塊 class MyAdd(torch.autograd.Function): staticmethod def forward(ctx, x1, x2): # ctx 是一個上下文可以在其中保存 # backward 所需的中間計算。 ctx.save_for_backward(x1, x2) return x1 x2 staticmethod def backward(ctx, grad_output): x1, x2 ctx.saved_tensors grad_x1 grad_output * torch.ones_like(x1) grad_x2 grad_output * torch.ones_like(x2) # 需要按 forward 輸入順序返回梯度不含 ctx return grad_x1, grad_x2兩個輸入相加得到輸出前向按上式重寫反向傳播時梯度會復(fù)制到兩側(cè)所以 backward 用復(fù)制實現(xiàn)。對于split若多個分支來自同一張量反向傳播時應(yīng)當(dāng)把這些梯度相加/求和對于argmax它選出最大值的索引因此最大值索引處梯度為 1、其余為 0。需要牢記不同自定義模塊要各自重寫自己的 forward 與 backward 梯度邏輯。四、在倉庫中繼續(xù)深入配套代碼與資源本倉庫為 NYU-DLSP20 課程的配套開源實現(xiàn)圍繞第五周主題提供了大量可直接運行的資源優(yōu)化器可視化實驗extra/utils/optim.py 定義了一個繼承torch.optim.Optimizer的Optim基類其中step()遍歷param_groups并在每個參數(shù)上調(diào)用my_step()子類只需實現(xiàn)my_step即可定制更新規(guī)則。文件底部還包含一個病態(tài)二次目標(biāo) $f(x,y)\frac{1}{2}xy^\top A xy b^\top xy$$A\mathrm{diag}(1,5)$條件數(shù)高達(dá) 5的等高線圖繪制函數(shù)output(opt, nsteps, noise, fname)可用于直觀對比不同優(yōu)化器在病態(tài)問題上的收斂軌跡并支持通過noise參數(shù)模擬隨機(jī)梯度噪聲詳見extra/optimization.ipynb。優(yōu)化實驗 Notebookextra/optimization.ipynb 基于上述工具演示 GD/SGD/Momentum 等的收斂行為。自定義梯度 Notebookextra/b-custom_grads.ipynb 完整實現(xiàn)add、split、max等自定義 autograd 模塊對應(yīng)上文 3.4 節(jié)。英文原版筆記docs/en/week05/05-1.mdOptimisation Techniques I、docs/en/week05/05-2.mdOptimisation Techniques II、docs/en/week05/05-3.mdConvolutions 與自動微分中文讀者可對照閱讀 docs/pt/week05/05-1.md、docs/pt/week05/05-2.md、docs/pt/week05/05-3.md。本講幻燈slides/01 - Spiral classification.pdf、slides/04 - RNN.pdf 之外倉庫根目錄的 04-spiral_classification.ipynb、05-regression.ipynb、06-convnet.ipynb、07-listening_to_kernels.ipynb 等 Notebook 均會實際用到本章的優(yōu)化器與卷積知識。小結(jié)第五周的內(nèi)容構(gòu)成了深度學(xué)習(xí)優(yōu)化與卷積原理的完整閉環(huán)GD → SGD → Momentum → RMSprop/ADAM的進(jìn)化脈絡(luò)清晰呈現(xiàn)了如何讓更新更穩(wěn)、更快、更自適應(yīng)歸一化層從結(jié)構(gòu)上改善優(yōu)化與泛化加速 MRI案例則展示了用深度網(wǎng)絡(luò)一步替代逐時間步優(yōu)化的工程范式最后的1D/2D 卷積手推與 PyTorch 尺寸驗證、autograd 與自定義梯度把理論落到可復(fù)現(xiàn)的代碼上。若要在實際項目中應(yīng)用可遵循課程給出的經(jīng)驗法則默認(rèn)使用帶動量 SGD$\beta0.9/0.99$或 ADAM歸一化層優(yōu)先考慮 Group Norm分組 32卷積輸出尺寸按 $n-k1$加 padding 后相應(yīng)調(diào)整快速心算校驗。贊分享示例工程【免費下載鏈接】NYU-DLSP20NYU Deep Learning Spring 2020項目地址https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning點擊查看免費下載相關(guān)推薦5 分鐘讓普通鼠標(biāo)在 macOS 上比觸控板好用Mac Mouse Fix 上手指南5 分鐘讓普通鼠標(biāo)在 macOS 上比觸控板好用Mac Mouse Fix 上手指南 第一次按下側(cè)鍵、光標(biāo)毫無反應(yīng)的那一刻我就知道這只十幾塊的鼠標(biāo)在 mac示例工程NYU-DLSP20 第五周精讀梯度下降、Momentum 與自適應(yīng)優(yōu)化、歸一化層以及卷積與自動微分實戰(zhàn)NYU DLSP20 第五周精讀梯度下降、Momentum 與自適應(yīng)優(yōu)化、歸一化層以及卷積與自動微分實戰(zhàn) 本文基于開源課程倉庫 pytorch Deep L示例工程NYU-DLSP20 第 5 周深度筆記梯度下降、SGD 與動量、自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動微分NYU DLSP20 第 5 周深度筆記梯度下降、SGD 與動量、自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動微分 本文是 NYU Deep Learn示例工程上一篇Bokeh 自定義 TickFormatter 實戰(zhàn)為坐標(biāo)軸實現(xiàn)“偏移量刻度”顯示下一篇RSS-Bridge 主機(jī)部署指南堅持不用私有 API的設(shè)計哲學(xué)與實例配置實戰(zhàn)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 NYU-DLSP20 第五周全解析：從梯度下降、動量到自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動微分實戰(zhàn)
示例工程【免費下載鏈接】NYU-DLSP20NYU Deep Learning Spring 2020項目地址https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning點擊查看免費下載本周課程是 NYU-DLSP20NYU Deep Learning Spring 2020對應(yīng)本倉庫優(yōu)化與卷積主題的核心章節(jié)橫跨三大部分Lecture A講解梯度下降GD、隨機(jī)梯度下降SGD與動量Momentum三類基礎(chǔ)優(yōu)化技術(shù)Lecture B講解 RMSprop、ADAM 等自適應(yīng)方法、歸一化層Normalization Layers以及深度學(xué)習(xí)加速 MRI 重建的工業(yè)級案例Practicum則回到動手環(huán)節(jié)手推 1D 卷積、用 PyTorch 驗證 kernel 與輸出維度、理解自動微分引擎并編寫自定義梯度模塊。讀完本文你將掌握優(yōu)化器的數(shù)學(xué)原理、調(diào)參經(jīng)驗、歸一化層的選型依據(jù)并能用 PyTorch 獨立復(fù)現(xiàn)卷積尺寸計算與autograd自定義梯度。一、Lecture A從梯度下降到帶動量的 SGD1.1 梯度下降Gradient Descent最基礎(chǔ)也最差的方法我們研究優(yōu)化方法通常從最基礎(chǔ)也最樸素的方法開始——梯度下降。其目標(biāo)是最小化一個連續(xù)可微函數(shù)問題$$ \min_w f(w) $$迭代解法$$ w_{k1} w_k - \gamma_k \nabla f(w_k) $$其中各符號含義為$w_{k1}$第 $k$ 次迭代后更新得到的值$w_k$第 $k$ 次迭代前的初始值$\gamma_k$步長step size即學(xué)習(xí)率$\nabla f(w_k)$函數(shù) $f$ 在 $w_k$ 處的梯度。這里的基本假設(shè)是函數(shù) $f$ 連續(xù)且可微。我們的目標(biāo)是找到優(yōu)化函數(shù)的谷底但通往谷底的真實方向未知只能做局部觀察——因此負(fù)梯度方向是我們掌握的最好信息。沿該方向邁出一小步就能更接近最小值走完一步后重新計算梯度再沿新方向移動如此反復(fù)直至抵達(dá)谷底。本質(zhì)上梯度下降就是在沿著**最陡下降方向負(fù)梯度方向**前進(jìn)。$\gamma$ 被稱為步長學(xué)習(xí)率。通常我們并不知道最優(yōu)步長的取值因此必須嘗試不同數(shù)值標(biāo)準(zhǔn)做法是在對數(shù)尺度log-scale上試一批值再選用效果最好的一個。以 1D 二次函數(shù)為例存在幾種典型場景見下圖學(xué)習(xí)率過低向最小值穩(wěn)步前進(jìn)但耗時遠(yuǎn)超理想情況學(xué)習(xí)率略高于最優(yōu)實際上收斂最快是最理想的選擇學(xué)習(xí)率過大迭代點離最小值越來越遠(yuǎn)導(dǎo)致發(fā)散。實踐中我們通常希望學(xué)習(xí)率比發(fā)散閾值略小一點。圖片出處本倉庫 docs/images/week05/05-1/step-size.png對應(yīng)英文原筆記 docs/en/week05/05-1.md。1.2 隨機(jī)梯度下降SGD無偏、帶噪、更便宜在隨機(jī)梯度下降中我們用梯度的隨機(jī)估計替代真實梯度向量。對神經(jīng)網(wǎng)絡(luò)而言隨機(jī)估計即單個數(shù)據(jù)點單個樣本損失的梯度。設(shè) $f_i$ 為網(wǎng)絡(luò)在第 $i$ 個樣本上的損失$$ f_i l(x_i, y_i, w) $$我們希望最小化的是所有樣本的總損失 $f$$$ f \frac{1}{n}\sum_i^n f_i $$SGD 按 $f_i$ 的梯度而非總損失 $f$ 的梯度更新權(quán)重$$ \begin{aligned} w_{k1} w_k - \gamma_k \nabla f_i(w_k) \quad\text{i 均勻隨機(jī)選取} \end{aligned} $$若 $i$ 隨機(jī)選取則 $f_i$ 是 $f$ 的一個帶噪聲但無偏的估計數(shù)學(xué)上寫作$$ \mathbb{E}[\nabla f_i(w_k)] \nabla f(w_k) $$因此 SGD 第 $k$ 步的期望與全批量梯度下降第 $k$ 步相同$$ \mathbb{E}[w_{k1}] w_k - \gamma_k \mathbb{E}[\nabla f_i(w_k)] w_k - \gamma_k \nabla f(w_k) $$也就是說任何一次 SGD 更新在期望意義下都等價于全批量更新。但 SGD 并不僅僅是更快的帶噪梯度下降——它還能帶來更好的結(jié)果SGD 的噪聲可以幫助我們跳過較淺的局部最小值找到更深的、更優(yōu)的最小值。這一現(xiàn)象稱為退火annealing?？偨Y(jié) SGD 的優(yōu)勢各樣本之間存在大量冗余信息SGD 避免了大量冗余計算訓(xùn)練初期噪聲相對梯度中的信息量很小因此一步 SGD幾乎與一步 GD 同樣有效退火效應(yīng)——SGD 更新中的噪聲可以避免收斂到糟糕淺層的局部最小值SGD 的計算成本大幅降低無需遍歷所有數(shù)據(jù)點。1.3 Mini-batching小批量Mini-batching 不是在單個樣本上計算損失而是在多個隨機(jī)選取的樣本上計算損失從而降低每一步更新的噪聲$$ w_{k1} w_k - \gamma_k \frac{1}{|B_i|} \sum_{j \in B_i}\nabla f_j(w_k) $$使用 mini-batch 而非單樣本往往能更充分地利用硬件例如單樣本訓(xùn)練時 GPU 利用率很差。分布式訓(xùn)練技術(shù)會把一個大的 mini-batch 拆分到集群的各臺機(jī)器上再聚合各自算出的梯度英文原筆記中提到 Facebook 曾用分布式訓(xùn)練在一小時內(nèi)完成 ImageNet 上的網(wǎng)絡(luò)訓(xùn)練此為課程講述的行業(yè)案例非本倉庫實測數(shù)據(jù)。一個重要的實操提醒梯度下降不應(yīng)配合全量大小的 batch 使用。如果確實想在全量 batch 上訓(xùn)練應(yīng)使用 LBFGS 這類優(yōu)化技術(shù)——PyTorch 與 SciPy 都提供了 LBFGS 的實現(xiàn)。1.4 動量Momentum兩種更新規(guī)則動量方法維護(hù)兩個迭代量$p$ 和 $w$而不是只維護(hù)一個$$ \begin{aligned} p_{k1} \hat{\beta_k}p_k \nabla f_i(w_k) \ w_{k1} w_k - \gamma_kp_{k1} \ \end{aligned} $$其中 $p$ 被稱為SGD 動量。每一步更新時先把舊動量按因子 $\beta$取值在 0 到 1 之間衰減再加上當(dāng)前隨機(jī)梯度因此 $p$ 可以理解為梯度的運行平均running average。最后讓 $w$ 沿新動量 $p$ 的方向移動。等價形式隨機(jī)重球法Stochastic Heavy Ball Method$$ \begin{aligned} w_{k1} w_k - \gamma_k\nabla f_i(w_k) \beta_k(w_k - w_{k-1}) 0 \leq \beta 1 \end{aligned} $$該形式與上一形式數(shù)學(xué)等價下一步 上一步的方向$w_k - w_{k-1}$與新的負(fù)梯度的組合。直覺物理中的動量SGD 動量與物理學(xué)中的動量概念類似優(yōu)化過程就像一顆重球滾下坡動量讓球保持原有的運動方向而梯度可以看作把球推向其他方向的力。與劇烈改變行進(jìn)方向相比動量只做溫和的修正能有效抑制純 SGD 中常見的來回震蕩。$\beta$ 參數(shù)被稱為阻尼因子Dampening Factor$\beta$ 必須大于 0——若等于 0就退化為普通梯度下降$\beta$ 必須小于 1——否則一切都會爆炸$\beta$ 越小轉(zhuǎn)向越快$\beta$ 越大轉(zhuǎn)向越慢。實踐指南動量幾乎總是應(yīng)與 SGD 配合使用$\beta 0.9$ 或 $0.99$ 幾乎總是表現(xiàn)良好增大動量參數(shù)時通常需要減小步長以維持收斂當(dāng) $\beta$ 從 0.9 變?yōu)?0.99 時學(xué)習(xí)率大約需要縮小 10 倍。為什么動量有效1加速AccelerationNesterov 動量的更新規(guī)則如下$$ p_{k1} \hat{\beta_k}p_k \nabla f_i(w_k) \ w_{k1} w_k - \gamma_k(\nabla f_i(w_k) \hat{\beta_k}p_{k1}) $$只要常數(shù)選取得當(dāng)Nesterov 動量可以獲得加速收斂。但這只適用于凸問題不適用于神經(jīng)網(wǎng)絡(luò)。很多人聲稱普通動量也是加速方法但事實上它只對二次函數(shù)加速而且加速與噪聲不兼容SGD 本身帶噪因此加速并不能很好解釋 Momentum SGD 的高性能。2噪聲平滑Noise Smoothing更實際、更可能的解釋是噪聲平滑動量對梯度取平均每次步進(jìn)使用的是梯度的運行平均。理論上 SGD 要正常工作應(yīng)當(dāng)對所有步進(jìn)取平均$$ \bar w_k \frac{1}{K} \sum_{k1}^K w_k $$SGD 加動量的好處在于不再需要這種顯式平均動量給優(yōu)化過程引入了平滑使每一步更新都成為對解的良好近似。純 SGD 則往往需要平均一大批更新之后才朝該方向邁步。加速與噪聲平滑共同貢獻(xiàn)了動量的高性能。從 docs/images/week05/05-1/sgd-vs-momentum.png 可以看出純 SGD 初期朝解的方向進(jìn)展良好但到達(dá)谷底碗底后會在底部來回彈跳調(diào)整學(xué)習(xí)率只是讓彈跳變慢而加上動量后步長被平滑幾乎不再彈跳。二、Lecture B自適應(yīng)優(yōu)化、歸一化層與優(yōu)化的終結(jié)2.1 為什么需要自適應(yīng)方法Adaptive Methods帶動量的 SGD 目前仍是許多機(jī)器學(xué)習(xí)問題的先進(jìn)優(yōu)化方法但還有一類自適應(yīng)方法對**病態(tài)條件poorly conditioned**的問題尤其有用即 SGD 失效的場景。在 SGD 公式中網(wǎng)絡(luò)中每一個權(quán)重都用同一個全局學(xué)習(xí)率 $\gamma$ 更新。自適應(yīng)方法則為每個權(quán)重單獨適配學(xué)習(xí)率依據(jù)是每個權(quán)重各自的梯度信息。實際使用的網(wǎng)絡(luò)在不同部分結(jié)構(gòu)差異很大例如 CNN 早期可能是在大圖上做很淺的卷積后期則是在小圖上做大量通道的卷積兩者性質(zhì)迥異適合網(wǎng)絡(luò)前期的學(xué)習(xí)率未必適合后期——這說明按層自適應(yīng)的學(xué)習(xí)率是有價值的。網(wǎng)絡(luò)后部的權(quán)重例如 VGG16 中 4096 維的全連接層見 docs/images/week05/05-2/5_2_vgg.png直接決定輸出對輸出影響極強需要更小的學(xué)習(xí)率而前期權(quán)重尤其隨機(jī)初始化時對輸出的個體影響更小。2.2 RMSprop用梯度均方根做歸一化Root Mean Square Propagation均方根傳播的核心思想是用梯度的均方根對梯度做歸一化。下式中梯度平方表示對向量每個元素分別平方$$ \begin{aligned} v_{t1} {\alpha}v_t (1 - \alpha) \nabla f_i(w_t)^2 \ w_{t1} w_t - \gamma \frac {\nabla f_i(w_t)}{ \sqrt{v_{t1}} \epsilon} \end{aligned} $$其中$\gamma$ 是全局學(xué)習(xí)率$\epsilon$ 是接近機(jī)器精度 $\epsilon$ 的小量量級為 $10^{-7}$ 或 $10^{-8}$用于避免除零錯誤$v_{t1}$ 是二階矩second moment估計。我們用指數(shù)移動平均exponential moving average更新 $v$ 來估計這個帶噪量——這是維護(hù)可能隨時間變化之量的平均的標(biāo)準(zhǔn)方式新值攜帶更多信息應(yīng)給予更大權(quán)重于是用常數(shù) $\alpha$0 到 1 之間對舊值逐級指數(shù)降權(quán)直到舊值不再重要。原始 RMSprop 維護(hù)的是非中心二階矩的指數(shù)移動平均因此這里不減均值二階矩被用來逐元素歸一化梯度即每個梯度元素除以二階矩估計的平方根。當(dāng)梯度期望值很小時這個過程近似于用標(biāo)準(zhǔn)差去除梯度。分母使用很小的 $\epsilon$ 并不會導(dǎo)致發(fā)散因為當(dāng) $v$ 很小時動量梯度本身也很小。2.3 ADAMRMSprop 動量ADAMAdaptive Moment Estimation自適應(yīng)矩估計可以理解為 RMSprop 加上動量是目前更常用的方法。動量更新被改造成指數(shù)移動平均且處理 $\beta$ 時無需改變學(xué)習(xí)率與 RMSprop 一樣這里也對梯度平方取指數(shù)移動平均$$ \begin{aligned} m_{t1} {\beta}m_t (1 - \beta) \nabla f_i(w_t) \ v_{t1} {\alpha}v_t (1 - \alpha) \nabla f_i(w_t)^2 \ w_{t1} w_t - \gamma \frac {m_{t}}{ \sqrt{v_{t1}} \epsilon} \end{aligned} $$其中 $m_{t1}$ 是動量的指數(shù)移動平均。上式中省略了偏差修正bias correction——該修正用于在早期迭代中保持移動平均無偏。實踐對比訓(xùn)練神經(jīng)網(wǎng)絡(luò)時SGD 在訓(xùn)練初期常常朝錯誤方向走而 RMSprop 能較快瞄準(zhǔn)正確方向但 RMSprop 與普通 SGD 一樣受噪聲困擾接近局部最小值后會在最優(yōu)點附近顯著彈跳。就像給 SGD 加動量一樣ADAM 帶來了同樣的改進(jìn)它是解的一個良好、無噪的估計因此通常推薦使用 ADAM 而非 RMSprop對比圖見 docs/images/week05/05-2/5_2_comparison.png。ADAM 對訓(xùn)練某些語言模型網(wǎng)絡(luò)是必需的優(yōu)化神經(jīng)網(wǎng)絡(luò)時一般優(yōu)先選擇帶動量的 SGD 或 ADAM。但 ADAM 的論文理論尚不完善且存在若干缺點可以在非常簡單的測試問題上證明該方法不收斂已知會帶來泛化誤差網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上損失為零未必能在未見數(shù)據(jù)上保持零損失尤其在圖像問題上其泛化誤差往往比 SGD 更差可能因素包括找到的是最近的局部最小值、ADAM 噪聲更小、或其自身結(jié)構(gòu)等ADAM 需要維護(hù)3 個緩沖區(qū)而 SGD 只需 2 個。除非模型大到數(shù) GB 量級、可能放不進(jìn)內(nèi)存否則這影響不大需要調(diào)2 個動量參數(shù)而不是 1 個。2.4 歸一化層Normalization Layers與前文改進(jìn)優(yōu)化算法不同歸一化層改進(jìn)的是網(wǎng)絡(luò)結(jié)構(gòu)本身它們作為額外層插入已有層之間目標(biāo)是提升優(yōu)化與泛化性能。神經(jīng)網(wǎng)絡(luò)通常在線性運算與非線性運算激活函數(shù)如 ReLU之間交替歸一化層可以放在線性層之前或激活函數(shù)之后最常見的做法是放在線性層與激活函數(shù)之間在 CNN 中典型形態(tài)為卷積 → 批量歸一化 → ReLU見圖 docs/images/week05/05-2/5_2_norm_layer_c.png。需要注意歸一化層改變流經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)但并不改變網(wǎng)絡(luò)的表達(dá)能力——只要權(quán)重配置得當(dāng)未歸一化的網(wǎng)絡(luò)仍可產(chǎn)生與歸一化網(wǎng)絡(luò)相同的輸出。歸一化的通用記號$$ y \frac{a}{\sigma}(x - \mu) b $$其中$x$ 為輸入向量$y$ 為輸出向量$\mu$ 為 $x$ 均值的估計$\sigma$ 為 $x$ 標(biāo)準(zhǔn)差std的估計$a$ 為可學(xué)習(xí)的縮放因子$b$ 為可學(xué)習(xí)的偏置項。如果沒有可學(xué)習(xí)參數(shù) $a$ 和 $b$輸出向量 $y$ 的分布將固定為均值 0、標(biāo)準(zhǔn)差 1。$a$ 與 $b$ 的作用是保持網(wǎng)絡(luò)的表示能力——輸出值仍可落在任意特定范圍。注意 $a$、$b$ 并不會抵消歸一化因為它們是可學(xué)習(xí)參數(shù)比 $\mu$、$\sigma$ 穩(wěn)定得多。四種歸一化方式對于包含 $N$ 張高 $H$ 寬 $W$、共 $C$ 個通道的 mini-batch 圖像示意圖見 docs/images/week05/05-2/5_2_norm_operations.png按選取的歸一化樣本范圍不同有 4 種典型做法方法歸一化范圍適用場景Batch Norm批量歸一化只對輸入的一個通道做歸一化首個被提出、最廣為人知的方法視覺任務(wù)效果好Layer Norm層歸一化單張圖像內(nèi)跨全部通道語言任務(wù)中大量使用Instance Norm實例歸一化單張圖像、單個通道語言/風(fēng)格類任務(wù)中大量使用Group Norm分組歸一化單張圖像、跨部分通道如 0~9 一組、10~19 一組視覺任務(wù)效果好且與 SGD 不沖突關(guān)于 Group Norm 的補充實踐中分組大小幾乎總是32這也是課程講師 Aaron Defazio 推薦的做法——實際性能好且不與 SGD 沖突。為什么歸一化有幫助雖然歸一化在實踐中效果很好但其有效的原因仍有爭議。最初它被提出用于減小內(nèi)部協(xié)變量偏移internal covariate shift但已有學(xué)者通過實驗證偽了這一解釋?？梢源_認(rèn)的是歸一化帶來了以下多種因素的綜合效果優(yōu)化效果帶歸一化層的網(wǎng)絡(luò)更易優(yōu)化允許使用更大的學(xué)習(xí)率從而加速訓(xùn)練正則化效果由于批次內(nèi)樣本隨機(jī)均值/標(biāo)準(zhǔn)差估計帶有噪聲這種額外噪聲在某些情況下帶來更好的泛化降低對權(quán)重初始化的敏感性。因此歸一化讓你可以更隨意幾乎可以把任意網(wǎng)絡(luò)構(gòu)件組合在一起而無需過多擔(dān)心網(wǎng)絡(luò)病態(tài)程度仍有機(jī)會成功訓(xùn)練。實踐注意事項與 PyTorch 用法反向傳播必須經(jīng)過均值/標(biāo)準(zhǔn)差的計算以及歸一化的應(yīng)用否則網(wǎng)絡(luò)訓(xùn)練會發(fā)散。這一反向傳播計算相當(dāng)繁瑣且易錯而 PyTorch 能自動完成非常省力。PyTorch 中對應(yīng)的兩個歸一化層類torch.nn.BatchNorm2d(num_features, ...) torch.nn.GroupNorm(num_groups, num_channels, ...)Batch Norm 是最早提出、最廣為人知的方法但Aaron Defazio 推薦改用 Group Norm它更穩(wěn)定、理論上更簡單通常效果更好分組大小 32 是不錯的默認(rèn)值。另外注意Batch Norm 與 Instance Norm 在訓(xùn)練結(jié)束后使用固定的均值/標(biāo)準(zhǔn)差不再每次評估時重算因為歸一化需要多個訓(xùn)練樣本而 Group Norm 與 Layer Norm 只需單個訓(xùn)練樣本即可歸一化因此無此問題。2.5 優(yōu)化的終結(jié)深度學(xué)習(xí)加速 MRI 重建有時外行闖入一個陌生領(lǐng)域反而能改善現(xiàn)狀深度學(xué)習(xí)用于 MRI 圖像重建加速便是典型例子。傳統(tǒng) MRI 重建傳統(tǒng) MRI 重建中原始數(shù)據(jù)來自 MRI 機(jī)器用簡單管線/算法重建圖像。MRI 機(jī)器在二維傅里葉域逐行或逐列每幾毫秒一次采集數(shù)據(jù)原始輸入由頻率與相位兩個通道組成數(shù)值代表特定頻率和相位的正弦波幅度——可簡單理解為一張含實部、虛部通道的復(fù)值圖像。對其做逆傅里葉變換把這些正弦波按數(shù)值加權(quán)求和即可得到原始解剖圖像見 docs/images/week05/05-2/5_2_mri.png。目前從傅里葉域到圖像域存在一個非常高效的線性映射無論圖像多大都只需毫秒級完成。問題在于能不能更快加速 MRIAccelerated MRI加速的關(guān)鍵思路迄今最成功是不全采所有列可以隨機(jī)跳過部分列但實踐中最好保留中間列它們橫跨整幅圖像、信息量大外圍則隨機(jī)采樣。問題隨之而來——此時線性映射不再適用對下采樣后的傅里葉空間直接做線性映射得到的結(jié)果毫無用處見 docs/images/week05/05-2/5_2_acc_mri.png顯然需要更聰明的做法。壓縮感知Compressed Sensing壓縮感知是理論數(shù)學(xué)的重大突破之一Candes 等人的論文證明從下采樣的傅里葉域圖像出發(fā)在理論上可以獲得完美重建——當(dāng)目標(biāo)信號稀疏或具有稀疏結(jié)構(gòu)時用更少的測量即可完美重建。但實際應(yīng)用有若干前提不需要隨機(jī)采樣而需要非相干采樣incoherent sampling——不過實踐中人們通常就是隨機(jī)采樣采一列或半列耗時相同因此實踐中整列采樣圖像需要具備稀疏性大量零值/黑色像素。原始輸入經(jīng)波長分解后可稀疏表示但只是近似稀疏而非嚴(yán)格稀疏所以壓縮感知能得到相當(dāng)好但不完美的重建見 docs/images/week05/05-2/5_2_comp_sensing.png若輸入在波長域非常稀疏則能獲得完美圖像。壓縮感知基于優(yōu)化理論其重建方式是求解一個帶額外正則項的小型優(yōu)化問題$$ \hat{x} \arg\min_x \frac{1}{2} \Vert M (\mathcal{F}(x)) - y \Vert^2 \lambda TV(x) $$其中 $M$ 是掩碼函數(shù)把未采樣位置置零$\mathcal{F}$ 是傅里葉變換$y$ 是觀測到的傅里葉域數(shù)據(jù)$\lambda$ 是正則化懲罰強度$V$ 是正則化函數(shù)。這個優(yōu)化問題必須對 MRI 掃描的每個時間步/每個切片求解一次耗時常常超過掃描本身——這讓我們有理由尋找更好的方案。誰還需要優(yōu)化——用深度網(wǎng)絡(luò)一步求解與其每個時間步都解一個小優(yōu)化問題不如用一個大型神經(jīng)網(wǎng)絡(luò)直接產(chǎn)出所需解。希望在于訓(xùn)練一個足夠復(fù)雜的網(wǎng)絡(luò)讓它一步基本解決優(yōu)化問題輸出質(zhì)量堪比逐時間步求解優(yōu)化問題的結(jié)果$$ \hat{x} B(y) $$其中 $B$ 是深度學(xué)習(xí)模型$y$ 是觀測到的傅里葉域數(shù)據(jù)。15 年前這條路很難走如今實現(xiàn)起來容易得多結(jié)果對比見 docs/images/week05/05-2/5_2_dl_approach.png。課程指出用于生成該重建的模型采用ADAM 優(yōu)化器 Group Norm 歸一化層 基于 U-Net 的卷積神經(jīng)網(wǎng)絡(luò)這一方案已非常接近實際應(yīng)用。三、Practicum手推卷積、PyTorch 尺寸驗證與自動微分3.1 理解 1D 卷積堆疊與平移 kernel這一部分探討卷積是因為我們希望利用數(shù)據(jù)的稀疏性sparsity、平穩(wěn)性stationarity與組合性compositionality。與上一周使用的矩陣 $A$見 上一周筆記不同這里把矩陣寬度改為 kernel 大小 $k$于是矩陣的每一行就是一個 kernel。通過堆疊stacking與平移shiftingkernel見 docs/images/week05/05-3/Illustration_1D_Conv.png可以得到 $m$ 層高度為 $n-k1$ 的輸出即 $m$厚度個大小為 $n-k1$ 的向量見 docs/images/week05/05-3/Result_1D_Conv.png。單個輸入向量可以看作單聲道m(xù)onophonic信號見 docs/images/week05/05-3/Monophonic_Signal.png。此時輸入 $x$ 是一個映射$$ x:\Omega\rightarrow\mathbb{R}^{c} $$其中 $\Omega \lbrace 1, 2, 3, \cdots \rbrace \subset \mathbb{N}^1$因為這是 1 維信號/擁有 1 維定義域此時通道數(shù) $c1$當(dāng) $c2$ 時即為立體聲stereophonic信號。對 1D 卷積只需逐 kernel 計算標(biāo)量積見 docs/images/week05/05-3/Layer_by_layer_scalar_product.png。3.2 PyTorch 中 kernel 與輸出寬度的維度驗證技巧在 IPython 中可以使用問號查看函數(shù)文檔例如輸入nn.Conv1d?得到簽名Init signature: nn.Conv1d( in_channels, # 輸入圖像中的通道數(shù) out_channels, # 卷積產(chǎn)生的通道數(shù) kernel_size, # 卷積核的大小 stride1, # 卷積的步幅 padding0, # 在輸入兩側(cè)添加的零填充 dilation1, # 卷積核元素之間的間距 groups1, # 從輸入到輸出的阻塞連接數(shù) biasTrue, # 若為 True則為輸出添加可學(xué)習(xí)的偏置 padding_modezeros, # 填充模式接受 zeros 與 circular )1D 卷積示例假設(shè)做 1 維卷積從 2 個通道立體聲信號到 16 個通道16 個 kernelkernel 大小為 3、stride 為 1。于是共有 16 個厚度 2、長度 3 的 kernel。設(shè)輸入信號 batch 大小為 1一個信號、2 個通道、64 個采樣點。輸出層為 1 個信號、16 個通道信號長度 $62 64-31$。每個輸出通道一個偏置因此 bias 大小為 16。conv nn.Conv1d(2, 16, 3) # 2 通道立體聲16 個大小為 3 的 kernel conv.weight.size() # 輸出: torch.Size([16, 2, 3]) conv.bias.size() # 輸出: torch.Size([16]) x torch.rand(1, 2, 64) # batch 為 12 通道64 個采樣點 conv(x).size() # 輸出: torch.Size([1, 16, 62]) conv nn.Conv1d(2, 16, 5) # 2 通道16 個大小為 5 的 kernel conv(x).size() # 輸出: torch.Size([1, 16, 60])2D 卷積示例輸入為 1 個樣本、20 個通道例如高光譜圖像高 64、寬 128。2D 卷積輸入 20 通道、16 個大小為 $3\times5$ 的 kernel。卷積后輸出為 1 個樣本、16 個通道高 $6264-31$寬 $124128-51$。執(zhí)行 2D 卷積所需存儲的 kernel 張量是4 維的。x torch.rand(1, 20, 64, 128) # 1 個樣本20 通道高 64寬 128 conv nn.Conv2d(20, 16, (3, 5)) # 20 通道16 個 kernelkernel 大小為 3 x 5 conv.weight.size() # 輸出: torch.Size([16, 20, 3, 5]) conv(x).size() # 輸出: torch.Size([1, 16, 62, 124])若想保持輸入輸出維度一致可以加 padding。延續(xù)上面代碼設(shè)置stride1、padding(1, 2)即在 $y$ 方向填充 1頂部、底部各 1在 $x$ 方向填充 2。此時輸出與輸入尺寸相同# 20 通道16 個大小為 3 x 5 的 kernelstride 為 1padding 為 (1, 2) conv nn.Conv2d(20, 16, (3, 5), 1, (1, 2)) conv(x).size() # 輸出: torch.Size([1, 16, 64, 128])3.3 自動梯度Autograd是如何工作的本節(jié)讓 torch 追蹤張量上的所有計算從而計算偏導(dǎo)數(shù)創(chuàng)建帶梯度累積能力的 $2\times2$ 張量 $\boldsymbol{x}$對 $\boldsymbol{x}$ 的所有元素減 2 得到 $\boldsymbol{y}$。打印y.grad_fn會得到SubBackward0 object ...說明 $y$ 由減法模塊$\boldsymbol{x}-2$生成也可用y.grad_fn.next_functions[0][0].variable反推原始張量繼續(xù)運算$\boldsymbol{z} 3\boldsymbol{y}^2$計算 $\boldsymbol{z}$ 的均值。反向傳播用于計算梯度。在本例中反向傳播過程可看作計算 $\frac{d\boldsymbol{a}}{d\boldsymbol{x}}$。手工驗證 $\frac{d\boldsymbol{a}}{d\boldsymbol{x}}$ 后可以發(fā)現(xiàn)執(zhí)行a.backward()得到的x.grad與我們手算結(jié)果一致。手算過程如下$$ \begin{aligned} a \frac{1}{4} (z_1 z_2 z_3 z_4) \ z_i 3y_i^2 3(x_i-2)^2 \ \frac{da}{dx_i} \frac{1}{4}\times3\times2(x_i-2) \frac{3}{2}x_i-3 \ x \begin{pmatrix} 12\34\end{pmatrix} \ \left(\frac{da}{dx_i}\right)^\top \begin{pmatrix} 1.5-33-3\[2mm]4.5-36-3\end{pmatrix}\begin{pmatrix} -1.50\[2mm]1.53\end{pmatrix} \end{aligned} $$在 PyTorch 中使用偏導(dǎo)時得到的梯度與原始數(shù)據(jù)形狀相同但從嚴(yán)格的 Jacobian 角度看正確形式應(yīng)是轉(zhuǎn)置。從基礎(chǔ)到更瘋狂循環(huán)中的梯度設(shè) $x$ 為 $1\times3$ 向量令 $y$ 為 $x$ 的兩倍并不斷把 $y$ 翻倍直到其范數(shù)小于 1000。由于 $x$ 是隨機(jī)的無法直接預(yù)知循環(huán)終止的迭代次數(shù)x torch.randn(3, requires_gradTrue) y x * 2 i 0 while y.data.norm() 1000: y y * 2 i 1但借助梯度可以輕易推斷gradients torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) tensor([1.0240e02, 1.0240e03, 1.0240e-01]) print(i) 9requires_grad 與 no_grad 的邊界用requires_gradTrue標(biāo)記希望追蹤梯度累積。若在 $x$ 或 $w$ 的聲明中省略requires_gradTrue再對 $z$ 調(diào)用backward()將因缺少梯度累積而報運行時錯誤# x 與 w 都允許梯度累積 x torch.arange(1., n 1, requires_gradTrue) w torch.ones(n, requires_gradTrue) z w x z.backward() print(x.grad, w.grad, sep\n)反向地可用with torch.no_grad()關(guān)閉梯度累積x torch.arange(1., n 1) w torch.ones(n, requires_gradTrue) # 其中的所有 torch 張量都不會累積梯度 with torch.no_grad(): z w x try: z.backward() # PyTorch 會在此拋錯因為 z 沒有梯度累積 except RuntimeError as e: print(RuntimeError!!! :[) print(e)3.4 自定義梯度Custom Gradients除了基礎(chǔ)數(shù)值運算我們還可以生成自定義模塊/函數(shù)并將其插入神經(jīng)網(wǎng)絡(luò)計算圖。配套 Jupyter Notebook 位于倉庫 extra/b-custom_grads.ipynb。做法是繼承torch.autograd.Function并重寫forward()與backward()。例如訓(xùn)練網(wǎng)絡(luò)時需要前向傳播、并知道輸入對輸出的偏導(dǎo)數(shù)才能把該模塊用在代碼的任何位置只要掌握了輸入對輸出的偏導(dǎo)數(shù)就可以通過反向傳播鏈?zhǔn)椒▌t把它插入運算鏈的任意位置。Notebook 中有三個自定義模塊示例add、split與max。例如自定義加法模塊# 自定義加法模塊 class MyAdd(torch.autograd.Function): staticmethod def forward(ctx, x1, x2): # ctx 是一個上下文可以在其中保存 # backward 所需的中間計算。 ctx.save_for_backward(x1, x2) return x1 x2 staticmethod def backward(ctx, grad_output): x1, x2 ctx.saved_tensors grad_x1 grad_output * torch.ones_like(x1) grad_x2 grad_output * torch.ones_like(x2) # 需要按 forward 輸入順序返回梯度不含 ctx return grad_x1, grad_x2兩個輸入相加得到輸出前向按上式重寫反向傳播時梯度會復(fù)制到兩側(cè)所以 backward 用復(fù)制實現(xiàn)。對于split若多個分支來自同一張量反向傳播時應(yīng)當(dāng)把這些梯度相加/求和對于argmax它選出最大值的索引因此最大值索引處梯度為 1、其余為 0。需要牢記不同自定義模塊要各自重寫自己的 forward 與 backward 梯度邏輯。四、在倉庫中繼續(xù)深入配套代碼與資源本倉庫為 NYU-DLSP20 課程的配套開源實現(xiàn)圍繞第五周主題提供了大量可直接運行的資源優(yōu)化器可視化實驗extra/utils/optim.py 定義了一個繼承torch.optim.Optimizer的Optim基類其中step()遍歷param_groups并在每個參數(shù)上調(diào)用my_step()子類只需實現(xiàn)my_step即可定制更新規(guī)則。文件底部還包含一個病態(tài)二次目標(biāo) $f(x,y)\frac{1}{2}xy^\top A xy b^\top xy$$A\mathrm{diag}(1,5)$條件數(shù)高達(dá) 5的等高線圖繪制函數(shù)output(opt, nsteps, noise, fname)可用于直觀對比不同優(yōu)化器在病態(tài)問題上的收斂軌跡并支持通過noise參數(shù)模擬隨機(jī)梯度噪聲詳見extra/optimization.ipynb。優(yōu)化實驗 Notebookextra/optimization.ipynb 基于上述工具演示 GD/SGD/Momentum 等的收斂行為。自定義梯度 Notebookextra/b-custom_grads.ipynb 完整實現(xiàn)add、split、max等自定義 autograd 模塊對應(yīng)上文 3.4 節(jié)。英文原版筆記docs/en/week05/05-1.mdOptimisation Techniques I、docs/en/week05/05-2.mdOptimisation Techniques II、docs/en/week05/05-3.mdConvolutions 與自動微分中文讀者可對照閱讀 docs/pt/week05/05-1.md、docs/pt/week05/05-2.md、docs/pt/week05/05-3.md。本講幻燈slides/01 - Spiral classification.pdf、slides/04 - RNN.pdf 之外倉庫根目錄的 04-spiral_classification.ipynb、05-regression.ipynb、06-convnet.ipynb、07-listening_to_kernels.ipynb 等 Notebook 均會實際用到本章的優(yōu)化器與卷積知識。小結(jié)第五周的內(nèi)容構(gòu)成了深度學(xué)習(xí)優(yōu)化與卷積原理的完整閉環(huán)GD → SGD → Momentum → RMSprop/ADAM的進(jìn)化脈絡(luò)清晰呈現(xiàn)了如何讓更新更穩(wěn)、更快、更自適應(yīng)歸一化層從結(jié)構(gòu)上改善優(yōu)化與泛化加速 MRI案例則展示了用深度網(wǎng)絡(luò)一步替代逐時間步優(yōu)化的工程范式最后的1D/2D 卷積手推與 PyTorch 尺寸驗證、autograd 與自定義梯度把理論落到可復(fù)現(xiàn)的代碼上。若要在實際項目中應(yīng)用可遵循課程給出的經(jīng)驗法則默認(rèn)使用帶動量 SGD$\beta0.9/0.99$或 ADAM歸一化層優(yōu)先考慮 Group Norm分組 32卷積輸出尺寸按 $n-k1$加 padding 后相應(yīng)調(diào)整快速心算校驗。贊分享示例工程【免費下載鏈接】NYU-DLSP20NYU Deep Learning Spring 2020項目地址https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning點擊查看免費下載相關(guān)推薦5 分鐘讓普通鼠標(biāo)在 macOS 上比觸控板好用Mac Mouse Fix 上手指南5 分鐘讓普通鼠標(biāo)在 macOS 上比觸控板好用Mac Mouse Fix 上手指南 第一次按下側(cè)鍵、光標(biāo)毫無反應(yīng)的那一刻我就知道這只十幾塊的鼠標(biāo)在 mac示例工程NYU-DLSP20 第五周精讀梯度下降、Momentum 與自適應(yīng)優(yōu)化、歸一化層以及卷積與自動微分實戰(zhàn)NYU DLSP20 第五周精讀梯度下降、Momentum 與自適應(yīng)優(yōu)化、歸一化層以及卷積與自動微分實戰(zhàn) 本文基于開源課程倉庫 pytorch Deep L示例工程NYU-DLSP20 第 5 周深度筆記梯度下降、SGD 與動量、自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動微分NYU DLSP20 第 5 周深度筆記梯度下降、SGD 與動量、自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動微分 本文是 NYU Deep Learn示例工程上一篇Bokeh 自定義 TickFormatter 實戰(zhàn)為坐標(biāo)軸實現(xiàn)“偏移量刻度”顯示下一篇RSS-Bridge 主機(jī)部署指南堅持不用私有 API的設(shè)計哲學(xué)與實例配置實戰(zhàn)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考