反向傳播算法一、計算圖二、一直是后面導數(shù)乘以當前自變量系數(shù)得出當前自變量的導數(shù)?*(我個人疑問)三、鏈式法則(反向傳播的精髓一定搞明白不然沒法向下繼續(xù)學習)四、反向傳播加法節(jié)點的反向傳播乘法節(jié)點的反向傳播(明顯看出來受到相乘系數(shù)就是偏導)反向傳播Backward Propagation 或 Back PropagationBP 算法指的是計算神經網(wǎng)絡參數(shù)梯度的方法。簡言之該方法根據(jù)微積分中的鏈式法則按相反的順序從輸出層到輸入層遍歷網(wǎng)絡。該算法存儲了計算某些參數(shù)梯度時所需的任何中間變量。復合函數(shù)的鏈式求導法則一、計算圖計算圖將計算過程用圖表示出來。這里說的圖是數(shù)據(jù)結構中的圖通過多個節(jié)點和邊表示連接節(jié)點的直線稱為邊。如上就是 100 × 2 150 × 3 650 的計算圖表示。計算圖的基本計算原則就是從輸入出發(fā)、按照箭頭方向從左到右依次進行計算最終得到輸出結果。這個過程其實就是 前向傳播forward。計算圖的特點是可以通過傳遞“局部計算”獲得最終結果。即只需根據(jù)與自己相關的信息輸出接下來的結果。無論全局的計算有多么復雜各個節(jié)點所要做的就是進行局部計算并傳遞計算結果最終得出全局的復雜計算的結果如果增加更多的計算環(huán)節(jié)比如再乘以一個“零售加價系數(shù)”計算圖如下所示如果我們進一步考慮當衣服的價格上漲輸入變化時會多大程度上影響最后要支付的金額輸出結果將輸入的衣服價格記為( x (x(x)輸出的支付金額記為( L (L(L)這其實就是要求導數(shù)值( ? L ? x (\frac{\partial L}{\partial x}(?x?L?)。在計算圖上我們可以利用反向從右到左的傳遞來方便地計算導數(shù)。這個過程就可以叫做反向傳播backward。這里衣服加1收到和他相乘個數(shù)影響就變成2如果再來一個相乘個數(shù)x那就是 2x這里最后零售價加價系數(shù)也是相乘1.1所以變成2.2x 這就是衣服加1最終總價影響變得是衣服單價他最終影響收到相乘的影響從而得出衣服單價對總價的導數(shù)如果衣服件數(shù)加1他的導數(shù)是110一定根據(jù)這簡單舉例明白這些局部偏導:這里每次自變量變化對應局部導數(shù)就是和自變量變化 相乘的那個數(shù)加法當前局部導數(shù)就是1沒變化方式一順著你的思路計算圖反向傳播求導正向傳播先看數(shù)值變化如果衣服件數(shù)原來是 2現(xiàn)在加 1 變成 3。衣服的總價從 (100 \times 2 200) 變成了 (100 \times 3 300)也就是增加了 100。最終支付金額增加了 (100 \times 1.1零售系數(shù) 110)。反向傳播求導數(shù)即圖中的紅色箭頭看“衣服件數(shù)”到“乘法節(jié)點”這條邊局部導數(shù)是衣服單價也就是100。看“加法節(jié)點”的右側加法直接傳遞導數(shù)依然是100。看“乘法節(jié)點乘以1.1”這條邊局部導數(shù)是零售系數(shù)1.1。最后把路徑上的局部導數(shù)相乘(100 \times 1.1 \mathbf{110})。所以衣服件數(shù)對最終總價的導數(shù)是 110。方式二用純數(shù)學公式推導最嚴謹我們把整個過程寫成一個總價公式設 (Y) 為最終支付金額(x) 為衣服件數(shù)。(Y (衣服單價 \times x 褲子單價 \times 褲子件數(shù)) \times 零售系數(shù))代入圖中的數(shù)字(Y (100 \times x 150 \times 3) \times 1.1)(Y 110x 495)現(xiàn)在我們對 (x)衣服件數(shù)求導(\frac{\partial Y}{\partial x} 110)公式求導的結果也是 110。二、一直是后面導數(shù)乘以當前自變量系數(shù)得出當前自變量的導數(shù)?*(我個人疑問)在計算圖里這被稱為“上游傳來的導數(shù)后面的導數(shù)”乘以“當前節(jié)點的局部導數(shù)也就是你說的當前自變量系數(shù)”。場景一單純的乘法節(jié)點適用我疑問的規(guī)律假設函數(shù)是( y 3 x (y 3x(y3x)系數(shù)是 3。如果( x (x(x) 變化一點點( y (y(y) 的變化量就是( x (x(x) 變化量的 3 倍。所以( ? y ? x 3 (\frac{\partial y}{\partial x} 3(?x?y?3)。如果這個乘法節(jié)點前面還有更復雜的網(wǎng)絡后面?zhèn)骰貋淼膶?shù)是( L ′ (L(L′)上游導數(shù)。那么( x (x(x) 的導數(shù)就是( L ′ × 3 (L \times 3(L′×3)。這就是你說的“后面導數(shù) x 當前系數(shù)”。場景二加法節(jié)點你的規(guī)律的補充假設函數(shù)是( y x z (y x z(yxz)加法節(jié)點。如果( x (x(x) 變化一點點( y (y(y) 的變化量就是( x (x(x) 的變化量不會放大也不會縮小。所以加法節(jié)點的局部導數(shù)系數(shù)永遠是 1。如果后面?zhèn)骰貋淼膶?shù)是( L ′ (L(L′)上游導數(shù)。那么( x (x(x) 的導數(shù)就是( L ′ × 1 L ′ (L \times 1 L(L′×1L′)。這也印證了你說的規(guī)律乘以當前系數(shù)加法節(jié)點系數(shù)是1相當于沒變。三、鏈式法則(反向傳播的精髓一定搞明白不然沒法向下繼續(xù)學習)反向傳播將局部導數(shù)向反方向傳遞傳遞的原理基于鏈式法則。反向傳播時將信號乘以節(jié)點的局部導數(shù)然后傳遞給下一個節(jié)點。仔細想下面這鏈式法則,很重要仔細想下面這鏈式法則,很重要仔細想下面這鏈式法則,很重要L 代表的就是最后整體計算的結果通常在神經網(wǎng)絡中L 代表 Loss即最終的損失函數(shù)值在你之前看的價格計算圖里L 就是最終的支付總金額舉例:對于復合函數(shù)( z ( x y ) 2 (z (x y)^2(z(xy)2)令( u x y (u x y(uxy)則? z ? x ? z ? u ? u ? x 2 u × 1 2 ( x y ) \frac{\partial z}{\partial x} \frac{\partial z}{\partial u} \frac{\partial u}{\partial x} 2u \times 1 2(x y)?x?z??u?z??x?u?2u×12(xy)四、反向傳播利用計算圖的反向傳播可以很容易地計算出輸出關于輸入的偏導數(shù)。加法節(jié)點的反向傳播對于( z x y (z x y(zxy)( ? z ? x 1 (\frac{\partial z}{\partial x} 1(?x?z?1)( ? z ? y 1 (\frac{\partial z}{\partial y} 1(?y?z?1)。因此加法的反向傳播會將上游傳來的值原樣向下游傳遞。乘法節(jié)點的反向傳播(明顯看出來受到相乘系數(shù)就是偏導)對于( z x y (z xy(zxy)( ? z ? x y (\frac{\partial z}{\partial x} y(?x?z?y)( ? z ? y x (\frac{\partial z}{\partial y} x(?y?z?x)。因此乘法的反向傳播會將上游傳來的值乘以輸入的翻轉向下游傳遞。這里在前向傳播的過程就要記住得到的x是多少y是多少,并保存。因為這寫值在反向傳播的時候且是乘法節(jié)點時候會影響當前局部導數(shù)。所以在反向傳播的時候一定要先執(zhí)行一次前向傳播