關(guān)于RNN、LSTM和BiLSTM網(wǎng)上教程不少但大多要么偏數(shù)學(xué)推導(dǎo)讓人望而生畏要么只給個(gè)Keras demo跑完就完事原理和實(shí)操之間始終隔著一層窗戶紙。我最初學(xué)這部分時(shí)也繞了不少彎路回頭再看核心其實(shí)就是三件事明白RNN為什么處理不了長序列、理解LSTM的門控機(jī)制到底在解決什么問題、搞清楚BiLSTM的雙向拼接在信息利用上有什么本質(zhì)不同。這篇文章把我自己的學(xué)習(xí)筆記整理了一遍從原理推導(dǎo)到代碼實(shí)現(xiàn)再到工程選型盡量把每個(gè)為什么都說透適合正在啃序列模型、準(zhǔn)備做文本分類或者剛接觸到詞向量相關(guān)項(xiàng)目的讀者。1. 從全連接網(wǎng)絡(luò)到循環(huán)結(jié)構(gòu)為什么序列數(shù)據(jù)需要一套新架構(gòu)1.1 序列數(shù)據(jù)的基本特征與建模難點(diǎn)日常吃飯、購物、聊天其實(shí)都帶著時(shí)間順序。一段語音、一句話、一段股價(jià)走勢甚至傳感器采集的連續(xù)信號共同點(diǎn)是樣本本身有先后順序后面出現(xiàn)的內(nèi)容和前面出現(xiàn)的內(nèi)容有依賴關(guān)系。普通的全連接網(wǎng)絡(luò)在處理這類數(shù)據(jù)時(shí)有個(gè)天然缺陷——它把每個(gè)輸入當(dāng)成了獨(dú)立的點(diǎn)上一時(shí)刻和下一時(shí)刻之間沒有任何信息傳遞的通道。舉個(gè)例子一句話里我喜歡吃蘋果和蘋果我喜歡吃用詞相同但語義重心完全不同順序本身就是信息。全連接網(wǎng)絡(luò)面對這種倒裝結(jié)構(gòu)如果只是把詞向量拼在一起丟進(jìn)網(wǎng)絡(luò)模型根本不知道哪個(gè)詞先出現(xiàn)、哪個(gè)詞后出現(xiàn)更別說捕捉因?yàn)榍懊娉霈F(xiàn)了否定詞所以后面整個(gè)句子的情感要反轉(zhuǎn)這種長距離依賴了。序列數(shù)據(jù)建模的核心矛盾就在這里如何在處理當(dāng)前時(shí)間步的時(shí)候同時(shí)攜帶并更新對過去內(nèi)容的記憶。1.2 RNN的核心思想?yún)?shù)共享與隱狀態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)解決這個(gè)問題的思路非常樸素在網(wǎng)絡(luò)里加一條記憶傳送帶每個(gè)時(shí)間步在接收當(dāng)前輸入的同時(shí)也接收上一個(gè)時(shí)間步傳來的隱狀態(tài)兩者一起決定當(dāng)前的輸出和新隱狀態(tài)。用公式表示就是 h_t f(W_h * h_{t-1} W_x * x_t b)f是激活函數(shù)常見用tanh。這里最關(guān)鍵的設(shè)計(jì)是參數(shù)共享無論處理第幾個(gè)時(shí)間步W_h和W_x是同一套權(quán)重。這個(gè)思想很像人閱讀時(shí)的狀態(tài)——你讀每個(gè)詞時(shí)用的語言理解能力是同一套但每讀完一個(gè)詞腦子里對這句話的理解隱狀態(tài)都在更新。正因?yàn)閰?shù)共享RNN可以處理變長輸入這也是它能泛化到任意長度序列的根本原因。我當(dāng)時(shí)畫了一張簡單的展開圖來理解把RNN按時(shí)間步展開每個(gè)時(shí)間步的網(wǎng)絡(luò)結(jié)構(gòu)完全一樣只是輸入和隱狀態(tài)不同。這種展開視角對后面理解BPTT算法特別有幫助梯度回傳就是沿著這條展開鏈一步步往前傳的而問題恰恰就出在這條鏈太長上面。2. 梯度消失與梯度爆炸RNN訓(xùn)練困難的真正根源2.1 BPTT算法梯度如何沿著時(shí)間鏈傳遞RNN的訓(xùn)練算法叫BPTTBackpropagation Through Time本質(zhì)就是把網(wǎng)絡(luò)按時(shí)間步展開成深層網(wǎng)絡(luò)然后做反向傳播。展開后的深度等于序列長度一個(gè)50個(gè)詞的句子展開后就是一個(gè)50層的網(wǎng)絡(luò)。用三層全連接做個(gè)類比假設(shè)一個(gè)網(wǎng)絡(luò)的層間權(quán)重是2兩層間的梯度會放大2倍如果是0.5梯度就縮小一半。RNN沿著時(shí)間鏈條傳梯度時(shí)每一步都要乘一遍共享權(quán)重矩陣W_h。連續(xù)乘50次如果W_h的譜半徑小于1梯度指數(shù)級縮小前面時(shí)間步的參數(shù)幾乎得不到有效更新如果譜半徑大于1梯度又可能指數(shù)級膨脹訓(xùn)練直接發(fā)散。一句話概括RNN離輸入越近的時(shí)間步越學(xué)不到東西。2.2 梯度消失如何摧毀長程記憶梯度消失最直觀的后果是網(wǎng)絡(luò)記憶力非常短。它能記住幾秒前的內(nèi)容但更早的信息幾乎被遺忘了。在一個(gè)情感分類任務(wù)里如果開心和難過之間隔著二十幾個(gè)詞普通RNN學(xué)到的是只依賴最后幾個(gè)詞做判斷前面的關(guān)鍵信息早就被梯度的指數(shù)衰減給抹平了。這就是常說的長期依賴問題——RNN的結(jié)構(gòu)決定了它天然偏科短期記憶還行長期記憶約等于沒有。2.3 工程上的補(bǔ)救措施梯度裁剪與參數(shù)初始化對于梯度爆炸工程上有個(gè)簡單粗暴的招——梯度裁剪計(jì)算完梯度后如果梯度的范數(shù)超過某個(gè)閾值就整體按比例縮放回去。這就像安全帶平時(shí)不覺得有用一旦梯度異常膨脹它能防止訓(xùn)練徹底失控。我通常在PyTorch里設(shè)定max_grad_norm為1.0到5.0之間很多時(shí)候可以避免loss變成NaN。梯度消失就麻煩不少。最初的方法包括換激活函數(shù)比如用ReLU替代tanh以減少梯度衰減、精心的權(quán)重初始化比如將W_h初始化為正交矩陣或恒等矩陣附近、加殘差連接。這些方法有些效果但治標(biāo)不治本RNN仍然難以穩(wěn)定學(xué)習(xí)十步以上的依賴。真正帶來結(jié)構(gòu)性質(zhì)變的是LSTM。3. LSTM的門控機(jī)制給記憶裝上一套可學(xué)習(xí)的讀寫控制系統(tǒng)3.1 細(xì)胞狀態(tài)一條跨越時(shí)間步的高速通道LSTM的核心構(gòu)件是細(xì)胞狀態(tài)C_t它像一條貫穿整個(gè)序列的高速公路。這條高速路上信息的流動受三個(gè)門控制遺忘門、輸入門、輸出門。和RNN的隱狀態(tài)在每個(gè)時(shí)間步都被完全覆蓋不同細(xì)胞狀態(tài)允許信息在時(shí)間步間以接近線性的方式傳遞——這正是緩解梯度消失的關(guān)鍵結(jié)構(gòu)設(shè)計(jì)。為什么接近線性傳遞能緩解梯度消失反傳梯度時(shí)如果每一步都能有一個(gè)近似于乘以1的通路梯度就不會被指數(shù)級壓縮。LSTM的細(xì)胞狀態(tài)更新公式里包含了加性操作C_t f_t ⊙ C_{t-1} i_t ⊙ ?_t誤差信號可以通過這條加性路徑跨過很遠(yuǎn)的時(shí)間步傳回去不會像RNN那樣每一步都被tanh的導(dǎo)數(shù)最大值只有1反復(fù)壓縮。3.2 三個(gè)門的職責(zé)分工遺忘門決定保留多少舊記憶 f_t σ(W_f * [h_{t-1}, x_t] b_f)輸入門決定寫入多少候選新內(nèi)容 i_t σ(W_i * [h_{t-1}, x_t] b_i)候選細(xì)胞狀態(tài)則用tanh生成 ?_t tanh(W_c * [h_{t-1}, x_t] b_c)輸出門決定當(dāng)前隱狀態(tài)展示哪些信息 o_t σ(W_o * [h_{t-1}, x_t] b_o)h_t o_t ⊙ tanh(C_t)用生活化的比喻遺忘門像是你讀書時(shí)決定哪些舊筆記可以扔掉輸入門決定新看到的句子哪些值得寫進(jìn)筆記輸出門決定寫完筆記后以什么表情展示給別人看。這個(gè)過程不是人工設(shè)定規(guī)則而是通過訓(xùn)練數(shù)據(jù)自動學(xué)出來的——模型自己找到哪些歷史信息該記、哪些該忘的邊界。很多人在初學(xué)時(shí)容易忽略一點(diǎn)門的輸出是0到1之間的連續(xù)值而不是非0即1的開關(guān)。這意味著記憶的保留和寫入是軟控制的——大部分時(shí)候遺忘門輸出接近0.9或0.7并不會完全清空歷史信息。這種平滑的軟控制讓整個(gè)網(wǎng)絡(luò)保持可微梯度才能正常反向傳播。3.3 LSTM變體與簡化思路LSTM在實(shí)踐中還有幾個(gè)常見變體。peephole連接讓門控能看到細(xì)胞狀態(tài)本身相當(dāng)于決策時(shí)不只參考當(dāng)前輸入和隱狀態(tài)還能看自己記了些什么GRU則把遺忘門和輸入門合并成更新門細(xì)胞狀態(tài)和隱狀態(tài)合并成一個(gè)狀態(tài)參數(shù)更少在不少任務(wù)上和LSTM效果持平訓(xùn)練速度還更快。如果項(xiàng)目對推理延遲敏感GRU通常是個(gè)值得優(yōu)先嘗試的選項(xiàng)。不過需要潑一盆冷水LSTM并沒有徹底解決梯度消失。它的加性通路讓梯度傳得遠(yuǎn)但如果遺忘門長期輸出接近0舊信息依然會被切斷。實(shí)踐中如果任務(wù)需要建模幾百甚至上千步的依賴LSTM仍然會吃力這時(shí)候就要考慮Transformer那套注意力機(jī)制了。4. BiLSTM的雙向信息融合序列編碼為什么需要兩個(gè)方向的視角4.1 單向LSTM的信息盲區(qū)只能看見左邊看不見右邊單向LSTM有個(gè)先天特點(diǎn)它從左往右掃描序列更新到第t個(gè)詞時(shí)隱狀態(tài)里只包含了1到t的信息對于第t個(gè)詞右邊的詞它是完全看不見的。這個(gè)特點(diǎn)在某些場景下不是問題——比如語言模型預(yù)測下一個(gè)詞時(shí)本來就不應(yīng)該依賴未來信息但在很多自然語言理解任務(wù)里未來信息恰恰是理解當(dāng)前詞的關(guān)鍵。舉個(gè)典型例子判斷他打了一個(gè)人和他打了一個(gè)電話中的打含義完全不同。如果不看右邊的人或電話單靠左邊的他和打模型無法區(qū)分。人在閱讀時(shí)其實(shí)是整句掃描的不會只看某個(gè)詞左邊的內(nèi)容。單向LSTM在這里有明顯的結(jié)構(gòu)劣勢。4.2 前向與后向的兩次掃描BiLSTM的思路很簡單跑兩個(gè)獨(dú)立的LSTM一個(gè)從左往右一個(gè)從右往左。前向LSTM的隱狀態(tài)記為→h_t它編碼了左邊上下文后向LSTM的隱狀態(tài)記為←h_t它編碼了右邊上下文。每個(gè)位置最終的輸出是把兩個(gè)方向的結(jié)果拼接或相加。拼接是最常見的做法 h_t [→h_t; ←h_t]維度變?yōu)樵瓉淼膬杀?。如果前向和后向都是hidden_dim128拼接后每步輸出維度就是256。某些輕量實(shí)現(xiàn)也會用相加但信息利用效率理論上不如拼接——畢竟兩個(gè)方向可能攜帶互補(bǔ)信息拼接保留了完整特征讓后續(xù)層自己決定如何組合。這里有個(gè)容易踩的坑后向LSTM并不是倒著預(yù)測它不會輸出未來詞是什么而是在完整已知序列的前提下從右向左編碼每個(gè)詞在右邊上下文中扮演的角色。這兩個(gè)方向在處理整個(gè)序列時(shí)同時(shí)工作結(jié)果對齊到每個(gè)時(shí)間步。4.3 雙向編碼在多層堆疊時(shí)的注意點(diǎn)真正把BiLSTM做到能打的工程里通常會堆疊兩層甚至三層。第一層BiLSTM輸出的隱狀態(tài)序列作為第二層BiLSTM的輸入這樣可以逐層抽象出更復(fù)雜的語言特征。但堆疊時(shí)要注意時(shí)序?qū)R——每一層的每個(gè)時(shí)間步對應(yīng)同一個(gè)詞位置padding部分的計(jì)算和mask都必須妥善處理否則噪聲會順著層結(jié)構(gòu)向上傳播。我見過不少人把雙向的輸出維度算錯導(dǎo)致全連接層輸入維度對不上。這里給個(gè)經(jīng)驗(yàn)公式BiLSTM每個(gè)時(shí)間步輸出的特征維度 2 × hidden_size。如果后面接全局池化序列長度維會被壓縮掉最終入全連接層的維度還是2 × hidden_size這個(gè)一定要在模型代碼里print出來核對一遍別只靠心算。5. 從零搭建一個(gè)BiLSTM文本分類模型實(shí)操中的關(guān)鍵步驟與坑5.1 數(shù)據(jù)預(yù)處理填充、mask與詞表的正確姿勢實(shí)操環(huán)節(jié)我用一個(gè)模擬的中文情感分類Demo來演示。原始數(shù)據(jù)是一批已分詞的句子每條標(biāo)注正負(fù)情感。預(yù)處理時(shí)首先要構(gòu)建詞表給每個(gè)詞分配一個(gè)索引然后設(shè)定最大序列長度比如max_len100。短的句子在末尾補(bǔ)0長的句子截?cái)?。填充方向有個(gè)細(xì)節(jié)后向LSTM從右往左掃描如果padding都加在右邊后向LSTM會在padding上浪費(fèi)不少計(jì)算量而且可能把無效信息編碼進(jìn)狀態(tài)。大多數(shù)框架默認(rèn)左填充在序列開頭pad這樣左側(cè)的填充只會影響前向LSTM的前幾步后向LSTM實(shí)際是從真實(shí)結(jié)尾開始處理同時(shí)要構(gòu)造attention mask或padding mask讓池化和損失計(jì)算時(shí)忽略填充位。我在代碼里習(xí)慣先定義一個(gè)mask矩陣形狀和輸出序列一致填充位置置0有效位置置1后面池化時(shí)用mask乘一下避免padding吞掉真實(shí)語義。5.2 模型結(jié)構(gòu)embedding層、雙向LSTM層與池化模型結(jié)構(gòu)大致是這樣Embedding層詞表大小×embedding_dim把每個(gè)詞映射成稠密向量。BiLSTM層hidden_size設(shè)為128兩個(gè)方向獨(dú)立計(jì)算輸出拼接成256維。池化層對每個(gè)時(shí)間步的輸出做mean-pooling或max-pooling得到一個(gè)256維的句向量。mean-pooling保留整體語義傾向max-pooling更能捕捉最強(qiáng)烈信號在情感分類里我更常用max-pooling效果通常略好。全連接層激活256維映射到2類過softmax得到概率分布。這里有個(gè)我踩過很多次的坑整個(gè)項(xiàng)目里最容易出問題的地方不是模型結(jié)構(gòu)而是詞表索引和padding索引的沖突。如果詞表里0被占用成真實(shí)詞padding又用0模型會把pad當(dāng)成一個(gè)真實(shí)詞來學(xué)序列長度不同時(shí)行為還不一致效果經(jīng)常莫名其妙地差。我現(xiàn)在的習(xí)慣是詞表索引從1開始0專門留給padding或者建詞表時(shí)把pad_token顯式放進(jìn)去并加入訓(xùn)練。這個(gè)小細(xì)節(jié)一旦處理好模型穩(wěn)定性會上一個(gè)臺階。5.3 訓(xùn)練策略學(xué)習(xí)率、梯度裁剪與early stopping的取舍訓(xùn)練時(shí)我一般先用Adam初始學(xué)習(xí)率1e-3。BiLSTM相比Transformer沒那么嬌氣但對學(xué)習(xí)率仍然敏感。訓(xùn)練日志要同時(shí)打印loss和accuracy我習(xí)慣每兩個(gè)epoch后評估一次驗(yàn)證集如果loss連續(xù)兩三個(gè)epoch不下降就把學(xué)習(xí)率乘0.5。梯度裁剪對RNN系模型是標(biāo)配max_grad_norm設(shè)在1.0左右比較穩(wěn)妥。早停策略也要配合我通常設(shè)置patience5驗(yàn)證集指標(biāo)連續(xù)5個(gè)epoch沒有提升就停止。這兩個(gè)技巧組合使用能避免很多訓(xùn)練到一半loss突然起飛或過擬合到訓(xùn)練集但驗(yàn)證集紋絲不動的情況。另外要提醒一句BiLSTM不適合在很短的序列上硬上。如果序列長度平均不到10雙向結(jié)構(gòu)帶來的收益非常有限反而增加過擬合風(fēng)險(xiǎn)此時(shí)普通LSTM甚至邏輯回歸都可能表現(xiàn)更好。判斷一個(gè)任務(wù)適不適合用BiLSTM先問自己這個(gè)任務(wù)是否同時(shí)需要左右兩側(cè)的上下文信息。如果答案是肯定的再上不遲。6. 三種模型橫向?qū)Ρ瓤赐昴憔椭廊蝿?wù)來了該選誰6.1 性能、參數(shù)與訓(xùn)練效率的直觀對照表我把RNN、LSTM、BiLSTM放在一張表里對比方便快速建立直覺模型長程依賴建模雙向上下文參數(shù)量級訓(xùn)練難度主要適用場景RNN弱不支持除非拼接兩個(gè)單向RNN小梯度問題顯著訓(xùn)練不穩(wěn)定短序列、簡單序列回歸/生成教學(xué)演示LSTM強(qiáng)不支持信息只來自左側(cè)中較穩(wěn)定需配合梯度裁剪時(shí)間序列預(yù)測、語言模型、需要單向順序建模的任務(wù)BiLSTM強(qiáng)支持中大規(guī)模約為LSTM兩倍較穩(wěn)定訓(xùn)練時(shí)間約2倍文本分類、命名實(shí)體識別、序列標(biāo)注等NLP任務(wù)還有一個(gè)容易被忽略的維度序列生成任務(wù)不能用BiLSTM因?yàn)樯蛇^程是逐步解碼的未來內(nèi)容本來就不可知。BiLSTM只能用于整個(gè)序列已知的理解類任務(wù)。這個(gè)邊界很多人一開始沒注意等到了做生成模型時(shí)才發(fā)現(xiàn)雙向結(jié)構(gòu)根本沒法直接用來生成。6.2 選型判斷依據(jù)從數(shù)據(jù)規(guī)模到任務(wù)邊界從數(shù)據(jù)規(guī)模和任務(wù)復(fù)雜度來看我的經(jīng)驗(yàn)是數(shù)據(jù)量只有幾百條時(shí)普通RNN或簡單LSTM可能比BiLSTM更合適——模型復(fù)雜度低不容易過擬合數(shù)據(jù)量達(dá)到萬級且任務(wù)需要雙向語義時(shí)BiLSTM的收益最明顯。從任務(wù)邊界來看如果是情感分類這類整句語義判斷的任務(wù)BiLSTM幾乎是默認(rèn)選擇如果是逐詞詞性標(biāo)注BiLSTM配合CRF層是經(jīng)典組合。從訓(xùn)練收斂速度來看BiLSTM因?yàn)橛袃蓚€(gè)方向訓(xùn)練時(shí)間大約是單向LSTM的兩倍。在工業(yè)界做在線推理時(shí)兩倍延遲有時(shí)候就是能不能上線的分水嶺。我實(shí)際做過對比在某個(gè)實(shí)體識別項(xiàng)目中BiLSTM比單向LSTM準(zhǔn)確率高3到5個(gè)百分點(diǎn)但推理耗時(shí)也翻了倍最終是在準(zhǔn)確率和性能之間取了平衡才定的方案。6.3 我在實(shí)際項(xiàng)目中總結(jié)的幾條經(jīng)驗(yàn)第一不要盲目堆層數(shù)。BiLSTM堆疊兩層通常已經(jīng)足夠第三層以后收益很微弱訓(xùn)練開銷卻明顯上漲。第二一定要做padding mask。我之前在某個(gè)項(xiàng)目里偷懶沒傳mask結(jié)果模型學(xué)習(xí)了大量無效位置的特征驗(yàn)證集指標(biāo)怎么也上不去排查了幾天才發(fā)現(xiàn)是這個(gè)小問題。第三詞向量的處理方式比網(wǎng)絡(luò)結(jié)構(gòu)更影響最終效果。在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練好詞向量再微調(diào)通常比隨機(jī)初始化Embedding從頭訓(xùn)練效果更穩(wěn)但如果數(shù)據(jù)規(guī)模小隨機(jī)初始化加上足夠的正則化也不至于差到哪里去。第四把BiLSTM輸出的向量可視化一下會有意想不到的發(fā)現(xiàn)。我常用t-SNE把句向量投影到二維平面同一類別的樣本會自動聚成一團(tuán)不同類別的邊界清晰。這能幫你快速判斷模型有沒有學(xué)到有效語義而不是只看accuary這一個(gè)數(shù)字。有一次我做完可視化后發(fā)現(xiàn)某個(gè)類別的樣本分成兩簇——排查后發(fā)現(xiàn)是數(shù)據(jù)標(biāo)注噪音問題這比模型本身的問題更值得先解決。寫在最后的實(shí)操心得學(xué)RNN系模型最忌諱的就是只看公式不上手。我建議你找個(gè)1000條的小型分類數(shù)據(jù)集分別用RNN、LSTM、BiLSTM跑一遍記錄loss曲線和驗(yàn)證集指標(biāo)。這個(gè)對照實(shí)驗(yàn)比看十篇教程都有用你能直觀地看到RNN的loss如何震蕩下不去LSTM如何穩(wěn)定收斂BiLSTM如何多花一倍的訓(xùn)練時(shí)間換回幾個(gè)百分點(diǎn)的準(zhǔn)確率。我自己當(dāng)年跑完這個(gè)實(shí)驗(yàn)后對這三種模型的理解才真正扎了根。一個(gè)小技巧收尾訓(xùn)練時(shí)記錄每個(gè)epoch的損失值畫一條曲線觀察它是平穩(wěn)下降還是突然跳動。如果突然跳動大概率是學(xué)習(xí)率太大或梯度裁剪閾值沒設(shè)好如果loss下降很慢考慮是不是詞表里有太多低頻詞干擾了Embedding的學(xué)習(xí)。序列模型的調(diào)試往往就是這些看似瑣碎的細(xì)節(jié)積累出來的把這些細(xì)節(jié)記錄成自己的檢查清單以后再遇到類似任務(wù)會順手很多。