1. 從標題說起為什么BERT和GPT值得反復拆解“Transformer BERT 與 GPT七”這個標題一看就是某個系列文章的第七篇。能寫到第七篇說明前面六篇已經(jīng)把Transformer的基礎架構、自注意力機制、多頭注意力的計算細節(jié)、位置編碼的來龍去脈、Encoder-Decoder的整體框架都講得差不多了。到了第七篇核心話題自然要落到BERT和GPT這兩個最具代表性的預訓練語言模型上而且大概率是要做一次系統(tǒng)性的對比和深度拆解。我接觸Transformer這套東西也有幾年了從最開始看Attention is All You Need那篇論文一頭霧水到后來自己動手復現(xiàn)、微調(diào)、部署踩過的坑不算少。這個系列能寫到第七篇說明作者是真的在認真梳理這條技術脈絡。而BERT和GPT恰恰是Transformer架構往兩個不同方向演化的典型代表——一個走的是雙向編碼的路子一個走的是自回歸生成的路子。把這兩個模型放在一起對比基本上就能把預訓練語言模型的核心設計思路摸清楚了。這篇文章適合誰看如果你已經(jīng)了解了Transformer的基本結構知道Self-Attention是怎么回事但對BERT和GPT的區(qū)別還停留在“一個用Encoder一個用Decoder”這種粗淺認知上那這篇內(nèi)容就是為你準備的。如果你正在做NLP相關的項目需要選型預訓練模型或者想自己動手微調(diào)一個模型來解決具體問題那這篇文章里的對比分析和實操建議也能幫你少走彎路。再退一步哪怕你只是對這兩個模型的工作原理感到好奇想知道它們?yōu)槭裁茨苓@么強這篇文章也會用盡量通俗的方式把核心邏輯講清楚。我寫這個系列的一貫原則是不堆公式不抄論文盡量用從業(yè)者的視角把“為什么這么設計”和“實際用起來是什么感覺”講明白。第七篇作為BERT和GPT的專題對比會從架構差異、預訓練目標、訓練數(shù)據(jù)、微調(diào)方式、實際表現(xiàn)、適用場景這幾個維度逐一展開中間穿插一些我自己在項目里積累的經(jīng)驗和踩過的坑。2. BERT和GPT的架構差異到底在哪2.1 一個用Encoder一個用Decoder但這意味著什么很多人第一次接觸BERT和GPT的時候記住的第一句話就是“BERT用的是Transformer的EncoderGPT用的是Decoder”。這話沒錯但只說到了表面。真正重要的是Encoder和Decoder在結構上的差異直接決定了這兩個模型能做什么、不能做什么。Transformer的Encoder是由多個相同的層堆疊而成的每一層里面包含一個多頭自注意力模塊和一個前饋神經(jīng)網(wǎng)絡模塊每個模塊后面都跟著殘差連接和層歸一化。關鍵在于Encoder的自注意力是雙向的——也就是說在處理某個位置的詞時它可以同時看到左邊和右邊的所有詞。這種雙向性讓Encoder能夠捕捉到完整的上下文信息非常適合做理解類的任務。Decoder的結構稍微復雜一點。它同樣由多個層堆疊而成但每一層里面有三個子模塊一個帶掩碼的多頭自注意力模塊、一個交叉注意力模塊用于關注Encoder的輸出、以及一個前饋神經(jīng)網(wǎng)絡模塊。帶掩碼的自注意力是Decoder的核心特征——它通過一個上三角矩陣把未來位置的注意力權重置為負無窮經(jīng)過Softmax之后就變成了零從而確保模型在預測第t個詞的時候只能看到前t-1個詞看不到后面的內(nèi)容。這種單向性也叫自回歸特性讓Decoder天生適合做生成任務。GPT系列用的就是Decoder結構而且是只用了Decoder沒有Encoder部分所以也沒有交叉注意力模塊。BERT用的是Encoder結構而且是只用了Encoder沒有Decoder部分。這種“各取一半”的設計思路背后其實是對不同任務需求的精準回應。2.2 雙向注意力與單向注意力的本質(zhì)區(qū)別雙向注意力和單向注意力的區(qū)別用生活化的類比來說就是BERT像是一個可以反復閱讀整篇文章的讀者讀完之后對文章的理解是全局的、完整的GPT像是一個只能從左到右逐字閱讀的讀者每讀到一個新詞只能基于前面已經(jīng)讀過的內(nèi)容來理解當前這個詞。這個區(qū)別帶來的影響是根本性的。BERT在做掩碼語言模型任務時可以同時利用被掩碼詞左邊和右邊的信息來預測這個詞所以它對上下文的理解更加充分。GPT在做自回歸語言模型任務時只能利用左邊的信息來預測下一個詞所以它更擅長的是“根據(jù)前文生成后文”這種能力。但這里有一個容易被忽略的點GPT的單向注意力并不意味著它的理解能力就一定比BERT差。實際上通過大規(guī)模預訓練GPT也學到了非常豐富的語言知識只不過這些知識是以“生成式”的方式編碼在模型參數(shù)里的。而BERT的雙向注意力也不意味著它就能直接用來做生成——因為它在預訓練階段沒有學習過“根據(jù)前文生成后文”這種模式所以直接用BERT來做文本生成效果通常不理想。2.3 模型規(guī)模與層數(shù)設計的取舍BERT-base有12層Encoder隱藏層維度768注意力頭數(shù)12總參數(shù)量約1.1億。BERT-large有24層隱藏層維度1024注意力頭數(shù)16總參數(shù)量約3.4億。GPT-2的small版本有12層Decoder隱藏層維度768注意力頭數(shù)12參數(shù)量約1.17億GPT-2的XL版本有48層隱藏層維度1600注意力頭數(shù)25參數(shù)量約15億。到了GPT-3參數(shù)量直接飆到了1750億層數(shù)96隱藏層維度12288注意力頭數(shù)96。這些數(shù)字背后反映的是一個趨勢GPT系列在模型規(guī)模上的擴張比BERT系列激進得多。BERT-large在2018年發(fā)布的時候已經(jīng)算是很大的模型了但GPT-3的規(guī)模是它的500倍以上。這種規(guī)模差異帶來的能力差異是顯著的——GPT-3展現(xiàn)出了很多BERT不具備的少樣本學習能力而BERT在同等規(guī)模下更擅長做判別式任務。從實操角度來說如果你手頭的計算資源有限BERT-base通常是一個比較穩(wěn)妥的選擇它在大多數(shù)理解類任務上的表現(xiàn)已經(jīng)足夠好了而且微調(diào)成本相對可控。如果你需要做生成類任務GPT-2的small或medium版本可以作為起點但要注意生成質(zhì)量和模型規(guī)模之間的權衡。3. 預訓練目標的差異決定了能力邊界3.1 BERT的掩碼語言模型與下一句預測BERT的預訓練用了兩個任務Masked Language ModelMLM和Next Sentence PredictionNSP。MLM的做法是隨機把輸入序列中15%的詞替換成[MASK]標記然后讓模型去預測這些被掩碼的詞。這15%里面80%替換成[MASK]10%替換成隨機詞10%保持不變。為什么要這么設計因為如果全部替換成[MASK]模型在微調(diào)階段就看不到[MASK]這個標記了會造成預訓練和微調(diào)之間的不一致。加入隨機詞和不變詞就是為了讓模型在預訓練階段也能見到正常的詞匯減少這種不一致帶來的影響。NSP任務的做法是給模型輸入兩個句子讓模型判斷第二個句子是不是第一個句子的下一句。正樣本是真實的連續(xù)句子對負樣本是從語料中隨機抽取的句子對。這個任務的目的是讓模型學會捕捉句子之間的關系對問答、自然語言推理這類需要理解句子間關系的任務有幫助。但后來的研究比如RoBERTa發(fā)現(xiàn)NSP任務其實并沒有想象中那么有用甚至可能有害。RoBERTa直接去掉了NSP任務只保留MLM并且在MLM的細節(jié)上做了優(yōu)化比如動態(tài)掩碼、更大的batch size、更多的訓練數(shù)據(jù)結果在多個基準測試上都超過了BERT。這說明預訓練任務的設計并不是越多越好關鍵是要和下游任務的需求匹配。3.2 GPT的自回歸語言模型GPT的預訓練任務就一個自回歸語言模型。給定一個詞序列讓模型預測下一個詞。這個任務看起來很簡單但它的威力在于當模型規(guī)模足夠大、訓練數(shù)據(jù)足夠多的時候模型為了做好“預測下一個詞”這件事不得不學會大量的語言知識、世界知識和推理能力。GPT的自回歸特性決定了它在生成任務上的天然優(yōu)勢。你給它一個開頭它就能順著往下寫而且寫出來的內(nèi)容在語法和語義上都是連貫的。這種能力在文本摘要、機器翻譯、對話生成、代碼生成等任務上都非常有用。但自回歸語言模型也有一個明顯的短板它是單向的只能從左到右。這意味著它在做需要雙向上下文理解的任務時天然處于劣勢。比如做閱讀理解你需要同時看問題和文章然后從文章中找答案。GPT的單向注意力讓它在處理這類任務時不如BERT高效。3.3 兩種預訓練目標的實際影響從實際項目經(jīng)驗來看BERT在分類、序列標注、抽取式問答、自然語言推理這些判別式任務上的表現(xiàn)通常更好而且微調(diào)需要的標注數(shù)據(jù)相對較少。GPT在文本生成、對話、摘要、翻譯這些生成式任務上更有優(yōu)勢但通常需要更多的數(shù)據(jù)和更大的模型才能達到理想效果。有一個常見的誤區(qū)是認為GPT什么都能做BERT只能做理解。實際上BERT也可以通過一些技巧來做生成比如用Masked Language Model的方式做完形填空式的生成或者用Seq2Seq的方式把BERT作為Encoder接一個Decoder。但這些方案的效果通常不如直接用GPT或者T5這樣的模型。反過來GPT也可以通過微調(diào)來做分類任務但效果通常不如BERT因為GPT的單向注意力在理解任務上天然吃虧。所以選型的時候關鍵是要看你的任務類型理解類任務優(yōu)先考慮BERT及其變體生成類任務優(yōu)先考慮GPT及其變體。4. 微調(diào)方式與實操要點4.1 BERT微調(diào)的典型流程BERT的微調(diào)流程相對標準化。以文本分類為例基本步驟是這樣的首先加載預訓練的BERT模型然后在BERT的輸出層上面接一個分類頭通常是一個全連接層最后用標注數(shù)據(jù)對整個模型進行微調(diào)。具體來說BERT的輸出是每個token的隱藏狀態(tài)向量。做分類任務時通常取[CLS]標記對應的隱藏狀態(tài)作為整個序列的表示然后把這個向量輸入到一個全連接層輸出類別概率。微調(diào)的時候?qū)W習率通常設置得比較小比如2e-5到5e-5之間因為預訓練模型的參數(shù)已經(jīng)比較好了太大的學習率會破壞已經(jīng)學到的知識。Batch size通常設置在16到32之間訓練輪數(shù)一般3到5輪就夠了。如果數(shù)據(jù)量比較小可以適當增加訓練輪數(shù)但要小心過擬合。我自己的經(jīng)驗是在數(shù)據(jù)量少于5000條的時候凍結BERT的前幾層往往能帶來更穩(wěn)定的效果因為底層學到的是一些通用的語言特征不需要針對特定任務做太多調(diào)整。4.2 GPT微調(diào)的典型流程GPT的微調(diào)流程和BERT類似但有一些細節(jié)上的差異。以文本生成為例你需要把輸入和輸出拼接成一個序列然后用自回歸的方式計算損失。比如做摘要任務輸入是原文輸出是摘要你可以把原文和摘要用特殊標記分隔開然后讓模型學習從原文生成摘要。GPT微調(diào)的學習率通常比BERT稍大一些因為生成任務需要模型做出更大的調(diào)整。但也不能太大否則容易導致生成結果不穩(wěn)定。我一般會從1e-5開始試如果效果不好再逐步調(diào)整。另一個需要注意的點是GPT微調(diào)時序列長度往往比BERT更長因為生成任務通常需要更長的上下文。這就對顯存提出了更高的要求。如果顯存不夠可以考慮用梯度累積來模擬更大的batch size或者用混合精度訓練來減少顯存占用。4.3 微調(diào)中的常見坑與規(guī)避方法第一個坑是學習率設置不當。太大的學習率會導致模型在微調(diào)初期就發(fā)散太小的學習率又會導致收斂太慢。我的建議是先用一個較小的學習率跑幾輪觀察loss的變化趨勢如果loss下降太慢再適當調(diào)大。第二個坑是數(shù)據(jù)預處理不一致。BERT和GPT都有自己的tokenizer微調(diào)時必須用和預訓練時相同的tokenizer否則模型看到的token分布和預訓練時不一樣效果會大打折扣。另外特殊標記如[CLS]、[SEP]、[MASK]的使用也要和預訓練時保持一致。第三個坑是過擬合。預訓練模型參數(shù)量很大在小數(shù)據(jù)集上微調(diào)很容易過擬合。常用的應對方法包括早停、權重衰減、Dropout、數(shù)據(jù)增強等。我自己的經(jīng)驗是在數(shù)據(jù)量小于10000條的時候早停是最簡單有效的方法。第四個坑是顯存不足。BERT-large和GPT-2以上的模型對顯存要求比較高。如果顯存不夠可以嘗試減小batch size、縮短序列長度、使用梯度檢查點、或者用混合精度訓練。這些方法可以在幾乎不損失效果的前提下顯著降低顯存占用。5. 實際項目中的選型建議與性能對比5.1 不同任務類型下的模型選擇在實際項目中選型的第一原則是看任務類型。如果是文本分類、情感分析、命名實體識別、抽取式問答這類判別式任務BERT及其變體如RoBERTa、ALBERT、DistilBERT通常是首選。如果是文本生成、對話系統(tǒng)、摘要生成、機器翻譯這類生成式任務GPT及其變體如GPT-2、GPT-3、以及各種開源復現(xiàn)版本更有優(yōu)勢。如果是既需要理解又需要生成的任務比如生成式問答或者對話摘要可以考慮T5、BART這類Encoder-Decoder架構的模型。它們結合了BERT的雙向編碼能力和GPT的生成能力在很多任務上表現(xiàn)都很不錯。5.2 推理速度與部署成本的權衡BERT-base在GPU上的推理速度大約是一次前向傳播幾毫秒到幾十毫秒具體取決于序列長度和硬件配置。GPT-2的推理速度因為要自回歸地一個詞一個詞生成所以會慢很多生成100個詞可能需要幾百毫秒到幾秒。如果對推理速度有要求可以考慮模型蒸餾和量化。DistilBERT是BERT的一個蒸餾版本參數(shù)量減少了40%推理速度提升了60%但效果只下降了不到3%。量化可以把模型參數(shù)從FP32降到INT8推理速度可以提升2到4倍顯存占用減少到原來的四分之一。部署成本方面BERT-base可以在單張消費級GPU上輕松部署GPT-2的small版本也可以但GPT-2的XL版本或者更大的模型就需要多卡或者更專業(yè)的硬件了。5.3 小樣本場景下的表現(xiàn)差異在小樣本場景下BERT通常比GPT更有優(yōu)勢因為BERT的微調(diào)方式更適合利用少量標注數(shù)據(jù)。你只需要幾百條標注數(shù)據(jù)就能把BERT微調(diào)到不錯的效果。GPT在小樣本場景下也有一定的能力特別是GPT-3展現(xiàn)出的少樣本學習能力但那是建立在1750億參數(shù)的基礎上的。如果你用的是GPT-2這樣規(guī)模的模型小樣本場景下的表現(xiàn)通常不如BERT。有一個折中的方案是用BERT做特征提取然后把提取的特征輸入到一個簡單的分類器如邏輯回歸或SVM里。這種方法在標注數(shù)據(jù)極少比如幾十條的時候特別有用因為BERT的參數(shù)不需要更新避免了過擬合的風險。6. 常見問題與排查技巧實錄6.1 微調(diào)后效果不升反降怎么辦這是最常見的問題之一。可能的原因有幾個學習率太大、訓練輪數(shù)太多、數(shù)據(jù)預處理有問題、或者預訓練模型和任務不匹配。排查步驟是這樣的首先檢查學習率試著降低一個數(shù)量級看看效果有沒有改善。然后檢查訓練輪數(shù)如果訓練loss在下降但驗證loss在上升說明過擬合了需要早停。接著檢查數(shù)據(jù)預處理確保tokenizer的使用和預訓練時一致特殊標記的位置正確。最后檢查預訓練模型的選擇如果你用的是中文BERT但數(shù)據(jù)是英文的效果肯定不好。6.2 生成結果重復或不通順怎么調(diào)GPT生成重復內(nèi)容是一個經(jīng)典問題。常見的原因包括解碼策略不當、模型過擬合、或者輸入提示不夠明確。解決方法有幾種一是調(diào)整解碼策略用Top-k采樣或Top-p采樣代替貪心搜索增加生成的多樣性。二是加入重復懲罰對已經(jīng)生成過的詞降低其概率。三是調(diào)整溫度參數(shù)溫度越高生成越隨機溫度越低生成越保守。四是檢查訓練數(shù)據(jù)如果訓練數(shù)據(jù)本身就有很多重復內(nèi)容模型學到的就是重復。6.3 顯存不夠用的幾種解決方案顯存不夠用是實操中最常遇到的問題。解決方案按優(yōu)先級排列第一減小batch size這是最簡單直接的。第二縮短序列長度很多任務不需要用最大序列長度。第三使用梯度累積用多個小batch模擬一個大batch。第四使用混合精度訓練FP16可以節(jié)省大約一半的顯存。第五使用梯度檢查點用計算時間換顯存空間。第六使用模型并行或數(shù)據(jù)并行把模型或數(shù)據(jù)分散到多張GPU上。6.4 預訓練模型加載失敗的排查思路加載預訓練模型失敗通常有幾種原因模型文件下載不完整、模型版本和代碼版本不匹配、緩存路徑有問題、或者網(wǎng)絡問題導致下載中斷。排查的時候首先檢查模型文件是否完整可以對比文件大小和官方提供的大小。然后檢查代碼庫的版本不同版本的代碼可能對模型文件的格式要求不一樣。接著檢查緩存路徑有時候緩存滿了或者權限不對也會導致加載失敗。最后如果是在線加載確保網(wǎng)絡連接穩(wěn)定或者考慮先把模型文件下載到本地再加載。7. 一些實操中的個人體會寫了這么多最后分享幾個我在實際項目里積累的小經(jīng)驗。第一個是關于學習率的我習慣用一個非常小的學習率比如1e-5先跑一輪看看loss能不能正常下降如果能再逐步調(diào)大。這樣雖然多花了一點時間但能避免一開始就發(fā)散的情況。第二個是關于數(shù)據(jù)預處理的我強烈建議在微調(diào)之前先把tokenizer的輸出打印出來看看。很多時候效果不好就是因為tokenizer的使用有問題比如特殊標記沒加對、序列截斷方式不對、padding策略不對。這些問題在代碼里不容易發(fā)現(xiàn)但打印出來一看就清楚了。第三個是關于模型選擇的不要盲目追求大模型。BERT-base在大多數(shù)任務上已經(jīng)足夠好了GPT-2的small版本也能生成不錯的內(nèi)容。大模型帶來的效果提升往往沒有想象中那么大但部署成本和推理時間卻會顯著增加。先用小模型快速迭代等確實遇到瓶頸了再考慮換大模型。第四個是關于評估的一定要用獨立的驗證集和測試集不要用訓練集來評估效果。我見過太多人因為用訓練集評估而高估了模型的效果上線之后才發(fā)現(xiàn)問題。另外評估指標要選對分類任務用準確率、F1、AUC生成任務用BLEU、ROUGE、Perplexity不同任務適合的指標不一樣。這個系列寫到第七篇基本上把Transformer、BERT和GPT的核心內(nèi)容都覆蓋到了。如果你是從第一篇一路看過來的現(xiàn)在應該對這套技術體系有了比較完整的認識。接下來如果要深入可以考慮的方向包括更高效的注意力機制、更大規(guī)模的預訓練、多模態(tài)融合、以及針對特定領域的微調(diào)策略。每一個方向都有很多值得探索的內(nèi)容后續(xù)有機會再慢慢展開。