簡(jiǎn)介基于BERT模型的情感分析項(xiàng)目旨在對(duì)IMDB影評(píng)進(jìn)行正面或負(fù)面情感的二分類面向自然語(yǔ)言處理入門者、課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)選題的學(xué)生也適合作為NLP教學(xué)中的配套實(shí)戰(zhàn)案例。壓縮包體積僅4KB共包含5個(gè)文件其中4個(gè)為Python腳本1個(gè)為使用說(shuō)明文檔腳本分工明確分別覆蓋數(shù)據(jù)準(zhǔn)備與核心分類邏輯、模型訓(xùn)練流程、GPU環(huán)境測(cè)試以及PyTorch框架下的推理實(shí)現(xiàn)說(shuō)明文檔則提供運(yùn)行步驟與環(huán)境配置注意事項(xiàng)便于快速搭建實(shí)驗(yàn)環(huán)境。所有源碼均經(jīng)過(guò)本地編譯并通過(guò)運(yùn)行項(xiàng)目難度適中內(nèi)容經(jīng)過(guò)助教審定適合在理解BERT原理后通過(guò)實(shí)際代碼熟悉tokenizer、微調(diào)、評(píng)估等完整環(huán)節(jié)。項(xiàng)目結(jié)構(gòu)緊湊入口清晰便于按需修改超參數(shù)與數(shù)據(jù)路徑目前已有226人學(xué)習(xí)下載作為一份輕量級(jí)、即刻可跑的參考實(shí)現(xiàn)能夠幫助讀者減少環(huán)境配置彎路更專注于模型與算法本身。1. 從一條IMDB影評(píng)到正面/負(fù)面標(biāo)簽這個(gè)BERT項(xiàng)目真正值得跑的地方第一次解壓這個(gè)“基于BERT模型的情感分析項(xiàng)目”時(shí)我預(yù)想的是看到一整套手寫Transformer結(jié)果打開code.py發(fā)現(xiàn)核心代碼比想象中短很多項(xiàng)目并沒有從零實(shí)現(xiàn)BERT而是借助 Transformers 生態(tài)里的BertForSequenceClassification加載預(yù)訓(xùn)練權(quán)重后在IMDB影評(píng)上做二分類微調(diào)。它解決的問(wèn)題很實(shí)際給定一段英文影評(píng)文本判斷它是正面還是負(fù)面。這個(gè)項(xiàng)目難度適中特別適合正在做NLP課程任務(wù)、或者想從 TF-IDF 和 Word2Vec 時(shí)代跨到預(yù)訓(xùn)練模型時(shí)代的開發(fā)者。源碼里文件分工也清晰兩個(gè)環(huán)境自檢腳本負(fù)責(zé)確認(rèn)PyTorch和GPU狀態(tài)code.py負(fù)責(zé)訓(xùn)練Examination.py負(fù)責(zé)推理驗(yàn)證。跑通它等于把BERT微調(diào)的標(biāo)準(zhǔn)流程完整走了一遍。2. 項(xiàng)目結(jié)構(gòu)與技術(shù)選型壓縮包里那五個(gè)文件分別干什么解壓之后看到的文件數(shù)量不多一個(gè)主目錄名BERT-IMDB-analysiser-main下面五個(gè)獨(dú)立文件外加一個(gè)使用說(shuō)明.txt。這里有個(gè)容易被忽略的細(xì)節(jié)GPU TEST.py和PyTorch TEST.py這兩個(gè)文件名里帶了空格在命令行里執(zhí)行時(shí)會(huì)被拆成多個(gè)參數(shù)所以后面所有命令都得給文件名加雙引號(hào)。不用急著打開代碼從文件命名就能看出一條作業(yè)流程環(huán)境自檢在前訓(xùn)練在后推理驗(yàn)證收尾。這種編排方式在課程源碼包里很常見比把全部邏輯塞進(jìn)一個(gè)main.py更好排查——哪一步掛了就去對(duì)應(yīng)的文件里看。2.1 文件職責(zé)拆解從環(huán)境檢測(cè)到推理驗(yàn)證文件職責(zé)什么時(shí)候運(yùn)行使用說(shuō)明.txt記錄運(yùn)行順序、環(huán)境要求、常見報(bào)錯(cuò)說(shuō)明全程參照PyTorch TEST.py驗(yàn)證PyTorch能否正常創(chuàng)建張量并完成計(jì)算第一次運(yùn)行前GPU TEST.py檢測(cè)CUDA版本、顯卡是否可用打印顯存信息第一次運(yùn)行前code.py核心主流程加載IMDB數(shù)據(jù)、tokenizer編碼、BERT微調(diào)、保存模型環(huán)境自檢通過(guò)后Examination.py加載訓(xùn)練好的模型對(duì)測(cè)試句子做預(yù)測(cè)并輸出標(biāo)簽與概率訓(xùn)練完成之后PyTorch TEST.py和GPU TEST.py這兩個(gè)腳本本質(zhì)上是環(huán)境哨兵。前者會(huì)做一次最簡(jiǎn)單的張量運(yùn)算如果這里就報(bào)錯(cuò)說(shuō)明 PyTorch 本身沒裝好跟BERT一點(diǎn)關(guān)系都沒有后者用來(lái)確認(rèn)你裝的 PyTorch 是否帶CUDA支持。很多課程作業(yè)翻車都不是模型問(wèn)題而是環(huán)境問(wèn)題把檢查腳本單獨(dú)拆出來(lái)是這套源碼里比較實(shí)用的設(shè)計(jì)。code.py承擔(dān)了完整流程數(shù)據(jù)集讀入、tokenizer、微調(diào)、保存。按常見寫法它內(nèi)部大概是“數(shù)據(jù)下載 - 編碼 - 構(gòu)造 DataLoader - 加載 BertForSequenceClassification - 兩層 for 循環(huán)訓(xùn)練 - save_pretrained”這一段主線。Examination.py不需要重新訓(xùn)練它讀入code.py保存的模型目錄對(duì)一段文本做推理打印結(jié)果是positive還是negative以及對(duì)應(yīng)的概率。如果把這幾個(gè)文件全部打開對(duì)比你會(huì)發(fā)現(xiàn)重復(fù)導(dǎo)入的代碼不少比如兩個(gè)測(cè)試腳本里都有import torchcode.py里大概率也有同樣的片段。這是課程級(jí)源碼的正常狀態(tài)可讀性優(yōu)先于 DRYDont Repeat Yourself二次開發(fā)時(shí)不要一上來(lái)就重構(gòu)先跑通再合并。這套文件結(jié)構(gòu)的真正價(jià)值在于把一個(gè)大任務(wù)拆成了三個(gè)階段驗(yàn)證環(huán)境、訓(xùn)練、推理。對(duì)開發(fā)者來(lái)說(shuō)最大的收益是出錯(cuò)時(shí)定位范圍小環(huán)境階段報(bào)錯(cuò)不動(dòng)模型代碼訓(xùn)練階段報(bào)錯(cuò)不動(dòng)數(shù)據(jù)代碼。很多項(xiàng)目喜歡把所有內(nèi)容塞進(jìn)一個(gè)入口一旦報(bào)錯(cuò)就要從頭到尾找這套源碼的結(jié)構(gòu)明顯更適合邊跑邊學(xué)。2.2 技術(shù)選型拆解為什么是PyTorch Transformers BERT技術(shù)組件在這個(gè)項(xiàng)目里的作用BERTbert-base-uncased預(yù)訓(xùn)練語(yǔ)言模型提供上下文相關(guān)的語(yǔ)義表示BertForSequenceClassificationBERT加分類頭的完整封裝直接輸出二分類 logitsPyTorch張量運(yùn)算、DataLoader、反向傳播的底層框架Transformers 庫(kù)統(tǒng)一提供模型、tokenizer、保存與加載 APIIMDB 數(shù)據(jù)集25,000 條訓(xùn)練、25,000 條測(cè)試的正面/負(fù)面影評(píng)做情感分析有不少路線。傳統(tǒng)一點(diǎn)的做法是 TF-IDF 加邏輯回歸速度快但看不到語(yǔ)義連 “not good” 這種否定都容易判錯(cuò)。BERT 的方案把每個(gè)詞放到整個(gè)句子的上下文里去表示“not good” 整體會(huì)形成一個(gè)強(qiáng)烈負(fù)向的語(yǔ)義向量這是這個(gè)項(xiàng)目在效果上能跑出高準(zhǔn)確率的核心原因。舉個(gè)例子I loved this movie和I did not love this movie這種句子在詞向量模型里距離可能很近但在 BERT 的 attention 機(jī)制里模型能明確看到not對(duì)后面情感詞的修飾關(guān)系。選擇BertForSequenceClassification而不是手動(dòng)再包一層 Linear是因?yàn)?Transformers 庫(kù)已經(jīng)替你把池化輸出接到分類層了。使用的時(shí)候只需要指定num_labels2模型內(nèi)部會(huì)自動(dòng)計(jì)算交叉熵?fù)p失訓(xùn)練代碼因此變得很干凈。如果你去看 code.py 的訓(xùn)練部分大概率就是標(biāo)準(zhǔn)的 forward loss.backward optimizer.step 三段式不需要自己寫分類頭。為什么用bert-base-uncased而不是其他模型因?yàn)镮MDB是英文語(yǔ)料uncased 會(huì)把大小寫統(tǒng)一對(duì)影評(píng)這種任務(wù)影響很小還能減小詞表壓力。如果你以后想換成roberta-base代碼層面幾乎零改動(dòng)這也是預(yù)訓(xùn)練模型時(shí)代選型帶來(lái)的擴(kuò)展性。IMDB 數(shù)據(jù)集本身對(duì)個(gè)人PC也比較友好單條影評(píng)大多一兩句話tokenize 之后長(zhǎng)度普遍在 200 以內(nèi)。即使沒有 GPU用 CPU 把max_length限制在 128 也能在可接受時(shí)間內(nèi)跑完只是慢。理解這一點(diǎn)后面調(diào)參數(shù)才不至于一上來(lái)就選 512。這份源碼是經(jīng)過(guò)本地運(yùn)行驗(yàn)證的腳本之間配合好了可以連續(xù)跑通不是缺頭缺尾的半成品。3. 環(huán)境準(zhǔn)備與首次運(yùn)行先跑兩個(gè)測(cè)試腳本再?zèng)Q定要不要?jiǎng)佑?xùn)練拿到源碼先別急著訓(xùn)練。我的習(xí)慣是把環(huán)境自檢放在第一位這幾步全部通過(guò)訓(xùn)練階段報(bào)錯(cuò)就只需要懷疑代碼邏輯不需要再回頭懷疑環(huán)境。3.1 環(huán)境清單與兩個(gè)測(cè)試腳本先證明你的機(jī)器能跑Python 版本建議保持 3.8 以上PyTorch 按你自己的顯卡驅(qū)動(dòng)裝 CUDA 版沒有顯卡就裝 CPU 版Transformers 庫(kù)負(fù)責(zé)模型與 tokenizerdatasets 庫(kù)負(fù)責(zé)數(shù)據(jù)讀取。如果是在干凈機(jī)器上重建環(huán)境我一般會(huì)用一個(gè)獨(dú)立虛擬環(huán)境把這些裝齊避免污染系統(tǒng) Python。安裝依賴時(shí)常見的做法是pip install torch transformers datasets如果在 GPU 機(jī)器上建議先去確認(rèn)驅(qū)動(dòng)支持的 CUDA 版本再安裝對(duì)應(yīng)版本的 torch這樣后面能省不少事。依賴裝完先跑第一個(gè)測(cè)試腳本python PyTorch TEST.py腳本名里的空格不能省這一點(diǎn)值得單獨(dú)強(qiáng)調(diào)因?yàn)橹苯訌?fù)制文件名去終端執(zhí)行會(huì)報(bào)“找不到文件”之類的問(wèn)題。這個(gè)腳本的本質(zhì)是讓 PyTorch 做一次張量運(yùn)算只要它打印出計(jì)算結(jié)果說(shuō)明框架安裝正常。如果出現(xiàn)ModuleNotFoundError: No module named torch說(shuō)明 torch 根本沒進(jìn)當(dāng)前環(huán)境。再跑第二個(gè)python GPU TEST.py它會(huì)檢測(cè) CUDA 是否可用、打印顯卡型號(hào)和顯存大小。如果顯示 CUDA 不可用通常有兩種可能裝的是 CPU 版 torch或者顯卡驅(qū)動(dòng)和 CUDA 版本不匹配。這個(gè)階段我建議按顯卡驅(qū)動(dòng)支持的 CUDA 版本重新安裝對(duì)應(yīng) torch而不是去降驅(qū)動(dòng)版本后者容易引起別的軟件連鎖問(wèn)題。提示這兩個(gè)測(cè)試腳本全部通過(guò)再進(jìn)入訓(xùn)練。任何一個(gè)失敗后面訓(xùn)練的所有報(bào)錯(cuò)都可能是同一個(gè)原因反復(fù)出現(xiàn)。3.2 跑通主流程code.py訓(xùn)練與關(guān)鍵參數(shù)環(huán)境沒問(wèn)題就直接執(zhí)行python code.py第一次運(yùn)行會(huì)看到模型權(quán)重下載和數(shù)據(jù)集加載的日志然后進(jìn)入 epoch 循環(huán)。訓(xùn)練過(guò)程中每過(guò)幾百個(gè) step 會(huì)打印一次 loss正常趨勢(shì)是從 0.7 附近往下掉到第三個(gè) epoch 末尾應(yīng)該落在 0.2 以下。如果你看到的 loss 一直不降或者反而升高優(yōu)先檢查學(xué)習(xí)率和數(shù)據(jù)標(biāo)簽是否對(duì)得上。訓(xùn)練環(huán)節(jié)有幾個(gè)參數(shù)決定了最終效果和顯存占用參數(shù)建議值在這個(gè)項(xiàng)目里的作用epochs3IMDB 小任務(wù)三輪足夠再多容易過(guò)擬合batch_size1616G 顯存下穩(wěn)妥顯存小就改 8learning_rate2e-5BERT 微調(diào)標(biāo)準(zhǔn)學(xué)習(xí)率1e-5 更保守max_length128超過(guò)部分截?cái)嘤霸u(píng)文本大多足夠用num_labels2與 positive / negative 兩個(gè)類別對(duì)應(yīng)這里的batch_size16是顯存與訓(xùn)練穩(wěn)定性的權(quán)衡單個(gè) step 在 16G 顯存的單卡上大概占 10G 左右。如果你用 CPU 跑batch_size可以保持 16只是每個(gè) step 會(huì)慢很多。max_length調(diào)成 512 能保留更多原文信息但 attention 的顯存占用會(huì)顯著上升對(duì)IMDB這類短文本收益很小。learning_rate千萬(wàn)不要用默認(rèn)的 1e-3預(yù)訓(xùn)練模型微調(diào)用大學(xué)習(xí)率很容易把已經(jīng)學(xué)好的語(yǔ)義表示“沖”掉。如果code.py里用的是load_dataset(imdb)這種聯(lián)網(wǎng)加載方式在網(wǎng)絡(luò)不佳或離線環(huán)境下會(huì)卡很久。常見做法是提前把IMDB原始數(shù)據(jù)解壓到本地目錄再用data_dir參數(shù)指過(guò)去具體的解決方案我在第 5 章展開。訓(xùn)練結(jié)束后會(huì)保存一個(gè)模型目錄里面至少包括配置文件和權(quán)重文件。最后執(zhí)行推理驗(yàn)證python Examination.py這個(gè)腳本會(huì)加載剛才保存的模型目錄對(duì)測(cè)試句子或測(cè)試集做預(yù)測(cè)輸出標(biāo)簽和概率。到這里一條“環(huán)境自檢 - 微調(diào) - 預(yù)測(cè)”的完整鏈路就通了。如果你中間臨時(shí)中斷訓(xùn)練也不用擔(dān)心模型保存一般在全部 epoch 結(jié)束后才執(zhí)行損失的只是已經(jīng)跑掉的進(jìn)程時(shí)間如果想隨時(shí)保存中間狀態(tài)就得自己在訓(xùn)練循環(huán)里加 checkpoint 邏輯。4. 核心代碼拆解從Tokenizer到softmax的完整鏈路原包里的code.py和Examination.py我不打算逐行貼出來(lái)因?yàn)閮蓚€(gè)文件核心邏輯高度標(biāo)準(zhǔn)化。下面按最常見結(jié)構(gòu)把關(guān)鍵段落重構(gòu)一遍你拿到源碼后可以逐行對(duì)照參數(shù)含義是一致的。4.1 數(shù)據(jù)管線Tokenizer與DataLoader怎么搭BERT 不能直接吃原始字符串它要求先把文本切成 token再轉(zhuǎn)成 input_ids 和 attention_mask。這一步由 tokenizer 完成from datasets import load_dataset from transformers import BertTokenizer from torch.utils.data import DataLoader model_name bert-base-uncased tokenizer BertTokenizer.from_pretrained(model_name) def encode(examples): return tokenizer( examples[text], truncationTrue, paddingmax_length, max_length128, ) raw_data load_dataset(imdb) tokenized raw_data.map(encode, batchedTrue) tokenized.set_format(typetorch, columns[input_ids, attention_mask, label]) train_loader DataLoader(tokenized[train], batch_size16, shuffleTrue) test_loader DataLoader(tokenized[test], batch_size64)這段代碼的核心是map(encode, batchedTrue)它會(huì)一次性處理整批文本速度比逐條循環(huán)快得多。paddingmax_length的含義是每一條都補(bǔ)齊到 128 的長(zhǎng)度這樣 DataLoader 才能拼成規(guī)整的張量truncationTrue用來(lái)把過(guò)長(zhǎng)的影評(píng)截?cái)?。這里選擇固定長(zhǎng)度 padding而不是動(dòng)態(tài) padding是為了代碼簡(jiǎn)單穩(wěn)定——雖然會(huì)浪費(fèi)一點(diǎn)存儲(chǔ)和算力但對(duì)課程級(jí)項(xiàng)目來(lái)說(shuō)先求跑通比追求極致效率重要。set_format(typetorch)把數(shù)據(jù)集字段轉(zhuǎn)成 PyTorch 張量訓(xùn)練時(shí)可以直接喂給模型。字段里只留了input_ids、attention_mask和label沒有token_type_ids因?yàn)閱尉浞诸惾蝿?wù)里這個(gè)字段全為 0不傳也影響不大。DataLoader 的batch_size訓(xùn)練用 16、測(cè)試用 64 是常見做法推理階段不需要計(jì)算梯度可以放寬 batch 大小加速評(píng)估。4.2 訓(xùn)練循環(huán)BertForSequenceClassification的微調(diào)過(guò)程模型加載是這套代碼里最省事的一行from transformers import BertForSequenceClassification, AdamW model BertForSequenceClassification.from_pretrained(model_name, num_labels2) optimizer AdamW(model.parameters(), lr2e-5) model.train() for epoch in range(3): for batch_idx, batch in enumerate(train_loader): outputs model( input_idsbatch[input_ids], attention_maskbatch[attention_mask], labelsbatch[label], ) loss outputs.loss loss.backward() optimizer.step() optimizer.zero_grad() if batch_idx % 500 0: print(fepoch {epoch 1}, step {batch_idx}, loss {loss.item():.4f})from_pretrained做的事情很多下載權(quán)重、加載配置、初始化分類頭。num_labels2會(huì)自動(dòng)在 BERT 輸出之上接一個(gè)二分類線性層forward 時(shí)傳入labels參數(shù)損失函數(shù)已經(jīng)在模型內(nèi)部算好了不需要在外面手動(dòng)交叉熵。AdamW是 BERT 微調(diào)場(chǎng)景的標(biāo)準(zhǔn)選擇它把權(quán)重衰減和 Adam 的動(dòng)量解耦對(duì)預(yù)訓(xùn)練模型更友好。學(xué)習(xí)率 2e-5 幾乎是這類任務(wù)的默認(rèn)值如果你發(fā)現(xiàn)訓(xùn)練震蕩可以降到 1e-5。loss.backward()之后必須optimizer.step()再optimizer.zero_grad()順序?qū)懛磿?huì)導(dǎo)致梯度累加到上一個(gè) batch。這里有個(gè)容易忽略的點(diǎn)model.train()會(huì)打開 Dropout訓(xùn)練過(guò)程中隨機(jī)丟棄一部分神經(jīng)元這是防止過(guò)擬合的機(jī)制。如果直接拿訓(xùn)練模式的模型去做推理預(yù)測(cè)結(jié)果會(huì)帶隨機(jī)性所以 4.3 節(jié)里必須先切換model.eval()。4.3 推理腳本Examination.py如何輸出正面/負(fù)面訓(xùn)練結(jié)束后code.py一般會(huì)把模型目錄保存到本地Examination.py再把它加載回來(lái)執(zhí)行預(yù)測(cè)from transformers import BertTokenizer, BertForSequenceClassification import torch model_dir ./bert-imdb-model tokenizer BertTokenizer.from_pretrained(model_dir) model BertForSequenceClassification.from_pretrained(model_dir) model.eval() label_map {0: negative, 1: positive} def predict(text): inputs tokenizer(text, return_tensorspt, truncationTrue, paddingmax_length, max_length128) with torch.no_grad(): logits model(**inputs).logits prob torch.softmax(logits, dim-1) idx int(torch.argmax(prob[0])) return label_map[idx], float(prob[0][idx]) print(predict(This movie kept me on the edge of my seat.))推理和訓(xùn)練的差異主要在兩點(diǎn)一是torch.no_grad()關(guān)閉梯度追蹤省顯存也加速二是需要手動(dòng)softmax把 logits 轉(zhuǎn)成概率才能得到一個(gè)可解釋的置信度。torch.argmax取出概率最大的下標(biāo)再通過(guò)label_map映射成positive或negative。必須提醒的是IMDB 數(shù)據(jù)集的標(biāo)簽定義是 0 對(duì)應(yīng)負(fù)面、1 對(duì)應(yīng)正面這里不要憑直覺寫反否則整個(gè)測(cè)試集的準(zhǔn)確率會(huì)接近 0。model.eval()這行也省不得Dropout 層在推理時(shí)一旦還開著結(jié)果就會(huì)出現(xiàn)“同一條文本每次預(yù)測(cè)不一樣”的玄學(xué)問(wèn)題。訓(xùn)練完保存模型時(shí)優(yōu)先用save_pretrained它會(huì)把config.json和權(quán)重一起保存下次加載才能恢復(fù)分類頭的配置如果只用torch.save(model.state_dict())換一臺(tái)機(jī)器或者換個(gè)腳本加載就很容易丟失模型結(jié)構(gòu)信息。5. 避坑與排查BERTIMDB訓(xùn)練里最常見的問(wèn)題現(xiàn)場(chǎng)這一章整理的是這類項(xiàng)目里最容易翻車的五個(gè)點(diǎn)每一條都是實(shí)打?qū)崟?huì)卡住人的問(wèn)題。它們的共性在于基本不是模型結(jié)構(gòu)問(wèn)題而是環(huán)境、數(shù)據(jù)和工程習(xí)慣問(wèn)題。逐條對(duì)照排查比重新讀一遍BERT論文有用得多。5.1 數(shù)據(jù)集一直卡在 Downloading 不動(dòng)現(xiàn)象運(yùn)行code.py后日志長(zhǎng)時(shí)間停留在 Downloading進(jìn)度條幾乎不前進(jìn)最后報(bào)連接錯(cuò)誤換網(wǎng)絡(luò)重試問(wèn)題依舊。原因load_dataset(imdb)默認(rèn)配置會(huì)在線獲取數(shù)據(jù)集。IMDB 原始數(shù)據(jù)有幾百M(fèi)B在網(wǎng)絡(luò)不佳或離線環(huán)境下拉取基本不可能完成。解決提前準(zhǔn)備本地?cái)?shù)據(jù)把下載好的 IMDB 原始文件解壓成aclImdb目錄然后改動(dòng)數(shù)據(jù)加載這一行raw_data load_dataset(imdb, data_dir./aclImdb)這樣datasets庫(kù)會(huì)直接讀取本地目錄不再走網(wǎng)絡(luò)。模型權(quán)重也一樣先下載bert-base-uncased到本地目錄加載時(shí)直接指目錄路徑即可。這條經(jīng)驗(yàn)后面換大數(shù)據(jù)集同樣適用凡是遇到load_dataset卡住第一反應(yīng)都應(yīng)該改成離線加載。5.2 GPU TEST.py說(shuō)能用訓(xùn)練卻沒幾輪就OutOfMemoryError現(xiàn)象GPU TEST.py打印顯卡顯存充足訓(xùn)練到第一個(gè) epoch 末尾報(bào)CUDA out of memory進(jìn)程直接退出。原因顯存不足通常是參數(shù)組合不當(dāng)。batch_size32加上max_length512attention 矩陣的占用是平方級(jí)增長(zhǎng)的再大的卡也可能被吃掉。解決先降batch_size到 8 或 16max_length保持 128。如果還想保持大 batch 的穩(wěn)定性可以加梯度累積用時(shí)間換顯存optimizer.zero_grad() loss.backward() if (batch_idx 1) % 4 0: optimizer.step() optimizer.zero_grad()這段邏輯的意思是每 4 個(gè) batch 更新一次參數(shù)效果上接近把 batch_size 放大 4 倍但顯存占用沒有同步放大。這是訓(xùn)練腳本里非常實(shí)用的顯存降級(jí)手段。5.3 訓(xùn)練loss在降Examination.py卻把每條都判成同一個(gè)標(biāo)簽現(xiàn)象訓(xùn)練時(shí) loss 從 0.7 降到 0.2看起來(lái)一切正常驗(yàn)證準(zhǔn)確率卻接近 50%或者所有結(jié)果都是同一個(gè)標(biāo)簽。原因最常見的是標(biāo)簽映射寫反了。IMDB 里 0 表示 negative、1 表示 positive如果推理腳本里把 0 映射成了 positive那整個(gè)結(jié)果就正好反過(guò)來(lái)。另一個(gè)常見原因是推理時(shí)忘了model.eval()Dropout 還在隨機(jī)丟棄神經(jīng)元輸出自然不穩(wěn)定。解決先確認(rèn)label_map和訓(xùn)練數(shù)據(jù)集真實(shí)標(biāo)簽一致label_map {0: negative, 1: positive}如果不確定可以打印訓(xùn)練集里前十條的 label 值驗(yàn)證一下。推理時(shí)統(tǒng)一加model.eval()和torch.no_grad()。保存模型用save_pretrained不要用裸的state_dict這樣配置和映射關(guān)系不會(huì)跨文件丟失。5.4 兩個(gè)測(cè)試腳本都通過(guò)訓(xùn)練卻報(bào)某個(gè)算子版本不支持現(xiàn)象PyTorch TEST.py和GPU TEST.py都輸出正常訓(xùn)練到第一次 forward 時(shí)卻報(bào)某個(gè)算子不存在或版本過(guò)舊。原因PyTorch 版本和 Transformers 庫(kù)版本不匹配或者環(huán)境里混裝了多套 Python 包讓模型加載到了另一份舊版依賴。解決用一個(gè)干凈的虛擬環(huán)境統(tǒng)一安裝避免系統(tǒng)里多套 Python 互相搶包。我一般會(huì)在項(xiàng)目跑通后立刻執(zhí)行pip freeze requirements.txt下次重建環(huán)境時(shí)直接恢復(fù)雖然笨但最穩(wěn)?？鐧C(jī)器遷移已訓(xùn)練好的模型時(shí)加載權(quán)重可以先用 CPUmodel BertForSequenceClassification.from_pretrained(model_dir, map_locationcpu)再把模型.to(cuda)移回 GPU。這樣做能把權(quán)重加載問(wèn)題跟算子版本問(wèn)題分開排查避免兩個(gè)變量混在一起無(wú)從下手。5.5 同樣的代碼跑了兩次準(zhǔn)確率差一大截現(xiàn)象兩次訓(xùn)練參數(shù)完全相同第一次準(zhǔn)確率 93%第二次只有 88%波動(dòng)超出預(yù)期。原因沒有固定隨機(jī)種子。DataLoader 的 shuffle、模型里的 Dropout、張量初始化都會(huì)帶來(lái)隨機(jī)性多線程環(huán)境下波動(dòng)會(huì)被放大。解決在訓(xùn)練入口統(tǒng)一固定種子import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)需要注意的是固定種子并不能保證結(jié)果完全一致GPU 上某些算子本身有非確定性但設(shè)置之后常見波動(dòng)會(huì)明顯收窄。課程報(bào)告里寫“復(fù)現(xiàn)實(shí)驗(yàn)”時(shí)這個(gè)操作幾乎是必需的。6. 二次開發(fā)把自己的CSV變成新的情感分類任務(wù)項(xiàng)目跑通之后最常見的需求是把IMDB換成自己的數(shù)據(jù)做成一個(gè)通用文本分類器。改造點(diǎn)其實(shí)很少。6.1 換數(shù)據(jù)源CSV兩列就夠了訓(xùn)練管線對(duì)數(shù)據(jù)的要求很簡(jiǎn)單一列文本一列標(biāo)簽。準(zhǔn)備一個(gè) CSVtext,label This movie is great!,positive Boring and long,negative然后把load_dataset(imdb)換成from datasets import load_dataset raw load_dataset(csv, data_files./my_reviews.csv, splittrain) raw raw.train_test_split(test_size0.2, seed42) label2id {negative: 0, positive: 1} raw raw.map(lambda x: {label: label2id[x[label]]})Tokenizer 和訓(xùn)練循環(huán)不需要?jiǎng)游⒄{(diào)完就在自己的數(shù)據(jù)上生效了。需要注意 CSV 里不要有多余的空格列l(wèi)abel 大小寫要完全匹配否則 map 階段會(huì)直接報(bào) KeyError。6.2 換模型與驗(yàn)證從BERT到RoBERTa幾乎零成本把所有BertTokenizer和BertForSequenceClassification換成 Auto 類只保留一個(gè)model_name變量from transformers import AutoTokenizer, AutoModelForSequenceClassification model_name roberta-base tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2)以后想試distilbert、albert就只改一行。如果任務(wù)從二分類變成三分類positive / neutral / negative把num_labels改成 3label2id加一個(gè)鍵模型和訓(xùn)練循環(huán)都不用動(dòng)。驗(yàn)證方法上我習(xí)慣先只取原始數(shù)據(jù)的一小部分比如 500 條跑兩個(gè) epoch 觀察 loss 確實(shí)在下降再上全量訓(xùn)練。這樣能把配置錯(cuò)誤擋在大規(guī)模訓(xùn)練之前而不是等一晚上白跑之后才發(fā)現(xiàn)參數(shù)寫錯(cuò)了。從那以后我每次拿到一個(gè)文本分類任務(wù)都會(huì)先花幾分鐘跑一遍環(huán)境檢測(cè)腳本、確認(rèn)數(shù)據(jù)格式和標(biāo)簽映射再動(dòng)手改模型。這個(gè)順序幫我省掉了無(wú)數(shù)次白等訓(xùn)練。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取