簡(jiǎn)介面向深度學(xué)習(xí)與自然語(yǔ)言處理方向的畢業(yè)設(shè)計(jì)者這套基于融合對(duì)抗與注意力機(jī)制的Bi-LSTM景區(qū)評(píng)論情感分析Python項(xiàng)目可完整運(yùn)行覆蓋數(shù)據(jù)標(biāo)注、word2vec詞向量訓(xùn)練、模型訓(xùn)練、情感預(yù)測(cè)與評(píng)分生成全流程并給出TensorFlow 2.3.0等環(huán)境配置適合課題復(fù)現(xiàn)或畢設(shè)參考。資源共18個(gè)文件壓縮包約191KB以4個(gè)ipynb和4個(gè)py文件為核心另含word2vec詞向量、corpus語(yǔ)料、stopwords停用詞、logs日志及模型保存/加載等配套。代碼分工清晰config.py配置參數(shù)dataSet.py數(shù)據(jù)預(yù)處理tools.py提供序列長(zhǎng)度與評(píng)價(jià)指標(biāo)工具model.py為baseline模型main_load.ipynb和main_save.ipynb分別支持加載預(yù)訓(xùn)練模型和讀取訓(xùn)練數(shù)據(jù)預(yù)測(cè)。目前已有249人學(xué)習(xí)下載適合想快速掌握Bi-LSTM融合注意力機(jī)制與對(duì)抗訓(xùn)練的文本情感分析學(xué)習(xí)者。1. Bi-LSTM 景區(qū)評(píng)論情感分析這份 Python 源碼把詞向量到評(píng)價(jià)分?jǐn)?shù)全串起來(lái)了景區(qū)評(píng)論里最常見的一句話是“風(fēng)景不錯(cuò)但人太多”這類轉(zhuǎn)折句對(duì) Bi-LSTM 景區(qū)評(píng)論情感分析來(lái)說(shuō)才是真正的考驗(yàn)——按詞頻統(tǒng)計(jì)會(huì)直接判成好評(píng)可游客的情緒其實(shí)是中性偏不滿的。這份基于融合對(duì)抗與注意力機(jī)制的 Bi-LSTM 網(wǎng)絡(luò) Python 源碼把景區(qū)評(píng)論情感分析整條鏈路都鋪好了Word2Vec 詞向量訓(xùn)練、Bi-LSTM 加注意力機(jī)制的深度學(xué)習(xí)模型訓(xùn)練、未標(biāo)注評(píng)論預(yù)測(cè)、結(jié)合預(yù)測(cè)值生成評(píng)價(jià)分?jǐn)?shù)。對(duì)正在做畢設(shè)或者想快速上手深度學(xué)習(xí)情感分析的人來(lái)說(shuō)它不是理論 PPT而是能直接跑的代碼。項(xiàng)目用 TensorFlow 2.3.0 搭模型、Gensim 訓(xùn)詞向量、Jieba 做分詞流程清晰適合復(fù)現(xiàn)、改造和當(dāng)基線用。2. 項(xiàng)目結(jié)構(gòu)與數(shù)據(jù)流四個(gè)核心 Python 文件和三本 Notebook 的職責(zé)拆解剛解壓這份源碼的人多半會(huì)被一堆文件看花眼.ipynb、.py、corpus、word2vec、logs全堆在一起。實(shí)際它分得很清楚配置、數(shù)據(jù)、模型、運(yùn)行四個(gè)層面各管各的。2.1 文件分工哪個(gè)文件負(fù)責(zé)什么復(fù)現(xiàn)時(shí)先改誰(shuí)文件職責(zé)復(fù)現(xiàn)時(shí)最需要改的位置config.py統(tǒng)一管理數(shù)據(jù)路徑、模型參數(shù)、類別數(shù)corpus路徑、embedding_dim、num_classesdataSet.py讀取語(yǔ)料、Jieba 分詞、去停用詞、構(gòu)造訓(xùn)練樣本停用詞表路徑、標(biāo)簽列分隔符tools.py計(jì)算序列長(zhǎng)度、準(zhǔn)確率 / F1 等評(píng)價(jià)指標(biāo)按新任務(wù)增改指標(biāo)函數(shù)model.py定義 Bi-LSTM Attention 基線模型lstm_units、dropout、類別數(shù)gensim_word2vec.ipynb用 Gensim 訓(xùn)練景區(qū)評(píng)論文本詞向量vector_size、min_count、windowmain_save.ipynb訓(xùn)練主入口訓(xùn)練完保存模型batch_size、epochs、保存路徑main_load.ipynb加載已保存模型做情感預(yù)測(cè)預(yù)測(cè)文本的輸入格式這種分層對(duì)畢設(shè)或二次開發(fā)非常友好。路徑集中在config.py想換數(shù)據(jù)集基本不用碰模型代碼tools.py獨(dú)立出來(lái)是為了在訓(xùn)練和預(yù)測(cè)兩個(gè)環(huán)節(jié)復(fù)用同一套評(píng)價(jià)指標(biāo)避免指標(biāo)口徑不一致。main_save和main_load被拆成兩本 Notebook也是刻意區(qū)分訓(xùn)練期和推理期防止把保存權(quán)重和加載預(yù)測(cè)的邏輯揉在一起后面排查問題會(huì)輕松很多。我一般拿到這種源碼第一件事不是直接跑main_save.ipynb而是先打開config.py把里面的路徑、批次大小、類別數(shù)看一遍。因?yàn)楹芏鄰?fù)現(xiàn)報(bào)錯(cuò)根本不是模型寫錯(cuò)了而是語(yǔ)料路徑指錯(cuò)、停用詞表沒找到、類別數(shù)跟標(biāo)簽對(duì)不上。2.2 數(shù)據(jù)預(yù)處理dataSet.py 里藏著二分類和三分類的取舍dataSet.py的核心邏輯是讀取帶標(biāo)簽的景區(qū)評(píng)論分詞、去停用詞再整理成模型能吃的樣本。以資源里的corpus/3class和corpus/2class兩個(gè)目錄為例標(biāo)注格式一般是“標(biāo)簽 分隔符 評(píng)論文本”核心預(yù)處理大致是這樣# dataSet.py 中的數(shù)據(jù)加載與預(yù)處理核心邏輯 import jieba def load_stopwords(stopwords_path): stop set() with open(stopwords_path, r, encodingutf-8) as f: for line in f: stop.add(line.strip()) return stop def load_comments(path, stopwords_pathNone): texts, labels [], [] with open(path, r, encodingutf-8) as f: for line in f: parts line.strip().split(\t) if len(parts) 2: continue labels.append(int(parts[0])) # 標(biāo)簽放第一列 words jieba.lcut(parts[1]) # 第二列是評(píng)論文本 if stopwords_path: stop load_stopwords(stopwords_path) words [w for w in words if w not in stop and w.strip()] texts.append( .join(words)) return texts, labels這塊邏輯有幾個(gè)關(guān)鍵點(diǎn)。標(biāo)簽放在第一列是為了跟評(píng)論文本分開讀取時(shí)不容易錯(cuò)位split(\t)說(shuō)明原始語(yǔ)料用制表符分隔如果你自己爬的數(shù)據(jù)是逗號(hào)或空格分隔這里要同步改去停用詞用的是set比逐個(gè)if w not in stopwords_list快得多評(píng)論語(yǔ)料動(dòng)輒幾萬(wàn)條這點(diǎn)性能差距會(huì)被放大。3class和2class兩個(gè)語(yǔ)料目錄對(duì)應(yīng)兩種任務(wù)設(shè)定。三分類把評(píng)論分成正、中、負(fù)三個(gè)檔位能表達(dá)“風(fēng)景不錯(cuò)但人太多”這類中性偏負(fù)面情緒二分類只判正負(fù)訓(xùn)練簡(jiǎn)單、類別更均衡但會(huì)丟失中間檔信息。復(fù)用這份源碼時(shí)如果只關(guān)心“好評(píng)率”跑2class就夠如果要做細(xì)致的景區(qū)口碑分析建議保留三分類。代價(jià)是中評(píng)樣本往往偏少后面第 5 章會(huì)專門說(shuō)這個(gè)坑。2.3 三條數(shù)據(jù)流訓(xùn)練、預(yù)測(cè)、詞向量預(yù)訓(xùn)練如何配合這套源碼的數(shù)據(jù)流不復(fù)雜但新手經(jīng)常把順序跑反。正常運(yùn)行順序是先用gensim_word2vec.ipynb對(duì)語(yǔ)料做無(wú)監(jiān)督訓(xùn)練得到word2vec/word2vec.model在config.py里把corpus指向3class或2class確認(rèn)類別數(shù)運(yùn)行main_save.ipynb它會(huì)調(diào)用dataSet.py讀取語(yǔ)料、按最長(zhǎng)序列做 padding再用隨機(jī)初始化或預(yù)訓(xùn)練詞向量初始化 Embedding 層訓(xùn)練完成后把模型保存到指定目錄把未標(biāo)注評(píng)論整理成同樣格式運(yùn)行main_load.ipynb加載模型做情感預(yù)測(cè)拿預(yù)測(cè)概率結(jié)合業(yè)務(wù)需求生成評(píng)價(jià)分?jǐn)?shù)。第 2 步和第 3 步的耦合最容易被忽略。main_save.ipynb內(nèi)部讀取的是config.py里配置的數(shù)據(jù)集路徑而gensim_word2vec.ipynb訓(xùn)練的語(yǔ)料又是另一份。如果先跑詞向量再換語(yǔ)料Embedding 矩陣和模型詞表對(duì)不上典型報(bào)錯(cuò)就是索引越界或者維度不匹配。運(yùn)行main_save.ipynb時(shí)看到類似saved model to ...的輸出說(shuō)明訓(xùn)練和保存這段鏈路已經(jīng)通了一半。常見做法是把詞向量訓(xùn)練也當(dāng)作數(shù)據(jù)預(yù)處理的一環(huán)而不是獨(dú)立任務(wù)。我習(xí)慣在gensim_word2vec.ipynb訓(xùn)練完后順手把詞表保存成 JSON后面構(gòu)建 Embedding 矩陣和模型詞表都以這個(gè) JSON 為準(zhǔn)這樣能避開大多數(shù)對(duì)齊問題。3. 模型設(shè)計(jì)Bi-LSTM 輸出接 Attention對(duì)抗擾動(dòng)加在 Embedding 層這份資源里的核心模型是 Bi-LSTM Attention再疊加對(duì)抗訓(xùn)練。三個(gè)組件各解決一個(gè)問題Bi-LSTM 抓雙向上下文Attention 挑出對(duì)情感判斷最重要的詞對(duì)抗訓(xùn)練提升對(duì)文本噪聲和網(wǎng)絡(luò)新詞的魯棒性。把三者接在一起的順序和細(xì)節(jié)才是這段源碼的看點(diǎn)。3.1 為什么用 Bi-LSTM轉(zhuǎn)折句和否定詞需要同時(shí)看兩個(gè)方向單向 LSTM 對(duì)“景區(qū)很美但服務(wù)很糟”這類句子天然吃虧。正向遍歷時(shí)“很美”會(huì)一直保留在記憶里讀到“糟”時(shí)才更新狀態(tài)最后的隱狀態(tài)容易被開頭的強(qiáng)情感詞帶偏反向遍歷則反過(guò)來(lái)。Bi-LSTM 把兩個(gè)方向的隱狀態(tài)在時(shí)間步上拼接模型能同時(shí)看到“很美”和“很糟”轉(zhuǎn)折前后的信息才不會(huì)被某一側(cè)壓過(guò)。在model.py里常見寫法是用tf.keras.layers.Bidirectional包一層 LSTM# model.py 中 Bi-LSTM 層的常見定義方式 lstm_layer tf.keras.layers.Bidirectional( tf.keras.layers.LSTM( units128, return_sequencesTrue, dropout0.3, recurrent_dropout0.2 ) )return_sequencesTrue是必須的因?yàn)楹竺嬉?Attention 層需要拿到每個(gè)時(shí)間步的隱狀態(tài)而不是最后一個(gè)時(shí)間步的輸出。units128表示每個(gè)方向的隱層維度是 128拼接后是 256 維這會(huì)直接影響 Attention 層的輸入維度。dropout和recurrent_dropout在評(píng)論這種短文本任務(wù)里我一般給到 0.2~0.4太高會(huì)把轉(zhuǎn)折句的信息丟掉太低又容易過(guò)擬合。3.2 Attention 層的實(shí)現(xiàn)給它一個(gè)可解釋的加權(quán)邏輯Bi-LSTM 輸出是一個(gè)三維張量形狀是(batch, time_steps, hidden_dim)。Attention 做的事情就是給每個(gè)時(shí)間步算一個(gè)重要性權(quán)重然后加權(quán)求和成一個(gè)固定維度的向量。核心實(shí)現(xiàn)如下# Attention 層對(duì) Bi-LSTM 的每個(gè)時(shí)間步加權(quán) def attention_layer(hidden_states): # hidden_states: (batch, time_steps, hidden_dim) dense tf.keras.layers.Dense( hidden_states.shape[-1], activationtanh )(hidden_states) score tf.keras.layers.Dense(1)(dense) weights tf.nn.softmax(score, axis1) context_vector tf.reduce_sum(weights * hidden_states, axis1) return context_vector這里的關(guān)鍵是tanh激活它把每個(gè)時(shí)間步的隱狀態(tài)壓到 -1 到 1 之間避免某個(gè)詞的原始數(shù)值過(guò)大直接主導(dǎo)權(quán)重第二個(gè)Dense(1)把壓縮后的向量投影成一個(gè)標(biāo)量分?jǐn)?shù)softmax沿著時(shí)間步維度歸一化保證權(quán)重和為 1。最后reduce_sum得到加權(quán)后的句子向量。這層設(shè)計(jì)對(duì)景區(qū)評(píng)論尤其有用像“值回票價(jià)”的“票價(jià)”、“排隊(duì)兩小時(shí)”的“排隊(duì)”這類詞會(huì)被賦予更高的權(quán)重。你在main_load.ipynb里預(yù)測(cè)一條評(píng)論時(shí)可以順手把 Attention 權(quán)重打印出來(lái)看看模型到底在關(guān)注哪些詞這比只看一個(gè)預(yù)測(cè)標(biāo)簽靠譜得多。3.3 對(duì)抗訓(xùn)練把擾動(dòng)加到 Embedding 層逼模型更抗噪對(duì)抗訓(xùn)練在這個(gè)項(xiàng)目里的套路是在 Embedding 層上加一個(gè)非常小的擾動(dòng)讓模型在不改變語(yǔ)義的前提下面對(duì)“被攻擊”的輸入。常見做法是 FGM核心邏輯是對(duì) Embedding 的梯度做歸一化再乘一個(gè) epsilon 作為擾動(dòng)方向。用法如下# 融合對(duì)抗訓(xùn)練的訓(xùn)練循環(huán)片段FGM 擾動(dòng) Embedding 層 epsilon 0.01 emb_layer model.get_layer(embedding) original_weights emb_layer.get_weights()[0] with tf.GradientTape() as tape: loss1 compute_loss(model, x_batch, y_batch) grads tape.gradient(loss1, model.trainable_variables) # 找到 Embedding 權(quán)重對(duì)應(yīng)梯度構(gòu)造擾動(dòng) emb_grad grads[embedding_grad_index] delta epsilon * emb_grad / (tf.norm(emb_grad) 1e-9) emb_layer.set_weights([original_weights delta]) with tf.GradientTape() as tape2: loss2 compute_loss(model, x_batch, y_batch) combined_grads grads tape2.gradient(loss2, model.trainable_variables) # 恢復(fù)原始權(quán)重用 combined_grads 更新模型 emb_layer.set_weights([original_weights])epsilon是擾動(dòng)幅度一般取 0.01~0.05。太小起不到對(duì)抗效果太大直接把詞向量語(yǔ)義空間破壞了訓(xùn)練 loss 會(huì)異常抖動(dòng)。擾動(dòng)方向用的是歸一化后的梯度方向而不是原始梯度是為了控制擾動(dòng)步長(zhǎng)。訓(xùn)練時(shí)先算正常 loss 的梯度擾動(dòng)后再算一次 loss 的梯度兩部分梯度相加再更新參數(shù)本質(zhì)上是讓模型在嵌入空間中往“更難分”的方向多走一步。這套東西放在畢設(shè)里價(jià)值是提升模型的魯棒性。景區(qū)評(píng)論里大量口語(yǔ)詞、emoji、錯(cuò)別字比如“想思”“風(fēng)景絕絕子”加入對(duì)抗擾動(dòng)后模型不會(huì)因?yàn)槟承┳盅鄣奈⑿∽兓头?。代價(jià)是訓(xùn)練時(shí)間大約增加 30%~50%而且對(duì) batch 大小更敏感batch_size64配合epsilon0.01通常是個(gè)穩(wěn)妥起點(diǎn)。4. Word2Vec 詞向量訓(xùn)練與超參調(diào)優(yōu)128 維、skip-gram 與詞表對(duì)齊經(jīng)驗(yàn)詞向量是這套情感分析的地基。Embedding 層初始化得不好后面 Bi-LSTM 再?gòu)?qiáng)也學(xué)不到東西。gensim_word2vec.ipynb這本 Notebook 專門干這個(gè)但很多人在復(fù)現(xiàn)時(shí)把它當(dāng)成“跑完就行”的步驟結(jié)果模型指標(biāo)一直上不去。詞向量的效果直接決定情感詞能不能在語(yǔ)義空間里聚在一起。4.1 gensim 訓(xùn)練流程先把語(yǔ)料變成 Sentence 列表gensim_word2vec.ipynb的核心調(diào)用是這樣的# gensim_word2vec.ipynb 中的詞向量訓(xùn)練 from gensim.models import Word2Vec sentences [line.strip().split() for line in open(data/corpus/3class/train.txt, r, encodingutf-8)] w2v_model Word2Vec( sentences, vector_size128, window5, min_count2, sg1, epochs8, workers4, ) w2v_model.save(word2vec/word2vec.model)參數(shù)含義要理解別盲目抄。vector_size128是詞向量維度景區(qū)評(píng)論語(yǔ)料規(guī)模通常在幾萬(wàn)句這個(gè)量級(jí)128 夠用語(yǔ)料小就降到 100 或 64window5是上下文窗口窗口越大越強(qiáng)調(diào)語(yǔ)義相似性但景區(qū)口語(yǔ)短句里距離超過(guò) 5 的詞基本沒有共現(xiàn)關(guān)系調(diào)太大會(huì)引入噪音min_count2表示出現(xiàn)次數(shù)低于 2 的詞直接丟掉太大會(huì)把“踩雷”“排雷”這種低頻但情感強(qiáng)烈的詞丟掉太小會(huì)讓詞表膨脹、訓(xùn)練變慢sg1用 skip-gram它在小語(yǔ)料上的效果通常比 CBOW 好因?yàn)榫皡^(qū)評(píng)論里很多詞共現(xiàn)稀疏epochs8是迭代次數(shù)語(yǔ)料小可以適當(dāng)加一點(diǎn)。跑完這一步檢查一個(gè)關(guān)鍵產(chǎn)物word2vec/word2vec.model文件。這個(gè)文件后續(xù)會(huì)被main_save.ipynb用來(lái)初始化 Embedding 矩陣。4.2 詞向量質(zhì)量驗(yàn)證不要只看 Loss要看相似詞訓(xùn)練完先別急著進(jìn)模型。我會(huì)做一次詞向量質(zhì)量抽檢# 詞向量質(zhì)量檢查看情感詞在語(yǔ)義空間中的鄰居 from gensim.models import Word2Vec w2v Word2Vec.load(word2vec/word2vec.model) print(w2v.wv.most_similar(風(fēng)景, topn5)) print(w2v.wv.most_similar(排隊(duì), topn5)) print(w2v.wv.most_similar(服務(wù), topn5))如果“風(fēng)景”的最近鄰是“景色”“環(huán)境”“山水”說(shuō)明詞向量訓(xùn)練正常如果“風(fēng)景”的最近鄰是“排隊(duì)”“門票”這類不相關(guān)詞大概率是window太大或者語(yǔ)料里有臟數(shù)據(jù)比如把整條評(píng)論當(dāng)成一個(gè)句子沒有切分。我遇到過(guò)最典型的情況是語(yǔ)料里混入了大量沒有分詞的文本導(dǎo)致“風(fēng)景不錯(cuò)”被當(dāng)成一個(gè)詞詞表里出現(xiàn)一堆稀碎的長(zhǎng) token這種詞向量喂給模型基本是災(zāi)難。4.3 詞表對(duì)齊隨機(jī)小值兜底 OOV詞向量訓(xùn)練完成之后model.py構(gòu)建 Embedding 矩陣時(shí)最重要的動(dòng)作是把 Gensim 詞表映射到模型詞表這一步經(jīng)常翻車。OOV詞表外詞一般用隨機(jī)小值初始化而不是全零向量否則網(wǎng)絡(luò)在反向傳播時(shí)對(duì) OOV 詞的梯度恒為零這類詞永遠(yuǎn)學(xué)不動(dòng)。# 構(gòu)建 Embedding 矩陣出現(xiàn)過(guò)的詞用預(yù)訓(xùn)練向量OOV 用隨機(jī)小值 import numpy as np vocab w2v.wv.key_to_index vocab_size len(vocab) 2 # 預(yù)留 UNK 和 PAD 位 embedding_matrix np.random.uniform(-0.05, 0.05, (vocab_size, 128)) for word, idx in vocab.items(): if word in w2v.wv: embedding_matrix[idx] w2v.wv[word]注意這里vocab_size要跟model.py里Embedding層的input_dim嚴(yán)格一致。2是給UNK和PAD預(yù)留位置如果模型用的是mask_zeroTruePAD 位必須設(shè)成 0。詞表對(duì)齊這件事看著是細(xì)節(jié)錯(cuò)了就會(huì)在第 5 章第一個(gè)坑里栽跟頭。5. 避坑與常見問題排查五條復(fù)現(xiàn)階段最容易翻車的報(bào)錯(cuò)記錄這份源碼整體能跑通但復(fù)現(xiàn)之路上的坑基本都集中在環(huán)境版本、詞表對(duì)齊和顯存控制上。下面這五條是高頻問題每條都按現(xiàn)象、原因、解決三步說(shuō)清楚算是這輪拆包的血淚經(jīng)驗(yàn)。5.1 加載詞向量報(bào)“索引越界”或“維度不匹配”現(xiàn)象運(yùn)行main_save.ipynb時(shí)Embedding 層初始化階段報(bào)IndexError或者ValueError: dimension mismatch有時(shí)候報(bào)錯(cuò)信息直接指向word2vec/word2vec.model。原因gensim_word2vec.ipynb訓(xùn)練的語(yǔ)料和main_save.ipynb讀取的語(yǔ)料不是同一份詞表不一致或者 Embedding 層的input_dim設(shè)置的是詞表大小但實(shí)際傳入的序列里包含UNK/PAD兩個(gè)額外 token索引超出預(yù)設(shè)范圍。解決統(tǒng)一詞表來(lái)源。我先跑完gensim_word2vec.ipynb把w2v.wv.key_to_index保存成 JSONmodel.py構(gòu)建 Embedding 層時(shí)直接用這個(gè) JSON 計(jì)算vocab_size并顯式處理UNK和PAD兩個(gè)位置的向量。再用tmp np.zeros((vocab_size, 128))兜底排查階段寧可多跑一次也要先確認(rèn)兩邊詞表長(zhǎng)度一致。5.2 顯存溢出CUDA_ERROR_OUT_OF_MEMORY現(xiàn)象訓(xùn)練到第幾個(gè) epoch突然報(bào)CUDA_ERROR_OUT_OF_MEMORY進(jìn)程直接退出。原因Bidirectional層的顯存占用是單向 LSTM 的兩倍加上 Attention 層要保存每個(gè)時(shí)間步的中間狀態(tài)batch_size128配sequence_length256很容易把顯存撐爆。這兩個(gè)配置疊加是顯存溢出的主要導(dǎo)火索。解決把batch_size降到 64 或 32再把max_len截到 128。景區(qū)評(píng)論普遍不長(zhǎng)超過(guò) 128 個(gè)字符的句子占比很低截?cái)嘤绊懖淮?。還可以在config.py里把lstm_units從 128 降到 64代價(jià)是精度略降但訓(xùn)練穩(wěn)定性明顯提升。我有一次在圖里加了recurrent_dropout0.2顯存占用還漲了一截后來(lái)改成 GPU 上跑時(shí)不加recurrent_dropout改成dropout0.3問題就緩解了。5.3 預(yù)測(cè)結(jié)果幾乎全落在“好評(píng)”這一類別現(xiàn)象main_load.ipynb對(duì)未標(biāo)注評(píng)論打分輸出結(jié)果里 80% 以上是正向。原因數(shù)據(jù)集不平衡。corpus/3class里中評(píng)樣本通常很少模型學(xué)不到中評(píng)特征推理時(shí)把大量“還行”“湊合”也歸到好評(píng)另外閾值設(shè)成默認(rèn) 0.5對(duì)三類任務(wù)并不適用。解決先看訓(xùn)練集類別分布如果中評(píng)占比低于 15%要么用二分類語(yǔ)料先跑通要么對(duì)中評(píng)做上采樣。預(yù)測(cè)階段不要硬取argmax改成看概率分布比如概率最高的兩類差值小于 0.2 時(shí)判為中評(píng)。我在復(fù)現(xiàn)時(shí)把三分類閾值改成“負(fù)向概率 0.6 判負(fù)正向概率 0.7 判正其余判中”效果比默認(rèn) 0.5 閾值好了不少。5.4 TensorFlow 版本升上去之后 API 直接失效現(xiàn)象用默認(rèn)環(huán)境安裝 TensorFlow 2.10 或 2.15跑main_save.ipynb時(shí)在模型編譯或訓(xùn)練階段報(bào)AttributeError比如某個(gè)層屬性不存在。原因這份源碼標(biāo)注的環(huán)境是 TensorFlow 2.3.0很多老寫法和新版本不兼容最典型的是自定義層和tf.keras內(nèi)部 API 的變動(dòng)。Gensim 從 3.x 升到 4.x 也改了部分接口word2vec.wv的訪問方式都變過(guò)。解決嚴(yán)格按資源說(shuō)明建環(huán)境。conda create -n text_sentiment python3.8.12后pip install tensorflow2.3.0、gensim4.1.2、jieba0.42.0。如果機(jī)器沒有合適的 GPU就裝 CPU 版 TensorFlow 2.3.0訓(xùn)練慢一點(diǎn)但能跑通。不要輕易用高版本去碰老代碼除非你做好了改 API 的準(zhǔn)備。5.5 自定義 Attention 層保存后加載失敗現(xiàn)象main_save.ipynb訓(xùn)練正常但main_load.ipynb加載模型時(shí)報(bào)Unknown Layer或ValueError: cannot serialize。原因TensorFlow 2.3 對(duì)自定義層的序列化要求類的定義在加載環(huán)境中可見。如果model.py里的Attention類沒有在main_load.ipynb里提前導(dǎo)入加載model.h5時(shí)框架認(rèn)不出這個(gè)層。解決在main_load.ipynb開頭先f(wàn)rom model import Attention或直接import model確保自定義層類在模型文件加載前已經(jīng)注冊(cè)。另一個(gè)穩(wěn)妥做法是保存時(shí)同時(shí)輸出模型結(jié)構(gòu)和權(quán)重加載時(shí)用tf.keras.models.clone_model重建結(jié)構(gòu)再load_weights載入?yún)?shù)。從那以后我每次換數(shù)據(jù)集都會(huì)強(qiáng)制走一遍“預(yù)測(cè) 20 條 → 人工回看 → 調(diào)閾值 → 再部署”的流程不再貪圖省事跳過(guò)驗(yàn)證。6. 落地化驗(yàn)證三分類概率折算評(píng)價(jià)分?jǐn)?shù)與人工抽驗(yàn)清單模型預(yù)測(cè)出的是“好評(píng) / 中評(píng) / 負(fù)評(píng)”的類別概率但業(yè)務(wù)上要的是景區(qū)評(píng)價(jià)分?jǐn)?shù)。直接把中評(píng)當(dāng)成硬分類結(jié)果會(huì)丟失很多轉(zhuǎn)折句的細(xì)節(jié)。這里分享一個(gè)我在復(fù)現(xiàn)時(shí)慣用的折算方式。# main_load.ipynb 中概率折算評(píng)分的常用擴(kuò)展 score_map {neg: 1, mid: 3, pos: 5} def prob_to_score(prob): labels [neg, mid, pos] total 0.0 for p, label in zip(prob, labels): total p * score_map[label] return round(total, 2) # 示例模型輸出 [0.1, 0.3, 0.6]對(duì)應(yīng)負(fù)/中/正 print(prob_to_score([0.1, 0.3, 0.6])) # 4.20 分這個(gè)做法的好處是把概率當(dāng)成置信度參與加權(quán)而不是硬切一刀?！帮L(fēng)景不錯(cuò)但人太多”如果模型給出負(fù) 0.4、中 0.4、正 0.2折算分是 2.6 分左右落在中低檔比硬判成好評(píng)合理得多。真正要落地時(shí)還可以給每條評(píng)論的分?jǐn)?shù)按時(shí)間衰減或按評(píng)論字?jǐn)?shù)加權(quán)但核心邏輯就是概率期望值。折算完分?jǐn)?shù)我強(qiáng)烈建議做一次人工抽驗(yàn)尤其在你換了新的語(yǔ)料之后。跑main_load.ipynb輸出 20 條預(yù)測(cè)結(jié)果建一張小表原文、預(yù)測(cè)類別、折算分?jǐn)?shù)、人工判斷。如果三條里有兩條人工判斷和模型預(yù)測(cè)方向不一致先不要急著調(diào)模型回頭檢查預(yù)處理和詞表對(duì)齊大概率是數(shù)據(jù)層面的問題。有一次我用這套流程給某跨平臺(tái)系統(tǒng)的評(píng)論數(shù)據(jù)做擴(kuò)展跳過(guò)人工抽驗(yàn)直接打分結(jié)果“中評(píng)”被全部加權(quán)成接近好評(píng)的高分后來(lái)才發(fā)現(xiàn)是語(yǔ)料里大量“一般般”被分詞切成了“一般”和“般”徹底帶偏了注意力權(quán)重。從那以后我每次換數(shù)據(jù)集都會(huì)強(qiáng)制走一遍“預(yù)測(cè) 20 條 → 人工回看 → 調(diào)閾值 → 再部署”的流程不再貪圖省事跳過(guò)驗(yàn)證。這份 Bi-LSTM 景區(qū)評(píng)論情感分析源碼的價(jià)值就在于它把詞向量、模型訓(xùn)練、預(yù)測(cè)和評(píng)分串成了一條可改可查的鏈路你只需要按第 5 章的環(huán)境配置把依賴鎖死再按第 6 章的驗(yàn)證方法過(guò)一遍就能穩(wěn)定地復(fù)現(xiàn)乃至改造它。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取