鍵詞抽取實戰(zhàn)：TF-IDF、TextRank與Word2Vec融合方案)
簡介這份資源面向具備一定Python基礎(chǔ)、希望系統(tǒng)掌握中文文本關(guān)鍵詞抽取的開發(fā)者與學(xué)習者圍繞TF-IDF、TextRank、Word2Vec詞聚類三種主流方法展開實踐。相比網(wǎng)上零散示例它重點補齊了Word2Vec詞聚類抽取流程不夠清晰的短板并以專利文本為樣例同樣適用于新聞、論文等中文語料。壓縮包共20個文件約879KB包含14個csv結(jié)果與樣例數(shù)據(jù)、4個py實現(xiàn)腳本、2個txt停用詞與詞性標注參考腳本分別對應(yīng)三種算法csv則保存各方法的抽取結(jié)果便于橫向?qū)Ρ刃Ч?。目前已?43人學(xué)習下載。通過數(shù)據(jù)、腳本與結(jié)果文件的完整配套讀者可快速跑通三種關(guān)鍵詞抽取方案理解詞向量聚類在關(guān)鍵詞發(fā)現(xiàn)中的作用并借助結(jié)果文件對照分析不同算法的差異為后續(xù)文本挖掘與聚類項目提供可復(fù)用的代碼基礎(chǔ)。1. 中文關(guān)鍵詞抽取的三條路線為什么我把 TF-IDF、TextRank、Word2Vec 放在同一個工程里跑做中文文本處理的人遲早會撞上同一個需求給一段沒有標注的文本把里面真正重要的詞撈出來。搜索、推薦、輿情監(jiān)控、論文輔助閱讀底層都繞不開這一步。但真正上手就會發(fā)現(xiàn)關(guān)鍵詞抽取不是調(diào)一個庫就完事——TF-IDF 快但吃不住語義TextRank 靠詞共現(xiàn)但容易把高頻虛詞帶進來Word2Vec 能抓語義但單獨用又抽不出詞。我見過太多人只跑通一個方法就交差結(jié)果換一批語料就翻車。這份 Python 項目實踐的價值在于它把三條路線放進同一個工程里對照著跑TF-IDF 做統(tǒng)計基線TextRank 做圖排序Word2Vec 做詞向量聚類最后用聚類把語義相近的詞歸并成關(guān)鍵詞簇。它適合已經(jīng)會寫 Python、但沒系統(tǒng)比較過這幾種方法的中文 NLP 從業(yè)者也適合拿它當課程設(shè)計或大作業(yè)的骨架——因為三種方法的輸入輸出格式統(tǒng)一替換語料就能復(fù)現(xiàn)。下面我按「先講清每條路線怎么落地再講怎么把它們串起來」的順序拆。2. TF-IDF 與 TextRank從分詞到詞權(quán)重的兩條實現(xiàn)路徑2.1 中文分詞與停用詞處理一切權(quán)重計算的前置條件TF-IDF 和 TextRank 都建立在「詞」這個單位上而中文沒有天然空格分隔所以分詞質(zhì)量直接決定后面所有結(jié)果。常見做法是用 jieba它自帶三種模式精確模式、全模式、搜索引擎模式。關(guān)鍵詞抽取一般用精確模式因為全模式會把「人工智能」切成「人工」「智能」「人工智能」三個詞權(quán)重被稀釋。import jieba import jieba.analyse # 加載自定義詞典把領(lǐng)域?qū)Ｓ性~固定下來 jieba.load_userdict(user_dict.txt) text 人工智能正在從嘗鮮工具變成日常幫手Python 是其中最常用的實現(xiàn)語言。 # 精確模式分詞 words jieba.lcut(text) print(words) # [人工智能, 正在, 從, 嘗鮮, 工具, 變成, 日常, 幫手, , Python, 是, 其中, 最, 常用, 的, 實現(xiàn), 語言, 。] # 過濾停用詞和單字 stopwords set(open(stopwords.txt, encodingutf-8).read().split()) filtered [w for w in words if w not in stopwords and len(w) 1] print(filtered) # [人工智能, 嘗鮮, 工具, 變成, 日常, 幫手, Python, 其中, 常用, 實現(xiàn), 語言]這段代碼的邏輯是先加載用戶詞典把「人工智能」「詞向量」這類會被 jieba 切碎的詞固定成一個整體然后精確模式切分最后用停用詞表和長度閾值過濾。參數(shù)上len(w) 1這個閾值不是絕對的——如果你的語料里「云」「鏈」這類單字是核心概念就得放寬到 1但代價是噪聲詞會明顯增多。停用詞表建議用哈工大停用詞表打底再手動補上你語料里的高頻無意義詞比如「進行」「方面」「問題」。提示自定義詞典的格式是「詞語 詞頻 詞性」詞頻可以省略但詞性如果寫了后續(xù)做詞性過濾時能直接用。2.2 TF-IDF 抽取統(tǒng)計基線怎么調(diào)才不虛TF-IDF 的核心思想很直白一個詞在當前文檔里出現(xiàn)越多、在整個語料里出現(xiàn)越少它就越可能是關(guān)鍵詞。jieba 的analyse.extract_tags已經(jīng)封裝好了這套邏輯但默認參數(shù)在中文短文本上經(jīng)常抽出一堆無意義的高頻詞。import jieba.analyse text open(sample.txt, encodingutf-8).read() # 提取 TopK 關(guān)鍵詞帶權(quán)重 keywords jieba.analyse.extract_tags( text, topK20, # 返回前 20 個 withWeightTrue, # 返回權(quán)重 allowPOS(n, nr, ns, nt, nz, v, vn) # 只保留名詞和動詞 ) for word, weight in keywords: print(f{word}\t{weight:.4f})這里最關(guān)鍵的兩個參數(shù)是topK和allowPOS。topK按經(jīng)驗取文檔長度的平方根左右比較穩(wěn)比如 500 字的文本取 15 到 20 個。allowPOS是過濾詞性的只保留名詞、人名、地名、機構(gòu)名、其他專名、動詞和名動詞能把「的」「了」「是」這類虛詞和大部分形容詞擋在外面。如果你不設(shè)這個參數(shù)TF-IDF 很容易把「可以」「進行」排到前面。TF-IDF 的短板在于它完全依賴詞頻統(tǒng)計不理解語義。比如「電腦」和「計算機」在它眼里是兩個無關(guān)的詞權(quán)重各算各的。這就是為什么需要 TextRank 和 Word2Vec 來補。2.3 TextRank 抽取把詞共現(xiàn)變成圖排序TextRank 的思路來自 PageRank把每個詞當成圖里的節(jié)點如果兩個詞在同一個窗口內(nèi)共現(xiàn)就在它們之間連一條邊邊的權(quán)重是共現(xiàn)次數(shù)。然后在這個圖上迭代計算每個節(jié)點的重要性最后按分數(shù)排序取 TopK。import jieba.analyse text open(sample.txt, encodingutf-8).read() # TextRank 抽取窗口默認 5 keywords jieba.analyse.textrank( text, topK20, withWeightTrue, allowPOS(n, vn, v) ) for word, weight in keywords: print(f{word}\t{weight:.4f})TextRank 和 TF-IDF 最大的區(qū)別是TF-IDF 看的是「這個詞在多少文檔里出現(xiàn)過」TextRank 看的是「這個詞和多少重要詞一起出現(xiàn)過」。所以在單篇長文本上TextRank 往往比 TF-IDF 更穩(wěn)因為它不依賴外部語料庫的 IDF 值。但 TextRank 有個坑窗口大小span默認是 5如果你的文本句子很短窗口會跨句共現(xiàn)把不相關(guān)的詞連起來。常見做法是先按句號、問號、感嘆號分句再在每句內(nèi)部做 TextRank或者把span調(diào)到 3 到 4。另一個坑是 TextRank 對高頻虛詞敏感。雖然allowPOS能擋掉一部分但像「使用」「進行」這種動詞如果沒進停用詞表還是會被排上來。我的習慣是TextRank 跑完之后再拿停用詞表過一遍把明顯無意義的詞手動剔掉。2.4 兩種方法的對照與選型把 TF-IDF 和 TextRank 放在一起跑同一段文本你會發(fā)現(xiàn)結(jié)果重疊度大概在 40% 到 60% 之間。重疊的部分通常是真正的核心詞不重疊的部分各有偏向TF-IDF 偏向全局高頻詞TextRank 偏向局部共現(xiàn)密集的詞。維度TF-IDFTextRank依賴外部語料需要 IDF 語料庫不需要單篇可跑適合文本長度中長文本、多文檔單篇長文本對分詞質(zhì)量敏感度高高語義理解無無典型翻車場景短文本抽出通用詞跨句共現(xiàn)引入噪聲選型上如果你手頭是一批文檔要做關(guān)鍵詞提取TF-IDF 更合適因為 IDF 值能跨文檔計算如果是一篇幾千字的報告要抽核心概念TextRank 通常更準。但兩者都解決不了同義詞問題這就得靠 Word2Vec。3. Word2Vec 詞向量與聚類讓語義相近的詞自動歸堆3.1 訓(xùn)練詞向量語料、參數(shù)與常見翻車點Word2Vec 把詞映射成稠密向量語義相近的詞在向量空間里距離更近。用它做關(guān)鍵詞抽取的思路是先訓(xùn)練詞向量再對詞向量做聚類把語義相近的詞歸成一簇每簇選一個代表詞作為關(guān)鍵詞。from gensim.models import Word2Vec import jieba import logging logging.basicConfig(format%(asctime)s : %(levelname)s : %(message)s, levellogging.INFO) # 讀取語料每行一篇文檔 corpus [] with open(corpus.txt, encodingutf-8) as f: for line in f: words jieba.lcut(line.strip()) words [w for w in words if len(w) 1 and w not in stopwords] if words: corpus.append(words) # 訓(xùn)練 Word2Vec model Word2Vec( sentencescorpus, vector_size100, # 向量維度 window5, # 上下文窗口 min_count5, # 低于此頻率的詞丟棄 workers4, # 并行線程數(shù) sg1, # 1 表示 Skip-gram0 表示 CBOW epochs10 # 迭代輪數(shù) ) model.save(word2vec.model)參數(shù)上vector_size取 100 到 300 之間比較常見語料小就取 100語料大可以到 300。window控制上下文范圍中文一般取 5。min_count是過濾低頻詞的語料小于 10 萬詞時取 3 到 5語料大可以取 10 以上。sg1用 Skip-gram對低頻詞更友好但訓(xùn)練慢sg0用 CBOW訓(xùn)練快但低頻詞效果差。epochs一般 5 到 15 輪再多容易過擬合。注意Word2Vec 訓(xùn)練語料如果太小比如只有幾萬字詞向量質(zhì)量會很差聚類結(jié)果基本不可用。常見做法是拿領(lǐng)域內(nèi)的大規(guī)模無標注文本先訓(xùn)一版或者直接用預(yù)訓(xùn)練詞向量。3.2 K-Means 聚類把詞向量歸成關(guān)鍵詞簇有了詞向量之后對詞向量做 K-Means 聚類每個簇里的詞語義相近。然后從每個簇里選一個離質(zhì)心最近的詞作為代表就是關(guān)鍵詞。from sklearn.cluster import KMeans import numpy as np # 取出詞表中所有詞的向量 words list(model.wv.index_to_key) vectors np.array([model.wv[w] for w in words]) # 聚類K 取 10 到 20 之間 k 15 kmeans KMeans(n_clustersk, random_state42, n_init10) labels kmeans.fit_predict(vectors) # 每個簇選離質(zhì)心最近的詞作為代表 for i in range(k): cluster_words [words[j] for j in range(len(words)) if labels[j] i] if not cluster_words: continue cluster_vectors np.array([model.wv[w] for w in cluster_words]) centroid kmeans.cluster_centers_[i] distances np.linalg.norm(cluster_vectors - centroid, axis1) representative cluster_words[np.argmin(distances)] print(f簇 {i}: 代表詞{representative}, 成員{cluster_words[:10]})n_clusters的選擇沒有固定公式一般按語料規(guī)模和關(guān)鍵詞數(shù)量預(yù)期來定。語料幾萬字取 10 到 15幾十萬字取 20 到 30。n_init10表示用不同初始質(zhì)心跑 10 次取最優(yōu)避免局部最優(yōu)。random_state固定住是為了結(jié)果可復(fù)現(xiàn)。聚類結(jié)果里經(jīng)常會出現(xiàn)一些簇全是噪聲詞或者一個簇里混了多個主題。這時候要么調(diào) K要么在聚類前先用 TF-IDF 或 TextRank 篩一遍候選詞只對候選詞做聚類能明顯提升質(zhì)量。3.3 三種方法的融合候選詞篩選加語義歸并單獨用 Word2Vec 聚類的問題是它會把所有詞都拿來聚包括大量無意義詞。所以實際工程里常見做法是先用 TF-IDF 或 TextRank 抽出一批候選詞再對候選詞的詞向量做聚類把語義相近的候選詞歸并成簇每簇選一個代表。# 先用 TextRank 抽候選詞 candidates jieba.analyse.textrank(text, topK50, withWeightFalse, allowPOS(n, vn, v)) # 只保留在詞向量詞表里的候選詞 candidates [w for w in candidates if w in model.wv] # 對候選詞向量聚類 candidate_vectors np.array([model.wv[w] for w in candidates]) kmeans KMeans(n_clusters8, random_state42, n_init10) labels kmeans.fit_predict(candidate_vectors) # 輸出每個簇的代表詞 for i in range(8): cluster_words [candidates[j] for j in range(len(candidates)) if labels[j] i] if cluster_words: print(f關(guān)鍵詞簇 {i}: {cluster_words})這樣做的邏輯是TextRank 負責從原文里篩出「值得考慮」的詞Word2Vec 聚類負責把「電腦」「計算機」「PC」這類同義詞歸到一起最后每個簇輸出一個代表詞。參數(shù)上候選詞數(shù)量topK取 30 到 50 比較合適太少會漏掉重要詞太多會引入噪聲。聚類數(shù)n_clusters取候選詞數(shù)量的 1/5 到 1/3。3.4 效果驗證怎么判斷抽出來的關(guān)鍵詞靠不靠譜關(guān)鍵詞抽取沒有絕對的標準答案但可以用幾個方法交叉驗證。一是人工抽查隨機抽 20 篇文檔看抽出的關(guān)鍵詞是否覆蓋了文檔核心內(nèi)容。二是對比不同方法的重疊度如果 TF-IDF、TextRank、Word2Vec 三種方法都抽出了同一個詞那這個詞大概率是真正重要的。三是用下游任務(wù)驗證把關(guān)鍵詞喂給分類器或檢索系統(tǒng)看效果有沒有提升。我一般會先跑一版三種方法的結(jié)果人工看一遍把明顯不對的詞記下來反推是分詞問題、停用詞問題還是參數(shù)問題。這個過程比調(diào)參本身更重要。4. 避坑與排查中文關(guān)鍵詞抽取里最容易翻車的五個地方4.1 分詞把關(guān)鍵詞切碎導(dǎo)致權(quán)重全錯現(xiàn)象TF-IDF 和 TextRank 抽出來的詞都是「人工」「智能」這種碎片而不是「人工智能」。原因jieba 默認詞典里沒有「人工智能」這個整體詞或者你的領(lǐng)域?qū)Ｓ性~沒進自定義詞典。解決在分詞前加載自定義詞典把領(lǐng)域詞固定下來。格式是每行一個詞可以帶詞頻和詞性。如果詞很多可以從領(lǐng)域語料里用新詞發(fā)現(xiàn)算法先跑一遍把高頻共現(xiàn)的字組合提取出來。4.2 停用詞表不匹配高頻虛詞霸榜現(xiàn)象抽出來的關(guān)鍵詞里有「進行」「方面」「問題」「使用」這類詞。原因停用詞表用的是通用表沒有覆蓋你語料里的高頻無意義詞。解決先跑一遍詞頻統(tǒng)計把 Top 100 高頻詞里明顯無意義的詞手動加進停用詞表。這個步驟每個新語料都要做一遍沒有一勞永逸的停用詞表。4.3 TextRank 窗口跨句共現(xiàn)引入無關(guān)詞現(xiàn)象TextRank 抽出的詞里有一些和文檔主題無關(guān)的詞。原因默認窗口span5在短句文本上會跨句共現(xiàn)把不同句子的詞連起來。解決先按標點分句再在每句內(nèi)部做 TextRank或者把span調(diào)到 3。如果文本句子普遍很短分句處理是必須的。4.4 Word2Vec 語料太小詞向量質(zhì)量差現(xiàn)象聚類結(jié)果里同一個簇的詞語義不相關(guān)或者所有詞都聚成一簇。原因訓(xùn)練語料太小詞向量沒有學(xué)到有效的語義關(guān)系。解決要么擴大語料要么直接用預(yù)訓(xùn)練詞向量。如果必須用小語料訓(xùn)練把vector_size降到 50 到 100min_count降到 2 到 3epochs增加到 15 到 20但效果提升有限。4.5 聚類數(shù) K 拍腦袋定結(jié)果不可用現(xiàn)象聚類結(jié)果要么一個簇里幾百個詞要么每個簇只有一兩個詞。原因n_clusters沒有根據(jù)候選詞數(shù)量調(diào)整。解決先用肘部法或輪廓系數(shù)粗估一個范圍再人工看幾組結(jié)果。經(jīng)驗值是候選詞數(shù)量的 1/5 到 1/3。如果候選詞只有 30 個K 取 6 到 10如果候選詞有 200 個K 取 20 到 40。5. 把三種方法串成一條流水線一個可復(fù)用的抽取腳本前面幾章分別講了 TF-IDF、TextRank、Word2Vec 聚類的實現(xiàn)但實際工程里不會單獨用某一種而是串成一條流水線分詞 → 候選詞篩選 → 語義聚類 → 輸出關(guān)鍵詞。下面這個腳本把三種方法整合在一起輸入一段中文文本輸出最終的關(guān)鍵詞列表。import jieba import jieba.analyse import numpy as np from gensim.models import Word2Vec from sklearn.cluster import KMeans class KeywordExtractor: def __init__(self, stopwords_path, userdict_pathNone, w2v_modelNone): self.stopwords set(open(stopwords_path, encodingutf-8).read().split()) if userdict_path: jieba.load_userdict(userdict_path) self.w2v w2v_model def preprocess(self, text): words jieba.lcut(text) return [w for w in words if w not in self.stopwords and len(w) 1] def extract_tfidf(self, text, topK20): return jieba.analyse.extract_tags( text, topKtopK, withWeightTrue, allowPOS(n, nr, ns, nt, nz, v, vn) ) def extract_textrank(self, text, topK20): return jieba.analyse.textrank( text, topKtopK, withWeightTrue, allowPOS(n, vn, v) ) def extract_w2v_cluster(self, text, topK50, n_clusters8): if self.w2v is None: raise ValueError(需要傳入訓(xùn)練好的 Word2Vec 模型) candidates jieba.analyse.textrank( text, topKtopK, withWeightFalse, allowPOS(n, vn, v) ) candidates [w for w in candidates if w in self.w2v.wv] if len(candidates) n_clusters: return [(w, 1.0) for w in candidates] vectors np.array([self.w2v.wv[w] for w in candidates]) kmeans KMeans(n_clustersn_clusters, random_state42, n_init10) labels kmeans.fit_predict(vectors) result [] for i in range(n_clusters): cluster_words [candidates[j] for j in range(len(candidates)) if labels[j] i] if cluster_words: cluster_vectors np.array([self.w2v.wv[w] for w in cluster_words]) centroid kmeans.cluster_centers_[i] distances np.linalg.norm(cluster_vectors - centroid, axis1) representative cluster_words[np.argmin(distances)] result.append((representative, len(cluster_words))) return result def extract_all(self, text): tfidf self.extract_tfidf(text) textrank self.extract_textrank(text) w2v self.extract_w2v_cluster(text) return { tfidf: tfidf, textrank: textrank, w2v_cluster: w2v } # 使用示例 extractor KeywordExtractor( stopwords_pathstopwords.txt, userdict_pathuser_dict.txt, w2v_modelWord2Vec.load(word2vec.model) ) text open(sample.txt, encodingutf-8).read() results extractor.extract_all(text) print(TF-IDF:, [w for w, _ in results[tfidf][:10]]) print(TextRank:, [w for w, _ in results[textrank][:10]]) print(Word2Vec 聚類:, [w for w, _ in results[w2v_cluster]])這個腳本的關(guān)鍵設(shè)計是extract_all同時返回三種方法的結(jié)果方便對照。extract_w2v_cluster里先做候選詞篩選再聚類避免噪聲詞干擾。n_clusters默認取 8實際用時按候選詞數(shù)量調(diào)整。如果候選詞少于聚類數(shù)直接返回候選詞本身不強行聚類。參數(shù)調(diào)整上topK控制每種方法返回的關(guān)鍵詞數(shù)量一般 15 到 30 之間。n_clusters控制 Word2Vec 聚類的簇數(shù)候選詞 50 個左右時取 8 到 12 比較合適。停用詞表和自定義詞典需要根據(jù)語料手動維護沒有通用版本。驗證方法上我習慣先跑一遍三種方法把結(jié)果并排看。如果三種方法都抽出了同一個詞這個詞基本可以確定是核心關(guān)鍵詞。如果只有一種方法抽出某個詞就要人工判斷是不是噪聲。這個對照過程跑幾輪之后你對參數(shù)的直覺會準很多。從那以后我每次換新語料都強制先跑一遍詞頻統(tǒng)計和分詞檢查確認停用詞表和自定義詞典沒問題再開始調(diào)抽取參數(shù)。這個習慣幫我省掉了大量返工時間。希望幫到你。本文還有配套的精品資源點擊獲取 中文關(guān)鍵詞抽取實戰(zhàn)：TF-IDF、TextRank與Word2Vec融合方案
簡介這份資源面向具備一定Python基礎(chǔ)、希望系統(tǒng)掌握中文文本關(guān)鍵詞抽取的開發(fā)者與學(xué)習者圍繞TF-IDF、TextRank、Word2Vec詞聚類三種主流方法展開實踐。相比網(wǎng)上零散示例它重點補齊了Word2Vec詞聚類抽取流程不夠清晰的短板并以專利文本為樣例同樣適用于新聞、論文等中文語料。壓縮包共20個文件約879KB包含14個csv結(jié)果與樣例數(shù)據(jù)、4個py實現(xiàn)腳本、2個txt停用詞與詞性標注參考腳本分別對應(yīng)三種算法csv則保存各方法的抽取結(jié)果便于橫向?qū)Ρ刃Ч?。目前已?43人學(xué)習下載。通過數(shù)據(jù)、腳本與結(jié)果文件的完整配套讀者可快速跑通三種關(guān)鍵詞抽取方案理解詞向量聚類在關(guān)鍵詞發(fā)現(xiàn)中的作用并借助結(jié)果文件對照分析不同算法的差異為后續(xù)文本挖掘與聚類項目提供可復(fù)用的代碼基礎(chǔ)。1. 中文關(guān)鍵詞抽取的三條路線為什么我把 TF-IDF、TextRank、Word2Vec 放在同一個工程里跑做中文文本處理的人遲早會撞上同一個需求給一段沒有標注的文本把里面真正重要的詞撈出來。搜索、推薦、輿情監(jiān)控、論文輔助閱讀底層都繞不開這一步。但真正上手就會發(fā)現(xiàn)關(guān)鍵詞抽取不是調(diào)一個庫就完事——TF-IDF 快但吃不住語義TextRank 靠詞共現(xiàn)但容易把高頻虛詞帶進來Word2Vec 能抓語義但單獨用又抽不出詞。我見過太多人只跑通一個方法就交差結(jié)果換一批語料就翻車。這份 Python 項目實踐的價值在于它把三條路線放進同一個工程里對照著跑TF-IDF 做統(tǒng)計基線TextRank 做圖排序Word2Vec 做詞向量聚類最后用聚類把語義相近的詞歸并成關(guān)鍵詞簇。它適合已經(jīng)會寫 Python、但沒系統(tǒng)比較過這幾種方法的中文 NLP 從業(yè)者也適合拿它當課程設(shè)計或大作業(yè)的骨架——因為三種方法的輸入輸出格式統(tǒng)一替換語料就能復(fù)現(xiàn)。下面我按「先講清每條路線怎么落地再講怎么把它們串起來」的順序拆。2. TF-IDF 與 TextRank從分詞到詞權(quán)重的兩條實現(xiàn)路徑2.1 中文分詞與停用詞處理一切權(quán)重計算的前置條件TF-IDF 和 TextRank 都建立在「詞」這個單位上而中文沒有天然空格分隔所以分詞質(zhì)量直接決定后面所有結(jié)果。常見做法是用 jieba它自帶三種模式精確模式、全模式、搜索引擎模式。關(guān)鍵詞抽取一般用精確模式因為全模式會把「人工智能」切成「人工」「智能」「人工智能」三個詞權(quán)重被稀釋。import jieba import jieba.analyse # 加載自定義詞典把領(lǐng)域?qū)Ｓ性~固定下來 jieba.load_userdict(user_dict.txt) text 人工智能正在從嘗鮮工具變成日常幫手Python 是其中最常用的實現(xiàn)語言。 # 精確模式分詞 words jieba.lcut(text) print(words) # [人工智能, 正在, 從, 嘗鮮, 工具, 變成, 日常, 幫手, , Python, 是, 其中, 最, 常用, 的, 實現(xiàn), 語言, 。] # 過濾停用詞和單字 stopwords set(open(stopwords.txt, encodingutf-8).read().split()) filtered [w for w in words if w not in stopwords and len(w) 1] print(filtered) # [人工智能, 嘗鮮, 工具, 變成, 日常, 幫手, Python, 其中, 常用, 實現(xiàn), 語言]這段代碼的邏輯是先加載用戶詞典把「人工智能」「詞向量」這類會被 jieba 切碎的詞固定成一個整體然后精確模式切分最后用停用詞表和長度閾值過濾。參數(shù)上len(w) 1這個閾值不是絕對的——如果你的語料里「云」「鏈」這類單字是核心概念就得放寬到 1但代價是噪聲詞會明顯增多。停用詞表建議用哈工大停用詞表打底再手動補上你語料里的高頻無意義詞比如「進行」「方面」「問題」。提示自定義詞典的格式是「詞語 詞頻 詞性」詞頻可以省略但詞性如果寫了后續(xù)做詞性過濾時能直接用。2.2 TF-IDF 抽取統(tǒng)計基線怎么調(diào)才不虛TF-IDF 的核心思想很直白一個詞在當前文檔里出現(xiàn)越多、在整個語料里出現(xiàn)越少它就越可能是關(guān)鍵詞。jieba 的analyse.extract_tags已經(jīng)封裝好了這套邏輯但默認參數(shù)在中文短文本上經(jīng)常抽出一堆無意義的高頻詞。import jieba.analyse text open(sample.txt, encodingutf-8).read() # 提取 TopK 關(guān)鍵詞帶權(quán)重 keywords jieba.analyse.extract_tags( text, topK20, # 返回前 20 個 withWeightTrue, # 返回權(quán)重 allowPOS(n, nr, ns, nt, nz, v, vn) # 只保留名詞和動詞 ) for word, weight in keywords: print(f{word}\t{weight:.4f})這里最關(guān)鍵的兩個參數(shù)是topK和allowPOS。topK按經(jīng)驗取文檔長度的平方根左右比較穩(wěn)比如 500 字的文本取 15 到 20 個。allowPOS是過濾詞性的只保留名詞、人名、地名、機構(gòu)名、其他專名、動詞和名動詞能把「的」「了」「是」這類虛詞和大部分形容詞擋在外面。如果你不設(shè)這個參數(shù)TF-IDF 很容易把「可以」「進行」排到前面。TF-IDF 的短板在于它完全依賴詞頻統(tǒng)計不理解語義。比如「電腦」和「計算機」在它眼里是兩個無關(guān)的詞權(quán)重各算各的。這就是為什么需要 TextRank 和 Word2Vec 來補。2.3 TextRank 抽取把詞共現(xiàn)變成圖排序TextRank 的思路來自 PageRank把每個詞當成圖里的節(jié)點如果兩個詞在同一個窗口內(nèi)共現(xiàn)就在它們之間連一條邊邊的權(quán)重是共現(xiàn)次數(shù)。然后在這個圖上迭代計算每個節(jié)點的重要性最后按分數(shù)排序取 TopK。import jieba.analyse text open(sample.txt, encodingutf-8).read() # TextRank 抽取窗口默認 5 keywords jieba.analyse.textrank( text, topK20, withWeightTrue, allowPOS(n, vn, v) ) for word, weight in keywords: print(f{word}\t{weight:.4f})TextRank 和 TF-IDF 最大的區(qū)別是TF-IDF 看的是「這個詞在多少文檔里出現(xiàn)過」TextRank 看的是「這個詞和多少重要詞一起出現(xiàn)過」。所以在單篇長文本上TextRank 往往比 TF-IDF 更穩(wěn)因為它不依賴外部語料庫的 IDF 值。但 TextRank 有個坑窗口大小span默認是 5如果你的文本句子很短窗口會跨句共現(xiàn)把不相關(guān)的詞連起來。常見做法是先按句號、問號、感嘆號分句再在每句內(nèi)部做 TextRank或者把span調(diào)到 3 到 4。另一個坑是 TextRank 對高頻虛詞敏感。雖然allowPOS能擋掉一部分但像「使用」「進行」這種動詞如果沒進停用詞表還是會被排上來。我的習慣是TextRank 跑完之后再拿停用詞表過一遍把明顯無意義的詞手動剔掉。2.4 兩種方法的對照與選型把 TF-IDF 和 TextRank 放在一起跑同一段文本你會發(fā)現(xiàn)結(jié)果重疊度大概在 40% 到 60% 之間。重疊的部分通常是真正的核心詞不重疊的部分各有偏向TF-IDF 偏向全局高頻詞TextRank 偏向局部共現(xiàn)密集的詞。維度TF-IDFTextRank依賴外部語料需要 IDF 語料庫不需要單篇可跑適合文本長度中長文本、多文檔單篇長文本對分詞質(zhì)量敏感度高高語義理解無無典型翻車場景短文本抽出通用詞跨句共現(xiàn)引入噪聲選型上如果你手頭是一批文檔要做關(guān)鍵詞提取TF-IDF 更合適因為 IDF 值能跨文檔計算如果是一篇幾千字的報告要抽核心概念TextRank 通常更準。但兩者都解決不了同義詞問題這就得靠 Word2Vec。3. Word2Vec 詞向量與聚類讓語義相近的詞自動歸堆3.1 訓(xùn)練詞向量語料、參數(shù)與常見翻車點Word2Vec 把詞映射成稠密向量語義相近的詞在向量空間里距離更近。用它做關(guān)鍵詞抽取的思路是先訓(xùn)練詞向量再對詞向量做聚類把語義相近的詞歸成一簇每簇選一個代表詞作為關(guān)鍵詞。from gensim.models import Word2Vec import jieba import logging logging.basicConfig(format%(asctime)s : %(levelname)s : %(message)s, levellogging.INFO) # 讀取語料每行一篇文檔 corpus [] with open(corpus.txt, encodingutf-8) as f: for line in f: words jieba.lcut(line.strip()) words [w for w in words if len(w) 1 and w not in stopwords] if words: corpus.append(words) # 訓(xùn)練 Word2Vec model Word2Vec( sentencescorpus, vector_size100, # 向量維度 window5, # 上下文窗口 min_count5, # 低于此頻率的詞丟棄 workers4, # 并行線程數(shù) sg1, # 1 表示 Skip-gram0 表示 CBOW epochs10 # 迭代輪數(shù) ) model.save(word2vec.model)參數(shù)上vector_size取 100 到 300 之間比較常見語料小就取 100語料大可以到 300。window控制上下文范圍中文一般取 5。min_count是過濾低頻詞的語料小于 10 萬詞時取 3 到 5語料大可以取 10 以上。sg1用 Skip-gram對低頻詞更友好但訓(xùn)練慢sg0用 CBOW訓(xùn)練快但低頻詞效果差。epochs一般 5 到 15 輪再多容易過擬合。注意Word2Vec 訓(xùn)練語料如果太小比如只有幾萬字詞向量質(zhì)量會很差聚類結(jié)果基本不可用。常見做法是拿領(lǐng)域內(nèi)的大規(guī)模無標注文本先訓(xùn)一版或者直接用預(yù)訓(xùn)練詞向量。3.2 K-Means 聚類把詞向量歸成關(guān)鍵詞簇有了詞向量之后對詞向量做 K-Means 聚類每個簇里的詞語義相近。然后從每個簇里選一個離質(zhì)心最近的詞作為代表就是關(guān)鍵詞。from sklearn.cluster import KMeans import numpy as np # 取出詞表中所有詞的向量 words list(model.wv.index_to_key) vectors np.array([model.wv[w] for w in words]) # 聚類K 取 10 到 20 之間 k 15 kmeans KMeans(n_clustersk, random_state42, n_init10) labels kmeans.fit_predict(vectors) # 每個簇選離質(zhì)心最近的詞作為代表 for i in range(k): cluster_words [words[j] for j in range(len(words)) if labels[j] i] if not cluster_words: continue cluster_vectors np.array([model.wv[w] for w in cluster_words]) centroid kmeans.cluster_centers_[i] distances np.linalg.norm(cluster_vectors - centroid, axis1) representative cluster_words[np.argmin(distances)] print(f簇 {i}: 代表詞{representative}, 成員{cluster_words[:10]})n_clusters的選擇沒有固定公式一般按語料規(guī)模和關(guān)鍵詞數(shù)量預(yù)期來定。語料幾萬字取 10 到 15幾十萬字取 20 到 30。n_init10表示用不同初始質(zhì)心跑 10 次取最優(yōu)避免局部最優(yōu)。random_state固定住是為了結(jié)果可復(fù)現(xiàn)。聚類結(jié)果里經(jīng)常會出現(xiàn)一些簇全是噪聲詞或者一個簇里混了多個主題。這時候要么調(diào) K要么在聚類前先用 TF-IDF 或 TextRank 篩一遍候選詞只對候選詞做聚類能明顯提升質(zhì)量。3.3 三種方法的融合候選詞篩選加語義歸并單獨用 Word2Vec 聚類的問題是它會把所有詞都拿來聚包括大量無意義詞。所以實際工程里常見做法是先用 TF-IDF 或 TextRank 抽出一批候選詞再對候選詞的詞向量做聚類把語義相近的候選詞歸并成簇每簇選一個代表。# 先用 TextRank 抽候選詞 candidates jieba.analyse.textrank(text, topK50, withWeightFalse, allowPOS(n, vn, v)) # 只保留在詞向量詞表里的候選詞 candidates [w for w in candidates if w in model.wv] # 對候選詞向量聚類 candidate_vectors np.array([model.wv[w] for w in candidates]) kmeans KMeans(n_clusters8, random_state42, n_init10) labels kmeans.fit_predict(candidate_vectors) # 輸出每個簇的代表詞 for i in range(8): cluster_words [candidates[j] for j in range(len(candidates)) if labels[j] i] if cluster_words: print(f關(guān)鍵詞簇 {i}: {cluster_words})這樣做的邏輯是TextRank 負責從原文里篩出「值得考慮」的詞Word2Vec 聚類負責把「電腦」「計算機」「PC」這類同義詞歸到一起最后每個簇輸出一個代表詞。參數(shù)上候選詞數(shù)量topK取 30 到 50 比較合適太少會漏掉重要詞太多會引入噪聲。聚類數(shù)n_clusters取候選詞數(shù)量的 1/5 到 1/3。3.4 效果驗證怎么判斷抽出來的關(guān)鍵詞靠不靠譜關(guān)鍵詞抽取沒有絕對的標準答案但可以用幾個方法交叉驗證。一是人工抽查隨機抽 20 篇文檔看抽出的關(guān)鍵詞是否覆蓋了文檔核心內(nèi)容。二是對比不同方法的重疊度如果 TF-IDF、TextRank、Word2Vec 三種方法都抽出了同一個詞那這個詞大概率是真正重要的。三是用下游任務(wù)驗證把關(guān)鍵詞喂給分類器或檢索系統(tǒng)看效果有沒有提升。我一般會先跑一版三種方法的結(jié)果人工看一遍把明顯不對的詞記下來反推是分詞問題、停用詞問題還是參數(shù)問題。這個過程比調(diào)參本身更重要。4. 避坑與排查中文關(guān)鍵詞抽取里最容易翻車的五個地方4.1 分詞把關(guān)鍵詞切碎導(dǎo)致權(quán)重全錯現(xiàn)象TF-IDF 和 TextRank 抽出來的詞都是「人工」「智能」這種碎片而不是「人工智能」。原因jieba 默認詞典里沒有「人工智能」這個整體詞或者你的領(lǐng)域?qū)Ｓ性~沒進自定義詞典。解決在分詞前加載自定義詞典把領(lǐng)域詞固定下來。格式是每行一個詞可以帶詞頻和詞性。如果詞很多可以從領(lǐng)域語料里用新詞發(fā)現(xiàn)算法先跑一遍把高頻共現(xiàn)的字組合提取出來。4.2 停用詞表不匹配高頻虛詞霸榜現(xiàn)象抽出來的關(guān)鍵詞里有「進行」「方面」「問題」「使用」這類詞。原因停用詞表用的是通用表沒有覆蓋你語料里的高頻無意義詞。解決先跑一遍詞頻統(tǒng)計把 Top 100 高頻詞里明顯無意義的詞手動加進停用詞表。這個步驟每個新語料都要做一遍沒有一勞永逸的停用詞表。4.3 TextRank 窗口跨句共現(xiàn)引入無關(guān)詞現(xiàn)象TextRank 抽出的詞里有一些和文檔主題無關(guān)的詞。原因默認窗口span5在短句文本上會跨句共現(xiàn)把不同句子的詞連起來。解決先按標點分句再在每句內(nèi)部做 TextRank或者把span調(diào)到 3。如果文本句子普遍很短分句處理是必須的。4.4 Word2Vec 語料太小詞向量質(zhì)量差現(xiàn)象聚類結(jié)果里同一個簇的詞語義不相關(guān)或者所有詞都聚成一簇。原因訓(xùn)練語料太小詞向量沒有學(xué)到有效的語義關(guān)系。解決要么擴大語料要么直接用預(yù)訓(xùn)練詞向量。如果必須用小語料訓(xùn)練把vector_size降到 50 到 100min_count降到 2 到 3epochs增加到 15 到 20但效果提升有限。4.5 聚類數(shù) K 拍腦袋定結(jié)果不可用現(xiàn)象聚類結(jié)果要么一個簇里幾百個詞要么每個簇只有一兩個詞。原因n_clusters沒有根據(jù)候選詞數(shù)量調(diào)整。解決先用肘部法或輪廓系數(shù)粗估一個范圍再人工看幾組結(jié)果。經(jīng)驗值是候選詞數(shù)量的 1/5 到 1/3。如果候選詞只有 30 個K 取 6 到 10如果候選詞有 200 個K 取 20 到 40。5. 把三種方法串成一條流水線一個可復(fù)用的抽取腳本前面幾章分別講了 TF-IDF、TextRank、Word2Vec 聚類的實現(xiàn)但實際工程里不會單獨用某一種而是串成一條流水線分詞 → 候選詞篩選 → 語義聚類 → 輸出關(guān)鍵詞。下面這個腳本把三種方法整合在一起輸入一段中文文本輸出最終的關(guān)鍵詞列表。import jieba import jieba.analyse import numpy as np from gensim.models import Word2Vec from sklearn.cluster import KMeans class KeywordExtractor: def __init__(self, stopwords_path, userdict_pathNone, w2v_modelNone): self.stopwords set(open(stopwords_path, encodingutf-8).read().split()) if userdict_path: jieba.load_userdict(userdict_path) self.w2v w2v_model def preprocess(self, text): words jieba.lcut(text) return [w for w in words if w not in self.stopwords and len(w) 1] def extract_tfidf(self, text, topK20): return jieba.analyse.extract_tags( text, topKtopK, withWeightTrue, allowPOS(n, nr, ns, nt, nz, v, vn) ) def extract_textrank(self, text, topK20): return jieba.analyse.textrank( text, topKtopK, withWeightTrue, allowPOS(n, vn, v) ) def extract_w2v_cluster(self, text, topK50, n_clusters8): if self.w2v is None: raise ValueError(需要傳入訓(xùn)練好的 Word2Vec 模型) candidates jieba.analyse.textrank( text, topKtopK, withWeightFalse, allowPOS(n, vn, v) ) candidates [w for w in candidates if w in self.w2v.wv] if len(candidates) n_clusters: return [(w, 1.0) for w in candidates] vectors np.array([self.w2v.wv[w] for w in candidates]) kmeans KMeans(n_clustersn_clusters, random_state42, n_init10) labels kmeans.fit_predict(vectors) result [] for i in range(n_clusters): cluster_words [candidates[j] for j in range(len(candidates)) if labels[j] i] if cluster_words: cluster_vectors np.array([self.w2v.wv[w] for w in cluster_words]) centroid kmeans.cluster_centers_[i] distances np.linalg.norm(cluster_vectors - centroid, axis1) representative cluster_words[np.argmin(distances)] result.append((representative, len(cluster_words))) return result def extract_all(self, text): tfidf self.extract_tfidf(text) textrank self.extract_textrank(text) w2v self.extract_w2v_cluster(text) return { tfidf: tfidf, textrank: textrank, w2v_cluster: w2v } # 使用示例 extractor KeywordExtractor( stopwords_pathstopwords.txt, userdict_pathuser_dict.txt, w2v_modelWord2Vec.load(word2vec.model) ) text open(sample.txt, encodingutf-8).read() results extractor.extract_all(text) print(TF-IDF:, [w for w, _ in results[tfidf][:10]]) print(TextRank:, [w for w, _ in results[textrank][:10]]) print(Word2Vec 聚類:, [w for w, _ in results[w2v_cluster]])這個腳本的關(guān)鍵設(shè)計是extract_all同時返回三種方法的結(jié)果方便對照。extract_w2v_cluster里先做候選詞篩選再聚類避免噪聲詞干擾。n_clusters默認取 8實際用時按候選詞數(shù)量調(diào)整。如果候選詞少于聚類數(shù)直接返回候選詞本身不強行聚類。參數(shù)調(diào)整上topK控制每種方法返回的關(guān)鍵詞數(shù)量一般 15 到 30 之間。n_clusters控制 Word2Vec 聚類的簇數(shù)候選詞 50 個左右時取 8 到 12 比較合適。停用詞表和自定義詞典需要根據(jù)語料手動維護沒有通用版本。驗證方法上我習慣先跑一遍三種方法把結(jié)果并排看。如果三種方法都抽出了同一個詞這個詞基本可以確定是核心關(guān)鍵詞。如果只有一種方法抽出某個詞就要人工判斷是不是噪聲。這個對照過程跑幾輪之后你對參數(shù)的直覺會準很多。從那以后我每次換新語料都強制先跑一遍詞頻統(tǒng)計和分詞檢查確認停用詞表和自定義詞典沒問題再開始調(diào)抽取參數(shù)。這個習慣幫我省掉了大量返工時間。希望幫到你。本文還有配套的精品資源點擊獲取