簡(jiǎn)介資源為一份完整的中文分詞課程設(shè)計(jì)報(bào)告面向信息安全、自然語言處理相關(guān)專業(yè)的本科生或課程設(shè)計(jì)學(xué)習(xí)者。報(bào)告以中文分詞系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)為主線重點(diǎn)闡述Trie樹結(jié)構(gòu)、DAG有向無環(huán)圖的構(gòu)建方法以及MMSEG等經(jīng)典分詞算法的規(guī)則與優(yōu)化思路內(nèi)容覆蓋從數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)到算法實(shí)現(xiàn)的完整過程。壓縮包共1個(gè)文件為docx格式文檔包體大小約1.69MB便于直接下載查看或在此基礎(chǔ)上進(jìn)行修改擴(kuò)展。資源目前已有58人學(xué)習(xí)瀏覽適合需要參考課程設(shè)計(jì)框架、算法思路或報(bào)告寫作結(jié)構(gòu)的人群。報(bào)告中包含詳細(xì)目錄、關(guān)鍵代碼邏輯、編碼處理及圖形界面設(shè)計(jì)等章節(jié)能夠幫助讀者快速理解中文分詞的核心原理并為撰寫類似實(shí)驗(yàn)報(bào)告或?qū)崿F(xiàn)分詞原型提供較實(shí)用的參考。1. 中文分詞課設(shè)報(bào)告從哪切入先跑通再談優(yōu)化拿到“中文分詞課設(shè)報(bào)告1”這個(gè)課題很多人的第一反應(yīng)是找個(gè)現(xiàn)成庫調(diào)用一下然后寫幾句“基于詞典的分詞算法”糊弄過去。但真到答辯或驗(yàn)收時(shí)老師問一句“你的分詞器遇到未登錄詞怎么辦”多數(shù)人就卡住了。中文分詞并沒有想象中那么簡(jiǎn)單它不僅是字符串匹配還涉及詞性、歧義、未登錄詞和統(tǒng)計(jì)建模。這篇筆記從課設(shè)最常見的三條路線講起——詞典最大匹配、逆向匹配和基于HMM的序列標(biāo)注給出可直接運(yùn)行的代碼、評(píng)估規(guī)范以及我實(shí)際踩過的幾個(gè)坑適合正在寫報(bào)告但不想只抄庫的開發(fā)者。文章不會(huì)繞概念直接給結(jié)論和能用的參數(shù)希望能幫你把課設(shè)從“能跑”推到“能講清楚”。2. 分詞算法選型為什么我建議從最大匹配法和統(tǒng)計(jì)模型入手課設(shè)報(bào)告最怕的不是代碼難寫而是算法選型講不出理由。我見過不少同學(xué)選了深度學(xué)習(xí)模型結(jié)果訓(xùn)練一夜還過擬合最后報(bào)告里全是“待優(yōu)化”答辯時(shí)一句都答不上來。反過來如果你把詞典分詞和HMM講透老師反而會(huì)覺得基本功扎實(shí)。下面把三條路線的原理和適用場(chǎng)景擺開你可以根據(jù)報(bào)告深度自己選。2.1 基于詞典的機(jī)械分詞實(shí)現(xiàn)細(xì)節(jié)與適用邊界機(jī)械分詞的核心是“查表”把句子切成若干子串逐一去詞典里找。最常見的實(shí)現(xiàn)是正向最大匹配也就是MM。它的流程是從句子第一個(gè)字符開始取一個(gè)長(zhǎng)度不超過詞典最大詞長(zhǎng)的子串如果詞典里有這個(gè)詞就切出來指針后移如果沒有就把子串去掉最后一個(gè)字繼續(xù)查。舉個(gè)例子句子是“研究生命起源”如果詞典里有“研究生”和“生命”正向最大匹配會(huì)先取“研究生”匹配成功切出剩下的“命起源”繼續(xù)處理最終得到“研究生/命/起源”但正確的切分可能是“研究/生命/起源”。這種歧義是機(jī)械分詞天生解決不了的只能靠統(tǒng)計(jì)信息或規(guī)則來消解。逆向最大匹配RMM是從右往左走同樣按最大詞長(zhǎng)取子串。由于漢語的中心詞往往在尾部RMM在某些場(chǎng)景下準(zhǔn)確率會(huì)略勝M(fèi)M。我通常在課設(shè)里把MM和RMM都做出來然后讓兩者結(jié)果不一致時(shí)再做一次“消歧”比如比較詞頻取總詞頻更高的那組切分。需要特別注意的是機(jī)械分詞對(duì)詞典的覆蓋率非常敏感。如果你只拿了一個(gè)幾百詞的測(cè)試詞典遇到“云計(jì)算”這種詞就會(huì)切成“云/計(jì)算”。這不是算法問題是詞典覆蓋問題。所以在報(bào)告里要寫清楚詞典規(guī)模是多少、未登錄詞率是多少不能只貼一句“準(zhǔn)確率96%”。詞典怎么來也得寫清楚。常見的做法是找一份公開的詞頻表把詞語和頻次讀進(jìn)字典或者自己收集領(lǐng)域文本用人工切分后的數(shù)據(jù)統(tǒng)計(jì)。我建議詞表至少包含兩列詞語、詞頻。詞頻后面用來消歧還可以加詞性幫助識(shí)別專名。讀取時(shí)注意文件編碼最好統(tǒng)一轉(zhuǎn)成UTF-8否則在系統(tǒng)自帶記事本里保存的文本容易亂碼。另外最大詞長(zhǎng)這個(gè)參數(shù)不是越大越好。你把它設(shè)為10詞典里恰好有“科學(xué)計(jì)算”這類四字詞確實(shí)能整詞切出但如果遇到一個(gè)更長(zhǎng)的未登錄詞過長(zhǎng)的窗口反而增加匹配失敗的次數(shù)。我一般建議最大詞長(zhǎng)設(shè)置為4到6并用訓(xùn)練語料里出現(xiàn)的最長(zhǎng)詞長(zhǎng)度來校準(zhǔn)。2.2 基于統(tǒng)計(jì)的序列標(biāo)注從HMM到CRF的取舍統(tǒng)計(jì)分詞把每個(gè)漢字標(biāo)記為四種狀態(tài)之一B表示詞首M表示詞中間E表示詞尾S表示單獨(dú)成詞。比如“我愛編程”對(duì)應(yīng)的標(biāo)注就是“S S B E”。這樣分詞就變成了“給定漢字序列求最可能的標(biāo)注序列”的任務(wù)。HMM模型需要三組概率初始狀態(tài)概率句子第一個(gè)字屬于B/S的概率、狀態(tài)轉(zhuǎn)移概率比如B后面是M或E、發(fā)射概率某個(gè)漢字在某個(gè)狀態(tài)下出現(xiàn)的概率。訓(xùn)練階段用一個(gè)已經(jīng)按詞切分好的語料統(tǒng)計(jì)這些參數(shù)預(yù)測(cè)階段用維特比算法搜索最優(yōu)路徑。HMM最大的優(yōu)點(diǎn)是簡(jiǎn)單、能處理一部分未登錄詞缺點(diǎn)也明顯它假設(shè)當(dāng)前狀態(tài)只依賴上一個(gè)狀態(tài)沒有利用前后更長(zhǎng)的上下文。比如一個(gè)長(zhǎng)地名如果語料里沒出現(xiàn)整體形式但出現(xiàn)了“某城”和“市”HMM可能切出“某城/市”而CRF會(huì)利用相鄰字特征把整體合成一個(gè)詞。但CRF需要手動(dòng)設(shè)計(jì)特征模板訓(xùn)練速度慢課設(shè)周期只有兩三周的話我不太建議直接上。更好的做法是把CRF寫在“改進(jìn)方向”里用實(shí)驗(yàn)數(shù)據(jù)說明HMM的不足這樣報(bào)告反而有討論深度。HMM訓(xùn)練時(shí)還有平滑問題。如果某個(gè)漢字只在測(cè)試集出現(xiàn)訓(xùn)練語料里沒有它的發(fā)射概率維特比會(huì)直接走不通。常見的補(bǔ)救方法是在統(tǒng)計(jì)頻率時(shí)給每個(gè)狀態(tài)都疊加上一個(gè)極小量叫做加一平滑。代碼里可以維護(hù)三個(gè)計(jì)數(shù)器狀態(tài)轉(zhuǎn)移計(jì)數(shù)表、發(fā)射計(jì)數(shù)表、初始計(jì)數(shù)表最后統(tǒng)一除以總數(shù)并做平滑。你還可以把平滑量從1調(diào)到0.5或0.1讓低頻狀態(tài)不至于完全沒有機(jī)會(huì)。這個(gè)細(xì)節(jié)我會(huì)在第三章代碼里體現(xiàn)報(bào)告里也要寫一句“所有概率經(jīng)過加一平滑處理”這是評(píng)分時(shí)的加分項(xiàng)。2.3 兩種路線在課設(shè)中的選擇理由我一般給別人的建議是“MM當(dāng)作baselineHMM當(dāng)作主模型”。原因是第一代碼量適中HMM加維特比一共幾百行足夠展示原理第二評(píng)估時(shí)能形成對(duì)比證明統(tǒng)計(jì)模型確實(shí)有效第三如果老師追問“能不能處理歧義”你可以從HMM的轉(zhuǎn)移概率角度解釋為什么有些歧義能消掉有些不能。反過來如果你一上來就選深度學(xué)習(xí)模型參數(shù)調(diào)不好訓(xùn)練集又小報(bào)告全在講環(huán)境配置反而沒有技術(shù)含量。課程設(shè)計(jì)的評(píng)分標(biāo)準(zhǔn)通常是“算法正確、實(shí)驗(yàn)規(guī)范、報(bào)告有條理”并不是模型越新分越高。另外選型時(shí)還要考慮你能夠拿到的數(shù)據(jù)量。HMM需要至少幾萬個(gè)字的已標(biāo)注語料MM只需要一個(gè)幾萬詞的詞典。如果老師給你的數(shù)據(jù)只有幾百句HMM基本學(xué)不出可靠的發(fā)射概率這時(shí)候強(qiáng)行上統(tǒng)計(jì)模型會(huì)翻車。我的做法是先用詞典法跑通整個(gè)流程確認(rèn)數(shù)據(jù)讀入、分詞、評(píng)估的代碼沒毛病再拿同樣的數(shù)據(jù)訓(xùn)練HMM。這樣即使HMM效果不好你已經(jīng)有一個(gè)能運(yùn)行的基線心態(tài)不會(huì)崩。3. 用Python從零實(shí)現(xiàn)一個(gè)中文分詞器數(shù)據(jù)結(jié)構(gòu)與核心代碼這一章是全文最可抄的部分。我按照“詞典加載 - 正向匹配 - 逆向匹配 - HMM分詞 - 維特比解碼”的順序來寫。每個(gè)函數(shù)都保持短小方便拷進(jìn)課設(shè)報(bào)告。3.1 詞典的構(gòu)建與OOV處理先定義一個(gè)詞典類它負(fù)責(zé)加載詞表、記錄最大詞長(zhǎng)并提供查找方法。詞表文件我用“詞語 詞頻”一行一條的格式詞性可以后續(xù)再加。import os from collections import defaultdict class TrieNode: def __init__(self): self.children {} self.is_word False self.freq 0 class WordDict: def __init__(self, max_word_len6): self.root TrieNode() self.max_word_len max_word_len def load(self, path, encodingutf-8): with open(path, r, encodingencoding) as f: for line in f: parts line.strip().split() if len(parts) 2: continue word, freq parts[0], int(parts[1]) self._insert(word, freq) if len(word) self.max_word_len: self.max_word_len len(word) return self def _insert(self, word, freq): node self.root for ch in word: if ch not in node.children: node.children[ch] TrieNode() node node.children[ch] node.is_word True node.freq freq def search(self, word): node self.root for ch in word: if ch not in node.children: return None node node.children[ch] return node if node.is_word else None這里用字典樹而不是普通字典是為了快速查前綴。search會(huì)沿字符鏈走如果中間斷了就說明詞典里不存在該前綴詞。load時(shí)會(huì)自動(dòng)更新最大詞長(zhǎng)這個(gè)參數(shù)會(huì)直接影響最大匹配的窗口大小。如果你手里的詞典很小比如只有50個(gè)常用詞最大詞長(zhǎng)可能只有2分詞效果會(huì)很難看因此建議用網(wǎng)上能下載到的中文詞頻表規(guī)模至少幾萬詞。OOV即未登錄詞機(jī)械分詞階段沒有真正解決它只能在找不到詞時(shí)把單字輸出。我習(xí)慣在load里額外統(tǒng)計(jì)一個(gè)“OOV閾值”當(dāng)連續(xù)多個(gè)單字出現(xiàn)時(shí)嘗試拼接成新的詞并記錄到報(bào)告里但真正的解決還是要靠后面的HMM。3.2 正向最大匹配和逆向最大匹配的實(shí)現(xiàn)def forward_segment(text, word_dict): words [] i 0 n len(text) max_len word_dict.max_word_len while i n: matched False end min(i max_len, n) while end i: piece text[i:end] if word_dict.search(piece): words.append(piece) i end matched True break end - 1 if not matched: words.append(text[i]) i 1 return words正向匹配的循環(huán)里end從imax_len開始每次縮短1個(gè)字符。如果找到詞典詞就把指針跳到end如果一直找到只剩單個(gè)字符說明是未登錄詞直接切成單字。這個(gè)單字處理很關(guān)鍵不加的話會(huì)產(chǎn)生死循環(huán)。逆向匹配對(duì)稱def backward_segment(text, word_dict): words [] i len(text) max_len word_dict.max_word_len while i 0: start max(0, i - max_len) matched False while start i: piece text[start:i] if word_dict.search(piece): words.append(piece) i start matched True break start 1 if not matched: words.append(text[i-1]) i - 1 words.reverse() return words注意逆向匹配收集到的詞順序是反的最后要reverse。start從i-max_len向右增長(zhǎng)相當(dāng)于窗口不斷縮短。在代碼里i是當(dāng)前子串的右邊界start是左邊界找到詞后把i設(shè)為start繼續(xù)向左處理。兩個(gè)函數(shù)返回的都是正向詞序列。最大詞長(zhǎng)就是word_dict.max_word_len由詞典自動(dòng)計(jì)算。如果你要固定窗口可以手動(dòng)傳參。我一般建議窗口取6因?yàn)槌^6字符的詞在通用詞表中很少固定為6能避免匹配到過長(zhǎng)的地名或機(jī)構(gòu)名。3.3 基于HMM的分詞實(shí)現(xiàn)與參數(shù)估計(jì)HMM第一步是準(zhǔn)備狀態(tài)集合和轉(zhuǎn)移、發(fā)射計(jì)數(shù)器。STATES {B, M, E, S} def build_hmm_params(train_tagged): # train_tagged: list of sentences, each sentence is list of (word, tag) pairs start_cnt defaultdict(int) trans_cnt defaultdict(int) emit_cnt defaultdict(int) state_total defaultdict(int) for sent in train_tagged: start_cnt[sent[0][1]] 1 for j, (word, tag) in enumerate(sent): emit_cnt[(tag, word)] 1 state_total[tag] 1 if j 0: prev_tag sent[j-1][1] trans_cnt[(prev_tag, tag)] 1 if j len(sent) - 1: trans_cnt[(tag, END)] 1 # 加一平滑避免出現(xiàn)零概率 for s in STATES: start_cnt[s] 1 state_total[s] 1 for t in STATES: trans_cnt[(s, t)] 1 trans_cnt[(s, END)] 1 return start_cnt, trans_cnt, emit_cnt代碼中train_tagged是已經(jīng)切好詞的語料每個(gè)字帶標(biāo)簽。start_cnt記錄句子首字的狀態(tài)trans_cnt記錄狀態(tài)之間相鄰出現(xiàn)次數(shù)我把句子結(jié)尾當(dāng)成一個(gè)特殊的END狀態(tài)emit_cnt記錄某個(gè)漢字在某個(gè)狀態(tài)下的出現(xiàn)次數(shù)。加一平滑的作用是確保所有狀態(tài)組合都有非零概率否則維特比會(huì)因此漏掉路徑。如果你手里是“原始文本分詞結(jié)果”的語料可以寫個(gè)函數(shù)把分詞結(jié)果轉(zhuǎn)成BEMS標(biāo)注后面會(huì)給出。這里先要求輸入已標(biāo)注格式。3.4 維特比解碼預(yù)測(cè)一條句子的最優(yōu)標(biāo)注def viterbi(text, start_cnt, trans_cnt, emit_cnt, states): import math n len(text) if n 0: return [] # 計(jì)算對(duì)數(shù)概率 def prob(counter, key): total sum(counter.values()) if total 0: return -100.0 return math.log((counter.get(key, 0) 0.01) / total) dp [{} for _ in range(n)] back [{} for _ in range(n)] for s in states: dp[0][s] prob(start_cnt, s) prob(emit_cnt, (s, text[0])) back[0][s] None for i in range(1, n): for s in states: best -float(inf) best_prev None for prev in states: score dp[i-1][prev] prob(trans_cnt, (prev, s)) if score best: best score best_prev prev dp[i][s] best prob(emit_cnt, (s, text[i])) back[i][s] best_prev # 回溯 last_state max(states, keylambda s: dp[n-1][s]) tags [None] * n tags[n-1] last_state for i in range(n-2, -1, -1): tags[i] back[i1][tags[i1]] return tags這段代碼的prob用了log概率避免下溢。注意我沒有用預(yù)先算好的轉(zhuǎn)移矩陣而是每個(gè)key臨時(shí)求log課設(shè)里這樣寫更好讀但效率稍低量不大無所謂。維特比最后從最后一列找出最大概率狀態(tài)然后通過back指針回溯整條路徑。得到標(biāo)簽后把連續(xù)的B、M、E拼成一個(gè)詞單獨(dú)出現(xiàn)的S也作為一個(gè)詞就完成了分詞。states可以固定為B、M、E、S。如果你發(fā)現(xiàn)訓(xùn)練語料里有其他狀態(tài)需要改。訓(xùn)練語料越大發(fā)射概率越可靠。如果句子中出現(xiàn)訓(xùn)練集沒見過的字prob里的0.01會(huì)讓它不至于完全不可行但結(jié)果會(huì)偏向最常見的狀態(tài)這也是HMM處理OOV的極限。3.5 把分詞結(jié)果從標(biāo)簽恢復(fù)成詞語列表def tags_to_words(text, tags): words [] cur for ch, tag in zip(text, tags): if tag B: if cur: words.append(cur) cur ch elif tag M: cur ch elif tag E: cur ch words.append(cur) cur else: # S if cur: words.append(cur) cur words.append(ch) if cur: words.append(cur) return words這里要注意B出現(xiàn)時(shí)如果cur非空說明上一個(gè)詞沒有正常以E結(jié)束屬于異常情況直接截?cái)?。E結(jié)尾后一定要清空cur。S是單字詞直接輸出。這個(gè)小函數(shù)很容易寫錯(cuò)我見過有人因?yàn)橥浨蹇誧ur導(dǎo)致整個(gè)詞列表錯(cuò)位。整個(gè)第三章包含5個(gè)函數(shù)覆蓋了完整流程。你可以把它們按順序放一個(gè)模塊里然后在主程序里加載詞典-對(duì)測(cè)試句子forward/backward-用HMM訓(xùn)練-viterbi-tags_to_words。最終得到三組切分結(jié)果。if __name__ __main__: wd WordDict().load(dict.txt) text 研究生命起源 print(/.join(forward_segment(text, wd))) print(/.join(backward_segment(text, wd))) train load_train_data(train_tagged.txt) start, trans, emit build_hmm_params(train) tags viterbi(text, start, trans, emit, STATES) print(/.join(tags_to_words(text, tags)))load_train_data你需要自己寫或者用簡(jiǎn)單的pickle讀入。這里的train_tagged.txt至少要幾千個(gè)句子否則HMM幾乎學(xué)不到規(guī)律。4. 課設(shè)報(bào)告的評(píng)估部分精確率、召回率、F1怎么算才算數(shù)很多人寫課設(shè)評(píng)估時(shí)直接用開源庫自帶的分詞結(jié)果和標(biāo)準(zhǔn)語料比對(duì)然后報(bào)一個(gè)數(shù)字。這其實(shí)有兩個(gè)問題一是開源庫訓(xùn)練時(shí)用的語料可能已經(jīng)包含了你測(cè)試的句子造成數(shù)據(jù)泄漏二是它輸出的詞性、詞邊界與你自己的標(biāo)注規(guī)范可能不一致。所以課設(shè)里我建議用自己的程序跑一遍評(píng)估哪怕結(jié)果難看至少理直氣壯。4.1 評(píng)估語料的生成與BEMS標(biāo)注要算精確率/召回率必須先有一個(gè)“標(biāo)準(zhǔn)切分”作參照。常見做法是拿一份已人工分詞語料把每句話切成詞序列然后按字標(biāo)注成BEMS序列。def words_to_tags(words): tags [] for w in words: if len(w) 1: tags.append(S) else: tags.append(B) for _ in range(1, len(w)-1): tags.append(M) tags.append(E) return tags注意這個(gè)函數(shù)只處理標(biāo)準(zhǔn)的詞序列。如果詞里有空格或標(biāo)點(diǎn)要提前處理。標(biāo)點(diǎn)符號(hào)在中文里通常單獨(dú)成詞所以“面前出現(xiàn)”會(huì)標(biāo)成“前 面 出 現(xiàn)”其中“”是S。如果你的課設(shè)要求把標(biāo)點(diǎn)排除在指標(biāo)外可以在轉(zhuǎn)BEMS之前先過濾標(biāo)點(diǎn)否則標(biāo)點(diǎn)會(huì)拉低你的F1。4.2 計(jì)算精確率、召回率、F1按字還是按詞分詞的評(píng)估有兩種口徑按字和按詞。按字評(píng)估是比較每個(gè)字的B/M/E/S標(biāo)簽是否一致按詞評(píng)估是比較切分出來的詞語序列是否一致。課設(shè)里我建議兩種都算但報(bào)告要注明你用哪一種因?yàn)閿?shù)字差別很大。def compute_f1(pred_tags, gold_tags): assert len(pred_tags) len(gold_tags) correct sum(1 for p, g in zip(pred_tags, gold_tags) if p g) accuracy correct / len(pred_tags) # 按BEMS狀態(tài)統(tǒng)計(jì) pred_b sum(1 for p in pred_tags if p in (B, S)) gold_b sum(1 for g in gold_tags if g in (B, S)) tp sum(1 for p, g in zip(pred_tags, gold_tags) if p in (B, S) and g in (B, S)) precision tp / pred_b if pred_b else 0 recall tp / gold_b if gold_b else 0 f1 2 * precision * recall / (precision recall) if (precision recall) else 0 return precision, recall, f1這里把B和S都當(dāng)作“詞邊界”。tp是預(yù)測(cè)為邊界且真實(shí)也是邊界的字?jǐn)?shù)。這個(gè)口徑是比較嚴(yán)格的一個(gè)詞斷錯(cuò)位置會(huì)導(dǎo)致多個(gè)字標(biāo)簽錯(cuò)誤F1會(huì)明顯下降。另一種按詞評(píng)估則要求完全相等的詞才算對(duì)實(shí)現(xiàn)更簡(jiǎn)單但區(qū)分度不高。我建議報(bào)告里給出按字F1同時(shí)在附錄里給出幾組分詞樣例。如果只算accuracy可能所有字都切成S都能達(dá)到很高的準(zhǔn)確率因?yàn)榇蟛糠謫巫执_實(shí)可以獨(dú)立成詞這會(huì)導(dǎo)致“看起來準(zhǔn)確率95%”其實(shí)分得稀爛。所以課設(shè)報(bào)告不能只報(bào)一個(gè)整體準(zhǔn)確率必須同時(shí)報(bào)P/R/F1。比如測(cè)試集有1000個(gè)字你的分詞器預(yù)測(cè)了500個(gè)詞邊界其中450個(gè)和標(biāo)準(zhǔn)一致標(biāo)準(zhǔn)邊界是480個(gè)那么P0.9R0.9375F1約0.918。如果只看accuracy可能到98%這顯然掩蓋了真實(shí)水平。4.3 用混淆矩陣定位錯(cuò)誤類型除開F1我推薦你把預(yù)測(cè)結(jié)果和標(biāo)準(zhǔn)結(jié)果做一次對(duì)齊統(tǒng)計(jì)錯(cuò)誤類別。常見的三類錯(cuò)誤是多切把兩個(gè)詞斷開、少切把兩個(gè)詞粘在一起、OOV錯(cuò)誤詞典或模型不認(rèn)識(shí)某個(gè)詞。def error_stats(pred_words, gold_words): pred_set set(pred_words) gold_set set(gold_words) over_seg [w for w in gold_words if not any(w in p for p in pred_words)] # 簡(jiǎn)化預(yù)測(cè)里出現(xiàn)的詞在標(biāo)準(zhǔn)里沒有 mis set(pred_words) - set(gold_words) miss set(gold_words) - set(pred_words) return {多切/錯(cuò)切: len(mis), 漏切: len(miss), 示例: list(mis)[:10]}這個(gè)函數(shù)只做詞級(jí)別集合差雖然不精確但能快速告訴你模型傾向于多切還是少切。比如HMM如果總是把“研究生命起源”切成“研究生/命/起源”說明模型學(xué)到了“研究生”這個(gè)詞但不知道“研究生命”這個(gè)跨詞短語。你可以把這類錯(cuò)誤單獨(dú)列一張表附上原句、標(biāo)準(zhǔn)切分、預(yù)測(cè)切分課設(shè)老師最喜歡看到這種規(guī)范錯(cuò)誤分析。5. 中文分詞課設(shè)避坑指南5個(gè)讓新手翻車的典型場(chǎng)景這一段全部來自我實(shí)際見過的問題每一條都是“現(xiàn)象→原因→解決”的結(jié)構(gòu)。5.1 現(xiàn)象自定義詞典不生效分詞結(jié)果還是老樣子有人明明往詞典里加了“元宇宙”這個(gè)詞但分詞結(jié)果還是“元/宇宙”。原因通常有三個(gè)一是詞典文件編碼不是UTF-8某些文本編輯器保存成ANSI導(dǎo)致中文亂碼二是加載后沒有重新計(jì)算最大詞長(zhǎng)導(dǎo)致“元宇宙”三個(gè)字超過窗口長(zhǎng)度被拆開三是詞表中“元宇宙”放在了最后但程序在加載過程出錯(cuò)提前退出。解決用UTF-8無BOM格式保存詞典WordDict.load里每次插入詞后檢查max_word_len代碼里已經(jīng)做了這一步加載完成后打印詞典大小和max_word_len確認(rèn)。我一般會(huì)加一個(gè)自檢函數(shù)給定一個(gè)已知詞search必須返回True否則就是加載問題。5.2 現(xiàn)象F1值看起來很高但實(shí)際效果一塌糊涂我見過一份報(bào)告F1達(dá)到97%但打開分詞語料一看所有標(biāo)點(diǎn)都被無腦切成單字詞典和測(cè)試語料完全同源。原因是評(píng)估時(shí)用了同一個(gè)數(shù)據(jù)集訓(xùn)練和測(cè)試或者訓(xùn)練集里包含了測(cè)試集的文本。這屬于數(shù)據(jù)泄漏最容易出現(xiàn)在你手工從網(wǎng)上抓語料、隨手切分成訓(xùn)練/測(cè)試的時(shí)候句子可能來自同一篇文章。解決按“來源文本”切分而不是按“句子”切分。同一個(gè)自然段或同一篇文章里的所有句子只能進(jìn)訓(xùn)練集或測(cè)試集不能兩頭跑。在報(bào)告里要寫明訓(xùn)練集規(guī)模、測(cè)試集規(guī)模和劃分方式。另一個(gè)很常見的問題是把分詞結(jié)果直接拼回去變成字符串再用整體是否正確來判定這樣會(huì)引入大量無關(guān)的字符匹配錯(cuò)誤建議只用詞序列比對(duì)。5.3 現(xiàn)象未登錄的人名、機(jī)構(gòu)名被切得七零八落比如“某位歌手”被切成“某位/歌手”“某家公司”被切成“某/家公司”。HMM本身只能靠發(fā)射概率和轉(zhuǎn)移概率如果訓(xùn)練語料里沒有類似結(jié)構(gòu)它很難合起來。原因是你沒有給HMM足夠的上下文特征也沒有做后處理。解決在HMM基礎(chǔ)上加一個(gè)簡(jiǎn)單的規(guī)則后處理如果分詞結(jié)果出現(xiàn)連續(xù)兩個(gè)長(zhǎng)度都為1的漢字且詞典中不存在這兩個(gè)單字詞就嘗試把它們合并或者準(zhǔn)備一個(gè)“專名詞典”對(duì)預(yù)測(cè)結(jié)果做二次匹配。前者實(shí)現(xiàn)簡(jiǎn)單后者能明顯提升人名機(jī)構(gòu)名。但要注意專名詞典過大會(huì)導(dǎo)致過擬合我一般只放幾十個(gè)高頻專名。5.4 現(xiàn)象訓(xùn)練數(shù)據(jù)只有幾千字HMM輸出的基本全是一字詞HMM訓(xùn)練數(shù)據(jù)太少時(shí)B和M狀態(tài)的發(fā)射概率統(tǒng)計(jì)不穩(wěn)定維特比會(huì)傾向選擇S狀態(tài)因?yàn)镾狀態(tài)訓(xùn)練樣本多。結(jié)果就是每個(gè)字都被切成單字F1慘不忍睹。解決要么擴(kuò)充訓(xùn)練語料到至少幾萬個(gè)字要么對(duì)發(fā)射概率做更強(qiáng)平滑。我在build_hmm_params里只加了加一平滑如果數(shù)據(jù)太少可以把平滑值調(diào)大比如從0.01改成0.1讓概率更均勻。同時(shí)把state_total的相關(guān)分母也改掉。注意這只能緩解不能根治課設(shè)報(bào)告要把數(shù)據(jù)量寫在實(shí)驗(yàn)設(shè)置里證明你意識(shí)到了這個(gè)問題。5.5 現(xiàn)象報(bào)告里堆滿公式但缺少實(shí)驗(yàn)對(duì)比有些同學(xué)報(bào)告寫了十幾頁全是最大匹配的流程圖和維特比的公式但實(shí)驗(yàn)部分只有兩行“準(zhǔn)確率90%F1 0.85”沒有對(duì)比、沒有樣例、沒有錯(cuò)誤分析。老師最反感這種“理論論文式課設(shè)”因?yàn)榭床坏侥銓?shí)際動(dòng)手的痕跡。解決至少設(shè)計(jì)三組實(shí)驗(yàn)MM、RMM、HMM在同一個(gè)測(cè)試集上的P/R/F1讓這三組結(jié)果出現(xiàn)在同一個(gè)表格里再挑三個(gè)句子展示各自切分結(jié)果。如果HMM表現(xiàn)沒有顯著優(yōu)于詞典法也要如實(shí)寫出來并分析原因這反而是課設(shè)報(bào)告的價(jià)值點(diǎn)。格式上我習(xí)慣把表格放在“實(shí)驗(yàn)結(jié)果與分析”一節(jié)下面再放兩個(gè)典型錯(cuò)誤句的截圖或文字對(duì)照。6. 把課設(shè)做成能演示的Demo命令行交互與可視化輸出最后一個(gè)進(jìn)階技巧是寫一個(gè)簡(jiǎn)單的命令行入口讓老師和同學(xué)能運(yùn)行你的程序并比較三種分詞器的輸出。這會(huì)讓課設(shè)看起來完成度很高。6.1 一個(gè)腳本完成分詞、評(píng)估、對(duì)比流程import sys def demo(): wd WordDict().load(dict.txt) start, trans, emit build_hmm_params(load_train_tagged(train_tagged.txt)) while True: line input(請(qǐng)輸入句子輸入q退出).strip() if line q: break mm forward_segment(line, wd) rmm backward_segment(line, wd) tags viterbi(line, start, trans, emit, STATES) hmm tags_to_words(line, tags) for name, result in [(正向, mm), (逆向, rmm), (HMM, hmm)]: print(f{name}: { / .join(result)})這個(gè)demo邏輯很簡(jiǎn)單加載一次詞典和HMM參數(shù)然后循環(huán)等待輸入。如果你不需要交互可以直接改成從文件讀一批句子把三個(gè)分詞的輸出寫成三行方便做對(duì)比實(shí)驗(yàn)。6.2 用表格輸出對(duì)比結(jié)果在報(bào)告里我建議把三組分詞結(jié)果用Markdown表格列出來不要只給代碼輸出截圖。例如句子正向最大匹配逆向最大匹配HMM研究生命起源研究/生命/起源研究生/命/起源研究/生命/起源這個(gè)表能直觀體現(xiàn)不同算法的差異。課設(shè)報(bào)告里不需要放花哨的圖表一個(gè)簡(jiǎn)單表格勝過三張截圖。6.3 讓報(bào)告更出彩的進(jìn)階驗(yàn)證增加外部對(duì)比與錯(cuò)誤率分解除了自己的算法我還會(huì)在報(bào)告里加一段“與常見開源工具對(duì)比”把同一測(cè)試集交給某開源分詞器得到它的F1然后分析自己實(shí)現(xiàn)的差距在哪。這不算抄襲而是做對(duì)照實(shí)驗(yàn)。重點(diǎn)不是分?jǐn)?shù)超過它而是解釋為什么比如開源工具用了統(tǒng)計(jì)語言模型和更大詞典而你的HMM訓(xùn)練語料只有幾萬詞。這樣寫出來的報(bào)告有說服力老師也能看到你的工程思維。如果時(shí)間允許可以把5.3提到的專名后處理做成可選參數(shù)比如--use_ner讓程序在HMM結(jié)果上再調(diào)用一次詞典修正。最后我會(huì)提醒自己課設(shè)報(bào)告的結(jié)尾不要寫“我的算法優(yōu)于所有方法”而是寫“在覆蓋XX詞的測(cè)試集上HMM比詞典法高了多少但遇到長(zhǎng)距離依賴時(shí)仍會(huì)出錯(cuò)未來考慮加入CRF特征”。這種定位比吹噓更穩(wěn)。希望這篇筆記能幫你把中文分詞課設(shè)從“交差”做成“能講”少走一些我當(dāng)年走過的彎路。本文還有配套的精品資源點(diǎn)擊獲取