最近在梳理NLP知識(shí)體系的時(shí)候正好推進(jìn)到第5個(gè)專題語(yǔ)義學(xué)Semantics。如果說(shuō)分詞、詞性、句法分析解決的是“句子長(zhǎng)什么樣”那么語(yǔ)義學(xué)解決的就是“這句話到底什么意思”。這個(gè)專題內(nèi)容不算多但卻是從“能跑通流程”邁向“能做對(duì)任務(wù)”的分水嶺。無(wú)論你是剛開(kāi)始接觸NLP的初學(xué)者還是正在做檢索、問(wèn)答、對(duì)話系統(tǒng)這類落地項(xiàng)目的開(kāi)發(fā)者把這一節(jié)吃透后續(xù)看預(yù)訓(xùn)練模型、大語(yǔ)言模型的很多行為都會(huì)通透很多。這個(gè)單元很適合邊學(xué)邊動(dòng)手不需要特別大的算力主要是吃透三類問(wèn)題詞義消歧、語(yǔ)義相似度、語(yǔ)義角色標(biāo)注。下面我按自己實(shí)際學(xué)習(xí)和做項(xiàng)目時(shí)的思路來(lái)拆把核心原理講清楚也把我在實(shí)驗(yàn)里踩過(guò)的坑和調(diào)試經(jīng)驗(yàn)一并寫(xiě)出來(lái)。1. 語(yǔ)義模塊的整體設(shè)計(jì)與思路拆解1.1 為什么說(shuō)語(yǔ)義是NLP的分水嶺我們先看一個(gè)老生常談但特別直觀的例子“蘋(píng)果熟了”。如果沒(méi)有語(yǔ)境這句話至少有三種理解水果成熟了、某科技公司的產(chǎn)品迭代成熟了、電視劇里的人物劇情到位了。分詞和句法分析根本分不出這三種差異它們只保證句子結(jié)構(gòu)合法不會(huì)告訴你要選哪個(gè)意思。語(yǔ)義學(xué)的任務(wù)就是在這些候選意義之間做選擇并把“誰(shuí)對(duì)誰(shuí)做了什么”這種關(guān)系抽出來(lái)。從實(shí)際產(chǎn)品角度看語(yǔ)義能力幾乎決定了所有下游任務(wù)的上限。搜索引擎要理解“怎么燉排骨”和“排骨燉多久”是不是同一個(gè)問(wèn)題客服機(jī)器人要區(qū)分“我要退款”和“退款多久到賬”的意圖差異內(nèi)容審核要判斷“打死我也不說(shuō)”和“打死了人也不說(shuō)”的嚴(yán)重程度完全不一樣。如果只停留在詞匹配層面這些場(chǎng)景全都會(huì)翻車。所以很多團(tuán)隊(duì)會(huì)把“第四層語(yǔ)義能力”當(dāng)成一個(gè)獨(dú)立模塊來(lái)建設(shè)而不是讓每個(gè)業(yè)務(wù)各自去湊。1.2 三種主流的語(yǔ)義研究視角做語(yǔ)義時(shí)會(huì)有三種完全不同的切入角度它們對(duì)后續(xù)技術(shù)選型影響很大。第一種是真值條件視角簡(jiǎn)單說(shuō)就是“句子在什么條件下為真”。比如“小明在圖書(shū)館”和“圖書(shū)館里有小明”邏輯上表達(dá)的是同一件事的兩個(gè)側(cè)面。研究這類問(wèn)題通常需要謂詞邏輯、量詞、事件結(jié)構(gòu)非常嚴(yán)謹(jǐn)?shù)涞焦こ汤锿林匾驗(yàn)檎鎸?shí)用戶說(shuō)話充滿了省略和歧義。第二種是認(rèn)知視角探索人腦怎么表征“蘋(píng)果”這個(gè)概念。這里涉及概念網(wǎng)絡(luò)、原型理論、常識(shí)推理。工程上很難直接落地但很多詞匯知識(shí)資源比如wordnet這類詞網(wǎng)的構(gòu)建思路都受了它的影響。第三種是分布視角也是現(xiàn)在統(tǒng)治工業(yè)界的一種觀點(diǎn)一個(gè)詞的意義由它經(jīng)常共現(xiàn)的語(yǔ)境決定。你不需要給“蘋(píng)果”寫(xiě)定義只需要統(tǒng)計(jì)它在大量文本里和哪些詞一起出現(xiàn)。這一條路線直接催生了詞向量、語(yǔ)言模型、預(yù)訓(xùn)練模型這一整個(gè)技術(shù)家族。我在單元設(shè)計(jì)里會(huì)把三種視角都點(diǎn)到但工程實(shí)操會(huì)主要圍繞認(rèn)知視角的詞匯資源以及分布視角的向量化方法展開(kāi)。1.3 本單元的學(xué)習(xí)路線設(shè)計(jì)如果把語(yǔ)義學(xué)拆成一門(mén)可操作的技術(shù)課我建議按下述三段走每段都能獨(dú)立形成能力。第一段是詞義級(jí)別的功課拿到一個(gè)多義詞根據(jù)上下文選出正確義項(xiàng)這叫詞義消歧。第二段是關(guān)系級(jí)別的功課識(shí)別句子里的“誰(shuí)對(duì)誰(shuí)做了什么”這叫語(yǔ)義角色標(biāo)注。第三段是度量級(jí)別的功課給兩個(gè)詞或兩個(gè)句子算一個(gè)分?jǐn)?shù)表示它們含義有多接近這叫語(yǔ)義相似度。這三段之間有明確的遞進(jìn)關(guān)系詞義消歧是基礎(chǔ)角色標(biāo)注依賴詞義的準(zhǔn)確選擇相似度計(jì)算又可以反過(guò)來(lái)驗(yàn)證前兩者的效果。我在給團(tuán)隊(duì)做內(nèi)部分享時(shí)會(huì)把這三個(gè)能力畫(huà)成一條流水線有點(diǎn)像先看懂單詞再看懂動(dòng)作最后給整句打分。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 詞義消歧一詞多義是第一道坎詞義消歧WSD的原理并不復(fù)雜一個(gè)詞有多個(gè)義項(xiàng)我們要根據(jù)上下文中其他詞的提示選出最合適的一個(gè)。早期經(jīng)典算法是Lesk算法核心思想很直白把目標(biāo)詞的上下文詞和每個(gè)義項(xiàng)的釋義詞放在一起數(shù)重疊重疊越多的義項(xiàng)越可能是正確含義。比如“蘋(píng)果”有兩個(gè)義項(xiàng)一個(gè)和水果相關(guān)釋義里有“果實(shí)、果樹(shù)、甜、脆”這類詞一個(gè)和科技產(chǎn)品相關(guān)釋義里有“手機(jī)、電腦、操作系統(tǒng)”這類詞。如果輸入句子是“蘋(píng)果在秋季大量上市”上下文里出現(xiàn)“秋季、上市”這些詞顯然更貼近第一個(gè)義項(xiàng)的釋義環(huán)境于是消歧結(jié)果就是水果義項(xiàng)。這個(gè)算法放在今天看并不高級(jí)但它的可解釋性極強(qiáng)出問(wèn)題了能直接看出是哪個(gè)詞撞了。實(shí)際工程里現(xiàn)在更多用統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)方法比如基于詞向量聚類的消歧先給多義詞的每個(gè)義項(xiàng)準(zhǔn)備若干例句用句向量做聚類中心判斷新例句和哪個(gè)中心更近。但無(wú)論用什么方法數(shù)據(jù)都繞不開(kāi)義項(xiàng)劃分這件事。中文尤其麻煩“蘋(píng)果”這種名詞還算好辦像“打”這種動(dòng)詞手里能列出二三十個(gè)義項(xiàng)標(biāo)注一套完整的義項(xiàng)語(yǔ)料本身就是工作量巨大的活。我給一個(gè)實(shí)操建議不要一上來(lái)就想Cover全部義項(xiàng)先按業(yè)務(wù)場(chǎng)景把高頻義項(xiàng)標(biāo)注到覆蓋度80%以上其他低頻義項(xiàng)直接走默認(rèn)第一義項(xiàng)兜底。這樣投入產(chǎn)出比最高。后面再遇到錯(cuò)誤樣本補(bǔ)充標(biāo)注就行。2.2 語(yǔ)義角色標(biāo)注把句子轉(zhuǎn)成動(dòng)作片腳本語(yǔ)義角色標(biāo)注解決的是“誰(shuí)、對(duì)誰(shuí)、做了什么事、什么時(shí)候、在哪、用什么方式”的問(wèn)題。以句子“他昨天用錘子敲碎了窗戶”為例標(biāo)注結(jié)果是這樣一組角色施事者A0他動(dòng)作V敲碎受事者A1窗戶時(shí)間AM-TMP昨天工具AM-MNR錘子為什么這個(gè)結(jié)構(gòu)這么重要因?yàn)橐坏┏槌鰜?lái)你就可以直接回答“誰(shuí)敲碎了窗戶”“他敲碎了什么”“什么時(shí)候發(fā)生的”。問(wèn)答系統(tǒng)、信息抽取、事件抽取全都建立在這樣的結(jié)構(gòu)之上。很多知識(shí)圖譜構(gòu)建項(xiàng)目卡點(diǎn)往往不在實(shí)體識(shí)別而在“實(shí)體之間的關(guān)系”抽不準(zhǔn)。而語(yǔ)義角色標(biāo)注恰恰訓(xùn)練的就是這種“動(dòng)賓關(guān)系、施受關(guān)系”的感知能力。中文做SRL時(shí)有個(gè)額外難點(diǎn)動(dòng)詞經(jīng)常不顯式出現(xiàn)比如說(shuō)“他蘋(píng)果”意思是“他買了蘋(píng)果”還是“他吃了蘋(píng)果”完全靠語(yǔ)境補(bǔ)。這種省略動(dòng)詞的情況規(guī)則系統(tǒng)幾乎無(wú)解統(tǒng)計(jì)模型能學(xué)個(gè)大概但漏標(biāo)率仍然偏高。我的經(jīng)驗(yàn)是做SRL之前先做好論元邊界切分寧可先把“誰(shuí)、什么”切成塊再去判斷塊之間的關(guān)系也不要從頭到尾走端到端黑盒。分步走錯(cuò)誤好定位。2.3 語(yǔ)義相似度從詞到句的度量問(wèn)題相似度計(jì)算可以分三級(jí)來(lái)看。詞級(jí)相似度是最好做的常見(jiàn)思路是路徑相似度和信息相似度。路徑相似度利用詞匯概念網(wǎng)絡(luò)中的父子關(guān)系層次兩個(gè)詞在概念樹(shù)上離得越近越相似“轎車”和“汽車”關(guān)系近所以相似度高“轎車”和“香蕉”關(guān)系遠(yuǎn)相似度自然低。信息相似度則會(huì)考慮一個(gè)詞在語(yǔ)料里的罕見(jiàn)程度越罕見(jiàn)的詞越能區(qū)分概念權(quán)重也越高這也符合直觀感受都比較常見(jiàn)的高頻詞關(guān)系未必緊密。句子級(jí)相似度就難一些。簡(jiǎn)單做法是取句子中所有詞的向量做平均得到一個(gè)句向量然后算余弦相似度。但這種方式對(duì)詞序不敏感“貓追狗”和“狗追貓”會(huì)得到幾乎一樣的向量。更進(jìn)階一點(diǎn)的做法是給詞按TF-IDF加權(quán)再平均能緩解一些高頻虛詞的干擾但仍解決不了詞序問(wèn)題。再往后才輪到各類句編碼模型可解釋性就差很多了。這里要給個(gè)很重要的提醒語(yǔ)義相似度沒(méi)有“唯一的標(biāo)準(zhǔn)答案”。同一對(duì)句子在搜索場(chǎng)景里“相關(guān)”的判斷標(biāo)準(zhǔn)是主題一致在問(wèn)答場(chǎng)景里“相似”的標(biāo)準(zhǔn)是語(yǔ)義蘊(yùn)含在去重場(chǎng)景里“相似”的標(biāo)準(zhǔn)是句子結(jié)構(gòu)幾乎相同。所以做相似度前一定要先定義清楚業(yè)務(wù)上說(shuō)的“相似”具體是什么否則模型很難取舍。2.4 數(shù)據(jù)與工具的準(zhǔn)備要點(diǎn)在做這套語(yǔ)義分析之前要先把數(shù)據(jù)和工具備齊?；A(chǔ)的NLP工具鏈至少要覆蓋中文分詞、詞性標(biāo)注、依存句法分析這幾項(xiàng)。語(yǔ)義層的實(shí)驗(yàn)通常建議準(zhǔn)備三類資源詞匯語(yǔ)義資源包含詞語(yǔ)之間上下位關(guān)系、同義關(guān)系、反義關(guān)系的詞典類資源用途是詞義消歧和路徑相似度。語(yǔ)義角色標(biāo)注語(yǔ)料帶有人工標(biāo)注的“動(dòng)詞-論元”關(guān)系數(shù)據(jù)規(guī)模不需要太大幾千句就可以開(kāi)始實(shí)驗(yàn)。預(yù)訓(xùn)練詞向量或語(yǔ)言模型用于計(jì)算分布相似度如果資源緊張用公開(kāi)的中文詞向量也能完成大部分實(shí)驗(yàn)。工具鏈的選擇我的偏好是快速原型階段用輕量的開(kāi)源NLP工具包跑通流程后再考慮性能優(yōu)化和模型替換。很多人一上來(lái)就調(diào)大模型API最后發(fā)現(xiàn)連基礎(chǔ)的切分都出了問(wèn)題反而不容易定位。3. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 用簡(jiǎn)化版Lesk算法實(shí)現(xiàn)詞義消歧我們先做一個(gè)迷你版詞義消歧用來(lái)理解Lesk算法的核心邏輯。為方便演示我用一個(gè)簡(jiǎn)化的詞義表示結(jié)構(gòu)每個(gè)義項(xiàng)只有ID、名稱和釋義關(guān)鍵詞。實(shí)際使用中你可以從更成熟的“詞網(wǎng)”資源里讀取這些數(shù)據(jù)。def lesk_simplified(context_words, senses, window2): def score(sense, ctx): overlap 0 for i, token in enumerate(ctx): if token in sense[gloss]: # 加一點(diǎn)位置權(quán)重離目標(biāo)詞越近的詞權(quán)重越高 dist_factor max(0, 1 - abs(i - window) / (window 1)) overlap 1 * dist_factor return overlap best_score -1 best_sense None for sense in senses: s score(sense, context_words) if s best_score: best_score s best_sense sense return best_sense這里的context_words是目標(biāo)詞前后若干個(gè)詞組成的列表window是我們?cè)O(shè)定的窗口半徑。位置權(quán)重的設(shè)計(jì)是我自己加的經(jīng)驗(yàn)項(xiàng)離目標(biāo)詞越近的上下文詞對(duì)義項(xiàng)選擇的貢獻(xiàn)越明顯。比如句子“我在菜市場(chǎng)看到蘋(píng)果在賣”上下文里“菜市場(chǎng)、賣”都靠近目標(biāo)詞而“看到”這類詞因?yàn)槌Ｒ?jiàn)即使和某個(gè)義項(xiàng)有重疊也會(huì)因?yàn)榫嚯x較遠(yuǎn)而壓低貢獻(xiàn)。用上面這個(gè)函數(shù)實(shí)測(cè)幾個(gè)句子你會(huì)發(fā)現(xiàn)只要窗口大小在3以內(nèi)效果都還行一旦窗口拉到整句低頻噪音詞就會(huì)把分?jǐn)?shù)帶偏。所以這個(gè)算法最核心的調(diào)參點(diǎn)不是算法本身而是“給多大窗口”和“過(guò)濾多少停用詞”。詞義消歧在學(xué)術(shù)上很難但在工程上做成“業(yè)務(wù)夠用”相對(duì)容易。關(guān)鍵是不要貪心一次解決所有詞先把多義詞的清單收斂到業(yè)務(wù)高頻的幾十個(gè)然后逐個(gè)優(yōu)化。3.2 計(jì)算語(yǔ)義相似度手動(dòng)算一個(gè)例子看一個(gè)具體的相似度計(jì)算過(guò)程同時(shí)對(duì)比兩種方法。先看最簡(jiǎn)單直接的路徑相似度在一個(gè)常識(shí)概念樹(shù)里節(jié)點(diǎn)代表一個(gè)概念概念邊代表上下位關(guān)系。“汽車”的父節(jié)點(diǎn)是“機(jī)動(dòng)車”“轎車”的父節(jié)點(diǎn)也是“機(jī)動(dòng)車”“香蕉”的父節(jié)點(diǎn)是“水果”。那么從“轎車”到“汽車”的距離是2步相似度可以設(shè)定為距離越短得分越高。一個(gè)常用的公式是[ sim \frac{1}{1 dist} ]所以“轎車”和“汽車”的sim是0.33而“轎車”和“香蕉”的距離可能超過(guò)10sim接近0.09。這個(gè)分?jǐn)?shù)表面上看起來(lái)很小但如果把它映射到排序場(chǎng)景里它的作用主要是區(qū)分相對(duì)遠(yuǎn)近而不是給出一個(gè)絕對(duì)的“多相似”。原理本身不復(fù)雜真正麻煩的是維護(hù)一棵與時(shí)俱進(jìn)的概念樹(shù)新詞“固態(tài)電池”“鈉離子電池”這類名詞需要持續(xù)插入否則相似度計(jì)算就會(huì)漏。另一種更貼合工業(yè)界的方法是向量余弦相似度。假設(shè)我們用某個(gè)公開(kāi)詞向量庫(kù)取“轎車”向量v1和“汽車”向量v2那相似度就是import numpy as np def cosine_sim(vec_a, vec_b): dot np.dot(vec_a, vec_b) norm_a np.linalg.norm(vec_a) norm_b np.linalg.norm(vec_b) return dot / (norm_a * norm_b 1e-8) v_car np.array([0.2, 0.3, -0.1]) v_sedan np.array([0.21, 0.28, -0.08]) v_banana np.array([-0.2, 0.1, 0.4]) print(cosine_sim(v_sedan, v_car)) # 接近0.95 print(cosine_sim(v_sedan, v_banana)) # 可能是負(fù)數(shù)或者0.1以下這里用三個(gè)手工假設(shè)的向量演示計(jì)算過(guò)程實(shí)際訓(xùn)練好的詞向量維度通常在100到300維但余弦計(jì)算就是這樣一個(gè)公式?jīng)]有任何黑魔法。一個(gè)實(shí)用的經(jīng)驗(yàn)是計(jì)算相似度之前先對(duì)向量做中心化處理即將每個(gè)維度的均值減去。中心化能消除不同向量之間的系統(tǒng)性偏移實(shí)驗(yàn)結(jié)果通常比直接算余弦更穩(wěn)定因?yàn)榧冇嘞抑魂P(guān)心方向不關(guān)心模長(zhǎng)而模長(zhǎng)有時(shí)也包含重要信息。句子級(jí)相似度我建議從簡(jiǎn)單到復(fù)雜試起。先取每個(gè)詞的向量算平均用這個(gè)平均向量代表句子如果效果不滿意再加TF-IDF權(quán)重還不行再考慮用真正的句編碼模型。每一次升級(jí)都要用同一組測(cè)試集做對(duì)比才能確認(rèn)升級(jí)到底有沒(méi)有用。切忌一上來(lái)就追求最復(fù)雜的模型否則最后連什么模塊產(chǎn)生了什么效果都說(shuō)不清。3.3 語(yǔ)義角色標(biāo)注把規(guī)則跑起來(lái)語(yǔ)義角色標(biāo)注最輕量的落地方式是規(guī)則加詞典。我們先用一個(gè)小系統(tǒng)理解標(biāo)簽體系的含義再看哪些環(huán)節(jié)可以用統(tǒng)計(jì)模型替換。def simple_srl(sentence, verb): # 這是一個(gè)極度簡(jiǎn)化的模板只用來(lái)理解語(yǔ)義角色抽取的基本思路 tokens sentence.split() agent_idx None patient_idx None for i, tok in enumerate(tokens): if tok in {他, 她, 某人, 公司, 團(tuán)隊(duì)}: if i tokens.index(verb): agent_idx i if i tokens.index(verb) and tok not in {把, 被, 了}: if patient_idx is None: patient_idx i result {} if agent_idx is not None: result[A0] tokens[agent_idx] result[V] verb if patient_idx is not None: result[A1] tokens[patient_idx] return result print(simple_srl(他敲碎了窗戶, 敲碎))上面的代碼非常簡(jiǎn)單很多句子會(huì)標(biāo)錯(cuò)但它的價(jià)值在于給你建立清晰的標(biāo)簽直覺(jué)A0一般在動(dòng)詞前A1一般在動(dòng)詞后被字句和把字句需要特殊處理。“把”字句里“他把窗戶敲碎了”“窗戶”雖然在動(dòng)詞前但它是動(dòng)作的承受者不是施事者所以A0應(yīng)該是“他”A1是“窗戶”。這個(gè)規(guī)則如果不單獨(dú)寫(xiě)初學(xué)者很容易被詞序干擾。真實(shí)項(xiàng)目里用規(guī)則做SRL只能覆蓋一小部分常見(jiàn)句式更常見(jiàn)的做法是收集一批已標(biāo)注的SRL語(yǔ)料訓(xùn)練一個(gè)序列標(biāo)注模型。序列標(biāo)注會(huì)把每個(gè)詞貼上BIO標(biāo)簽比如B-A0代表某個(gè)論元開(kāi)始I-A1代表論元繼續(xù)。訓(xùn)練這種模型和命名實(shí)體識(shí)別非常像輸入是詞向量加詞性特征輸出是每個(gè)詞的標(biāo)簽序列。這個(gè)過(guò)程中需要人工調(diào)整的地方主要是標(biāo)簽體系是只有A0/A1還是需要細(xì)分成工具、地點(diǎn)、時(shí)間等附加角色。附加角色一多樣本量需求就成倍上升。我個(gè)人的建議是如果業(yè)務(wù)只需要做知識(shí)抽取A0、V、A1三個(gè)角色基本夠用如果要做深層的問(wèn)答類似“他是用什么敲碎的”才需要考慮AM-MNR、AM-TMP這類附加角色。先定義最小可用的角色集合別為了學(xué)術(shù)上的完整而把問(wèn)題無(wú)謂放大這是我踩過(guò)坑后總結(jié)出來(lái)的。3.4 評(píng)估語(yǔ)義模塊做得好不好語(yǔ)義模塊不像分詞有明確的準(zhǔn)確率標(biāo)準(zhǔn)因?yàn)樗婕啊罢Z(yǔ)義對(duì)不對(duì)”的主觀判斷。所以工程上一定要建立一套自己的驗(yàn)收指標(biāo)我常用三個(gè)一個(gè)是消歧準(zhǔn)確率。方法很簡(jiǎn)單準(zhǔn)備幾百條人工標(biāo)注好的多義詞句子跑一遍消歧流程算出正確比例。注意采樣要按業(yè)務(wù)場(chǎng)景分布來(lái)不要均勻抽樣否則高頻詞占大頭評(píng)估結(jié)果虛高。一個(gè)是相似度與人工打分的相關(guān)性。準(zhǔn)備若干對(duì)句子讓兩個(gè)人分別打0到5的相似度分和模型輸出的分?jǐn)?shù)做排序相關(guān)性計(jì)算。相關(guān)度高說(shuō)明模型產(chǎn)出的排序基本符合人的直覺(jué)這是檢索場(chǎng)景里最看重的指標(biāo)。還有一個(gè)是端到端任務(wù)提升。比如你做一個(gè)FAQ問(wèn)答系統(tǒng)把相似度模塊從基礎(chǔ)的詞重疊換成語(yǔ)義度量后看最終問(wèn)題召回率提高多少。這是最實(shí)用的驗(yàn)收方式因?yàn)樽罱K的指標(biāo)才是業(yè)務(wù)方關(guān)心的。這三個(gè)指標(biāo)前兩個(gè)在開(kāi)發(fā)期用最后一個(gè)在灰度階段看。如果端到端指標(biāo)沒(méi)提升哪怕前兩個(gè)指標(biāo)很好看也要回頭檢查是不是相似度模塊的使用方式出了問(wèn)題。我遇到過(guò)一種情況模型分?jǐn)?shù)排序是對(duì)的但產(chǎn)品側(cè)只拿了一個(gè)絕對(duì)的相似度閾值去過(guò)濾由于分?jǐn)?shù)整體偏高導(dǎo)致誤召回了一堆無(wú)關(guān)內(nèi)容。這種事情不對(duì)比端到端指標(biāo)根本發(fā)現(xiàn)不了。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 詞典資源里查不到詞的義項(xiàng)怎么辦這是最常遇到的情況。詞網(wǎng)這類人工構(gòu)建的資源更新滯后網(wǎng)絡(luò)新詞、專業(yè)術(shù)語(yǔ)覆蓋不全消歧時(shí)經(jīng)常找不到對(duì)應(yīng)義項(xiàng)。我的處理思路是分層兜底先查基礎(chǔ)詞網(wǎng)資源命中不到再看領(lǐng)域詞表領(lǐng)域詞表也沒(méi)有就返回高頻義項(xiàng)。這樣雖然對(duì)單條樣本可能判斷不夠精準(zhǔn)但系統(tǒng)不會(huì)整體崩掉。實(shí)際操作時(shí)可以把“找不到義項(xiàng)”這件事單獨(dú)打日志每天統(tǒng)計(jì)頻率。如果某個(gè)詞反復(fù)查不到就啟動(dòng)人工補(bǔ)充流程把詞條加進(jìn)領(lǐng)域詞典并標(biāo)注好義項(xiàng)提示詞。這種滾動(dòng)更新的節(jié)奏比一次性追求完整覆蓋穩(wěn)健得多。4.2 詞向量在不同批次訓(xùn)練后不穩(wěn)定用相同語(yǔ)料訓(xùn)練兩次詞向量得到的向量空間可能差異很大原因是隨機(jī)初始化和迭代順序的影響。這會(huì)給相似度模塊帶來(lái)一個(gè)隱患模型參數(shù)更新后向量空間發(fā)生變化導(dǎo)致線上相似度分?jǐn)?shù)波動(dòng)。解決辦法是固定隨機(jī)種子以及固定訓(xùn)練數(shù)據(jù)的迭代順序。如果這些做了還是不穩(wěn)定另一個(gè)方案是引入一個(gè)線性對(duì)齊以舊版向量為基準(zhǔn)對(duì)新版向量做正交變換最小化兩個(gè)集合中重疊詞的向量差異。對(duì)齊之后的向量帶上線分?jǐn)?shù)漂移會(huì)顯著下降。這套方法在向量模型升級(jí)時(shí)非常實(shí)用。4.3 余弦相似度給反義詞打了高分“好”和“壞”在詞向量空間里往往很近因?yàn)樗鼈兊恼Z(yǔ)法功能和語(yǔ)境高度相似。這在語(yǔ)義相似度場(chǎng)景里會(huì)帶來(lái)一種尷尬你問(wèn)“這個(gè)產(chǎn)品好不好”系統(tǒng)把“這個(gè)產(chǎn)品很壞”也當(dāng)成高度相關(guān)。這是分布語(yǔ)義的固有偏差解決起來(lái)不能完全靠向量本身。我的經(jīng)驗(yàn)是疊加一個(gè)情感極性維度。具體做法是給每個(gè)詞打一個(gè)情感分在計(jì)算相似度時(shí)如果兩詞的極性方向不同就在相似度分?jǐn)?shù)上乘以一個(gè)懲罰系數(shù)。這樣“好”和“壞”的向量距離近但因?yàn)闃O性相反最終排序時(shí)不至于被誤當(dāng)成同義。這是規(guī)則和模型結(jié)合的典型案例。4.4 標(biāo)注語(yǔ)料太少模型訓(xùn)練不動(dòng)語(yǔ)義角色標(biāo)注這種任務(wù)沒(méi)有幾千條高質(zhì)量標(biāo)注句子模型很難收斂。如果預(yù)算和人力有限我建議用遠(yuǎn)程監(jiān)督的思路先從已有的結(jié)構(gòu)化知識(shí)庫(kù)或業(yè)務(wù)數(shù)據(jù)庫(kù)里拿到“主語(yǔ)-謂語(yǔ)-賓語(yǔ)”三元組再回填到文本中找出對(duì)應(yīng)的句子片段自動(dòng)產(chǎn)生一批弱標(biāo)注數(shù)據(jù)。這批數(shù)據(jù)噪音大但作為預(yù)訓(xùn)練集非常合適。拿到弱標(biāo)注模型后再讓人工只修正模型置信度低的樣本形成快速迭代閉環(huán)。整個(gè)過(guò)程中保證“修正后的數(shù)據(jù)被重新加入訓(xùn)練集”這一條很重要否則標(biāo)注資源等于只修了一半。實(shí)際操作里弱標(biāo)注加上少量人工修正通常能把F1從40多分提到75分以上在這個(gè)基礎(chǔ)上再想往上走就得仔細(xì)分析錯(cuò)誤類型而不是無(wú)腦加數(shù)據(jù)。4.5 生產(chǎn)環(huán)境里向量檢索性能差語(yǔ)義相似度檢索要遍歷幾十萬(wàn)個(gè)向量做點(diǎn)積當(dāng)請(qǐng)求量上來(lái)后純計(jì)算耗時(shí)和延遲會(huì)讓人頭疼。常規(guī)優(yōu)化手段是建向量索引先做粗篩再做精排。粗篩用近似最近鄰算法犧牲少量精度換取高召回候選集精排階段再用準(zhǔn)確的余弦相似度在候選集內(nèi)排序。這樣可以把全量檢索的計(jì)算量降下一兩個(gè)數(shù)量級(jí)。還有更簡(jiǎn)單的緩存方案相同或高度相似的查詢?cè)诙唐趦?nèi)重復(fù)率高尤其在企業(yè)客服這類場(chǎng)景中。對(duì)輸入句子先算一個(gè)短指紋如果相似度超過(guò)某個(gè)閾值直接返回緩存結(jié)果。我見(jiàn)過(guò)一個(gè)問(wèn)答系統(tǒng)引入緩存后后端壓力降低了40%。所以性能優(yōu)化不要只看索引也得看業(yè)務(wù)流量特征。5. 把語(yǔ)義能力落到項(xiàng)目里的工具選型建議5.1 數(shù)據(jù)量決定方法選擇我經(jīng)常被問(wèn)到一個(gè)問(wèn)題做語(yǔ)義相似度到底用規(guī)則、經(jīng)典模型還是預(yù)訓(xùn)練大模型這個(gè)問(wèn)題不能脫離數(shù)據(jù)量單獨(dú)回答。這里給一個(gè)參考閾值當(dāng)你的標(biāo)注樣本只有幾十到幾百條時(shí)用規(guī)則配合詞表比訓(xùn)練任何模型都強(qiáng)。因?yàn)槟Ｐ驮跇颖静粔驎r(shí)會(huì)嚴(yán)重過(guò)擬合上線后碰到稍有變化的句式就會(huì)崩。當(dāng)樣本量達(dá)到幾千條時(shí)可以考慮訓(xùn)練輕量的分類或匹配模型此時(shí)詞向量特征加上簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)往往效果穩(wěn)定。當(dāng)樣本量達(dá)到幾萬(wàn)條以上且你有多卡訓(xùn)練能力時(shí)再考慮微調(diào)預(yù)訓(xùn)練語(yǔ)言模型這樣才能物盡其用。這個(gè)經(jīng)驗(yàn)很適合中小團(tuán)隊(duì)。很多人一上來(lái)就微調(diào)大模型結(jié)果算力消耗大、迭代速度慢最后效果和簡(jiǎn)單的詞向量模型不相上下就是因?yàn)閿?shù)據(jù)量不夠支撐復(fù)雜模型的學(xué)習(xí)。模型復(fù)雜度不是越高越好要和手里的彈藥匹配。5.2 語(yǔ)義服務(wù)和業(yè)務(wù)解耦的經(jīng)驗(yàn)項(xiàng)目進(jìn)入后期語(yǔ)義能力最好沉淀成獨(dú)立服務(wù)而不是每個(gè)業(yè)務(wù)各寫(xiě)一套。獨(dú)立服務(wù)的好處是所有場(chǎng)景共用同一套詞義資源、向量庫(kù)和標(biāo)注體系出了問(wèn)題只需在一處修復(fù)所有調(diào)用方同時(shí)受益。設(shè)計(jì)接口時(shí)建議把輸入定義為純文本輸出定義為結(jié)構(gòu)化結(jié)果比如“消歧結(jié)果列表”“語(yǔ)義角色集合”“相似度分?jǐn)?shù)”。讓上游業(yè)務(wù)只關(guān)心自己需要的字段不要暴露過(guò)多的內(nèi)部細(xì)節(jié)。語(yǔ)義服務(wù)內(nèi)部怎么升級(jí)、換模型只要輸出schema不變業(yè)務(wù)方就感知不到。這個(gè)解耦的收益需要等系統(tǒng)做過(guò)一次大升級(jí)后才能真正體會(huì)到。5.3 預(yù)訓(xùn)練語(yǔ)言模型時(shí)代還需要學(xué)經(jīng)典語(yǔ)義嗎經(jīng)常有人問(wèn)現(xiàn)在大模型這么強(qiáng)大還需要理解詞義消歧、語(yǔ)義角色標(biāo)注這些基礎(chǔ)概念嗎我的回答始終是需要而且理解了這些概念會(huì)幫助你更好地用大模型。大模型本質(zhì)上是分布語(yǔ)義的一個(gè)超級(jí)大的實(shí)現(xiàn)它的很多“聰明”之處來(lái)自深度學(xué)習(xí)語(yǔ)言模型但它的缺陷也繼承了分布語(yǔ)義的先天不足。比如它對(duì)反義詞的區(qū)分、對(duì)罕見(jiàn)義項(xiàng)的識(shí)別、對(duì)復(fù)雜邏輯關(guān)系的推理仍然是吃力不討好的。當(dāng)你清楚這些經(jīng)典模塊擅長(zhǎng)什么、不擅長(zhǎng)什么你就能在大模型輸出里敏銳識(shí)別出錯(cuò)誤信號(hào)知道該去追問(wèn)還是該換一種方式提問(wèn)。反過(guò)來(lái)如果你完全不懂底下這些原理你看到大模型一本正經(jīng)地胡說(shuō)八道時(shí)根本不知道應(yīng)該怎么定位問(wèn)題。我在每次做項(xiàng)目總結(jié)時(shí)都會(huì)把經(jīng)典語(yǔ)義模塊比作一套“基本裝備”詞義消歧是盾過(guò)濾歧義語(yǔ)義角色標(biāo)注是矛刺穿表層句子結(jié)構(gòu)相似度計(jì)算是尺度量遠(yuǎn)近。這三樣裝備不一定每個(gè)項(xiàng)目都同時(shí)用上但你手里得常備著因?yàn)殡S時(shí)會(huì)用到。最后再分享一個(gè)小技巧做語(yǔ)義類項(xiàng)目時(shí)千萬(wàn)別只盯著單個(gè)指標(biāo)。我習(xí)慣每周固定抽幾十條線上真實(shí)請(qǐng)求把模型的中間輸出打印出來(lái)逐條看尤其關(guān)注那些“模型打了高分但用戶明顯不滿意”的樣本。這些樣本往往能暴露出評(píng)測(cè)集里覆蓋不到的問(wèn)題比如標(biāo)的義項(xiàng)不符合業(yè)務(wù)習(xí)慣或者角色標(biāo)注把領(lǐng)域術(shù)語(yǔ)拆碎了。先修這類問(wèn)題模型效果才會(huì)有質(zhì)的提升。