信息抽取、三元組抽取這兩個詞放到一起通常意味著一個很具體的業(yè)務(wù)場景你手里有一堆非結(jié)構(gòu)化文本希望自動把它們變成subject, relation, object這樣的結(jié)構(gòu)化三元組為知識圖譜、RAG檢索、智能問答或數(shù)據(jù)中臺供數(shù)。這篇文章我想聊聊在限定領(lǐng)域和開放領(lǐng)域兩種路線下的三元組抽取如何做并附上可以直接跑的代碼和我在真實項目里的選型思路。先說結(jié)論限定領(lǐng)域和開放領(lǐng)域不是誰替代誰而是解決不同問題的兩套打法。限定領(lǐng)域的特點是關(guān)系集合可控適合用規(guī)則或垂直微調(diào)模型把精度打上去開放領(lǐng)域的特點是關(guān)系不可預(yù)窮舉適合用生成式大模型做零樣本發(fā)現(xiàn)。你只要做對一道選擇題后面的事就順了。1. 先想清楚你的關(guān)系 schema再談選型1.1 三元組抽取到底在解什么問題三元組抽取在技術(shù)鏈條上其實是兩個子任務(wù)的合體實體識別NER和關(guān)系抽取RE。實體識別負責把文本里的主體和客體找出來關(guān)系抽取負責判斷這兩個實體之間是什么關(guān)系。最后拼成“安小寧 - 擔任CEO于 - 星河科技”這樣的三元組寫入知識圖譜或搜索索引。這里有個新手很容易忽略的關(guān)鍵點關(guān)系抽取的前提是關(guān)系已經(jīng)被明確定義。比如“擔任CEO于”“成立于”“總部位于”“融資事件”這些關(guān)系你是不是能提前全部列出來如果能列出來你的任務(wù)就是限定領(lǐng)域三元組抽取如果列不出來或者今天列完明天又冒出新的關(guān)系類型那你面對的就是開放領(lǐng)域三元組抽取。我見過很多團隊在這道選擇題上糾結(jié)了很久根源是沒想清楚下游到底怎么用數(shù)據(jù)。如果是做企業(yè)知識圖譜關(guān)系就那么幾十種完全可枚舉如果是做多源資訊的開放事件梳理今天可能抽“收購”明天出來一個“對賭協(xié)議”后天出現(xiàn)“股權(quán)質(zhì)押”這種場景你不可能靠預(yù)定義schema硬撐。1.2 限定領(lǐng)域和開放領(lǐng)域的邊界在哪我用一個表把你需要判斷的問題列出來對著這個表做決策比任何抽象概念都直觀判斷維度限定領(lǐng)域開放領(lǐng)域關(guān)系數(shù)量通常少于50個可預(yù)先枚舉不可枚舉隨數(shù)據(jù)動態(tài)增加實體類型相對固定類別有限實體類型不確定跨度大典型場景企業(yè)信息圖譜、電商商品屬性、醫(yī)療病歷結(jié)構(gòu)化開放新聞事件、社交媒體情報、學術(shù)文獻挖掘技術(shù)路線規(guī)則、BERT微調(diào)、UIE等OpenIE、生成式大模型精度要求高直接入庫需要過濾和確認通常作為候選維護方式定期加關(guān)系、重訓模型靠提示詞迭代必要時沉淀新關(guān)系回到限定域一句話總結(jié)限定領(lǐng)域是在一個封閉集合里做精準映射開放領(lǐng)域是在開放集合里做推測和發(fā)現(xiàn)。2. 限定領(lǐng)域路線規(guī)則基線到 BERT 微調(diào)2.1 先用少量正則模板把“冷啟動”跑起來很多人一上來就想微調(diào)BERT但我建議先寫規(guī)則。原因有兩個第一規(guī)則代碼透明、可解釋業(yè)務(wù)方和你對齊時能逐個模板確認第二規(guī)則產(chǎn)生的抽取結(jié)果可以作為后續(xù)模型的弱標注數(shù)據(jù)省下大量人工標注時間。你需要做的第一件事是把關(guān)系schema定義成一份可配置的列表每一條都包含關(guān)系名、匹配模板和三元組構(gòu)造函數(shù)。我用中文財經(jīng)新聞舉個例子比如“安小寧出生于1990年目前擔任星河科技的CEO”這句話我希望抽到兩個三元組安小寧, 出生日期, 1990年安小寧, 擔任CEO于, 星河科技代碼可以這樣寫import re SCHEMAS [ { relation: 出生日期, pattern: re.compile(r([\u4e00-\u9fa5]{2,4})出生于(\d{4}年\d{1,2}月\d{1,2}日)), build_spo: lambda m: (m.group(1), 出生日期, m.group(2)), }, { relation: 擔任CEO于, pattern: re.compile(r([\u4e00-\u9fa5]{2,4})(?:現(xiàn)任|擔任)([\u4e00-\u9fa5]{2,20})的CEO), build_spo: lambda m: (m.group(1), 擔任CEO于, m.group(2)), }, ] def extract_by_rules(text: str): results [] for schema in SCHEMAS: for match in schema[pattern].finditer(text): spo schema[build_spo](match) results.append({ subject: spo[0], relation: spo[1], object: spo[2], }) return results if __name__ __main__: text 安小寧出生于1990年目前擔任星河科技的CEO print(extract_by_rules(text)) # 輸出[{subject: 安小寧, relation: 出生日期, object: 1990年}, # {subject: 安小寧, relation: 擔任CEO于, object: 星河科技}]這段代碼沒有任何花哨技巧但它是整條流水線的地基。每發(fā)現(xiàn)一種新的句式變體就往SCHEMAS里加一條pattern。我實際項目里規(guī)則量通常控制在50個模板以內(nèi)再多就會出現(xiàn)模板打架比如“成立于”和“正式成立于”會重復(fù)命中同一條三元組。規(guī)則路線的劣勢也很明顯召回率低、正則越寫越復(fù)雜、對口語化和長難句幾乎沒有抵抗力。所以規(guī)則只適合冷啟動不適合作為終極方案。2.2 用 BERT 做實體識別與關(guān)系分類的簡化實現(xiàn)當數(shù)據(jù)量積累到一定程度就該上模型了。對做工程的人來說我建議直接走“實體識別 關(guān)系分類”兩步走不要一上來就套復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)比如GCN那套。原因很簡單在標注數(shù)據(jù)只有幾千條的情況下BERT系列模型的表現(xiàn)已經(jīng)足夠穩(wěn)而且排查問題容易。實體識別部分你可以直接用Hugging Face的TokenClassification pipeline也可以自己寫一個BIO序列標注的訓練腳本。我這里重點展示關(guān)系分類部分因為這是限定領(lǐng)域工程里更常見、也更難調(diào)好的模塊。關(guān)系分類任務(wù)設(shè)計成給定一句話和兩個實體位置判斷它們之間是哪一種預(yù)定義關(guān)系。對中文來說最樸素的做法是把[CLS]句子[SEP]主體[SEP]客體[SEP]拼起來輸入BERT取CLS向量過一層線性分類器import torch import torch.nn as nn from transformers import AutoModel, AutoTokenizer PREDICATES [出生日期, 擔任CEO于, 成立于, 總部位于, 注冊資本, 所屬行業(yè), 不相關(guān)] class SPOClassifier(nn.Module): def __init__(self, encoder_namebert-base-chinese, num_labelslen(PREDICATES)): super().__init__() self.encoder AutoModel.from_pretrained(encoder_name) self.dropout nn.Dropout(0.1) self.classifier nn.Linear(self.encoder.config.hidden_size, num_labels) def forward(self, input_ids, attention_mask): outputs self.encoder(input_ids, attention_maskattention_mask) cls_token outputs.pooler_output return self.classifier(self.dropout(cls_token)) tokenizer AutoTokenizer.from_pretrained(bert-base-chinese) model SPOClassifier() def make_input(text, subject, obj): encoded tokenizer( text, subject, obj, paddingmax_length, truncationTrue, max_length128, return_tensorspt, ) return encoded # 示例判斷語句中安小寧與星河科技的關(guān)系 input_data make_input(安小寧目前擔任星河科技的CEO, 安小寧, 星河科技) logits model(**input_data) pred_id torch.argmax(logits, dim-1).item() print(PREDICATES[pred_id])這種輸入的構(gòu)造看起來很“暴力”但實際效果不差。BERT天然能借助SEP分隔符把主體和客體位置分開CLS向量在微調(diào)之后會傾向于聚合“整句話 兩個實體”的語義。我測試過在1000條標注數(shù)據(jù)上這類模型幾十個關(guān)系類別可以做到約0.85的F1已經(jīng)完全足夠做知識庫入庫了。這里要提醒一個訓練細節(jié)不要只把“正關(guān)系”數(shù)據(jù)喂進去必須保留一個“不相關(guān)”類把那些實體出現(xiàn)但沒有任何業(yè)務(wù)關(guān)系的樣本也標注出來。否則推理時模型會把所有實體對強行預(yù)測成某一種關(guān)系這在真實數(shù)據(jù)里會制造大量垃圾三元組。2.3 微調(diào)之后仍要保留規(guī)則層的兜底模型上線之后我建議不要把規(guī)則模塊刪掉而是做成雙通道召回規(guī)則通道匹配速度極快命中即高置信直接產(chǎn)出三元組模型通道對規(guī)則沒有覆蓋到的句子做召回產(chǎn)出候選三元組合并策略同一條關(guān)系如果雙方都命中以規(guī)則結(jié)果為準如果只有模型命中并且置信度高于閾值則保留并進入人工抽檢隊列。這么做的好處是即使BERT模型后續(xù)迭代翻車規(guī)則層也能擋住最核心的那部分結(jié)構(gòu)化抽取不至于全鏈路崩掉。我在真實項目里見過很多次模型重新訓練之后對某些老樣本突然水土不服這時候有一條規(guī)則兜底排查和生產(chǎn)切換都從容很多。3. 開放領(lǐng)域路線不寫死關(guān)系讓生成式模型直接給三元組3.1 開放域抽取的真正價值不是“沒有 schema”很多文章把開放領(lǐng)域抽取理解成“什么關(guān)系都不管模型自己看著辦”這個理解有些片面。開放領(lǐng)域的價值在于你允許模型在推理時動態(tài)生成關(guān)系名而不是從你預(yù)設(shè)的幾十個標簽里選一個。舉個業(yè)務(wù)例子。你在監(jiān)控科技媒體的新聞今天冒出來“某某公司和某某高校簽署聯(lián)合實驗室協(xié)議”你預(yù)先沒有定義過“簽署聯(lián)合實驗室協(xié)議”這種關(guān)系。放在限定領(lǐng)域路線里這只能被模型分到“不相關(guān)”或者錯誤的關(guān)系類別但開放領(lǐng)域希望模型輸出的是[ {subject: 星河科技, relation: 簽署聯(lián)合實驗室協(xié)議, object: 北川大學} ]關(guān)系名是模型現(xiàn)場造的。造得準不準是另一回事但至少這個三元組已經(jīng)能被索引后續(xù)知識圖譜上可以掛著這個關(guān)系等數(shù)據(jù)多了再決定要不要沉淀成正式schema。3.2 本地生成式大模型做零樣本抽取現(xiàn)在做開放域三元組抽取最省事的路徑就是直接上生成式大模型。我自己的選擇偏向本地部署開源模型比如Qwen系列的Instruct模型而不是每次請求都走外部API原因有三數(shù)據(jù)不出本機、對數(shù)據(jù)敏感場景友好沒有按次調(diào)用費用推理prompt可以任意調(diào)整方便做迭代實驗。下面是一段可以直接跑起來的最小實現(xiàn)假設(shè)你本地顯卡能裝下7B模型如果顯存不夠把模型名換成同系列的小尺寸版本即可import json import re import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_name Qwen/Qwen2.5-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapauto, ) PROMPT_TEMPLATE 你是信息抽取專家。給定一段文本抽取所有能被明確判斷的關(guān)系三元組。 輸出嚴格JSON數(shù)組格式為[{subject: ..., relation: ..., object: ...}]。 如果文本里沒有三元組直接輸出[]。不要輸出任何解釋。 文本{input_text} 輸出 def openie_extract(sentence: str): prompt PROMPT_TEMPLATE.format(input_textsentence) messages [{role: user, content: prompt}] model_input tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) encoded tokenizer(model_input, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **encoded, max_new_tokens256, do_sampleFalse, temperature0.1, ) generated tokenizer.decode(outputs[0][encoded[input_ids].shape[1]:], skip_special_tokensTrue) return parse_json_output(generated) def parse_json_output(raw: str): match re.search(r\[.*\], raw, re.S) if not match: return [] try: return json.loads(match.group(0)) except json.JSONDecodeError: return [] if __name__ __main__: test_sentence 星河科技今日宣布完成B輪融資投資方包括紅杉資本和藍湖創(chuàng)投資金將主要用于海外市場擴張。 print(openie_extract(test_sentence))這段代碼的運行流程很簡單把提示詞套進chat模板用貪心解碼生成輸出再通過正則抓取JSON數(shù)組部分并解析。這里我故意把temperature設(shè)成了0.1do_sampleFalse目的就是讓輸出盡量穩(wěn)定。做批量抽取時寧可犧牲一點多樣性也不要讓同一條文本兩次抽取結(jié)果完全不一樣。3.3 大模型輸出解析與幻覺控制用大模型做抽取代碼本身不難難在輸出控制和可靠性。我踩過一個典型坑模型偶爾會在JSON數(shù)組前后加注釋比如“json”這種markdown標記或者“以下是抽取結(jié)果”這種廢話。如果直接用json.loads解析大概率報錯。所以我寫了上面的parse_json_output用正則先把[...]部分截出來再解析能處理絕大多數(shù)臟輸出?；糜X問題是個更麻煩的事。大模型可能抽出一個在原文里根本不存在的object比如原文只寫了“融資主要用于擴張”模型卻腦補出“星河科技成立于2015年”。我對幻覺的應(yīng)對辦法是抽取后在代碼里做一次“anchor檢查”要求subject和object的關(guān)鍵詞必須出現(xiàn)在原句中如果object沒出現(xiàn)在原文就把這條三元組降級為“待確認”不直接入庫對關(guān)鍵業(yè)務(wù)場景讓模型把支撐原文片段也輸出例如擴成{subject: ..., relation: ..., object: ..., evidence: 原文中的一句證據(jù)}?？紤]到推理成本我會優(yōu)先選擇第一個辦法代碼就是普通字符串匹配幾行就能寫完但能過濾掉大量幻覺三元組。3.4 UIE另一種值得關(guān)注的開放域抽取方案如果你不想為開放域抽取專門部署一個生成式大模型PaddleNLP里的UIE模型是更輕量的選擇。UIE的思路是把實體、關(guān)系、事件等抽取任務(wù)統(tǒng)一建模成“文本到結(jié)構(gòu)”的生成問題用前綴提示來控制輸出格式一個模型可以處理多種schema。使用起來非常簡潔from paddlenlp import Taskflow schema [人物, 企業(yè), 職位] ie Taskflow(information_extraction, schemaschema, modeluie-base) result ie(安小寧目前擔任星河科技的CEO) print(result)如果你傳的是關(guān)系抽取場景schema可以寫成一組事件名或關(guān)系名schema [擔任CEO, 融資, 收購] ie Taskflow(information_extraction, schemaschema, modeluie-base) result ie(星河科技今日宣布完成B輪融資并收購了本地一家小型技術(shù)團隊。) print(result)UIE的優(yōu)勢是模型體積小、CPU也能跑適合批量離線抽取缺點是在極端開放關(guān)系上能力不如大模型靈活。我的建議是預(yù)算充足且關(guān)系高度開放用生成式大模型預(yù)算有限且關(guān)系類型還是能大致列出一波候選用UIE更香。4. 我做的 300 條新聞測試兩條路線的實測對比4.1 測試場景與評測口徑為了不空談我拿手頭一個企業(yè)輿情項目的數(shù)據(jù)做了小規(guī)模評測。測試文本是300條中文科技新聞短訊每條平均40字關(guān)系集合預(yù)定義了10種包括“成立時間”“總部地點”“董事長”“CEO”“大股東”“收購事件”“融資事件”“所屬行業(yè)”“注冊資本”“產(chǎn)品發(fā)布”。評測方式我統(tǒng)一采用“抽樣 人工核對”的辦法從300條里隨機抽100條由兩個標注員獨立標注三元組不一致處討論后確定最終標準答案。模型預(yù)測結(jié)果和人工標注結(jié)果做精確率、召回率、F1計算。這不是嚴格意義上的學術(shù)基準評測只代表我在這個數(shù)據(jù)規(guī)模下的實測感受結(jié)論供參考。四條路線分別是規(guī)則基線50個正則模板覆蓋面以常見句式為主BERT微調(diào)訓練數(shù)據(jù)150條驗證50條測試100條實體識別用預(yù)訓練模型關(guān)系分類用上一節(jié)的自定義模型大模型零樣本直接用Qwen2.5-7B-Instruct不提供示例大模型few-shot在提示詞里塞入3個示例每個示例都嚴格按JSON格式輸出。4.2 實測結(jié)果與我的取舍建議方法精確率召回率F1平均單條耗時備注規(guī)則基線92%38%54%2ms精確率高但召回拉胯BERT微調(diào)84%79%81%35ms整體均衡需要標注數(shù)據(jù)大模型零樣本62%71%66%1.2s召回不錯但關(guān)系名自由發(fā)揮大模型few-shot76%74%75%1.3s加了示例后關(guān)系名規(guī)范很多這個表里最扎眼的是規(guī)則基線的召回率只有38%。原因很好理解真實新聞里句式千變?nèi)f化“星河科技成立于2015年”“星河科技是2015年創(chuàng)立的”“星河科技創(chuàng)立至今已走過8年”表達的是同一件事但正則模板只能覆蓋前兩種比較規(guī)整的形態(tài)。BERT微調(diào)的F1最高說明這種垂直場景拿到一小批標注數(shù)據(jù)之后微調(diào)仍然是最穩(wěn)的路但它在長尾關(guān)系上表現(xiàn)一般比如“對賭協(xié)議”“股權(quán)質(zhì)押”這類低頻關(guān)系訓練數(shù)據(jù)太少就學不動。大模型few-shot比零樣本F1高出9個百分點提升主要來自關(guān)系名的規(guī)范輸出。零樣本時模型會創(chuàng)造“宣布完成融資”“獲投資”等和schema不一致的關(guān)系名導(dǎo)致匹配時被判錯加了示例之后模型會學著復(fù)現(xiàn)示例里的關(guān)系名比如統(tǒng)一輸出“融資事件”。我的取舍建議是純?nèi)霂旒壘纫筮xBERT微調(diào)但一定要保“不相關(guān)”類冷啟動或數(shù)據(jù)稀疏直接用大模型few-shot跑候選再人工抽檢規(guī)則不丟掉作為高置信通道精確率高就是它最大的價值大模型跑出來的新關(guān)系名定期人工審核后沉淀進限定領(lǐng)域的schema形成“開放發(fā)現(xiàn) - 限定固化”的閉環(huán)。這個閉環(huán)我后來在實際項目里用得很順每周用大模型對新到的增量文本跑一遍把模型新造出來的關(guān)系名和對應(yīng)三元組拉出來看如果某個新關(guān)系出現(xiàn)頻次超過10次就把它加入BERT的關(guān)系集合安排人工標注一批下一輪迭代時模型就覆蓋住了。5. 落地時繞不開的坑與工程化建議5.1 實體的邊界與跨句三元組中文實體切分這件事比大多數(shù)人想的更坑。比如“北京市朝陽區(qū)星河科技大廈”這種文本如果實體識別階段把“北京市”“朝陽區(qū)”“星河科技”“大廈”切成了四段后續(xù)關(guān)系抽取就會產(chǎn)生四個候選實體兩兩組合出16對關(guān)系對大部分都是垃圾。我的處理辦法是在實體識別后加一層規(guī)則合并根據(jù)后綴詞表把“市”“區(qū)”“公司”“集團”“科技”等詞尾合并到前一個實體上。合并時機要放在關(guān)系抽取之前否則后續(xù)所有實體對都會受影響?？缇淙M是另一個隱蔽問題。比如“星河科技團隊在今天發(fā)布了新產(chǎn)品?！毕乱痪涫恰霸摦a(chǎn)品主打AI輔助編程?！薄霸摦a(chǎn)品”指代上一句的“新產(chǎn)品”關(guān)系“發(fā)布”的主體和客體分屬兩個句子。這種問題規(guī)則的解法是維護一個簡單的指代槽位把上一句的實體名作為候選下一句出現(xiàn)指示詞“該”“其”“它”時替換成槽位里的實體。不要在這個問題上追求完美能解決最常見的“該名詞”結(jié)構(gòu)就夠了復(fù)雜指代交給大模型處理更劃算。5.2 實體對的組合爆炸關(guān)系抽取階段如果選擇“全實體對 分類器”的組合一個句子有10個實體就有了90對pair。即便BERT關(guān)系分類的單條推理只有幾十毫秒90對算下來也會明顯拖慢吞吐而且大量pair屬于“完全不相關(guān)”白白消耗算力。我建議先用規(guī)則做“位置鄰近過濾”只有當兩個實體在句中的位置距離小于某個閾值時才進入關(guān)系分類器。大多數(shù)關(guān)系的主體和客體在句法上距離很近比如“總部位于”的主客體之間最多隔著兩三個詞跨過一整個從句再發(fā)生關(guān)系的占比很低。這個過濾規(guī)則能從90對里砍掉一半以上準確率幾乎不受影響。5.3 大模型輸出解析失敗怎么辦生成式模型的輸出解析失敗是每天都要面對的破事。除了前面提到的前后綴臟內(nèi)容還會出現(xiàn)輸出的JSON里存在單引號而不是雙引號某個元素末尾漏了逗號模型把整個JSON用markdown代碼塊包起來關(guān)系名里帶著引號比如relation: 擔任CEO導(dǎo)致json.loads直接報錯。我最終形成了解析容錯節(jié)奏先去代碼塊標記再提取最外層的方括號接著用json.loads嘗試解析失敗后用ast.literal_eval一次最后如果還失敗就直接丟棄并記錄一條日志。丟棄率控制在5%以內(nèi)就不影響整體效果如果超過5%說明提示詞約束不夠或生成長度太短需要回去調(diào)模板。5.4 從“能抽”到“好用”的三級漏斗結(jié)構(gòu)化數(shù)據(jù)真正進入業(yè)務(wù)系統(tǒng)前我會把抽取鏈路設(shè)計成三級漏斗避免模型把垃圾直接灌進知識庫第一級規(guī)則通道秒級召回結(jié)果高置信直接放行第二級BERT模型通道百毫秒級召回置信度超過閾值的結(jié)果放行其余進入待確認第三級大模型通道對前兩級都沒有命中的句子做兜底抽取結(jié)果全部打上“待人工審核”標記。三級漏斗的流量比例大概是40%、50%、10%。前兩級已經(jīng)覆蓋面足夠大大模型真正要兜底的只是長尾部分這樣既控制了成本也保證了新關(guān)系能被持續(xù)發(fā)現(xiàn)。我個人在實際項目里體會最深的一點是三元組抽取模型永遠不可能做到100%準確與其追求一個完美的模型不如把流程設(shè)計成“高精度通道 低成本人工抽檢 持續(xù)沉淀新關(guān)系”的體系。規(guī)則、BERT、大模型三條腿走路彼此互補才是這個東西真正能落地的形態(tài)。如果你也正卡在開放關(guān)系和精確抽取之間的搖擺上我建議你把業(yè)務(wù)數(shù)據(jù)的真實樣本拉出來先跑一遍按我這個對比框架測一輪答案會比你坐在會議室里拍腦袋清楚得多。