在日常社區(qū)運(yùn)營和內(nèi)容審核的對接中一類高頻出現(xiàn)的文本總是讓人頭疼賬號在評論區(qū)、商品問答區(qū)、私信入口批量投放“哈嘍我們是源頭工廠有需要就找我呀”這類攬客話術(shù)。它不算明顯的違規(guī)廣告單看每個字都很正常但架不住量大、變體多、人工審不完。本文就以此為切入點(diǎn)完整實(shí)現(xiàn)一個可運(yùn)行的營銷引流文本檢測小工具從文本歸一化、規(guī)則設(shè)計(jì)、權(quán)重打分到配置外置、灰度上線全流程拆解。讀者不需要機(jī)器學(xué)習(xí)基礎(chǔ)只要會寫 Python 函數(shù)就能跟著跑通已經(jīng)做過內(nèi)容風(fēng)控的同學(xué)也可以直接拿去對照自己的規(guī)則庫查漏補(bǔ)缺。1. 從一個真實(shí)場景說起營銷引流文本為什么需要工程化治理先把問題定義清楚。所謂“營銷引流文本”指的是那些目標(biāo)明確、但表述上刻意模糊的商業(yè)推廣內(nèi)容自稱廠家、批發(fā)、一手貨源引導(dǎo)用戶離開當(dāng)前平臺去私下溝通制造限時緊迫感等等。這類內(nèi)容在電商評論區(qū)、二手交易區(qū)、內(nèi)容社區(qū)、在線客服會話里都非常常見。它和傳統(tǒng)意義上的垃圾廣告有幾個明顯區(qū)別也正因?yàn)檫@些區(qū)別簡單的關(guān)鍵詞黑名單很難奏效。1.1 這類文本的三個技術(shù)特征第一個特征是詞匯本身是正常詞?！霸搭^工廠”“批發(fā)價”“有需要找我”這些詞單獨(dú)拎出來在正規(guī)的商品描述、售后說明、用戶提問里都會出現(xiàn)。你把“源頭工廠”整個拉黑第二天就會收到一堆誤傷投訴。所以規(guī)則必須建立在詞組組合上而不是單詞上。第二個特征是變體成本極低。加個全角字母、塞幾個零寬字符、把“微信”寫成“薇信”、把漢字重復(fù)幾遍都能在不改變?nèi)搜坶喿x效果的前提下繞過字面匹配。這一點(diǎn)在后文會專門用一節(jié)講文本歸一化因?yàn)檫@是所有文本風(fēng)控的第一道地基。第三個特征是分級困難。一句“我是源頭工廠歡迎咨詢”到底該直接攔截還是人工復(fù)核如果全部攔截誤傷率會高到業(yè)務(wù)方無法接受如果全部放過等于沒做。實(shí)際工程里必須有中間檔位也就是“疑似”狀態(tài)把判斷權(quán)交給人。1.2 幾種常見方案的邊界對比在動手寫代碼之前先看清楚幾種技術(shù)路線的適用邊界避免一上來就選錯工具。方案實(shí)現(xiàn)成本可解釋性變體對抗能力適合階段純關(guān)鍵詞黑名單極低強(qiáng)很弱冷啟動、兜底歸一化 組合正則低強(qiáng)中等規(guī)則庫主力詞向量/文本分類模型高弱強(qiáng)有標(biāo)注數(shù)據(jù)后大模型語義判別中中強(qiáng)增量補(bǔ)充、復(fù)核輔助需要強(qiáng)調(diào)的是這幾條路線不是替代關(guān)系而是疊加關(guān)系。一個成熟的文本風(fēng)控系統(tǒng)通常是歸一化打底規(guī)則引擎跑主力模型負(fù)責(zé)兜底和兜住長尾人工復(fù)核處理爭議樣本最后把復(fù)核結(jié)果回流成新的規(guī)則和訓(xùn)練數(shù)據(jù)。本文聚焦第二條路線因?yàn)樗亲钊菀自趦芍軆?nèi)上線、并且效果立刻可量化的方案。對于日均評論量在幾萬到幾十萬量級的業(yè)務(wù)一套設(shè)計(jì)良好的規(guī)則引擎能得到超過八成的問題召回誤傷也完全可控。1.3 本文要實(shí)現(xiàn)的系統(tǒng)能力具體來說我們要做的東西包含這幾個能力點(diǎn)輸入一條原始文本輸出一個 0 到 100 的分?jǐn)?shù)以及block/review/pass三檔結(jié)論。支持解釋不僅告訴你“這條有問題”還要告訴你“命中了哪條規(guī)則、命中了哪幾個字”。支持配置化規(guī)則庫不寫死在代碼里能通過文件修改并生效。支持批量與單條兩種調(diào)用方式便于本地調(diào)試和接入服務(wù)。附帶單元測試保證改了規(guī)則之后不會悄悄把已有能力改壞。下面進(jìn)入環(huán)境準(zhǔn)備。2. 環(huán)境準(zhǔn)備與項(xiàng)目結(jié)構(gòu)2.1 運(yùn)行環(huán)境與依賴選擇這個項(xiàng)目刻意只使用 Python 標(biāo)準(zhǔn)庫原因很實(shí)際內(nèi)容審核往往要嵌到已有的服務(wù)里多引一個第三方包就多一份版本沖突風(fēng)險和供應(yīng)鏈風(fēng)險。re、unicodedata、json、argparse、unittest全部內(nèi)置裝好 Python 就能跑。環(huán)境說明Python 版本建議使用 3.8 及以上。本文用到的dataclasses在 3.7 之后是標(biāo)準(zhǔn)庫f-string 的格式說明符在 3.6 之后可用。具體小版本請按你自己的項(xiàng)目統(tǒng)一這里不寫死。操作系統(tǒng)Windows、macOS、Linux 均可代碼中沒有平臺相關(guān)調(diào)用。編輯器PyCharm、VS Code 都行建議開啟保存時自動格式化。不需要數(shù)據(jù)庫、不需要 Web 框架全部邏輯跑在單進(jìn)程內(nèi)存里。如果你后續(xù)要接到 Flask / FastAPI 的接口里直接把RuleEngine實(shí)例掛在應(yīng)用啟動階段初始化一次即可規(guī)則編譯是一次性的運(yùn)行期只有正則匹配開銷。2.2 目錄結(jié)構(gòu)設(shè)計(jì)項(xiàng)目結(jié)構(gòu)如下保持扁平方便直接復(fù)制text_guard_demo/ ├── text_guard/ │ ├── __init__.py │ ├── normalize.py │ ├── rules.py │ ├── engine.py │ └── cli.py ├── config/ │ └── rules.json ├── samples.txt └── tests/ └── test_engine.py這里的分層是按職責(zé)切的normalize.py只負(fù)責(zé)把文本洗干凈rules.py只放規(guī)則數(shù)據(jù)engine.py負(fù)責(zé)匹配和打分cli.py只做輸入輸出。這樣切的好處是將來你想把規(guī)則換成模型只動engine.py想把規(guī)則換成數(shù)據(jù)庫下發(fā)只動rules.py的加載邏輯。很多人在寫這類小工具時喜歡全塞在一個文件里調(diào)試時舒服上線后維護(hù)會很痛苦。2.3 安裝與運(yùn)行方式創(chuàng)建目錄并初始化mkdir -p text_guard_demo/text_guard text_guard_demo/config text_guard_demo/tests cd text_guard_demo touch text_guard/__init__.py tests/__init__.py__init__.py可以為空它的作用是讓text_guard成為一個包這樣python -m text_guard.cli才能正常找到模塊。tests/__init__.py同理方便測試發(fā)現(xiàn)。運(yùn)行單元測試python -m unittest discover -s tests -v運(yùn)行命令行工具python -m text_guard.cli -t 哈嘍我們是源頭工廠有需要就找我呀下面開始寫真正的邏輯。3. 文本歸一化把變體拉回可比較的形態(tài)3.1 為什么歸一化是第一步先看一組例子。下面這五條文本人一眼就能看出是同一句話但字符串比較的結(jié)果全是“不相等”哈嘍我們是源頭工廠有需要就找我呀 哈嘍,我們是源頭工廠,有需要就找我呀 哈嘍我們是源頭工廠有需\u200b要就找我呀 哈嘍我們是源頭工廠有需要要要找我呀 哈嘍我們是源頭工廠有需要就找我丫第一條用的是全角逗號第二條用半角逗號第三條中間插了一個零寬空格U200B第四條把“要”重復(fù)了三遍第五條把“呀”換成了字形接近的“丫”。如果你把規(guī)則寫成re.search(有需要就找我, text)只有第一條能命中。這不是規(guī)則寫得不對而是輸入沒有對齊。所以歸一化的定位不是“美化文本”而是把所有等價寫法映射到同一個可比較形態(tài)把對抗成本從規(guī)則方轉(zhuǎn)移回發(fā)布方。3.2 三類必須處理的字符噪聲第一類全角與兼容字符。全角字母到、全角數(shù)字到、全角標(biāo)點(diǎn)、帶圈數(shù)字、羅馬數(shù)字都屬于 Unicode 的兼容字符區(qū)。Python 的unicodedata.normalize(NFKC, text)可以把它們統(tǒng)一折疊成常見形態(tài)。這個函數(shù)不需要額外依賴一次調(diào)用就能把大量“換皮”寫法拉平。需要注意的是NFKC 是冪等的重復(fù)調(diào)用結(jié)果不變所以在整條流水線里調(diào)一次就夠不必每步都調(diào)。第二類不可見字符。零寬空格U200B、零寬非連接符U200C、零寬連接符U200D、左右方向標(biāo)記U200E、U200F、字節(jié)序標(biāo)記UFEFF、軟連字符U00AD這些字符在終端里看不見卻真實(shí)存在于字符串中。用正則把這些區(qū)間整體刪掉即可。同時把 ASCII 控制字符除\t、\n、\r外也一并清理避免日志里出現(xiàn)亂碼。第三類夸張重復(fù)。把某個漢字重復(fù)兩三次是極常見的規(guī)避手法。處理方式是用反向引用壓縮連續(xù)三個及以上相同字符折疊成一個。這里有一個細(xì)節(jié)必須注意——數(shù)字不能壓縮。如果你無腦用(.)\1{2,}那么“最后100件”會被壓成“最后10件”價格和型號信息就丟了后續(xù)如果要做數(shù)量識別會出錯。所以正則里要把數(shù)字和空白排除掉。3.3 歸一化順序?yàn)槭裁床荒茈S意調(diào)換歸一化的每一步都有先后依賴順序錯了會留下漏洞。推薦順序是刪除不可見字符和控制字符。NFKC 折疊全角與兼容字符。統(tǒng)一轉(zhuǎn)小寫。壓縮重復(fù)字符。壓縮連續(xù)空白并去掉首尾空格。為什么“刪不可見字符”要放在最前面因?yàn)檫@些字符可能夾在 Unicode 組合序列中間先折疊再做刪除有可能產(chǎn)生新的組合結(jié)果導(dǎo)致漏刪。為什么不轉(zhuǎn)小寫就壓縮重復(fù)大小寫混寫如vv折疊前后是兩種形態(tài)先轉(zhuǎn)小寫能保證壓縮邏輯看到的是同一個字符。另外提醒一點(diǎn)本文的規(guī)則庫是針對中文話術(shù)設(shè)計(jì)的所以沒有做繁簡轉(zhuǎn)換。如果你的業(yè)務(wù)場景里繁體內(nèi)容占比不低建議在 NFKC 之后、轉(zhuǎn)小寫之前插入一步繁簡統(tǒng)一用開源的字表映射即可不要自己手寫幾百對字符。這一步加不加取決于你的實(shí)際數(shù)據(jù)分布不要為了“完整”而堆功能。4. 規(guī)則設(shè)計(jì)與打分模型4.1 用組合詞而不是單詞這是規(guī)則庫設(shè)計(jì)里最容易踩的坑。假設(shè)你把“工廠”設(shè)為關(guān)鍵詞后果是什么用戶問“這個工廠的生產(chǎn)資質(zhì)能看下嗎”直接被判成營銷。誤傷幾次之后業(yè)務(wù)方就會要求關(guān)掉整個功能。正確的做法是把詞拆成“意圖信號”每個信號用詞組或短語表達(dá)身份宣稱類源頭工廠、源頭廠家、一手貨源、廠家直銷、工廠直供、原廠直供。注意這里全都是兩到四個字的組合單獨(dú)一個“工廠”或“貨源”不構(gòu)成信號。引導(dǎo)聯(lián)系類加V、加微信、留聯(lián)系方式、私信我、私聊我、滴滴我、扣1。這類信號的危險度最高因?yàn)樗哪康木褪前讶藦钠脚_導(dǎo)走。招呼攬客類有需要就找我、歡迎咨詢、歡迎來撩、隨時找我。這是最典型的“哈嘍體”尾巴。價格誘惑類批發(fā)價、出廠價、低價清倉、一件代發(fā)、量大從優(yōu)。緊迫感類限時、秒殺、手慢無、僅限今天、最后 N 件。批量起訂類N 件起批、起訂量、大量現(xiàn)貨。這樣拆分以后單條文本的召回和精準(zhǔn)度都會好很多。同時規(guī)則具備可解釋性命中了哪一類審核人員一眼就能看懂原因。4.2 權(quán)重怎么定有了信號之后要給權(quán)重。權(quán)重的意義不是“精確概率”而是相對危險度的排序。本文的取值思路是規(guī)則權(quán)重理由引導(dǎo)聯(lián)系25直接觸達(dá)用戶風(fēng)險最高招呼攬客18典型攬客尾巴但可能出現(xiàn)在客服場景身份宣稱15單獨(dú)出現(xiàn)不足以判定需組合價格誘惑12常見于正常促銷緊迫感10廣告常用但正常活動也用批量起訂8補(bǔ)充信號幾個設(shè)計(jì)要點(diǎn)值得說明。第一同一條規(guī)則在一條文本里只計(jì)一次分。有人會想“命中三次就乘三”這會讓刷分變得極其容易——重復(fù)五遍“加V”就能把分?jǐn)?shù)頂?shù)缴舷?。用re.search而不是re.finditer天然做到一條規(guī)則一次計(jì)分。第二分?jǐn)?shù)要有上限。所有命中權(quán)重求和后做一次min(raw, 100)避免后續(xù)加規(guī)則時分?jǐn)?shù)計(jì)算溢出預(yù)期區(qū)間也方便閾值調(diào)整。第三權(quán)重是調(diào)出來的不是想出來的。上線后一定要跑真實(shí)的復(fù)核樣本把誤判的樣本和漏判的樣本分別列出來看是該調(diào)權(quán)重還是該補(bǔ)規(guī)則。憑感覺調(diào)權(quán)重兩周之后沒人記得為什么是 15 而不是 12。4.3 閾值分級與人工復(fù)核三檔閾值的取值建議score 45→block直接攔截或折疊展示。20 score 45→review進(jìn)入人工復(fù)核隊(duì)列。score 20→pass正常放行。為什么中間要留這么寬的一檔因?yàn)闋I銷文本的判定本質(zhì)上是概率性的兩檔攔/放會逼著你在“誤傷太多”和“漏放太多”之間二選一。有了 review 檔你可以先用較寬的規(guī)則召回再通過人工復(fù)核把樣本標(biāo)出來逐步把規(guī)則收緊。這也是冷啟動階段最務(wù)實(shí)的策略。需要提醒的是閾值不能幾個業(yè)務(wù)線共用一套?？头捓锏摹皻g迎咨詢”是正常的商品評論區(qū)里的“歡迎咨詢”就很可疑。合理的做法是給不同場景各配一套閾值或者給規(guī)則加上場景標(biāo)簽。5. 完整實(shí)戰(zhàn)一個可運(yùn)行的文本風(fēng)控小工具下面把四個模塊的代碼完整寫出來每段都能直接復(fù)制進(jìn)對應(yīng)文件運(yùn)行。5.1 歸一化模塊文件路徑text_guard/normalize.py文本歸一化把各種變體寫法統(tǒng)一成可比較的形態(tài)。 import re import unicodedata # 零寬字符、方向控制符、軟連字符等不可見字符 _INVISIBLE_RE re.compile(r[\u200b-\u200f\u202a-\u202e\u2060\ufeff\u00ad]) # ASCII 控制字符\t、\n、\r 交給后面的空白壓縮處理 _CTRL_RE re.compile(r[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]) # 三個及以上連續(xù)相同的「非數(shù)字、非空白」字符壓縮成一個 _REPEAT_RE re.compile(r([^\d\s])\1{2,}) # 連續(xù)空白壓縮成一個空格 _SPACE_RE re.compile(r\s) def strip_invisible(text: str) - str: 刪除零寬字符和控制字符避免「看起來一樣、實(shí)際不同」的文本繞過規(guī)則。 return _INVISIBLE_RE.sub(, _CTRL_RE.sub(, text)) def to_halfwidth(text: str) - str: 使用 NFKC 歸一化把全角字母數(shù)字、兼容字符折疊成常見形態(tài)。 return unicodedata.normalize(NFKC, text) def collapse_repeats(text: str) - str: 壓縮夸張重復(fù)有需要要要找我 - 有需要找我。數(shù)字不壓縮避免破壞價格和型號。 return _REPEAT_RE.sub(r\1, text) def normalize(text: str) - str: 歸一化主入口順序不可隨意調(diào)換。 if not text: return t strip_invisible(text) t to_halfwidth(t) t t.lower() t collapse_repeats(t) t _SPACE_RE.sub( , t).strip() return t逐段解釋一下。strip_invisible做了兩層sub嵌套外層刪零寬字符內(nèi)層刪控制字符順序無關(guān)因?yàn)閮深悈^(qū)間不重疊。to_halfwidth里用 NFKC 而不做手工映射是因?yàn)槿亲帜赣?26 個、全角數(shù)字 10 個、各種標(biāo)點(diǎn)幾十個手寫映射表既容易漏又難維護(hù)標(biāo)準(zhǔn)庫已經(jīng)把這件事件做好了。collapse_repeats的替換串是r\1配合正則里的捕獲組([^\d\s])把整段重復(fù)壓縮成第一個字符。數(shù)字被顯式排除是為了保住“最后100件”這類信息。最后normalize函數(shù)的順序就是 3.3 節(jié)說的順序注釋里也標(biāo)明了不可隨意調(diào)換。5.2 規(guī)則定義模塊文件路徑text_guard/rules.py規(guī)則數(shù)據(jù)定義。這里只放數(shù)據(jù)不放邏輯。 from dataclasses import dataclass from typing import List dataclass(frozenTrue) class Rule: rule_id: str # 規(guī)則唯一標(biāo)識用于日志和解釋 pattern: str # 正則在「已歸一化文本」上匹配 weight: int # 命中分值 desc: str # 人話描述給審核人員看 DEFAULT_RULES: List[Rule] [ Rule( rule_idsrc_factory_claim, patternr源頭工廠|源頭廠家|一手貨源|廠家直銷|工廠直供|原廠直供, weight15, desc自稱源頭/廠家直供, ), Rule( rule_idcontact_solicit, patternr加\s*[v威薇微w]|加個?微信|留個?聯(lián)系方式|私信我|私聊我|滴滴我|扣\s*1, weight25, desc引導(dǎo)私下聯(lián)系, ), Rule( rule_idsales_greeting, patternr有需要就?找我|需要的?話?[^,。?]{0,6}找我|歡迎咨詢|歡迎來撩|隨時找我, weight18, desc招呼式攬客, ), Rule( rule_idprice_claim, patternr批發(fā)價|出廠價|低價清倉|跳樓價|賺差價|一件代發(fā)|量大從優(yōu), weight12, desc低價/代發(fā)話術(shù), ), Rule( rule_idurgency, patternr限時|秒殺|手慢無|僅限今天|最后\s*\d\s*件, weight10, desc制造緊迫感, ), Rule( rule_idwholesale_qty, patternr\d\s*件起批|起訂量|大量現(xiàn)貨, weight8, desc批量起訂話術(shù), ), ]幾個正則細(xì)節(jié)需要單獨(dú)說明。加\s*[v威薇微w]里的\s*是為了兼容“加 V”這種中間帶空格的寫法。歸一化已經(jīng)把連續(xù)空白壓成一個空格但空格還在所以匹配時必須允許它。需要的?話?[^,。?]{0,6}找我是“需要的資料可以找我”這類長句的兜底。中間允許 0 到 6 個非標(biāo)點(diǎn)字符超過 6 個字符通常說明這是兩個獨(dú)立語義誤傷風(fēng)險上升。這里的[^,。?]用的是半角標(biāo)點(diǎn)因?yàn)闅w一化已經(jīng)通過 NFKC 把中文逗號句號問號轉(zhuǎn)成了半角。最后\s*\d\s*件允許數(shù)字兩邊有空格同樣是為了兼容“最后 100 件”這類排版。注意這里和collapse_repeats不沖突因?yàn)閿?shù)字沒有被壓縮。5.3 規(guī)則引擎模塊文件路徑text_guard/engine.py規(guī)則引擎負(fù)責(zé)匹配、打分、給出結(jié)論。 import re from dataclasses import dataclass, field from typing import List, Sequence from .normalize import normalize from .rules import Rule, DEFAULT_RULES VERDICT_BLOCK block VERDICT_REVIEW review VERDICT_PASS pass dataclass class Hit: rule_id: str desc: str weight: int matched: str dataclass class Decision: text: str normalized: str score: int verdict: str hits: List[Hit] field(default_factorylist) def to_dict(self) - dict: return { verdict: self.verdict, score: self.score, normalized: self.normalized, hits: [ { rule_id: h.rule_id, desc: h.desc, weight: h.weight, matched: h.matched, } for h in self.hits ], } class RuleEngine: def __init__( self, rules: Sequence[Rule] DEFAULT_RULES, block_threshold: int 45, review_threshold: int 20, ): if review_threshold block_threshold: raise ValueError(review_threshold 必須小于 block_threshold) # 規(guī)則在初始化階段一次性編譯運(yùn)行期不再重復(fù)編譯 self._rules [(rule, re.compile(rule.pattern)) for rule in rules] self.block_threshold block_threshold self.review_threshold review_threshold def decide(self, text: str) - Decision: normalized normalize(text) hits: List[Hit] [] for rule, pattern in self._rules: # 用 search 而不是 finditer同一條規(guī)則只計(jì)一次分 m pattern.search(normalized) if m: hits.append( Hit( rule_idrule.rule_id, descrule.desc, weightrule.weight, matchedm.group(0), ) ) score min(sum(h.weight for h in hits), 100) if score self.block_threshold: verdict VERDICT_BLOCK elif score self.review_threshold: verdict VERDICT_REVIEW else: verdict VERDICT_PASS return Decision( texttext, normalizednormalized, scorescore, verdictverdict, hitshits, )這段代碼里有三處設(shè)計(jì)是刻意的值得單獨(dú)講。構(gòu)造期編譯正則。re.compile本身有緩存但顯式編譯能保證行為確定也避免運(yùn)行期第一次調(diào)用時的抖動。規(guī)則庫一旦大起來幾百條每次請求重復(fù)編譯的開銷不可忽視尤其是高頻短文本場景。用search而不是finditer。這是 4.2 節(jié)說的“一條規(guī)則只計(jì)一次分”的實(shí)現(xiàn)基礎(chǔ)。如果改成finditer并累加惡意用戶只要把話術(shù)重復(fù)幾遍就能把分?jǐn)?shù)打滿整個閾值體系就失效了。分?jǐn)?shù)封頂 100。這個細(xì)節(jié)在多規(guī)則疊加時很重要。如果不封頂將來加規(guī)則容易把分?jǐn)?shù)推到幾百閾值就需要跟著重算歷史積累的調(diào)參經(jīng)驗(yàn)全部作廢。封頂之后閾值區(qū)間保持穩(wěn)定。5.4 命令行入口文件路徑text_guard/cli.py命令行入口支持單條、文件和標(biāo)準(zhǔn)輸入三種方式。 import argparse import json import sys from .engine import RuleEngine def build_parser() - argparse.ArgumentParser: parser argparse.ArgumentParser( progtext-guard, description營銷引流話術(shù)檢測小工具, ) source parser.add_mutually_exclusive_group() source.add_argument(-t, --text, help檢測單條文本) source.add_argument(-f, --file, help檢測文本文件每行一條) parser.add_argument(--block, typeint, default45, help攔截閾值默認(rèn) 45) parser.add_argument(--review, typeint, default20, help復(fù)核閾值默認(rèn) 20) parser.add_argument(--json, actionstore_true, help以 JSON 行格式輸出) return parser def main(argvNone) - int: args build_parser().parse_args(argv) engine RuleEngine(block_thresholdargs.block, review_thresholdargs.review) if args.text is not None: items [args.text] elif args.file: with open(args.file, encodingutf-8) as f: items [line.rstrip(\n) for line in f if line.strip()] else: items [line.rstrip(\n) for line in sys.stdin if line.strip()] for idx, item in enumerate(items, start1): decision engine.decide(item) if args.json: payload decision.to_dict() payload[line] idx print(json.dumps(payload, ensure_asciiFalse)) else: print(f[{idx}] {decision.verdict.upper():6} score{decision.score:3} {item}) for hit in decision.hits: print(f - {hit.rule_id}({hit.weight}): {hit.matched}) return 0 if __name__ __main__: raise SystemExit(main())ensure_asciiFalse這一行很關(guān)鍵。默認(rèn)的json.dumps會把中文轉(zhuǎn)成\uXXXX日志里幾乎沒法看排查問題時非常痛苦。加上這個參數(shù)后輸出保持中文原樣配合encodingutf-8讀文件整條鏈路不會出現(xiàn)亂碼。raise SystemExit(main())是標(biāo)準(zhǔn)寫法保證入口函數(shù)的返回值能正確傳遞給操作系統(tǒng)便于在腳本里通過退出碼判斷成功與否。5.5 單元測試文件路徑tests/test_engine.pyimport unittest from text_guard.engine import ( RuleEngine, VERDICT_BLOCK, VERDICT_PASS, VERDICT_REVIEW, ) from text_guard.normalize import normalize class NormalizeTest(unittest.TestCase): def test_fullwidth_to_halfwidth(self): self.assertEqual(normalize(加), 加v) def test_zero_width_removed(self): self.assertEqual(normalize(加\u200bv), 加v) def test_repeat_collapsed(self): self.assertEqual(normalize(有需要要要找我), 有需要找我) def test_digits_kept(self): self.assertEqual(normalize(最后100件), 最后100件) class EngineTest(unittest.TestCase): def setUp(self): self.engine RuleEngine() def test_marketing_greeting_is_review(self): d self.engine.decide(哈嘍我們是源頭工廠有需要就找我呀) self.assertEqual(d.verdict, VERDICT_REVIEW) self.assertEqual(d.score, 33) def test_hard_sell_is_block(self): d self.engine.decide(源頭工廠一手貨源加Vabc123一件代發(fā)量大從優(yōu)) self.assertEqual(d.verdict, VERDICT_BLOCK) self.assertEqual(d.score, 52) def test_normal_question_passes(self): d self.engine.decide(這個零件是源頭工廠生產(chǎn)的嗎我想了解下工藝流程) self.assertEqual(d.verdict, VERDICT_PASS) def test_contact_only_is_review(self): d self.engine.decide(有貨的話加個微信聊) self.assertEqual(d.verdict, VERDICT_REVIEW) if __name__ __main__: unittest.main()測試用例的設(shè)計(jì)思路是“一類風(fēng)險一條”。歸一化層測四個點(diǎn)全角折疊、零寬刪除、重復(fù)壓縮、數(shù)字保留。引擎層測四個點(diǎn)打招呼式攬客、硬廣、正常提問、僅引導(dǎo)聯(lián)系。這樣改規(guī)則時有基線保護(hù)不會出現(xiàn)“修了漏判、炸了誤傷”還不知道的情況。如果你的團(tuán)隊(duì)用 pytest這套用例可以直接跑不需要改任何斷言寫法因?yàn)閡nittest.TestCase的子類 pytest 也識別。5.6 運(yùn)行驗(yàn)證與結(jié)果解讀準(zhǔn)備樣本文件文件路徑samples.txt哈嘍我們是源頭工廠有需要就找我呀 源頭工廠一手貨源加Vabc123一件代發(fā)量大從優(yōu) 這個零件是源頭工廠生產(chǎn)的嗎我想了解下工藝流程 你好請問這個型號還有貨嗎 限時秒殺最后3件手慢無需要的私聊我執(zhí)行python -m text_guard.cli -f samples.txt預(yù)期輸出[1] REVIEW score33 哈嘍我們是源頭工廠有需要就找我呀 - src_factory_claim(15): 源頭工廠 - sales_greeting(18): 有需要就找我 [2] BLOCK score52 源頭工廠一手貨源加Vabc123一件代發(fā)量大從優(yōu) - src_factory_claim(15): 源頭工廠 - contact_solicit(25): 加v - price_claim(12): 一件代發(fā) [3] PASS score15 這個零件是源頭工廠生產(chǎn)的嗎我想了解下工藝流程 - src_factory_claim(15): 源頭工廠 [4] PASS score0 你好請問這個型號還有貨嗎 [5] REVIEW score35 限時秒殺最后3件手慢無需要的私聊我 - contact_solicit(25): 私聊我 - urgency(10): 限時逐條解讀一下結(jié)果這幾條正好覆蓋了系統(tǒng)的主要行為。第 1 條就是標(biāo)題里那句話得分 33落在 review 檔。它命中了“源頭工廠”這個身份宣稱和“有需要就找我”這個攬客尾巴但沒有引導(dǎo)聯(lián)系、沒有價格誘惑所以不直接攔截。這個判定是合理的——如果你看到一條評論是這么寫的通常會選擇折疊或者限流而不是直接刪除賬號。第 2 條得分 52直接 block。注意它的命中項(xiàng)里contact_solicit匹配到的是歸一化之后的加v說明全角字母折疊生效了。三條規(guī)則疊加剛好越過攔截線這正是“組合信號”的價值——單獨(dú)任何一條都不足以定罪。第 3 條只命中身份宣稱得 15 分判 pass。這條最值得注意它證明了兩件事一是組合詞設(shè)計(jì)確實(shí)降低了誤傷如果規(guī)則里放的是單個“工廠”這條會被判 review二是 review 閾值設(shè)在 20 是有依據(jù)的單信號不應(yīng)該進(jìn)復(fù)核隊(duì)列否則復(fù)核隊(duì)列會被大量正常提問淹沒。第 4 條零命中正常放行。第 5 條命中了引導(dǎo)聯(lián)系和緊迫感得 35 分進(jìn) review。這里其實(shí)可以討論私聊我權(quán)重 25 是否過高如果這條來自客服場景可能是正常回復(fù)。這就是為什么 4