先說個(gè)結(jié)論我在AI行業(yè)這些年看了不少所謂的安全協(xié)議、倫理公約、負(fù)責(zé)任AI框架真正能在產(chǎn)品和系統(tǒng)層面落地執(zhí)行的少得可憐。剩下的那些與其說是安全承諾不如說是給外界看的裝飾品。這跟公司墻上貼著企業(yè)文化、實(shí)際管理動作完全是兩回事一個(gè)道理。最近AI安全協(xié)議越來越多A4紙?jiān)絹碓胶窨葾I事故依舊每天都在發(fā)生我就一直在琢磨這件事——這里面到底哪一環(huán)出了問題。這篇文章想聊的是我觀察到的一個(gè)趨勢AI安全協(xié)議正在變成一種新型的形式主義。它的核心價(jià)值不在于保護(hù)用戶而在于被簽署被發(fā)布被引用這些動作本身。內(nèi)容適合正在做AI產(chǎn)品、需要寫安全評估報(bào)告、或者被要求過某個(gè)AI治理合規(guī)的同行看也適合那些真想把安全做扎實(shí)而不是做樣子的人。我會從現(xiàn)象拆到原因再給出我自己驗(yàn)證過的落地做法最后附一份可以直接抄走的評估框架。1. AI安全協(xié)議正在變成紙面安全三種我最常見的姿態(tài)1.1 愿景式宣言價(jià)值觀名詞的排列組合我見過太多AI安全協(xié)議翻開第一頁全是以人為本公平公正透明可解釋這類詞。不是說這些詞不對而是它們基本無法被驗(yàn)證。你說你做到了透明那具體是哪份文檔公開了公開到什么粒度決策路徑是否可審計(jì)協(xié)議里完全沒有對應(yīng)的度量方式。這就導(dǎo)致整份協(xié)議變成了一種價(jià)值觀名詞的排列組合誰寫都長這樣讀起來像高考滿分作文落不了地。我記得有次幫一家做客服機(jī)器人的公司審他們的安全規(guī)范拿到一份45頁的倫理框架。翻到后面真正跟系統(tǒng)和數(shù)據(jù)相關(guān)的可執(zhí)行條款只有兩頁而且這兩頁寫的還是應(yīng)遵循國家相關(guān)法律法規(guī)這種已經(jīng)默認(rèn)成立的話。剩下43頁都是愿景、使命、價(jià)值觀。這種協(xié)議最大的問題是它消耗了組織對安全的注意力讓大家以為我們寫過安全協(xié)議了所以我們是安全的——實(shí)際上什么都還沒發(fā)生。1.2 檢查表式合規(guī)勾選完成不等于安全完成另一種更隱蔽的形式主義是檢查表式合規(guī)。團(tuán)隊(duì)會列出一張安全評估表上面有幾十個(gè)問題比如是否對模型輸入進(jìn)行了越獄攻擊測試是否有數(shù)據(jù)脫敏流程是否設(shè)置了訪問控制。每個(gè)問題后面跟是/否全勾上是就可以上線。問題在于這類檢查表天然是為通過審查設(shè)計(jì)的不是為發(fā)現(xiàn)風(fēng)險(xiǎn)設(shè)計(jì)的。我來舉一個(gè)我實(shí)際見過的例子。有一家做AI編程輔助工具的公司安全表上是否做過提示詞注入防護(hù)這一項(xiàng)勾了是。我追問了一句你們是怎么做的對方說我們在系統(tǒng)提示詞里寫了不要泄露系統(tǒng)指令。這就算做了。結(jié)果我實(shí)際測試了一下根本不需要什么高級攻擊直接用ignore previous instructions就繞過了。這張檢查表有沒有起到安全作用它唯一的作用是讓團(tuán)隊(duì)在周報(bào)里寫安全項(xiàng)全部通過。這種走形式最坑的地方在于它會制造一個(gè)虛假的安全信號。打過勾的負(fù)責(zé)人自己都信了后續(xù)所有基于這份檢查表的決策都會建立在錯(cuò)誤的前提上。安全評估如果停留在勾選項(xiàng)層面那它本質(zhì)上不是安全工具而是免責(zé)工具。1.3 披露式安全寫出來就算處理完了第三種姿態(tài)我一般叫披露即合規(guī)。團(tuán)隊(duì)確實(shí)做了紅隊(duì)測試、做了風(fēng)險(xiǎn)評估把這些內(nèi)容寫進(jìn)了模型卡或者透明度報(bào)告里然后呢然后就沒有然后了。風(fēng)險(xiǎn)被披露了但沒有任何后續(xù)動作。這種情況在開源模型里尤其常見。模型發(fā)布方寫一份長文檔告訴你本模型可能生成有害內(nèi)容存在幻覺風(fēng)險(xiǎn)不建議在未經(jīng)微調(diào)的情況下用于醫(yī)療場景然后模型照常發(fā)布責(zé)任就轉(zhuǎn)嫁給了使用者。披露這個(gè)動作本身當(dāng)然有價(jià)值但它被當(dāng)成終點(diǎn)就變味了。我拿幻覺舉例。很多模型卡都會披露模型可能產(chǎn)生幻覺但真正的問題不是它可能幻覺而是在什么輸入條件下、以多大概率觸發(fā)幻覺、觸發(fā)后會輸出什么形態(tài)的錯(cuò)誤信息。這三個(gè)問題絕大多數(shù)模型卡根本沒有回答。于是下游開發(fā)者拿到這樣的模型卡除了知道模型可能說錯(cuò)話這種他本來就知道的事什么有效信息也得不到。安全信息披露到這種顆粒度本質(zhì)上就是免責(zé)聲明不是安全機(jī)制。2. 為什么AI安全協(xié)議特別容易走進(jìn)形式主義四個(gè)制度性原因2.1 模型不透明讓證明安全變成了聲稱安全AI安全協(xié)議容易變成形式主義首要原因是模型本身的可驗(yàn)證性太差。傳統(tǒng)的軟件安全協(xié)議你可以審計(jì)源代碼你可以跑單元測試你可以復(fù)現(xiàn)崩潰現(xiàn)場。但一個(gè)訓(xùn)練好的深度學(xué)習(xí)模型你很難說清楚它內(nèi)部幾千億參數(shù)到底編碼了什么規(guī)則。你只能通過輸入去試探它的行為邊界而這種試探永遠(yuǎn)是不完備的。這就是問題的根源當(dāng)安全本身無法被完全驗(yàn)證時(shí)安全協(xié)議就只能退化成你相信你安全我相信你安全。如果說傳統(tǒng)軟件的安全協(xié)議是建立在能證明的基礎(chǔ)上那AI安全協(xié)議很大程度是建立在信任和敘事的基礎(chǔ)上。而敘事一旦成為主角形式主義就不可避免。寫一份漂亮的敘事比真的把模型搞安全容易得多而且短期內(nèi)看起來效果更好——至少報(bào)告上是好看的。你沒法反駁它。這是我覺得最可怕的一點(diǎn)。你說人家測試不充分人家說我們測了XX類場景你說深度不夠人家說市面上都這么測。最后所有的討論都變成了口頭之爭因?yàn)闆]有一套公認(rèn)的、可復(fù)現(xiàn)的驗(yàn)證標(biāo)準(zhǔn)可以訴諸。在這種環(huán)境下協(xié)議寫得是否像樣比協(xié)議是否有效更能決定它的評價(jià)。2.2 簽署協(xié)議的主體和執(zhí)行協(xié)議的主體分裂第二個(gè)原因是組織結(jié)構(gòu)層面的。我觀察到一個(gè)普遍現(xiàn)象AI安全協(xié)議通常由法務(wù)、公關(guān)或者高層在簽字由戰(zhàn)略部門或治理委員會發(fā)布但實(shí)際負(fù)責(zé)AI系統(tǒng)開發(fā)、訓(xùn)練、部署的是工程師和產(chǎn)品經(jīng)理。簽協(xié)議的人不管落地管落地的人不簽協(xié)議。這種分裂帶來的結(jié)果就是協(xié)議條款和工程實(shí)踐之間沒有反饋回路。法務(wù)說我們要承諾用戶數(shù)據(jù)不會被用于訓(xùn)練工程師那邊連數(shù)據(jù)管道的隔離架構(gòu)都沒做。不是工程師想違規(guī)而是壓根沒人把安全協(xié)議的條款翻譯成工程需求。協(xié)議在組織里是懸浮的跟真正的技術(shù)決策不產(chǎn)生交集。我見過做得相對好的公司安全協(xié)議會有技術(shù)附件里面明確寫出每條承諾對應(yīng)的系統(tǒng)控制措施、負(fù)責(zé)人、驗(yàn)收標(biāo)準(zhǔn)。但大多數(shù)公司根本沒有這個(gè)附件協(xié)議就只是協(xié)議。這種協(xié)議歸協(xié)議產(chǎn)品歸產(chǎn)品的割裂是形式主義最肥沃的土壤。2.3 安全指標(biāo)長期停留在口號層面還有一個(gè)問題是指標(biāo)。你在任何一份AI安全協(xié)議里都能看到確保公平減少偏見提升魯棒性這類表述但如果問怎么衡量公平用什么數(shù)據(jù)集驗(yàn)證偏見閾值的標(biāo)準(zhǔn)是什么幾乎沒有人能當(dāng)場答出來。沒有量化指標(biāo)就沒有辦法驗(yàn)收沒有辦法驗(yàn)收承諾本身就只能是姿態(tài)。以公平性為例。真要落地你得明確是統(tǒng)計(jì)均等、機(jī)會均等還是校準(zhǔn)均等你得選評估數(shù)據(jù)集你得定一個(gè)可接受的差值范圍你還要說明模型在哪些子群體上做了切片分析。這些事情確實(shí)復(fù)雜、確實(shí)耗時(shí)但不做它公平性就只能停留在口號里。AI行業(yè)現(xiàn)在的問題不是大家不知道怎么做而是做起來成本高、見效慢遠(yuǎn)不如在協(xié)議里寫一句我們重視算法公平來得輕松愉快。人性會自然選擇成本更低的那條路。2.4 發(fā)布協(xié)議這個(gè)動作本身成了交付物最后一個(gè)原因是我覺得最值得玩味的發(fā)布協(xié)議這件事在很多組織里本身就是一項(xiàng)交付物。公司需要一個(gè)公開聲明來回應(yīng)監(jiān)管預(yù)期、投資人關(guān)切、客戶質(zhì)疑或者只是為了跟上行業(yè)潮流。當(dāng)發(fā)布協(xié)議成為目標(biāo)協(xié)議的內(nèi)容自然就會圍繞看起來全面聽起來專業(yè)來寫而不是圍繞能被執(zhí)行來寫。這跟做產(chǎn)品一樣。如果你的KPI是發(fā)布一個(gè)功能那功能好不好用是次要的如果你的KPI是用戶用這個(gè)功能解決了問題那你的做法會完全不一樣。絕大多數(shù)組織把AI安全協(xié)議的KPI定在了前者——發(fā)布就是完成。所以協(xié)議寫完、發(fā)布會開完、新聞稿發(fā)完這項(xiàng)工作的生命周期就結(jié)束了之后沒有任何人會再翻開它。形式主義不是某個(gè)人不負(fù)責(zé)而是整個(gè)評價(jià)體系壓根沒有為協(xié)議是否真正降低了風(fēng)險(xiǎn)這件事設(shè)計(jì)度量。3. 從協(xié)議文本到真實(shí)系統(tǒng)的距離四個(gè)我實(shí)際拆解過的落差3.1 模型卡寫得很好看實(shí)測表現(xiàn)卻是另一套我做了不少次模型評估有個(gè)場景重復(fù)出現(xiàn)的頻率高得嚇人拿到的模型卡和實(shí)際測試結(jié)果完全對不上。不是模型卡造假而是模型卡描述的是發(fā)布前在特定測試集上的表現(xiàn)模型上線之后面對的是開放世界的輸入分布兩者之間差距可以非常大。舉個(gè)例子。有一回我測一個(gè)號稱通過安全評估、風(fēng)險(xiǎn)等級低的對話模型。按照模型卡的描述它在仇恨言論、暴力、色情等敏感內(nèi)容上都有很好的拒答率。但我換了一種問法用日常聊天的口吻、不出現(xiàn)任何明顯敏感詞引導(dǎo)它討論一些灰色話題它的表現(xiàn)立刻就不一樣了。這當(dāng)然不是說模型卡虛假而是說模型卡描述的是它在已知的安全測試集上表現(xiàn)如何而不是它在真實(shí)用戶手里會怎樣被調(diào)用。如果協(xié)議里寫的是模型已通過安全評估而不附加任何條件那這個(gè)結(jié)論在下游幾乎一定會被誤讀。我后來形成的一個(gè)習(xí)慣是拿到任何模型卡先看測試集構(gòu)成和測試方法而不看結(jié)論頁。一張模型卡如果連測了多少條樣本、哪些來源、什么對抗方式、通過標(biāo)準(zhǔn)是什么都沒寫清楚那它的安全結(jié)論基本可以不采信。3.2 紅隊(duì)測試過了上線后模型一更新就歸零紅隊(duì)測試是目前AI安全領(lǐng)域被提及最多的做法但它本身也有嚴(yán)重的形式化風(fēng)險(xiǎn)。我看到很多團(tuán)隊(duì)的流程是上線前集中做一波紅隊(duì)測試出報(bào)告通過然后進(jìn)入漫長的迭代期。模型每過一段時(shí)間就會微調(diào)一次每次微調(diào)都有可能改變安全邊界但紅隊(duì)測試要等到下一次大版本發(fā)布才重新做。有個(gè)團(tuán)隊(duì)的做法讓我印象很深。他們的安全協(xié)議里寫著每季度進(jìn)行紅隊(duì)測試聽起來挺規(guī)范對吧但實(shí)際執(zhí)行時(shí)第一次是工程師內(nèi)部手動測的后面兩個(gè)季度都是直接把上一次的報(bào)告改了個(gè)日期重新提交。我去查他們模型的版本記錄發(fā)現(xiàn)三個(gè)月里已經(jīng)更新了十幾次每一次都可能引入新的攻擊面。報(bào)告是每季度一份安全狀態(tài)其實(shí)是從來沒有被再驗(yàn)證過。這類靜態(tài)化執(zhí)行的問題在于AI系統(tǒng)是持續(xù)演化的但安全評估卻是一次性的。協(xié)議描述的是一個(gè)時(shí)間點(diǎn)的快照卻被當(dāng)成一個(gè)持續(xù)有效的狀態(tài)來使用。安全協(xié)議如果沒有綁定模型的版本、上線時(shí)間和重新評估的觸發(fā)條件那它就是一件過期的衣服看著合身穿上去才發(fā)現(xiàn)早就不是那么回事了。3.3 隱私條款承諾了隔離架構(gòu)上卻完全沒有隱私可能是所有安全協(xié)議里最容易被寫進(jìn)承諾、也最容易被工程實(shí)現(xiàn)忽略的部分。我審過一家做AI客服的公司他們的隱私條款寫得相當(dāng)完整——用戶對話數(shù)據(jù)不會用于模型訓(xùn)練數(shù)據(jù)將與外部完全隔離訪問權(quán)限最小化。但我去看底層架構(gòu)的時(shí)候發(fā)現(xiàn)他們的數(shù)據(jù)管道所有流量都進(jìn)了同一個(gè)向量數(shù)據(jù)庫線上用戶查詢的數(shù)據(jù)和分析團(tuán)隊(duì)做模型微調(diào)的數(shù)據(jù)存儲在同一套服務(wù)里只不過通過一個(gè)環(huán)境變量做了邏輯區(qū)分物理層面完全沒有隔離。更麻煩的是這個(gè)架構(gòu)問題不是某個(gè)工程師疏忽而是整個(gè)協(xié)議在執(zhí)行層面沒人翻譯成技術(shù)需求。法務(wù)寫條款的時(shí)候工程師并沒有參與工程師搭架構(gòu)的時(shí)候也沒有人拿著協(xié)議條款去驗(yàn)收。兩撥人各做各的最后協(xié)議說一套、系統(tǒng)跑另一套。這種情況下你說協(xié)議是形式主義它確實(shí)是——因?yàn)樗谠O(shè)計(jì)之初就沒有走進(jìn)工程流程。協(xié)議里的每個(gè)承諾都應(yīng)該能對應(yīng)到一個(gè)具體的系統(tǒng)控制措施如果對應(yīng)不上那它僅僅是一行文本。3.4 AI Agent的權(quán)限承諾停留在產(chǎn)品說明文檔里AI Agent是過去一年最火的方向也是我在各種協(xié)議里看到形式主義重災(zāi)區(qū)的地方。很多Agent產(chǎn)品的安全協(xié)議都會寫最小權(quán)限原則用戶授權(quán)才能執(zhí)行操作敏感操作需二次確認(rèn)看著考慮周到實(shí)際實(shí)現(xiàn)完全不是這么回事。我見過一個(gè)號稱安全合規(guī)的Agent產(chǎn)品協(xié)議里承諾Agent只能在用戶明確授權(quán)的范圍內(nèi)調(diào)用工具。我實(shí)測了一下用自然語言誘導(dǎo)它調(diào)用郵件接口給一個(gè)非收件人發(fā)送了郵件內(nèi)容。整個(gè)過程中系統(tǒng)沒有任何權(quán)限邊界攔截所謂授權(quán)范圍只是產(chǎn)品說明書里一句宣傳語。還有更夸張的有的Agent框架把工具調(diào)用權(quán)限統(tǒng)一設(shè)成了管理員所有子任務(wù)共享同一個(gè)高權(quán)限憑據(jù)。協(xié)議里那些精細(xì)的權(quán)限描述在整個(gè)系統(tǒng)層面根本沒有對應(yīng)的設(shè)計(jì)。AI Agent這個(gè)場景特別容易暴露協(xié)議和實(shí)現(xiàn)之間的落差因?yàn)樗肓硕嗖酵评砗凸ぞ哒{(diào)用安全邊界比單純的對話模型復(fù)雜得多。傳統(tǒng)的輸入過濾-輸出過濾模式在Agent面前基本失效。如果安全協(xié)議還在用上一代對話模型的框架去描述Agent的安全承諾那這種承諾完全是虛幻的。4. 我驗(yàn)證過有效的五個(gè)做法把形式主義改成真安全4.1 把我們承諾…改成我們測量…我自己在給團(tuán)隊(duì)做安全評估的時(shí)候最核心的一條原則是拒絕接受一切無法被測量的表述。你把我們承諾保護(hù)用戶隱私改成用戶數(shù)據(jù)在存儲層與訓(xùn)練數(shù)據(jù)物理隔離通過數(shù)據(jù)流審計(jì)日志驗(yàn)證你把我們重視模型安全改成每月對線上模型執(zhí)行200條對抗樣本測試通過標(biāo)準(zhǔn)是拒答率不低于95%。這不是文字游戲而是從根本上改變工作流的性質(zhì)。一旦安全協(xié)議里的每條表述都變成可測量的指標(biāo)它就從宣言變成了工程需求。工程師拿到這樣的協(xié)議可以直接開工測試團(tuán)隊(duì)可以直接寫用例管理層可以直接看數(shù)據(jù)。那些沒法被測量的表述干脆就刪掉留著只能是形式主義的存續(xù)空間。我常用一個(gè)簡單的方法來檢查協(xié)議質(zhì)量把協(xié)議里所有的將應(yīng)承諾動詞標(biāo)出來統(tǒng)計(jì)有多少在正文中能找到對應(yīng)的測試方法或驗(yàn)收標(biāo)準(zhǔn)。如果一個(gè)應(yīng)出現(xiàn)三次都找不到驗(yàn)證路徑這份協(xié)議基本就是裝飾品。4.2 紅隊(duì)測試必須帶上完整復(fù)現(xiàn)材料我強(qiáng)調(diào)很多次紅隊(duì)測試報(bào)告如果只寫結(jié)論不發(fā)材料等于沒做。真正的紅隊(duì)測試報(bào)告必須包含三樣?xùn)|西完整的攻擊樣本、模型的精確版本標(biāo)識、測試環(huán)境的復(fù)現(xiàn)步驟。沒有這三樣別人完全無法驗(yàn)證你的測試是否真實(shí)、是否充分。曾經(jīng)有一家合作伙伴跟我反饋說我們自己寫的紅隊(duì)報(bào)告他們拿去復(fù)現(xiàn)結(jié)果因?yàn)槟Ｐ鸵呀?jīng)更新了三個(gè)小版本攻擊樣本里面一大半在最新版上都已經(jīng)失效了。這就是版本綁定沒做好。所以我建議每一份紅隊(duì)報(bào)告都必須綁定被測模型的版本號和參數(shù)哈希值。這樣哪怕模型更新了你也可以通過對比得知安全狀態(tài)變化了多少。紅隊(duì)測試的另一條經(jīng)驗(yàn)是不要只測模型本身要測完整的產(chǎn)品鏈路。很多攻擊在純模型層面看不出來但一放進(jìn)RAG、Agent工具調(diào)用、外部API組合的真實(shí)環(huán)境里立刻就出現(xiàn)繞過路徑。安全協(xié)議里如果只寫了對模型測試那覆蓋范圍至少缺了一半。4.3 給安全協(xié)議配負(fù)責(zé)人、時(shí)間表和預(yù)算協(xié)議落地最大的障礙是沒有責(zé)任人。所以我現(xiàn)在的習(xí)慣是每一份安全協(xié)議里的每一條承諾都必須能在組織里找到對應(yīng)的Owner、執(zhí)行周期和所需預(yù)算。有一條找不到這條就不放進(jìn)正式協(xié)議里。這種做法看起來是增加了管理成本實(shí)際上真正落地過你就知道這反而是省事的方法。一旦責(zé)任人明確、時(shí)間表明確、預(yù)算明確執(zhí)行就變成普通的項(xiàng)目管理工作。而沒有了這個(gè)前提協(xié)議永遠(yuǎn)停留在大家都知道該做但沒人真正有空去做的狀態(tài)——后者才是成本最高昂的。我見過一家公司的做法值得參考。他們把安全協(xié)議拆成了三類本季度要完成的、本年度要完成的、未來規(guī)劃中的。第三類條目不會進(jìn)入對外公開的安全承諾只有前兩類才會。這樣外部看協(xié)議內(nèi)部看進(jìn)度兩邊都能對上。這種分級管理的方式比把所有承諾混在一起放進(jìn)一份文件里務(wù)實(shí)得多。4.4 建立持續(xù)評估和事件驅(qū)動的更新機(jī)制我前面提到很多團(tuán)隊(duì)的紅隊(duì)測試是靜態(tài)的要么一年一次要么干脆只在發(fā)布前做。正確的姿勢應(yīng)該是安全評估是一個(gè)持續(xù)運(yùn)轉(zhuǎn)的過程而不是一個(gè)里程碑節(jié)點(diǎn)。具體來說我會建議在協(xié)議里寫明這樣幾條自動觸發(fā)條件模型參數(shù)更新達(dá)到一定比例時(shí)需要重新評估上線了新的工具調(diào)用能力時(shí)需要重新評估收到了外部漏洞報(bào)告時(shí)需要進(jìn)入響應(yīng)流程線上監(jiān)控?cái)?shù)據(jù)表明安全指標(biāo)出現(xiàn)顯著漂移時(shí)需要回溯分析。這一切不需要依賴高層的決心而是通過機(jī)制自動觸發(fā)協(xié)議的生命力就來自于這種動態(tài)綁定。我跟很多團(tuán)隊(duì)說過一個(gè)觀點(diǎn)安全評估跟軟件測試一樣你不可能把測試只做一次就終身受益。模型會變攻擊方式會變數(shù)據(jù)類型會變唯一不變的就是變本身。協(xié)議的更新機(jī)制如果不設(shè)計(jì)成自動化的那協(xié)議的實(shí)際影響范圍就會隨時(shí)間推移持續(xù)衰減最后形同虛設(shè)。4.5 把安全責(zé)任落實(shí)到具體角色而不是落到組織最后一條也是我踩過坑之后才真正明白的安全協(xié)議里寫的公司將確保公司將建立本質(zhì)上等于沒人負(fù)責(zé)。組織是一個(gè)抽象概念它沒法在一個(gè)具體的時(shí)間點(diǎn)上被問責(zé)。真正能問責(zé)的只有人——某個(gè)具體的工程師、某個(gè)具體的產(chǎn)品經(jīng)理、某個(gè)具體的安全負(fù)責(zé)人。我現(xiàn)在的做法是在協(xié)議里會直接寫由AI安全負(fù)責(zé)人張三在每個(gè)迭代周期末審核數(shù)據(jù)隔離日志由隱私工程師李四負(fù)責(zé)每季度執(zhí)行數(shù)據(jù)流審計(jì)。人名可以直接寫這樣如果出了事責(zé)任鏈?zhǔn)乔逦?。有的團(tuán)隊(duì)覺得這樣壓力太大不好意思寫明人但實(shí)際經(jīng)驗(yàn)告訴我不寫明人出事后連復(fù)盤會都沒法開因?yàn)樗腥硕紩X得那是別人的責(zé)任。安全這條路上模糊永遠(yuǎn)比嚴(yán)格更危險(xiǎn)。5. 一份不流于形式的安全評估長什么樣給團(tuán)隊(duì)的直接模板5.1 評估文件的核心結(jié)構(gòu)如果你現(xiàn)在要為自己的AI產(chǎn)品寫一份安全評估文件我建議直接按下面這個(gè)結(jié)構(gòu)來組織每條都要有對應(yīng)證據(jù)系統(tǒng)資產(chǎn)清單模型版本、數(shù)據(jù)源、工具接口、權(quán)限矩陣逐一列出威脅模型說明你假想的攻擊者是誰攻擊目標(biāo)是什么有哪些已知攻擊路徑測試方法與結(jié)果每種測試覆蓋的輸入規(guī)模、通過標(biāo)準(zhǔn)、實(shí)際數(shù)字已知風(fēng)險(xiǎn)與緩解措施每條風(fēng)險(xiǎn)都帶風(fēng)險(xiǎn)等級、緩解狀態(tài)、負(fù)責(zé)人和截止時(shí)間復(fù)現(xiàn)與驗(yàn)證指引第三方如何復(fù)現(xiàn)你的測試結(jié)論這五段只要寫扎實(shí)就能把協(xié)議從聲明變成證據(jù)。我在評估任何團(tuán)隊(duì)的時(shí)候順序也是反過來的先看證據(jù)后看結(jié)論。一份沒有證據(jù)鏈支撐的評估報(bào)告無論寫得多么完備都只能算作態(tài)度展示。5.2 每一步怎么做才不會變成走形式先說資產(chǎn)清單這一步很多人習(xí)慣列到系統(tǒng)層面就停了比如使用GPT-4o使用向量數(shù)據(jù)庫。但安全評估的顆粒度要細(xì)到能支撐后續(xù)所有分析才行。模型要精確到版本號數(shù)據(jù)源要標(biāo)注是否包含個(gè)人隱私字段工具接口要寫明認(rèn)證方式和可訪問范圍權(quán)限矩陣也要逐個(gè)角色列清楚。威脅模型這步最常見的問題是大家只羅列已知攻擊類型不針對自己的系統(tǒng)定制。比如你做的是RAG類應(yīng)用卻只寫了提示詞注入和有害內(nèi)容生成完全沒有考慮文檔投毒檢索結(jié)果被篡改上下文窗口溢出這些RAG特有的路徑。威脅模型做得不精確后續(xù)測試設(shè)計(jì)就會跟著歪樓。測試方法這塊我會特別提醒一點(diǎn)不要只寫通過/不通過要寫測試了多少條樣本/在什么條件下/通過標(biāo)準(zhǔn)是什么/實(shí)際結(jié)果是多少。你寫通過讀者沒法判斷這個(gè)通過有多大含金量你寫在500條多語言對抗樣本上越獄成功率從公開基線的23%降到4.6%這句話任何人看了都能理解安全效果。已知風(fēng)險(xiǎn)與緩解措施這一節(jié)有一句話我要放在最前面存在已知風(fēng)險(xiǎn)不丟人不承認(rèn)反而危險(xiǎn)。我看到很多報(bào)告為了好看把所有風(fēng)險(xiǎn)等級都標(biāo)成低這種報(bào)告只能騙過自己。更合理的路徑是如實(shí)區(qū)分高、中、低風(fēng)險(xiǎn)然后給每條風(fēng)險(xiǎn)配緩解計(jì)劃。這樣協(xié)議才有持續(xù)迭代的空間。5.3 小團(tuán)隊(duì)的落地建議我知道很多團(tuán)隊(duì)會說你講的這套沒有專職安全工程師根本做不起來。說句實(shí)話小團(tuán)隊(duì)確實(shí)需要根據(jù)自己實(shí)力調(diào)減但減法不該做在記錄證據(jù)這一步上而可以做在測試深度上。我的建議是小團(tuán)隊(duì)至少要做到在每次模型更新后留一份完整的評估記錄包括測試時(shí)間、模型版本、測試項(xiàng)、結(jié)果、測試人。哪怕只跑了50條對話樣本也比什么都不記強(qiáng)。這個(gè)記錄文件最好跟代碼倉庫綁定這樣它就不是孤立的形式主義產(chǎn)物而是開發(fā)流程中自然生成的一部分。另一個(gè)降低成本的思路是把安全測試嵌進(jìn)現(xiàn)有的CI/CD流程。模型上線之前跑一組預(yù)設(shè)的對抗樣本腳本結(jié)果直接掛到CI報(bào)告上。這個(gè)技術(shù)難度并不高但對安全評估是否持續(xù)這件事的幫助是決定性的。測試腳本寫一次以后每次發(fā)布都能觸發(fā)這是自動化對抗形式主義的最有效手段。5.4 我自己踩過的幾個(gè)坑第一條是別把評估報(bào)告寫成成績單。早年我做評估的時(shí)候潛意識里總覺得寫得越好越有功結(jié)果就是報(bào)告里全是成就展示風(fēng)險(xiǎn)描述都藏著掖著。后來我意識到評估報(bào)告的價(jià)值不在好不好看而在準(zhǔn)不準(zhǔn)確。不準(zhǔn)確的好報(bào)告會誤導(dǎo)下一個(gè)接手的人。第二條是永遠(yuǎn)保留原始測試數(shù)據(jù)。我吃過一次虧審計(jì)一方要求復(fù)現(xiàn)半年前的一份測試結(jié)論結(jié)果當(dāng)時(shí)的原始數(shù)據(jù)因?yàn)閾Q電腦丟失了只能靠聊天記錄里的截圖湊數(shù)。那種場面非常尷尬也讓對方對我們整個(gè)安全流程的可信度打了折扣?，F(xiàn)在我的原則是原始數(shù)據(jù)、測試腳本、模型版本信息三者必須存檔跟測試報(bào)告一起走。第三條是別讓外部合規(guī)牽著走。有些第三方的安全問卷或者審計(jì)框架問題數(shù)量很多但其實(shí)覆蓋度很淺。如果團(tuán)隊(duì)完全照著這種問卷去做安全那做出來的東西自然就是形式主義的。我自己會先基于產(chǎn)品實(shí)際風(fēng)險(xiǎn)寫一套內(nèi)部評估再拿外部框架來對照查漏。內(nèi)部評估為主外部合規(guī)為輔這個(gè)順序不能反。最后說點(diǎn)實(shí)在的我現(xiàn)在接評估項(xiàng)目第一件事不是看對方有沒有安全協(xié)議而是問一個(gè)很直白的問題你們最近一次這個(gè)協(xié)議實(shí)際攔下或者修正過哪一次風(fēng)險(xiǎn)如果對方支支吾吾答不上來那這份協(xié)議大概率就是紙面文章。反過來凡是能張嘴就說出具體案例的團(tuán)隊(duì)——上周這個(gè)協(xié)議攔住了我們一個(gè)越權(quán)訪問的漏洞——他們的安全工作基本是扎實(shí)的。AI這一輪技術(shù)浪潮確實(shí)太快快到大模型一茬接一茬地發(fā)、Agent框架一個(gè)接一個(gè)地上線安全總是慢半拍。但慢半拍和完全不做是兩回事做了但不落地又是另一回事。協(xié)議這種東西寫出來確實(shí)不難難的是讓每一行承諾都對得上真實(shí)的代碼、數(shù)據(jù)、權(quán)限和驗(yàn)證。希望我這幾年總結(jié)下來的這些觀察和做法多少能幫你避開形式主義那個(gè)坑讓你寫出來的東西真的有人在用真的能攔住點(diǎn)事。