長(zhǎng)跑 Agent 的權(quán)限邊界審批卡、意圖檢查與憑證隔離原文Claude Duet 的安全、隱私與憑證隔離設(shè)計(jì)https://claude.com/blog/claude-duet-safety-privacy-and-security一個(gè)關(guān)掉電腦還在跑的 Agent麻煩在哪常跑的 Agent 有個(gè)分水嶺它是不是在你關(guān)掉窗口之后還在干活。傳統(tǒng)的對(duì)話(huà)式助手每個(gè)動(dòng)作都在你眼皮底下發(fā)生出錯(cuò)最多是一句胡說(shuō)。而一個(gè)自主 Agent用云端計(jì)算機(jī)替你讀收件箱、起草回復(fù)、下單、跑例行任務(wù)它在時(shí)間上和你錯(cuò)開(kāi)了——你不在場(chǎng)的那幾個(gè)小時(shí)就是它自由發(fā)揮的窗口。這時(shí)候防幻覺(jué)解決不了問(wèn)題真正要防的是三件更具體的事它會(huì)不會(huì)替你把不該發(fā)的東西發(fā)出去、會(huì)不會(huì)在你沒(méi)同意的情況下動(dòng)錢(qián)、會(huì)不會(huì)被人從網(wǎng)頁(yè)里塞一句話(huà)就把你的密碼交出去。Anthropic 在 Claude Duet 的發(fā)布文里把設(shè)計(jì)拆成了三條原則我覺(jué)得這三條幾乎是通用模板跟具體哪家模型無(wú)關(guān)你的信息要有分寸地處理發(fā)出的消息先過(guò)一道檢查你保留對(duì)它替你做什么的控制權(quán)Agent 永遠(yuǎn)看不見(jiàn)你的密碼、瀏覽器 cookie、登錄令牌。下面按這三條往下拆重點(diǎn)看它們各自落了什么機(jī)制而不是記結(jié)論。一、審批卡把要不要做變成一個(gè)人能回答的問(wèn)題讓 Agent 停下來(lái)問(wèn)說(shuō)起來(lái)容易做起來(lái)有兩個(gè)坑問(wèn)得太少出事問(wèn)得太多人會(huì)麻木地連點(diǎn)。Anthropic 的做法是在發(fā)送可能敏感的消息、付款、刪除任何東西之前彈一張審批卡卡上必須同時(shí)給出三樣?xùn)|西動(dòng)作是什么、目的地是哪里、內(nèi)容是什么——內(nèi)容里包括每一個(gè)收件人。然后等用戶(hù)點(diǎn)。這里有個(gè)細(xì)節(jié)值得抄審批卡本身在模型外面渲染旁邊還并行跑一個(gè)自動(dòng)檢查判斷這個(gè)動(dòng)作是否匹配你原本的意圖。這個(gè)檢查基于 Claude Code 的 auto mode 分類(lèi)器擴(kuò)展而來(lái)關(guān)鍵在于它不在干活的模型里跑——所以頁(yè)面里藏著的指令影響不了判定結(jié)果。想一下攻擊面就明白了如果要不要批準(zhǔn)也由同一個(gè)模型判斷那么一段注入文本既能驅(qū)動(dòng)動(dòng)作又能說(shuō)服審查者等于自己給自己發(fā)通行證。另外兩條規(guī)則很實(shí)用可以直接搬到自己的 Agent 上類(lèi)別規(guī)則例子絕對(duì)禁區(qū)即使你批準(zhǔn)也不做證券交易、賬戶(hù)間轉(zhuǎn)賬、訪(fǎng)問(wèn)別人的賬號(hào)不認(rèn)別再問(wèn)我批過(guò)多少次每次都重新問(wèn)付款/轉(zhuǎn)賬、刪除訂單、創(chuàng)建賬號(hào)第二類(lèi)是最容易做錯(cuò)的地方。很多 Agent 框架都提供本次會(huì)話(huà)內(nèi)允許此類(lèi)操作的記憶圖省事把付款也塞了進(jìn)去結(jié)果一次心軟等于永久授權(quán)。官方也承認(rèn)審批頻率是個(gè)需要長(zhǎng)期調(diào)的參數(shù)理由是審批疲勞——請(qǐng)求太多人會(huì)不看內(nèi)容直接點(diǎn)過(guò)去。這句話(huà)對(duì)做產(chǎn)品的人比對(duì)做安全的人更有用審批卡的數(shù)量本身就是一種安全預(yù)算給多了等于沒(méi)有。二、敏感信息兩級(jí)不是能不能發(fā)而是發(fā)之前先分級(jí)Agent 替你發(fā)消息最難的一步是決定哪些信息不該出現(xiàn)在這條消息里。你去讓它給團(tuán)隊(duì)發(fā)周報(bào)它應(yīng)該只寫(xiě)大家本來(lái)就有權(quán)限看到的內(nèi)容而不該把績(jī)效面談的細(xì)節(jié)帶上。Duet 為此單獨(dú)訓(xùn)練了一個(gè)分類(lèi)器和主模型分開(kāi)跑在每條外發(fā)消息發(fā)出前檢查是否含敏感信息并把信息分成兩級(jí)絕不分享登錄憑證、完整卡號(hào)與銀行賬號(hào)、政府證件號(hào)。這類(lèi)東西即使你親自要求Agent 也被指示不要發(fā)出。需要同意才分享健康、財(cái)務(wù)狀況等私人信息。你明確批準(zhǔn)才能外發(fā)而且你自己的請(qǐng)求本身就算同意——給我牙醫(yī)發(fā)條消息說(shuō)明牙疼這種不需要再?gòu)椧淮慰?。被攔下來(lái)之后Agent 還有一個(gè)動(dòng)作可以做重寫(xiě)這條消息把敏感部分去掉再拿給你確認(rèn)。這個(gè)改寫(xiě)而不是失敗的設(shè)計(jì)比直接報(bào)錯(cuò)友好得多也讓攔截從阻斷變成了協(xié)作。官方在文中也明確說(shuō)了局限還在研究預(yù)覽階段這些防護(hù)偶爾會(huì)漏掉一些東西也會(huì)把無(wú)害的消息標(biāo)出來(lái)。這話(huà)得當(dāng)真——分類(lèi)器是概率件它的錯(cuò)誤率決定了你能不能只靠它。所以審批機(jī)制不能省兩層要疊著用。三、憑證隔離讓它被釣魚(yú)變成一個(gè)不成立的問(wèn)題這一節(jié)是整篇里最工程化的部分也是最值得抄的。原則很硬Agent 永遠(yuǎn)看不到密碼、cookie、登錄令牌也不能把它們寫(xiě)進(jìn)記憶。這些東西只經(jīng)過(guò)模型訪(fǎng)問(wèn)不到的獨(dú)立機(jī)器審批和安全檢查也在那里跑。密碼。站點(diǎn)要密碼時(shí)你是在 Claude 應(yīng)用內(nèi)的表單里輸入的不是在網(wǎng)頁(yè)里。這個(gè)表單用一把單次密鑰加密密碼密鑰只存在于那臺(tái)安全云瀏覽器機(jī)器上、只用這一次密文原樣傳到瀏覽器由瀏覽器替你敲進(jìn)站點(diǎn)。模型既看不到明文也沒(méi)有辦法保存或復(fù)述。這個(gè)設(shè)計(jì)直接改了釣魚(yú)的形態(tài)Agent 不持有你的憑證所以沒(méi)法被釣出密碼也沒(méi)有任何隱藏指令能讓它泄露一個(gè)它根本沒(méi)有的秘密。但反向的風(fēng)險(xiǎn)也出現(xiàn)了——登錄表單本身成了靶子任何東西都能偽裝成請(qǐng)輸入密碼。所以 Duet 的登錄表單只在你主動(dòng)發(fā)起的登錄過(guò)程中、在應(yīng)用內(nèi)部出現(xiàn)永遠(yuǎn)不會(huì)通過(guò)鏈接、短信、郵件或 claude.ai 之外的網(wǎng)站發(fā)給你。登錄令牌。連接受托的第三方服務(wù)時(shí)Agent 需要一個(gè)令牌。做法沿用 Claude Managed Agents 的思路真實(shí)憑證永不進(jìn)入 Agent 干活的那臺(tái)機(jī)器進(jìn)去的是占位符由機(jī)器外的一個(gè)代理在實(shí)際請(qǐng)求發(fā)出的瞬間把真值填進(jìn)去。瀏覽器。瀏覽器跑在自己專(zhuān)屬的云端虛擬機(jī)里和模型、和 Agent 的工作機(jī)都分開(kāi)。Agent 只能通過(guò)一組固定命令驅(qū)動(dòng)它打開(kāi)這個(gè)頁(yè)面、點(diǎn)這里、輸入這個(gè)。站點(diǎn)執(zhí)行的代碼留在瀏覽器機(jī)上站點(diǎn)代碼和 cookie 到不了 Agent 的記憶和你已連接的應(yīng)用Agent 的任何命令也讀不出 cookie?；貋?lái)的只有頁(yè)面文本和下載文件——因?yàn)?Agent 得讀它們才能干活這也正是為什么其他檢查必須存在以及為什么要疊上瀏覽器提示注入的防護(hù)。通過(guò)瀏覽器上傳的文件走和外發(fā)消息同一套敏感信息檢查。還有一條容易被忽略Agent 要主動(dòng)表明自己是 Agent?，F(xiàn)在它瀏覽器發(fā)出的請(qǐng)求帶一個(gè)可識(shí)別的 User-Agent出口 IP 段是公開(kāi)的站點(diǎn)可以據(jù)此決定怎么對(duì)待它上線(xiàn)前他們還聯(lián)系了幾家大型網(wǎng)站給對(duì)方禁止 Duet 訪(fǎng)問(wèn)的選項(xiàng)有些站選了。四、一個(gè)最小的審批網(wǎng)關(guān)骨架上面這些機(jī)制落到代碼上第一層其實(shí)很薄一個(gè)純粹的規(guī)則判定。下面這段是我按原文規(guī)則重寫(xiě)的示意實(shí)現(xiàn)不是官方代碼也沒(méi)有對(duì)應(yīng)任何 SDK。fromdataclassesimportdataclass,fieldfromenumimportEnumclassDecision(Enum):ALLOWallow# 規(guī)則層放行直接執(zhí)行NEED_APPROVALapproval# 渲染審批卡等人點(diǎn)DENYdeny# 硬禁區(qū)批準(zhǔn)也不放行HARD_DENY{trade_security,move_money,access_other_account}NO_REMEMBER{pay,delete_order,create_account}dataclassclassAction:kind:str# 動(dòng)作類(lèi)型target:str# 目的地商戶(hù)域名 / 賬號(hào) / URLpayload:str# 正文或金額recipients:list[str]field(default_factorylist)defgate(action:Action,remembered:set[str],approved:bool)-Decision:ifaction.kindinHARD_DENY:returnDecision.DENYifaction.kindinNO_REMEMBER:returnDecision.NEED_APPROVAL# 批過(guò)多少次都重新問(wèn)ifaction.kindinrememberedandapproved:returnDecision.ALLOWreturnDecision.NEED_APPROVAL參數(shù)逐個(gè)說(shuō)action是一次待執(zhí)行的動(dòng)作target和recipients是審批卡要展示的目的地信息缺了它們卡片就沒(méi)法讓人做判斷remembered是這個(gè)會(huì)話(huà)里用戶(hù)勾過(guò)別再問(wèn)我的動(dòng)作類(lèi)型集合approved是本次審批卡的結(jié)果。返回值是三態(tài)而不是布爾因?yàn)樾枰舜_認(rèn)和絕不允許是兩種完全不同的處理路徑混成 False 會(huì)讓上層分不清該彈卡還是該報(bào)錯(cuò)。調(diào)用鏈?zhǔn)沁@樣Agent 產(chǎn)出Action→ 進(jìn)gate得到三態(tài) → 若是NEED_APPROVAL就渲染卡片必須帶上 target、recipients、payload→ 用戶(hù)批準(zhǔn)后再交給一個(gè)在模型外跑的意圖檢查 → 都通過(guò)才進(jìn)執(zhí)行器。注意這個(gè)函數(shù)只做規(guī)則層語(yǔ)義上的這個(gè)動(dòng)作是否匹配用戶(hù)意圖它答不了那需要另一個(gè)獨(dú)立跑的判斷單元。付款那條還要再加一層原文用的是錢(qián)包如 Stripe 的 Link出的一次性卡限商戶(hù)、限額你真卡號(hào)不給 Agent 也不給商戶(hù)。這層在代碼里體現(xiàn)為執(zhí)行器的約束不在gate里。五、怎么驗(yàn)證自己的實(shí)現(xiàn)沒(méi)白做官方文里提了他們的測(cè)試方法我覺(jué)得這套可以直接拿來(lái)當(dāng)驗(yàn)收清單評(píng)測(cè)任務(wù)按日常任務(wù)形狀構(gòu)造每個(gè)任務(wù)出三個(gè)變體正常版、帶注入指令版、誘導(dǎo)它做超出授權(quán)范圍的版除了自己構(gòu)造的用例還并行跑真實(shí)使用的影子流量對(duì)整個(gè)系統(tǒng)建威脅模型把所有倉(cāng)庫(kù)和信任邊界都圈進(jìn)去每個(gè)新的憑證相關(guān)功能先在隔離的臺(tái)架上做紅隊(duì)通過(guò)后才發(fā)外部滲透測(cè)試公司拿著源碼測(cè)云瀏覽器和登錄表單是后續(xù)單獨(dú)一輪。不用五條全做但三變體和新憑證功能先隔離紅隊(duì)這兩條成本低、收益最大。尤其是第一變體之外的第三變體——誘導(dǎo)越權(quán)絕大多數(shù)自測(cè)都缺這一檔。收尾這篇的價(jià)值不在Anthropic 又發(fā)了個(gè) Agent而在它把一件通常被含糊處理的事拆成了可實(shí)現(xiàn)的四層規(guī)則層決定哪些動(dòng)作永遠(yuǎn)不做、審批層決定哪些必須問(wèn)、分類(lèi)層決定哪些信息不能出去、隔離層決定憑證根本不進(jìn)模型。四層各管一件事任何一層失效都還有下一層兜著。要記的就一句安全性不來(lái)自把提示詞寫(xiě)得更嚴(yán)而來(lái)自讓模型沒(méi)有能力做那件事——它拿不到憑證、讀不到 cookie、看不見(jiàn)審批卡的判定邏輯能力邊界畫(huà)在模型外面。