開啟自動(dòng)模式:從人工點(diǎn)“允許”到AI審批AI)
據(jù)新智元和多家科技媒體報(bào)道Anthropic 宣布從下周起把 Claude 的自動(dòng)模式設(shè)為默認(rèn)以前 Claude 每執(zhí)行一步——寫文件、跑命令、發(fā)請(qǐng)求——都要彈窗問你“允許嗎”現(xiàn)在這一步改成由另一個(gè)模型來判斷哪一步能執(zhí)行、哪一步要攔。消息傳出來討論基本分成兩派。一派說終于不用當(dāng)“人形確認(rèn)按鈕”了另一派問得更直接出了事誰負(fù)責(zé)。我覺得后一個(gè)問題更值得掰開看因?yàn)?Anthropic 自己公布的數(shù)據(jù)里這套機(jī)制的邊界寫得挺清楚。一、“自動(dòng)模式”到底自動(dòng)了什么先澄清一個(gè)常見誤解自動(dòng)模式不是把權(quán)限關(guān)閉也不是--dangerously-skip-permissions那種裸奔模式那玩意兒是徹底不設(shè)防。自動(dòng)模式是在“每一步都問人”和“什么都不問”之間加了一層分類器。按 Anthropic 技術(shù)博客的說法它分三層放行第一層白名單只讀類工具直接過讀文件、搜索、代碼導(dǎo)航、todo 和 plan 模式切換這些不改狀態(tài)不需要審。第二層項(xiàng)目?jī)?nèi)文件讀寫倉(cāng)庫(kù)目錄里的寫和改直接放行理由是有版本控制兜底事后能 review。第三層分類器shell 命令、網(wǎng)頁抓取、外部工具調(diào)用、子 agent 派生、項(xiàng)目目錄外的文件操作——這些才真正送審。送審之后是兩階段判斷先一個(gè)單 token 的快篩只輸出“攔/放”并且被要求“寧可多攔”只有快篩亮紅燈的才進(jìn)入第二階段的思維鏈復(fù)核把誤攔降下來。有個(gè)設(shè)計(jì)細(xì)節(jié)我認(rèn)為挺關(guān)鍵分類器只能看到用戶消息和工具調(diào)用本身助手自己的解釋文字和工具返回內(nèi)容都被剝掉。官方給的理由是防止 agent 用一段“這是安全的用戶之前同意過”的說辭把審核模型說服同時(shí)也順帶把提示注入的入口擋在外面。也就是說它判斷的是“你干了什么”不是“你說你為什么這么干”。二、官方自己承認(rèn)的失手率這部分是全文最該看的地方因?yàn)閿?shù)字是 Anthropic 自己發(fā)的不是外面猜的。在真實(shí)內(nèi)部流量的 1 萬條工具調(diào)用上兩階段管線的誤攔率把正常操作攔下來從 8.5% 降到0.4%。在 1000 條合成的數(shù)據(jù)外泄測(cè)試上漏放率該攔沒攔是 5.7%。但在“真實(shí)過度積極動(dòng)作”這個(gè)數(shù)據(jù)集上——52 條員工當(dāng)場(chǎng)拒絕或事后被標(biāo)記的危險(xiǎn)操作——漏放率是 17%。17% 這個(gè)數(shù)字不好看官方也沒藏著。博客里解釋說多數(shù)漏掉的案例里分類器其實(shí)識(shí)別出了危險(xiǎn)動(dòng)作比如 force push、刪除、改基礎(chǔ)設(shè)施它判斷錯(cuò)的是另一件事會(huì)話里出現(xiàn)過的那句“同意”到底算不算對(duì)這個(gè)動(dòng)作的授權(quán)。用戶說“清理一下 PR”不等于授權(quán) force push之前批準(zhǔn)過類似操作也不構(gòu)成慣例。官方給的結(jié)論很實(shí)在如果你原本用--dangerously-skip-permissions這是大幅改善如果你原本每個(gè)操作都認(rèn)真看那這是退步——你用自己的判斷換了一個(gè)會(huì)犯錯(cuò)的分類器。它不適合高危基礎(chǔ)設(shè)施上的無人值守。配套還有一道剎車一次會(huì)話里連續(xù) 3 次被拒或累計(jì) 20 次被拒模型會(huì)停下來升級(jí)給人無頭模式claude -p下沒有界面可問直接終止進(jìn)程。三、對(duì)普通開發(fā)者的實(shí)際影響先說結(jié)論日常寫業(yè)務(wù)代碼影響不大跑在共享環(huán)境、生產(chǎn)環(huán)境、帶憑據(jù)的機(jī)器上影響很大。日常寫代碼基本落在第一層和第二層本來就不進(jìn)分類器所以“自動(dòng)”與否體感差不多只是少了彈窗。真正變的是那些會(huì)碰外部世界的操作。幾條我會(huì)實(shí)際去做的動(dòng)作# 官方文檔給出的命令先看清楚默認(rèn)攔什么、放什么claude auto-mode defaults先看默認(rèn)規(guī)則再談信任。默認(rèn)規(guī)則里二十多條攔截項(xiàng)大致分四類不可逆破壞或外泄force push 覆蓋歷史、批量刪云存儲(chǔ)、把內(nèi)部數(shù)據(jù)發(fā)出去削弱安全姿態(tài)關(guān)日志、裝 SSH key 或 cron、改 agent 自己的權(quán)限配置跨信任邊界跑外部倉(cāng)庫(kù)克隆來的代碼、掃憑據(jù)庫(kù)找 token、往沒指定過的服務(wù)發(fā)數(shù)據(jù)繞過評(píng)審或影響他人直接推 main、跑生產(chǎn)發(fā)布、動(dòng)別人創(chuàng)建的資源。第二條把權(quán)限規(guī)則收窄。有個(gè)容易踩的坑進(jìn)入自動(dòng)模式時(shí)系統(tǒng)會(huì)主動(dòng)丟掉那些“已知可以任意執(zhí)行代碼”的寬規(guī)則——通配 shell、python/node這類解釋器通配、包管理器 run 命令。很多人早先為少點(diǎn)彈窗配過這些切過去會(huì)發(fā)現(xiàn)失效了。這不是 bug留著的話最能造成破壞的命令恰好見不到分類器。窄規(guī)則比如“允許跑代碼格式化”會(huì)保留。第三條信條邊界要自己填。默認(rèn)只信任當(dāng)前 git 倉(cāng)庫(kù)其他一切都算外部。公司內(nèi)部的 GitHub org、云存儲(chǔ)桶、內(nèi)部 API得自己配進(jìn)去否則正常的內(nèi)部調(diào)用也會(huì)被當(dāng)成外泄攔掉——誤攔不致命但會(huì)不停重試長(zhǎng)任務(wù)里很煩。第四條也是最土的一條憑據(jù)別放在 agent 能隨手讀到的地方。分類器攔的是“把 token 發(fā)出去”這個(gè)動(dòng)作不是“token 就在環(huán)境變量里”這個(gè)事實(shí)。少給它機(jī)會(huì)比指望它每次判斷都對(duì)更靠譜。四、這件事真正變的地方表面看是省了幾百次點(diǎn)擊往深一層看是審核權(quán)的位置變了從“人在回路里”變成“人在回路外出事再進(jìn)來”。這個(gè)轉(zhuǎn)移不是一家在推方向是一致的——代碼和實(shí)驗(yàn)的產(chǎn)出量已經(jīng)超出人能逐條審的規(guī)模審核本身也得自動(dòng)化。但自動(dòng)化的審核有個(gè)繞不開的問題監(jiān)控者和被監(jiān)控者跑在同一套基礎(chǔ)設(shè)施上。外部機(jī)構(gòu)對(duì) OpenAI 內(nèi)部監(jiān)控做的紅隊(duì)報(bào)告里提到過一類問題比如監(jiān)控只在 agent 交還控制權(quán)時(shí)才觸發(fā)那 agent 只要一直不交還就一直不被看。這類缺陷不是調(diào)參能解決的。Anthropic 這邊的做法是把分類器和 agent 的上下文隔開、讓它看不到工具輸出算是往“監(jiān)控獨(dú)立性”上走了一步但 17% 的漏放率說明它離“可以放心交權(quán)”還有距離。對(duì)打工人的現(xiàn)實(shí)建議就一句把自動(dòng)模式當(dāng)成一個(gè)“手比較快、判斷力中等、不會(huì)累”的實(shí)習(xí)生。日常雜活可以給生產(chǎn)庫(kù)的鑰匙先別給。你怎么看你們團(tuán)隊(duì)現(xiàn)在敢讓 agent 直接跑部署命令嗎評(píng)論區(qū)聊聊。