最近科技圈都在討論OpenAI公布的AI訓(xùn)練安全準(zhǔn)則標(biāo)題里的兩句話非常醒目失控就叫停高管擁有一票否決權(quán)。我第一眼看到這個(gè)標(biāo)題時(shí)腦子里冒出來(lái)的不是又要發(fā)安全白皮書了而是終于有人把AI訓(xùn)練的安全治理問(wèn)題從技術(shù)參數(shù)層面拔高到了組織決策層面。作為跑過(guò)多個(gè)大規(guī)模模型訓(xùn)練、也帶過(guò)算法團(tuán)隊(duì)的人我讀完準(zhǔn)則原文后最大的感觸是這份文件表面講的是安全流程本質(zhì)上講的是——在AI系統(tǒng)越來(lái)越復(fù)雜、越來(lái)越難被人類實(shí)時(shí)理解的今天我們到底該把叫停訓(xùn)練的權(quán)力賦予誰(shuí)、通過(guò)什么機(jī)制去執(zhí)行。這件事對(duì)訓(xùn)練工程師、安全研究員、創(chuàng)業(yè)公司技術(shù)負(fù)責(zé)人以及所有把大模型放進(jìn)生產(chǎn)環(huán)境的團(tuán)隊(duì)都有非常直接的參考價(jià)值。這篇文章我就以從業(yè)者的視角把這次準(zhǔn)則的核心內(nèi)容、技術(shù)邏輯、落地方法和可能踩的坑一條一條掰開(kāi)聊清楚。1. OpenAI這次安全準(zhǔn)則核心到底說(shuō)了什么1.1 表面是兩條規(guī)則實(shí)際是一套控制回路把標(biāo)題拆開(kāi)其實(shí)就兩個(gè)信息點(diǎn)失控就叫停、高管擁有一票否決權(quán)。乍一聽(tīng)像是行政命令但從工程視角看這兩條合在一起恰好構(gòu)成了一套完整的控制回路——檢測(cè)、執(zhí)行、兜底。任何一個(gè)成熟的系統(tǒng)想穩(wěn)定運(yùn)行都得先有傳感器去感知異常再有執(zhí)行器去完成停機(jī)最后還需要一個(gè)不受系統(tǒng)本身約束的決策節(jié)點(diǎn)在自動(dòng)判斷失效時(shí)強(qiáng)行介入。OpenAI這套準(zhǔn)則本質(zhì)上是把AI訓(xùn)練當(dāng)做一個(gè)可以被觀察、被干預(yù)、也必須被干預(yù)的工程系統(tǒng)來(lái)管理而不是一個(gè)丟給GPU集群自己跑的黑盒。我見(jiàn)過(guò)太多團(tuán)隊(duì)把訓(xùn)練當(dāng)成一錘子買賣寫好啟動(dòng)腳本盯住loss曲線然后等結(jié)果。這種做法在跑小規(guī)模實(shí)驗(yàn)時(shí)沒(méi)什么問(wèn)題但一旦進(jìn)入千卡級(jí)、萬(wàn)卡級(jí)的訓(xùn)練規(guī)模風(fēng)險(xiǎn)暴露面會(huì)呈指數(shù)級(jí)擴(kuò)大。單個(gè)節(jié)點(diǎn)故障、數(shù)據(jù)管線污染、優(yōu)化器狀態(tài)異常任何一個(gè)環(huán)節(jié)出問(wèn)題都可能讓幾周的努力付諸東流。所以安全準(zhǔn)則第一層價(jià)值就是強(qiáng)制團(tuán)隊(duì)建立訓(xùn)練全程可觀測(cè)、可干預(yù)的思維方式。1.2 安全準(zhǔn)則不是應(yīng)對(duì)已知故障而是建立決策冗余這里有個(gè)很關(guān)鍵的認(rèn)知轉(zhuǎn)變安全準(zhǔn)則的重點(diǎn)不是出了問(wèn)題怎么辦而是如何保證一旦出問(wèn)題人類依然擁有介入的時(shí)點(diǎn)和權(quán)限。大模型訓(xùn)練中的問(wèn)題往往不是突然爆發(fā)的而是緩慢累積的。比如數(shù)據(jù)中毒、梯度異常、意外涌現(xiàn)的某些行為模式這些都不是訓(xùn)練崩了這種一次性的顯性事件而是慢變量。慢變量最危險(xiǎn)的地方在于等你一眼在監(jiān)控面板上看見(jiàn)異常時(shí)異常往往已經(jīng)持續(xù)了一段時(shí)間現(xiàn)場(chǎng)早就不干凈了。高管一票否決權(quán)解決的正是這種慢變量帶來(lái)的決策冗余問(wèn)題。它保證了在任何判斷路徑上都存在一個(gè)不依賴技術(shù)系統(tǒng)本身的人類權(quán)威節(jié)點(diǎn)可以獨(dú)立地終止所有正在運(yùn)行的工作。這一點(diǎn)跟核電站、民航客機(jī)的安全設(shè)計(jì)邏輯是一致的——自動(dòng)系統(tǒng)做得再好也必須保留一道物理層面的人工閘門。2. 從技術(shù)側(cè)拆解這兩條準(zhǔn)則背后的邏輯2.1 失控如何被量化三類監(jiān)控信號(hào)缺一不可失控如果停留在字面意思就無(wú)法執(zhí)行。任何一條能落地的安全準(zhǔn)則背后都必須有一組可量化的信號(hào)作支撐。在AI訓(xùn)練安全領(lǐng)域業(yè)內(nèi)通常把監(jiān)控信號(hào)分成三大類訓(xùn)練穩(wěn)定性信號(hào)loss發(fā)散、梯度爆炸或消失、中間層激活值退化、學(xué)習(xí)率與batch size不匹配導(dǎo)致的震蕩。數(shù)據(jù)與分布信號(hào)訓(xùn)練數(shù)據(jù)分布偏移、臟數(shù)據(jù)混入比例升高、驗(yàn)證集性能異常波動(dòng)、樣本重復(fù)度過(guò)高。行為安全信號(hào)涌現(xiàn)能力的意外增強(qiáng)、對(duì)齊評(píng)測(cè)指標(biāo)異常下滑、模型在工具調(diào)用和自主決策場(chǎng)景中出現(xiàn)越權(quán)行為。這三類信號(hào)就像飛機(jī)駕駛艙里的儀表盤。只有當(dāng)儀表盤讀數(shù)超過(guò)預(yù)設(shè)紅線才允許觸發(fā)叫停機(jī)制。否則安全準(zhǔn)則就是一紙空文。我在實(shí)際項(xiàng)目中體會(huì)到行為安全信號(hào)的監(jiān)控難度最高——模型在某個(gè)評(píng)測(cè)集上表現(xiàn)異常到底是數(shù)據(jù)泄露還是能力涌現(xiàn)這需要綜合多維度信息判斷不能靠單一指標(biāo)拍板。2.2 為什么叫停比降速更可靠有人會(huì)問(wèn)發(fā)現(xiàn)異常時(shí)為什么不先降學(xué)習(xí)率、縮小batch size或者動(dòng)態(tài)調(diào)整訓(xùn)練策略非要一刀切停掉我在不少技術(shù)群里都看到過(guò)類似爭(zhēng)論。關(guān)鍵區(qū)別在于叫停的目的是凍結(jié)現(xiàn)場(chǎng)而不是懲罰訓(xùn)練過(guò)程。訓(xùn)練中的異常狀態(tài)往往依賴特定的數(shù)據(jù)批次、特定的優(yōu)化器狀態(tài)才可復(fù)現(xiàn)。如果選擇降速或調(diào)整參數(shù)訓(xùn)練狀態(tài)還在流動(dòng)現(xiàn)場(chǎng)就被污染了——你再也無(wú)法回到異常發(fā)生的原始條件去復(fù)現(xiàn)和診斷。凍結(jié)現(xiàn)場(chǎng)之后你至少有三條路可以走回滾到最近的安全存檔點(diǎn)換一個(gè)優(yōu)化方向重新開(kāi)始。在凍結(jié)現(xiàn)場(chǎng)做離線分析搞清楚觸發(fā)異常的根本原因再?zèng)Q定是否恢復(fù)訓(xùn)練。直接廢棄當(dāng)前實(shí)驗(yàn)啟動(dòng)備選方案不再糾結(jié)沉沒(méi)成本。停機(jī)在很多人看來(lái)意味著經(jīng)濟(jì)損失但站在風(fēng)險(xiǎn)管理的角度失控狀態(tài)下繼續(xù)燒算力才是更大的浪費(fèi)。保留診斷機(jī)會(huì)的價(jià)值往往比那幾小時(shí)或幾天的算力費(fèi)用高得多。2.3 高管一票否決權(quán)權(quán)力設(shè)計(jì)還是工程兜底把一票否決權(quán)給高管很多人的第一反應(yīng)是權(quán)力斗爭(zhēng)或外行指揮內(nèi)行。但從一個(gè)實(shí)際工程視角來(lái)看這個(gè)設(shè)計(jì)真正解決的問(wèn)題是打破技術(shù)團(tuán)隊(duì)內(nèi)部的路徑依賴。試想一個(gè)最典型的情景算法工程師看著監(jiān)控大盤慢慢變紅他大概率會(huì)說(shuō)再跑兩個(gè)step觀察一下因?yàn)槭诸^已經(jīng)積累了幾天甚至幾周的結(jié)果誰(shuí)也不舍得前功盡棄。運(yùn)維那邊的慣性是繼續(xù)觀望因?yàn)樗麄兪掷锬笾豪寐手笜?biāo)停機(jī)就意味著業(yè)務(wù)KPI不達(dá)標(biāo)。這時(shí)候就需要一個(gè)不在一線、不受訓(xùn)練沉沒(méi)成本干擾的決策節(jié)點(diǎn)來(lái)做最終裁定。所以我的理解是一票否決權(quán)不是用來(lái)頻繁行使的而是用來(lái)改變決策預(yù)期的。只要這個(gè)角色存在技術(shù)人員就不會(huì)默認(rèn)肯定有人比我更急著叫停而是會(huì)主動(dòng)評(píng)估風(fēng)險(xiǎn)、及時(shí)上報(bào)。這種心理層面的作用往往比實(shí)際動(dòng)用否決權(quán)的次數(shù)更重要。3. OpenAI這套安全準(zhǔn)則在實(shí)際項(xiàng)目中如何落地3.1 第一步把你的訓(xùn)練場(chǎng)景做風(fēng)險(xiǎn)分級(jí)OpenAI的準(zhǔn)則覆蓋的是他們自家的超大規(guī)模訓(xùn)練場(chǎng)景我們沒(méi)法直接照搬但風(fēng)險(xiǎn)分級(jí)的思路完全通用。我建議把訓(xùn)練過(guò)程中的風(fēng)險(xiǎn)按嚴(yán)重程度分成三級(jí)風(fēng)險(xiǎn)等級(jí)表現(xiàn)特征建議處理方式一級(jí)警告級(jí)loss出現(xiàn)短暫毛刺但能自行恢復(fù)開(kāi)啟詳細(xì)日志提高監(jiān)控采樣頻率二級(jí)嚴(yán)重級(jí)連續(xù)多個(gè)step指標(biāo)異常評(píng)測(cè)分?jǐn)?shù)持續(xù)下滑暫停訓(xùn)練啟動(dòng)診斷流程暫不終止三級(jí)致命級(jí)出現(xiàn)行為安全問(wèn)題或模型自主能力異常增長(zhǎng)立即叫停觸發(fā)高管否決權(quán)流程這個(gè)分級(jí)表的價(jià)值是把失控這個(gè)模糊的詞匯轉(zhuǎn)換成每一個(gè)值班工程師都能快速執(zhí)行的行動(dòng)指令。我在團(tuán)隊(duì)里推行這套分級(jí)后最明顯的變化是大家不再為要不要停爭(zhēng)論半天而是對(duì)照表格看等級(jí)等級(jí)到了就執(zhí)行對(duì)應(yīng)動(dòng)作爭(zhēng)吵少了很多。3.2 第二步把監(jiān)控做成實(shí)時(shí)管道而不是事后報(bào)表安全準(zhǔn)則要真正起作用監(jiān)控系統(tǒng)的建設(shè)質(zhì)量是地基。我見(jiàn)過(guò)太多團(tuán)隊(duì)把監(jiān)控做成事后諸葛訓(xùn)練結(jié)束后回頭翻一下TensorBoard的曲線分析一下loss為什么炸了。這完全沒(méi)有防御意義?？煽康淖龇ㄊ亲尡O(jiān)控和訓(xùn)練進(jìn)程同生命周期運(yùn)行監(jiān)控腳本隨訓(xùn)練啟動(dòng)而啟動(dòng)以秒級(jí)或分鐘級(jí)頻率向狀態(tài)中心上報(bào)關(guān)鍵指標(biāo)。不只盯loss還要盯顯存占用、吞吐波動(dòng)、數(shù)據(jù)分布漂移、梯度范數(shù)等維度。關(guān)鍵告警直接推送到on-call人員的手機(jī)而不是發(fā)到?jīng)]人看的群里。我在調(diào)告警閾值時(shí)的一個(gè)心得是閾值寧低勿高初期寧可被誤報(bào)多折騰幾次也不要因?yàn)殚撝翟O(shè)太高導(dǎo)致異常悄悄溜過(guò)去。誤報(bào)一次消耗幾分鐘注意力漏報(bào)一次可能消耗幾周的算力和人力成本這個(gè)賬很容易算。3.3 第三步預(yù)設(shè)安全包讓停機(jī)不裸奔一旦決定叫停團(tuán)隊(duì)不應(yīng)該花幾個(gè)小時(shí)去討論接下來(lái)怎么辦。所以執(zhí)行層面要提前準(zhǔn)備好安全包最近穩(wěn)定存檔點(diǎn)的路徑及回滾腳本。訓(xùn)練環(huán)境完整鏡像與依賴鎖文件確保現(xiàn)場(chǎng)可復(fù)現(xiàn)。上次成功運(yùn)行的配置快照包含超參數(shù)、數(shù)據(jù)版本、代碼commit號(hào)。離線診斷工具集比如數(shù)據(jù)檢查腳本、梯度檢查工具、模型行為探測(cè)腳本。有了這些準(zhǔn)備工作停機(jī)就不是所有工作的結(jié)束而是新一輪診斷循環(huán)的開(kāi)始。我在實(shí)際項(xiàng)目中遇到過(guò)因?yàn)榇鏅n點(diǎn)保存策略不合理回滾后丟失了兩天訓(xùn)練進(jìn)度的情況從那以后每條訓(xùn)練任務(wù)都會(huì)強(qiáng)制開(kāi)啟定期存檔存檔間隔根據(jù)訓(xùn)練階段動(dòng)態(tài)調(diào)整——初期可以稀疏一些后期接近收斂時(shí)加密保存。3.4 第四步否決權(quán)流程必須定期演練一票否決權(quán)如果只寫在文檔里就等于沒(méi)有。它必須經(jīng)過(guò)周期性演練才能變成團(tuán)隊(duì)肌肉記憶。我的建議是每季度做一次人為注入異常場(chǎng)景的模擬演練從檢測(cè)到叫停完整走一遍流程。演練的目標(biāo)不是把流程跑得好看而是暴露真實(shí)摩擦點(diǎn)告警推送到責(zé)任人了嗎還是被手機(jī)通知淹沒(méi)了聯(lián)系不上高管怎么辦有沒(méi)有備選決策人存檔點(diǎn)如果損壞了回滾腳本還能不能執(zhí)行叫停時(shí)有沒(méi)有把實(shí)驗(yàn)現(xiàn)場(chǎng)的關(guān)鍵日志保存下來(lái)這些問(wèn)題的答案必須提前寫在預(yù)案里而不是真出事時(shí)才現(xiàn)想。演練結(jié)束必須復(fù)盤把暴露出的問(wèn)題更新進(jìn)流程文檔。如果演練只是走個(gè)過(guò)場(chǎng)演完一切照舊那就完全失去了意義。4. 安全準(zhǔn)則對(duì)研發(fā)體系和產(chǎn)品上線的影響4.1 研發(fā)團(tuán)隊(duì)的工作方式要發(fā)生變化安全準(zhǔn)則落地后研發(fā)團(tuán)隊(duì)的工作模式會(huì)從訓(xùn)練成功導(dǎo)向變成安全可控導(dǎo)向。最實(shí)際的變化是每次啟動(dòng)大型訓(xùn)練任務(wù)前必須寫一份風(fēng)險(xiǎn)評(píng)估說(shuō)明而不是只提交一行啟動(dòng)命令就完事。風(fēng)險(xiǎn)評(píng)估說(shuō)明不用寫太長(zhǎng)但必須回答幾個(gè)問(wèn)題這個(gè)訓(xùn)練任務(wù)可能出現(xiàn)哪些異常哪些指標(biāo)能代表異常一旦異常出現(xiàn)誰(shuí)負(fù)責(zé)決策是否叫停叫停后的回滾計(jì)劃是什么這個(gè)流程會(huì)給團(tuán)隊(duì)增加一定的管理成本但我認(rèn)為它實(shí)際上是在為團(tuán)隊(duì)節(jié)省更大成本——那些因?yàn)槭Э貙?dǎo)致整體返工的機(jī)會(huì)成本。一次幾萬(wàn)卡時(shí)打水漂的教訓(xùn)往往比寫十次風(fēng)險(xiǎn)評(píng)估文檔都更能讓人記住但我們沒(méi)必要真的去付這筆學(xué)費(fèi)。4.2 從訓(xùn)練叫停到線上自動(dòng)下線的延伸失控就叫停如果把思考延伸到模型上線之后會(huì)得出一個(gè)更深的結(jié)論生產(chǎn)環(huán)境中的模型也需要一個(gè)真正的停止開(kāi)關(guān)。很多團(tuán)隊(duì)的模型其實(shí)沒(méi)有自動(dòng)下線能力出了問(wèn)題只能靠人工改流量配置等操作完成可能已經(jīng)對(duì)線上用戶造成了一段時(shí)間的影響。訓(xùn)練階段的安全治理經(jīng)驗(yàn)和線上運(yùn)維并不是割裂的它們共用同一套邏輯異常檢測(cè)、風(fēng)險(xiǎn)裁定、自動(dòng)處置、人工兜底。如果在訓(xùn)練階段就培養(yǎng)了隨時(shí)可叫停的工程習(xí)慣那么把同樣的能力延伸到線上推理服務(wù)就會(huì)很自然。我在做推理服務(wù)架構(gòu)時(shí)一定會(huì)要求模型服務(wù)層預(yù)留一個(gè)強(qiáng)制狀態(tài)開(kāi)關(guān)一旦評(píng)測(cè)指標(biāo)觸發(fā)安全紅線流量在幾十秒內(nèi)自動(dòng)摘除而不是等人去改配置。4.3 對(duì)大模型應(yīng)用團(tuán)隊(duì)的啟示對(duì)應(yīng)用層團(tuán)隊(duì)來(lái)說(shuō)這套準(zhǔn)則也有參考價(jià)值。很多做AI應(yīng)用的團(tuán)隊(duì)并沒(méi)有自研基礎(chǔ)模型但他們?cè)谡{(diào)用第三方大模型API時(shí)同樣面臨著模型行為失控的風(fēng)險(xiǎn)。比如在Agent場(chǎng)景中模型偏離用戶指令、擅自調(diào)用工具這都是安全事件。應(yīng)用團(tuán)隊(duì)能做的是在自己的系統(tǒng)邊界內(nèi)建立類似的防護(hù)機(jī)制設(shè)定行為規(guī)則引擎、對(duì)模型輸出進(jìn)行二次校驗(yàn)、在關(guān)鍵動(dòng)作前設(shè)置人工確認(rèn)節(jié)點(diǎn)。這套做法和OpenAI的訓(xùn)練安全準(zhǔn)則底層邏輯完全一致——無(wú)論模型能力多強(qiáng)系統(tǒng)邊界都要保留人類可以叫停的權(quán)限。5. 業(yè)界爭(zhēng)論的幾個(gè)核心問(wèn)題與我的看法5.1 失控的定義模糊地帶怎么處理雖然準(zhǔn)則給出了失控就叫停的大方向但實(shí)踐中最大的難點(diǎn)在于失控缺乏一個(gè)跨場(chǎng)景統(tǒng)一的量化標(biāo)準(zhǔn)。不同模型、不同任務(wù)、不同訓(xùn)練階段正常行為和異常行為的分界線并不一樣。比如loss曲線局部上升在探索率較高的階段可能很正常但在接近收斂時(shí)可能就是異常信號(hào)。又比如某個(gè)評(píng)測(cè)集分?jǐn)?shù)下降可能是因?yàn)橛?xùn)練數(shù)據(jù)分布調(diào)整也可能真是能力退化兩者需要完全不同的處理策略。我的看法是不要追求一個(gè)放之四海而皆準(zhǔn)的失控定義。每個(gè)團(tuán)隊(duì)都應(yīng)該建立自己的正常行為基線并且讓基線隨訓(xùn)練階段自適應(yīng)調(diào)整。監(jiān)控系統(tǒng)的核心指標(biāo)是當(dāng)前狀態(tài)相對(duì)于正?；€的偏移程度而不是某個(gè)絕對(duì)數(shù)值是否超標(biāo)。這個(gè)思路來(lái)自于工業(yè)異常檢測(cè)里的殘差檢測(cè)方法比死板地盯閾值更適合大模型訓(xùn)練場(chǎng)景。5.2 高管一票否決制是否能真正兜底批評(píng)者常指出一票否決權(quán)的有效性取決于行使權(quán)利的人是否具備足夠的判斷能力。如果高管理解不了技術(shù)細(xì)節(jié)他憑什么在緊急關(guān)頭做出正確決定這個(gè)問(wèn)題確實(shí)存在但不能因?yàn)榇嬖诰头穸C(jī)制本身。我的建議是給高管準(zhǔn)備一個(gè)否決權(quán)決策包里面不是一堆原始監(jiān)控?cái)?shù)據(jù)而是由安全團(tuán)隊(duì)預(yù)先分析好的風(fēng)險(xiǎn)簡(jiǎn)報(bào)用一頁(yè)或兩頁(yè)紙說(shuō)明發(fā)生了什么、風(fēng)險(xiǎn)有多嚴(yán)重、有哪幾種應(yīng)對(duì)選項(xiàng)、每個(gè)選項(xiàng)的后果是什么。這樣即便不熟悉技術(shù)細(xì)節(jié)的決策者也能基于完整的信息做出負(fù)責(zé)任的裁決。另外我比較認(rèn)同專家評(píng)審團(tuán)高管裁定的組合模式技術(shù)團(tuán)隊(duì)、安全團(tuán)隊(duì)、外部顧問(wèn)先給出專業(yè)評(píng)估高管基于評(píng)估做最終決定。通過(guò)這種方式一票否決就從閉眼拍板變成了信息充分的最終兜底合理性會(huì)高很多。5.3 中小團(tuán)隊(duì)要不要照搬這套準(zhǔn)則說(shuō)實(shí)話沒(méi)必要全套照搬。OpenAI的安全流程帶著他們特定組織結(jié)構(gòu)的印記——他們有專職的治理團(tuán)隊(duì)、法務(wù)資源、外部顧問(wèn)這些中小團(tuán)隊(duì)都不具備。中小團(tuán)隊(duì)要做的是抽取核心框架再按自身規(guī)模裁剪。最基本的底線是有檢測(cè)手段、有能獨(dú)立叫停的人、有恢復(fù)計(jì)劃。這三點(diǎn)做到不管組織架構(gòu)多簡(jiǎn)陋安全治理的骨架就已經(jīng)搭起來(lái)了。在這個(gè)基礎(chǔ)上再逐步補(bǔ)充流程細(xì)節(jié)和自動(dòng)化工具。6. 訓(xùn)練中常見(jiàn)問(wèn)題排查與實(shí)操心得6.1 是不是所有異常都要啟動(dòng)叫停流程當(dāng)然不是。叫停機(jī)制的定位是處理嚴(yán)重級(jí)以上的異常如果每個(gè)小波動(dòng)都走叫停流程團(tuán)隊(duì)會(huì)被告警淹沒(méi)最終反而麻痹掉真正的風(fēng)險(xiǎn)信號(hào)。我會(huì)在很多團(tuán)隊(duì)里看到類似問(wèn)題一開(kāi)始大家對(duì)告警過(guò)度敏感一有風(fēng)吹草動(dòng)就全線止損搞了幾次之后發(fā)現(xiàn)大多數(shù)情況是虛驚一場(chǎng)于是大家又開(kāi)始手動(dòng)忽略告警。正確做法是在監(jiān)控體系里做好分級(jí)告警讓叫停成為最高級(jí)別、低頻但有效的操作。低頻恰恰說(shuō)明日常監(jiān)控和前幾級(jí)處理流程運(yùn)轉(zhuǎn)正常。6.2 訓(xùn)練中途叫停算力成本怎么算算力成本當(dāng)然是肉眼可見(jiàn)的開(kāi)銷但失控狀態(tài)下繼續(xù)跑成本更大。這里可以做一筆簡(jiǎn)單的賬一次叫停加診斷通常只需要幾小時(shí)到一天如果不叫停讓異常繼續(xù)累積直接導(dǎo)致幾周的算力和人力作廢。把賬算明白團(tuán)隊(duì)自然就支持叫停。我在跟業(yè)務(wù)部門協(xié)調(diào)時(shí)不會(huì)只拿安全說(shuō)事我會(huì)直接列數(shù)字不停機(jī)繼續(xù)跑預(yù)期浪費(fèi)多少卡時(shí)停機(jī)診斷預(yù)期消耗多少卡時(shí)。兩者一對(duì)比決策就變成了算術(shù)題而不是立場(chǎng)之爭(zhēng)。安全話題一旦變成成本語(yǔ)言在公司內(nèi)部的推進(jìn)阻力會(huì)小很多。6.3 報(bào)警閾值越靈敏越好嗎不是。閾值太靈敏會(huì)變成狼來(lái)了太遲鈍又失去預(yù)警意義。我的辦法是分階段設(shè)定訓(xùn)練初期采樣頻次可以低一些閾值寬一些給探索留出空間訓(xùn)練中后期接近收斂時(shí)把閾值收緊重點(diǎn)盯評(píng)測(cè)分?jǐn)?shù)和分布偏移指標(biāo)。另外閾值不要一次性設(shè)死。每跑完一輪訓(xùn)練回頭看一眼監(jiān)控命中準(zhǔn)召情況如果某個(gè)告警在過(guò)去的訓(xùn)練中從未觸發(fā)過(guò)可以適當(dāng)放寬如果某個(gè)告警頻繁觸發(fā)但每次都是虛驚需要檢查是不是閾值設(shè)定脫離了實(shí)際分布。監(jiān)控系統(tǒng)本身也需要持續(xù)調(diào)參它不是配好就一勞永逸的東西。6.4 存檔點(diǎn)到底該多久存一次存檔間隔很大程度上取決于單次算力成本和對(duì)進(jìn)度的容忍度。我的經(jīng)驗(yàn)是初期階段每數(shù)百步存一次就夠了因?yàn)槟Ｐ湍芰α?xí)得的邊際變化不大但在訓(xùn)練后期或者接近收斂時(shí)把存檔加密到每幾十步一次防止異常發(fā)生時(shí)丟失太多有效進(jìn)度。還要注意存檔不只是存模型權(quán)重優(yōu)化器狀態(tài)、學(xué)習(xí)率調(diào)度器狀態(tài)、數(shù)據(jù)加載器的隨機(jī)種子都要一并保存。只存權(quán)重不存優(yōu)化器狀態(tài)的回滾相當(dāng)于讓模型從失憶狀態(tài)重新開(kāi)始跑訓(xùn)練效果會(huì)受到很大影響這是很多團(tuán)隊(duì)都踩過(guò)但容易被忽略的坑。6.5 安全準(zhǔn)則在執(zhí)行中被當(dāng)成絆腳石怎么辦一線工程師如果覺(jué)得安全流程只是在添麻煩那這項(xiàng)工作多半推不下去。我比較有效的做法是把安全流程設(shè)計(jì)成順手就能做而非額外負(fù)擔(dān)。比如風(fēng)險(xiǎn)評(píng)估說(shuō)明可以做成模板表單填寫時(shí)間控制在十分鐘內(nèi)告警推送接入團(tuán)隊(duì)已經(jīng)在用的即時(shí)通訊工具不讓大家多裝一套系統(tǒng)叫停演練和復(fù)盤合并進(jìn)既有的迭代會(huì)議。安全流程只有跟日常工作流無(wú)縫銜接才能長(zhǎng)期運(yùn)轉(zhuǎn)下去否則遲早會(huì)因?yàn)樘闊┒焕@過(guò)。7. 這套準(zhǔn)則后續(xù)擴(kuò)展的幾個(gè)方向7.1 把安全運(yùn)營(yíng)的思路推進(jìn)到Agent場(chǎng)景現(xiàn)在大模型領(lǐng)域最熱的詞是Agent——讓模型自主調(diào)用工具、規(guī)劃任務(wù)、執(zhí)行多步操作。Agent場(chǎng)景下的失控風(fēng)險(xiǎn)和單模型訓(xùn)練完全不同它涉及的更多是行為邊界和權(quán)限邊界的問(wèn)題。我認(rèn)為OpenAI這份安全準(zhǔn)則里人工兜底的思路完全可以遷移到Agent系統(tǒng)設(shè)計(jì)中讓Agent的每一步關(guān)鍵操作都處于可觀測(cè)、可回溯、可撤銷的狀態(tài)。比如在工具調(diào)用前設(shè)置強(qiáng)制審批環(huán)節(jié)或者給Agent配置一個(gè)獨(dú)立于任務(wù)邏輯之外的急停指令。這些設(shè)計(jì)原則越早納入系統(tǒng)架構(gòu)后期彌補(bǔ)的代價(jià)就越小。7.2 從單次訓(xùn)練安全到全生命周期治理很多團(tuán)隊(duì)把安全準(zhǔn)則局限在模型訓(xùn)練階段但模型的全生命周期還包括數(shù)據(jù)準(zhǔn)備、微調(diào)、評(píng)測(cè)、部署、上線監(jiān)控、退役下線每一個(gè)環(huán)節(jié)都有各自的風(fēng)險(xiǎn)點(diǎn)。OpenAI這份準(zhǔn)則帶來(lái)的一個(gè)啟發(fā)是安全治理應(yīng)該是貫穿全生命周期的而不是某個(gè)階段的專項(xiàng)工作。比如數(shù)據(jù)準(zhǔn)備階段就要建立來(lái)源溯源和毒性檢測(cè)機(jī)制部署上線時(shí)要配置自動(dòng)回滾能力模型退役時(shí)還要確保相關(guān)數(shù)據(jù)和文檔按要求清理。這套全鏈路視角比單獨(dú)的訓(xùn)練安全要全面得多。7.3 安全評(píng)估報(bào)告的自動(dòng)化生成最后分享一個(gè)落地層面的小技巧訓(xùn)練過(guò)程中的安全記錄一定要自動(dòng)化沉淀。每次監(jiān)控告警、每次叫停操作、每次決策討論都自動(dòng)記錄到統(tǒng)一的安全事件日志中。這樣一來(lái)訓(xùn)練任務(wù)結(jié)束時(shí)安全團(tuán)隊(duì)可以自動(dòng)生成一份安全評(píng)估摘要而不是靠人工回憶補(bǔ)記錄。這份摘要對(duì)于后續(xù)審計(jì)、模型發(fā)布評(píng)審、甚至對(duì)外溝通都非常有價(jià)值?，F(xiàn)實(shí)中很多團(tuán)隊(duì)在模型上線評(píng)審時(shí)拿不出完整的安全過(guò)程記錄只能臨時(shí)翻聊天記錄、貼幾個(gè)告警截圖既沒(méi)說(shuō)服力又浪費(fèi)時(shí)間。把安全記錄的工具鏈前置做好后續(xù)一切環(huán)節(jié)都會(huì)順暢很多。我在實(shí)際訓(xùn)練中體會(huì)最深的一點(diǎn)是安全準(zhǔn)則最終能不能起作用取決于你是否打心底認(rèn)可失控是常態(tài)這件事。很多人默認(rèn)訓(xùn)練是穩(wěn)定的所以把安全檢查當(dāng)成打擾但跑過(guò)幾年大規(guī)模訓(xùn)練的人都清楚意外才是常態(tài)。與其等意外發(fā)生那天在混亂中倉(cāng)促做決定不如提前把叫停這個(gè)按鈕準(zhǔn)備好并且保證它真的有效。不論是大廠還是小團(tuán)隊(duì)失控風(fēng)險(xiǎn)都不會(huì)因?yàn)榻M織規(guī)模小而自動(dòng)降低——它就是概率問(wèn)題而概率面前人人平等。