用 —— 第 13 章 可靠性防失控容錯(cuò))
Flink Agents 與 AI 流式應(yīng)用 —— 第 13 章 可靠性防失控容錯(cuò)章節(jié)定位第四篇開篇本系列主線防失控先于智能的總裝章。前面章節(jié)的防線是分散的——三道閘、冪等、語義化錯(cuò)誤、超時(shí)——本章把它們整合成立體防御體系失敗語義三分法決定重試還是放棄、決策冪等保證重放不出事故、補(bǔ)償機(jī)制處理已經(jīng)做錯(cuò)了怎么辦、降級(jí)策略保證AI 掛了業(yè)務(wù)還在轉(zhuǎn)、成本熔斷守住預(yù)算底線最后用混沌工程演練驗(yàn)證整套防線。版本基線Apache Flink 2.3.0 Flink Agents 0.3.xJDK 17章節(jié)導(dǎo)讀13.1 失敗語義三分可重試 / 不可重試 / 需人工13.2 決策冪等重放不出事故13.3 動(dòng)作補(bǔ)償已經(jīng)做錯(cuò)了怎么辦13.4 降級(jí)策略AI 掛了業(yè)務(wù)還在轉(zhuǎn)13.5 立體防線步數(shù)上限、成本熔斷與白名單13.6 實(shí)戰(zhàn)混沌工程演練13.7 本章小結(jié)與下章預(yù)告13.1 失敗語義三分可重試 / 不可重試 / 需人工13.1.1 為什么必須分類一刀切重試的災(zāi)難: LLM 網(wǎng)關(guān) 500 → 重試 ?(瞬時(shí)故障) 工具返回vin 格式非法 → 重試 ?(永遠(yuǎn)失敗,白燒 3 次錢) 審批號(hào)無效 → 重試 ??(還暴露了繞過審批的企圖) 錯(cuò)誤分類是重試策略的前提——不是所有失敗都值得再來一次。13.1.2 三分法定義publicenumFailureClass{RETRYABLE,// 可重試: 網(wǎng)絡(luò)抖動(dòng)、限流、超時(shí)PERMANENT,// 不可重試: 參數(shù)非法、資源不存在HUMAN_REQUIRED// 需人工: 權(quán)限不足、語義矛盾、業(yè)務(wù)沖突}// 工具錯(cuò)誤碼語義化時(shí)攜帶分類(4.4.3 的 retryable 字段升級(jí))publicrecordToolError(Stringcode,Stringmessage,FailureClassfailureClass,Stringsuggestion){}// 框架按分類執(zhí)行策略switch(error.failureClass()){caseRETRYABLE-scheduleRetry(error,backoff);// 指數(shù)退避casePERMANENT-feedBackToLlm(error);// 回喂 LLM 自我修正caseHUMAN_REQUIRED-emit(newApprovalRequiredEvent(...));// 轉(zhuǎn)人工}13.1.3 重試紀(jì)律RETRYABLE 才重試,且: ① 指數(shù)退避: 1s → 2s → 4s,最大 3 次 ② 總預(yù)算內(nèi): 重試占用第 6 章的 maxDecisionTime ③ 與重啟策略分層: 作業(yè)級(jí) fixed-delay 無限重試(框架層), 調(diào)用級(jí)指數(shù)退避有限重試(業(yè)務(wù)層)——兩層不混淆13.2 決策冪等重放不出事故13.2.1 重放來源全景Agent 場景的重放,比純數(shù)倉多一層: ① Checkpoint 恢復(fù)重放(7.4.2): 事件重放 → 工具重調(diào) ② 上游重發(fā): Kafka 生產(chǎn)端重試 → 同 event_id 重復(fù)到達(dá) ③ 人工重放: 調(diào)試時(shí)手動(dòng)重推事件(第 6 章本地重放的生產(chǎn)版) 三層都必須冪等,缺一層就是事故隱患。13.2.2 冪等三層落地┌─────────────────────────────────────────────────────────┐ │ 層 1 事件入口: event_id 去重 │ │ Keyed State 記錄已處理 event_id 集合(Bloom/短 TTL) │ │ 重復(fù)事件直接返回首次結(jié)果(重放友好: 結(jié)果一致) │ │ │ │ 層 2 工具執(zhí)行: 業(yè)務(wù)冪等鍵 │ │ 動(dòng)作類工具以 event_id 為冪等鍵(第 4 章) │ │ 執(zhí)行前查是否已建單,已建則返回原單號(hào) │ │ │ │ 層 3 存儲(chǔ)出口: 引擎冪等 │ │ Doris UK MoW: 同 key 覆蓋 │ │ Paimon deduplicate merge-engine(12.3.2) │ │ Kafka EXACTLY_ONCE sink(12.2.2) │ └─────────────────────────────────────────────────────────┘13.2.3 入口去重實(shí)現(xiàn)Action(listenEventTypes{AlertEvent.EVENT_TYPE})publicEventonAlert(ActionContextctx,AlertEvente)throwsException{// 層 1: 入口去重(狀態(tài)判重,7.3.3 同款 TTL 48h)StringpriorprocessedState.get(e.eventId);if(prior!null){returnreplayResult(prior);// 返回首次結(jié)果,不重新推理}Eventresultdiagnose(e);processedState.put(e.eventId,result.digest());returnresult;}13.3 動(dòng)作補(bǔ)償已經(jīng)做錯(cuò)了怎么辦13.3.1 補(bǔ)償思維冪等防重復(fù)做,補(bǔ)償管做錯(cuò)了: 場景: Agent 誤判 P0,工單已派給技師,半小時(shí)后復(fù)檢證明誤報(bào) 無法撤銷(技師已出發(fā)),只能補(bǔ)償: → 創(chuàng)建撤銷工單(新動(dòng)作,記錄因果鏈) → 病程庫標(biāo)記該結(jié)論 recheck_ok0(第 8 章記憶質(zhì)量) → 該 case 從召回池降權(quán)(不再誤導(dǎo)后來者)13.3.2 補(bǔ)償事務(wù)設(shè)計(jì)// 每個(gè)動(dòng)作類工具注冊(cè)對(duì)應(yīng)的補(bǔ)償動(dòng)作publicrecordCompensableAction(StringactionId,StringactionType,// CREATE_TICKET / SEND_DIAGNOSE ...StringcompensationType,// CANCEL_TICKET / REVOKE_COMMAND ...MapString,Objectpayload){}// 補(bǔ)償執(zhí)行(由人工或復(fù)盤流程觸發(fā),不由 Agent 自動(dòng)觸發(fā)!)publicvoidcompensate(CompensableActionoriginal){// 紀(jì)律: 補(bǔ)償永遠(yuǎn)人工發(fā)起,Agent 只能建議compensationService.execute(original.compensationType(),Map.of(origin_action_id,original.actionId(),reason,復(fù)檢推翻初診,trace_id,original.traceId()));}紀(jì)律: □ 補(bǔ)償是新動(dòng)作不是刪除——審計(jì)鏈完整,因果可查 □ Agent 可以建議補(bǔ)償,但執(zhí)行必須人工確認(rèn)(第 15 章) □ 補(bǔ)償事件回寫病程庫,形成決策→驗(yàn)證→糾偏閉環(huán)13.4 降級(jí)策略AI 掛了業(yè)務(wù)還在轉(zhuǎn)13.4.1 降級(jí)階梯LLM 網(wǎng)關(guān)整體不可用(極端但必須有預(yù)案): L0 全功能: Agent 完整推理鏈 L1 閹記憶: 跳過記憶召回(第 8 章),僅當(dāng)前事件推理 L2 規(guī)則兜底: 預(yù)置規(guī)則引擎(故障碼→處置映射表),零 LLM L3 直通人工: 全部告警轉(zhuǎn)人工隊(duì)列,Agent 只記錄不決策 降級(jí)觸發(fā): 自動(dòng): LLM 錯(cuò)誤率 50% / 延遲 p99 60s 持續(xù) 5 分鐘 手動(dòng): 運(yùn)維開關(guān)(配置中心,秒級(jí)生效)13.4.2 規(guī)則兜底實(shí)現(xiàn)// L2 規(guī)則兜底: 一份離線維護(hù)的映射表,Agent 啟動(dòng)時(shí)加載MapString,FallbackRulerules;// faultCode → 固定處置publicEventdiagnose(AlertEvente){if(degradeLevel()L2){FallbackRulerrules.get(e.faultCode);returnr!null?r.toResult(e).withDegraded(true)// 標(biāo)記降級(jí)結(jié)論:newApprovalRequiredEvent(e);// 規(guī)則沒有的碼 → 人工}returnreactDiagnose(e);// 正常 ReAct 鏈}紀(jì)律: □ 降級(jí)結(jié)論必帶 degraded 標(biāo)記,下游工單系統(tǒng)按低置信處理 □ 規(guī)則表只覆蓋 Top20 高頻故障碼(80% 流量),其余轉(zhuǎn)人工 □ 降級(jí)期間的事件照常落審計(jì)(12.3),恢復(fù)后抽樣復(fù)盤13.5 立體防線步數(shù)上限、成本熔斷與白名單13.5.1 防線總裝圖┌────────────────── 立體防線(由內(nèi)到外) ──────────────────┐ │ │ │ 事件級(jí): 三道閘(步數(shù)/循環(huán)/預(yù)算) ─── 第 6 章 │ │ 會(huì)話級(jí): 單會(huì)話 LLM 調(diào)用 ≤20 次 ─── 第 7 章 │ │ 工具級(jí): 超時(shí)/冪等/錯(cuò)誤語義化 ─── 第 4 章 │ │ 權(quán)限級(jí): 高危三保險(xiǎn)/審批 ─── 第 4/15 章 │ │ 全局級(jí): 成本熔斷(本節(jié)) │ │ 模型級(jí): 降級(jí)階梯 L0~L3 ─── 13.4 │ │ │ └────────────────────────────────────────────────────────┘13.5.2 成本熔斷// 全局成本熔斷: 每小時(shí) LLM 預(yù)算,超限自動(dòng)降級(jí)到 L2publicclassCostCircuitBreaker{privatefinallonghourlyBudgetTokens;// 配置中心下發(fā)privatefinalAtomicLongusedThisHournewAtomicLong();publicbooleanallowLlmCall(intestimatedTokens){longusedusedThisHour.get();if(usedestimatedTokenshourlyBudgetTokens){metrics.costBreakerTripped.increment();// 告警指標(biāo)returnfalse;// 熔斷 → 走 L2 規(guī)則兜底}returntrue;}// 整點(diǎn)重置(處理時(shí)間窗口即可,預(yù)算控制不需要事件時(shí)間精度)}13.5.3 白名單兜底動(dòng)作白名單: Agent 可執(zhí)行的動(dòng)作枚舉,配置中心維護(hù) □ 未在白名單的動(dòng)作 → 框架層直接攔截(比 prompt 約束可靠) □ 白名單按環(huán)境分級(jí): 測試環(huán)境寬松,生產(chǎn)環(huán)境收緊 □ 白名單變更走審批(它本身就是高危配置) 與 prompt 禁區(qū)(6.3)的關(guān)系: prompt 是第一道(約束模型意圖) 白名單是第二道(攔截執(zhí)行層) ——意圖約束可以被騙過(Prompt 注入),執(zhí)行攔截不能13.6 實(shí)戰(zhàn)混沌工程演練13.6.1 演練設(shè)計(jì)每月一次,影子環(huán)境,注入故障驗(yàn)證防線: 演練 1 LLM 網(wǎng)關(guān) 500 持續(xù) 10 分鐘 預(yù)期: 自動(dòng)降級(jí) L2,規(guī)則兜底接管,恢復(fù)后自動(dòng)回 L0 演練 2 工單系統(tǒng)接口慢(注入 20s 延遲) 預(yù)期: 工具超時(shí)語義化回填,Agent 降級(jí)出結(jié)論, 無作業(yè)反壓(異步工具池隔離生效) 演練 3 重復(fù)事件注入(同 event_id × 3) 預(yù)期: 入口去重生效,只建 1 張工單, 審計(jì)日志 3 條到達(dá) 1 條處理 演練 4 惡意文本注入(告警備注夾帶指令) 預(yù)期: 邊界包裹生效,指令被當(dāng)數(shù)據(jù)處理(9.4.2), 未執(zhí)行任何越權(quán)動(dòng)作 演練 5 成本突刺(批量重放 10 萬歷史告警) 預(yù)期: 小時(shí)預(yù)算熔斷觸發(fā),自動(dòng)降 L2,告警通知運(yùn)維13.6.2 演練評(píng)分卡演練通過標(biāo)準(zhǔn)常見失分點(diǎn)網(wǎng)關(guān) 5005 分鐘內(nèi)自動(dòng)降級(jí)恢復(fù)后自動(dòng)回切降級(jí)開關(guān)需人工慢工具主鏈路 p99 無劣化工具池與算子線程未隔離重復(fù)事件零重復(fù)工單只做了存儲(chǔ)冪等沒做入口去重注入攻擊零越權(quán)執(zhí)行只靠 prompt 禁區(qū)無白名單攔截成本突刺熔斷觸發(fā)且告警無預(yù)算監(jiān)控事后賬單才發(fā)現(xiàn)13.6.3 演練紀(jì)律□ 演練在影子環(huán)境,但影子環(huán)境與生產(chǎn)同構(gòu)(配置/數(shù)據(jù)/防線) □ 每次演練必須產(chǎn)出: 失分點(diǎn) → 修復(fù) → 下月復(fù)測 □ 防線變更(新工具上線等)后必須補(bǔ)做相關(guān)演練 □ 演練記錄入審計(jì)庫——防線本身的可靠性也要可追溯13.7 本章小結(jié)與下章預(yù)告本章小結(jié)┌──────────────────────────────────────────────────────────────┐ │ 第 13 章 要點(diǎn)回顧 │ └──────────────────────────────────────────────────────────────┘ ? 失敗三分: RETRYABLE(指數(shù)退避≤3次)/PERMANENT(回喂LLM)/ HUMAN_REQUIRED(轉(zhuǎn)人工);重試有總預(yù)算,與作業(yè)重啟策略分層 ? 冪等三層: 入口 event_id 去重(返回首次結(jié)果)/ 工具業(yè)務(wù)冪等鍵/存儲(chǔ)引擎冪等(UKMoW、deduplicate、2PC) ? 補(bǔ)償思維: 冪等防重復(fù),補(bǔ)償管做錯(cuò);補(bǔ)償是新動(dòng)作非刪除, Agent 建議人工執(zhí)行,回寫病程庫形成糾偏閉環(huán) ? 降級(jí)階梯: L0 全功能→L1 閹記憶→L2 規(guī)則兜底→L3 直通人工; 自動(dòng)觸發(fā)手動(dòng)開關(guān),降級(jí)結(jié)論必帶標(biāo)記 ? 立體防線: 事件級(jí)三道閘→會(huì)話級(jí)調(diào)用上限→工具級(jí)超時(shí)冪等 →權(quán)限級(jí)三保險(xiǎn)→全局成本熔斷→模型級(jí)降級(jí); prompt 禁區(qū)執(zhí)行白名單雙保險(xiǎn) ? 混沌演練: 五大故障場景評(píng)分卡,月度執(zhí)行, 防線變更后補(bǔ)測,演練記錄入審計(jì)下章預(yù)告第 14 章 可觀測與效果評(píng)估防線建好了還得看得見——決策 Trace 全鏈路還原、四維效果評(píng)估準(zhǔn)確/成本/時(shí)效/穩(wěn)定、成本歸因到每個(gè) Agent 每個(gè)工具、人工反饋閉環(huán)回流訓(xùn)練資產(chǎn)以及 Agent 版監(jiān)控五件套的落地配置。讓每一次 AI 決策都可解釋、可歸因、可改進(jìn)。官方參考資料Flink Agents 0.3 DocumentationFlink 2.3 Stable DocumentationFault TolerancePrinciples of Chaos Engineering本章實(shí)戰(zhàn)代碼清單序號(hào)內(nèi)容說明1失敗三分法與分類執(zhí)行策略13.12冪等三層落地入口/工具/存儲(chǔ)13.23補(bǔ)償事務(wù)設(shè)計(jì)人工發(fā)起原則13.34降級(jí)階梯 L0~L3 與規(guī)則兜底13.45成本熔斷器 白名單攔截13.56混沌演練五場景 評(píng)分卡13.6 Flink Agents 與 AI 流式應(yīng)用 —— 第 13 章 可靠性防失控容錯(cuò)
Flink Agents 與 AI 流式應(yīng)用 —— 第 13 章 可靠性防失控容錯(cuò)章節(jié)定位第四篇開篇本系列主線防失控先于智能的總裝章。前面章節(jié)的防線是分散的——三道閘、冪等、語義化錯(cuò)誤、超時(shí)——本章把它們整合成立體防御體系失敗語義三分法決定重試還是放棄、決策冪等保證重放不出事故、補(bǔ)償機(jī)制處理已經(jīng)做錯(cuò)了怎么辦、降級(jí)策略保證AI 掛了業(yè)務(wù)還在轉(zhuǎn)、成本熔斷守住預(yù)算底線最后用混沌工程演練驗(yàn)證整套防線。版本基線Apache Flink 2.3.0 Flink Agents 0.3.xJDK 17章節(jié)導(dǎo)讀13.1 失敗語義三分可重試 / 不可重試 / 需人工13.2 決策冪等重放不出事故13.3 動(dòng)作補(bǔ)償已經(jīng)做錯(cuò)了怎么辦13.4 降級(jí)策略AI 掛了業(yè)務(wù)還在轉(zhuǎn)13.5 立體防線步數(shù)上限、成本熔斷與白名單13.6 實(shí)戰(zhàn)混沌工程演練13.7 本章小結(jié)與下章預(yù)告13.1 失敗語義三分可重試 / 不可重試 / 需人工13.1.1 為什么必須分類一刀切重試的災(zāi)難: LLM 網(wǎng)關(guān) 500 → 重試 ?(瞬時(shí)故障) 工具返回vin 格式非法 → 重試 ?(永遠(yuǎn)失敗,白燒 3 次錢) 審批號(hào)無效 → 重試 ??(還暴露了繞過審批的企圖) 錯(cuò)誤分類是重試策略的前提——不是所有失敗都值得再來一次。13.1.2 三分法定義publicenumFailureClass{RETRYABLE,// 可重試: 網(wǎng)絡(luò)抖動(dòng)、限流、超時(shí)PERMANENT,// 不可重試: 參數(shù)非法、資源不存在HUMAN_REQUIRED// 需人工: 權(quán)限不足、語義矛盾、業(yè)務(wù)沖突}// 工具錯(cuò)誤碼語義化時(shí)攜帶分類(4.4.3 的 retryable 字段升級(jí))publicrecordToolError(Stringcode,Stringmessage,FailureClassfailureClass,Stringsuggestion){}// 框架按分類執(zhí)行策略switch(error.failureClass()){caseRETRYABLE-scheduleRetry(error,backoff);// 指數(shù)退避casePERMANENT-feedBackToLlm(error);// 回喂 LLM 自我修正caseHUMAN_REQUIRED-emit(newApprovalRequiredEvent(...));// 轉(zhuǎn)人工}13.1.3 重試紀(jì)律RETRYABLE 才重試,且: ① 指數(shù)退避: 1s → 2s → 4s,最大 3 次 ② 總預(yù)算內(nèi): 重試占用第 6 章的 maxDecisionTime ③ 與重啟策略分層: 作業(yè)級(jí) fixed-delay 無限重試(框架層), 調(diào)用級(jí)指數(shù)退避有限重試(業(yè)務(wù)層)——兩層不混淆13.2 決策冪等重放不出事故13.2.1 重放來源全景Agent 場景的重放,比純數(shù)倉多一層: ① Checkpoint 恢復(fù)重放(7.4.2): 事件重放 → 工具重調(diào) ② 上游重發(fā): Kafka 生產(chǎn)端重試 → 同 event_id 重復(fù)到達(dá) ③ 人工重放: 調(diào)試時(shí)手動(dòng)重推事件(第 6 章本地重放的生產(chǎn)版) 三層都必須冪等,缺一層就是事故隱患。13.2.2 冪等三層落地┌─────────────────────────────────────────────────────────┐ │ 層 1 事件入口: event_id 去重 │ │ Keyed State 記錄已處理 event_id 集合(Bloom/短 TTL) │ │ 重復(fù)事件直接返回首次結(jié)果(重放友好: 結(jié)果一致) │ │ │ │ 層 2 工具執(zhí)行: 業(yè)務(wù)冪等鍵 │ │ 動(dòng)作類工具以 event_id 為冪等鍵(第 4 章) │ │ 執(zhí)行前查是否已建單,已建則返回原單號(hào) │ │ │ │ 層 3 存儲(chǔ)出口: 引擎冪等 │ │ Doris UK MoW: 同 key 覆蓋 │ │ Paimon deduplicate merge-engine(12.3.2) │ │ Kafka EXACTLY_ONCE sink(12.2.2) │ └─────────────────────────────────────────────────────────┘13.2.3 入口去重實(shí)現(xiàn)Action(listenEventTypes{AlertEvent.EVENT_TYPE})publicEventonAlert(ActionContextctx,AlertEvente)throwsException{// 層 1: 入口去重(狀態(tài)判重,7.3.3 同款 TTL 48h)StringpriorprocessedState.get(e.eventId);if(prior!null){returnreplayResult(prior);// 返回首次結(jié)果,不重新推理}Eventresultdiagnose(e);processedState.put(e.eventId,result.digest());returnresult;}13.3 動(dòng)作補(bǔ)償已經(jīng)做錯(cuò)了怎么辦13.3.1 補(bǔ)償思維冪等防重復(fù)做,補(bǔ)償管做錯(cuò)了: 場景: Agent 誤判 P0,工單已派給技師,半小時(shí)后復(fù)檢證明誤報(bào) 無法撤銷(技師已出發(fā)),只能補(bǔ)償: → 創(chuàng)建撤銷工單(新動(dòng)作,記錄因果鏈) → 病程庫標(biāo)記該結(jié)論 recheck_ok0(第 8 章記憶質(zhì)量) → 該 case 從召回池降權(quán)(不再誤導(dǎo)后來者)13.3.2 補(bǔ)償事務(wù)設(shè)計(jì)// 每個(gè)動(dòng)作類工具注冊(cè)對(duì)應(yīng)的補(bǔ)償動(dòng)作publicrecordCompensableAction(StringactionId,StringactionType,// CREATE_TICKET / SEND_DIAGNOSE ...StringcompensationType,// CANCEL_TICKET / REVOKE_COMMAND ...MapString,Objectpayload){}// 補(bǔ)償執(zhí)行(由人工或復(fù)盤流程觸發(fā),不由 Agent 自動(dòng)觸發(fā)!)publicvoidcompensate(CompensableActionoriginal){// 紀(jì)律: 補(bǔ)償永遠(yuǎn)人工發(fā)起,Agent 只能建議compensationService.execute(original.compensationType(),Map.of(origin_action_id,original.actionId(),reason,復(fù)檢推翻初診,trace_id,original.traceId()));}紀(jì)律: □ 補(bǔ)償是新動(dòng)作不是刪除——審計(jì)鏈完整,因果可查 □ Agent 可以建議補(bǔ)償,但執(zhí)行必須人工確認(rèn)(第 15 章) □ 補(bǔ)償事件回寫病程庫,形成決策→驗(yàn)證→糾偏閉環(huán)13.4 降級(jí)策略AI 掛了業(yè)務(wù)還在轉(zhuǎn)13.4.1 降級(jí)階梯LLM 網(wǎng)關(guān)整體不可用(極端但必須有預(yù)案): L0 全功能: Agent 完整推理鏈 L1 閹記憶: 跳過記憶召回(第 8 章),僅當(dāng)前事件推理 L2 規(guī)則兜底: 預(yù)置規(guī)則引擎(故障碼→處置映射表),零 LLM L3 直通人工: 全部告警轉(zhuǎn)人工隊(duì)列,Agent 只記錄不決策 降級(jí)觸發(fā): 自動(dòng): LLM 錯(cuò)誤率 50% / 延遲 p99 60s 持續(xù) 5 分鐘 手動(dòng): 運(yùn)維開關(guān)(配置中心,秒級(jí)生效)13.4.2 規(guī)則兜底實(shí)現(xiàn)// L2 規(guī)則兜底: 一份離線維護(hù)的映射表,Agent 啟動(dòng)時(shí)加載MapString,FallbackRulerules;// faultCode → 固定處置publicEventdiagnose(AlertEvente){if(degradeLevel()L2){FallbackRulerrules.get(e.faultCode);returnr!null?r.toResult(e).withDegraded(true)// 標(biāo)記降級(jí)結(jié)論:newApprovalRequiredEvent(e);// 規(guī)則沒有的碼 → 人工}returnreactDiagnose(e);// 正常 ReAct 鏈}紀(jì)律: □ 降級(jí)結(jié)論必帶 degraded 標(biāo)記,下游工單系統(tǒng)按低置信處理 □ 規(guī)則表只覆蓋 Top20 高頻故障碼(80% 流量),其余轉(zhuǎn)人工 □ 降級(jí)期間的事件照常落審計(jì)(12.3),恢復(fù)后抽樣復(fù)盤13.5 立體防線步數(shù)上限、成本熔斷與白名單13.5.1 防線總裝圖┌────────────────── 立體防線(由內(nèi)到外) ──────────────────┐ │ │ │ 事件級(jí): 三道閘(步數(shù)/循環(huán)/預(yù)算) ─── 第 6 章 │ │ 會(huì)話級(jí): 單會(huì)話 LLM 調(diào)用 ≤20 次 ─── 第 7 章 │ │ 工具級(jí): 超時(shí)/冪等/錯(cuò)誤語義化 ─── 第 4 章 │ │ 權(quán)限級(jí): 高危三保險(xiǎn)/審批 ─── 第 4/15 章 │ │ 全局級(jí): 成本熔斷(本節(jié)) │ │ 模型級(jí): 降級(jí)階梯 L0~L3 ─── 13.4 │ │ │ └────────────────────────────────────────────────────────┘13.5.2 成本熔斷// 全局成本熔斷: 每小時(shí) LLM 預(yù)算,超限自動(dòng)降級(jí)到 L2publicclassCostCircuitBreaker{privatefinallonghourlyBudgetTokens;// 配置中心下發(fā)privatefinalAtomicLongusedThisHournewAtomicLong();publicbooleanallowLlmCall(intestimatedTokens){longusedusedThisHour.get();if(usedestimatedTokenshourlyBudgetTokens){metrics.costBreakerTripped.increment();// 告警指標(biāo)returnfalse;// 熔斷 → 走 L2 規(guī)則兜底}returntrue;}// 整點(diǎn)重置(處理時(shí)間窗口即可,預(yù)算控制不需要事件時(shí)間精度)}13.5.3 白名單兜底動(dòng)作白名單: Agent 可執(zhí)行的動(dòng)作枚舉,配置中心維護(hù) □ 未在白名單的動(dòng)作 → 框架層直接攔截(比 prompt 約束可靠) □ 白名單按環(huán)境分級(jí): 測試環(huán)境寬松,生產(chǎn)環(huán)境收緊 □ 白名單變更走審批(它本身就是高危配置) 與 prompt 禁區(qū)(6.3)的關(guān)系: prompt 是第一道(約束模型意圖) 白名單是第二道(攔截執(zhí)行層) ——意圖約束可以被騙過(Prompt 注入),執(zhí)行攔截不能13.6 實(shí)戰(zhàn)混沌工程演練13.6.1 演練設(shè)計(jì)每月一次,影子環(huán)境,注入故障驗(yàn)證防線: 演練 1 LLM 網(wǎng)關(guān) 500 持續(xù) 10 分鐘 預(yù)期: 自動(dòng)降級(jí) L2,規(guī)則兜底接管,恢復(fù)后自動(dòng)回 L0 演練 2 工單系統(tǒng)接口慢(注入 20s 延遲) 預(yù)期: 工具超時(shí)語義化回填,Agent 降級(jí)出結(jié)論, 無作業(yè)反壓(異步工具池隔離生效) 演練 3 重復(fù)事件注入(同 event_id × 3) 預(yù)期: 入口去重生效,只建 1 張工單, 審計(jì)日志 3 條到達(dá) 1 條處理 演練 4 惡意文本注入(告警備注夾帶指令) 預(yù)期: 邊界包裹生效,指令被當(dāng)數(shù)據(jù)處理(9.4.2), 未執(zhí)行任何越權(quán)動(dòng)作 演練 5 成本突刺(批量重放 10 萬歷史告警) 預(yù)期: 小時(shí)預(yù)算熔斷觸發(fā),自動(dòng)降 L2,告警通知運(yùn)維13.6.2 演練評(píng)分卡演練通過標(biāo)準(zhǔn)常見失分點(diǎn)網(wǎng)關(guān) 5005 分鐘內(nèi)自動(dòng)降級(jí)恢復(fù)后自動(dòng)回切降級(jí)開關(guān)需人工慢工具主鏈路 p99 無劣化工具池與算子線程未隔離重復(fù)事件零重復(fù)工單只做了存儲(chǔ)冪等沒做入口去重注入攻擊零越權(quán)執(zhí)行只靠 prompt 禁區(qū)無白名單攔截成本突刺熔斷觸發(fā)且告警無預(yù)算監(jiān)控事后賬單才發(fā)現(xiàn)13.6.3 演練紀(jì)律□ 演練在影子環(huán)境,但影子環(huán)境與生產(chǎn)同構(gòu)(配置/數(shù)據(jù)/防線) □ 每次演練必須產(chǎn)出: 失分點(diǎn) → 修復(fù) → 下月復(fù)測 □ 防線變更(新工具上線等)后必須補(bǔ)做相關(guān)演練 □ 演練記錄入審計(jì)庫——防線本身的可靠性也要可追溯13.7 本章小結(jié)與下章預(yù)告本章小結(jié)┌──────────────────────────────────────────────────────────────┐ │ 第 13 章 要點(diǎn)回顧 │ └──────────────────────────────────────────────────────────────┘ ? 失敗三分: RETRYABLE(指數(shù)退避≤3次)/PERMANENT(回喂LLM)/ HUMAN_REQUIRED(轉(zhuǎn)人工);重試有總預(yù)算,與作業(yè)重啟策略分層 ? 冪等三層: 入口 event_id 去重(返回首次結(jié)果)/ 工具業(yè)務(wù)冪等鍵/存儲(chǔ)引擎冪等(UKMoW、deduplicate、2PC) ? 補(bǔ)償思維: 冪等防重復(fù),補(bǔ)償管做錯(cuò);補(bǔ)償是新動(dòng)作非刪除, Agent 建議人工執(zhí)行,回寫病程庫形成糾偏閉環(huán) ? 降級(jí)階梯: L0 全功能→L1 閹記憶→L2 規(guī)則兜底→L3 直通人工; 自動(dòng)觸發(fā)手動(dòng)開關(guān),降級(jí)結(jié)論必帶標(biāo)記 ? 立體防線: 事件級(jí)三道閘→會(huì)話級(jí)調(diào)用上限→工具級(jí)超時(shí)冪等 →權(quán)限級(jí)三保險(xiǎn)→全局成本熔斷→模型級(jí)降級(jí); prompt 禁區(qū)執(zhí)行白名單雙保險(xiǎn) ? 混沌演練: 五大故障場景評(píng)分卡,月度執(zhí)行, 防線變更后補(bǔ)測,演練記錄入審計(jì)下章預(yù)告第 14 章 可觀測與效果評(píng)估防線建好了還得看得見——決策 Trace 全鏈路還原、四維效果評(píng)估準(zhǔn)確/成本/時(shí)效/穩(wěn)定、成本歸因到每個(gè) Agent 每個(gè)工具、人工反饋閉環(huán)回流訓(xùn)練資產(chǎn)以及 Agent 版監(jiān)控五件套的落地配置。讓每一次 AI 決策都可解釋、可歸因、可改進(jìn)。官方參考資料Flink Agents 0.3 DocumentationFlink 2.3 Stable DocumentationFault TolerancePrinciples of Chaos Engineering本章實(shí)戰(zhàn)代碼清單序號(hào)內(nèi)容說明1失敗三分法與分類執(zhí)行策略13.12冪等三層落地入口/工具/存儲(chǔ)13.23補(bǔ)償事務(wù)設(shè)計(jì)人工發(fā)起原則13.34降級(jí)階梯 L0~L3 與規(guī)則兜底13.45成本熔斷器 白名單攔截13.56混沌演練五場景 評(píng)分卡13.6