1. 從告警風(fēng)暴說(shuō)起為什么傳統(tǒng) AIOps 越用越累凌晨?jī)牲c(diǎn)手機(jī)在床頭柜上震個(gè)不停。我摸黑抓起來(lái)一看監(jiān)控群里已經(jīng)刷了上百條消息——某個(gè)核心服務(wù)的響應(yīng)時(shí)間曲線突然抬頭緊接著是超時(shí)告警、線程池告警、下游依賴告警、數(shù)據(jù)庫(kù)連接數(shù)告警五分鐘之內(nèi)涌進(jìn)來(lái)四十多條。值班的同事在群里問(wèn)了一句有人知道這是哪個(gè)變更引起的嗎然后是一片沉默。這個(gè)場(chǎng)景我相信做運(yùn)維的人都太熟悉了。過(guò)去幾年大家應(yīng)對(duì)這種局面的標(biāo)準(zhǔn)答案就是上 AIOps。買一套平臺(tái)接一堆數(shù)據(jù)源做指標(biāo)異常檢測(cè)、日志聚類、告警收斂、根因分析。聽(tīng)起來(lái)很美好但真正落地之后你會(huì)發(fā)現(xiàn)一個(gè)尷尬的事實(shí)告警確實(shí)被收斂了但問(wèn)題并沒(méi)有被解決。平臺(tái)告訴你這四十條告警大概率來(lái)自同一個(gè)根因然后呢然后還是得靠人去看、去查、去判斷、去操作。這就是我想在這篇里聊清楚的核心問(wèn)題。AIOps 這個(gè)詞從誕生到現(xiàn)在差不多有七八年了它解決的是看得見(jiàn)的問(wèn)題——把海量監(jiān)控?cái)?shù)據(jù)變成可理解的信號(hào)。但運(yùn)維工作的終點(diǎn)從來(lái)不是看見(jiàn)問(wèn)題而是把問(wèn)題處理掉。從看見(jiàn)到處理之間隔著一條巨大的鴻溝而這條鴻溝恰恰是傳統(tǒng) AIOps 邁不過(guò)去的。最近一兩年行業(yè)里開始頻繁出現(xiàn)一個(gè)新說(shuō)法Agentic Operations中文一般叫智能體運(yùn)維或者代理式運(yùn)維。它不是給 AIOps 換個(gè)馬甲而是把整個(gè)運(yùn)維自動(dòng)化的范式往前推了一大步。簡(jiǎn)單說(shuō)AIOps 是AI 幫你分析Agentic Operations 是AI 幫你干活。前者是副駕駛后者是能自己握方向盤、看路況、踩油門剎車的司機(jī)——當(dāng)然關(guān)鍵決策還是人在把關(guān)。這篇文章我打算從一線運(yùn)維的視角把從 AIOps 到 Agentic Operations 這條演進(jìn)路徑講透。包括傳統(tǒng) AIOps 到底卡在哪、Agentic Operations 的核心機(jī)制是什么、一個(gè)可落地的智能體運(yùn)維系統(tǒng)該怎么搭、實(shí)際跑起來(lái)會(huì)遇到哪些坑、以及我對(duì)這個(gè)方向的一些真實(shí)判斷。不管你是剛接觸運(yùn)維自動(dòng)化的新人還是已經(jīng)在 AIOps 平臺(tái)上投了不少錢的老兵應(yīng)該都能從中找到對(duì)自己有用的東西。2. AIOps 的能力邊界它到底解決了什么又卡在了哪里2.1 傳統(tǒng) AIOps 的三層能力模型要理解為什么需要 Agentic Operations得先把 AIOps 本身拆開看。行業(yè)里比較公認(rèn)的劃分方式是把 AIOps 的能力分成三層。最底層是數(shù)據(jù)層負(fù)責(zé)把指標(biāo)Metrics、日志Logs、鏈路追蹤Traces、事件Events這些異構(gòu)數(shù)據(jù)統(tǒng)一采集、清洗、存儲(chǔ)。這一層是地基沒(méi)有它上面什么都做不了。很多團(tuán)隊(duì)在這一層就卡了很久因?yàn)閿?shù)據(jù)源太雜、格式太亂、采樣率不一致光是做數(shù)據(jù)對(duì)齊就夠喝一壺的。中間層是分析層也是 AIOps 最核心的部分。這里面塞滿了各種算法時(shí)序異常檢測(cè)、日志模式挖掘、告警關(guān)聯(lián)分析、根因定位、容量預(yù)測(cè)等等。這一層的目標(biāo)是把原始數(shù)據(jù)變成洞察——告訴你哪里不對(duì)勁、可能是什么原因。最上層是展示與聯(lián)動(dòng)層把分析結(jié)果通過(guò)看板、告警、工單等形式呈現(xiàn)出來(lái)并且和現(xiàn)有的運(yùn)維流程做對(duì)接。比如檢測(cè)到異常之后自動(dòng)創(chuàng)建工單、自動(dòng)通知值班人、自動(dòng)觸發(fā)某個(gè)預(yù)案腳本。這三層模型本身沒(méi)問(wèn)題問(wèn)題出在最上層的聯(lián)動(dòng)做得太淺。絕大多數(shù) AIOps 平臺(tái)的聯(lián)動(dòng)本質(zhì)上還是if-then的規(guī)則引擎如果檢測(cè)到 A 異常就執(zhí)行 B 動(dòng)作。這種聯(lián)動(dòng)在面對(duì)簡(jiǎn)單、確定、重復(fù)的場(chǎng)景時(shí)很好用但一旦場(chǎng)景稍微復(fù)雜一點(diǎn)規(guī)則就爆炸了。2.2 規(guī)則引擎的天花板在哪里我舉個(gè)真實(shí)的例子。假設(shè)你有一個(gè)電商系統(tǒng)大促期間某個(gè)商品詳情頁(yè)的響應(yīng)變慢。傳統(tǒng) AIOps 會(huì)怎么處理首先異常檢測(cè)模塊發(fā)現(xiàn)響應(yīng)時(shí)間 P99 超過(guò)了閾值觸發(fā)告警。然后告警關(guān)聯(lián)模塊發(fā)現(xiàn)這個(gè)告警和數(shù)據(jù)庫(kù)慢查詢告警、緩存命中率下降告警在時(shí)間上高度相關(guān)于是把它們聚成一條。接著根因分析模塊根據(jù)拓?fù)潢P(guān)系推測(cè)可能是緩存層出了問(wèn)題。最后聯(lián)動(dòng)層根據(jù)預(yù)設(shè)規(guī)則執(zhí)行清理緩存的預(yù)案腳本。聽(tīng)起來(lái)很順對(duì)吧但現(xiàn)實(shí)往往是清理緩存之后問(wèn)題沒(méi)解決因?yàn)檎嬲母蚴悄硞€(gè)新上線的代碼邏輯導(dǎo)致緩存 key 設(shè)計(jì)不合理大量請(qǐng)求穿透到了數(shù)據(jù)庫(kù)。而清理緩存這個(gè)動(dòng)作不僅沒(méi)幫上忙反而讓緩存雪崩問(wèn)題更嚴(yán)重了。這就是規(guī)則引擎的根本局限它只能處理已知的已知。你事先想到了什么場(chǎng)景就寫什么規(guī)則。但運(yùn)維現(xiàn)場(chǎng)絕大多數(shù)故障都是未知的未知——是多個(gè)因素疊加出來(lái)的、之前沒(méi)遇到過(guò)的組合。規(guī)則引擎面對(duì)這種情況要么無(wú)動(dòng)于衷要么執(zhí)行一個(gè)錯(cuò)誤的動(dòng)作把事情搞得更糟。更麻煩的是規(guī)則會(huì)隨著系統(tǒng)演進(jìn)而腐化。半年前寫的一條規(guī)則當(dāng)時(shí)是對(duì)的但現(xiàn)在系統(tǒng)架構(gòu)變了、依賴關(guān)系變了這條規(guī)則可能就變成了定時(shí)炸彈。而維護(hù)這些規(guī)則的成本隨著數(shù)量增長(zhǎng)是超線性的。我見(jiàn)過(guò)一個(gè)團(tuán)隊(duì)AIOps 平臺(tái)里積累了上千條聯(lián)動(dòng)規(guī)則最后沒(méi)人敢動(dòng)因?yàn)檎l(shuí)也不知道刪掉哪條會(huì)引發(fā)什么連鎖反應(yīng)。2.3 從分析到行動(dòng)的斷層把問(wèn)題說(shuō)得更本質(zhì)一點(diǎn)傳統(tǒng) AIOps 的能力分布是極度不均衡的。它在分析這一側(cè)投入了 90% 的精力做了各種花哨的算法但在行動(dòng)這一側(cè)基本還停留在腳本和規(guī)則的原始階段。這個(gè)斷層帶來(lái)的直接后果就是分析結(jié)果無(wú)法有效轉(zhuǎn)化為行動(dòng)。平臺(tái)告訴你根因大概率是 X但接下來(lái)要做什么、按什么順序做、做完怎么驗(yàn)證、失敗了怎么回滾這些全都得靠人。而人在凌晨?jī)牲c(diǎn)、面對(duì)四十條告警、還帶著困意的時(shí)候判斷力和執(zhí)行力都是打折扣的。我經(jīng)常用一個(gè)比喻傳統(tǒng) AIOps 就像一個(gè)特別厲害的診斷醫(yī)生能通過(guò)各種檢查告訴你得了什么病但開藥、打針、手術(shù)這些事它一概不管全得你自己來(lái)。而 Agentic Operations 想做的是讓這個(gè)醫(yī)生不僅能診斷還能在授權(quán)范圍內(nèi)直接開方、執(zhí)行、觀察療效、必要時(shí)調(diào)整方案。這個(gè)跨越靠堆算法是堆不出來(lái)的它需要一套全新的架構(gòu)。3. Agentic Operations 的核心機(jī)制從規(guī)則驅(qū)動(dòng)到目標(biāo)驅(qū)動(dòng)3.1 智能體到底智能在哪里先說(shuō)清楚一個(gè)概念A(yù)gentic Operations 里的Agent不是指某個(gè)具體的 AI 模型而是指一個(gè)具備自主決策能力的執(zhí)行單元。它有幾個(gè)關(guān)鍵特征缺一不可。第一是目標(biāo)導(dǎo)向。你給它的不是一個(gè)具體的指令執(zhí)行腳本 A而是一個(gè)目標(biāo)讓這個(gè)服務(wù)的 P99 恢復(fù)到 200ms 以內(nèi)。它會(huì)自己拆解這個(gè)目標(biāo)規(guī)劃出需要執(zhí)行的步驟。第二是工具使用能力。它能調(diào)用各種工具——查監(jiān)控、看日志、執(zhí)行命令、調(diào) API、發(fā)通知——就像人一樣。這些工具是它的手和腳。第三是反饋閉環(huán)。它執(zhí)行完一個(gè)動(dòng)作之后會(huì)觀察結(jié)果判斷是否接近目標(biāo)如果沒(méi)達(dá)到就調(diào)整策略再試。這個(gè)執(zhí)行-觀察-調(diào)整的循環(huán)是它和規(guī)則引擎最本質(zhì)的區(qū)別。第四是邊界意識(shí)。它知道自己能做什么、不能做什么遇到超出權(quán)限或能力范圍的情況會(huì)主動(dòng)交給人。這一點(diǎn)極其重要后面會(huì)專門講。把這四點(diǎn)合起來(lái)看你會(huì)發(fā)現(xiàn) Agentic Operations 的本質(zhì)是把運(yùn)維工作從執(zhí)行預(yù)設(shè)動(dòng)作變成了追求預(yù)設(shè)目標(biāo)。這是一個(gè)范式級(jí)的轉(zhuǎn)變。3.2 一個(gè)具體的對(duì)比告警處理流程的兩種形態(tài)為了讓大家直觀感受到差異我用同一個(gè)場(chǎng)景——某服務(wù)響應(yīng)時(shí)間突增——來(lái)對(duì)比兩種形態(tài)的處理流程。傳統(tǒng) AIOps 的流程是這樣的異常檢測(cè)觸發(fā)告警告警收斂合并相關(guān)告警根因分析給出可能原因然后推送給值班人。值班人打開電腦登錄各種系統(tǒng)手動(dòng)排查手動(dòng)執(zhí)行修復(fù)動(dòng)作。整個(gè)過(guò)程中AI 的參與在推送那一刻就結(jié)束了。Agentic Operations 的流程則是異常檢測(cè)觸發(fā)之后一個(gè)運(yùn)維智能體被激活。它首先自主收集上下文——拉取最近的相關(guān)變更記錄、查看服務(wù)依賴拓?fù)?、檢查上下游指標(biāo)、檢索歷史相似故障。然后它形成假設(shè)——比如可能是最近一次發(fā)布引入的問(wèn)題。接著它驗(yàn)證假設(shè)——對(duì)比發(fā)布前后的指標(biāo)差異、檢查新版本代碼的日志特征。如果假設(shè)成立它規(guī)劃動(dòng)作——回滾發(fā)布、觀察指標(biāo)、確認(rèn)恢復(fù)。如果假設(shè)不成立它換一個(gè)假設(shè)繼續(xù)排查。整個(gè)過(guò)程中只有在需要執(zhí)行高風(fēng)險(xiǎn)動(dòng)作比如回滾生產(chǎn)環(huán)境時(shí)才會(huì)請(qǐng)求人工確認(rèn)?？闯鰠^(qū)別了嗎傳統(tǒng) AIOps 把 AI 當(dāng)成分析工具Agentic Operations 把 AI 當(dāng)成執(zhí)行主體。前者是人用 AI后者是人管 AI。3.3 支撐智能體運(yùn)轉(zhuǎn)的四個(gè)技術(shù)支柱Agentic Operations 不是憑空冒出來(lái)的它站在幾個(gè)技術(shù)方向的交匯點(diǎn)上。第一個(gè)支柱是大語(yǔ)言模型的推理與規(guī)劃能力。這是最關(guān)鍵的變量。過(guò)去的自動(dòng)化系統(tǒng)之所以只能做規(guī)則是因?yàn)闄C(jī)器不理解目標(biāo)和上下文。而大語(yǔ)言模型第一次讓機(jī)器具備了理解模糊目標(biāo)、拆解復(fù)雜任務(wù)、根據(jù)上下文調(diào)整策略的能力。它能把讓服務(wù)恢復(fù)正常這種模糊目標(biāo)拆解成一系列具體的、可執(zhí)行的步驟。第二個(gè)支柱是工具調(diào)用與函數(shù)編排。光會(huì)想不會(huì)做沒(méi)用?，F(xiàn)在的智能體框架普遍支持工具調(diào)用——把各種運(yùn)維能力查詢、執(zhí)行、通知封裝成標(biāo)準(zhǔn)接口智能體根據(jù)需要自主選擇調(diào)用。這相當(dāng)于給智能體裝上了手和腳。第三個(gè)支柱是可觀測(cè)性數(shù)據(jù)的標(biāo)準(zhǔn)化。智能體要決策得有足夠的信息輸入。OpenTelemetry 這類標(biāo)準(zhǔn)的普及讓指標(biāo)、日志、追蹤數(shù)據(jù)的格式趨于統(tǒng)一智能體不需要為每個(gè)系統(tǒng)寫一套適配邏輯。這是基礎(chǔ)設(shè)施層面的準(zhǔn)備。第四個(gè)支柱是執(zhí)行環(huán)境的安全隔離。讓 AI 去操作生產(chǎn)環(huán)境安全是繞不過(guò)去的坎。現(xiàn)在主流的做法是沙箱執(zhí)行 權(quán)限分級(jí) 人工審批三層防護(hù)。智能體的所有動(dòng)作都在受控環(huán)境中進(jìn)行高風(fēng)險(xiǎn)動(dòng)作必須經(jīng)過(guò)人工確認(rèn)。這套機(jī)制成熟了智能體才敢真正落地。3.4 為什么是現(xiàn)在三個(gè)條件同時(shí)成熟有人可能會(huì)問(wèn)智能體運(yùn)維這個(gè)概念聽(tīng)著挺好為什么以前沒(méi)人做答案是以前做不了因?yàn)槿睏l件。條件一是模型能力。兩三年前的大語(yǔ)言模型推理能力還不足以支撐復(fù)雜的運(yùn)維決策。你讓它規(guī)劃一個(gè)多步驟的排查流程它經(jīng)常邏輯混亂、遺漏關(guān)鍵步驟。而現(xiàn)在的主流模型在復(fù)雜推理任務(wù)上的表現(xiàn)已經(jīng)相當(dāng)可靠了。條件二是工具生態(tài)。以前要讓 AI 調(diào)用運(yùn)維工具得自己寫一大堆膠水代碼。現(xiàn)在各種智能體框架、工具協(xié)議逐漸成熟接入成本大幅降低。條件三是成本。智能體運(yùn)維需要頻繁調(diào)用模型進(jìn)行推理token 消耗不小。隨著模型推理成本持續(xù)下降這個(gè)經(jīng)濟(jì)賬才算得過(guò)來(lái)。一個(gè)中等規(guī)模的系統(tǒng)如果每次故障處理要消耗幾十萬(wàn) token成本能不能接受是必須算清楚的。這三個(gè)條件在最近一兩年同時(shí)成熟所以 Agentic Operations 才從概念走向了落地。4. 搭建一個(gè)可落地的運(yùn)維智能體架構(gòu)與關(guān)鍵設(shè)計(jì)4.1 整體架構(gòu)五層結(jié)構(gòu)如果要?jiǎng)邮执钜惶走\(yùn)維智能體系統(tǒng)我建議按下面這個(gè)五層結(jié)構(gòu)來(lái)設(shè)計(jì)。這是我在實(shí)際項(xiàng)目中驗(yàn)證過(guò)、比較穩(wěn)妥的分層方式。第一層是數(shù)據(jù)接入層。負(fù)責(zé)對(duì)接各種可觀測(cè)性數(shù)據(jù)源——指標(biāo)系統(tǒng)、日志平臺(tái)、鏈路追蹤、變更系統(tǒng)、CMDB。這一層的核心任務(wù)是把數(shù)據(jù)標(biāo)準(zhǔn)化讓上層智能體不用關(guān)心數(shù)據(jù)來(lái)自哪里、格式是什么。建議統(tǒng)一用 OpenTelemetry 的數(shù)據(jù)模型做中間格式。第二層是工具層。把運(yùn)維能力封裝成智能體可調(diào)用的工具。每個(gè)工具要有清晰的名稱、描述、參數(shù)定義和返回值格式。工具的設(shè)計(jì)有個(gè)原則粒度要適中。太粗比如一個(gè)修復(fù)服務(wù)的工具智能體沒(méi)法靈活組合太細(xì)比如一個(gè)讀取某個(gè)文件第 3 行的工具智能體要調(diào)用太多次。我一般按一個(gè)完整的運(yùn)維動(dòng)作來(lái)切分比如查詢服務(wù)指標(biāo)獲取最近變更執(zhí)行回滾重啟實(shí)例。第三層是智能體層。這是核心。里面住著各種專職智能體——有的負(fù)責(zé)告警分診有的負(fù)責(zé)根因排查有的負(fù)責(zé)執(zhí)行修復(fù)有的負(fù)責(zé)事后復(fù)盤。它們之間可以協(xié)作也可以有主從關(guān)系。這一層要解決的關(guān)鍵問(wèn)題是任務(wù)規(guī)劃和上下文管理。第四層是編排與治理層。負(fù)責(zé)智能體之間的調(diào)度、權(quán)限控制、審批流、審計(jì)日志。這一層是管智能體的確保它們不會(huì)亂來(lái)。第五層是交互層。人機(jī)交互的界面——值班人怎么查看智能體的工作過(guò)程、怎么介入、怎么審批。這一層的設(shè)計(jì)直接決定了運(yùn)維人員愿不愿意用這套系統(tǒng)。4.2 工具設(shè)計(jì)智能體的手該怎么造工具層是很多人容易忽視、但實(shí)際最影響效果的部分。我見(jiàn)過(guò)一些項(xiàng)目模型能力很強(qiáng)但工具設(shè)計(jì)得糟糕導(dǎo)致智能體要么用不對(duì)工具要么被工具返回的一堆無(wú)用信息淹沒(méi)。工具設(shè)計(jì)有幾個(gè)實(shí)操要點(diǎn)。描述要寫給模型看不是寫給人看。工具的描述文本會(huì)直接進(jìn)入模型的上下文所以它要清晰說(shuō)明這個(gè)工具做什么、什么時(shí)候用、參數(shù)是什么、返回什么。不要寫查詢指標(biāo)這種模糊描述要寫根據(jù)服務(wù)名和時(shí)間范圍查詢?cè)摲?wù)的響應(yīng)時(shí)間、錯(cuò)誤率、QPS 等核心指標(biāo)返回時(shí)序數(shù)據(jù)點(diǎn)。返回結(jié)果要精簡(jiǎn)。工具返回的數(shù)據(jù)會(huì)占用模型的上下文窗口。如果一個(gè)工具返回幾千行日志模型根本處理不過(guò)來(lái)。正確做法是在工具內(nèi)部做預(yù)處理——聚合、采樣、提取關(guān)鍵字段——只返回模型決策真正需要的信息。要有明確的失敗語(yǔ)義。工具執(zhí)行失敗時(shí)返回的錯(cuò)誤信息要能讓模型理解為什么失敗、能不能重試、要不要換方法。不要返回一個(gè)裸的異常堆棧。高風(fēng)險(xiǎn)工具要單獨(dú)標(biāo)記。比如執(zhí)行回滾刪除資源這類工具要在定義里明確標(biāo)注風(fēng)險(xiǎn)等級(jí)編排層據(jù)此決定是否需要人工審批。下面是一個(gè)工具定義的示例結(jié)構(gòu)用 JSON 表示{ name: query_service_metrics, description: 查詢指定服務(wù)在指定時(shí)間范圍內(nèi)的核心指標(biāo)包括響應(yīng)時(shí)間P50/P95/P99、錯(cuò)誤率、QPS。用于判斷服務(wù)健康狀態(tài)和異常程度。, parameters: { service_name: 服務(wù)名稱字符串, start_time: 起始時(shí)間ISO8601格式, end_time: 結(jié)束時(shí)間ISO8601格式, metrics: 要查詢的指標(biāo)列表可選值latency, error_rate, qps }, risk_level: low, returns: 時(shí)序數(shù)據(jù)點(diǎn)數(shù)組每個(gè)點(diǎn)包含時(shí)間戳和值 }4.3 任務(wù)規(guī)劃智能體怎么想任務(wù)規(guī)劃是智能體的核心能力。給定一個(gè)目標(biāo)它要能拆解出可執(zhí)行的步驟序列。目前主流有兩種模式。一種是先規(guī)劃后執(zhí)行。智能體先一次性把整個(gè)計(jì)劃列出來(lái)然后按順序執(zhí)行。這種模式適合流程相對(duì)固定的場(chǎng)景比如標(biāo)準(zhǔn)故障排查流程。優(yōu)點(diǎn)是執(zhí)行效率高缺點(diǎn)是遇到意外情況不好調(diào)整。另一種是邊執(zhí)行邊規(guī)劃。智能體每執(zhí)行一步根據(jù)結(jié)果決定下一步做什么。這種模式更靈活適合復(fù)雜的、不確定的排查場(chǎng)景。缺點(diǎn)是可能陷入循環(huán)或者走彎路。實(shí)際落地中我建議混合使用。對(duì)于標(biāo)準(zhǔn)化的高頻場(chǎng)景比如常見(jiàn)的幾類告警用預(yù)定義的規(guī)劃模板智能體在模板框架內(nèi)做微調(diào)。對(duì)于罕見(jiàn)的、復(fù)雜的場(chǎng)景用自由規(guī)劃模式讓智能體自主探索。這樣既保證了高頻場(chǎng)景的效率又保留了處理長(zhǎng)尾問(wèn)題的能力。規(guī)劃過(guò)程中有個(gè)關(guān)鍵技巧強(qiáng)制智能體顯式輸出推理過(guò)程。讓它把我現(xiàn)在觀察到什么、我推測(cè)是什么原因、我打算做什么、為什么這么做都寫出來(lái)。這不僅能提升決策質(zhì)量更重要的是讓運(yùn)維人員能看懂它在想什么建立信任。4.4 上下文管理別讓智能體失憶運(yùn)維排查往往是個(gè)長(zhǎng)過(guò)程涉及大量信息。智能體的上下文窗口是有限的怎么管理這些信息是個(gè)技術(shù)活。我的經(jīng)驗(yàn)是分三層管理。第一層是當(dāng)前任務(wù)上下文只保留當(dāng)前正在處理的這一步所需的信息保持精簡(jiǎn)。第二層是任務(wù)記憶把已經(jīng)排查過(guò)的假設(shè)、執(zhí)行過(guò)的動(dòng)作、觀察到的結(jié)果用結(jié)構(gòu)化的方式記錄下來(lái)需要時(shí)檢索。第三層是長(zhǎng)期知識(shí)把歷史故障的處理經(jīng)驗(yàn)沉淀成知識(shí)庫(kù)供所有智能體共享。這里有個(gè)容易踩的坑不要把原始數(shù)據(jù)一股腦塞進(jìn)上下文。我見(jiàn)過(guò)一個(gè)實(shí)現(xiàn)把查詢到的所有日志都塞給模型結(jié)果模型被無(wú)關(guān)信息干擾推理質(zhì)量直線下降。正確做法是讓工具層做預(yù)處理只把關(guān)鍵信息傳給模型。4.5 權(quán)限與審批讓智能體有邊界這是整個(gè)系統(tǒng)里最不能省的部分。讓 AI 操作生產(chǎn)環(huán)境安全底線必須守住。我的做法是三級(jí)權(quán)限模型。只讀操作查詢指標(biāo)、看日志完全放開智能體自主執(zhí)行。低風(fēng)險(xiǎn)寫操作重啟無(wú)狀態(tài)實(shí)例、清理緩存可以自動(dòng)執(zhí)行但要記錄審計(jì)日志。高風(fēng)險(xiǎn)操作回滾發(fā)布、改配置、動(dòng)數(shù)據(jù)庫(kù)必須人工審批智能體只能發(fā)起申請(qǐng)不能直接執(zhí)行。審批流程的設(shè)計(jì)也有講究。不要簡(jiǎn)單地彈個(gè)是否同意的框而要把智能體的完整推理過(guò)程展示給審批人——它觀察到了什么、推測(cè)是什么原因、打算做什么、預(yù)期效果是什么、失敗了怎么回滾。審批人基于這些信息做判斷而不是盲目點(diǎn)同意。還有一點(diǎn)所有智能體的動(dòng)作都要可追溯。誰(shuí)發(fā)起的、什么時(shí)候、基于什么信息、執(zhí)行了什么、結(jié)果如何全都要記錄。這既是安全要求也是后續(xù)優(yōu)化系統(tǒng)的數(shù)據(jù)來(lái)源。5. 實(shí)戰(zhàn)中的坑智能體運(yùn)維落地會(huì)遇到什么5.1 坑一智能體過(guò)度自信做了錯(cuò)誤的動(dòng)作這是最危險(xiǎn)的一類問(wèn)題。智能體基于不完整的信息得出了一個(gè)錯(cuò)誤的結(jié)論然后自信滿滿地執(zhí)行了修復(fù)動(dòng)作結(jié)果把問(wèn)題搞得更糟。我遇到過(guò)一個(gè)案例某服務(wù)的錯(cuò)誤率上升智能體排查后發(fā)現(xiàn)是數(shù)據(jù)庫(kù)連接池耗盡于是它判斷需要擴(kuò)容連接池直接修改了配置。但實(shí)際上連接池耗盡的根因是上游有個(gè)服務(wù)在瘋狂重試導(dǎo)致連接被占滿。擴(kuò)容連接池只是治標(biāo)而且掩蓋了真正的問(wèn)題導(dǎo)致上游的重試風(fēng)暴持續(xù)了更久。應(yīng)對(duì)方法一是強(qiáng)制驗(yàn)證假設(shè)。智能體在形成根因假設(shè)后必須找到至少兩個(gè)獨(dú)立的證據(jù)支撐才能進(jìn)入執(zhí)行階段。二是高風(fēng)險(xiǎn)動(dòng)作必須審批。像改配置這種動(dòng)作無(wú)論智能體多有把握都要人確認(rèn)。三是設(shè)置熔斷機(jī)制。如果智能體連續(xù)幾次動(dòng)作都沒(méi)有改善指標(biāo)強(qiáng)制它停下來(lái)交給人處理。5.2 坑二工具返回的信息質(zhì)量太差智能體的決策質(zhì)量很大程度上取決于它拿到的信息質(zhì)量。如果工具返回的數(shù)據(jù)又亂又多智能體就會(huì)迷失。常見(jiàn)的問(wèn)題包括日志工具返回了海量無(wú)關(guān)日志、指標(biāo)工具返回的粒度太細(xì)導(dǎo)致數(shù)據(jù)點(diǎn)過(guò)多、拓?fù)涔ぞ叻祷氐囊蕾囮P(guān)系不完整。這些問(wèn)題在傳統(tǒng)監(jiān)控場(chǎng)景下可能不明顯因?yàn)槭侨丝吹娜藭?huì)自己過(guò)濾但對(duì)智能體來(lái)說(shuō)是致命的。應(yīng)對(duì)方法把工具當(dāng)成產(chǎn)品來(lái)設(shè)計(jì)而不是接口。每個(gè)工具都要考慮模型拿到這個(gè)返回結(jié)果能不能做出有效決策。該聚合的聚合、該采樣的采樣、該排序的排序。我一般會(huì)要求每個(gè)工具在返回前做一次信息壓縮把數(shù)據(jù)量控制在模型能有效處理的范圍內(nèi)。5.3 坑三智能體和現(xiàn)有流程兩張皮很多團(tuán)隊(duì)上了智能體系統(tǒng)之后發(fā)現(xiàn)它和現(xiàn)有的運(yùn)維流程是割裂的。智能體在自己的世界里跑運(yùn)維人員還是用原來(lái)的工單系統(tǒng)、原來(lái)的告警群兩邊信息不同步。這個(gè)問(wèn)題的根源是沒(méi)有把智能體嵌入現(xiàn)有流程而是把它當(dāng)成一個(gè)獨(dú)立的系統(tǒng)。正確做法是讓智能體成為現(xiàn)有流程的增強(qiáng)層——它接收現(xiàn)有告警系統(tǒng)的輸入它的處理結(jié)果回寫到現(xiàn)有工單系統(tǒng)它的審批請(qǐng)求走現(xiàn)有審批流。運(yùn)維人員不需要切換系統(tǒng)就能看到智能體的工作。應(yīng)對(duì)方法在項(xiàng)目初期就梳理清楚現(xiàn)有的運(yùn)維流程找到智能體可以切入的接口點(diǎn)。不要試圖用智能體替換整個(gè)流程而是先在一個(gè)環(huán)節(jié)上做增強(qiáng)跑通了再擴(kuò)展。5.4 坑四成本失控智能體運(yùn)維的 token 消耗可能遠(yuǎn)超預(yù)期。一次復(fù)雜的故障排查智能體可能要調(diào)用幾十次模型每次都要帶上大量上下文。如果沒(méi)做好優(yōu)化成本會(huì)很難看。應(yīng)對(duì)方法一是分級(jí)處理。簡(jiǎn)單場(chǎng)景用規(guī)則或小模型處理只有復(fù)雜場(chǎng)景才動(dòng)用大模型。二是緩存復(fù)用。相似的排查場(chǎng)景可以復(fù)用之前的推理結(jié)果。三是上下文精簡(jiǎn)。嚴(yán)格控制每次調(diào)用帶的信息量能摘要的摘要能結(jié)構(gòu)化的結(jié)構(gòu)化。四是設(shè)置預(yù)算上限。給每個(gè)智能體或每個(gè)時(shí)間段設(shè)置 token 預(yù)算超了就降級(jí)處理。5.5 坑五運(yùn)維人員不信任、不愿用這是最軟但最要命的問(wèn)題。技術(shù)做得再好運(yùn)維人員不買賬系統(tǒng)就是擺設(shè)。不信任的來(lái)源通常有兩個(gè)一是看不懂智能體在干什么覺(jué)得它是個(gè)黑盒二是被智能體坑過(guò)某次它做了錯(cuò)誤動(dòng)作導(dǎo)致故障擴(kuò)大。應(yīng)對(duì)方法一是透明化。把智能體的推理過(guò)程、決策依據(jù)、執(zhí)行動(dòng)作全部展示出來(lái)讓人能看懂。二是漸進(jìn)式授權(quán)。一開始只讓智能體做只讀操作和建議人執(zhí)行建立信任后再逐步放開低風(fēng)險(xiǎn)寫操作。三是保留人工接管。任何時(shí)候運(yùn)維人員都能一鍵接管終止智能體的動(dòng)作。四是做好復(fù)盤。每次智能體處理完故障都做一次復(fù)盤把好的和不好的都記錄下來(lái)持續(xù)優(yōu)化。6. 從 AIOps 到 Agentic Operations 的遷移路徑6.1 不要推倒重來(lái)如果你已經(jīng)有一套 AIOps 平臺(tái)不要想著推倒重來(lái)。Agentic Operations 不是替代 AIOps而是在它之上加一層行動(dòng)能力。你現(xiàn)有的數(shù)據(jù)采集、異常檢測(cè)、告警收斂這些能力都是智能體決策的輸入是寶貴的資產(chǎn)。正確的遷移思路是保留 AIOps 的分析能力在其上疊加智能體層。讓 AIOps 繼續(xù)負(fù)責(zé)看見(jiàn)問(wèn)題智能體負(fù)責(zé)處理問(wèn)題。兩者通過(guò)標(biāo)準(zhǔn)接口對(duì)接。6.2 分階段推進(jìn)我建議分三個(gè)階段推進(jìn)。第一階段智能助手。智能體只做只讀操作幫運(yùn)維人員收集信息、分析問(wèn)題、給出建議。這個(gè)階段的目標(biāo)是讓運(yùn)維人員熟悉智能體、建立信任。這個(gè)階段大概需要一到兩個(gè)月。第二階段半自動(dòng)處理。智能體可以自動(dòng)執(zhí)行低風(fēng)險(xiǎn)動(dòng)作高風(fēng)險(xiǎn)動(dòng)作走審批。這個(gè)階段的目標(biāo)是驗(yàn)證智能體的決策質(zhì)量積累成功案例。這個(gè)階段大概需要三到六個(gè)月。第三階段自主處理。對(duì)于高頻、標(biāo)準(zhǔn)化的場(chǎng)景智能體可以端到端自主處理人只在異常時(shí)介入。這個(gè)階段的目標(biāo)是提升整體效率把運(yùn)維人員從重復(fù)勞動(dòng)中解放出來(lái)。每個(gè)階段都要有明確的畢業(yè)標(biāo)準(zhǔn)——比如智能體在某個(gè)場(chǎng)景下的處理準(zhǔn)確率達(dá)到多少、人工介入率降到多少才能進(jìn)入下一階段。6.3 選一個(gè)合適的切入點(diǎn)不要一上來(lái)就做全場(chǎng)景覆蓋選一個(gè)高頻、標(biāo)準(zhǔn)化、風(fēng)險(xiǎn)可控的場(chǎng)景切入。什么樣的場(chǎng)景合適高頻意味著能快速積累數(shù)據(jù)、驗(yàn)證效果。標(biāo)準(zhǔn)化意味著流程相對(duì)固定、智能體容易上手。風(fēng)險(xiǎn)可控意味著即使智能體出錯(cuò)后果也不嚴(yán)重。我一般推薦從告警分診這個(gè)場(chǎng)景切入。它的任務(wù)是收到告警后自動(dòng)收集相關(guān)上下文判斷告警的嚴(yán)重程度和可能原因決定是立即通知人、還是自動(dòng)處理、還是先觀察。這個(gè)場(chǎng)景高頻、相對(duì)標(biāo)準(zhǔn)化、風(fēng)險(xiǎn)低最壞情況就是誤判了嚴(yán)重程度非常適合作為第一個(gè)落地場(chǎng)景。6.4 度量體系怎么建沒(méi)有度量就沒(méi)有優(yōu)化。智能體運(yùn)維系統(tǒng)需要一套自己的度量體系。我建議關(guān)注這幾個(gè)核心指標(biāo)自動(dòng)處理率多少比例的故障由智能體端到端處理、處理準(zhǔn)確率智能體的處理結(jié)果正確的比例、平均處理時(shí)長(zhǎng)從告警觸發(fā)到問(wèn)題解決的時(shí)間、人工介入率多少比例需要人介入、誤操作率智能體執(zhí)行了錯(cuò)誤動(dòng)作的比例、成本每次處理的 token 消耗。這些指標(biāo)要持續(xù)跟蹤作為優(yōu)化系統(tǒng)的依據(jù)。特別是誤操作率這是安全底線一旦上升就要立即排查原因。7. 我對(duì)這個(gè)方向的一些真實(shí)判斷聊了這么多技術(shù)和實(shí)操最后說(shuō)幾句我個(gè)人的判斷不一定對(duì)但都是從實(shí)際項(xiàng)目里摸出來(lái)的感受。第一Agentic Operations 不是萬(wàn)能藥它解決的是行動(dòng)效率問(wèn)題不是理解深度問(wèn)題。如果你的可觀測(cè)性數(shù)據(jù)本身就不全、不準(zhǔn)智能體再聰明也是垃圾進(jìn)垃圾出。所以數(shù)據(jù)基礎(chǔ)該補(bǔ)還得補(bǔ)別指望智能體幫你跳過(guò)這一步。第二人的角色會(huì)變但不會(huì)消失。智能體接管的是重復(fù)性的排查和執(zhí)行工作但架構(gòu)設(shè)計(jì)、容量規(guī)劃、復(fù)雜故障的創(chuàng)造性解決這些還是得靠人。運(yùn)維人員要從操作工轉(zhuǎn)型成智能體的管理者和訓(xùn)練者。這個(gè)轉(zhuǎn)型對(duì)很多人來(lái)說(shuō)不容易但方向是明確的。第三短期內(nèi)不要追求完全自主。讓 AI 完全自主地操作生產(chǎn)環(huán)境風(fēng)險(xiǎn)和收益不成正比。至少在可預(yù)見(jiàn)的未來(lái)人在環(huán)上human-in-the-loop還是最穩(wěn)妥的模式。智能體負(fù)責(zé) 90% 的常規(guī)工作人負(fù)責(zé) 10% 的關(guān)鍵決策這個(gè)配比是比較現(xiàn)實(shí)的。第四這個(gè)方向的門檻比想象中高。它不是接個(gè)模型、寫幾個(gè)工具就能跑起來(lái)的。它需要數(shù)據(jù)、工具、模型、流程、組織多個(gè)方面的配合。小團(tuán)隊(duì)如果資源有限建議先從智能助手這種輕量級(jí)形態(tài)入手別一上來(lái)就搞大而全的系統(tǒng)。第五別被概念忽悠回到問(wèn)題本身。不管是叫 AIOps 還是 Agentic Operations核心都是用技術(shù)手段提升運(yùn)維效率、降低故障影響。判斷一個(gè)方案好不好就看它是不是真的解決了你的實(shí)際問(wèn)題而不是看它用了多新的概念。我見(jiàn)過(guò)太多團(tuán)隊(duì)為了追概念上了一堆用不起來(lái)的系統(tǒng)最后反而增加了負(fù)擔(dān)。我在實(shí)際項(xiàng)目里最大的體會(huì)是智能體運(yùn)維的成敗技術(shù)只占一半另一半是組織和流程。你得讓運(yùn)維人員愿意用、敢用、會(huì)用得把智能體嵌入現(xiàn)有的工作流得建立配套的度量和管理機(jī)制。這些軟的東西往往比模型選型、架構(gòu)設(shè)計(jì)更決定成敗。如果你正在考慮往這個(gè)方向走我的建議是先別急著買平臺(tái)、搭系統(tǒng)先花時(shí)間梳理清楚自己的運(yùn)維流程找到最痛的那個(gè)點(diǎn)想清楚智能體在這個(gè)點(diǎn)上能帶來(lái)什么價(jià)值。然后小步快跑從一個(gè)場(chǎng)景做起跑通了再擴(kuò)展。這個(gè)領(lǐng)域變化很快保持學(xué)習(xí)、保持務(wù)實(shí)比什么都重要。