這兩年 Agent 項(xiàng)目越來越多但真正到生產(chǎn)環(huán)境跑起來之后很多人的感受是demo 好寫工程難做。Prompt 寫得好壞是一回事更讓人頭疼的是工具調(diào)用老出錯(cuò)、多步任務(wù)跑到一半就斷了、狀態(tài)亂成一鍋粥。我自己從幾個(gè)原型項(xiàng)目踩到生產(chǎn)項(xiàng)目最深的體會(huì)是——Agent 工程能不能穩(wěn)定落地關(guān)鍵不在于選哪個(gè)模型、調(diào)哪條 Prompt而在于你怎么設(shè)計(jì)那層“控制 Agent 行為的工程結(jié)構(gòu)”。圈子里把這套結(jié)構(gòu)拆成三層Harness支架、Loop循環(huán)、Graph圖。這篇文章就把這三層從頭到尾拆開講講包括每層到底解決什么問題、生產(chǎn)環(huán)境里怎么落地、以及那些文檔里不寫但你一定會(huì)踩的坑。1. 三層架構(gòu)的定位與整體思路1.1 Harness、Loop、Graph 分別是什么先說結(jié)論。Harness 是 Agent 運(yùn)行的“環(huán)境邊界”Loop 是 Agent 行動(dòng)的“驅(qū)動(dòng)引擎”Graph 是 Agent 決策的“路徑規(guī)劃器”。這三層不是可選的錦上添花而是從工程角度把 Agent 從“一段調(diào)用模型 API 的腳本”升級(jí)成“一個(gè)可維護(hù)、可觀測(cè)、可控制的生產(chǎn)系統(tǒng)”的必由之路。Harness 在英文里是“挽具、馬具”的意思引申到 Agent 領(lǐng)域指的是你給 Agent 搭的那套基礎(chǔ)設(shè)施模型接口、工具注冊(cè)表、上下文管理、安全邊界、日志追蹤。它相當(dāng)于操作系統(tǒng)里的內(nèi)核Agent 的所有能力都跑在這個(gè)“底座”上。沒有 HarnessAgent 就是裸奔的模型調(diào)用有了 Harness模型才有一個(gè)穩(wěn)定的環(huán)境去感知工具、調(diào)用能力、記錄行為。Loop 則是 Agent 的運(yùn)行循環(huán)。模型不是一次性輸出答案就完事的它往往需要“思考 → 調(diào)用工具 → 觀察結(jié)果 → 再思考”這樣的多輪迭代。這個(gè)反復(fù)執(zhí)行的過程就是 Loop。很多生產(chǎn)事故恰恰出在這里——循環(huán)沒有超時(shí)控制、沒有最大迭代次數(shù)、沒有異?；謴?fù)機(jī)制結(jié)果 Agent 在同一個(gè)錯(cuò)誤工具調(diào)用上反復(fù)打轉(zhuǎn)白白消耗 Token 直到預(yù)算燒光。Graph 是把 Agent 的決策過程從“自由發(fā)揮”變成“有路徑可循”的編排層。你可以把 Agent 的任務(wù)拆成多個(gè)節(jié)點(diǎn)比如“意圖識(shí)別 → 信息收集 → 計(jì)劃生成 → 工具執(zhí)行 → 結(jié)果驗(yàn)證”每個(gè)節(jié)點(diǎn)之間用邊連接形成一張有向圖。Graph 的意義在于不是每一步都讓模型自由決策而是讓模型在允許的路徑范圍內(nèi)選擇這樣既保留了大模型的靈活性又把不可控性關(guān)進(jìn)了籠子里。1.2 為什么三層缺一不可很多 Agent 框架比如 LangChain、LlamaIndex其實(shí)都內(nèi)置了這三層結(jié)構(gòu)只是它們把它們包裝成了不同的接口。我見過一些團(tuán)隊(duì)只用了“模型 Prompt”就開始做 Agent結(jié)果項(xiàng)目到后期維護(hù)成本極高因?yàn)樗羞壿嫸既嘣?Prompt 里出問題根本無從排查。打個(gè)比方Harness 是房子的地基和管線Loop 是房間里的暖氣系統(tǒng)持續(xù)供熱Graph 是房間之間的走廊和門決定你怎么從一間屋走到另一間屋。沒有地基房子塌沒有暖氣人凍死沒有走廊房間之間無法連通。生產(chǎn)環(huán)境里的 Agent 也一樣沒有 Harness工具調(diào)用混亂、上下文溢出、安全問題頻發(fā)沒有 LoopAgent 只能做單輪決策無法處理需要多步操作的任務(wù)沒有 GraphAgent 決策路徑完全由模型自由發(fā)揮既不可預(yù)測(cè)也不可審計(jì)。從另外一面看這三層也是從“最簡(jiǎn)單可用的 Agent”到“生產(chǎn)級(jí) Agent”的三次演進(jìn)。第一步你用一層 Harness 包住模型 API實(shí)現(xiàn)“一次調(diào)用、一次回答”第二步你加入 Loop 讓它能反復(fù)調(diào)用工具第三步你用 Graph 把復(fù)雜的任務(wù)拆解、編排。每一層解決的都是上一層的痛點(diǎn)缺了哪一層系統(tǒng)都會(huì)在未來某個(gè)時(shí)刻要你還債。1.3 這套架構(gòu)適合誰、用在哪兒三層架構(gòu)不是銀彈它適合任務(wù)復(fù)雜度中等偏上的場(chǎng)景。如果你的 Agent 只是做一個(gè)“根據(jù)提問返回固定格式回答”的聊天機(jī)器人三層架構(gòu)是殺雞用牛刀但如果你的 Agent 要處理多步驟任務(wù)比如“從郵件中提取需求 → 生成 SQL → 查詢數(shù)據(jù)庫 → 匯總結(jié)果 → 發(fā)送報(bào)告”那沒有這三層結(jié)構(gòu)你很難保證穩(wěn)定性和可維護(hù)性。我實(shí)際用下來比較典型的適用場(chǎng)景有三類。第一類是自動(dòng)化業(yè)務(wù)流程比如客戶工單處理、數(shù)據(jù)報(bào)表生成、內(nèi)容批量生產(chǎn)第二類是智能編碼助手類工具這類工具往往需要多輪代碼檢索、讀寫、測(cè)試第三類是需要對(duì)接多個(gè)外部系統(tǒng)、復(fù)雜業(yè)務(wù)邏輯的“數(shù)字員工”比如需要同時(shí)操作 CRM、ERP、知識(shí)庫的搜索問答系統(tǒng)。這三類場(chǎng)景的共同特點(diǎn)是任務(wù)步驟多、工具調(diào)用多、決策路徑不唯一恰好是三層架構(gòu)最擅長(zhǎng)的戰(zhàn)場(chǎng)。2. Harness 層深入解析Agent 的骨架與安全邊界2.1 Harness 的核心組成模塊Harness 是 Agent 的“軀體”它決定了 Agent 能調(diào)用什么工具、能看到什么上下文、行為有多可控。一個(gè)完整的 Harness 至少包含五個(gè)模塊模型接入層、工具注冊(cè)表、上下文管理、安全策略與審計(jì)日志。模型接入層解決的是“怎么跟模型對(duì)話”的問題。這個(gè)模塊要處理模型 API 的封裝比如 OpenAI、Claude、DeepSeek 的統(tǒng)一接口、請(qǐng)求重試、超時(shí)控制、Token 計(jì)數(shù)與成本控制。不要直接在一個(gè) Agent 項(xiàng)目里到處調(diào)用模型 API那樣你后面想換模型、加緩存、做限流會(huì)改到吐。我在自己項(xiàng)目中就把模型調(diào)用全部收斂到 Harness 的一個(gè) provider 層換模型只改一份配置。工具注冊(cè)表是 Harness 里最關(guān)鍵的模塊之一。Agent 要調(diào)用外部能力需要把工具比如數(shù)據(jù)庫查詢、API 請(qǐng)求、代碼執(zhí)行、網(wǎng)頁抓取以某種結(jié)構(gòu)化的方式注冊(cè)進(jìn)來。每個(gè)工具至少要包含工具名稱、功能描述、參數(shù) Schema、執(zhí)行函數(shù)、錯(cuò)誤處理策略。工具的名稱和描述一定要寫得非常清晰因?yàn)檫@些會(huì)直接被模型看到并用于決策。上下文管理模塊負(fù)責(zé)拼裝發(fā)送給模型的消息序列。這里最典型的問題是上下文溢出——模型能處理的 Token 有限你不能無限塞東西。Harness 要設(shè)計(jì)一套上下文壓縮策略比如把歷史對(duì)話摘要化、只保留最近的 N 輪、把工具結(jié)果過濾后僅保留關(guān)鍵字段。我見過不少項(xiàng)目在原型期不重視這塊上線后對(duì)話稍微長(zhǎng)一點(diǎn)就開始報(bào)錯(cuò)這就是 Harness 沒做好。安全策略與審計(jì)日志則是 Harness 的“守門員”。比如限制 Agent 只能調(diào)用白名單內(nèi)的工具、對(duì)工具輸入做參數(shù)校驗(yàn)、對(duì)外部 API 返回的內(nèi)容做脫敏、記錄每一步操作的日志供事后追溯。凡是涉及生產(chǎn)環(huán)境的 Agent安全策略絕不可以省。2.2 Harness 與 Agent 框架的區(qū)別很多人會(huì)混淆 Harness 和 Agent 框架比如 LangChain、AutoGen、CrewAI我簡(jiǎn)單梳理一下我的理解。框架是一個(gè)“工具箱”它提供了很多現(xiàn)成的組件和抽象而 Harness 是你在具體項(xiàng)目中搭建出來的“運(yùn)行環(huán)境”它不一定是通用產(chǎn)品更多是跟你的業(yè)務(wù)深度綁定的一套工程實(shí)現(xiàn)。用造汽車來類比Agent 框架是標(biāo)準(zhǔn)件供應(yīng)商提供輪胎、發(fā)動(dòng)機(jī)、儀表盤Harness 則是整車廠的總裝線你要決定怎么把這些標(biāo)準(zhǔn)件跟你的底盤、車身、電氣系統(tǒng)整合到一起還需要加裝安全氣囊和定位系統(tǒng)等專屬設(shè)備。所以即使你用了 LangChain你仍然需要花大量精力去搭自己的 Harness——配置工具的注冊(cè)邏輯、裁剪上下文、設(shè)定安全規(guī)則這些在框架層面只會(huì)給你半成品。我自己早期項(xiàng)目就是直接把 LangChain 當(dāng) Harness 用結(jié)果發(fā)現(xiàn)框架自帶的能力跟業(yè)務(wù)需求永遠(yuǎn)有種“隔靴搔癢”的感覺最后不得不自己封裝了一層。所以我的建議是框架可以當(dāng)庫用但 Harness 一定要自己親手搭而且越貼合業(yè)務(wù)越好。2.3 搭建 Harness 時(shí)的五個(gè)實(shí)操要點(diǎn)第一工具的 Schema 定義要嚴(yán)格最好用 JSON Schema 規(guī)范。你給模型提供的工具參數(shù)結(jié)構(gòu)越清晰模型誤用工具的概率越低。我在實(shí)際項(xiàng)目中見過模型把字符串參數(shù)填成數(shù)字、把必填參數(shù)漏掉、甚至把工具名拼錯(cuò)這些都是因?yàn)?Schema 不夠嚴(yán)謹(jǐn)。第二上下文管理者必須把“寫入什么”和“丟棄什么”的規(guī)則顯式化。我給每類消息都分配了預(yù)算比如系統(tǒng)提示詞固定占 1000 Token、工具結(jié)果是按需截?cái)嗵鎿Q、對(duì)話歷史按摘要保留。如果沒有這個(gè)預(yù)算意識(shí)模型輸出質(zhì)量和成本都會(huì)失控。第三工具執(zhí)行必須做超時(shí)和重試。真實(shí)場(chǎng)景下外部 API 隨時(shí)可能超時(shí)、返回異常。Harness 層要對(duì)每個(gè)工具調(diào)用設(shè)置超時(shí)超時(shí)后根據(jù)策略做重試或直接返回“工具不可用”給模型讓模型走兜底路徑而不是卡死在工具調(diào)用上。第四日志要結(jié)構(gòu)化。每輪 Agent 運(yùn)行都要記錄模型輸入、工具入?yún)?、工具出參、耗時(shí)、成本、決策鏈路。后續(xù)排查問題時(shí)這幾點(diǎn)信息缺一不可。我在生產(chǎn)環(huán)境里查線上問題時(shí)發(fā)現(xiàn)很多團(tuán)隊(duì)只看結(jié)果不看過程一旦 Agent 行為異常只能靠猜就是因?yàn)槿罩静贿_(dá)標(biāo)。第五安全策略要能在 Harness 層統(tǒng)一攔截統(tǒng)一處理而不是散落在每個(gè)工具函數(shù)里。統(tǒng)一攔截的好處是你能夠?qū)ぞ叩恼{(diào)用頻率、調(diào)用范圍、參數(shù)合法性做全局控制。比如我有一個(gè) Agent 項(xiàng)目里面需要對(duì)接公司內(nèi)部的敏感系統(tǒng)我在 Harness 層加了一個(gè)“工具白名單 字段脫敏”機(jī)制所有工具的出入?yún)⒍歼^這一層既統(tǒng)一又安全。3. Loop 層深度解析Agent 的運(yùn)轉(zhuǎn)引擎與循環(huán)控制3.1 從單輪調(diào)用到多輪循環(huán)的演進(jìn)邏輯沒有 Loop 的 Agent 本質(zhì)上只是“一次模型調(diào)用”。模型拿到用戶輸入推理輸出結(jié)果結(jié)束。這樣的 Agent 能做的非常有限——它不能查資料、不能運(yùn)行代碼、不能去數(shù)據(jù)庫里拉數(shù)據(jù)。為了讓 Agent 具備“動(dòng)手能力”工程上最重要的一步就是引入 Loop讓模型可以多次跟環(huán)境交互每次交互之后根據(jù)反饋決定下一步動(dòng)作。一個(gè)最基本的 Agent Loop 長(zhǎng)這樣模型收到任務(wù) → 選擇工具或直接回答 → 執(zhí)行工具 → 把工具結(jié)果返回給模型 → 模型再?zèng)Q策循環(huán)往復(fù)直到模型認(rèn)為任務(wù)完成或觸發(fā)終止條件。這個(gè)循環(huán)看起來簡(jiǎn)單但工程上要實(shí)現(xiàn)好它非?？简?yàn)細(xì)節(jié)。因?yàn)槟忝鎸?duì)的是一個(gè)概率模型它每一步的決策都不是 100% 可靠的你的循環(huán)必須有足夠的容錯(cuò)能力。我想強(qiáng)調(diào)一個(gè)觀點(diǎn)Loop 的設(shè)計(jì)本質(zhì)上是“把模型的不確定性關(guān)進(jìn)可控的循環(huán)里”。模型可能在某一步走偏但它走偏后你給它反饋?zhàn)屗m正模型可能在某一步反復(fù)橫跳選了工具 A然后又想換 B換完又想回 A你的循環(huán)要有防抖機(jī)制模型可能陷入死循環(huán)調(diào)用同一個(gè)工具你的循環(huán)必須有硬性的迭代上限。這些都是 Loop 層的核心工作。3.2 三種主流 Loop 模式對(duì)比第一種是 ReAct 模式Reason Act。模型在每一輪先“思考”再“行動(dòng)”把思考內(nèi)容作為下一輪決策的依據(jù)。ReAct 適合絕大多數(shù)輕量級(jí)任務(wù)實(shí)現(xiàn)簡(jiǎn)單、效果直觀是 LangChain 等框架默認(rèn)支持的 Loop 模式。缺點(diǎn)是自由度太高模型容易在思考上繞圈子如果 Prompt 控制不好每一步都會(huì)浪費(fèi)大量 Token。第二種是 Plan-and-Execute 模式。先讓模型規(guī)劃任務(wù)步驟然后逐步執(zhí)行。每一步執(zhí)行時(shí)都以“逐步執(zhí)行計(jì)劃中的一個(gè)步驟”為目標(biāo)而不是重新思考整個(gè)任務(wù)。這種模式適合復(fù)雜度高、步驟多的任務(wù)因?yàn)槟Ｐ拖攘杏?jì)劃然后按計(jì)劃推進(jìn)整體路徑可控性更強(qiáng)。缺點(diǎn)是如果計(jì)劃本身不準(zhǔn)確執(zhí)行會(huì)跟著錯(cuò)下去所以往往需要額外的“計(jì)劃校驗(yàn)節(jié)點(diǎn)”。第三種是 Reflection 模式也叫自我修正循環(huán)。模型執(zhí)行完結(jié)果后由一個(gè)“評(píng)審者”可以是同模型或另一個(gè)模型對(duì)結(jié)果進(jìn)行評(píng)估如果不過關(guān)就反饋給執(zhí)行者修改。這個(gè)模式很適合寫代碼、寫文章等生成類任務(wù)質(zhì)量有明顯提升但代價(jià)是成本成倍增加。實(shí)際項(xiàng)目中我不會(huì)全程都開 Reflection通常只在最后一步做一次質(zhì)量校驗(yàn)性價(jià)比最高。三種模式不是互斥的可以在一個(gè) Graph 層里混合使用。我常用組合是開頭用 Plan-and-Execute 拆解任務(wù)中間用 ReAct 做逐步執(zhí)行結(jié)尾用 Reflection 做結(jié)果校驗(yàn)。這個(gè)組合覆蓋了“規(guī)劃 → 執(zhí)行 → 質(zhì)檢”的完整鏈路生產(chǎn)穩(wěn)定性比只用單一模式高出一大截。3.3 Loop 的關(guān)鍵參數(shù)與退出條件設(shè)置Loop 設(shè)計(jì)得好不好最直接的檢驗(yàn)就是退出條件是否完善。一句話永遠(yuǎn)不要把“模型說它完成了”當(dāng)作唯一的退出條件。我建議至少設(shè)置四類退出條件。最大迭代次數(shù)是底線必須設(shè)置。按我的經(jīng)驗(yàn)常規(guī)任務(wù)迭代 5~10 輪就應(yīng)該能完成如果你發(fā)現(xiàn)任務(wù)經(jīng)常需要 20 輪以上那大概率是 Prompt 設(shè)計(jì)或工具劃分有問題。硬性上限我給的是 15 輪超過就強(qiáng)制終止并把現(xiàn)場(chǎng)日志保存下來。超時(shí)控制同樣不能省。如果你的 Agent 是在線服務(wù)每一輪調(diào)用模型的時(shí)間加起來可能變成幾十秒甚至幾分鐘。我會(huì)為整個(gè) Loop 設(shè)置一個(gè)總時(shí)間上限比如 60 秒防止 Agent 長(zhǎng)期占用計(jì)算資源。超時(shí)后不是讓用戶干等而是返回“任務(wù)處理超時(shí)稍后重試”或把任務(wù)降級(jí)到人工處理通道。連續(xù)無效行動(dòng)檢測(cè)是防死循環(huán)的關(guān)鍵。當(dāng)模型連續(xù) N 次調(diào)用同一個(gè)工具、或者連續(xù) N 次輸出格式非法、或者連續(xù) N 次行動(dòng)都沒有產(chǎn)生有效信息更新時(shí)強(qiáng)制截?cái)嗖⑥D(zhuǎn)人工或換一條路徑。這個(gè)機(jī)制是我在生產(chǎn)環(huán)境對(duì)比后加的效果顯著。人為干預(yù)通道雖然不常提但生產(chǎn)環(huán)境必須有。Loop 跑著跑著如果發(fā)現(xiàn)短時(shí)間內(nèi)消耗了超過預(yù)期成本必須能中斷修改再恢復(fù)執(zhí)行。我通常在 Harness 層預(yù)留一個(gè)人工審核開關(guān)當(dāng) Agent 要執(zhí)行“高風(fēng)險(xiǎn)工具動(dòng)作”比如發(fā)郵件、刪數(shù)據(jù)之前強(qiáng)制等待人工確認(rèn)。這本質(zhì)上也是一種“安全退出條件”犧牲了一點(diǎn)自動(dòng)化率換來了保險(xiǎn)。3.4 Loop 的狀態(tài)管理與記憶機(jī)制Loop 的每一輪都需要維護(hù)“狀態(tài)”State。狀態(tài)包含當(dāng)前任務(wù)目標(biāo)、已執(zhí)行的步驟、工具返回的結(jié)果、臨時(shí)變量等。沒有好的狀態(tài)管理Loop 就是無頭蒼蠅。我在實(shí)踐中根據(jù)任務(wù)類型選擇不同的狀態(tài)載體簡(jiǎn)單任務(wù)用全局字典復(fù)雜任務(wù)用圖數(shù)據(jù)庫或者內(nèi)存緩存。記憶機(jī)制是 Loop 層另一個(gè)重頭戲。所謂記憶就是讓 Agent 能夠引用“之前步驟的信息”。最常見的實(shí)現(xiàn)是把歷史步驟摘要注入到后續(xù)每一輪的系統(tǒng)提示詞里。有一個(gè)關(guān)鍵坑直接把所有歷史記錄一股腦塞進(jìn)去上下文很快爆掉。我通常的做法是“分窗口記憶”——最近的 3 輪完整保留之前的步驟用摘要壓縮摘要本身超過閾值再分層壓縮。這樣循環(huán)再長(zhǎng)輸入成本也不會(huì)線性上漲。需要特別提醒的是狀態(tài)管理必須考慮并發(fā)場(chǎng)景。如果你的 Agent 同時(shí)服務(wù)多個(gè)用戶請(qǐng)求絕不能用全局變量去存某個(gè)任務(wù)的狀態(tài)否則數(shù)據(jù)會(huì)互相污染。這輪提這個(gè)坑是因?yàn)槲乙娺^不止一個(gè)團(tuán)隊(duì)在并發(fā)測(cè)試時(shí)發(fā)現(xiàn)任務(wù) A 的工具結(jié)果跑到了任務(wù) B 的上下文里。解決方案是給每個(gè)任務(wù)分配獨(dú)立的 Session IDLoop 的所有狀態(tài)都掛在 Session 內(nèi)部。4. Graph 層深度解析Agent 的路徑規(guī)劃與編排策略4.1 Graph 層的角色從“自由發(fā)揮”到“有限路徑”Graph 層是三層架構(gòu)里最像“架構(gòu)”的部分因?yàn)樗?Agent 的決策路徑變得可設(shè)計(jì)、可控制、可審計(jì)。沒有 Graph 時(shí)Agent 在一輪 Loop 里可以任意選擇工具、任意切換意圖路徑不可預(yù)期有了 GraphAgent 只能在預(yù)設(shè)的“節(jié)點(diǎn)”之間轉(zhuǎn)移每個(gè)節(jié)點(diǎn)執(zhí)行一個(gè)明確定義的子任務(wù)。我舉一個(gè)實(shí)際項(xiàng)目的例子做一個(gè)會(huì)議紀(jì)要 Agent接收到一段錄音轉(zhuǎn)文字后要輸出會(huì)議紀(jì)要和待辦事項(xiàng)。如果只用 LoopAgent 會(huì)自由地決定怎么處理這段文字可能出現(xiàn)“先摘要、再提取待辦、但摘要質(zhì)量差、然后重新摘要”這類混亂路徑。用 Graph 之后我把流程固定成四個(gè)節(jié)點(diǎn)文本清洗 → 信息抽取 → 紀(jì)要生成 → 校驗(yàn)輸出。每個(gè)節(jié)點(diǎn)內(nèi)部可以有自己的 Loop調(diào)用模型來分析但節(jié)點(diǎn)之間只能按固定方向流動(dòng)。這樣路徑清晰執(zhí)行可預(yù)期出了問題也知道該查哪一段。Graph 層的設(shè)計(jì)原則是節(jié)點(diǎn)越多控制越強(qiáng)但靈活性越低節(jié)點(diǎn)越少靈活性越高但不可控性也越高。我的經(jīng)驗(yàn)是不要一開始就畫一張很復(fù)雜的大圖先把任務(wù)拆成 3~5 個(gè)核心節(jié)點(diǎn)跑通了再逐步細(xì)化。過早的設(shè)計(jì)過擬合改起來成本極高。4.2 基于 DAG 的編排與條件路由Graph 的實(shí)現(xiàn)通常依賴有向無環(huán)圖DAG。每個(gè)節(jié)點(diǎn)是原子任務(wù)邊定義了執(zhí)行順序節(jié)點(diǎn)間的流轉(zhuǎn)條件可以由規(guī)則比如輸出字段匹配驅(qū)動(dòng)也可以由模型做主比如讓模型判斷“下一步該走哪個(gè)分支”。我在項(xiàng)目中把這兩種方式稱為“硬路由”和“軟路由”。硬路由適合邏輯明確的分支比如“如果上一步?jīng)]提取到關(guān)鍵字段走修復(fù)節(jié)點(diǎn)否則直接進(jìn)入生成節(jié)點(diǎn)”。這種路由不涉及模型推理速度快、可靠、易排查。軟路由適合意圖識(shí)別類場(chǎng)景比如“讓模型判斷用戶是想查詢數(shù)據(jù)還是想生成報(bào)告然后選擇對(duì)應(yīng)的處理子圖”。軟路由靈活但有概率出錯(cuò)所以要配合置信度閾值置信度低時(shí)就進(jìn)入“詢問澄清”節(jié)點(diǎn)讓用戶確認(rèn)意圖。Graph 層還要考慮“回退”。比如執(zhí)行到第 4 個(gè)節(jié)點(diǎn)時(shí)失敗了是回退到第 3 個(gè)節(jié)點(diǎn)重試還是直接跳到失敗處理節(jié)點(diǎn)我在生產(chǎn)中的策略是分級(jí)回退輕微錯(cuò)誤回退一步重試中等錯(cuò)誤回退到規(guī)劃節(jié)點(diǎn)重新規(guī)劃嚴(yán)重錯(cuò)誤直接終止并觸發(fā)人工告警。這個(gè)分級(jí)回退策略極大提升了 Agent 在復(fù)雜任務(wù)上的最終成功率。4.3 狀態(tài)共享與信息傳遞設(shè)計(jì)Graph 的每個(gè)節(jié)點(diǎn)雖然職責(zé)不同但它們處理的是同一個(gè)任務(wù)所以必須共享狀態(tài)。在設(shè)計(jì) Graph 時(shí)我會(huì)先定義一個(gè)“全局狀態(tài)對(duì)象”里面放任務(wù)的原始輸入、當(dāng)前進(jìn)度、各節(jié)點(diǎn)的輸出摘要、臨時(shí)變量池。節(jié)點(diǎn)讀寫狀態(tài)不是自由的而是通過接口避免節(jié)點(diǎn)之間產(chǎn)生隱式耦合。信息傳遞有一個(gè)常見誤區(qū)節(jié)點(diǎn)之間直接傳長(zhǎng)文本原始結(jié)果。這樣做的后果是狀態(tài)體積爆炸而且后續(xù)節(jié)點(diǎn)的上下文被無關(guān)信息污染。我通常會(huì)為每個(gè)節(jié)點(diǎn)定義“輸出摘要”比如信息抽取節(jié)點(diǎn)只輸出“結(jié)構(gòu)化字段時(shí)間、地點(diǎn)、人物、事項(xiàng)”紀(jì)要生成節(jié)點(diǎn)只接收這些字段而不是整段原文。這樣狀態(tài)精簡(jiǎn)上下文干凈模型在后續(xù)節(jié)點(diǎn)里也更容易抓住重點(diǎn)。在設(shè)計(jì)信息傳遞時(shí)還要考慮“失敗節(jié)點(diǎn)”的狀態(tài)留存。不要讓失敗節(jié)點(diǎn)的輸出殘留到后續(xù)節(jié)點(diǎn)否則錯(cuò)誤會(huì)被不斷放大。我的做法是每個(gè)節(jié)點(diǎn)開始時(shí)先把全局狀態(tài)做一次快照節(jié)點(diǎn)結(jié)束時(shí)對(duì)比快照與當(dāng)前狀態(tài)只保留預(yù)期變更異常變更直接丟棄。4.4 Graph 的可觀測(cè)性與調(diào)試Graph 層最大的好處之一就是可觀測(cè)性好。因?yàn)槁窂绞秋@式的你可以把每一步執(zhí)行情況用日志記錄成一條“執(zhí)行軌跡”進(jìn)入了哪個(gè)節(jié)點(diǎn)、輸入了什么、輸出了什么、耗時(shí)多少、成本多少、路由條件是什么。這可比純 Loop 模式下看一條長(zhǎng)對(duì)話日志要直觀得多。我實(shí)際調(diào)試時(shí)常用的手段是“Graph 可視化”。把每次執(zhí)行后的 DAG 路徑渲染成一張圖一眼就能看出 Agent 是不是繞了遠(yuǎn)路、在哪一步出過錯(cuò)、哪一步重復(fù)執(zhí)行了?？梢暬ぞ呶矣玫氖情_源的 Graphviz 或 D3.js不需要很復(fù)雜只要能還原執(zhí)行拓?fù)渚蛪蛄?。此外Graph 層還方便我做“路徑級(jí)別的 A/B 測(cè)試”。因?yàn)楣?jié)點(diǎn)是模塊化的我可以給同一個(gè)節(jié)點(diǎn)設(shè)計(jì)兩個(gè)版本的 Prompt 或兩套工具然后對(duì)比它們?cè)谙嗤蝿?wù)上的成功率、耗時(shí)、成本。沒有 Graph 的話這種對(duì)比很難做干凈因?yàn)檠h(huán)里的變量互相干擾。5. 三層架構(gòu)的組合實(shí)戰(zhàn)從零搭建一個(gè)生產(chǎn)級(jí) Agent5.1 選型自研還是用框架經(jīng)常有人問我搞這套三層架構(gòu)到底應(yīng)該自己寫還是用現(xiàn)成框架我的回答是框架可以用但不能全依賴。比如你用 LangGraph它本身就把 Graph 和 Loop 都封裝好了但 Harness 層仍然需要自己搭你用 CrewAI 能快速搭建多 Agent 協(xié)作但一旦涉及復(fù)雜的業(yè)務(wù)安全策略還是得自己寫擴(kuò)展。我目前的偏好是“輕框架 核心自研”集成層用 LangGraph 做 Graph 的骨架工具管理和上下文管理完全自研模型層用統(tǒng)一 Provider 接口。這樣做的好處是既有框架幫你處理圖的狀態(tài)流轉(zhuǎn)和持久化又能保證 Harness 層的業(yè)務(wù)邏輯完全可控。如果你對(duì) LangGraph 不熟直接用 Python 或者 TypeScript 手寫一個(gè)簡(jiǎn)單的 DAG 引擎也不難核心也就一百多行代碼。模型選型上也說兩句。目前我用得比較多的是 DeepSeek 和 ClaudeDeepSeek 性價(jià)比高適合中長(zhǎng)文本處理、批量任務(wù)Claude 在工具調(diào)用和代碼生成上表現(xiàn)更穩(wěn)適合對(duì)質(zhì)量要求高的場(chǎng)景。二者都可以無縫接入同一套 Harness因?yàn)槲业?Provider 層把接口統(tǒng)一了。5.2 多 Agent 協(xié)作場(chǎng)景下的三層架構(gòu)調(diào)整三層架構(gòu)不僅適用于單個(gè) Agent也適用于多 Agent 協(xié)作。多 Agent 場(chǎng)景里常態(tài)是有一個(gè)“主控 Agent”Supervisor負(fù)責(zé)全局規(guī)劃下面掛多個(gè)“執(zhí)行 Agent”Worker分別處理不同領(lǐng)域任務(wù)。Graph 層這時(shí)候需要升級(jí)為“子圖”機(jī)制主控是一個(gè)大的 DAG每個(gè)節(jié)點(diǎn)內(nèi)部又可以掛一張子 DAG子 DAG 由獨(dú)立的 Agent 負(fù)責(zé)。我實(shí)現(xiàn)過一個(gè)典型的多 Agent 系統(tǒng)主控 Agent 拿到用戶需求后先做任務(wù)分解然后分別調(diào)度“SQL 查詢 Agent”、“文檔檢索 Agent”、“數(shù)據(jù)分析 Agent”、“報(bào)告撰寫 Agent”最后匯總結(jié)果。在這個(gè)架構(gòu)里主控用 Graph 控制節(jié)拍每個(gè) Worker 內(nèi)部又有自己的 Harness 和 Loop。全局路由靠 Graph局部執(zhí)行靠 Loop所有 Agent 的輸入輸出統(tǒng)一走主控的全局狀態(tài)池避免信息孤島。這里有個(gè)容易踩的坑多 Agent 之間如果直接互相調(diào)用最終會(huì)形成一個(gè)網(wǎng)狀調(diào)用關(guān)系導(dǎo)致狀態(tài)同步和排查問題都非常痛苦。正確做法是所有 Agent 只跟主控通信不直接互相調(diào)用。主控負(fù)責(zé)把信息分發(fā)給對(duì)應(yīng)的執(zhí)行 Agent。雖然多了一層轉(zhuǎn)發(fā)但邏輯結(jié)構(gòu)清晰了不止一個(gè)量級(jí)。5.3 生產(chǎn)實(shí)踐案例DeepSeek 客服 Agent 的三層裝配拿一個(gè)我實(shí)際跑過的案例來說明。這是一個(gè)面向海外用戶的客服 Agent后端接 DeepSeek 模型核心任務(wù)是根據(jù)用戶的問題查詢 FAQ 知識(shí)庫、查詢訂單狀態(tài)、處理退換貨申請(qǐng)。任務(wù)不算特別復(fù)雜但因?yàn)樯婕巴獠?API 調(diào)用和真實(shí)用戶數(shù)據(jù)穩(wěn)定性和安全邊界要求很高。Harness 層我注冊(cè)了三個(gè)工具知識(shí)庫查詢接收關(guān)鍵詞和類目返回文檔片段、訂單查詢接收訂單號(hào)返回訂單狀態(tài)和物流信息、退換貨申請(qǐng)接收訂單號(hào)和原因?qū)懭牍蜗到y(tǒng)并觸發(fā)通知。所有工具的入?yún)⒍甲鰢?yán)格校驗(yàn)退換貨申請(qǐng)還額外加了一道人工確認(rèn)門檻——只有用戶明確確認(rèn)過信息Agent 才能提交。Loop 層我使用了 ReAct 模式最大迭代 8 輪單步超時(shí) 10 秒。每輪循環(huán)后把工具結(jié)果摘要注入上下文摘要長(zhǎng)度限制在 200 字以內(nèi)。如果 8 輪還沒完成Agent 自動(dòng)降級(jí)為“轉(zhuǎn)人工客服處理”并附上完整對(duì)話記錄避免用戶在線上被無限拖延。Graph 層我用 LangGraph 把流程拆成五個(gè)節(jié)點(diǎn)意圖識(shí)別 → 信息收集 → 方案匹配 → 執(zhí)行動(dòng)作 → 結(jié)果反饋。意圖識(shí)別是軟路由置信度低于 0.7 就進(jìn)入澄清節(jié)點(diǎn)讓用戶補(bǔ)充信息方案匹配是硬路由根據(jù)信息收集節(jié)點(diǎn)的結(jié)構(gòu)化結(jié)果選擇查詢、申請(qǐng)還是推薦。這套架構(gòu)上線后一次完整對(duì)話的平均成本從最初單輪模型調(diào)用的 0.02 美元漲到了 0.06 美元但成功解決率從不到 60% 提升到 90% 以上而且每一條執(zhí)行軌跡都能回溯。這個(gè)數(shù)據(jù)對(duì)比充分說明三層架構(gòu)在生產(chǎn)中的價(jià)值。5.4 成本、延遲與穩(wěn)定性的取舍方案三層架構(gòu)雖然好但一定會(huì)帶來額外的成本和延遲。Graph 層每一次路由決策可能都要多調(diào)幾次模型Loop 層每多一輪都要多花 TokenHarness 層的日志和狀態(tài)管理也會(huì)消耗計(jì)算資源。所以生產(chǎn)環(huán)境里需要一組合適的“降本增效”策略。延遲優(yōu)化上我的做法有幾種一是把硬路由能解決的問題全部用規(guī)則做完避免軟路由反復(fù)調(diào)用模型二是給模型配置較低的推理溫度0 到 0.3減少隨機(jī)性讓輸出更穩(wěn)定三是使用流式輸出和異步并行能并行的節(jié)點(diǎn)盡量并行執(zhí)行比如多個(gè) Worker Agent 同時(shí)查詢不同的數(shù)據(jù)庫而不是串行等待。成本優(yōu)化上建議把任務(wù)分成“高中低價(jià)值”三類分別用質(zhì)量不同、成本不同的模型。低價(jià)值任務(wù)用 DeepSeek 或更小的模型高價(jià)值任務(wù)才調(diào)度 Claude。上下文也要控制上面提過的摘要策略能省非常多 Token。我在實(shí)際項(xiàng)目中通過把大段工具結(jié)果換成摘要單次任務(wù)的 Token 消耗減少了 40% 左右且不影響效果。穩(wěn)定性優(yōu)化上最重要的原則是“寧可失敗降級(jí)不要無限重試”。Agent 執(zhí)行失敗幾次后就該降級(jí)而不是反復(fù)試探。我在 Loop 退出條件里加了一條同一工具失敗超過 3 次強(qiáng)制走人工處理。這樣既保證了用戶體驗(yàn)也讓系統(tǒng)能及時(shí)止損。6. 生產(chǎn)中的真實(shí)問題與排查手記6.1 常見故障現(xiàn)象與定位方法先列一個(gè)我從多個(gè)項(xiàng)目里整理出來的高頻故障表。故障現(xiàn)象可能原因排查切入點(diǎn)Agent 反復(fù)調(diào)用同一個(gè)工具工具結(jié)果未被有效利用模型陷入循環(huán)檢查工具結(jié)果是否摘要過于精簡(jiǎn)或者 Prompt 里缺少“停止條件”說明上下文溢出工具結(jié)果未經(jīng)收斂歷史記錄無限膨脹檢查上下文管理策略確認(rèn)摘要和裁剪規(guī)則是否生效工具參數(shù)錯(cuò)誤工具的 JSON Schema 不嚴(yán)格描述不清晰審查工具定義嘗試補(bǔ)充參數(shù)樣本示例路徑漂移Task 偏離目標(biāo)Graph 節(jié)點(diǎn)粒度太粗軟路由置信度閾值過低拆分節(jié)點(diǎn)提高路由置信度閾值增加人工確認(rèn)節(jié)點(diǎn)并行任務(wù)狀態(tài)串?dāng)_全局變量保存了 Session 級(jí)狀態(tài)引入 Session ID狀態(tài)管理改為按會(huì)話隔離成本飆升Loop 無最大迭代Prompt 引導(dǎo)過多推理設(shè)置迭代上限精簡(jiǎn)系統(tǒng)提示詞增加無效行動(dòng)檢測(cè)排查這類問題我的一個(gè)通用方法論是先看執(zhí)行軌跡日志確定卡在哪一層再看掛在這層上的詳細(xì)記錄比如工具出入?yún)⑴袛嗍悄Ｐ蜎Q策問題還是工具執(zhí)行問題最后再對(duì)癥修改不要讓“調(diào)大模型”、“換 Prompt”成為直覺第一反應(yīng)要通過數(shù)據(jù)說話。6.2 一個(gè)典型死循環(huán)案例的完整排查過程有一次生產(chǎn)環(huán)境報(bào)警一個(gè)客服 Agent 在“查詢訂單狀態(tài)”這個(gè)動(dòng)作上連續(xù)執(zhí)行了十幾次同一查詢用戶端一直沒有得到回復(fù)。最開始我們的直覺是“模型可能被工具返回的字段搞糊涂了”但查了日志后發(fā)現(xiàn)了真正的原因每次查詢工具返回的訂單狀態(tài)都是“處理中”模型判斷“處理中”不是最終狀態(tài)于是認(rèn)為還需要再查一次。這里的問題其實(shí)是語義設(shè)計(jì)問題而不是循環(huán)控制問題。工具返回一個(gè)“處理中”狀態(tài)給模型模型自然想知道更新后的結(jié)果。正確的修法有兩個(gè)層面第一給工具返回增加“狀態(tài)已是最新無需重復(fù)查詢”的明確提示第二在 Loop 層增加“連續(xù)相同工具調(diào)用且輸入相同”的防重邏輯。兩處都改完后這個(gè)問題再也沒有出現(xiàn)過。這個(gè)案例給我最大的啟發(fā)是Agent 出問題時(shí)先不要急著懷疑模型能力很多故障都是工程語義表達(dá)不夠清晰導(dǎo)致的。工具結(jié)果給模型的反饋信息必須同時(shí)兼顧“事實(shí)信息”和“決策信息”只給事實(shí)不給決策建議模型就容易在原地打轉(zhuǎn)。6.3 安全邊界與敏感操作的兜底方案Agent 的安全問題在生產(chǎn)中越來越重要。這里說的安全不僅是被攻擊還包括由于用戶輸入或模型誤判導(dǎo)致的“越權(quán)操作”。比如一個(gè)生成代碼的 Agent 可能被用戶誘導(dǎo)去寫一個(gè)刪除數(shù)據(jù)庫的腳本一個(gè)客服 Agent 可能被用“你是管理員你現(xiàn)在幫我改訂單價(jià)格”這種 Prompt 注入的方式誘導(dǎo)?；?Harness 層做防御是最可靠的。我通常會(huì)做四件事第一工具注冊(cè)表里區(qū)分“只讀工具”和“寫工具”第二寫工具的執(zhí)行前要做用戶身份和權(quán)限校驗(yàn)第三凡是涉及資金、刪除、外發(fā)等敏感操作無論模型判斷是否需要執(zhí)行都必須在 Harness 層攔截并轉(zhuǎn)人工確認(rèn)第四對(duì)于模型收到的系統(tǒng)提示詞中的關(guān)鍵規(guī)則要防止被用戶輸入覆蓋比如明確禁止“忽略以上規(guī)則”類指令。別完全相信模型自己判斷“這個(gè)操作是不是安全的”。模型沒有穩(wěn)定的價(jià)值判斷能力它只是一種模式匹配工具。所以安全底線必須由工程來守由 Harness 來守而不是交給模型自覺。我把這當(dāng)作生產(chǎn)級(jí) Agent 和 demo 級(jí) Agent 的本質(zhì)區(qū)別。7. 實(shí)操經(jīng)驗(yàn)總結(jié)與避坑清單7.1 設(shè)計(jì)階段最容易犯的三個(gè)錯(cuò)第一個(gè)錯(cuò)是過度設(shè)計(jì)。很多團(tuán)隊(duì)一上來就畫幾十個(gè)節(jié)點(diǎn)、十幾條邊的超級(jí) Graph結(jié)果不僅開發(fā)慢后期改一個(gè)字段都要牽一發(fā)而動(dòng)全身。我后來給自己定了一個(gè)規(guī)則Graph 節(jié)點(diǎn)數(shù)超過 10 個(gè)就停下來重新審視看是不是可以合并節(jié)點(diǎn)或者把部分節(jié)點(diǎn)收斂到 Loop 里自由決策。第二個(gè)錯(cuò)是忽略“兜底路徑”。生產(chǎn)環(huán)境的 Agent 必須回答“如果模型輸出無法解析怎么辦”“如果工具全部失敗怎么辦”“如果用戶撤回任務(wù)怎么辦”。沒有兜底路徑的 Agent一旦遇到這兩類異常就只能卡死或者消耗大量預(yù)算。第三個(gè)錯(cuò)是測(cè)試集太窄。很多 Agent 項(xiàng)目測(cè)試只用幾條精心設(shè)計(jì)的樣例覆蓋不到真實(shí)用戶的長(zhǎng)尾表達(dá)。我建議生產(chǎn)上線前至少要準(zhǔn)備 100 條真實(shí)用戶輸入來回歸測(cè)試其中包括模糊意圖、超長(zhǎng)輸入、生僻縮寫、亂碼文本這些“反常規(guī)”樣本。否則環(huán)境一上線就會(huì)原形畢露。7.2 迭代階段最值得投資的三個(gè)能力排第一的是可觀測(cè)性。在 Agent 的 Harness 層盡早接入軌跡追蹤、Token 計(jì)數(shù)和成本報(bào)表越早越省錢。等到出了線上事故再補(bǔ)日志你會(huì)發(fā)現(xiàn)自己已經(jīng)失去了最寶貴的現(xiàn)場(chǎng)證據(jù)。排第二的是 Prompt 版本管理。Agent 的 Prompt 不是寫一次就完的它跟代碼一樣需要版本管理。我用 Git 專門維護(hù)一套 Prompt 倉庫每次改動(dòng)都要拉分支、跑測(cè)試、合并發(fā)布。這樣可以快速回滾不穩(wěn)定的 Prompt 變更。排第三的是模型降級(jí)鏈。一套生產(chǎn) Agent 不能只綁定一個(gè)模型。我在 Harness 層做了模型間的故障轉(zhuǎn)移主要模型超時(shí)或報(bào)錯(cuò)時(shí)自動(dòng)切換到備用模型繼續(xù)推理如果備用模型也異常再降級(jí)為規(guī)則回復(fù)。這也是我在線上穩(wěn)定運(yùn)行超過半年沒有出現(xiàn)大規(guī)模故障的關(guān)鍵機(jī)制。7.3 團(tuán)隊(duì)協(xié)作中的約定與規(guī)范最后聊幾句管理向的經(jīng)驗(yàn)。Agent 項(xiàng)目最怕“每個(gè)人都在隨意改 Prompt、隨意加工具”。我堅(jiān)持在團(tuán)隊(duì)里立幾條鐵規(guī)矩任何工具變更必須更新工具文檔任何 Prompt 變更必須附測(cè)試記錄任何模型參數(shù)調(diào)整必須走配置變更流程而不是寫死在代碼里Agent 行為變更上線前必須跑回歸集。這些規(guī)矩聽著像是增加負(fù)擔(dān)但真正做到之后項(xiàng)目的維護(hù)成本會(huì)明顯下降。Agent 工程跟傳統(tǒng)軟件開發(fā)不一樣的地方在于它的“代碼”一部分是由不可控模型生成的所以工程側(cè)的紀(jì)律、規(guī)范、控制措施比單純寫代碼重要得多。也正因如此Harness、Loop、Graph 這一套三層架構(gòu)才不只是技術(shù)偏好而是一種工程理念讓 Agent 的能力發(fā)揮上限同時(shí)讓它的行為守住底線。