環(huán)境踩坑實錄：Harness如何讓大模型不再“發(fā)瘋”)
文章目錄1. 先搞清楚Harness 是個啥1.1 什么時候根本不用上1.2 那 Harness 到底管啥2. 我們?yōu)樯缎枰@東西2.1 數(shù) T 的日志不能全喂給模型2.2 模型沒有眼睛MCP 就是它的眼鏡2.3 團隊的記憶不能靠腦補3. 具體怎么干3.1 外部工具skill 和 MCP3.2 管理上下文3.2.1 數(shù)據(jù)預(yù)計算3.2.2 成本控制3.3 規(guī)劃與決策3.3.1 指令系統(tǒng)3.3.2 任務(wù)調(diào)度3.4 知識管理3.4.1 記憶管理3.4.2 版本控制3.5 前后指標對比眼見為實4. 還沒解決的老大難5. 下一步想干嘛P.S. 無意間發(fā)現(xiàn)了一個巨牛的人工智能教程非常通俗易懂對AI感興趣的朋友強烈推薦去看看 傳送門https://blog.csdn.net/qq_34419312先聲明一下這篇不是教科書是我被大模型折騰了三個月之后的血淚匯報。全程大白話能聽懂模型會一本正經(jīng)地胡說八道這句話的人都能看下去。1. 先搞清楚Harness 是個啥OpenAI 今年 2 月把Harness 工程這個詞炒火了。Harness 直譯過來是馬具——韁繩、馬鞍、護具全算。馬具是干嘛的你見過不戴籠頭的馬嗎它想往哪跑往哪跑最后跑進玉米地你還得扛著胡蘿卜去追。大模型同理。你說你要聰明它能聰明地把同一個需求理解出十八個版本你說你自由發(fā)揮它能在你的生產(chǎn)庫里自由發(fā)揮出事故。套上馬具它才知道今天該往哪跑、跑到什么程度算完。但先說句公道話不是所有場景都配得上 Harness這玩意兒也有試用門檻。1.1 什么時候根本不用上**第一種你就臨時問幾個問題、檢索點資料、單輪對話用完就走。**普通模型加 System Prompt 加 RAG 完全夠用這時候選個聰明的模型比啥都強。非要上 Harness屬于下樓倒垃圾還要開個作戰(zhàn)會議。**第二種預(yù)算充足閉眼上最貴最強的模型。**那 Harness 可能反而拖后腿——這就好比給博爾特套一身鉛塊人家本來能跑你非讓人家先適應(yīng)裝備。**第三種公司從架構(gòu)上就是 AI 原生的核心價值全建立在模型的推理和決策上。**那你們已經(jīng)是騎在馬背上的騎手了還研究什么馬具研究方向應(yīng)該是怎么讓馬長翅膀。1.2 那 Harness 到底管啥一句話總結(jié)Agent 模型 Harness模型負責(zé)聰明Harness 負責(zé)穩(wěn)。就像創(chuàng)業(yè)公司的黃金搭檔一個負責(zé)天馬行空畫餅一個負責(zé)按住他別把公司作沒了。模型就是那個畫餅的Harness 就是那個按人的。順便說個真實感受跑一個 Demo 太容易了難的是讓模型連續(xù)三周穩(wěn)定輸出。我們前段時間參加公司內(nèi)部的 Agent 大賽將近三個星期前三天就把 Demo 跑起來了剩下的時間全在收拾模型的各種幺蛾子——輸出跑偏、任務(wù)超時、幻覺上頭、權(quán)限亂飛。跑 Demo 是開屏孔雀生產(chǎn)環(huán)境是拉磨的驢而我們的日常是既當(dāng)飼養(yǎng)員又當(dāng)獸醫(yī)。2. 我們?yōu)樯缎枰@東西起因很簡單我們希望大模型幫安全團隊干三件臟活累活結(jié)果每件都踩坑。2.1 數(shù) T 的日志不能全喂給模型第一件事是檢測惡意攻擊。網(wǎng)關(guān)日志光一天就是好幾個 T洗完數(shù)據(jù)也還有接近 T 級。把這玩意兒直接扔給大模型那不叫分析那叫給模型做壓力測試順便測試財務(wù)部的忍耐底線——錢和時間先不說上下文直接原地爆炸。2.2 模型沒有眼睛MCP 就是它的眼鏡第二件事是評估風(fēng)險請求。沒有 MCP 工具的時候大模型就是個睜眼瞎你說啥它都好的呢我理解您的意思好不容易給它配了工具它又開始有小脾氣這個接口我沒用過那個工具我不太熟下一步該干嘛你還得逐句哄著來。2.3 團隊的記憶不能靠腦補第三件事是管理團隊記憶。哪些信息值得寫進長期記憶Agent 平臺要擴展記憶怎么遷移這些問題不解決模型每次都是閃婚式合作今天教會它這類請求必須人工復(fù)核明天它就忘了比金魚還金魚——金魚好歹有七秒它是按輪次清零的。3. 具體怎么干踩完坑方法論就出來了?？偟脑瓌t是四件事約束動作空間、管好上下文、把調(diào)度交給確定性系統(tǒng)、把狀態(tài)和記憶存下來。下面按我們踩坑的順序展開。3.1 外部工具skill 和 MCP出于數(shù)據(jù)安全考慮Agent 一般蹲在沙箱里想讓它分析真實數(shù)據(jù)第一步是讓它看得見、夠得著。數(shù)據(jù)量小的時候你可以手動復(fù)制粘貼、傳附件粗糙但能用但這是重復(fù)性任務(wù)必須沉淀成穩(wěn)定可靠的 skill 和 MCP 工具。工具固化下來還有個隱藏福利能提升大模型的緩存命中率也就是省錢。這年頭能讓財務(wù)少皺一次眉就是技術(shù)人的最高勛章。但注意技能不是越多越好。社區(qū)有開發(fā)者反饋給 Agent 裝了上萬個 skill效果反而變得很差。你想想給一個人發(fā)一萬把工具他忙活一天大概率只用其中一把來開瓶蓋。我們自己的做法是以解決問題為導(dǎo)向idp-mcp 查 Hive 數(shù)據(jù)、ES 查詢技能分析實時流量、威脅情報技能查 IP把能力做成原子化的模塊隨取隨用還能直接復(fù)制到別的 Agent 里。3.2 管理上下文前面說了把 T 級數(shù)據(jù)直接懟給模型任務(wù)要么跑不起來要么跑起來比蝸牛還慢。而且長期看平臺限制執(zhí)行時間和思考輪次是必然的——上下文管理不是可選項是保命項。3.2.1 數(shù)據(jù)預(yù)計算核心思路一句話低信息密度的數(shù)據(jù)別直接給模型讓它干高價值的推理和歸因。我們的數(shù)倉分三層ods 是原始日志T 級dwd 做清洗和特征提取還是 T 級dws 是統(tǒng)計加工好的維度指標和事實指標百 M 級。前兩層必須在 Agent 之外先做清洗降維別拿去煩模型。到了 dws 層再按小時分區(qū)規(guī)模就小到模型可以愉快玩耍了。至于 dwd 的明細數(shù)據(jù)也不是沒用——dws 粒度不夠細的時候還得回去結(jié)合 dwd 查。簡而言之把白菜洗好切好端上桌別讓大廚自己去地里刨。3.2.2 成本控制有了工具、數(shù)據(jù)也降維了你當(dāng)然希望模型干得越多越好、干得越久越好。但現(xiàn)實是token 不是無限的模型的注意力也是稀缺品——比我的發(fā)際線還珍貴得省著用。我們的做法分兩類**被動限制外部兜底**工具層面限制 MCP 返回的行數(shù)和會話時長模型層面限制思考輪次和思考時長成本層面搞 token plan。**主動介入內(nèi)部取舍**在技能文檔和提示詞里規(guī)定時間范圍、查詢范圍、查詢深度分析任務(wù)按優(yōu)先級分層高優(yōu)先級全量分析中優(yōu)先級只看 TopN低優(yōu)先級抽樣檢查。舉個例子我們的分析任務(wù)覆蓋 1k API我總不能指望模型把所有接口流量都過一遍。所以先用廉價資源把 dwd 層的流量預(yù)算出風(fēng)險等級高風(fēng)險用 ES 全量查中低風(fēng)險做分層抽樣。讓模型有指向性地干活別像個剛拿到超市購物車的孩子看見什么都想往里裝。3.3 規(guī)劃與決策3.3.1 指令系統(tǒng)最簡單的做法就是在系統(tǒng)層面把規(guī)矩寫清楚比如CLAUDE.md和./prompts。這類提示詞一次定義好就別天天改你天天調(diào)它反而輸出不穩(wěn)定——好比領(lǐng)導(dǎo)天天改 KPI員工只會越來越迷茫。duties.md管該干嘛duties.md - 工作模式接收問題后先思考是否需要調(diào)用工具 → 制定分析計劃 → 執(zhí)行工具調(diào)用 → 基于結(jié)果給出結(jié)構(gòu)化回答 - 內(nèi)容呈現(xiàn)要求結(jié)構(gòu)化的、約定好的格式 - 工作原則使用什么工具、方案對比、信息來源 - 其他禁止事項rules.md管不該干嘛## 運行時產(chǎn)物隔離 12. 中間文件、下載產(chǎn)物、截圖、圖片、SQL、Excel、臨時報表、JSON 卡片、HTML 原型和調(diào)試日志 必須默認寫入 /tmp/runtime/不得寫到 Git 工作區(qū)根目錄 13. 只有明確需要版本化的團隊知識才寫入 team-knowledge/ 14. 不自作聰明在沒有被 的情況下保持沉默尤其最后這條沒被 就閉嘴強烈建議所有群聊的人類成員也抄一份。模型不寫這條能把工作目錄整成災(zāi)難現(xiàn)場截圖、SQL、臨時報表滿地開花比大學(xué)男生宿舍查寢前的桌面還壯觀。它還會在你開會的時候突然好心地冒出來發(fā)表意見——你不攔著它能幫你把會開了。3.3.2 任務(wù)調(diào)度重要原則**Agent 不負責(zé)判斷什么時候該干活這個交給外部確定性系統(tǒng)。**分析、推理、歸因給模型但何時開工得有人拍板。常規(guī)做法是 cron 定時任務(wù)到點觸發(fā)。但實際跑起來你會發(fā)現(xiàn)上游任務(wù)的完成時間根本不確定定時觸發(fā)經(jīng)常造成重復(fù)執(zhí)行、漏執(zhí)行、超時成功率低得感人。而且你讓模型自己決定什么時候干活它可能凌晨三點突然興奮“我覺得現(xiàn)在適合跑一次全量分析”——比我家貓半夜跑酷還準點。我們后來改成了事件觸發(fā)上游任務(wù)完成通過事件消息把模型叫起來干活。模型不用再猜上游什么時候就緒也不用自己管理調(diào)度狀態(tài)省了一大堆工具調(diào)用。效果后面有數(shù)據(jù)先賣個關(guān)子。3.4 知識管理重建一個 Agent 很容易難的是讓模型的行為保持一致。光復(fù)制模型、工具、提示詞、知識庫是不夠的——就像你換了個新同事簡歷一模一樣干起活來完全是兩個人。3.4.1 記憶管理跟大模型打交道多了你會發(fā)現(xiàn)人更多是在當(dāng) reviewer這個請求要人工復(fù)核、那個規(guī)則要寫進長期記憶、這類信息下次優(yōu)先展示。這些帶著個人色彩的業(yè)務(wù)判斷和處理偏好全是私域信息。不沉淀下來人和模型的磨合期會無限拉長——每次合作都像第一次相親自我介紹重來一遍還未必有下文。所以建議從第一天就重視記憶管理把它當(dāng)長期資產(chǎn)來存。我們現(xiàn)在的做法是團隊里明確寫入長期記憶這個動作讓模型把經(jīng)驗沉淀下來防止復(fù)發(fā)。3.4.2 版本控制用 git 管 Agent 的基礎(chǔ)文件系統(tǒng)提示詞、記憶文件、啟動腳本全管起來。好處是迭代可回溯、團隊可共享、沙箱重建不丟。以后模型出了幺蛾子還能git log看看是哪次提交把它帶溝里的——比看監(jiān)控回放找責(zé)任人有儀式感多了。3.5 前后指標對比眼見為實口說無憑貼一組我們同模型、同時段任務(wù)的前后對比。模型是 qwen3.7-plus主要調(diào)整了調(diào)度方式、加了重試熔斷、改了查詢方式、把重復(fù)邏輯固化成腳本指標調(diào)整前調(diào)整后變化Agent Loop 輪數(shù)52 輪21 輪↓ 59.6%執(zhí)行耗時2630.5s約 43.8 分鐘479.4s約 8 分鐘↓ 81.8%基礎(chǔ)輸入 Token22321278↓ 42.7%生成輸出 Token2424615421↓ 36.4%Token 總消耗2,920,4044,176,966↑ 43%增量主要是緩存工具調(diào)用次數(shù)也大幅縮水Bash 從 25 次降到 11 次Hive SQL 從 13 次降到 2 次Read 從 8 次直接清零。之前 Hive SQL 一次 2~14 分鐘13 次獨立查詢掃表占了總時長的七成以上——現(xiàn)在改成一次導(dǎo)出數(shù)據(jù)快照后續(xù)全部本地聚合重復(fù)的 Hive 讀寫和錯誤重試全沒了。說到重試必須單獨表揚一下熔斷規(guī)則每個操作最多重試 2 次不要反復(fù)嘗試不同參數(shù)格式。之前模型失敗了自己重試失敗了再重試比客服電話轉(zhuǎn)接還執(zhí)著你掛都掛不掉Token 就這么被它燒光了?，F(xiàn)在規(guī)則寫死效果立竿見影?？赡苡型瑢W(xué)要問Token 總量不是漲了嗎別急增量幾乎全來自緩存讀取和緩存創(chuàng)建而緩存命中的價格只有普通輸入的十分之一。用少量成本換執(zhí)行效率翻倍這筆賬怎么算都劃算——就像你多花了五塊錢升級加速包但省下了一下午的等待時間。4. 還沒解決的老大難坦白講Harness 不是萬能藥我們還有幾道題沒解完**幻覺這東西壓不滅。**系統(tǒng)提示詞、記憶層面都做了強化幻覺還是偶發(fā)。而且不同模型對指令的遵循程度不一樣一旦切換模型輸出就可能不一致——換模型跟換對象似的前任養(yǎng)成的習(xí)慣現(xiàn)任全不認。**任務(wù)要穩(wěn)定跑完還得繼續(xù)較勁。**Agent SDK 底座一直在迭代模型能力參差不齊上下文長度、提示詞長度都不一樣。保證持續(xù)輸出的穩(wěn)定性和行為一致性是場持久戰(zhàn)。**團隊 Agent 還是個人數(shù)字分身**我們傾向團隊優(yōu)先成員隨時能用、能共同管理經(jīng)驗復(fù)用、口徑統(tǒng)一、共享記憶飛書生態(tài)還方便接入。個人分身當(dāng)然也有價值但一個人養(yǎng)一個 AI 管家和一群人養(yǎng)一個 AI 同事投入產(chǎn)出比完全不是一回事。**一定需要 SOTA 模型嗎**真不一定。不是所有任務(wù)都需要最前沿的模型我們這套框架用的就是國產(chǎn)大模型工程上優(yōu)化好之后實際用下來完全能滿足需求。SOTA 是錦上添花Harness 才是雪中送炭。5. 下一步想干嘛現(xiàn)在模型是能穩(wěn)定跑了但新的問題冒出來了Agent 如果只顧埋頭輸出、收不到人類的反饋它會不斷自我強化最后鉆進死胡同出不來——像極了把導(dǎo)航開到斷頭路還堅信前方可達的司機。所以下一步的聚焦點是怎么高效收集人類真實的反饋和糾正讓 Agent 自己總結(jié)經(jīng)驗、避免再次踩坑。說白了就是給它裝一個人類吐槽接收器把我們的嫌棄變成它的成長。最后說句掏心窩子的模型是馬Harness 是馬具但馬具不會自己調(diào)整松緊這件事終歸得人來干。所以各位別擔(dān)心被取代——你還能當(dāng)個馬倌而且是個越來越省心的馬倌。P.S. 無意間發(fā)現(xiàn)了一個巨牛的人工智能教程非常通俗易懂對AI感興趣的朋友強烈推薦去看看傳送門https://blog.csdn.net/qq_34419312 AI Agent生產(chǎn)環(huán)境踩坑實錄：Harness如何讓大模型不再“發(fā)瘋”
文章目錄1. 先搞清楚Harness 是個啥1.1 什么時候根本不用上1.2 那 Harness 到底管啥2. 我們?yōu)樯缎枰@東西2.1 數(shù) T 的日志不能全喂給模型2.2 模型沒有眼睛MCP 就是它的眼鏡2.3 團隊的記憶不能靠腦補3. 具體怎么干3.1 外部工具skill 和 MCP3.2 管理上下文3.2.1 數(shù)據(jù)預(yù)計算3.2.2 成本控制3.3 規(guī)劃與決策3.3.1 指令系統(tǒng)3.3.2 任務(wù)調(diào)度3.4 知識管理3.4.1 記憶管理3.4.2 版本控制3.5 前后指標對比眼見為實4. 還沒解決的老大難5. 下一步想干嘛P.S. 無意間發(fā)現(xiàn)了一個巨牛的人工智能教程非常通俗易懂對AI感興趣的朋友強烈推薦去看看 傳送門https://blog.csdn.net/qq_34419312先聲明一下這篇不是教科書是我被大模型折騰了三個月之后的血淚匯報。全程大白話能聽懂模型會一本正經(jīng)地胡說八道這句話的人都能看下去。1. 先搞清楚Harness 是個啥OpenAI 今年 2 月把Harness 工程這個詞炒火了。Harness 直譯過來是馬具——韁繩、馬鞍、護具全算。馬具是干嘛的你見過不戴籠頭的馬嗎它想往哪跑往哪跑最后跑進玉米地你還得扛著胡蘿卜去追。大模型同理。你說你要聰明它能聰明地把同一個需求理解出十八個版本你說你自由發(fā)揮它能在你的生產(chǎn)庫里自由發(fā)揮出事故。套上馬具它才知道今天該往哪跑、跑到什么程度算完。但先說句公道話不是所有場景都配得上 Harness這玩意兒也有試用門檻。1.1 什么時候根本不用上**第一種你就臨時問幾個問題、檢索點資料、單輪對話用完就走。**普通模型加 System Prompt 加 RAG 完全夠用這時候選個聰明的模型比啥都強。非要上 Harness屬于下樓倒垃圾還要開個作戰(zhàn)會議。**第二種預(yù)算充足閉眼上最貴最強的模型。**那 Harness 可能反而拖后腿——這就好比給博爾特套一身鉛塊人家本來能跑你非讓人家先適應(yīng)裝備。**第三種公司從架構(gòu)上就是 AI 原生的核心價值全建立在模型的推理和決策上。**那你們已經(jīng)是騎在馬背上的騎手了還研究什么馬具研究方向應(yīng)該是怎么讓馬長翅膀。1.2 那 Harness 到底管啥一句話總結(jié)Agent 模型 Harness模型負責(zé)聰明Harness 負責(zé)穩(wěn)。就像創(chuàng)業(yè)公司的黃金搭檔一個負責(zé)天馬行空畫餅一個負責(zé)按住他別把公司作沒了。模型就是那個畫餅的Harness 就是那個按人的。順便說個真實感受跑一個 Demo 太容易了難的是讓模型連續(xù)三周穩(wěn)定輸出。我們前段時間參加公司內(nèi)部的 Agent 大賽將近三個星期前三天就把 Demo 跑起來了剩下的時間全在收拾模型的各種幺蛾子——輸出跑偏、任務(wù)超時、幻覺上頭、權(quán)限亂飛。跑 Demo 是開屏孔雀生產(chǎn)環(huán)境是拉磨的驢而我們的日常是既當(dāng)飼養(yǎng)員又當(dāng)獸醫(yī)。2. 我們?yōu)樯缎枰@東西起因很簡單我們希望大模型幫安全團隊干三件臟活累活結(jié)果每件都踩坑。2.1 數(shù) T 的日志不能全喂給模型第一件事是檢測惡意攻擊。網(wǎng)關(guān)日志光一天就是好幾個 T洗完數(shù)據(jù)也還有接近 T 級。把這玩意兒直接扔給大模型那不叫分析那叫給模型做壓力測試順便測試財務(wù)部的忍耐底線——錢和時間先不說上下文直接原地爆炸。2.2 模型沒有眼睛MCP 就是它的眼鏡第二件事是評估風(fēng)險請求。沒有 MCP 工具的時候大模型就是個睜眼瞎你說啥它都好的呢我理解您的意思好不容易給它配了工具它又開始有小脾氣這個接口我沒用過那個工具我不太熟下一步該干嘛你還得逐句哄著來。2.3 團隊的記憶不能靠腦補第三件事是管理團隊記憶。哪些信息值得寫進長期記憶Agent 平臺要擴展記憶怎么遷移這些問題不解決模型每次都是閃婚式合作今天教會它這類請求必須人工復(fù)核明天它就忘了比金魚還金魚——金魚好歹有七秒它是按輪次清零的。3. 具體怎么干踩完坑方法論就出來了?？偟脑瓌t是四件事約束動作空間、管好上下文、把調(diào)度交給確定性系統(tǒng)、把狀態(tài)和記憶存下來。下面按我們踩坑的順序展開。3.1 外部工具skill 和 MCP出于數(shù)據(jù)安全考慮Agent 一般蹲在沙箱里想讓它分析真實數(shù)據(jù)第一步是讓它看得見、夠得著。數(shù)據(jù)量小的時候你可以手動復(fù)制粘貼、傳附件粗糙但能用但這是重復(fù)性任務(wù)必須沉淀成穩(wěn)定可靠的 skill 和 MCP 工具。工具固化下來還有個隱藏福利能提升大模型的緩存命中率也就是省錢。這年頭能讓財務(wù)少皺一次眉就是技術(shù)人的最高勛章。但注意技能不是越多越好。社區(qū)有開發(fā)者反饋給 Agent 裝了上萬個 skill效果反而變得很差。你想想給一個人發(fā)一萬把工具他忙活一天大概率只用其中一把來開瓶蓋。我們自己的做法是以解決問題為導(dǎo)向idp-mcp 查 Hive 數(shù)據(jù)、ES 查詢技能分析實時流量、威脅情報技能查 IP把能力做成原子化的模塊隨取隨用還能直接復(fù)制到別的 Agent 里。3.2 管理上下文前面說了把 T 級數(shù)據(jù)直接懟給模型任務(wù)要么跑不起來要么跑起來比蝸牛還慢。而且長期看平臺限制執(zhí)行時間和思考輪次是必然的——上下文管理不是可選項是保命項。3.2.1 數(shù)據(jù)預(yù)計算核心思路一句話低信息密度的數(shù)據(jù)別直接給模型讓它干高價值的推理和歸因。我們的數(shù)倉分三層ods 是原始日志T 級dwd 做清洗和特征提取還是 T 級dws 是統(tǒng)計加工好的維度指標和事實指標百 M 級。前兩層必須在 Agent 之外先做清洗降維別拿去煩模型。到了 dws 層再按小時分區(qū)規(guī)模就小到模型可以愉快玩耍了。至于 dwd 的明細數(shù)據(jù)也不是沒用——dws 粒度不夠細的時候還得回去結(jié)合 dwd 查。簡而言之把白菜洗好切好端上桌別讓大廚自己去地里刨。3.2.2 成本控制有了工具、數(shù)據(jù)也降維了你當(dāng)然希望模型干得越多越好、干得越久越好。但現(xiàn)實是token 不是無限的模型的注意力也是稀缺品——比我的發(fā)際線還珍貴得省著用。我們的做法分兩類**被動限制外部兜底**工具層面限制 MCP 返回的行數(shù)和會話時長模型層面限制思考輪次和思考時長成本層面搞 token plan。**主動介入內(nèi)部取舍**在技能文檔和提示詞里規(guī)定時間范圍、查詢范圍、查詢深度分析任務(wù)按優(yōu)先級分層高優(yōu)先級全量分析中優(yōu)先級只看 TopN低優(yōu)先級抽樣檢查。舉個例子我們的分析任務(wù)覆蓋 1k API我總不能指望模型把所有接口流量都過一遍。所以先用廉價資源把 dwd 層的流量預(yù)算出風(fēng)險等級高風(fēng)險用 ES 全量查中低風(fēng)險做分層抽樣。讓模型有指向性地干活別像個剛拿到超市購物車的孩子看見什么都想往里裝。3.3 規(guī)劃與決策3.3.1 指令系統(tǒng)最簡單的做法就是在系統(tǒng)層面把規(guī)矩寫清楚比如CLAUDE.md和./prompts。這類提示詞一次定義好就別天天改你天天調(diào)它反而輸出不穩(wěn)定——好比領(lǐng)導(dǎo)天天改 KPI員工只會越來越迷茫。duties.md管該干嘛duties.md - 工作模式接收問題后先思考是否需要調(diào)用工具 → 制定分析計劃 → 執(zhí)行工具調(diào)用 → 基于結(jié)果給出結(jié)構(gòu)化回答 - 內(nèi)容呈現(xiàn)要求結(jié)構(gòu)化的、約定好的格式 - 工作原則使用什么工具、方案對比、信息來源 - 其他禁止事項rules.md管不該干嘛## 運行時產(chǎn)物隔離 12. 中間文件、下載產(chǎn)物、截圖、圖片、SQL、Excel、臨時報表、JSON 卡片、HTML 原型和調(diào)試日志 必須默認寫入 /tmp/runtime/不得寫到 Git 工作區(qū)根目錄 13. 只有明確需要版本化的團隊知識才寫入 team-knowledge/ 14. 不自作聰明在沒有被 的情況下保持沉默尤其最后這條沒被 就閉嘴強烈建議所有群聊的人類成員也抄一份。模型不寫這條能把工作目錄整成災(zāi)難現(xiàn)場截圖、SQL、臨時報表滿地開花比大學(xué)男生宿舍查寢前的桌面還壯觀。它還會在你開會的時候突然好心地冒出來發(fā)表意見——你不攔著它能幫你把會開了。3.3.2 任務(wù)調(diào)度重要原則**Agent 不負責(zé)判斷什么時候該干活這個交給外部確定性系統(tǒng)。**分析、推理、歸因給模型但何時開工得有人拍板。常規(guī)做法是 cron 定時任務(wù)到點觸發(fā)。但實際跑起來你會發(fā)現(xiàn)上游任務(wù)的完成時間根本不確定定時觸發(fā)經(jīng)常造成重復(fù)執(zhí)行、漏執(zhí)行、超時成功率低得感人。而且你讓模型自己決定什么時候干活它可能凌晨三點突然興奮“我覺得現(xiàn)在適合跑一次全量分析”——比我家貓半夜跑酷還準點。我們后來改成了事件觸發(fā)上游任務(wù)完成通過事件消息把模型叫起來干活。模型不用再猜上游什么時候就緒也不用自己管理調(diào)度狀態(tài)省了一大堆工具調(diào)用。效果后面有數(shù)據(jù)先賣個關(guān)子。3.4 知識管理重建一個 Agent 很容易難的是讓模型的行為保持一致。光復(fù)制模型、工具、提示詞、知識庫是不夠的——就像你換了個新同事簡歷一模一樣干起活來完全是兩個人。3.4.1 記憶管理跟大模型打交道多了你會發(fā)現(xiàn)人更多是在當(dāng) reviewer這個請求要人工復(fù)核、那個規(guī)則要寫進長期記憶、這類信息下次優(yōu)先展示。這些帶著個人色彩的業(yè)務(wù)判斷和處理偏好全是私域信息。不沉淀下來人和模型的磨合期會無限拉長——每次合作都像第一次相親自我介紹重來一遍還未必有下文。所以建議從第一天就重視記憶管理把它當(dāng)長期資產(chǎn)來存。我們現(xiàn)在的做法是團隊里明確寫入長期記憶這個動作讓模型把經(jīng)驗沉淀下來防止復(fù)發(fā)。3.4.2 版本控制用 git 管 Agent 的基礎(chǔ)文件系統(tǒng)提示詞、記憶文件、啟動腳本全管起來。好處是迭代可回溯、團隊可共享、沙箱重建不丟。以后模型出了幺蛾子還能git log看看是哪次提交把它帶溝里的——比看監(jiān)控回放找責(zé)任人有儀式感多了。3.5 前后指標對比眼見為實口說無憑貼一組我們同模型、同時段任務(wù)的前后對比。模型是 qwen3.7-plus主要調(diào)整了調(diào)度方式、加了重試熔斷、改了查詢方式、把重復(fù)邏輯固化成腳本指標調(diào)整前調(diào)整后變化Agent Loop 輪數(shù)52 輪21 輪↓ 59.6%執(zhí)行耗時2630.5s約 43.8 分鐘479.4s約 8 分鐘↓ 81.8%基礎(chǔ)輸入 Token22321278↓ 42.7%生成輸出 Token2424615421↓ 36.4%Token 總消耗2,920,4044,176,966↑ 43%增量主要是緩存工具調(diào)用次數(shù)也大幅縮水Bash 從 25 次降到 11 次Hive SQL 從 13 次降到 2 次Read 從 8 次直接清零。之前 Hive SQL 一次 2~14 分鐘13 次獨立查詢掃表占了總時長的七成以上——現(xiàn)在改成一次導(dǎo)出數(shù)據(jù)快照后續(xù)全部本地聚合重復(fù)的 Hive 讀寫和錯誤重試全沒了。說到重試必須單獨表揚一下熔斷規(guī)則每個操作最多重試 2 次不要反復(fù)嘗試不同參數(shù)格式。之前模型失敗了自己重試失敗了再重試比客服電話轉(zhuǎn)接還執(zhí)著你掛都掛不掉Token 就這么被它燒光了?，F(xiàn)在規(guī)則寫死效果立竿見影?？赡苡型瑢W(xué)要問Token 總量不是漲了嗎別急增量幾乎全來自緩存讀取和緩存創(chuàng)建而緩存命中的價格只有普通輸入的十分之一。用少量成本換執(zhí)行效率翻倍這筆賬怎么算都劃算——就像你多花了五塊錢升級加速包但省下了一下午的等待時間。4. 還沒解決的老大難坦白講Harness 不是萬能藥我們還有幾道題沒解完**幻覺這東西壓不滅。**系統(tǒng)提示詞、記憶層面都做了強化幻覺還是偶發(fā)。而且不同模型對指令的遵循程度不一樣一旦切換模型輸出就可能不一致——換模型跟換對象似的前任養(yǎng)成的習(xí)慣現(xiàn)任全不認。**任務(wù)要穩(wěn)定跑完還得繼續(xù)較勁。**Agent SDK 底座一直在迭代模型能力參差不齊上下文長度、提示詞長度都不一樣。保證持續(xù)輸出的穩(wěn)定性和行為一致性是場持久戰(zhàn)。**團隊 Agent 還是個人數(shù)字分身**我們傾向團隊優(yōu)先成員隨時能用、能共同管理經(jīng)驗復(fù)用、口徑統(tǒng)一、共享記憶飛書生態(tài)還方便接入。個人分身當(dāng)然也有價值但一個人養(yǎng)一個 AI 管家和一群人養(yǎng)一個 AI 同事投入產(chǎn)出比完全不是一回事。**一定需要 SOTA 模型嗎**真不一定。不是所有任務(wù)都需要最前沿的模型我們這套框架用的就是國產(chǎn)大模型工程上優(yōu)化好之后實際用下來完全能滿足需求。SOTA 是錦上添花Harness 才是雪中送炭。5. 下一步想干嘛現(xiàn)在模型是能穩(wěn)定跑了但新的問題冒出來了Agent 如果只顧埋頭輸出、收不到人類的反饋它會不斷自我強化最后鉆進死胡同出不來——像極了把導(dǎo)航開到斷頭路還堅信前方可達的司機。所以下一步的聚焦點是怎么高效收集人類真實的反饋和糾正讓 Agent 自己總結(jié)經(jīng)驗、避免再次踩坑。說白了就是給它裝一個人類吐槽接收器把我們的嫌棄變成它的成長。最后說句掏心窩子的模型是馬Harness 是馬具但馬具不會自己調(diào)整松緊這件事終歸得人來干。所以各位別擔(dān)心被取代——你還能當(dāng)個馬倌而且是個越來越省心的馬倌。P.S. 無意間發(fā)現(xiàn)了一個巨牛的人工智能教程非常通俗易懂對AI感興趣的朋友強烈推薦去看看傳送門https://blog.csdn.net/qq_34419312