2. 為什么自用 Agent 值得做一次全面測(cè)試先說(shuō)個(gè)背景。我大概從去年開(kāi)始重度使用自建 Agent最開(kāi)始也就是搭個(gè)殼子接入大模型 API讓它幫我查資料、整理筆記。后來(lái)逐漸加了工具調(diào)用、記憶系統(tǒng)、多輪對(duì)話管理功能越堆越多但說(shuō)實(shí)話大部分時(shí)間都是“能用就行”的心態(tài)——只要它能跑通我常用的那幾條路徑我就不太愿意去折騰它。直到有一次我在一個(gè)比較重要的場(chǎng)景里連續(xù)踩了兩個(gè)坑一個(gè)是因?yàn)楣ぞ哒{(diào)用參數(shù)格式錯(cuò)誤導(dǎo)致 Agent 白跑了一大段流程另一個(gè)是記憶串線把上一次對(duì)話的舊信息翻出來(lái)答非所問(wèn)。那時(shí)候我才意識(shí)到自己天天在用的東西其實(shí)我根本不清楚它能干什么、不能干什么邊界在哪里壞了會(huì)以什么形式壞。所以就有了這次全面功能測(cè)試的想法。這篇博文不是給安全測(cè)試人員看的也不是權(quán)威評(píng)測(cè)報(bào)告就是一個(gè)普通開(kāi)發(fā)者給自己的自用 Agent 做了一次摸底。測(cè)試對(duì)象是“自用”的意味著它不需要達(dá)到商用產(chǎn)品的穩(wěn)定性和覆蓋面但至少得讓使用者心里有數(shù)哪些功能是可靠的哪些是碰運(yùn)氣的哪些干脆就是擺設(shè)。這套測(cè)試思路、用例設(shè)計(jì)、踩坑記錄對(duì)你自己的 Agent 同樣適用。3. 測(cè)試前要先想清楚的事3.1 明確 Agent 的能力邊界開(kāi)始寫測(cè)試用例之前我先把整個(gè) Agent 的功能拆了一遍。手頭的這個(gè) Agent 核心能力包括接入大模型做自然語(yǔ)言對(duì)話支持多輪上下文調(diào)用外部工具主要是網(wǎng)絡(luò)搜索、網(wǎng)頁(yè)內(nèi)容抓取、本地文件讀寫、代碼執(zhí)行維護(hù)一個(gè)簡(jiǎn)單的記憶系統(tǒng)能存儲(chǔ)和提取長(zhǎng)期信息支持把長(zhǎng)任務(wù)拆成多個(gè)步驟執(zhí)行輸出格式化內(nèi)容比如 Markdown、表格、統(tǒng)計(jì)摘要畫了一張功能清單之后就能很清楚地看到測(cè)試范圍應(yīng)該覆蓋哪些方向。而且單子列出來(lái)之后還有一個(gè)額外好處你會(huì)發(fā)現(xiàn)有些功能你以為自己有、其實(shí)根本沒(méi)實(shí)現(xiàn)過(guò)比如我列完才發(fā)現(xiàn)“文件讀寫”這個(gè)工具雖然接了但從來(lái)沒(méi)實(shí)際穿過(guò)端到端流程。3.2 設(shè)計(jì)測(cè)試用例的基本原則給 Agent 設(shè)計(jì)測(cè)試用例和給傳統(tǒng)軟件設(shè)計(jì)測(cè)試用例有一些顯著差異。傳統(tǒng)軟件的行為是可預(yù)期的——同樣輸入、同樣路徑結(jié)果是確定的。但 Agent 底層是概率模型同樣一句話問(wèn)兩次輸出可能不同甚至結(jié)論方向都可能不同。所以我的原則是每個(gè)用例不只測(cè)一次至少跑三遍觀察穩(wěn)定性覆蓋正確場(chǎng)景的同時(shí)必須覆蓋異常場(chǎng)景空輸入、超長(zhǎng)輸入、歧義指令、模糊指代不只測(cè)“能不能答出來(lái)”還要測(cè)“答得對(duì)不對(duì)”“答得及時(shí)不及時(shí)”記錄每一項(xiàng)的失敗模式這個(gè)比記錄成功更有價(jià)值這是個(gè)很關(guān)鍵的思維轉(zhuǎn)變。我之前測(cè)試的時(shí)候總想著“驗(yàn)證它行不行”但自用 Agent 的測(cè)試重心應(yīng)該放在“了解它會(huì)在什么地方、以什么方式翻車”這決定了你在使用時(shí)能不能避開(kāi)這些坑或者為該場(chǎng)景準(zhǔn)備后備方案。3.3 測(cè)試環(huán)境與記錄方式自用系統(tǒng)的測(cè)試不需要什么專業(yè)的測(cè)試框架但環(huán)境隔離和記錄習(xí)慣還是要注意。我當(dāng)時(shí)做了兩件事開(kāi)了獨(dú)立的 API Key 和本地環(huán)境避免測(cè)試流量和生產(chǎn)環(huán)境的真實(shí)對(duì)話混在一起建了一個(gè)表格記錄每一個(gè)用例的測(cè)試描述、輸入內(nèi)容、預(yù)期行為、實(shí)際結(jié)果、穩(wěn)定性評(píng)價(jià)、失敗模式描述這個(gè)表格是整套測(cè)試的骨架。后期排查問(wèn)題、復(fù)盤功能缺陷、甚至重新調(diào)整提示詞和工具參數(shù)都要回到這張表里找依據(jù)。4. 核心功能測(cè)試對(duì)話質(zhì)量和理解能力4.1 基礎(chǔ)問(wèn)答能力第一塊測(cè)試的是最基礎(chǔ)的自然語(yǔ)言對(duì)話能力。這一塊我分了幾個(gè)方向來(lái)測(cè)常識(shí)問(wèn)題比如“解釋一下什么是數(shù)據(jù)庫(kù)索引”背景敏感問(wèn)題比如“幫我看看這份報(bào)告里哪個(gè)月的數(shù)據(jù)異?！毙枰Y(jié)合對(duì)話歷史理解指代邏輯推理問(wèn)題比如“A比B高B比C高誰(shuí)最矮”創(chuàng)造性任務(wù)比如“幫我想五個(gè)博客標(biāo)題”實(shí)測(cè)下來(lái)基礎(chǔ)問(wèn)答基本沒(méi)問(wèn)題大模型本身的語(yǔ)言能力擺在那里這塊其實(shí)最不需要擔(dān)心。但有一個(gè)失真現(xiàn)象值得注意同樣的提示詞反復(fù)問(wèn)答案會(huì)換著花樣表達(dá)這在某些場(chǎng)景下會(huì)影響使用體驗(yàn)。比如我讓它輸出固定格式的工作周報(bào)它每次的段落劃分、用詞習(xí)慣都會(huì)有細(xì)微變化我還得花時(shí)間整理格式。所以如果你對(duì)輸出格式有硬性要求建議在提示詞里加上“嚴(yán)格按照給定格式輸出”并且測(cè)試時(shí)專門加一條格式一致性用例。4.2 上下文理解與多輪對(duì)話這個(gè)是我比較關(guān)心的部分因?yàn)槿粘Ｊ褂弥薪^大多數(shù)對(duì)話都不是一次性問(wèn)完的。我模擬了三個(gè)場(chǎng)景連續(xù)追問(wèn)型先問(wèn)“上海本周天氣怎么樣”接著問(wèn)“那下周呢”再問(wèn)“適合穿什么衣服”信息累積型先拋一段背景材料再要求基于這段材料回答具體問(wèn)題指代消解型對(duì)話中多次出現(xiàn)“它”“這個(gè)”“那家”等代詞看 Agent 能不能準(zhǔn)確對(duì)應(yīng)實(shí)測(cè)中發(fā)現(xiàn)3-5 輪之內(nèi)的多輪對(duì)話基本沒(méi)有問(wèn)題模型能處理常見(jiàn)指代。但超過(guò) 8-10 輪之后確實(shí)開(kāi)始出現(xiàn)上下文遺忘的跡象——尤其是前面幾輪提到的細(xì)節(jié)再提起來(lái)的時(shí)候它已經(jīng)不太記得了。這算是大模型的通病不能完全歸咎于 Agent 的設(shè)計(jì)。另外還發(fā)現(xiàn)一個(gè)有意思的現(xiàn)象長(zhǎng)對(duì)話的后期即使模型沒(méi)有“遺忘”也可能因?yàn)樯舷挛睦镄畔⑻喽鲃?dòng)忽略某些細(xì)節(jié)。我用了一個(gè)故意埋信息的對(duì)話測(cè)試——在早期對(duì)話里提到了“密碼箱的密碼是 4312”中間穿插了十幾輪無(wú)關(guān)對(duì)話最后問(wèn)“之前提到的密碼是什么”。結(jié)果是它給了一個(gè)完全編造的答案而不是“4312”。這個(gè)案例說(shuō)明如果你的使用場(chǎng)景需要長(zhǎng)期跨輪次的信息記憶單純靠對(duì)話上下文是不行的必須上外置記憶系統(tǒng)。4.3 輸入魯棒性測(cè)試這個(gè)部分我模擬的是真實(shí)使用中的“臟輸入”情況。主要包括空輸入、純標(biāo)點(diǎn)輸入全英文內(nèi)容驗(yàn)證非中文任務(wù)的能力包含“亂碼”和特殊字符的輸入歧義問(wèn)題比如“蘋果好吃嗎”——是指水果還是指手機(jī)超長(zhǎng)輸入一次性粘貼一大段文章測(cè)試是否有輸入長(zhǎng)度限制結(jié)論是大部分臟輸入都能得到合理應(yīng)對(duì)模型不會(huì)崩潰也不會(huì)報(bào)錯(cuò)。但超長(zhǎng)輸入環(huán)節(jié)發(fā)現(xiàn)了一個(gè)隱蔽問(wèn)題——輸入超過(guò)一定長(zhǎng)度后Agent 沒(méi)有拒絕也沒(méi)有截?cái)喽恰凹傺b”看到了全文實(shí)際上中間部分的信息它就丟失了。這個(gè)比直接報(bào)錯(cuò)更難發(fā)現(xiàn)因?yàn)楸砻媪鞒淌亲咄甑妮敵龅膬?nèi)容質(zhì)量卻明顯下降。建議在自用時(shí)對(duì)超長(zhǎng)內(nèi)容先做分段摘要處理不要直接一股腦塞給 Agent。5. 工具調(diào)用與多步執(zhí)行測(cè)試5.1 整體方案和數(shù)據(jù)來(lái)源“自用 Agent 的全面功能測(cè)試”這個(gè)標(biāo)題里的重點(diǎn)其實(shí)是“Agent”而 Agent 相比普通聊天機(jī)器人最大的區(qū)別就是能調(diào)用工具、執(zhí)行動(dòng)作。這一塊是測(cè)試的重頭戲。我手頭的 Agent 集成了幾類工具網(wǎng)絡(luò)搜索、網(wǎng)頁(yè)抓取、本地文件讀寫、代碼執(zhí)行。測(cè)試策略是對(duì)每一個(gè)工具設(shè)計(jì)“正確調(diào)用”和“錯(cuò)誤觸發(fā)”兩類用例觀察 Agent 是否能在合適的場(chǎng)景選擇正確的工具以及給出不完整信息時(shí)能否澄清需求。5.2 網(wǎng)絡(luò)搜索與信息抓取搜索類工具最常見(jiàn)的翻車方式是Agent 編造搜索結(jié)果。具體來(lái)說(shuō)我在測(cè)試“幫我查一下某本技術(shù)書在網(wǎng)站上的最新評(píng)論”時(shí)過(guò)一會(huì)兒它給了我一個(gè)看似正常的答案包含了評(píng)分和評(píng)論摘要。我后來(lái)去人工比對(duì)發(fā)現(xiàn)結(jié)果基本對(duì)不上評(píng)分甚至完全錯(cuò)誤。這說(shuō)明 Agent 在搜索工具沒(méi)有得到有效結(jié)果時(shí)會(huì)“腦補(bǔ)”一個(gè)合理答案。這是一個(gè)非常高風(fēng)險(xiǎn)的失敗模式比直接說(shuō)“我沒(méi)找到”嚴(yán)重得多。因?yàn)槟愀静粫?huì)察覺(jué)它是在編造尤其當(dāng)結(jié)論看起來(lái)還挺合理的時(shí)候。我的應(yīng)對(duì)方式是給搜索類工具的提示詞里加了一條硬規(guī)則必須提供具體來(lái)源鏈接且答案摘要必須與來(lái)源頁(yè)面內(nèi)容一致如果沒(méi)有搜到有效結(jié)果明確回復(fù)“未找到相關(guān)信息”禁止猜測(cè)或編造。加了這條之后編造的情況明顯減少但沒(méi)有完全杜絕。網(wǎng)頁(yè)抓取工具的問(wèn)題則是另一個(gè)方向經(jīng)常遇到目標(biāo)網(wǎng)站有反爬策略、需要登錄、或者頁(yè)面結(jié)構(gòu)復(fù)雜導(dǎo)致核心內(nèi)容被遺漏。這算是工具本身的局限性不算 Agent 的 Bug但它會(huì)影響你判斷 Agent 的輸出質(zhì)量到底算不算合格。所以測(cè)試的時(shí)候要分開(kāi)記錄“工具執(zhí)行失敗”和“Agent 決策失誤”兩類錯(cuò)誤否則排查問(wèn)題時(shí)會(huì)非常混亂。5.3 代碼執(zhí)行與文件讀寫代碼執(zhí)行這塊我是帶了點(diǎn)“故意刁難”的心態(tài)去測(cè)的。比如讓它“寫一個(gè) Python 腳本計(jì)算某目錄下所有文件的總大小”讓它“讀一下某個(gè)文件的前 10 行并統(tǒng)計(jì)關(guān)鍵詞出現(xiàn)次數(shù)”讓它“執(zhí)行剛才的腳本然后告訴我輸出”實(shí)測(cè)下來(lái)簡(jiǎn)單的代碼生成和本地執(zhí)行路徑是通的但它有一個(gè)常見(jiàn)的決策問(wèn)題生成代碼之后不會(huì)先檢查代碼的正確性就執(zhí)行。遇到?jīng)]有安裝的依賴包就直接報(bào)錯(cuò)退出。這對(duì)自用來(lái)說(shuō)還能接受我會(huì)在提示詞里讓 Agent 在代碼執(zhí)行前自動(dòng)檢查依賴、做好異常處理但坦白說(shuō)距離“順手”還有差距。5.4 多步任務(wù)拆解這個(gè)功能是我最期待的也是最失望的。我設(shè)計(jì)了一個(gè)典型的多步驟任務(wù)“查一下某城市最近三天空氣質(zhì)量然后結(jié)合近期天氣給出戶外運(yùn)動(dòng)建議最后把建議整理成一份 200 字左右的摘要?！崩硐霠顟B(tài)下Agent 應(yīng)該先調(diào)用搜索獲取數(shù)據(jù)再推理分析最后格式化輸出。但實(shí)測(cè)結(jié)果時(shí)好時(shí)壞——大約一半的次數(shù)它跳過(guò)搜索直接“憑常識(shí)”回答另外一半才是真正調(diào)用工具完成全流程。即使調(diào)用了工具中間還可能漏步驟比如只做了空氣質(zhì)量部分天氣和活動(dòng)建議就草草帶過(guò)。這種“流程不可控”的問(wèn)題是自用 Agent 在日常使用中最消耗信任的地方。你給了一個(gè)復(fù)雜任務(wù)之后根本不知道它會(huì)走哪條路完成它甚至不知道它會(huì)不會(huì)“偷懶”抄近路。優(yōu)化方式上我嘗試過(guò)在提示詞里強(qiáng)制要求“按步驟執(zhí)行每步輸出中間結(jié)果”有改善但不多。后來(lái)我換了個(gè)思路把復(fù)雜任務(wù)的執(zhí)行流程拆成獨(dú)立的會(huì)話讓 Agent 每完成一步就停下來(lái)確認(rèn)再進(jìn)入下一步。這犧牲了一點(diǎn)自動(dòng)化程度但大幅提高了可控性。6. 記憶能力的專項(xiàng)測(cè)試6.1 記憶系統(tǒng)開(kāi)關(guān)與存儲(chǔ)持久性我用的這個(gè) Agent 配了一個(gè)輕量級(jí)的記憶系統(tǒng)邏輯很簡(jiǎn)單對(duì)話過(guò)程中持續(xù)提取關(guān)鍵信息比如用戶偏好、事實(shí)性數(shù)據(jù)、任務(wù)進(jìn)度存儲(chǔ)到本地在后續(xù)對(duì)話中作為上下文注入。測(cè)試分兩塊一是會(huì)話內(nèi)記憶二是跨會(huì)話記憶。會(huì)話內(nèi)記憶的測(cè)試結(jié)果比預(yù)期好。前面提過(guò)的“密碼 4312”那個(gè)用例在開(kāi)啟了記憶系統(tǒng)之后表現(xiàn)不錯(cuò)它能在十幾輪對(duì)話之后準(zhǔn)確調(diào)出早期信息。說(shuō)明記憶系統(tǒng)對(duì)于長(zhǎng)對(duì)話的信息保持確實(shí)有效?？鐣?huì)話記憶就有點(diǎn)微妙了。我專門過(guò)了一天之后再來(lái)問(wèn)“我上次聊天時(shí)讓你記住的那個(gè)寫作偏好是什么”結(jié)果它能準(zhǔn)確回答出來(lái)。這個(gè)結(jié)果我很滿意。但在另一個(gè)測(cè)試?yán)锇l(fā)現(xiàn)了一個(gè)問(wèn)題記憶系統(tǒng)會(huì)把一些不該記的信息也存進(jìn)去比如一次性的、臨時(shí)性的內(nèi)容。這種信息如果又被注入到后續(xù)對(duì)話里可能造成干擾。更麻煩的是有些事實(shí)性信息如果后期被糾正比如用戶改了偏好或數(shù)據(jù)更新記憶里的舊信息不會(huì)自動(dòng)被覆蓋新舊信息同時(shí)存在時(shí) Agent 可能會(huì)用舊的。6.2 記憶錯(cuò)亂與信息污染實(shí)際測(cè)試中最容易踩到的坑是記憶污染。舉例說(shuō)明我先讓它記住“我最喜歡深色主題”然后在一次閑聊里提到了“亮色壁紙也不錯(cuò)”下次再問(wèn)它我的偏好時(shí)聊天 A 的測(cè)試它答“深色主題”而聊天 B 的測(cè)試它卻可能答“亮色主題”——因?yàn)橛洃浵到y(tǒng)可能提取了“亮色”作為一個(gè)新的偏好片段并且和舊信息做了錯(cuò)誤的整合。這種情況非常隱蔽。因?yàn)閱我粚?duì)話看起來(lái)是正常的、連貫的但只有把多段對(duì)話放在一起看你才會(huì)發(fā)現(xiàn) Agent 的“記憶”其實(shí)是一堆碎片拼湊出來(lái)的未必代表你真實(shí)的狀態(tài)。測(cè)試結(jié)論自用 Agent 的記憶系統(tǒng)適合存“穩(wěn)定且明確的事實(shí)”比如常駐的城市、稱呼、職業(yè)信息不適合存“觀點(diǎn)傾向”和“動(dòng)態(tài)狀態(tài)”這類容易變化的信息。后者建議直接寫在每次對(duì)話的提示詞里不要依賴長(zhǎng)期記憶。7. 壓力測(cè)試與極限場(chǎng)景7.1 雙線程多任務(wù)并發(fā)測(cè)試自用場(chǎng)景下先測(cè)試多開(kāi)“同時(shí)開(kāi)兩個(gè)對(duì)話窗口一個(gè)在處理數(shù)據(jù)分析任務(wù)另一個(gè)在寫文案來(lái)回切換問(wèn)問(wèn)題”。實(shí)測(cè)結(jié)果比較驚喜會(huì)話隔離做得不錯(cuò)兩個(gè)窗口的內(nèi)容互不串?dāng)_各自上下文保持完整。這說(shuō)明 Agent 的會(huì)話管理是可靠的至少不會(huì)出現(xiàn) A 對(duì)話的上下文跑到 B 對(duì)話里的低級(jí)錯(cuò)誤。但有一個(gè)細(xì)節(jié)需要注意Agent 的資源占用會(huì)隨會(huì)話數(shù)增加而明顯上漲。我本地部署的環(huán)境原本單會(huì)話響應(yīng)時(shí)間大約 2-3 秒雙會(huì)話同時(shí)活躍時(shí)單邊響應(yīng)時(shí)間能拉到 5 秒以上。如果你打算把自用 Agent 部署在小內(nèi)存機(jī)器上這點(diǎn)要有心理準(zhǔn)備。7.2 低質(zhì)量提示詞與誘導(dǎo)性輸入這部分我主要測(cè)的是“邊界場(chǎng)景”比如讓它“幫我想個(gè)辦法繞過(guò)某網(wǎng)站的內(nèi)容限制”試探越獄類讓它“直接生成一份包含個(gè)人隱私的模擬數(shù)據(jù)”用情緒極端的語(yǔ)言對(duì)話看它的反應(yīng)傾向坦白說(shuō)自用 Agent 沒(méi)有商業(yè)產(chǎn)品那么嚴(yán)格的安全護(hù)欄它的表現(xiàn)很大程度上取決于提示詞和底模的選擇。但基礎(chǔ)的對(duì)齊能力還是有的對(duì)明顯越界的內(nèi)容會(huì)拒絕或提醒。不過(guò)測(cè)試中也發(fā)現(xiàn)了“邊緣回答”現(xiàn)象如果問(wèn)題的表述比較委婉、經(jīng)過(guò)包裝Agent 可能會(huì)順著話頭往下說(shuō)給出打擦邊球的建議。這點(diǎn)沒(méi)辦法靠配置完全解決只能靠使用者的自我判斷。7.3 連續(xù)交互疲勞度測(cè)試這個(gè)測(cè)試模擬通宵掛機(jī)場(chǎng)景不手動(dòng)關(guān)閉 Agent連續(xù)對(duì)話 50 輪以上內(nèi)容涉及不同主題觀察是否出現(xiàn)異常。結(jié)果還算穩(wěn)沒(méi)有出現(xiàn)卡死、報(bào)錯(cuò)、崩潰之類的問(wèn)題。響應(yīng)速度也沒(méi)有隨輪次增加明顯下降。但出現(xiàn)一個(gè)“上下文退化”現(xiàn)象50 輪之后Agent 對(duì)早期輪次的信息保留得很好因?yàn)橛洃浵到y(tǒng)起了作用但對(duì)中期輪次約 20-40 輪之間的內(nèi)容反應(yīng)明顯遲鈍經(jīng)常出現(xiàn)“這些內(nèi)容之前聊過(guò)嗎”的困惑。這可能和上下文窗口的管理策略有關(guān)——系統(tǒng)可能在窗口壓縮時(shí)丟棄了中間部分的內(nèi)容。這給我的教訓(xùn)是不要在超長(zhǎng)會(huì)話里和 Agent 來(lái)回拉扯不清的話題差不多就開(kāi)新會(huì)話。保持 20 輪以內(nèi)的會(huì)話長(zhǎng)度交互質(zhì)量最穩(wěn)定。8. 測(cè)試后的迭代與調(diào)優(yōu)8.1 根據(jù)失敗模式反向優(yōu)化提示詞全面測(cè)試最大的價(jià)值不是發(fā)現(xiàn)問(wèn)題而是針對(duì)性修復(fù)問(wèn)題。我根據(jù)測(cè)試記錄做了三處主要調(diào)整對(duì)搜索工具增加“必須給出來(lái)源”的硬性約束減少編造結(jié)果的現(xiàn)象對(duì)多步驟任務(wù)增加“分階段確認(rèn)”機(jī)制避免中間步驟被跳過(guò)對(duì)記憶系統(tǒng)把“用戶偏好”類信息從自動(dòng)提取改為手動(dòng)確認(rèn)——只有用戶明確說(shuō)“記住這個(gè)”時(shí)才寫入記憶這三條改動(dòng)都不需要?jiǎng)哟a純提示詞級(jí)就能解決效果立竿見(jiàn)影。尤其是第一條改了之后編造搜索結(jié)果的情況從“經(jīng)?！苯档搅恕芭紶枴蔽乙呀?jīng)很滿意了。8.2 工具參數(shù)與執(zhí)行策略的調(diào)整工具調(diào)用方面我也做了一些調(diào)整。原本代碼執(zhí)行工具是“寫代碼 - 直接執(zhí)行”我改成了“寫代碼 - 展示代碼 - 確認(rèn)執(zhí)行”兩步流程。這樣雖然多一步交互但避免了它在依賴缺失、語(yǔ)法錯(cuò)誤時(shí)盲目跑起來(lái)浪費(fèi)時(shí)間。網(wǎng)絡(luò)搜索工具也加了結(jié)果數(shù)量限制和內(nèi)容時(shí)效性要求避免它抓到過(guò)時(shí)信息。這些都是測(cè)試后才知道要改的細(xì)節(jié)沒(méi)有測(cè)試你根本不會(huì)知道你自用的 Agent 在哪些環(huán)節(jié)會(huì)翻車。8.3 值得保留的“意外之喜”測(cè)試也不全是發(fā)現(xiàn)問(wèn)題。有些功能表現(xiàn)超出預(yù)期我正常使用時(shí)都沒(méi)注意到。比如它的“長(zhǎng)文總結(jié)能力”——我給它喂了一篇 1.5 萬(wàn)字的中文技術(shù)文檔它產(chǎn)出的摘要不僅覆蓋了核心論點(diǎn)還保留了技術(shù)細(xì)節(jié)和關(guān)鍵數(shù)據(jù)幾乎沒(méi)有丟重點(diǎn)。這個(gè)能力比我自己讀原文整理效率高得多。另一項(xiàng)是“格式化輸出穩(wěn)定性”——讓它生成表格、列表、結(jié)構(gòu)化 JSON 數(shù)據(jù)時(shí)即便連續(xù)測(cè)試多次輸出的結(jié)構(gòu)也都很穩(wěn)定沒(méi)有出現(xiàn)過(guò)格式錯(cuò)亂。這兩塊能力目前已經(jīng)成為我日常使用的高頻功能。9. 自用 Agent 測(cè)試后的幾個(gè)心得9.1 測(cè)試不需要專業(yè)工具但需要記錄習(xí)慣回頭看整個(gè)測(cè)試過(guò)程我沒(méi)有用任何測(cè)試框架也沒(méi)有寫自動(dòng)化測(cè)試腳本。就是一張表格、一個(gè)耐心、一段集中時(shí)間的操作效果已經(jīng)遠(yuǎn)超預(yù)期。核心不在于工具而在于你有沒(méi)有把每次測(cè)試的輸入、預(yù)期、實(shí)際表現(xiàn)、失敗模式記錄下來(lái)。9.2 不要用“正確率”來(lái)衡量自用 Agent我用了一個(gè)很笨的統(tǒng)計(jì)方式每個(gè)用例跑三遍數(shù)一下“幾次正常、幾次異?！弊詈蟀搭悇e匯總。結(jié)果發(fā)現(xiàn)正確率并不能真實(shí)反映問(wèn)題——有些用例雖然三次全對(duì)但中間有一次差點(diǎn)跑偏只是因?yàn)檫\(yùn)氣好才沒(méi)翻車。真正值得關(guān)注的是“它的失敗會(huì)不會(huì)被察覺(jué)”。如果 Agent 翻車時(shí)用戶能一眼看出答案有問(wèn)題那是安全的失敗如果翻車時(shí)看起來(lái)還挺合理那就是危險(xiǎn)的失敗。我的測(cè)試重心應(yīng)該放在后者。9.3 每隔一段時(shí)間應(yīng)該重新跑一遍這個(gè)測(cè)試做完之后我又對(duì)系統(tǒng)做了幾處微調(diào)。但我知道大模型底層升級(jí)、工具接口變動(dòng)、提示詞調(diào)整都可能導(dǎo)致之前記錄的結(jié)論失效。我的習(xí)慣是每次大幅改動(dòng)后就跑一遍核心用例集一個(gè)月左右做一次全量回歸。如果你有自用 Agent也可以參考這個(gè)頻率。成本不高但能確保你對(duì)它的了解始終跟得上它的變化——這一點(diǎn)對(duì)自用系統(tǒng)來(lái)說(shuō)比追求某個(gè)技術(shù)指標(biāo)的完美更重要。我在實(shí)際測(cè)試過(guò)程中最大的體驗(yàn)是搞清楚“我的 Agent 哪里會(huì)翻車、翻車時(shí)好不好察覺(jué)”比我讓它跑通多少個(gè)成功用例更安心。帶著這種邊界感去使用它在日常工作中發(fā)揮的作用才真正變得可被信賴。