1. 用戶永遠(yuǎn)不會(huì)讀你的說(shuō)明書(shū)心理模型是怎么悄悄跑偏的做Agent產(chǎn)品這幾年我越來(lái)越確信一個(gè)反直覺(jué)的結(jié)論最危險(xiǎn)的Agent不是能力最弱的那個(gè)而是讓用戶猜不透的那個(gè)。用戶第一次面對(duì)你界面里的智能體時(shí)不會(huì)先打開(kāi)你精心撰寫的幫助文檔他腦子里會(huì)快速形成一套“心理模型”這套模型決定了他認(rèn)為Agent會(huì)什么、不會(huì)什么、現(xiàn)在正在干什么。智能體交互最終拼的其實(shí)不只是模型能力而是用戶腦中的“能力邊界”和“當(dāng)前狀態(tài)”這兩張圖畫(huà)得準(zhǔn)不準(zhǔn)。只要有一張畫(huà)偏了再?gòu)?qiáng)的大模型也救不回來(lái)。先講一個(gè)讓我印象深刻的失敗案例。某公司做了一個(gè)數(shù)據(jù)分析Agent能做預(yù)置報(bào)表、同環(huán)比、維度下鉆數(shù)據(jù)源接的是內(nèi)部BI看板。上線第一周數(shù)據(jù)很好看第二周開(kāi)始有零星投訴第三周口碑直接崩了。拉聊天記錄復(fù)盤時(shí)發(fā)現(xiàn)運(yùn)營(yíng)部門的A同學(xué)問(wèn)了這么一句“為什么最近一周轉(zhuǎn)化率降了三個(gè)點(diǎn)”Agent按設(shè)計(jì)返回了預(yù)置報(bào)表《轉(zhuǎn)化分析》的鏈接附帶明細(xì)表格。數(shù)據(jù)沒(méi)有錯(cuò)但用戶的預(yù)期是它能像真人分析師一樣讀取報(bào)表、排查原因、給出歸因結(jié)論——它沒(méi)有。用戶留下一句“這工具只會(huì)丟鏈接根本不會(huì)分析”然后再也沒(méi)有打開(kāi)過(guò)。1.1 一個(gè)讓產(chǎn)品“上線三個(gè)月后口碑崩掉”的真實(shí)案例這個(gè)案例最扎心的地方在于Agent的每一項(xiàng)能力都是真實(shí)可用的報(bào)表查詢、環(huán)比計(jì)算、維度篩選都做得不錯(cuò)沒(méi)有任何功能缺失。但它依然被用戶拋棄了。為什么因?yàn)橛脩舻男睦砟Ｐ蛷囊婚_(kāi)始就歪了——他把Agent當(dāng)成了一個(gè)“具備歸因推理能力的分析師”而Agent的真實(shí)能力邊界只是“檢索已配置的報(bào)表并格式化展示”。我后來(lái)復(fù)盤發(fā)現(xiàn)產(chǎn)品界面上所有說(shuō)明文字都被用戶跳過(guò)了。用戶不會(huì)去看“本助手支持以下功能”這類段落他判斷Agent能力的方式非常原始對(duì)話框像人回復(fù)流暢能給出像模像樣的表格那它就是半個(gè)真人至少是一個(gè)很懂?dāng)?shù)據(jù)分析的專家。這個(gè)判斷當(dāng)然不準(zhǔn)確但它就是絕大多數(shù)人腦中的模型構(gòu)建方式。如果當(dāng)時(shí)在用戶提出“為什么下降”這個(gè)問(wèn)題后Agent能先澄清自己的邊界比如回復(fù)“我可以幫你調(diào)取轉(zhuǎn)化率相關(guān)報(bào)表并做同環(huán)比分析但歸因推斷需要結(jié)合業(yè)務(wù)日志和渠道數(shù)據(jù)這兩塊我沒(méi)有權(quán)限”用戶的失望會(huì)小得多他會(huì)重新校準(zhǔn)預(yù)期。可惜當(dāng)時(shí)我們沒(méi)有做任何邊界提示默認(rèn)模型說(shuō)“我能生成報(bào)表”就夠了。1.2 用戶的內(nèi)心模擬器他腦中的Agent不是你的Agent心理學(xué)里有個(gè)說(shuō)法叫“地圖不是領(lǐng)土”用戶腦中的Agent模型和你實(shí)際交付的Agent是兩回事。用戶會(huì)在交互中自動(dòng)構(gòu)建一個(gè)“內(nèi)心模擬器”這個(gè)模擬器運(yùn)行的不是你的系統(tǒng)代碼、工具調(diào)用鏈、上下文窗口大小而是基于對(duì)話體驗(yàn)抽象出來(lái)的簡(jiǎn)化版本。這個(gè)簡(jiǎn)化過(guò)程有三個(gè)典型方向。第一把它當(dāng)人。對(duì)話界面天然激活擬人化直覺(jué)用戶會(huì)自動(dòng)用“人在溝通”的方式去補(bǔ)全Agent沒(méi)有說(shuō)出來(lái)的信息比如“它應(yīng)該是理解我的”“它應(yīng)該知道我在問(wèn)什么”。第二把它當(dāng)全能搜索引擎。很多人下意識(shí)認(rèn)為“回答得流利知識(shí)無(wú)邊”尤其是第一次交互順利后用戶會(huì)快速把能力圈外擴(kuò)到一個(gè)夸張的半徑。第三把它當(dāng)成自己熟悉的上一代產(chǎn)品比如把企業(yè)知識(shí)庫(kù)Agent當(dāng)成過(guò)去的AI客服認(rèn)為“它只會(huì)回答預(yù)設(shè)FAQ”。這三個(gè)方向的共同點(diǎn)是用戶都不會(huì)主動(dòng)去讀“能力清單”之類的說(shuō)明。這說(shuō)明一個(gè)很扎心的事實(shí)——邊界表達(dá)不能依賴文檔必須做成交互本身的行為。每一次回復(fù)、每一個(gè)狀態(tài)、每一次糾偏都是心理模型的輸入你不需要刻意教育用戶你只需要確保他在每一次交互中得到的信號(hào)是一致的。1.3 信任錯(cuò)位的三類典型狀態(tài)以及各自要付的代價(jià)心理模型跑偏之后表現(xiàn)出來(lái)就是信任錯(cuò)位。按用戶對(duì)Agent信任度與真實(shí)能力的關(guān)系我一般分成三類信任狀態(tài)用戶典型行為代價(jià)緩解方向過(guò)度信任拿Agent去做邊界外的事情改數(shù)據(jù)、下結(jié)論、寫代碼、發(fā)消息給客戶錯(cuò)誤結(jié)果、合規(guī)風(fēng)險(xiǎn)、一次崩壞后全盤棄用在越界入口給即時(shí)提示甚至主動(dòng)拒絕信任不足明明在邊界內(nèi)也不放心每次都找人復(fù)核功能被當(dāng)成擺設(shè)Agent價(jià)值無(wú)法發(fā)揮用戶覺(jué)得它“不靠譜”展示成功歷史、透明工作狀態(tài)用可見(jiàn)的步驟建立可信度搖擺信任同一件事反復(fù)試探換個(gè)說(shuō)法再問(wèn)一遍反復(fù)比對(duì)結(jié)果交互成本極高日志混亂模型判斷也跟著被帶偏固定一致的錯(cuò)誤回應(yīng)范式讓邊界信號(hào)穩(wěn)定可預(yù)期這三類狀態(tài)不是靜態(tài)的一個(gè)用戶可能第一天過(guò)度信任第二天被某個(gè)失敗輸出錘醒后變成信任不足第三天又因?yàn)槟阋淮伪憩F(xiàn)驚艷而回到過(guò)度信任。心理模型是流動(dòng)的但設(shè)計(jì)者必須讓邊界信號(hào)是穩(wěn)定的否則用戶的模型只會(huì)來(lái)回震蕩永遠(yuǎn)校準(zhǔn)不到真實(shí)能力上。2. 心理模型的四塊積木目標(biāo)推斷、能力地圖、狀態(tài)感知、信任儀表把心理模型當(dāng)黑盒是不夠的要設(shè)計(jì)就得拆開(kāi)它。我在實(shí)踐中把它拆成四個(gè)組件分別對(duì)應(yīng)四個(gè)問(wèn)題用戶認(rèn)為Agent聽(tīng)懂了多少用戶認(rèn)為Agent能做什么用戶認(rèn)為Agent現(xiàn)在在干什么用戶現(xiàn)在有多信它這四塊幾乎覆蓋了我見(jiàn)過(guò)的所有交互失敗案例。2.1 目標(biāo)推斷用戶默認(rèn)你聽(tīng)懂了他沒(méi)說(shuō)出口的話這是最容易被低估的一環(huán)。人類在溝通時(shí)天然依賴“共同背景”我們會(huì)默認(rèn)對(duì)方理解潛臺(tái)詞、默認(rèn)對(duì)方能從幾句話里推斷出完整意圖。跟Agent對(duì)話時(shí)這種默認(rèn)被保留了下來(lái)尤其當(dāng)對(duì)話界面模仿真人聊天時(shí)用戶會(huì)無(wú)意識(shí)地把Agent當(dāng)成“有理解能力的他者”。問(wèn)題在于Agent對(duì)用戶意圖的理解其實(shí)是在一個(gè)不可見(jiàn)的概率空間里完成的。它可能理解了顯性意圖但未必理解了隱性約束和目標(biāo)層次。用戶說(shuō)“幫我看看這個(gè)月數(shù)據(jù)”可能隱含著“我要給老板匯報(bào)你要按匯報(bào)語(yǔ)境來(lái)整理”Agent可能真的只爬了數(shù)據(jù)沒(méi)理解匯報(bào)語(yǔ)境的訴求于是返回一堆原始表格。用戶會(huì)覺(jué)得“它沒(méi)聽(tīng)懂我”這本質(zhì)上是目標(biāo)推斷組件出了偏差。設(shè)計(jì)上能做的事情并不多核心做法是“假設(shè)回顯”。在不確定用戶完整意圖時(shí)不要直接給結(jié)果先把你理解的意圖說(shuō)出來(lái)“我理解你想看本月整體數(shù)據(jù)并準(zhǔn)備給管理層匯報(bào)我會(huì)按這個(gè)口徑整理?！边@一步花不了幾秒鐘但能直接把用戶腦中的目標(biāo)推斷模型拉回正軌。如果理解錯(cuò)了用戶會(huì)立刻糾正遠(yuǎn)好過(guò)讓他面對(duì)一個(gè)跑偏結(jié)果然后自己消化失望。2.2 能力地圖用戶腦中的“功能圈”每回復(fù)一次就更新一次能力地圖是用戶對(duì)“Agent到底能做什么”的空間化認(rèn)知。它不像我們?cè)诩夹g(shù)文檔里畫(huà)的功能模塊圖更像一個(gè)用戶自己歸納出的功能圈每一次成功回復(fù)圈向外擴(kuò)一點(diǎn)每一次失敗回復(fù)圈向內(nèi)縮一塊。關(guān)鍵機(jī)制是歸納和泛化。用戶不會(huì)記住Agent能做的每一件事他會(huì)記住若干“樣本”它能處理CSV、能做同環(huán)比、能生成圖表于是他會(huì)泛化出“它能處理數(shù)據(jù)類問(wèn)題”。這個(gè)泛化是危險(xiǎn)的因?yàn)橛脩舨粫?huì)精確知道數(shù)據(jù)源邊界、權(quán)限邊界、分析深度邊界他會(huì)默認(rèn)“既然能處理表格應(yīng)該也能處理數(shù)據(jù)庫(kù)”。所以能力地圖的構(gòu)建不能只靠“多做成功樣本”還必須靠邊界樣本。我在設(shè)計(jì)Agent時(shí)有個(gè)習(xí)慣刻意讓部分回復(fù)暴露“不能做到什么”。比如用戶問(wèn)“能不能直接改掉報(bào)表里的異常值”Agent會(huì)明確說(shuō)“我只讀數(shù)據(jù)不做修改”。這類反能力樣本的價(jià)值在于用戶泛化能力圈的時(shí)候能有一條邊界線可以參照。沒(méi)有邊界樣本用戶的能力圈只會(huì)膨脹到失控。2.3 狀態(tài)感知當(dāng)狀態(tài)不可見(jiàn)時(shí)用戶會(huì)自己腦補(bǔ)一個(gè)狀態(tài)人在等待中會(huì)本能地給“無(wú)反饋時(shí)間”填充解釋。對(duì)話框里一個(gè)轉(zhuǎn)圈轉(zhuǎn)了三秒用戶腦子里就會(huì)自動(dòng)生成故事“它在思考”“它卡住了”“它又在胡說(shuō)八道了”。這些腦補(bǔ)全是心理模型的一部分而且往往走向負(fù)面——等待越長(zhǎng)負(fù)面聯(lián)想越多。狀態(tài)感知的設(shè)計(jì)目標(biāo)不是“讓用戶知道系統(tǒng)很忙”而是“讓用戶腦中的故事貼近真實(shí)”。如果Agent真的在讀取數(shù)據(jù)庫(kù)就告訴它“正在讀取銷售數(shù)據(jù)”如果Agent卡在工具調(diào)用重試上就明確說(shuō)“上一次讀取失敗我在重試”。最怕的是狀態(tài)不可見(jiàn)用戶看著一個(gè)無(wú)差別的轉(zhuǎn)圈心里開(kāi)始懷疑Agent的能力這就是心理模型開(kāi)始跑偏的信號(hào)。狀態(tài)不可見(jiàn)還會(huì)帶來(lái)一個(gè)副作用用戶會(huì)把“長(zhǎng)時(shí)間無(wú)聲”等同于“它沒(méi)用”從而降低對(duì)話期望甚至中斷對(duì)話。反之一個(gè)適度透明的狀態(tài)展示能告訴用戶“我不是失靈我是確實(shí)在工作”這對(duì)維持信任非常關(guān)鍵。2.4 信任儀表一次錯(cuò)誤輸出的權(quán)重遠(yuǎn)高于十次正確輸出信任不是統(tǒng)計(jì)均值而是帶情緒加權(quán)近因加權(quán)的東西。用戶信任值的更新規(guī)則大致是最近一次交互結(jié)果×情緒放大系數(shù)加上長(zhǎng)期累積的基線值。這意味著一個(gè)嚴(yán)重錯(cuò)誤可以瞬間打穿本來(lái)健康的信任基線。做了多年Agent產(chǎn)品我見(jiàn)過(guò)太多類似場(chǎng)景用戶連續(xù)用了兩周一切順利然后某一天Agent在面對(duì)邊界外問(wèn)題時(shí)草草編了一個(gè)答案用戶立刻從“這工具很聰明”跳到“這工具根本不能信”。這種崩塌不是理性的但它真實(shí)發(fā)生而且往往不可逆。保護(hù)信任儀表的核心手段有兩個(gè)。一是降低關(guān)鍵錯(cuò)誤的發(fā)生率在Agent沒(méi)有把握時(shí)提供“不知道”和“我不確定”而不是強(qiáng)行生成。二是在高風(fēng)險(xiǎn)動(dòng)作前先做邊界確認(rèn)把用戶從“可能觸雷”的路徑上拉回來(lái)。前者保護(hù)單次結(jié)果后者保護(hù)整條信任曲線。這兩種做法都不是限制Agent能力而是在保護(hù)用戶腦中的信任儀表讓它在少量波動(dòng)中仍然保持穩(wěn)定。3. 當(dāng)前狀態(tài)可見(jiàn)性設(shè)計(jì)從“轉(zhuǎn)圈”到“正在做什么”狀態(tài)感知是心理模型的直接輸入源之一。狀態(tài)設(shè)計(jì)做得不好用戶就只能在“等待焦慮”和“被誤導(dǎo)的忙碌感”之間搖擺。這一章講怎么落地核心只有一句話狀態(tài)不是系統(tǒng)內(nèi)部日志的鏡像而是用戶問(wèn)題的答案。3.1 用戶真正需要感知的其實(shí)只有五種狀態(tài)我在設(shè)計(jì)狀態(tài)提示時(shí)會(huì)先列一個(gè)問(wèn)題清單用戶在這個(gè)階段最想確認(rèn)什么。歸納下來(lái)只有五類狀態(tài)用戶腦內(nèi)疑問(wèn)典型表達(dá)輸入態(tài)它聽(tīng)懂我了嗎正在理解你的問(wèn)題推理態(tài)它在想什么正在整理分析思路執(zhí)行態(tài)它在動(dòng)哪些數(shù)據(jù)正在讀取三份季度報(bào)表等待態(tài)它還需要我補(bǔ)充什么我需要你確認(rèn)一個(gè)信息輸出態(tài)答案是不是完整了正在生成回復(fù)大多數(shù)失敗的狀態(tài)設(shè)計(jì)是把系統(tǒng)內(nèi)部的步驟編號(hào)、API名稱、模型調(diào)用棧展示給用戶比如“Step 1: querying_datasource”。這些對(duì)用戶腦中的疑問(wèn)沒(méi)有任何幫助他看到“querying_datasource”時(shí)根本不知道這意味著什么——他只知道有東西在轉(zhuǎn)。真正的狀態(tài)設(shè)計(jì)應(yīng)回答用戶的“疑問(wèn)”而不是報(bào)告系統(tǒng)“事件”。用戶不需要知道你是用SQL還是Python他需要知道的是“你正在做的事情和我的問(wèn)題相關(guān)”。所以“正在讀取三份季度報(bào)表”優(yōu)于“正在調(diào)用report_api_v2”“正在匯總各區(qū)域銷售數(shù)據(jù)”優(yōu)于“aggregating dataframes”。你每提供一個(gè)狀態(tài)都應(yīng)該能回答“它跟我有什么關(guān)系”。3.2 狀態(tài)信號(hào)濃度什么時(shí)候該轉(zhuǎn)圈什么時(shí)候該說(shuō)人話狀態(tài)不是越詳細(xì)越好。信號(hào)濃度要和任務(wù)復(fù)雜度匹配否則就會(huì)從“幫助”變成“噪音”。根據(jù)實(shí)測(cè)經(jīng)驗(yàn)鏈路耗時(shí)在0.5秒以內(nèi)時(shí)什么都不用顯示直接給結(jié)果用戶感知不到等待。耗時(shí)在0.5到3秒之間時(shí)一個(gè)轉(zhuǎn)圈或打字光標(biāo)就足夠再多就是干擾。耗時(shí)拉到3到8秒用戶會(huì)開(kāi)始焦慮這時(shí)需要階段化文本比如“正在讀取數(shù)據(jù)”“正在生成分析表”每隔一兩秒更新一次讓等待有節(jié)奏感。超過(guò)8秒的多步任務(wù)必須給出階段進(jìn)度和可取消出口否則用戶大概率會(huì)中途離開(kāi)或重復(fù)提交。這個(gè)邏輯可以類比等電梯。電梯樓層顯示為什么有用因?yàn)槿嗽诘却龝r(shí)需要知道“系統(tǒng)還在工作、還要等多久、有沒(méi)有卡住”。Agent的狀態(tài)設(shè)計(jì)做的是完全同一件事——降低不確定性帶來(lái)的焦慮讓用戶繼續(xù)信任系統(tǒng)的運(yùn)轉(zhuǎn)。當(dāng)然信號(hào)濃度還要考慮用戶類型。內(nèi)測(cè)用戶可能喜歡看詳細(xì)步驟普通用戶反而會(huì)被“正在校驗(yàn)”“正在萃取關(guān)鍵詞”這種字眼嚇到以為系統(tǒng)在做一些很玄的事情。我的建議是默認(rèn)簡(jiǎn)化到三個(gè)狀態(tài)以內(nèi)高級(jí)用戶專屬入口可以打開(kāi)“詳細(xì)狀態(tài)”模式而不是讓所有人面對(duì)同一份技術(shù)流水單。3.3 誠(chéng)實(shí)性原則狀態(tài)顯示絕不可以“裝忙”狀態(tài)顯示有一個(gè)底線原則必須和真實(shí)行為一致。否則用戶一旦發(fā)現(xiàn)狀態(tài)與行為不符信任崩塌的速度比沒(méi)有狀態(tài)還快。我有過(guò)一次受挫的實(shí)驗(yàn)經(jīng)歷。某次為了顯得Agent“很厲害”我們?cè)谝淮伪镜財(cái)?shù)據(jù)庫(kù)查詢前加了一個(gè)“正在全網(wǎng)搜索相關(guān)數(shù)據(jù)”的狀態(tài)。內(nèi)測(cè)時(shí)很快就有人發(fā)現(xiàn)了問(wèn)題查詢結(jié)果每次都來(lái)自本地BI庫(kù)哪里來(lái)的全網(wǎng)搜索有個(gè)測(cè)試用戶直言“它連自己在干什么都騙我我怎么信它給出的結(jié)論”那次實(shí)驗(yàn)讓我記住了一件事——狀態(tài)即承諾你顯示的每一步都應(yīng)該真實(shí)發(fā)生。所謂“真實(shí)發(fā)生”并不是要求顯示所有的幕后細(xì)節(jié)而是不能夸大、不能虛構(gòu)、不能制造虛假的忙碌感。本地讀取就是本地讀取哪怕用戶不懂技術(shù)也可以用“正在讀取已授權(quán)的銷售數(shù)據(jù)”來(lái)表達(dá)這既誠(chéng)實(shí)又易懂。相比之下“正在全網(wǎng)搜索”把一個(gè)普通的數(shù)據(jù)庫(kù)查詢包裝成高大上的全網(wǎng)操作一旦被識(shí)破用戶修正的不只是某個(gè)狀態(tài)而是對(duì)整個(gè)Agent的信任假設(shè)。3.4 把狀態(tài)動(dòng)作翻譯給用戶聽(tīng)兩套文案的差異狀態(tài)文案的關(guān)鍵在于“動(dòng)作對(duì)象”要讓用戶能建立起對(duì)應(yīng)關(guān)系而不是“方法接口”的堆砌。我整理過(guò)一組常用對(duì)照現(xiàn)在基本已經(jīng)變成我們團(tuán)隊(duì)的狀態(tài)文案模板內(nèi)部/技術(shù)表達(dá)用戶語(yǔ)言翻譯querying_datasource正在查詢銷售數(shù)據(jù)庫(kù)calling_tool正在執(zhí)行操作thinking正在整理思路error_retry上一次讀取失敗了我正在重試awaiting_input需要你補(bǔ)充一個(gè)信息翻譯的目的是讓用戶腦中的“動(dòng)作模型”和真實(shí)動(dòng)作匹配。用戶看到“正在查詢銷售數(shù)據(jù)庫(kù)”他會(huì)建立一個(gè)預(yù)期它在操作銷售數(shù)據(jù)答案應(yīng)該和銷售相關(guān)。如果Agent展示的是“調(diào)用report_api_v2”用戶就完全沒(méi)法做任何推理等于沒(méi)有狀態(tài)。還有一個(gè)容易被忽略的點(diǎn)狀態(tài)文案應(yīng)當(dāng)使用持續(xù)動(dòng)詞的進(jìn)行時(shí)態(tài)不要用名詞堆疊。比如“讀取數(shù)據(jù)中”比“數(shù)據(jù)讀取”更有動(dòng)感也更接近用戶在腦內(nèi)模擬的“它在干活”場(chǎng)景。這個(gè)小差異對(duì)心理模型的更新很有幫助——進(jìn)行時(shí)態(tài)強(qiáng)化了“Agent正在工作”的感知名詞堆疊則像系統(tǒng)日志不會(huì)進(jìn)入用戶的認(rèn)知循環(huán)。4. 能力邊界的三種表達(dá)方式明說(shuō)、示范、糾偏狀態(tài)可見(jiàn)性解決的是“它在干嘛”能力邊界解決的是“它到底能做什么”。后者更難因?yàn)檫吔绮皇且粋€(gè)靜態(tài)的列表用戶只會(huì)在他實(shí)際觸碰到邊界的那一刻才真正開(kāi)始建立關(guān)于“不能做”的心理模型。邊界表達(dá)的區(qū)別在于你是在用戶沒(méi)犯錯(cuò)之前就給他邊界還是等他犯錯(cuò)之后再去糾正——前者省成本后者也必不可少。4.1 邊界聲明不是免責(zé)聲明什么時(shí)候適合“明說(shuō)”明說(shuō)式邊界是最直接的方式但也是最容易被誤用的方式。很多產(chǎn)品會(huì)把能力清單寫一大段放在開(kāi)場(chǎng)白里用戶直接劃過(guò)。邊界聲明真正的價(jià)值場(chǎng)景是高成本、高風(fēng)險(xiǎn)、不可逆的任務(wù)——比如修改數(shù)據(jù)、發(fā)送消息、生成對(duì)外承諾、給出醫(yī)療或財(cái)務(wù)建議。在這些場(chǎng)景里標(biāo)準(zhǔn)動(dòng)作是在用戶表達(dá)意圖后、Agent執(zhí)行任務(wù)前插入一次明確邊界確認(rèn)。例如“我先說(shuō)明我可以生成這份數(shù)據(jù)分析報(bào)告但不會(huì)替你對(duì)外發(fā)出任何消息如果你需要發(fā)送我會(huì)幫你整理一份定稿發(fā)送動(dòng)作需要你手動(dòng)完成?！边@個(gè)策略的本質(zhì)是“把邊界聲明變成任務(wù)的一部分”而不是掛在文檔里的免責(zé)信息。用戶會(huì)發(fā)現(xiàn)邊界不是冷冰冰的限制它反而幫他理解了流程哪些環(huán)節(jié)是Agent負(fù)責(zé)的哪些環(huán)節(jié)需要他自己接手。這樣明說(shuō)出來(lái)的邊界用戶會(huì)記住因?yàn)樗仨氃谶@一輪就做出合作決策。但要注意明說(shuō)不是把所有不能做的事都念一遍。用戶不是來(lái)看清單的他在意的只是“我這次要做的事你能不能做”。邊界聲明一定要貼著用戶當(dāng)前意圖走不要泛泛而談。4.2 示范式邊界你的推薦動(dòng)作列表就是能力地圖的腳手架比明說(shuō)更柔和的方式是示范。用戶不會(huì)細(xì)讀說(shuō)明但用戶會(huì)對(duì)“Agent主動(dòng)推薦的動(dòng)作”保持高度關(guān)注因?yàn)檫@些推薦動(dòng)作暗示了Agent的自我認(rèn)知。換句話說(shuō)開(kāi)場(chǎng)推薦問(wèn)題和快捷指令本質(zhì)上是能力地圖的腳手架。舉個(gè)例子如果是數(shù)據(jù)分析Agent開(kāi)場(chǎng)白可以展示三個(gè)推薦提問(wèn)“上周各區(qū)域的銷售額怎么樣”“本月和上月的轉(zhuǎn)化率對(duì)比”“按渠道拆分一下訂單量”。用戶看到這三個(gè)問(wèn)題第一印象就是“這個(gè)Agent擅長(zhǎng)處理結(jié)構(gòu)化數(shù)據(jù)和報(bào)表分析”。這種邊界表達(dá)非常高效它不需要任何聲明只需要讓用戶看到“它能熟練做的事”。反過(guò)來(lái)說(shuō)推薦動(dòng)作里混入不該出現(xiàn)的領(lǐng)域就是給自己挖坑。比如一個(gè)數(shù)據(jù)工具Agent開(kāi)場(chǎng)卻推薦“幫你寫一封客戶郵件”用戶的心理模型立刻被拉向“這是一個(gè)全能助理”于是后續(xù)他拿寫郵件、發(fā)通知、管日程的問(wèn)題來(lái)轟炸你全部超出能力范圍信任鏈條被一次次打斷。推薦動(dòng)作是邊界的第一層外墻它比幫助文檔重要一百倍值得認(rèn)真設(shè)計(jì)。4.3 反能力展示主動(dòng)露出“不會(huì)”比事后道歉更省成本能力邊界的有效表達(dá)很多時(shí)候不是靠“我會(huì)什么”而是靠“我不會(huì)什么”。主動(dòng)暴露“不會(huì)”在用戶犯錯(cuò)之前就把他的期望拉回真實(shí)范圍這比事后道歉高一個(gè)量級(jí)。具體例子某知識(shí)庫(kù)Agent被問(wèn)到“幫我把這個(gè)月的目標(biāo)值直接改到CRM系統(tǒng)里”設(shè)計(jì)好的回應(yīng)是“我不能修改CRM里的數(shù)據(jù)只能查詢和展示已授權(quán)的業(yè)務(wù)數(shù)據(jù)如果你需要調(diào)整目標(biāo)值我可以幫你整理變更申請(qǐng)所需的依據(jù)材料。”這個(gè)回應(yīng)里“我不能修改CRM”是反能力展示它直接修正了用戶可能存在的越界預(yù)期后一句又提供了一個(gè)替代路徑避免對(duì)話卡死。對(duì)比一下反面回應(yīng)——很多Agent在這里只會(huì)說(shuō)“很抱歉我暫時(shí)無(wú)法完成該操作”。這句話表面上也拒絕了但沒(méi)有給用戶任何關(guān)于“邊界在哪里”的信息。用戶不知道你是權(quán)限不夠、技術(shù)不行還是心情不好他的心理模型陷入了更大的混亂。反能力展示不宜高頻使用。如果Agent每輪都主動(dòng)說(shuō)自己不會(huì)什么用戶會(huì)覺(jué)得它很弱小邊界表達(dá)反而模糊了。我習(xí)慣只在高頻越界場(chǎng)景中做預(yù)設(shè)式反能力展示比如數(shù)據(jù)工具類Agent遇到“修改/刪除/發(fā)送”類請(qǐng)求時(shí)固定觸發(fā)這類提示其他場(chǎng)景交給糾偏機(jī)制。4.4 糾偏式邊界的“三步轉(zhuǎn)折”話術(shù)模板當(dāng)用戶已經(jīng)提出越界請(qǐng)求時(shí)明說(shuō)道理你面對(duì)的是一個(gè)需要安撫又需要引導(dǎo)的對(duì)話節(jié)點(diǎn)。我總結(jié)了一個(gè)“三步轉(zhuǎn)折”話術(shù)模板實(shí)測(cè)下來(lái)效果不錯(cuò)第一步先說(shuō)結(jié)果直接告訴用戶這件事能不能做不繞彎子。第二步給一個(gè)簡(jiǎn)短原因解釋為什么不行的關(guān)鍵約束不要說(shuō)一堆技術(shù)細(xì)節(jié)。第三步給一個(gè)替代路徑告訴用戶“你能做什么”把對(duì)話導(dǎo)向可行方向。用戶請(qǐng)求反面回應(yīng)三步轉(zhuǎn)折回應(yīng)幫我把系統(tǒng)里的目標(biāo)值直接改掉很抱歉我無(wú)法完成該操作我先說(shuō)結(jié)果我改不了業(yè)務(wù)數(shù)據(jù)。原因是我只具備只讀分析權(quán)限不能動(dòng)源系統(tǒng)。我能做的是把你要調(diào)整的目標(biāo)和依據(jù)整理成一份建議稿并幫你把審批入口指出來(lái)。這個(gè)模板的關(guān)鍵在于第三步。如果糾偏只停留在“我不能”用戶會(huì)覺(jué)得自己被拒絕了心理模型向“不靠譜”傾斜如果給了替代路徑用戶就理解了邊界不是“它不行”而是“它確實(shí)不負(fù)責(zé)這個(gè)環(huán)節(jié)”信任反而可能增強(qiáng)。實(shí)測(cè)里三步轉(zhuǎn)折話術(shù)相比單純拒絕用戶的后續(xù)求助率明顯降低對(duì)話繼續(xù)率明顯提高。需要補(bǔ)一句即使用了模板Agent也可能遇到同一種越界請(qǐng)求反復(fù)出現(xiàn)的情況。這是正?，F(xiàn)象用戶的心理模型更新需要時(shí)間同一個(gè)信號(hào)多來(lái)幾次才能真正刻進(jìn)長(zhǎng)期的模型里。你不需要為每次重復(fù)而焦慮只需要保持一致的回應(yīng)范式不換說(shuō)法、不打折扣。5. 怎么驗(yàn)收用試探性問(wèn)題集和信任校準(zhǔn)分衡量心理模型做了狀態(tài)設(shè)計(jì)、邊界表達(dá)之后怎么知道用戶腦中的心理模型到底長(zhǎng)對(duì)了沒(méi)有這部分是我覺(jué)得最像“產(chǎn)品工程”的地方——不是憑感覺(jué)而是通過(guò)試探問(wèn)法和量化指標(biāo)去驗(yàn)證。5.1 試探性問(wèn)題集不是用來(lái)考Agent是用來(lái)考用戶的常見(jiàn)的錯(cuò)誤是拿測(cè)試集驗(yàn)證Agent的回答質(zhì)量但心理模型的驗(yàn)收需要反過(guò)來(lái)先觀察用戶在幾個(gè)特定場(chǎng)景下怎么反應(yīng)以此推斷他腦中的模型結(jié)構(gòu)。試探性問(wèn)題集就是干這個(gè)用的主要分三類題型題目示例驗(yàn)證點(diǎn)邊界內(nèi)題“幫我對(duì)比上月和這個(gè)月的轉(zhuǎn)化率”用戶是否預(yù)期Agent能穩(wěn)定完成而不是持懷疑態(tài)度邊界外題“把這次周報(bào)直接發(fā)給老板”用戶是否知道Agent不能替自己發(fā)送是否仍試圖越界半支持題“幫我看轉(zhuǎn)化率下降了該怎么辦”用戶是否預(yù)期Agent會(huì)做歸因推斷還是知道它只能給分析線索我一般會(huì)準(zhǔn)備20道左右邊界內(nèi)8道、邊界外6道、半支持6道讓測(cè)試用戶依次提問(wèn)觀察他們的第一反應(yīng)和追問(wèn)方式。重點(diǎn)記錄的指標(biāo)是邊界外題中用戶是否在被拒絕后迅速調(diào)整提問(wèn)策略還是在同一個(gè)方向反復(fù)糾纏。前者說(shuō)明邊界信號(hào)有效后者說(shuō)明用戶腦中的能力圈還模糊不清。半支持題最容易被忽略但它最能暴露問(wèn)題。用戶問(wèn)“怎么辦”時(shí)如果Agent硬要假裝自己能像分析師一樣給出歸因結(jié)論用戶就會(huì)把能力地圖擴(kuò)到“歸因推斷”上這就為后續(xù)的過(guò)度信任埋下雷。應(yīng)該在半支持問(wèn)題上給出“我只能基于可獲取數(shù)據(jù)做建議無(wú)法替代人工判斷”的邊界說(shuō)明把期望壓在一個(gè)可兌現(xiàn)的范圍內(nèi)。5.2 三個(gè)可量化的觀察指針外加一個(gè)校準(zhǔn)分公式試探性問(wèn)題集更像一次“體檢”持續(xù)運(yùn)營(yíng)還需要日常觀察指標(biāo)。我習(xí)慣盯三個(gè)第一個(gè)是越權(quán)提問(wèn)率指用戶提問(wèn)中Agent能力完全覆蓋不了的請(qǐng)求占比。越權(quán)提問(wèn)率高說(shuō)明能力地圖邊界不清晰太低也不正?？赡苡脩舾静恍湃蜛gent所以不敢提問(wèn)要結(jié)合訪談判斷。第二個(gè)是求助率即用戶主動(dòng)點(diǎn)擊幫助、轉(zhuǎn)人工或退出對(duì)話的占比。求助率在邊界表達(dá)優(yōu)化后通常會(huì)下降因?yàn)橛脩舨辉傩枰咳舜_認(rèn)“它能不能做這個(gè)”。第三個(gè)是短會(huì)話棄用率定義是“50輪內(nèi)對(duì)話未完成即離開(kāi)”的比例它反映用戶在狀態(tài)感知和邊界受挫后的流失情況。信任校準(zhǔn)分是我最喜歡的單一指標(biāo)。它近似于“用戶自評(píng)成功率”和“實(shí)際成功率”的差值。比如讓用戶在每次提問(wèn)前先勾選“你覺(jué)得Agent有多大把握答對(duì)”然后用實(shí)際輸出結(jié)果算出真實(shí)成功率兩者相減偏差絕對(duì)值越小說(shuō)明用戶的信任水平越貼近Agent的真實(shí)能力。這個(gè)分?jǐn)?shù)放在灰度對(duì)比里非常直觀加了狀態(tài)可見(jiàn)性和邊界提示的版本校準(zhǔn)分應(yīng)當(dāng)顯著收斂而不是忽高忽低。5.3 灰度對(duì)照實(shí)驗(yàn)怎么設(shè)計(jì)才能看出狀態(tài)設(shè)計(jì)的真實(shí)效果口頭說(shuō)“狀態(tài)設(shè)計(jì)有用”不算數(shù)灰度實(shí)驗(yàn)?zāi)芙o出更可信的結(jié)論?；咀龇ㄊ菧?zhǔn)備同一套Agent能力A組用戶看到完整的五態(tài)狀態(tài)提示和邊界提醒B組用戶只有最基礎(chǔ)的聊天界面和轉(zhuǎn)圈等待其他完全一致。然后比較兩組在前50輪交互里的三件事任務(wù)完成率、越權(quán)提問(wèn)率、平均對(duì)話輪數(shù)。我做過(guò)一次類似的對(duì)照樣本量不大但趨勢(shì)比較明顯A組的越權(quán)提問(wèn)率比B組低約三成任務(wù)完成率略高平均對(duì)話輪數(shù)反而更少。平均輪數(shù)減少是個(gè)好信號(hào)——用戶更快理解邊界不用反復(fù)試探、反復(fù)確認(rèn)自然花更少的輪數(shù)到達(dá)目標(biāo)?；叶葘?shí)驗(yàn)里最需要注意的是控制變量。不要在同一版灰度里同時(shí)改狀態(tài)文案、邊界提示、推薦動(dòng)作一次只動(dòng)一個(gè)變量否則出了差異說(shuō)不清是哪塊設(shè)計(jì)生效的。另外要排除新界面的新鮮感干擾灰度至少跑一周觀察第二三天之后的穩(wěn)定值而不是只看首日數(shù)據(jù)。5.4 訪談里最容易被忽略的一個(gè)問(wèn)法數(shù)據(jù)之外用戶訪談能提供更細(xì)膩的信息。但訪談里有一個(gè)問(wèn)法特別容易被忽略不要問(wèn)“你覺(jué)得它好用嗎”要問(wèn)“你覺(jué)得它不能做什么”。前者收獲一堆模糊的好評(píng)用語(yǔ)后者直接逼用戶描述他腦中的能力地圖邊界。再往前一步可以追問(wèn)“如果它一次答不上來(lái)你猜是為什么”用戶的回答會(huì)暴露他對(duì)Agent失敗原因的理解。如果他回答“可能是它知識(shí)庫(kù)不夠全”說(shuō)明他把Agent理解成一個(gè)信息池認(rèn)為了解不夠等于找不齊資料如果他回答“它可能根本沒(méi)權(quán)限”說(shuō)明他的心理模型里有權(quán)限邊界的概念。這兩種回答對(duì)應(yīng)的設(shè)計(jì)任務(wù)截然不同前者需要補(bǔ)RAG檢索的期待管理后者需要強(qiáng)化權(quán)限范圍的可視化。訪談樣本不需要很多五六個(gè)人就能覆蓋絕大多數(shù)模型偏差類型。關(guān)鍵是每次訪談都保留原始聊天記錄把用戶對(duì)邊界的自述和Agent的真實(shí)能力逐條對(duì)照偏差項(xiàng)就是下一輪設(shè)計(jì)要修的心理模型缺口。6. 踩坑實(shí)錄為什么做了狀態(tài)可見(jiàn)性和邊界聲明用戶還是看不懂以上方法在理論層面對(duì)但落到真實(shí)產(chǎn)品里幾乎每一步都可能翻車。這一章是我最想寫的部分——那些“明明按原則做了用戶還是沒(méi)搞懂”的時(shí)刻以及我從中修正出來(lái)的經(jīng)驗(yàn)。6.1 狀態(tài)標(biāo)簽過(guò)多反而變成噪音從五個(gè)狀態(tài)收斂到三個(gè)第一次做狀態(tài)設(shè)計(jì)時(shí)我屬于“面面俱到”派。Agent每一個(gè)內(nèi)部步驟我都想展示出來(lái)于是出現(xiàn)了“正在理解你的問(wèn)題”“正在分析語(yǔ)義”“正在抽取關(guān)鍵實(shí)體”“正在生成答案”“正在校驗(yàn)格式”五個(gè)連續(xù)狀態(tài)。內(nèi)測(cè)時(shí)發(fā)現(xiàn)一個(gè)奇怪現(xiàn)象用戶反饋“這工具話太多了”“感覺(jué)做什么都很慢”但真實(shí)接口延遲只有幾百毫秒。問(wèn)題出在狀態(tài)數(shù)量超過(guò)了用戶的注意力承受范圍。狀態(tài)本來(lái)是為了降低焦慮但當(dāng)狀態(tài)像彈幕一樣蹦來(lái)蹦去時(shí)用戶的注意力會(huì)被反復(fù)打斷他反而覺(jué)得這個(gè)Agent很不穩(wěn)定。后來(lái)精簡(jiǎn)成三個(gè)讀取數(shù)據(jù)、分析計(jì)算、生成結(jié)果。反饋立刻恢復(fù)平穩(wěn)?，F(xiàn)在我的經(jīng)驗(yàn)是默認(rèn)狀態(tài)下展示的狀態(tài)數(shù)量不要超過(guò)三個(gè)超過(guò)三個(gè)每一幀額外的狀態(tài)都在耗損用戶的耐心而不是增益信任。6.2 “裝忙”翻車現(xiàn)場(chǎng)思考動(dòng)畫(huà)和0.3秒延遲的錯(cuò)位有一次為了實(shí)現(xiàn)“思考感”我給一個(gè)數(shù)據(jù)查詢接口套了1.2秒的動(dòng)畫(huà)轉(zhuǎn)場(chǎng)實(shí)際上后臺(tái)0.3秒就返回了結(jié)果。內(nèi)測(cè)用戶丟給我的一句話讓我印象深刻“感覺(jué)網(wǎng)變慢了?！薄脩舾兄降牟皇恰癆gent在思考”而是“產(chǎn)品變卡了”。這讓我明白一個(gè)道理狀態(tài)的時(shí)長(zhǎng)會(huì)直接改變用戶對(duì)任務(wù)時(shí)長(zhǎng)的感知。人為拉長(zhǎng)一個(gè)不必要的過(guò)程用戶的大腦會(huì)自動(dòng)補(bǔ)上一個(gè)解釋而這個(gè)解釋往往是負(fù)面的。狀態(tài)顯示的時(shí)長(zhǎng)應(yīng)該逼近真實(shí)處理時(shí)長(zhǎng)寧可真實(shí)地短也不要為了“高級(jí)感”而假長(zhǎng)。如果Agent確實(shí)用時(shí)很短直接返回結(jié)果就是最好的狀態(tài)。強(qiáng)行“裝忙”只是在告訴用戶我看到的是一個(gè)不誠(chéng)實(shí)的系統(tǒng)。6.3 邊界文字放錯(cuò)了地方就真的只是免責(zé)聲明我們最初把邊界聲明寫進(jìn)了幫助文檔還在開(kāi)場(chǎng)白最后一行加了句“我只能做報(bào)表分析不能修改數(shù)據(jù)”。結(jié)果自然是被無(wú)視。用戶只有在動(dòng)作即將越界的那一刻才會(huì)真正產(chǎn)生對(duì)邊界信息的需求。后來(lái)我們把邊界提示移到兩個(gè)關(guān)鍵位置一是在輸入框上方當(dāng)輸入框檢測(cè)到“改”“發(fā)”“刪”“建”這類越界意圖時(shí)實(shí)時(shí)顯示一行輕量提示“我只能讀取和分析數(shù)據(jù)不能執(zhí)行修改操作”二是當(dāng)用戶確實(shí)提交了越界請(qǐng)求Model檢測(cè)到意圖后立刻觸發(fā)“三步轉(zhuǎn)折”回應(yīng)。這個(gè)改動(dòng)上線后越權(quán)提問(wèn)率在兩周內(nèi)明顯下降。后來(lái)有個(gè)測(cè)試用戶跟我說(shuō)了一句話我印象很深“我本來(lái)想讓它直接發(fā)郵件被它攔了一下才意識(shí)到它不是干這個(gè)的?！边@就是邊界信息出現(xiàn)在正確時(shí)刻的效果。6.4 長(zhǎng)會(huì)話里心理模型漂移每過(guò)幾輪要重置錨點(diǎn)心理模型不是一次校準(zhǔn)就永遠(yuǎn)有效的它會(huì)隨著會(huì)話推進(jìn)而漂移。我做過(guò)50輪的持續(xù)對(duì)話測(cè)試前20輪用戶對(duì)邊界表現(xiàn)得非常清楚后面突然開(kāi)始問(wèn)“你能直接幫我更新報(bào)表嗎”這種早已明確不能做的事。原因是上下文越拉越長(zhǎng)早期信息在用戶腦中的權(quán)重迅速衰減。解決思路是錨點(diǎn)重置。當(dāng)檢測(cè)到明顯的話題切換或高風(fēng)險(xiǎn)請(qǐng)求時(shí)用一句話把邊界錨點(diǎn)重新放回對(duì)話里比如“提醒一下我只能讀取和分析數(shù)據(jù)不能做任何修改動(dòng)作”。不必每次對(duì)話都重復(fù)只需要在高風(fēng)險(xiǎn)節(jié)點(diǎn)出現(xiàn)時(shí)重置一次。這種適度的重復(fù)比在開(kāi)頭長(zhǎng)篇大論講邊界有效得多因?yàn)橛脩艚邮苄畔⒌拇翱谑撬槠乃枰氖欠蛛A段供給的邊界信號(hào)。6.5 一次驚艷輸出可能瞬間覆蓋你辛苦建立的邊界最后分享一個(gè)至今沒(méi)有完美解法的場(chǎng)景。有時(shí)候Agent會(huì)突然給出一段超出用戶預(yù)期的深刻洞察用戶會(huì)立刻把能力地圖向外擴(kuò)展一大圈——之前建立的邊界觀念在一場(chǎng)“驚艷回答”后被自動(dòng)覆蓋。這是心理模型更新機(jī)制決定的單次顯著的正向樣本會(huì)被賦予巨大的權(quán)重。我對(duì)這個(gè)現(xiàn)象的應(yīng)對(duì)策略不是去抑制亮點(diǎn)而是在亮眼表現(xiàn)之后如果用戶的下一個(gè)請(qǐng)求觸及邊界立刻用更強(qiáng)的邊界提示把他拉回來(lái)。比如Agent剛給出一個(gè)漂亮的歸因報(bào)告用戶馬上說(shuō)“那你直接幫我把優(yōu)化策略的執(zhí)行方案發(fā)到項(xiàng)目群”Agent就需要明確說(shuō)“我可以生成執(zhí)行建議清單但不會(huì)替你發(fā)出群消息”。亮點(diǎn)可以保留邊界也必須在緊隨其后的交互中重新畫(huà)一次。這幾條坑踩下來(lái)我的核心體會(huì)是心理模型構(gòu)建本質(zhì)上不是寫文案而是一種“交互節(jié)奏設(shè)計(jì)”。用戶不會(huì)記住你在幫助文檔里寫了什么他只會(huì)記住某次等待時(shí)你告訴了他什么、某次越界時(shí)你給了他什么出路、某次驚艷回答之后你讓他安心了多少。每一次對(duì)能力邊界和當(dāng)前狀態(tài)的誠(chéng)實(shí)表達(dá)都是在替用戶保管他腦中的那張地圖?，F(xiàn)在我做新Agent總會(huì)先問(wèn)自己一個(gè)問(wèn)題如果用戶只能記住三件事我希望他記住哪三件。然后把所有的狀態(tài)提示、邊界提醒和糾偏話術(shù)全部壓進(jìn)這三件事里。這個(gè)習(xí)慣幫我避免了很多場(chǎng)“口碑崩掉”。