試計(jì)劃過(guò)時(shí)？用ChatGPT把起草成本壓到分鐘級(jí))
上上個(gè)迭代我們團(tuán)隊(duì)的測(cè)試經(jīng)理花了兩天寫了一份15頁(yè)的測(cè)試計(jì)劃迭代第三天需求就被砍掉了三分之一那份文檔直接進(jìn)了回收站。這個(gè)場(chǎng)景我相信很多敏捷團(tuán)隊(duì)都不陌生——不是大家不重視測(cè)試計(jì)劃而是在兩周一個(gè)迭代的節(jié)奏里傳統(tǒng)方式寫出來(lái)的測(cè)試計(jì)劃天然就是過(guò)時(shí)的。后來(lái)我把ChatGPT引入敏捷測(cè)試計(jì)劃的制定流程用來(lái)輔助生成測(cè)試場(chǎng)景、輸出分層測(cè)試策略、參與測(cè)試范圍估算才真正把“測(cè)試計(jì)劃”從一份存檔文檔變成了一個(gè)持續(xù)更新的工作流。這篇文章我會(huì)完整分享我在敏捷項(xiàng)目里讓ChatGPT參與測(cè)試計(jì)劃制定的一整套做法怎么設(shè)計(jì)Prompt、怎么把AI輸出變成可執(zhí)行的測(cè)試策略、哪些環(huán)節(jié)必須人來(lái)把關(guān)、實(shí)際踩過(guò)哪些坑。適合正在做敏捷測(cè)試的QA工程師、測(cè)試開發(fā)、測(cè)試經(jīng)理也適合所有好奇AI工具怎么在軟件開發(fā)流程里真正落地的人。先說(shuō)結(jié)論AI不會(huì)替你做出好的測(cè)試決策但它能把“起草測(cè)試方案”這件事的成本壓縮到分鐘級(jí)讓你把省下來(lái)的時(shí)間花在真正需要判斷力的地方。1. 敏捷迭代里測(cè)試計(jì)劃為什么總是一紙空文1.1 傳統(tǒng)測(cè)試計(jì)劃在兩周迭代里的死法傳統(tǒng)測(cè)試計(jì)劃長(zhǎng)什么樣一份文檔包含測(cè)試目標(biāo)、測(cè)試范圍、環(huán)境清單、資源安排、進(jìn)度排期、風(fēng)險(xiǎn)和對(duì)策。這套東西天然假設(shè)需求是穩(wěn)定的階段是清晰的計(jì)劃可以覆蓋整個(gè)項(xiàng)目周期。但敏捷迭代根本不滿足這個(gè)假設(shè)用戶故事在計(jì)劃會(huì)之后還會(huì)被拆分開發(fā)在實(shí)現(xiàn)過(guò)程中會(huì)發(fā)現(xiàn)新的技術(shù)約束產(chǎn)品經(jīng)理會(huì)在迭代中途補(bǔ)充更緊急的需求。結(jié)果就是計(jì)劃文檔的寫作用時(shí)越長(zhǎng)它失效得越快。我見(jiàn)過(guò)很多團(tuán)隊(duì)花整整一天時(shí)間開會(huì)討論測(cè)試范圍晚上加班把計(jì)劃文檔趕出來(lái)到第二天站會(huì)上就有開發(fā)說(shuō)“這個(gè)接口設(shè)計(jì)改了原來(lái)的用例可能不適用了”。這種挫敗感積累幾次之后團(tuán)隊(duì)成員對(duì)測(cè)試計(jì)劃的信任就沒(méi)了文檔變成“領(lǐng)導(dǎo)要的存檔物”測(cè)試執(zhí)行完全靠個(gè)人經(jīng)驗(yàn)現(xiàn)場(chǎng)發(fā)揮。1.2 計(jì)劃不是不需要而是成本必須降下來(lái)敏捷宣言里“響應(yīng)變化優(yōu)于遵循計(jì)劃”常常被誤解成“不要做計(jì)劃”但我理解它針對(duì)的是那種“計(jì)劃定死、變化即災(zāi)難”的做法。敏捷團(tuán)隊(duì)恰恰更需要計(jì)劃因?yàn)橹挥杏?jì)劃才能把有限的人力投入到真正重要的測(cè)試場(chǎng)景里。問(wèn)題在于“做計(jì)劃”這個(gè)動(dòng)作的成本太高了——高到迭代一開始花半天、緊接著就要改的程度。ChatGPT的價(jià)值正好落在這里。它最擅長(zhǎng)的事情就是從已有材料里快速生成一份結(jié)構(gòu)化的“初稿”而測(cè)試計(jì)劃恰恰是一個(gè)需要大量格式化和枚舉的工作從用戶故事反推測(cè)試場(chǎng)景、從驗(yàn)收標(biāo)準(zhǔn)拆解業(yè)務(wù)規(guī)則、把場(chǎng)景劃分優(yōu)先級(jí)。這些事讓AI先干人類測(cè)試工程師負(fù)責(zé)裁剪和判斷整個(gè)成本結(jié)構(gòu)就完全不一樣了。我現(xiàn)在每個(gè)迭代做測(cè)試計(jì)劃AI生成初稿加團(tuán)隊(duì)評(píng)審裁剪總耗時(shí)從原來(lái)的大半天壓縮到一兩個(gè)小時(shí)“計(jì)劃過(guò)時(shí)”的問(wèn)題雖然沒(méi)有消失但至少我們每次都能用最低的成本把它更新到位。2. 從用戶故事到測(cè)試場(chǎng)景我搭了一套Prompt流水線2.1 先搞清楚輸入光把用戶故事丟給AI是不夠的很多人拿ChatGPT生成測(cè)試用例結(jié)果不滿意跑來(lái)問(wèn)我為什么AI輸出全是“輸入正確賬號(hào)密碼驗(yàn)證登錄成功”這種廢話。我看了他們的Prompt就明白了他們只給了一句“幫我生成登錄模塊的測(cè)試用例”。這等于讓一個(gè)剛進(jìn)公司的測(cè)試實(shí)習(xí)生不看不了解系統(tǒng)就憑空出用例他只能給你教科書級(jí)別的通用答案AI也是一樣的。我的做法是給AI四類輸入材料缺一不可。第一是用戶故事原文包含格式化的As/I want/So that結(jié)構(gòu)第二是驗(yàn)收標(biāo)準(zhǔn)這是最關(guān)鍵的部分AC就是業(yè)務(wù)的測(cè)試契約第三是技術(shù)上下文比如前端框架、后端接口、數(shù)據(jù)庫(kù)字段、第三方依賴第四是測(cè)試約束明確這次只要Web端、是否涉及支付、需不需要做瀏覽器兼容。輸入越具體輸出就越接近你需要的“這個(gè)項(xiàng)目專用測(cè)試場(chǎng)景”而不是“所有登錄功能都適用的通用模板”。2.2 核心Prompt模板角色、任務(wù)、約束、格式我目前試下來(lái)最好用的一套Prompt模板長(zhǎng)這樣你可以直接復(fù)制去改你是一名具有10年經(jīng)驗(yàn)的敏捷測(cè)試工程師擅長(zhǎng)從用戶故事反推測(cè)試場(chǎng)景?，F(xiàn)在請(qǐng)幫助測(cè)試團(tuán)隊(duì)完成以下任務(wù)。 輸入材料 - 用戶故事這里粘貼用戶故事原文 - 驗(yàn)收標(biāo)準(zhǔn)這里粘貼全部AC - 技術(shù)上下文接口協(xié)議、數(shù)據(jù)庫(kù)字段、依賴服務(wù)等 - 測(cè)試約束平臺(tái)、瀏覽器、是否需要自動(dòng)化 請(qǐng)完成 1. 從驗(yàn)收標(biāo)準(zhǔn)中拆解出需要驗(yàn)證的業(yè)務(wù)規(guī)則逐條列出 2. 針對(duì)每條業(yè)務(wù)規(guī)則設(shè)計(jì)測(cè)試場(chǎng)景覆蓋正常路徑、異常路徑、邊界條件 3. 標(biāo)注每個(gè)測(cè)試場(chǎng)景的優(yōu)先級(jí)P0阻斷上線、P1影響主流程、P2邊緣場(chǎng)景 4. 每個(gè)測(cè)試場(chǎng)景給出前置條件、操作步驟、期望結(jié)果 約束條件 - 不要臆測(cè)輸入材料中未提供的信息缺失時(shí)標(biāo)注“需人工補(bǔ)充” - 每條業(yè)務(wù)規(guī)則至少設(shè)計(jì)兩個(gè)測(cè)試場(chǎng)景場(chǎng)景總數(shù)控制在15~25個(gè) - 用Markdown表格輸出這個(gè)模板里的每個(gè)部分都有講究。角色設(shè)定成“資深敏捷測(cè)試工程師”AI的輸出風(fēng)格會(huì)明顯更貼近專業(yè)測(cè)試語(yǔ)境它傾向于使用“前置條件”“邊界條件”這類術(shù)語(yǔ)而不是聊天式的泛泛而談。任務(wù)拆解成四步并且給了嚴(yán)格的優(yōu)先級(jí)定義是為了讓輸出可以直接進(jìn)評(píng)審流程而不是還要你去猜它為什么把某個(gè)場(chǎng)景標(biāo)成P0。最后兩條約束條件尤其關(guān)鍵“不要臆測(cè)未提供信息”能有效壓制AI編造字段名和業(yè)務(wù)規(guī)則的沖動(dòng)場(chǎng)景數(shù)量限制則防止它給你輸出五十條湊數(shù)的用例。2.3 實(shí)測(cè)示例一個(gè)登錄模塊的拆解結(jié)果拿一個(gè)簡(jiǎn)化但典型的登錄模塊用戶故事來(lái)演示。用戶故事是“作為注冊(cè)用戶我希望通過(guò)賬號(hào)密碼登錄系統(tǒng)以便訪問(wèn)我的工作臺(tái)”驗(yàn)收標(biāo)準(zhǔn)有五條正確的賬號(hào)密碼登錄成功并跳轉(zhuǎn)工作臺(tái)密碼錯(cuò)誤時(shí)提示“賬號(hào)或密碼錯(cuò)誤”賬號(hào)不存在時(shí)提示“賬號(hào)不存在”連續(xù)5次失敗鎖定賬號(hào)15分鐘登錄成功后記錄最后登錄時(shí)間。用上面的模板跑完AI輸出的表格大致長(zhǎng)這樣業(yè)務(wù)規(guī)則測(cè)試場(chǎng)景前置條件操作步驟期望結(jié)果優(yōu)先級(jí)AC1正確賬號(hào)密碼登錄成功正確憑據(jù)正常路徑存在已注冊(cè)賬號(hào)輸入正確賬號(hào)密碼點(diǎn)擊登錄登錄成功跳轉(zhuǎn)工作臺(tái)P0AC1正確賬號(hào)密碼登錄成功登錄成功后會(huì)話保持已成功登錄登錄后刷新頁(yè)面會(huì)話不過(guò)期頁(yè)面正常加載P1AC2密碼錯(cuò)誤提示錯(cuò)誤密碼異常路徑存在已注冊(cè)賬號(hào)輸入正確賬號(hào)和錯(cuò)誤密碼頁(yè)面提示“賬號(hào)或密碼錯(cuò)誤”P0AC2密碼錯(cuò)誤提示密碼大小寫邊界存在密碼含大寫字母的賬號(hào)輸入小寫形式的密碼提示“賬號(hào)或密碼錯(cuò)誤”P2AC4連續(xù)5次失敗鎖定第5次失敗觸發(fā)鎖定當(dāng)前失敗次數(shù)為4再輸入一次錯(cuò)誤密碼賬號(hào)鎖定提示15分鐘內(nèi)不能登錄P0AC4鎖定時(shí)間邊界鎖定狀態(tài)下的再次嘗試賬號(hào)已鎖定鎖定期間嘗試登錄即使密碼正確也被拒絕P0AC5記錄最后登錄時(shí)間登錄時(shí)間更新賬號(hào)已登錄過(guò)成功登錄后查看記錄最后登錄時(shí)間更新為本次時(shí)間P1拿到這份初稿之后我還做了兩件事第一把AC4的鎖定邊界拆成“第4次失敗不觸發(fā)鎖定”和“鎖定15分鐘后恢復(fù)登錄”兩個(gè)子場(chǎng)景直接拼進(jìn)表格第二測(cè)試過(guò)程中發(fā)現(xiàn)頁(yè)面“記住我”選項(xiàng)沒(méi)有對(duì)應(yīng)的驗(yàn)收標(biāo)準(zhǔn)我把它標(biāo)記為“需產(chǎn)品確認(rèn)”沒(méi)有讓AI替產(chǎn)品做決定。這就是我理解的AI輔助測(cè)試設(shè)計(jì)——它出初稿你做判斷兩邊都不會(huì)變成對(duì)方的瓶頸。3. 測(cè)試策略不是AI寫出來(lái)的是人和AI一起“剪”出來(lái)的3.1 用AI生成分層測(cè)試策略的第二種Prompt輸出測(cè)試場(chǎng)景只是第一步測(cè)試計(jì)劃真正要解決的是“這些場(chǎng)景怎么排兵布陣”哪些放冒煙測(cè)試、哪些放回歸測(cè)試、哪些必須自動(dòng)化、哪些由手工覆蓋、執(zhí)行順序是什么、依賴哪些外部系統(tǒng)。這部分我也讓AI參與但換了一套Prompt思路。這套Prompt的輸入不是用戶故事而是上一輪生成的測(cè)試場(chǎng)景優(yōu)先級(jí)列表外加三個(gè)附加信息本次迭代的回歸窗口、歷史缺陷集中出現(xiàn)的模塊、現(xiàn)有自動(dòng)化用例覆蓋范圍。我要求AI輸出四樣?xùn)|西每個(gè)模塊的建議測(cè)試層級(jí)、建議執(zhí)行順序、適合自動(dòng)化的場(chǎng)景篩選、依賴外部系統(tǒng)時(shí)需要提前準(zhǔn)備的數(shù)據(jù)或服務(wù)。這里必須提醒一句AI不懂你項(xiàng)目的真實(shí)業(yè)務(wù)權(quán)重它給出的策略是“基于普遍經(jīng)驗(yàn)的基線”。比如對(duì)登錄模塊它會(huì)說(shuō)“登錄是核心入口所有場(chǎng)景都標(biāo)P0”這個(gè)判斷本身沒(méi)錯(cuò)但如果這是內(nèi)部管理系統(tǒng)的后臺(tái)登錄業(yè)務(wù)風(fēng)險(xiǎn)遠(yuǎn)低于面向外部用戶的支付入口P0的范圍就需要人工收縮。AI給你的是一份有參考價(jià)值的起點(diǎn)不是決策結(jié)果。3.2 我總結(jié)的三種輸出類型干貨、正確廢話和危險(xiǎn)幻覺(jué)和ChatGPT協(xié)作多了我發(fā)現(xiàn)它的輸出穩(wěn)定地分成三類你必須能分辨。真正有用的是那些能幫你打開盲區(qū)的干貨。比如我在生成訂單導(dǎo)出功能測(cè)試策略時(shí)AI提出“導(dǎo)出結(jié)果為空時(shí)是否仍生成文件”這個(gè)邊界場(chǎng)景我之前確實(shí)沒(méi)想過(guò)這個(gè)交互細(xì)節(jié)后來(lái)查了產(chǎn)品原型確認(rèn)確實(shí)有這個(gè)分支。這類輸出說(shuō)明AI從經(jīng)驗(yàn)庫(kù)里調(diào)出了值得驗(yàn)證的假設(shè)是它最有價(jià)值的部分。其次是“正確廢話”。這類建議占了三到四成典型表現(xiàn)是“建議覆蓋核心功能”“建議做好兼容性測(cè)試”“建議關(guān)注數(shù)據(jù)一致性”。這些話放在任何項(xiàng)目都不會(huì)錯(cuò)但也永遠(yuǎn)不會(huì)讓你多發(fā)現(xiàn)一個(gè)bug。我的應(yīng)對(duì)辦法是在Prompt里加硬約束禁止泛泛而談每個(gè)建議必須落到具體模塊、具體字段、具體操作路徑否則我會(huì)直接裁剪掉。最需要警惕的是“危險(xiǎn)幻覺(jué)”。AI在信息不足時(shí)會(huì)編造比如虛構(gòu)一個(gè)不存在的接口字段假設(shè)數(shù)據(jù)庫(kù)已經(jīng)存在某張表或者把別的項(xiàng)目的業(yè)務(wù)規(guī)則套到你的項(xiàng)目上。這類問(wèn)題一旦混進(jìn)測(cè)試策略輕則浪費(fèi)團(tuán)隊(duì)時(shí)間去驗(yàn)證一個(gè)不存在的東西重則把真正的風(fēng)險(xiǎn)漏掉。對(duì)策我在后面專門講核心就是不讓它在關(guān)鍵信息真空里自由發(fā)揮。3.3 人工裁剪核對(duì)表我每次評(píng)審AI輸出都會(huì)過(guò)一遍AI生成測(cè)試策略之后我會(huì)拿著下面這張核對(duì)表逐條過(guò)這步不能省。業(yè)務(wù)規(guī)則是否全部映射到了測(cè)試場(chǎng)景驗(yàn)收標(biāo)準(zhǔn)里每一條AC都必須至少有一個(gè)場(chǎng)景對(duì)應(yīng)。是否存在技術(shù)可行性問(wèn)題環(huán)境里根本搭不起來(lái)的條件AI不會(huì)知道只有你知道。場(chǎng)景是否重復(fù)多個(gè)規(guī)則落到同一個(gè)操作路徑時(shí)合并而不是堆積。是否遺漏測(cè)試基礎(chǔ)設(shè)施需求比如數(shù)據(jù)清理方案、賬號(hào)隔離、時(shí)間模擬工具這些AI很少主動(dòng)提。優(yōu)先級(jí)是否經(jīng)過(guò)業(yè)務(wù)確認(rèn)AI標(biāo)P0是你的核心入口但你要確認(rèn)這是不是業(yè)務(wù)上最賠不起的地方。3.4 一個(gè)策略合并的真實(shí)案例講一個(gè)支付模塊的例子。AI建議“對(duì)第三方支付回調(diào)接口做全場(chǎng)景回歸測(cè)試”我們團(tuán)隊(duì)原方案是“回調(diào)邏輯由聯(lián)調(diào)環(huán)境人工驗(yàn)證”兩個(gè)方案并不沖突但直接合并會(huì)讓回歸窗口超標(biāo)。最后團(tuán)隊(duì)討論出的調(diào)整方案是回調(diào)接口里的冪等場(chǎng)景提為P0并且自動(dòng)化因?yàn)闅v史缺陷集中出現(xiàn)在重復(fù)回調(diào)導(dǎo)致重復(fù)下單這個(gè)區(qū)域其他回調(diào)場(chǎng)景保持聯(lián)調(diào)環(huán)境人工驗(yàn)證不變。這個(gè)決定AI做不了因?yàn)樗床坏轿覀兊娜毕輲?kù)我們團(tuán)隊(duì)自己也很難在短時(shí)間內(nèi)列出所有回調(diào)場(chǎng)景因?yàn)槊杜e太耗時(shí)間。兩邊合起來(lái)才是一個(gè)既能落地又覆蓋風(fēng)險(xiǎn)的測(cè)試策略。4. 計(jì)劃會(huì)上的新玩法讓AI承擔(dān)測(cè)試范圍估算的“中性基準(zhǔn)”4.1 估算用例數(shù)和工作量的Prompt設(shè)計(jì)迭代計(jì)劃會(huì)上最痛苦的爭(zhēng)論永遠(yuǎn)是“這個(gè)需求要測(cè)多久”。人類的估算很容易被發(fā)言者的權(quán)威和團(tuán)隊(duì)氣氛帶偏而且大家通常憑感覺(jué)說(shuō)不出依據(jù)。AI在這件事上反而有個(gè)天然優(yōu)勢(shì)它是中性的沒(méi)有項(xiàng)目里的政治包袱。我設(shè)計(jì)了一套用于估算的Prompt輸入包括用戶故事點(diǎn)數(shù)、涉及模塊、該模塊歷史測(cè)試用例數(shù)量、期望回歸窗口長(zhǎng)度。輸出要求是給出該模塊建議測(cè)試用例數(shù)量的低/中/高三檔區(qū)間并列出每一檔區(qū)間的風(fēng)險(xiǎn)假設(shè)。舉一個(gè)實(shí)際例子一個(gè)訂單導(dǎo)出功能AI給的估算結(jié)果是低方案12個(gè)用例只覆蓋主流程和AC直接相關(guān)場(chǎng)景風(fēng)險(xiǎn)是導(dǎo)出失敗時(shí)用戶反饋不夠友好中方案15個(gè)用例增加空數(shù)據(jù)、超大數(shù)據(jù)量、并發(fā)導(dǎo)出三個(gè)邊界場(chǎng)景高方案18個(gè)用例再增加不同格式導(dǎo)出和權(quán)限組合。這個(gè)輸出直接變成計(jì)劃會(huì)的討論基礎(chǔ)團(tuán)隊(duì)只需要決定“這次選哪一檔”而不是從零開始爭(zhēng)論。4.2 把AI估算換算成團(tuán)隊(duì)的story pointAI給的是用例數(shù)量和場(chǎng)景清單換算成人力和Story Point還得我們自己來(lái)。我們團(tuán)隊(duì)的標(biāo)準(zhǔn)很簡(jiǎn)單一個(gè)手工測(cè)試用例如果沒(méi)有特殊數(shù)據(jù)準(zhǔn)備大概需要5到15分鐘執(zhí)行自動(dòng)化用例新增一個(gè)要算半小時(shí)以上的開發(fā)和調(diào)試成本后續(xù)每次回歸還要算維護(hù)系數(shù)。人力基線的計(jì)算公式大概是手工測(cè)試人力等于場(chǎng)景數(shù)乘以單場(chǎng)景執(zhí)行時(shí)間再加上數(shù)據(jù)準(zhǔn)備時(shí)間自動(dòng)化回歸人力等于自動(dòng)化用例數(shù)乘以維護(hù)系數(shù)。這個(gè)換算邏輯不復(fù)雜但它解決了計(jì)劃會(huì)議里的兩個(gè)老問(wèn)題第一估算過(guò)程可追溯了任何人問(wèn)“為什么這次回歸要兩天”可以直接追溯到 AI 的場(chǎng)景清單和人工裁剪記錄第二估算結(jié)果有了一個(gè)中立的錨點(diǎn)團(tuán)隊(duì)成員討論的不是“我覺(jué)得要三天”而是“AI估了15個(gè)場(chǎng)景我們討論下來(lái)加到18個(gè)所以多出3個(gè)場(chǎng)景的時(shí)間”。后者比前者健康得多。4.3 實(shí)測(cè)效果計(jì)劃會(huì)從90分鐘壓到45分鐘這套流程在我們團(tuán)隊(duì)跑了兩三個(gè)迭代之后最直觀的變化是迭代初期的測(cè)試范圍討論時(shí)間縮短了一半左右。原來(lái)計(jì)劃會(huì)大家要對(duì)每個(gè)用戶故事的表態(tài)各說(shuō)各的經(jīng)常跑題到技術(shù)細(xì)節(jié)上現(xiàn)在是AI先給一份范圍清單會(huì)議直接進(jìn)入差異討論環(huán)節(jié)哪些場(chǎng)景我們不需要、哪些場(chǎng)景AI漏了、哪些優(yōu)先級(jí)該調(diào)。爭(zhēng)論依舊存在但爭(zhēng)論的質(zhì)量完全不同——大家是在討論AI輸出和項(xiàng)目實(shí)際的差距而不是在拍腦袋爭(zhēng)感覺(jué)。有一點(diǎn)我得潑冷水不代表AI輸出就是標(biāo)準(zhǔn)答案估算數(shù)字只是參考它甚至可能會(huì)錯(cuò)得離譜。如果AI說(shuō)某個(gè)模塊“只需要8個(gè)用例”而你的業(yè)務(wù)直覺(jué)告訴你這里至少20個(gè)那大概率是你的業(yè)務(wù)經(jīng)驗(yàn)發(fā)現(xiàn)了AI不知道的復(fù)雜性。這時(shí)候要做的是補(bǔ)充上下文讓AI重新生成而不是直接接受或者直接推翻。4.4 防“AI背書”陷阱引入AI估算后我還發(fā)現(xiàn)了一個(gè)新的團(tuán)隊(duì)風(fēng)險(xiǎn)AI背書。有人會(huì)拿“AI說(shuō)我只要測(cè)8個(gè)用例”來(lái)壓縮測(cè)試時(shí)間也有人拿“AI建議18個(gè)場(chǎng)景”來(lái)作為自己不做深入判斷的免責(zé)聲明。這兩種情況我都見(jiàn)過(guò)處理方式是在計(jì)劃會(huì)開始前立一條規(guī)則AI的輸出只是討論素材不構(gòu)成任何人的決定依據(jù)每個(gè)數(shù)字都可以且應(yīng)該被挑戰(zhàn)和追問(wèn)。AI讓估算過(guò)程有了一個(gè)外部錨點(diǎn)但決策責(zé)任永遠(yuǎn)在團(tuán)隊(duì)自己身上。5. 踩過(guò)的坑與邊界這些環(huán)節(jié)我堅(jiān)決不交給ChatGPT5.1 幻覺(jué)最嚴(yán)重的三個(gè)場(chǎng)景我在測(cè)試計(jì)劃中使用ChatGPT過(guò)程中最需要盯防的就是幻覺(jué)哪怕Prompt做得再好都無(wú)法完全避免。最容易出現(xiàn)幻覺(jué)的是三個(gè)場(chǎng)景。接口字段名。AI不知道你的接口文檔長(zhǎng)什么樣只要輸入里沒(méi)有顯式包含字段定義它就會(huì)自行“補(bǔ)全”字段名比如把createTime寫成created_at然后你拿著這個(gè)用例去找開發(fā)對(duì)對(duì)方根本不知道你在說(shuō)什么。對(duì)策是涉及具體接口的測(cè)試場(chǎng)景一定要把真實(shí)接口定義放進(jìn)輸入里或者在輸出要求里強(qiáng)制標(biāo)注“字段名以接口文檔為準(zhǔn)未提供的字段按未知處理”。業(yè)務(wù)規(guī)則推導(dǎo)。AI會(huì)把行業(yè)通用邏輯當(dāng)成你的業(yè)務(wù)邏輯。比如說(shuō)“訂單取消必須填寫取消原因”這在很多產(chǎn)品里是真的但你的產(chǎn)品可能沒(méi)有這個(gè)功能。我沒(méi)少在這個(gè)坑里浪費(fèi)時(shí)間后來(lái)就是在Prompt里反復(fù)加“不要假設(shè)輸入材料未提到的業(yè)務(wù)規(guī)則”。歷史缺陷信息。AI訪問(wèn)不了你的缺陷庫(kù)你對(duì)這個(gè)模塊的歷史缺陷分析不能交給AI替你判斷。它只知道“這類功能通常在哪出問(wèn)題”不知道“你們這個(gè)模塊上季度在哪個(gè)字段上栽了大跟頭”。這部分必須由知曉項(xiàng)目上下文的人來(lái)補(bǔ)。5.2 版本同步Prompt也要進(jìn)版本庫(kù)這是一個(gè)容易被忽略但是很重要的坑。當(dāng)我們開始用Prompt批量生成測(cè)試場(chǎng)景之后Prompt本身就變成了測(cè)試策略的源代碼。如果需求變了測(cè)試用例改了但Prompt還是舊的下一次迭代AI輸出的就是過(guò)時(shí)的方案而你很可能注意不到。所以我們現(xiàn)在把每個(gè)模塊的Prompt作為Markdown文件放在代碼倉(cāng)庫(kù)里和測(cè)試用例放在一起評(píng)審。每次需求變化對(duì)應(yīng)的Prompt也要更新更新記錄里寫明改了什么約束條件、為什么改。這一開始大家會(huì)覺(jué)得麻煩但經(jīng)歷了一次“AI按舊需求生成了新測(cè)試計(jì)劃”的事故之后團(tuán)隊(duì)所有人就都自覺(jué)了。5.3 數(shù)據(jù)合規(guī)與安全邊界用外部對(duì)話式AI處理測(cè)試計(jì)劃還有一條紅線必須守不要把客戶的真實(shí)個(gè)人信息、生產(chǎn)環(huán)境的數(shù)據(jù)庫(kù)內(nèi)容、內(nèi)部未公開的業(yè)務(wù)指標(biāo)直接粘貼進(jìn)去。我理解很多人圖省事直接把用戶故事里的真實(shí)用戶名密碼示例放進(jìn)Prompt這不行。我們的做法是在進(jìn)入提交流程之前先做一輪脫敏把真實(shí)數(shù)據(jù)替換成結(jié)構(gòu)等價(jià)但無(wú)意義的占位值等AI生成完場(chǎng)景之后再在測(cè)試環(huán)境里替換回真實(shí)測(cè)試數(shù)據(jù)。我在這件事上吃過(guò)教訓(xùn)有次我在Prompt里附帶了一個(gè)包含真實(shí)客戶編號(hào)的示例數(shù)據(jù)文件雖然沒(méi)出什么事但被合規(guī)同事提醒之后我才意識(shí)到這類信息一旦進(jìn)入對(duì)話歷史就超出了我們自己的管控范圍。從那以后脫敏流程就再也沒(méi)有省略過(guò)。5.4 確認(rèn)偏誤AI會(huì)順著你想聽(tīng)的說(shuō)用ChatGPT做測(cè)試計(jì)劃時(shí)間長(zhǎng)了我發(fā)現(xiàn)一個(gè)更隱蔽的問(wèn)題確認(rèn)偏誤。如果我在Prompt里先入為主地寫了一句“這個(gè)模塊的主要風(fēng)險(xiǎn)可能是登錄態(tài)校驗(yàn)”AI生成的方案大概率會(huì)順著登錄態(tài)校驗(yàn)這個(gè)方向展開哪怕真實(shí)的測(cè)試策略應(yīng)該把注意力放在另一個(gè)完全不同的異常路徑上。AI本質(zhì)上是在優(yōu)化“回答得讓你滿意”而不是在做獨(dú)立客觀的分析。我現(xiàn)在的方法是在Prompt里加一個(gè)固定要求“在生成方案之前先列出三個(gè)與你預(yù)期相反的反面假設(shè)?！比绻业念A(yù)設(shè)是風(fēng)險(xiǎn)在登錄態(tài)AI必須先把“風(fēng)險(xiǎn)不在登錄態(tài)而在并發(fā)/數(shù)據(jù)權(quán)限/緩存”這三種可能性列出來(lái)然后才允許進(jìn)入正式方案。這一句Prompt改動(dòng)的效果非常明顯它強(qiáng)行把一個(gè)“順著你說(shuō)”的工具變成了“逼你先換個(gè)角度想”的伙伴。6. 三周落地路線從“個(gè)人嘗試”到“團(tuán)隊(duì)默認(rèn)”6.1 第一周搭輸入模板庫(kù)如果你想把這套流程引入團(tuán)隊(duì)我的建議是不要一上來(lái)就追求全自動(dòng)先花一周把基礎(chǔ)打好。這一周唯一要做的事就是收集輸入模板把團(tuán)隊(duì)最近兩三個(gè)迭代已經(jīng)做過(guò)的用戶故事、驗(yàn)收標(biāo)準(zhǔn)和測(cè)試用例整理出來(lái)提取成可復(fù)用的輸入模板。為什么這是第一周最重要的事因?yàn)锳I輸出的質(zhì)量首先由輸入決定輸入不穩(wěn)定后面對(duì)齊和復(fù)盤就會(huì)變成災(zāi)難。我們已經(jīng)完成了十幾條用戶故事的模板化字段包括業(yè)務(wù)目標(biāo)、涉及模塊、驗(yàn)收標(biāo)準(zhǔn)、技術(shù)依賴、測(cè)試約束后面的工作全部建立在這個(gè)模板庫(kù)上。6.2 第二周拿一個(gè)模塊做對(duì)比實(shí)驗(yàn)第二周選一個(gè)風(fēng)險(xiǎn)中等、規(guī)模適中的模塊做對(duì)比實(shí)驗(yàn)我推薦用戶權(quán)限管理這類業(yè)務(wù)邏輯清晰又不涉及核心資金流的模塊。做法是測(cè)試人員用手工方式生成一批測(cè)試場(chǎng)景同時(shí)用AI生成同一批用戶故事的測(cè)試場(chǎng)景然后讓團(tuán)隊(duì)里另一個(gè)不參與該模塊的同事對(duì)兩份清單盲評(píng)覆蓋率、重復(fù)率和遺漏點(diǎn)。這組對(duì)比數(shù)據(jù)非常有價(jià)值你能直觀看到AI在哪些維度上更強(qiáng)、在哪些維度上穩(wěn)定犯錯(cuò)。我們當(dāng)時(shí)得到的結(jié)論是AI在邊界條件和異常路徑的枚舉上明顯強(qiáng)于平均水平的測(cè)試人員但在業(yè)務(wù)背景相關(guān)的場(chǎng)景上嚴(yán)重依賴輸入材料是否完整。這些結(jié)論直接決定了后面Prompt要往哪個(gè)方向調(diào)。6.3 第三周定團(tuán)隊(duì)規(guī)范與評(píng)審清單第三周把經(jīng)驗(yàn)固化成規(guī)范。我們團(tuán)隊(duì)最終定的規(guī)則是新需求和接口變更類任務(wù)允許用AI生成初稿核心業(yè)務(wù)規(guī)則、安全相關(guān)功能、與歷史數(shù)據(jù)兼容的改動(dòng)必須人工主導(dǎo)所有AI輸出必須經(jīng)過(guò)評(píng)審清單包括是否映射全部AC、不確定項(xiàng)是否被標(biāo)注、優(yōu)先級(jí)是否經(jīng)過(guò)團(tuán)隊(duì)確認(rèn)、是否完成數(shù)據(jù)脫敏。這些規(guī)范不用很多條但每一條都是從實(shí)際碰撞里長(zhǎng)出來(lái)的。6.4 一句話心法運(yùn)行幾個(gè)迭代之后我對(duì)這套方法的理解可以濃縮成一句話AI生成的測(cè)試計(jì)劃是一個(gè)高質(zhì)量的初稿不是最終答案。測(cè)試策略永遠(yuǎn)屬于團(tuán)隊(duì)因?yàn)橹挥袌F(tuán)隊(duì)知道“這個(gè)上線事故我們賠不起”這種無(wú)法被寫進(jìn)Prompt里的信息。ChatGPT在做的事情是把起草成本降下來(lái)讓人的精力集中到真正重要的判斷上。我個(gè)人在這個(gè)過(guò)程中的體會(huì)是工具本身不會(huì)讓測(cè)試策略變好讓策略變好的是團(tuán)隊(duì)把時(shí)間從“從零起草”挪到了“判斷和裁剪”。如果你也想在團(tuán)隊(duì)里引入這套流程建議別急著讓所有模塊都用AI生成先在一個(gè)中等模塊上跑通找到你們團(tuán)隊(duì)自己的Prompt和裁剪清單再慢慢鋪開。最后送一個(gè)小技巧每次讓AI正式輸出之前加上一句“請(qǐng)先列出三個(gè)反面假設(shè)再開始出方案”這一句話帶來(lái)的輸出質(zhì)量提升比我調(diào)半天的角色設(shè)定和格式要求都有效。 敏捷測(cè)試計(jì)劃過(guò)時(shí)？用ChatGPT把起草成本壓到分鐘級(jí)
上上個(gè)迭代我們團(tuán)隊(duì)的測(cè)試經(jīng)理花了兩天寫了一份15頁(yè)的測(cè)試計(jì)劃迭代第三天需求就被砍掉了三分之一那份文檔直接進(jìn)了回收站。這個(gè)場(chǎng)景我相信很多敏捷團(tuán)隊(duì)都不陌生——不是大家不重視測(cè)試計(jì)劃而是在兩周一個(gè)迭代的節(jié)奏里傳統(tǒng)方式寫出來(lái)的測(cè)試計(jì)劃天然就是過(guò)時(shí)的。后來(lái)我把ChatGPT引入敏捷測(cè)試計(jì)劃的制定流程用來(lái)輔助生成測(cè)試場(chǎng)景、輸出分層測(cè)試策略、參與測(cè)試范圍估算才真正把“測(cè)試計(jì)劃”從一份存檔文檔變成了一個(gè)持續(xù)更新的工作流。這篇文章我會(huì)完整分享我在敏捷項(xiàng)目里讓ChatGPT參與測(cè)試計(jì)劃制定的一整套做法怎么設(shè)計(jì)Prompt、怎么把AI輸出變成可執(zhí)行的測(cè)試策略、哪些環(huán)節(jié)必須人來(lái)把關(guān)、實(shí)際踩過(guò)哪些坑。適合正在做敏捷測(cè)試的QA工程師、測(cè)試開發(fā)、測(cè)試經(jīng)理也適合所有好奇AI工具怎么在軟件開發(fā)流程里真正落地的人。先說(shuō)結(jié)論AI不會(huì)替你做出好的測(cè)試決策但它能把“起草測(cè)試方案”這件事的成本壓縮到分鐘級(jí)讓你把省下來(lái)的時(shí)間花在真正需要判斷力的地方。1. 敏捷迭代里測(cè)試計(jì)劃為什么總是一紙空文1.1 傳統(tǒng)測(cè)試計(jì)劃在兩周迭代里的死法傳統(tǒng)測(cè)試計(jì)劃長(zhǎng)什么樣一份文檔包含測(cè)試目標(biāo)、測(cè)試范圍、環(huán)境清單、資源安排、進(jìn)度排期、風(fēng)險(xiǎn)和對(duì)策。這套東西天然假設(shè)需求是穩(wěn)定的階段是清晰的計(jì)劃可以覆蓋整個(gè)項(xiàng)目周期。但敏捷迭代根本不滿足這個(gè)假設(shè)用戶故事在計(jì)劃會(huì)之后還會(huì)被拆分開發(fā)在實(shí)現(xiàn)過(guò)程中會(huì)發(fā)現(xiàn)新的技術(shù)約束產(chǎn)品經(jīng)理會(huì)在迭代中途補(bǔ)充更緊急的需求。結(jié)果就是計(jì)劃文檔的寫作用時(shí)越長(zhǎng)它失效得越快。我見(jiàn)過(guò)很多團(tuán)隊(duì)花整整一天時(shí)間開會(huì)討論測(cè)試范圍晚上加班把計(jì)劃文檔趕出來(lái)到第二天站會(huì)上就有開發(fā)說(shuō)“這個(gè)接口設(shè)計(jì)改了原來(lái)的用例可能不適用了”。這種挫敗感積累幾次之后團(tuán)隊(duì)成員對(duì)測(cè)試計(jì)劃的信任就沒(méi)了文檔變成“領(lǐng)導(dǎo)要的存檔物”測(cè)試執(zhí)行完全靠個(gè)人經(jīng)驗(yàn)現(xiàn)場(chǎng)發(fā)揮。1.2 計(jì)劃不是不需要而是成本必須降下來(lái)敏捷宣言里“響應(yīng)變化優(yōu)于遵循計(jì)劃”常常被誤解成“不要做計(jì)劃”但我理解它針對(duì)的是那種“計(jì)劃定死、變化即災(zāi)難”的做法。敏捷團(tuán)隊(duì)恰恰更需要計(jì)劃因?yàn)橹挥杏?jì)劃才能把有限的人力投入到真正重要的測(cè)試場(chǎng)景里。問(wèn)題在于“做計(jì)劃”這個(gè)動(dòng)作的成本太高了——高到迭代一開始花半天、緊接著就要改的程度。ChatGPT的價(jià)值正好落在這里。它最擅長(zhǎng)的事情就是從已有材料里快速生成一份結(jié)構(gòu)化的“初稿”而測(cè)試計(jì)劃恰恰是一個(gè)需要大量格式化和枚舉的工作從用戶故事反推測(cè)試場(chǎng)景、從驗(yàn)收標(biāo)準(zhǔn)拆解業(yè)務(wù)規(guī)則、把場(chǎng)景劃分優(yōu)先級(jí)。這些事讓AI先干人類測(cè)試工程師負(fù)責(zé)裁剪和判斷整個(gè)成本結(jié)構(gòu)就完全不一樣了。我現(xiàn)在每個(gè)迭代做測(cè)試計(jì)劃AI生成初稿加團(tuán)隊(duì)評(píng)審裁剪總耗時(shí)從原來(lái)的大半天壓縮到一兩個(gè)小時(shí)“計(jì)劃過(guò)時(shí)”的問(wèn)題雖然沒(méi)有消失但至少我們每次都能用最低的成本把它更新到位。2. 從用戶故事到測(cè)試場(chǎng)景我搭了一套Prompt流水線2.1 先搞清楚輸入光把用戶故事丟給AI是不夠的很多人拿ChatGPT生成測(cè)試用例結(jié)果不滿意跑來(lái)問(wèn)我為什么AI輸出全是“輸入正確賬號(hào)密碼驗(yàn)證登錄成功”這種廢話。我看了他們的Prompt就明白了他們只給了一句“幫我生成登錄模塊的測(cè)試用例”。這等于讓一個(gè)剛進(jìn)公司的測(cè)試實(shí)習(xí)生不看不了解系統(tǒng)就憑空出用例他只能給你教科書級(jí)別的通用答案AI也是一樣的。我的做法是給AI四類輸入材料缺一不可。第一是用戶故事原文包含格式化的As/I want/So that結(jié)構(gòu)第二是驗(yàn)收標(biāo)準(zhǔn)這是最關(guān)鍵的部分AC就是業(yè)務(wù)的測(cè)試契約第三是技術(shù)上下文比如前端框架、后端接口、數(shù)據(jù)庫(kù)字段、第三方依賴第四是測(cè)試約束明確這次只要Web端、是否涉及支付、需不需要做瀏覽器兼容。輸入越具體輸出就越接近你需要的“這個(gè)項(xiàng)目專用測(cè)試場(chǎng)景”而不是“所有登錄功能都適用的通用模板”。2.2 核心Prompt模板角色、任務(wù)、約束、格式我目前試下來(lái)最好用的一套Prompt模板長(zhǎng)這樣你可以直接復(fù)制去改你是一名具有10年經(jīng)驗(yàn)的敏捷測(cè)試工程師擅長(zhǎng)從用戶故事反推測(cè)試場(chǎng)景?，F(xiàn)在請(qǐng)幫助測(cè)試團(tuán)隊(duì)完成以下任務(wù)。 輸入材料 - 用戶故事這里粘貼用戶故事原文 - 驗(yàn)收標(biāo)準(zhǔn)這里粘貼全部AC - 技術(shù)上下文接口協(xié)議、數(shù)據(jù)庫(kù)字段、依賴服務(wù)等 - 測(cè)試約束平臺(tái)、瀏覽器、是否需要自動(dòng)化 請(qǐng)完成 1. 從驗(yàn)收標(biāo)準(zhǔn)中拆解出需要驗(yàn)證的業(yè)務(wù)規(guī)則逐條列出 2. 針對(duì)每條業(yè)務(wù)規(guī)則設(shè)計(jì)測(cè)試場(chǎng)景覆蓋正常路徑、異常路徑、邊界條件 3. 標(biāo)注每個(gè)測(cè)試場(chǎng)景的優(yōu)先級(jí)P0阻斷上線、P1影響主流程、P2邊緣場(chǎng)景 4. 每個(gè)測(cè)試場(chǎng)景給出前置條件、操作步驟、期望結(jié)果 約束條件 - 不要臆測(cè)輸入材料中未提供的信息缺失時(shí)標(biāo)注“需人工補(bǔ)充” - 每條業(yè)務(wù)規(guī)則至少設(shè)計(jì)兩個(gè)測(cè)試場(chǎng)景場(chǎng)景總數(shù)控制在15~25個(gè) - 用Markdown表格輸出這個(gè)模板里的每個(gè)部分都有講究。角色設(shè)定成“資深敏捷測(cè)試工程師”AI的輸出風(fēng)格會(huì)明顯更貼近專業(yè)測(cè)試語(yǔ)境它傾向于使用“前置條件”“邊界條件”這類術(shù)語(yǔ)而不是聊天式的泛泛而談。任務(wù)拆解成四步并且給了嚴(yán)格的優(yōu)先級(jí)定義是為了讓輸出可以直接進(jìn)評(píng)審流程而不是還要你去猜它為什么把某個(gè)場(chǎng)景標(biāo)成P0。最后兩條約束條件尤其關(guān)鍵“不要臆測(cè)未提供信息”能有效壓制AI編造字段名和業(yè)務(wù)規(guī)則的沖動(dòng)場(chǎng)景數(shù)量限制則防止它給你輸出五十條湊數(shù)的用例。2.3 實(shí)測(cè)示例一個(gè)登錄模塊的拆解結(jié)果拿一個(gè)簡(jiǎn)化但典型的登錄模塊用戶故事來(lái)演示。用戶故事是“作為注冊(cè)用戶我希望通過(guò)賬號(hào)密碼登錄系統(tǒng)以便訪問(wèn)我的工作臺(tái)”驗(yàn)收標(biāo)準(zhǔn)有五條正確的賬號(hào)密碼登錄成功并跳轉(zhuǎn)工作臺(tái)密碼錯(cuò)誤時(shí)提示“賬號(hào)或密碼錯(cuò)誤”賬號(hào)不存在時(shí)提示“賬號(hào)不存在”連續(xù)5次失敗鎖定賬號(hào)15分鐘登錄成功后記錄最后登錄時(shí)間。用上面的模板跑完AI輸出的表格大致長(zhǎng)這樣業(yè)務(wù)規(guī)則測(cè)試場(chǎng)景前置條件操作步驟期望結(jié)果優(yōu)先級(jí)AC1正確賬號(hào)密碼登錄成功正確憑據(jù)正常路徑存在已注冊(cè)賬號(hào)輸入正確賬號(hào)密碼點(diǎn)擊登錄登錄成功跳轉(zhuǎn)工作臺(tái)P0AC1正確賬號(hào)密碼登錄成功登錄成功后會(huì)話保持已成功登錄登錄后刷新頁(yè)面會(huì)話不過(guò)期頁(yè)面正常加載P1AC2密碼錯(cuò)誤提示錯(cuò)誤密碼異常路徑存在已注冊(cè)賬號(hào)輸入正確賬號(hào)和錯(cuò)誤密碼頁(yè)面提示“賬號(hào)或密碼錯(cuò)誤”P0AC2密碼錯(cuò)誤提示密碼大小寫邊界存在密碼含大寫字母的賬號(hào)輸入小寫形式的密碼提示“賬號(hào)或密碼錯(cuò)誤”P2AC4連續(xù)5次失敗鎖定第5次失敗觸發(fā)鎖定當(dāng)前失敗次數(shù)為4再輸入一次錯(cuò)誤密碼賬號(hào)鎖定提示15分鐘內(nèi)不能登錄P0AC4鎖定時(shí)間邊界鎖定狀態(tài)下的再次嘗試賬號(hào)已鎖定鎖定期間嘗試登錄即使密碼正確也被拒絕P0AC5記錄最后登錄時(shí)間登錄時(shí)間更新賬號(hào)已登錄過(guò)成功登錄后查看記錄最后登錄時(shí)間更新為本次時(shí)間P1拿到這份初稿之后我還做了兩件事第一把AC4的鎖定邊界拆成“第4次失敗不觸發(fā)鎖定”和“鎖定15分鐘后恢復(fù)登錄”兩個(gè)子場(chǎng)景直接拼進(jìn)表格第二測(cè)試過(guò)程中發(fā)現(xiàn)頁(yè)面“記住我”選項(xiàng)沒(méi)有對(duì)應(yīng)的驗(yàn)收標(biāo)準(zhǔn)我把它標(biāo)記為“需產(chǎn)品確認(rèn)”沒(méi)有讓AI替產(chǎn)品做決定。這就是我理解的AI輔助測(cè)試設(shè)計(jì)——它出初稿你做判斷兩邊都不會(huì)變成對(duì)方的瓶頸。3. 測(cè)試策略不是AI寫出來(lái)的是人和AI一起“剪”出來(lái)的3.1 用AI生成分層測(cè)試策略的第二種Prompt輸出測(cè)試場(chǎng)景只是第一步測(cè)試計(jì)劃真正要解決的是“這些場(chǎng)景怎么排兵布陣”哪些放冒煙測(cè)試、哪些放回歸測(cè)試、哪些必須自動(dòng)化、哪些由手工覆蓋、執(zhí)行順序是什么、依賴哪些外部系統(tǒng)。這部分我也讓AI參與但換了一套Prompt思路。這套Prompt的輸入不是用戶故事而是上一輪生成的測(cè)試場(chǎng)景優(yōu)先級(jí)列表外加三個(gè)附加信息本次迭代的回歸窗口、歷史缺陷集中出現(xiàn)的模塊、現(xiàn)有自動(dòng)化用例覆蓋范圍。我要求AI輸出四樣?xùn)|西每個(gè)模塊的建議測(cè)試層級(jí)、建議執(zhí)行順序、適合自動(dòng)化的場(chǎng)景篩選、依賴外部系統(tǒng)時(shí)需要提前準(zhǔn)備的數(shù)據(jù)或服務(wù)。這里必須提醒一句AI不懂你項(xiàng)目的真實(shí)業(yè)務(wù)權(quán)重它給出的策略是“基于普遍經(jīng)驗(yàn)的基線”。比如對(duì)登錄模塊它會(huì)說(shuō)“登錄是核心入口所有場(chǎng)景都標(biāo)P0”這個(gè)判斷本身沒(méi)錯(cuò)但如果這是內(nèi)部管理系統(tǒng)的后臺(tái)登錄業(yè)務(wù)風(fēng)險(xiǎn)遠(yuǎn)低于面向外部用戶的支付入口P0的范圍就需要人工收縮。AI給你的是一份有參考價(jià)值的起點(diǎn)不是決策結(jié)果。3.2 我總結(jié)的三種輸出類型干貨、正確廢話和危險(xiǎn)幻覺(jué)和ChatGPT協(xié)作多了我發(fā)現(xiàn)它的輸出穩(wěn)定地分成三類你必須能分辨。真正有用的是那些能幫你打開盲區(qū)的干貨。比如我在生成訂單導(dǎo)出功能測(cè)試策略時(shí)AI提出“導(dǎo)出結(jié)果為空時(shí)是否仍生成文件”這個(gè)邊界場(chǎng)景我之前確實(shí)沒(méi)想過(guò)這個(gè)交互細(xì)節(jié)后來(lái)查了產(chǎn)品原型確認(rèn)確實(shí)有這個(gè)分支。這類輸出說(shuō)明AI從經(jīng)驗(yàn)庫(kù)里調(diào)出了值得驗(yàn)證的假設(shè)是它最有價(jià)值的部分。其次是“正確廢話”。這類建議占了三到四成典型表現(xiàn)是“建議覆蓋核心功能”“建議做好兼容性測(cè)試”“建議關(guān)注數(shù)據(jù)一致性”。這些話放在任何項(xiàng)目都不會(huì)錯(cuò)但也永遠(yuǎn)不會(huì)讓你多發(fā)現(xiàn)一個(gè)bug。我的應(yīng)對(duì)辦法是在Prompt里加硬約束禁止泛泛而談每個(gè)建議必須落到具體模塊、具體字段、具體操作路徑否則我會(huì)直接裁剪掉。最需要警惕的是“危險(xiǎn)幻覺(jué)”。AI在信息不足時(shí)會(huì)編造比如虛構(gòu)一個(gè)不存在的接口字段假設(shè)數(shù)據(jù)庫(kù)已經(jīng)存在某張表或者把別的項(xiàng)目的業(yè)務(wù)規(guī)則套到你的項(xiàng)目上。這類問(wèn)題一旦混進(jìn)測(cè)試策略輕則浪費(fèi)團(tuán)隊(duì)時(shí)間去驗(yàn)證一個(gè)不存在的東西重則把真正的風(fēng)險(xiǎn)漏掉。對(duì)策我在后面專門講核心就是不讓它在關(guān)鍵信息真空里自由發(fā)揮。3.3 人工裁剪核對(duì)表我每次評(píng)審AI輸出都會(huì)過(guò)一遍AI生成測(cè)試策略之后我會(huì)拿著下面這張核對(duì)表逐條過(guò)這步不能省。業(yè)務(wù)規(guī)則是否全部映射到了測(cè)試場(chǎng)景驗(yàn)收標(biāo)準(zhǔn)里每一條AC都必須至少有一個(gè)場(chǎng)景對(duì)應(yīng)。是否存在技術(shù)可行性問(wèn)題環(huán)境里根本搭不起來(lái)的條件AI不會(huì)知道只有你知道。場(chǎng)景是否重復(fù)多個(gè)規(guī)則落到同一個(gè)操作路徑時(shí)合并而不是堆積。是否遺漏測(cè)試基礎(chǔ)設(shè)施需求比如數(shù)據(jù)清理方案、賬號(hào)隔離、時(shí)間模擬工具這些AI很少主動(dòng)提。優(yōu)先級(jí)是否經(jīng)過(guò)業(yè)務(wù)確認(rèn)AI標(biāo)P0是你的核心入口但你要確認(rèn)這是不是業(yè)務(wù)上最賠不起的地方。3.4 一個(gè)策略合并的真實(shí)案例講一個(gè)支付模塊的例子。AI建議“對(duì)第三方支付回調(diào)接口做全場(chǎng)景回歸測(cè)試”我們團(tuán)隊(duì)原方案是“回調(diào)邏輯由聯(lián)調(diào)環(huán)境人工驗(yàn)證”兩個(gè)方案并不沖突但直接合并會(huì)讓回歸窗口超標(biāo)。最后團(tuán)隊(duì)討論出的調(diào)整方案是回調(diào)接口里的冪等場(chǎng)景提為P0并且自動(dòng)化因?yàn)闅v史缺陷集中出現(xiàn)在重復(fù)回調(diào)導(dǎo)致重復(fù)下單這個(gè)區(qū)域其他回調(diào)場(chǎng)景保持聯(lián)調(diào)環(huán)境人工驗(yàn)證不變。這個(gè)決定AI做不了因?yàn)樗床坏轿覀兊娜毕輲?kù)我們團(tuán)隊(duì)自己也很難在短時(shí)間內(nèi)列出所有回調(diào)場(chǎng)景因?yàn)槊杜e太耗時(shí)間。兩邊合起來(lái)才是一個(gè)既能落地又覆蓋風(fēng)險(xiǎn)的測(cè)試策略。4. 計(jì)劃會(huì)上的新玩法讓AI承擔(dān)測(cè)試范圍估算的“中性基準(zhǔn)”4.1 估算用例數(shù)和工作量的Prompt設(shè)計(jì)迭代計(jì)劃會(huì)上最痛苦的爭(zhēng)論永遠(yuǎn)是“這個(gè)需求要測(cè)多久”。人類的估算很容易被發(fā)言者的權(quán)威和團(tuán)隊(duì)氣氛帶偏而且大家通常憑感覺(jué)說(shuō)不出依據(jù)。AI在這件事上反而有個(gè)天然優(yōu)勢(shì)它是中性的沒(méi)有項(xiàng)目里的政治包袱。我設(shè)計(jì)了一套用于估算的Prompt輸入包括用戶故事點(diǎn)數(shù)、涉及模塊、該模塊歷史測(cè)試用例數(shù)量、期望回歸窗口長(zhǎng)度。輸出要求是給出該模塊建議測(cè)試用例數(shù)量的低/中/高三檔區(qū)間并列出每一檔區(qū)間的風(fēng)險(xiǎn)假設(shè)。舉一個(gè)實(shí)際例子一個(gè)訂單導(dǎo)出功能AI給的估算結(jié)果是低方案12個(gè)用例只覆蓋主流程和AC直接相關(guān)場(chǎng)景風(fēng)險(xiǎn)是導(dǎo)出失敗時(shí)用戶反饋不夠友好中方案15個(gè)用例增加空數(shù)據(jù)、超大數(shù)據(jù)量、并發(fā)導(dǎo)出三個(gè)邊界場(chǎng)景高方案18個(gè)用例再增加不同格式導(dǎo)出和權(quán)限組合。這個(gè)輸出直接變成計(jì)劃會(huì)的討論基礎(chǔ)團(tuán)隊(duì)只需要決定“這次選哪一檔”而不是從零開始爭(zhēng)論。4.2 把AI估算換算成團(tuán)隊(duì)的story pointAI給的是用例數(shù)量和場(chǎng)景清單換算成人力和Story Point還得我們自己來(lái)。我們團(tuán)隊(duì)的標(biāo)準(zhǔn)很簡(jiǎn)單一個(gè)手工測(cè)試用例如果沒(méi)有特殊數(shù)據(jù)準(zhǔn)備大概需要5到15分鐘執(zhí)行自動(dòng)化用例新增一個(gè)要算半小時(shí)以上的開發(fā)和調(diào)試成本后續(xù)每次回歸還要算維護(hù)系數(shù)。人力基線的計(jì)算公式大概是手工測(cè)試人力等于場(chǎng)景數(shù)乘以單場(chǎng)景執(zhí)行時(shí)間再加上數(shù)據(jù)準(zhǔn)備時(shí)間自動(dòng)化回歸人力等于自動(dòng)化用例數(shù)乘以維護(hù)系數(shù)。這個(gè)換算邏輯不復(fù)雜但它解決了計(jì)劃會(huì)議里的兩個(gè)老問(wèn)題第一估算過(guò)程可追溯了任何人問(wèn)“為什么這次回歸要兩天”可以直接追溯到 AI 的場(chǎng)景清單和人工裁剪記錄第二估算結(jié)果有了一個(gè)中立的錨點(diǎn)團(tuán)隊(duì)成員討論的不是“我覺(jué)得要三天”而是“AI估了15個(gè)場(chǎng)景我們討論下來(lái)加到18個(gè)所以多出3個(gè)場(chǎng)景的時(shí)間”。后者比前者健康得多。4.3 實(shí)測(cè)效果計(jì)劃會(huì)從90分鐘壓到45分鐘這套流程在我們團(tuán)隊(duì)跑了兩三個(gè)迭代之后最直觀的變化是迭代初期的測(cè)試范圍討論時(shí)間縮短了一半左右。原來(lái)計(jì)劃會(huì)大家要對(duì)每個(gè)用戶故事的表態(tài)各說(shuō)各的經(jīng)常跑題到技術(shù)細(xì)節(jié)上現(xiàn)在是AI先給一份范圍清單會(huì)議直接進(jìn)入差異討論環(huán)節(jié)哪些場(chǎng)景我們不需要、哪些場(chǎng)景AI漏了、哪些優(yōu)先級(jí)該調(diào)。爭(zhēng)論依舊存在但爭(zhēng)論的質(zhì)量完全不同——大家是在討論AI輸出和項(xiàng)目實(shí)際的差距而不是在拍腦袋爭(zhēng)感覺(jué)。有一點(diǎn)我得潑冷水不代表AI輸出就是標(biāo)準(zhǔn)答案估算數(shù)字只是參考它甚至可能會(huì)錯(cuò)得離譜。如果AI說(shuō)某個(gè)模塊“只需要8個(gè)用例”而你的業(yè)務(wù)直覺(jué)告訴你這里至少20個(gè)那大概率是你的業(yè)務(wù)經(jīng)驗(yàn)發(fā)現(xiàn)了AI不知道的復(fù)雜性。這時(shí)候要做的是補(bǔ)充上下文讓AI重新生成而不是直接接受或者直接推翻。4.4 防“AI背書”陷阱引入AI估算后我還發(fā)現(xiàn)了一個(gè)新的團(tuán)隊(duì)風(fēng)險(xiǎn)AI背書。有人會(huì)拿“AI說(shuō)我只要測(cè)8個(gè)用例”來(lái)壓縮測(cè)試時(shí)間也有人拿“AI建議18個(gè)場(chǎng)景”來(lái)作為自己不做深入判斷的免責(zé)聲明。這兩種情況我都見(jiàn)過(guò)處理方式是在計(jì)劃會(huì)開始前立一條規(guī)則AI的輸出只是討論素材不構(gòu)成任何人的決定依據(jù)每個(gè)數(shù)字都可以且應(yīng)該被挑戰(zhàn)和追問(wèn)。AI讓估算過(guò)程有了一個(gè)外部錨點(diǎn)但決策責(zé)任永遠(yuǎn)在團(tuán)隊(duì)自己身上。5. 踩過(guò)的坑與邊界這些環(huán)節(jié)我堅(jiān)決不交給ChatGPT5.1 幻覺(jué)最嚴(yán)重的三個(gè)場(chǎng)景我在測(cè)試計(jì)劃中使用ChatGPT過(guò)程中最需要盯防的就是幻覺(jué)哪怕Prompt做得再好都無(wú)法完全避免。最容易出現(xiàn)幻覺(jué)的是三個(gè)場(chǎng)景。接口字段名。AI不知道你的接口文檔長(zhǎng)什么樣只要輸入里沒(méi)有顯式包含字段定義它就會(huì)自行“補(bǔ)全”字段名比如把createTime寫成created_at然后你拿著這個(gè)用例去找開發(fā)對(duì)對(duì)方根本不知道你在說(shuō)什么。對(duì)策是涉及具體接口的測(cè)試場(chǎng)景一定要把真實(shí)接口定義放進(jìn)輸入里或者在輸出要求里強(qiáng)制標(biāo)注“字段名以接口文檔為準(zhǔn)未提供的字段按未知處理”。業(yè)務(wù)規(guī)則推導(dǎo)。AI會(huì)把行業(yè)通用邏輯當(dāng)成你的業(yè)務(wù)邏輯。比如說(shuō)“訂單取消必須填寫取消原因”這在很多產(chǎn)品里是真的但你的產(chǎn)品可能沒(méi)有這個(gè)功能。我沒(méi)少在這個(gè)坑里浪費(fèi)時(shí)間后來(lái)就是在Prompt里反復(fù)加“不要假設(shè)輸入材料未提到的業(yè)務(wù)規(guī)則”。歷史缺陷信息。AI訪問(wèn)不了你的缺陷庫(kù)你對(duì)這個(gè)模塊的歷史缺陷分析不能交給AI替你判斷。它只知道“這類功能通常在哪出問(wèn)題”不知道“你們這個(gè)模塊上季度在哪個(gè)字段上栽了大跟頭”。這部分必須由知曉項(xiàng)目上下文的人來(lái)補(bǔ)。5.2 版本同步Prompt也要進(jìn)版本庫(kù)這是一個(gè)容易被忽略但是很重要的坑。當(dāng)我們開始用Prompt批量生成測(cè)試場(chǎng)景之后Prompt本身就變成了測(cè)試策略的源代碼。如果需求變了測(cè)試用例改了但Prompt還是舊的下一次迭代AI輸出的就是過(guò)時(shí)的方案而你很可能注意不到。所以我們現(xiàn)在把每個(gè)模塊的Prompt作為Markdown文件放在代碼倉(cāng)庫(kù)里和測(cè)試用例放在一起評(píng)審。每次需求變化對(duì)應(yīng)的Prompt也要更新更新記錄里寫明改了什么約束條件、為什么改。這一開始大家會(huì)覺(jué)得麻煩但經(jīng)歷了一次“AI按舊需求生成了新測(cè)試計(jì)劃”的事故之后團(tuán)隊(duì)所有人就都自覺(jué)了。5.3 數(shù)據(jù)合規(guī)與安全邊界用外部對(duì)話式AI處理測(cè)試計(jì)劃還有一條紅線必須守不要把客戶的真實(shí)個(gè)人信息、生產(chǎn)環(huán)境的數(shù)據(jù)庫(kù)內(nèi)容、內(nèi)部未公開的業(yè)務(wù)指標(biāo)直接粘貼進(jìn)去。我理解很多人圖省事直接把用戶故事里的真實(shí)用戶名密碼示例放進(jìn)Prompt這不行。我們的做法是在進(jìn)入提交流程之前先做一輪脫敏把真實(shí)數(shù)據(jù)替換成結(jié)構(gòu)等價(jià)但無(wú)意義的占位值等AI生成完場(chǎng)景之后再在測(cè)試環(huán)境里替換回真實(shí)測(cè)試數(shù)據(jù)。我在這件事上吃過(guò)教訓(xùn)有次我在Prompt里附帶了一個(gè)包含真實(shí)客戶編號(hào)的示例數(shù)據(jù)文件雖然沒(méi)出什么事但被合規(guī)同事提醒之后我才意識(shí)到這類信息一旦進(jìn)入對(duì)話歷史就超出了我們自己的管控范圍。從那以后脫敏流程就再也沒(méi)有省略過(guò)。5.4 確認(rèn)偏誤AI會(huì)順著你想聽(tīng)的說(shuō)用ChatGPT做測(cè)試計(jì)劃時(shí)間長(zhǎng)了我發(fā)現(xiàn)一個(gè)更隱蔽的問(wèn)題確認(rèn)偏誤。如果我在Prompt里先入為主地寫了一句“這個(gè)模塊的主要風(fēng)險(xiǎn)可能是登錄態(tài)校驗(yàn)”AI生成的方案大概率會(huì)順著登錄態(tài)校驗(yàn)這個(gè)方向展開哪怕真實(shí)的測(cè)試策略應(yīng)該把注意力放在另一個(gè)完全不同的異常路徑上。AI本質(zhì)上是在優(yōu)化“回答得讓你滿意”而不是在做獨(dú)立客觀的分析。我現(xiàn)在的方法是在Prompt里加一個(gè)固定要求“在生成方案之前先列出三個(gè)與你預(yù)期相反的反面假設(shè)?！比绻业念A(yù)設(shè)是風(fēng)險(xiǎn)在登錄態(tài)AI必須先把“風(fēng)險(xiǎn)不在登錄態(tài)而在并發(fā)/數(shù)據(jù)權(quán)限/緩存”這三種可能性列出來(lái)然后才允許進(jìn)入正式方案。這一句Prompt改動(dòng)的效果非常明顯它強(qiáng)行把一個(gè)“順著你說(shuō)”的工具變成了“逼你先換個(gè)角度想”的伙伴。6. 三周落地路線從“個(gè)人嘗試”到“團(tuán)隊(duì)默認(rèn)”6.1 第一周搭輸入模板庫(kù)如果你想把這套流程引入團(tuán)隊(duì)我的建議是不要一上來(lái)就追求全自動(dòng)先花一周把基礎(chǔ)打好。這一周唯一要做的事就是收集輸入模板把團(tuán)隊(duì)最近兩三個(gè)迭代已經(jīng)做過(guò)的用戶故事、驗(yàn)收標(biāo)準(zhǔn)和測(cè)試用例整理出來(lái)提取成可復(fù)用的輸入模板。為什么這是第一周最重要的事因?yàn)锳I輸出的質(zhì)量首先由輸入決定輸入不穩(wěn)定后面對(duì)齊和復(fù)盤就會(huì)變成災(zāi)難。我們已經(jīng)完成了十幾條用戶故事的模板化字段包括業(yè)務(wù)目標(biāo)、涉及模塊、驗(yàn)收標(biāo)準(zhǔn)、技術(shù)依賴、測(cè)試約束后面的工作全部建立在這個(gè)模板庫(kù)上。6.2 第二周拿一個(gè)模塊做對(duì)比實(shí)驗(yàn)第二周選一個(gè)風(fēng)險(xiǎn)中等、規(guī)模適中的模塊做對(duì)比實(shí)驗(yàn)我推薦用戶權(quán)限管理這類業(yè)務(wù)邏輯清晰又不涉及核心資金流的模塊。做法是測(cè)試人員用手工方式生成一批測(cè)試場(chǎng)景同時(shí)用AI生成同一批用戶故事的測(cè)試場(chǎng)景然后讓團(tuán)隊(duì)里另一個(gè)不參與該模塊的同事對(duì)兩份清單盲評(píng)覆蓋率、重復(fù)率和遺漏點(diǎn)。這組對(duì)比數(shù)據(jù)非常有價(jià)值你能直觀看到AI在哪些維度上更強(qiáng)、在哪些維度上穩(wěn)定犯錯(cuò)。我們當(dāng)時(shí)得到的結(jié)論是AI在邊界條件和異常路徑的枚舉上明顯強(qiáng)于平均水平的測(cè)試人員但在業(yè)務(wù)背景相關(guān)的場(chǎng)景上嚴(yán)重依賴輸入材料是否完整。這些結(jié)論直接決定了后面Prompt要往哪個(gè)方向調(diào)。6.3 第三周定團(tuán)隊(duì)規(guī)范與評(píng)審清單第三周把經(jīng)驗(yàn)固化成規(guī)范。我們團(tuán)隊(duì)最終定的規(guī)則是新需求和接口變更類任務(wù)允許用AI生成初稿核心業(yè)務(wù)規(guī)則、安全相關(guān)功能、與歷史數(shù)據(jù)兼容的改動(dòng)必須人工主導(dǎo)所有AI輸出必須經(jīng)過(guò)評(píng)審清單包括是否映射全部AC、不確定項(xiàng)是否被標(biāo)注、優(yōu)先級(jí)是否經(jīng)過(guò)團(tuán)隊(duì)確認(rèn)、是否完成數(shù)據(jù)脫敏。這些規(guī)范不用很多條但每一條都是從實(shí)際碰撞里長(zhǎng)出來(lái)的。6.4 一句話心法運(yùn)行幾個(gè)迭代之后我對(duì)這套方法的理解可以濃縮成一句話AI生成的測(cè)試計(jì)劃是一個(gè)高質(zhì)量的初稿不是最終答案。測(cè)試策略永遠(yuǎn)屬于團(tuán)隊(duì)因?yàn)橹挥袌F(tuán)隊(duì)知道“這個(gè)上線事故我們賠不起”這種無(wú)法被寫進(jìn)Prompt里的信息。ChatGPT在做的事情是把起草成本降下來(lái)讓人的精力集中到真正重要的判斷上。我個(gè)人在這個(gè)過(guò)程中的體會(huì)是工具本身不會(huì)讓測(cè)試策略變好讓策略變好的是團(tuán)隊(duì)把時(shí)間從“從零起草”挪到了“判斷和裁剪”。如果你也想在團(tuán)隊(duì)里引入這套流程建議別急著讓所有模塊都用AI生成先在一個(gè)中等模塊上跑通找到你們團(tuán)隊(duì)自己的Prompt和裁剪清單再慢慢鋪開。最后送一個(gè)小技巧每次讓AI正式輸出之前加上一句“請(qǐng)先列出三個(gè)反面假設(shè)再開始出方案”這一句話帶來(lái)的輸出質(zhì)量提升比我調(diào)半天的角色設(shè)定和格式要求都有效。