客服助手沒(méi)有按照格式回答可以改提示不知道最新政策可以提供資料大量任務(wù)中始終采用不合適的表達(dá)方式可能需要考慮訓(xùn)練調(diào)整。它們都能改變輸出卻改變了系統(tǒng)的不同部分。如果沒(méi)有區(qū)分這些差異常見(jiàn)結(jié)果是用很長(zhǎng)的提示彌補(bǔ)缺少的數(shù)據(jù)用反復(fù)訓(xùn)練追逐每天變化的事實(shí)或者搭建復(fù)雜檢索之后才發(fā)現(xiàn)問(wèn)題其實(shí)出在任務(wù)定義。判斷應(yīng)該改哪里可以從一次回答形成之前哪些信息和行為已經(jīng)確定開(kāi)始。文章目錄提示改變當(dāng)前任務(wù)的輸入檢索改變當(dāng)前可用的外部證據(jù)微調(diào)改變模型參數(shù)中的行為傾向三者可以配合效果需要拆開(kāi)判斷先定位缺失再選擇改動(dòng)提示改變當(dāng)前任務(wù)的輸入模型開(kāi)始生成時(shí)會(huì)看到當(dāng)前請(qǐng)求提供的指令、問(wèn)題、資料和示例。這些內(nèi)容共同構(gòu)成上下文。調(diào)整提示就是在不改變模型參數(shù)的情況下改變它這一次收到的信息和任務(wù)要求。假設(shè)要把客戶留言整理成工單。“整理一下”沒(méi)有說(shuō)明字段、缺失信息的處理方式也沒(méi)有說(shuō)明能否推斷。改成“提取產(chǎn)品型號(hào)、故障現(xiàn)象和購(gòu)買時(shí)間原文沒(méi)有的信息留空”就明確了任務(wù)邊界。補(bǔ)充示例還可以展示抽象規(guī)則難以表達(dá)的區(qū)別。例如客戶說(shuō)“上個(gè)月買的”系統(tǒng)可以保留原話卻不應(yīng)在缺少當(dāng)前日期時(shí)擅自轉(zhuǎn)換成具體日期。示例的價(jià)值是呈現(xiàn)判斷關(guān)系不能只展示一種固定措辭否則模型可能學(xué)會(huì)表面模板。提示可以利用模型已有能力使它在當(dāng)前任務(wù)中采用某種格式或處理方式。但如果輸入沒(méi)有最新保修期限一句“務(wù)必準(zhǔn)確”并沒(méi)有補(bǔ)上這條事實(shí)。提示中的要求與支持要求的信息需要分別檢查。上下文還有長(zhǎng)度和組織成本。每次都附上大量不相關(guān)規(guī)則會(huì)增加處理內(nèi)容也可能讓真正重要的要求難以被穩(wěn)定使用。因此提示不是越長(zhǎng)越可靠而應(yīng)包含當(dāng)前任務(wù)需要且不相互沖突的信息。檢索改變當(dāng)前可用的外部證據(jù)當(dāng)所需資料無(wú)法全部直接放入請(qǐng)求時(shí)可以先從外部集合中尋找相關(guān)內(nèi)容再提供給模型。這樣的檢索增強(qiáng)方式使事實(shí)資料的維護(hù)與模型訓(xùn)練分開(kāi)。政策更新后系統(tǒng)可以更新文檔和索引讓后續(xù)查詢?nèi)〉眯掳姹尽ＤＰ筒槐貫榱诉@一項(xiàng)政策重新訓(xùn)練。但資料更新能否及時(shí)反映在答案中仍取決于解析、索引更新、版本篩選與實(shí)際檢索結(jié)果。檢索適合按問(wèn)題獲取證據(jù)不天然解決全部資料任務(wù)。需要統(tǒng)計(jì)所有投訴類別時(shí)只拿最相關(guān)的幾條投訴可能漏掉大量記錄需要回答某一產(chǎn)品的維修條件時(shí)按對(duì)象篩選適用條款則很有價(jià)值。另一個(gè)邊界是行為能力。模型收到正確條款后仍把條件理解錯(cuò)說(shuō)明資料進(jìn)入輸入只是必要的一步。需要檢查任務(wù)要求、表達(dá)方式、模型能力或判斷流程不能把所有錯(cuò)誤都?xì)w結(jié)為“再多找一些資料”。檢索本身也引入了新的可變部分。相同問(wèn)題在資料變化后可能收到不同證據(jù)因此評(píng)價(jià)時(shí)要保留適用版本和實(shí)際輸入否則無(wú)法判斷新答案的變化來(lái)自哪里。微調(diào)改變模型參數(shù)中的行為傾向微調(diào)是在已有模型基礎(chǔ)上利用一批訓(xùn)練樣本繼續(xù)調(diào)整參數(shù)。它會(huì)影響模型之后處理同類輸入的傾向而不只是改變某一次請(qǐng)求中的材料。如果大量工單需要穩(wěn)定遵循某種分類體系、輸出約定或?qū)I(yè)表達(dá)方式經(jīng)過(guò)驗(yàn)證的訓(xùn)練樣本可能幫助模型適應(yīng)這類任務(wù)。但樣本必須體現(xiàn)正確判斷不能只有格式漂亮的最終答案更不能把未經(jīng)核對(duì)的模型輸出直接當(dāng)成可靠標(biāo)準(zhǔn)。例如訓(xùn)練集中“沒(méi)有購(gòu)買時(shí)間”的留言都被隨意補(bǔ)成最近日期模型可能更穩(wěn)定地重復(fù)這個(gè)錯(cuò)誤。數(shù)據(jù)規(guī)模變大不會(huì)自動(dòng)糾正標(biāo)簽規(guī)則反而可能讓不合適的行為更難察覺(jué)。微調(diào)可以使模型學(xué)到或記住新的事實(shí)但不能因此把參數(shù)當(dāng)作能夠逐條更新、精確查詢并返回出處的數(shù)據(jù)庫(kù)。某個(gè)客戶昨天修改地址后業(yè)務(wù)系統(tǒng)可以準(zhǔn)確更新對(duì)應(yīng)記錄通過(guò)訓(xùn)練修改這一事實(shí)則難以提供同樣明確的更新、刪除和追蹤邊界。微調(diào)還需要考慮訓(xùn)練與評(píng)估成本、供應(yīng)方支持、數(shù)據(jù)適用權(quán)利和回退方式。它應(yīng)當(dāng)回答一個(gè)已被觀測(cè)到的任務(wù)問(wèn)題而不應(yīng)只是因?yàn)椤坝袛?shù)據(jù)”就成為默認(rèn)步驟。三者可以配合效果需要拆開(kāi)判斷一個(gè)系統(tǒng)可以同時(shí)使用三種方法經(jīng)過(guò)訓(xùn)練的模型遵循工單字段規(guī)范提示明確這次要處理哪個(gè)請(qǐng)求檢索提供當(dāng)前產(chǎn)品政策。它們并不互相排斥關(guān)鍵是各自承擔(dān)的作用能夠解釋。如果一次更換了模型、訓(xùn)練數(shù)據(jù)、提示和檢索方式結(jié)果變好也很難知道收益來(lái)自哪一處。實(shí)際改進(jìn)可以先固定評(píng)價(jià)樣本和判斷標(biāo)準(zhǔn)再按已定位的問(wèn)題調(diào)整必要部分。對(duì)于同一組留言至少需要檢查型號(hào)提取、缺失字段處理、分類正確性以及原先正常的情況是否退化。對(duì)于政策問(wèn)答還要檢查證據(jù)版本與適用范圍。單獨(dú)看到輸出格式更整齊不能說(shuō)明事實(shí)正確性隨之提高。成本也需要對(duì)應(yīng)實(shí)際任務(wù)。長(zhǎng)提示可能增加每次調(diào)用的輸入負(fù)擔(dān)檢索需要維護(hù)資料處理和查詢微調(diào)需要準(zhǔn)備訓(xùn)練數(shù)據(jù)并維護(hù)模型版本。哪個(gè)更合適取決于任務(wù)頻率、錯(cuò)誤來(lái)源、資料變化速度和需要達(dá)到的穩(wěn)定程度沒(méi)有統(tǒng)一的最便宜路線。先定位缺失再選擇改動(dòng)當(dāng)助手答錯(cuò)時(shí)先確認(rèn)它有沒(méi)有獲得正確資料。沒(méi)有資料需要補(bǔ)輸入、接入查詢或改善檢索資料齊全但任務(wù)邊界含糊需要明確指令與示例要求清楚仍持續(xù)出現(xiàn)同類能力問(wèn)題再評(píng)估是否需要更合適的模型或訓(xùn)練適配。這種判斷并不保證每個(gè)問(wèn)題都能迅速解決但可以避免在錯(cuò)誤層面反復(fù)投入。提示控制當(dāng)前任務(wù)檢索提供外部證據(jù)微調(diào)調(diào)整參數(shù)中的行為傾向。把三者的作用和限制分清才能在組合使用時(shí)知道每一部分為什么存在。參考資料Anthropic上下文組織 · 檢索增強(qiáng)生成 · Andrej Karpathy語(yǔ)言模型的訓(xùn)練與使用。本文討論方法所改變的部分不給出脫離任務(wù)條件的模型或服務(wù)推薦。AI 工程知識(shí)庫(kù)