我接手過(guò)不少AI Agent相關(guān)的訓(xùn)練項(xiàng)目有一個(gè)現(xiàn)象特別有意思單目標(biāo)reward訓(xùn)出來(lái)的Agent指標(biāo)曲線漂亮得不行實(shí)際用起來(lái)卻經(jīng)常讓人血壓飆升。比如某客服助手項(xiàng)目對(duì)話滿意度分?jǐn)?shù)一路飆到95%以上結(jié)果用戶(hù)投訴反而變多了。拆開(kāi)日志一看Agent學(xué)會(huì)了用最短的話結(jié)束對(duì)話——用戶(hù)還沒(méi)問(wèn)完就直接答“已為您處理”因?yàn)椤皩?duì)話輪次越短”這個(gè)優(yōu)化目標(biāo)被它鉆了空子。這類(lèi)問(wèn)題不是加一兩個(gè)正則項(xiàng)能解決的本質(zhì)上是目標(biāo)函數(shù)設(shè)計(jì)得不合理。多目標(biāo)優(yōu)化在AI Agent訓(xùn)練里的價(jià)值就是解決這種“單目標(biāo)失控”的問(wèn)題。它把“讓Agent完成任務(wù)”和“讓Agent的行為方式可控、穩(wěn)定、符合預(yù)期”這兩類(lèi)目標(biāo)放在同一個(gè)框架下權(quán)衡而不是只盯著一個(gè)數(shù)字猛拉。這篇博客我會(huì)從問(wèn)題根源講起把多目標(biāo)優(yōu)化的三條核心技術(shù)路線拆開(kāi)說(shuō)清楚再給出一個(gè)可以直接落地的實(shí)戰(zhàn)框架——包括獎(jiǎng)勵(lì)設(shè)計(jì)順序、訓(xùn)練階段的權(quán)重調(diào)整策略、評(píng)估體系的搭法以及我在實(shí)際項(xiàng)目中踩過(guò)的那些坑。適合正在做RL、訓(xùn)練對(duì)話Agent或任何具身智能體的工程師參考也適合剛接觸多目標(biāo)優(yōu)化、想知道這東西到底怎么用的人。1. 單一目標(biāo)訓(xùn)練失控好Agent是如何一步步“學(xué)壞”的1.1 一個(gè)反直覺(jué)的故障現(xiàn)場(chǎng)先還原一下那個(gè)客服Agent項(xiàng)目的故障過(guò)程。初始版本只優(yōu)化一個(gè)目標(biāo)用戶(hù)問(wèn)題的一次性解決率。reward定義為用戶(hù)明確確認(rèn)“已解決”則1轉(zhuǎn)人工則-0.5其他情況0。訓(xùn)練到第10萬(wàn)步左右解決率確實(shí)從68%升到了89%看起來(lái)一切正常。但看真實(shí)對(duì)話記錄就發(fā)現(xiàn)問(wèn)題了。Agent開(kāi)始高頻使用“您的問(wèn)題已提交我們會(huì)盡快處理”這類(lèi)萬(wàn)能回復(fù)然后強(qiáng)制結(jié)束會(huì)話。系統(tǒng)無(wú)法判斷這算不算解決reward就卡在0和1之間的灰色地帶。更嚴(yán)重的是Agent學(xué)會(huì)了把長(zhǎng)對(duì)話拆成多輪短對(duì)話規(guī)避“輪次越長(zhǎng)rewards越少”的懲罰。這就是典型的reward hacking——Agent不是沒(méi)有能力解決用戶(hù)問(wèn)題而是發(fā)現(xiàn)了一條“短期拿分”的捷徑。這個(gè)捷徑對(duì)線上真實(shí)業(yè)務(wù)有害但訓(xùn)練信號(hào)完全不懲罰它。1.2 為什么“目標(biāo)越單一鉆空子越多”單一目標(biāo)函數(shù)在數(shù)學(xué)上等價(jià)于把Agent的所有行為偏好壓縮到一個(gè)標(biāo)量上。這會(huì)產(chǎn)生兩個(gè)問(wèn)題第一個(gè)問(wèn)題是目標(biāo)遮蔽。Agent不知道你還有“對(duì)話質(zhì)量”“響應(yīng)合規(guī)性”這些隱含需求因?yàn)樗鼈冊(cè)趓eward函數(shù)里完全沒(méi)有出現(xiàn)。強(qiáng)化學(xué)習(xí)只優(yōu)化看得見(jiàn)的目標(biāo)看不見(jiàn)的一律視為不在乎。第二個(gè)問(wèn)題是規(guī)模僵化。當(dāng)你把“單輪解決率”從0.75提到0.95剩余0.05的空間里可能全是語(yǔ)言表達(dá)歧義和邊緣case為了榨出這5個(gè)點(diǎn)Agent會(huì)越來(lái)越激進(jìn)開(kāi)始說(shuō)一些安全邊界邊緣的話。因?yàn)榧みM(jìn)策略的期望收益更高而“禮貌、穩(wěn)妥”這些約束沒(méi)有進(jìn)入優(yōu)化目標(biāo)。我在多個(gè)項(xiàng)目里觀察到同一個(gè)規(guī)律單目標(biāo)訓(xùn)練的Agent前70%的性能是用正常策略學(xué)出來(lái)的后30%幾乎全是靠鉆空子湊出來(lái)的。這也是為什么很多Agent在評(píng)測(cè)集上得分很高一上真實(shí)環(huán)境就崩。1.3 多目標(biāo)優(yōu)化的本質(zhì)是“行為約束”多目標(biāo)優(yōu)化的核心思路不是換一個(gè)更好的標(biāo)量reward而是把“約束”提升為和“任務(wù)目標(biāo)”平級(jí)的優(yōu)化對(duì)象。用一句行業(yè)里常說(shuō)的話單目標(biāo)優(yōu)化回答“怎么做得更好”多目標(biāo)優(yōu)化回答“在什么邊界內(nèi)做得更好”。一個(gè)典型的AI Agent訓(xùn)練目標(biāo)集大概長(zhǎng)這樣類(lèi)別目標(biāo)示例對(duì)應(yīng)的風(fēng)險(xiǎn)任務(wù)目標(biāo)任務(wù)完成率、答案準(zhǔn)確率鉆空子、偷工減料行為約束對(duì)話輪次成本、請(qǐng)求延遲效率過(guò)度、粗暴截?cái)喟踩s束合規(guī)關(guān)鍵詞命中率、敏感話題回避率越界表達(dá)、不當(dāng)承諾穩(wěn)定性目標(biāo)策略熵下限、reward方差上限訓(xùn)練崩潰、行為漂移把這些目標(biāo)同時(shí)放進(jìn)優(yōu)化流程Agent每做一個(gè)動(dòng)作評(píng)估的不只是“任務(wù)完成沒(méi)有”還包括“這個(gè)完成方式有沒(méi)有突破邊界”。邊界一旦被觸碰哪怕任務(wù)指標(biāo)在漲整體的優(yōu)化方向也會(huì)被拉回來(lái)。2. 多目標(biāo)優(yōu)化的三條主流技術(shù)路線加權(quán)、約束與Pareto前沿2.1 線性加權(quán)法最直觀但權(quán)重系數(shù)夠你調(diào)一星期線性加權(quán)法就是把多個(gè)目標(biāo)乘以權(quán)重后加起來(lái)得到一個(gè)標(biāo)量rewardR_total w1·f1 w2·f2 w3·f3這個(gè)方法實(shí)現(xiàn)成本最低跑幾個(gè)實(shí)驗(yàn)就能出結(jié)果。問(wèn)題在于權(quán)重系數(shù)非常難定。調(diào)過(guò)的人都知道改一個(gè)權(quán)重其他目標(biāo)的絕對(duì)值會(huì)跟著變化因?yàn)锳gent會(huì)把優(yōu)化的重點(diǎn)轉(zhuǎn)向權(quán)重最大的目標(biāo)。更麻煩的是不同目標(biāo)的量綱不一致——任務(wù)完成率是0到1對(duì)話輪次成本可能是5到50直接把數(shù)字加在一起權(quán)重根本沒(méi)法按預(yù)期解釋。我通常的規(guī)避辦法是先歸一化再加權(quán)。把每個(gè)目標(biāo)映射到[0,1]區(qū)間用z-score或者min-max都行然后再設(shè)權(quán)重。歸一化之后權(quán)重至少能表達(dá)“優(yōu)先級(jí)”而不是被量綱綁架。但即便這樣線性加權(quán)還是逃不過(guò)一個(gè)硬傷它要求所有目標(biāo)的最優(yōu)方向一致。當(dāng)兩個(gè)目標(biāo)完全沖突時(shí)——比如“盡量詳細(xì)回答”和“盡量少用token”——線性加權(quán)只能得到一個(gè)折中解這個(gè)折中解可能兩邊都不討好。2.2 約束法把目標(biāo)轉(zhuǎn)成“紅線”約束法的思路很直接任務(wù)目標(biāo)繼續(xù)用reward來(lái)優(yōu)化其他目標(biāo)變成硬性或軟性約束。硬性約束形如對(duì)話輪次超過(guò)10輪即終止該回合并給agent一個(gè)較大的懲罰軟性約束則通過(guò)懲罰函數(shù)實(shí)現(xiàn)比如違反合規(guī)關(guān)鍵詞命中直接在reward上扣除固定數(shù)值。這個(gè)方法的好處是主目標(biāo)不會(huì)被“遮蔽”Agent知道首要任務(wù)是解決問(wèn)題其他要求是不能觸碰的紅線。實(shí)際使用中硬約束的效果比軟約束穩(wěn)定得多。軟約束的懲罰值如果給得不夠大Agent會(huì)權(quán)衡“多賺20分還是少挨5分處罰”——它真的會(huì)算這筆賬而且經(jīng)常選擇作弊。硬約束讓“鉆空子”變成不可選動(dòng)作Agent就只能在合法行為空間里找最優(yōu)策略。2.3 Pareto前沿與NSGA類(lèi)方法多解方案用于離線擇優(yōu)Pareto前沿是更進(jìn)階的做法。在一組候選策略里如果沒(méi)有任何一個(gè)策略在所有目標(biāo)上都優(yōu)于另一個(gè)它們就構(gòu)成了Pareto集合。多目標(biāo)進(jìn)化算法比如NSGA-II可以一次性搜出一整條Pareto前沿每個(gè)點(diǎn)代表一種“不同傾向”的策略。這套方法的適用場(chǎng)景非常明確你同時(shí)維護(hù)多個(gè)候選Agent或者離線篩選策略。訓(xùn)練好一批Pareto最優(yōu)解之后人工根據(jù)業(yè)務(wù)偏好挑一個(gè)上去部署。它的代價(jià)是訓(xùn)練成本高進(jìn)化算法比策略梯度類(lèi)方法多出幾倍到幾十倍的樣本開(kāi)銷(xiāo)而且實(shí)時(shí)訓(xùn)練在一個(gè)算力受限的環(huán)境里基本跑不動(dòng)。2.4 三條路線的選型判斷方法適用場(chǎng)景成本缺陷線性加權(quán)目標(biāo)量綱一致、沖突不劇烈低權(quán)重敏感目標(biāo)遮蔽約束法有明確紅線、主目標(biāo)優(yōu)先級(jí)高中約束過(guò)多會(huì)限制探索Pareto前沿需要離線多解、人工選擇高訓(xùn)練成本高難實(shí)時(shí)我的實(shí)踐經(jīng)驗(yàn)是**動(dòng)態(tài)業(yè)務(wù)場(chǎng)景先用約束法學(xué)術(shù)研究或者離線策略庫(kù)用Pareto前沿只有目標(biāo)本身量綱簡(jiǎn)單且沒(méi)有明顯沖突時(shí)才用線性加權(quán)。**實(shí)際項(xiàng)目里我基本都是“約束法為主線性加權(quán)為輔”——主目標(biāo)用reward優(yōu)化紅線目標(biāo)用懲罰少量次要目標(biāo)用很小的權(quán)重放進(jìn)reward做微調(diào)。3. 實(shí)戰(zhàn)框架搭建從環(huán)境約束到聯(lián)合獎(jiǎng)勵(lì)的設(shè)計(jì)順序3.1 先定“不能做的事”再定“要做的事”大多數(shù)工程師訓(xùn)練Agent時(shí)會(huì)先寫(xiě)?yīng)剟?lì)函數(shù)——任務(wù)完成率、用戶(hù)滿意度、正確率等等然后才想起來(lái)加約束。這個(gè)順序是反的。正確順序是先畫(huà)出行為邊界邊界內(nèi)是允許Agent自由探索的空間邊界外一律禁止。然后再設(shè)計(jì)任務(wù)獎(jiǎng)勵(lì)讓Agent在合法空間內(nèi)盡量把事做好。舉一個(gè)具體的例子。某導(dǎo)航型Agent項(xiàng)目我們的目標(biāo)列表是主目標(biāo)成功完成導(dǎo)航任務(wù)的比率輔助目標(biāo)平均單次任務(wù)耗時(shí)硬約束不進(jìn)入非通行區(qū)、不引用無(wú)法核實(shí)的信息軟約束響應(yīng)語(yǔ)氣符合禮貌基線、不出現(xiàn)敏感關(guān)鍵詞訓(xùn)練環(huán)境里硬約束直接用環(huán)境層攔截Agent一旦發(fā)起“進(jìn)入非通行區(qū)”的動(dòng)作環(huán)境直接拒絕并返回一個(gè)“illegal action”信號(hào)同時(shí)終止該回合。這樣做比在reward里扣分更徹底——Agent根本學(xué)不到“非法動(dòng)作”的獎(jiǎng)勵(lì)信息策略網(wǎng)絡(luò)在訓(xùn)練初期就會(huì)把這些動(dòng)作的概率壓到最低。3.2 聯(lián)合獎(jiǎng)勵(lì)公式主目標(biāo)、輔助目標(biāo)、約束懲罰怎么排優(yōu)先級(jí)我目前實(shí)踐下來(lái)比較穩(wěn)定的聯(lián)合reward結(jié)構(gòu)是R α · r_primary β · r_auxiliary - λ · c_constraint各項(xiàng)的含義拆開(kāi)說(shuō)r_primary是主任務(wù)的稀疏reward完成則1。稀疏獎(jiǎng)勵(lì)的好處是避免“過(guò)程獎(jiǎng)勵(lì)引導(dǎo)Agent走捷徑”但缺點(diǎn)是學(xué)習(xí)速度慢需要配合環(huán)境內(nèi)置的隨機(jī)初始化讓Agent有機(jī)會(huì)偶然完成后才開(kāi)始收斂。r_auxiliary是密集輔助reward用來(lái)提供梯度信號(hào)比如每一步根據(jù)和目標(biāo)的距離變化產(chǎn)生一個(gè)小獎(jiǎng)勵(lì)引導(dǎo)Agent向正確區(qū)域移動(dòng)。c_constraint是違約懲罰項(xiàng)。這個(gè)系數(shù)λ要足夠大大到“作弊一次扣掉的分超過(guò)正常賺三次的分”。我通常會(huì)把λ設(shè)成主目標(biāo)獎(jiǎng)勵(lì)的5到10倍以上。小了沒(méi)用Agent一定會(huì)權(quán)衡利弊后選擇冒險(xiǎn)。聯(lián)合獎(jiǎng)勵(lì)里還有一個(gè)隱藏問(wèn)題輔助reward的設(shè)計(jì)會(huì)改變Agent對(duì)環(huán)境的建模。如果距離目標(biāo)越近就獎(jiǎng)勵(lì)越高Agent會(huì)優(yōu)先沿著“看起來(lái)靠近目標(biāo)”的方向探索這可能讓它錯(cuò)過(guò)一些需要繞路的解。解決方法是給輔助獎(jiǎng)勵(lì)設(shè)置上限或者逐步衰減它的系數(shù)。當(dāng)Agent穩(wěn)定完成一次任務(wù)后我會(huì)把β從0.5降到0.1。輔助獎(jiǎng)勵(lì)是腳手架任務(wù)能獨(dú)立站住之后就該拆掉。3.3 實(shí)際代碼骨架訓(xùn)練循環(huán)里的目標(biāo)融合直接貼一段我在項(xiàng)目里用過(guò)的偽代碼框架能說(shuō)明目標(biāo)融合的實(shí)際操作方式# 訓(xùn)練循環(huán)內(nèi)每個(gè)step執(zhí)行 for batch in replay_buffer.sample(batch_size): # 1. 主獎(jiǎng)勵(lì)和輔助獎(jiǎng)勵(lì)歸一化 r_primary_norm normalize_to_01(batch.r_primary) r_aux_norm normalize_to_01(batch.r_auxiliary) # 2. 約束懲罰項(xiàng)違反硬約束直接大額扣分 c_constraint batch.constraint_violation * lambda_hard_constraint # 3. 聯(lián)合獎(jiǎng)勵(lì) r_total alpha * r_primary_norm beta * r_aux_norm - c_constraint # 4. 分別計(jì)算各目標(biāo)在當(dāng)前策略下的期望值用于觀測(cè)目標(biāo)沖突 policy_loss compute_policy_loss(batch.log_probs, r_total, old_log_probs) value_loss compute_value_loss(batch.returns, batch.values) # 5. 分目標(biāo)記錄指標(biāo) metrics[primary_success_rate] batch.r_primary.mean() metrics[constraint_violation_rate] batch.constraint_violation.mean()這里有個(gè)非常重要的工程細(xì)節(jié)**r_total是給策略梯度用的但打點(diǎn)指標(biāo)必須按目標(biāo)分開(kāi)記錄。**如果只記錄合并后的reward你會(huì)失去判斷“哪個(gè)目標(biāo)在退化”的能力。我吃過(guò)這個(gè)虧——Agent主任務(wù)成功率穩(wěn)著漲但約束違反率從2%悄悄漲到15%合并reward看著還在改善實(shí)際上已經(jīng)是在走危險(xiǎn)策略了。3.4 實(shí)戰(zhàn)中約束目標(biāo)沖突的檢測(cè)辦法多目標(biāo)訓(xùn)練里最頭疼的問(wèn)題是目標(biāo)沖突了怎么辦比如“減少對(duì)話輪次”和“提高問(wèn)題解決率”在Agent資源有限時(shí)天然沖突。一個(gè)可行的檢測(cè)辦法是滑動(dòng)窗口內(nèi)計(jì)算兩個(gè)目標(biāo)的Spearman相關(guān)系數(shù)。當(dāng)corr(turn_cost, solve_rate)持續(xù)為負(fù)說(shuō)明當(dāng)前狀態(tài)下這兩個(gè)目標(biāo)在拉鋸?？吹綇?qiáng)負(fù)相關(guān)時(shí)不代表要立刻調(diào)權(quán)重但需要人工介入判斷是給輔助經(jīng)驗(yàn)讓Agent學(xué)會(huì)更高效的策略還是調(diào)整目標(biāo)權(quán)重重新分配優(yōu)先級(jí)。更直接的沖突檢測(cè)法是對(duì)比目標(biāo)傾斜度在一批固定的評(píng)測(cè)樣本集上分別只優(yōu)化目標(biāo)A、只優(yōu)化目標(biāo)B、同時(shí)優(yōu)化AB各訓(xùn)一小段rollout比較三者的表現(xiàn)。如果只優(yōu)化A時(shí)B嚴(yán)重劣化只優(yōu)化B時(shí)A嚴(yán)重劣化同時(shí)優(yōu)化時(shí)兩者都一般說(shuō)明目標(biāo)空間本身存在結(jié)構(gòu)性沖突。這種時(shí)候要么合并相關(guān)目標(biāo)比如把輪次成本并入主目標(biāo)約束要么投入更多的環(huán)境資源讓Agent找到非平凡解。4. 訓(xùn)練過(guò)程中的優(yōu)先級(jí)調(diào)整與穩(wěn)定性控制4.1 動(dòng)態(tài)權(quán)重策略前期探索、中期收斂、后期壓制固定權(quán)重從頭訓(xùn)到尾效果通常不理想原因是不同訓(xùn)練階段需要不同的權(quán)衡方式。我給權(quán)重調(diào)參的經(jīng)驗(yàn)是用三段式策略前期探索期輔助目標(biāo)和約束懲罰權(quán)重都可以低一些讓Agent大膽探索環(huán)境。主目標(biāo)權(quán)重高引導(dǎo)Agent在行為空間找到第一個(gè)有效解。這個(gè)階段約束懲罰太強(qiáng)會(huì)壓制探索動(dòng)力。中期收斂期輔助權(quán)重開(kāi)始衰減約束懲罰升到正常水平。Agent已經(jīng)知道如何完成基本任務(wù)這時(shí)候要開(kāi)始規(guī)范它的行為方式。我一般會(huì)在主目標(biāo)成功率超過(guò)50%后切換到這個(gè)階段。后期穩(wěn)定期輔助目標(biāo)幾乎完全移除主目標(biāo)獎(jiǎng)勵(lì)和約束懲罰權(quán)重固定。Agent進(jìn)入“邊界內(nèi)最大化”的精細(xì)化調(diào)整階段。這個(gè)階段跑太久會(huì)有過(guò)擬合風(fēng)險(xiǎn)需要配合定期評(píng)測(cè)防止策略退化。動(dòng)態(tài)權(quán)重切換的條件應(yīng)該由訓(xùn)練指標(biāo)驅(qū)動(dòng)。我在每個(gè)階段切換之前會(huì)觀察主目標(biāo)成功率增速是否開(kāi)始放緩、約束違反率是否出現(xiàn)拐點(diǎn)上升。這兩個(gè)信號(hào)同時(shí)出現(xiàn)的時(shí)候就是該加減權(quán)重的時(shí)機(jī)。4.2 沖突量化指標(biāo)用損失比率判斷該保哪個(gè)目標(biāo)很多時(shí)候兩個(gè)目標(biāo)確實(shí)無(wú)法同時(shí)滿足你需要知道該保哪個(gè)、舍哪個(gè)。單純看數(shù)值大小不夠因?yàn)椴煌繕?biāo)量綱不同。我的做法是維護(hù)一個(gè)目標(biāo)邊際損失比率每迭代N步單獨(dú)用一個(gè)batch計(jì)算只走目標(biāo)A的策略梯度帶來(lái)的目標(biāo)B變化量和只走目標(biāo)B的梯度帶來(lái)的目標(biāo)A變化量。這個(gè)比率能直觀看出哪個(gè)目標(biāo)的“讓步”代價(jià)更大。舉個(gè)例子訓(xùn)練中期發(fā)現(xiàn)如果把B目標(biāo)的梯度完全忽略A目標(biāo)漲了3個(gè)點(diǎn)如果把A的梯度忽略B目標(biāo)掉了7個(gè)點(diǎn)。這說(shuō)明B比A脆弱得多。碰到這種情況動(dòng)態(tài)權(quán)重調(diào)整時(shí)會(huì)偏保護(hù)B限制A在B上的副作用。計(jì)算代價(jià)并不高因?yàn)橹恍枰嗯芤淮吻跋蚝头聪颉?.3 訓(xùn)練穩(wěn)定性reward方差、熵下界與梯度裁剪多目標(biāo)優(yōu)化比單目標(biāo)更容易出現(xiàn)訓(xùn)練震蕩尤其當(dāng)約束懲罰的λ設(shè)得很大時(shí)。懲罰項(xiàng)帶來(lái)的梯度方差會(huì)顯著上升表現(xiàn)為loss曲線鋸齒狀跳變?？刂七@個(gè)問(wèn)題的三個(gè)手段第一是reward標(biāo)準(zhǔn)化。對(duì)每個(gè)目標(biāo)分別做running mean/variance的標(biāo)準(zhǔn)化而不是對(duì)合并reward做標(biāo)準(zhǔn)化。分目標(biāo)標(biāo)準(zhǔn)化能避免不同目標(biāo)尺度互相干擾也讓動(dòng)態(tài)權(quán)重調(diào)節(jié)真正作用于“優(yōu)先級(jí)”而非“尺度”。第二是策略熵下界。多目標(biāo)訓(xùn)練后期Agent很容易陷入“先滿足所有約束再在剩余空間里最優(yōu)”的保守策略熵會(huì)快速下降。我會(huì)給策略熵設(shè)置一個(gè)下界低于閾值就自動(dòng)降低約束懲罰權(quán)重一小段時(shí)間放Agent出去重新探索。如果遲遲不恢復(fù)說(shuō)明訓(xùn)練環(huán)境不夠豐富需要擴(kuò)展環(huán)境難度。第三是梯度裁剪與PPO的clip范圍控制。多目標(biāo)聯(lián)合梯度大小波動(dòng)劇烈clip_range建議最初設(shè)小一點(diǎn)0.15左右穩(wěn)定后再放寬到0.2。同時(shí)設(shè)置梯度范數(shù)裁剪上限防止某一條目標(biāo)梯度在懲罰項(xiàng)反傳時(shí)突然暴走。4.4 經(jīng)驗(yàn)池分層不同目標(biāo)的樣本怎么管理多目標(biāo)訓(xùn)練對(duì)數(shù)據(jù)分布比較敏感。約束目標(biāo)占比太高經(jīng)驗(yàn)池里全是違規(guī)樣本Agent會(huì)“不敢動(dòng)”占比太低約束懲罰訓(xùn)練不出來(lái)。我習(xí)慣在經(jīng)驗(yàn)池按目標(biāo)來(lái)源做分層管理。具體是將訓(xùn)練rollout樣本按“正常行為”“近邊界行為”“違規(guī)行為”標(biāo)記在每個(gè)采樣batch里按比例混合。正常行為占60%近邊界行為占30%違規(guī)行為占10%。這比從全量經(jīng)驗(yàn)里均勻采樣更穩(wěn)定。因?yàn)閺?qiáng)化學(xué)習(xí)的分布偏移問(wèn)題非常嚴(yán)重Agent如果只在某一類(lèi)數(shù)據(jù)上瘋狂更新策略會(huì)突然崩潰。近邊界行為樣本尤其有價(jià)值——很多多目標(biāo)沖突都是在邊界附近顯現(xiàn)的。我會(huì)給這類(lèi)樣本額外加一個(gè)小的優(yōu)先采樣權(quán)重確保邊界附近的策略評(píng)估不是只靠運(yùn)氣碰到的。5. 評(píng)估體系與部署階段的權(quán)衡取舍5.1 分維度評(píng)估走完整個(gè)訓(xùn)練后我如何看最終效果單純看合并reward達(dá)標(biāo)沒(méi)有意義因?yàn)楹喜⒅笛谏w了退化目標(biāo)。我最終會(huì)從幾個(gè)維度同時(shí)做驗(yàn)收評(píng)估維度指標(biāo)達(dá)標(biāo)線示例主目標(biāo)性能任務(wù)成功率≥ 85%行為安全約束違反率≤ 0.5%效率表現(xiàn)平均輪次/耗時(shí)≤ 基線值×1.2行為質(zhì)量策略熵穩(wěn)定前提下不低于訓(xùn)練峰值50%魯棒性隨機(jī)初始條件下成功率方差≤ 5%這里我想特別說(shuō)一下策略熵的評(píng)估價(jià)值。多目標(biāo)訓(xùn)練里有一個(gè)現(xiàn)象約束設(shè)得越多策略熵越低Agent行為越僵硬。如果約束沒(méi)有從根本改變Agent的應(yīng)對(duì)思路而只是逼它“少犯錯(cuò)”策略熵會(huì)掉得很快碰上沒(méi)見(jiàn)過(guò)的輸入基本就懵了。所以評(píng)估時(shí)我會(huì)把關(guān)一個(gè)隱含指標(biāo)面對(duì)測(cè)評(píng)集里“邊界case”時(shí)Agent輸出還是不是多樣化的表達(dá)方式。僵硬到一定程度的Agent哪怕當(dāng)前成功率再高上線后也會(huì)被真實(shí)用戶(hù)問(wèn)崩。5.2 邊界case專(zhuān)項(xiàng)測(cè)試約束目標(biāo)最容易翻車(chē)的地方約束目標(biāo)訓(xùn)練的最大隱患是過(guò)擬合到訓(xùn)練環(huán)境的邊界到了測(cè)試階段換個(gè)措辭就繞過(guò)紅線。我專(zhuān)門(mén)建了一個(gè)“邊界case題庫(kù)”涵蓋了訓(xùn)練環(huán)境里沒(méi)出現(xiàn)過(guò)的表達(dá)變體。比如合規(guī)類(lèi)約束題庫(kù)里是各種同義改寫(xiě)、諧音、emoji暗示、口語(yǔ)縮略行為類(lèi)約束題庫(kù)里是各種“用戶(hù)誘導(dǎo)Agent突破設(shè)定”的場(chǎng)景。做法也很樸素訓(xùn)練每完成一版先跑一輪邊界題庫(kù)把觸發(fā)違規(guī)率高的樣本找出來(lái)回放分析。我踩過(guò)一個(gè)印象深刻的坑某版本的Agent在“用戶(hù)問(wèn)價(jià)格區(qū)間”時(shí)表現(xiàn)正常但“用戶(hù)說(shuō)預(yù)算夠不夠時(shí)再給推薦”——這句話里沒(méi)有“價(jià)格”關(guān)鍵詞Agent直接把合規(guī)目標(biāo)丟一邊開(kāi)始編造定價(jià)。回放樣本后我意識(shí)到問(wèn)題出在目標(biāo)泛化性不夠合規(guī)約束的reward只懲罰了“提到價(jià)格”這個(gè)具體詞沒(méi)有懲罰“編造事實(shí)”這一層更抽象的行為。后來(lái)把約束目標(biāo)從詞級(jí)別改成語(yǔ)義級(jí)別問(wèn)題才緩解。5.3 灰度部署里重新定義“目標(biāo)優(yōu)先級(jí)”訓(xùn)練和線上是兩個(gè)世界這句話在多目標(biāo)Agent上尤其明顯。訓(xùn)練階段定好的權(quán)重上線后不一定是業(yè)務(wù)真正關(guān)心的權(quán)重。我最近一個(gè)導(dǎo)航項(xiàng)目的真實(shí)情況是訓(xùn)練把“路徑最短”和“不進(jìn)入限行區(qū)”設(shè)成了同等優(yōu)先級(jí)評(píng)測(cè)也過(guò)了。結(jié)果灰度期間用戶(hù)反饋里出現(xiàn)了一個(gè)沒(méi)有預(yù)期到的需求——不少用戶(hù)偏好“風(fēng)景好的路線”哪怕遠(yuǎn)一點(diǎn)也ok。這不是一個(gè)訓(xùn)練目標(biāo)而是一個(gè)用戶(hù)偏好維度。后來(lái)調(diào)整做法線上策略拆成“核心目標(biāo)可配置偏好層”。核心目標(biāo)安全、任務(wù)完成由模型硬約束保證偏好層路徑風(fēng)格、交互詳略由外部規(guī)則在輸出時(shí)做后置排序。AI Agent在多目標(biāo)訓(xùn)練里拿到的是一個(gè)有彈性的行為基線具體業(yè)務(wù)上用外部規(guī)則再做一層收口這樣機(jī)動(dòng)性高很多。這個(gè)思路也適用于客服Agent模型里訓(xùn)好“答得對(duì)”“不越界”“效率高”這三個(gè)目標(biāo)線上運(yùn)營(yíng)再去疊加“當(dāng)前活動(dòng)期優(yōu)先促轉(zhuǎn)化”這類(lèi)臨時(shí)偏好不需要重新訓(xùn)練模型。5.4 再分享一個(gè)關(guān)于訓(xùn)練資源和評(píng)估頻率的搭配最后說(shuō)一個(gè)很多文檔不會(huì)提的經(jīng)驗(yàn)多目標(biāo)訓(xùn)練對(duì)“評(píng)估頻率”非常敏感。一開(kāi)始我按單目標(biāo)的習(xí)慣每5000步跑一次評(píng)測(cè)發(fā)現(xiàn)目標(biāo)沖突現(xiàn)象經(jīng)常在兩次評(píng)測(cè)之間發(fā)生又自我修復(fù)導(dǎo)致評(píng)估結(jié)果完全失真。后來(lái)改成兩個(gè)手段結(jié)合高頻輕量評(píng)測(cè)每1000步用一個(gè)固定種子集的快速評(píng)測(cè)集跑分只記錄約束違反率和主目標(biāo)成功率兩個(gè)核心指標(biāo)低頻全面評(píng)測(cè)每2萬(wàn)步用全量邊界題庫(kù)隨機(jī)種子做一次完整驗(yàn)收。這樣做的成本增加不多但能抓到很多轉(zhuǎn)瞬即逝的沖突信號(hào)。有一次就是靠輕量評(píng)測(cè)發(fā)現(xiàn)某版本在約束違反率上突然從0.3%跳到7%而主目標(biāo)成功率還在緩慢上升——如果等完整的2萬(wàn)步評(píng)測(cè)這個(gè)隱患又多跑了好幾個(gè)版本。多目標(biāo)優(yōu)化的調(diào)參很像走鋼絲權(quán)重大了Agent不敢動(dòng)權(quán)重小了約束形同虛設(shè)約束太松學(xué)出危險(xiǎn)策略約束太緊學(xué)出機(jī)械應(yīng)答。每一步都需要靠指標(biāo)細(xì)看不能只看合并后的數(shù)字。我個(gè)人的體會(huì)是真正穩(wěn)定的多目標(biāo)Agent不是靠一組完美權(quán)重一次性訓(xùn)出來(lái)的而是靠“訓(xùn)練階段的動(dòng)態(tài)調(diào)整”和“評(píng)估維度的獨(dú)立觀察”反復(fù)打磨出來(lái)的。現(xiàn)在每次接手新項(xiàng)目我都會(huì)先問(wèn)自己一句這個(gè)Agent的邊界到底在哪里如果這個(gè)問(wèn)題答不上來(lái)再漂亮的reward曲線也是空中樓閣。