剛接觸大模型后訓(xùn)練時很容易把幾件事混在一起模型是不是先寫一個答案再把它改得更像標(biāo)準(zhǔn)答案獎勵模型和 Critic 都輸出分?jǐn)?shù)為什么還要分開既然都有優(yōu)化效果四種方法是不是按順序全部訓(xùn)練一遍就行理解它們不妨換一個切入點(diǎn)模型拿什么作為學(xué)習(xí)材料怎樣把材料變成訓(xùn)練信號最后更新誰的參數(shù)沿著這三個問題看SFT、DPO、PPO 和 GRPO 就不再是四個需要死記的縮寫而是四種不同的學(xué)習(xí)機(jī)制。一、先搭一個共同框架訓(xùn)練改變的是生成概率自回歸語言模型每次根據(jù)已有上下文給“下一個 token”分配概率。token 可以是一段字、詞或符號不一定對應(yīng)一個漢字。將一段回答中各個位置的條件概率相乘就得到這段回答的概率實(shí)際計算通常取對數(shù)把乘法變成加法。這里x 是問題y 是整段回答θ 表示待訓(xùn)練參數(shù)π 表示模型的生成概率分布。后面出現(xiàn)的“提高概率”都是在調(diào)整參數(shù)而不是在某一段現(xiàn)成文字上直接增刪改。這也解釋了“算概率”和“生成答案”的區(qū)別算概率是拿一段已有文本計算模型有多傾向于說出它生成答案是按模型當(dāng)前的概率分布真正選出 token 并組成新文本。前者是 SFT、標(biāo)準(zhǔn)離線 DPO 的訓(xùn)練基礎(chǔ)后者進(jìn)入了 PPO、GRPO 的采樣循環(huán)。訓(xùn)練數(shù)據(jù)是“現(xiàn)成的”還是“邊學(xué)邊生成的”標(biāo)準(zhǔn)流程示意。箭頭表示數(shù)據(jù)與學(xué)習(xí)信號的流向不是四種方法的執(zhí)行順序。二、SFT用示范回答教模型“照這樣答”SFTSupervised Fine-Tuning有監(jiān)督微調(diào)的學(xué)習(xí)材料是“問題優(yōu)質(zhì)示范回答”。它不要求兩份答案分出高下也不需要獎勵分?jǐn)?shù)示范回答本身就是監(jiān)督信號。一次參數(shù)更新實(shí)際上發(fā)生了什么假設(shè)示范回答拆成若干 token。訓(xùn)練時預(yù)測某個位置的下一個 token使用的是問題和示范回答的真實(shí)前綴這叫Teacher Forcing教師強(qiáng)制。即使整段文本一次送進(jìn)模型因果掩碼也會阻止當(dāng)前位置看到未來 token“整段輸入”不等于“偷看后面的答案”。讀一批樣本。將問題與示范回答拼成訓(xùn)練序列。計算指定 token 的概率。在每個回答位置檢查模型給示范中的下一個 token 分配了多大概率。匯總損失。目標(biāo) token 的概率越低負(fù)對數(shù)損失越大。常見指令微調(diào)只對回答部分計損失對問題部分做掩碼。更新參數(shù)。反向傳播并執(zhí)行優(yōu)化器更新再處理下一批數(shù)據(jù)。這個式子表示單條樣本的 token 損失求和實(shí)現(xiàn)中還可能按有效 token 或批次取平均。最小化損失就是推動模型提高示范回答的概率。待訓(xùn)練的語言模型參與更新不需要額外的獎勵模型或 Critic。SFT 適合把期望的行為直接示范出來例如如何遵循指令、采用什么輸出格式、怎樣完成某類任務(wù)。但“學(xué)示范”不是“保證背出原句”它學(xué)習(xí)的是一批示范背后的生成規(guī)律。它也不會僅憑某個回答未出現(xiàn)在示范中就知道這個回答為什么不好。三、DPO不用重寫范文直接學(xué)習(xí)“哪個更好”DPODirect Preference Optimization直接偏好優(yōu)化使用“問題chosenrejected”。chosen 是一對回答里更受偏好的那個不一定完美rejected 是相對較差的那個也不一定完全錯誤。它學(xué)習(xí)的是這種相對關(guān)系。先分清數(shù)據(jù)準(zhǔn)備和正式訓(xùn)練準(zhǔn)備偏好數(shù)據(jù)時可以先讓模型生成候選回答再請人或評估機(jī)制選出更好的回答。但到了標(biāo)準(zhǔn)離線 DPO 的參數(shù)更新階段這些回答已經(jīng)固定不需要每一步再生成第三個答案更不會拿第三個答案與 chosen 做文本相似度比較。訓(xùn)練中有兩個角色一個是會更新的策略模型 πθ另一個是凍結(jié)的參考模型 πref通常取訓(xùn)練開始前的模型作為基準(zhǔn)。對同一條偏好樣本兩者分別計算 chosen 和 rejected 的整段對數(shù)概率共形成四個概率量。損失在比較什么令 y? 為 choseny? 為 rejected。DPO 的核心比較量是第一組括號衡量“現(xiàn)在更偏向誰”第二組括號衡量“參考模型原來更偏向誰”。兩者相減得到相對于參考模型的偏好變化再構(gòu)造單條樣本損失σ 是 sigmoid 函數(shù)β 是控制參考約束與偏好優(yōu)化權(quán)衡的超參數(shù)不是學(xué)習(xí)率。對于給定樣本最小化這個損失會推動 Δ 增大也就是讓 chosen 對 rejected 的相對優(yōu)勢增強(qiáng)。完整訓(xùn)練目標(biāo)還會在數(shù)據(jù)集上取平均。一次更新的流程取偏好樣本 → 兩個模型分別計算兩段回答的對數(shù)概率 → 算 DPO 損失 → 反向傳播 → 只更新策略模型。參考模型保持凍結(jié)標(biāo)準(zhǔn) DPO 不單獨(dú)訓(xùn)練獎勵模型也不訓(xùn)練 Critic。需要保留一個重要限定相對優(yōu)勢變大不保證 chosen 的絕對概率每次都上升。兩者概率都下降但 rejected 下降得更多相對關(guān)系也可能改善。DPO 也不是把 rejected 改寫成 chosen而是改變未來生成時的傾向。四、PPO讓模型自己嘗試再根據(jù)反饋學(xué)習(xí)SFT 和離線 DPO 的回答來自已有數(shù)據(jù)PPOProximal Policy Optimization近端策略優(yōu)化把生成新回答放入訓(xùn)練循環(huán)。模型先嘗試獲得反饋再更新自己用更新后的策略繼續(xù)嘗試。獎勵模型和 Critic到底各自負(fù)責(zé)什么獎勵模型Reward評價這次實(shí)際生成的回答?；貓?Critic在每個生成位置預(yù)測 “從這里按當(dāng)前策略繼續(xù)寫平均能獲得多少后續(xù)回報”。用一道題來看題目買了 2 袋糖每袋 3 顆又得到 4 顆一共有多少顆為方便理解設(shè)定一個教學(xué)評分規(guī)則最終答案是 10獎勵為 1否則為 0。這里用程序規(guī)則代替獎勵模型承擔(dān)的是相同的 “提供評分信號” 的角色。模型已經(jīng)寫到“先算兩袋糖2 × 3 6。接下來加上另外 4 顆……”假設(shè) Critic 此時輸出 0.9。它的意思不是 “這一步得了 0.9 分”而是根據(jù)目前的前綴和這個模型的能力繼續(xù)生成下去預(yù)計最終平均得到 0.9 分。在這個只有 0/1 獎勵的例子里也可以理解為Critic 估計接下來最終答對的概率約為 90%。這些數(shù)值都是教學(xué)假設(shè)不是真實(shí)實(shí)驗(yàn)結(jié)果。同一個前綴Critic 的預(yù)測相同但實(shí)際走向不同最終獎勵就不同。預(yù)測的是可能結(jié)果的平均表現(xiàn)獎勵記錄的是這一次真正發(fā)生的表現(xiàn)。Critic 也會用收集到的回報目標(biāo)訓(xùn)練讓預(yù)測越來越準(zhǔn)它不是提前知道答案的 “裁判”。兩者配合一個提供目標(biāo)一個幫助更穩(wěn)地學(xué)不是兩個裁判重復(fù)打分而是 “反饋預(yù)測基線” 的分工。典型 PPO 用它們估計優(yōu)勢更新策略同時訓(xùn)練 Critic 改善預(yù)測。它能幫助訓(xùn)練但不保證精確找出每一句推理究竟錯在哪里。最后記一句獎勵決定 “什么值得學(xué)”Critic 幫助判斷 “這次比預(yù)期好多少”獎勵可以單獨(dú)用Critic 通常是為了讓學(xué)習(xí)更穩(wěn)、更高效。Actor策略模型生成回答最終希望訓(xùn)練好的就是它。獎勵機(jī)制給回答提供評分信號?？梢允菙?shù)學(xué)答案校驗(yàn)、代碼測試也可以是學(xué)習(xí)出來的獎勵模型。Critic價值模型輸入問題與當(dāng)前回答前綴預(yù)測從這里繼續(xù)生成的預(yù)期后續(xù)回報逐步回報匯總。它不是為每個 token 制定一個好壞分?jǐn)?shù)。參考模型常見 RLHF 中凍結(jié)的基準(zhǔn)用 KL 約束限制策略偏離過遠(yuǎn)。經(jīng)典 RLHF 通常先用人類偏好對訓(xùn)練獎勵模型讓它學(xué)會給 chosen 更高分再將它用于 PPO 階段的自動評分。獎勵模型回答“這個輸出按評分標(biāo)準(zhǔn)表現(xiàn)如何”結(jié)果分Critic 回答“按當(dāng)前策略從這個前綴繼續(xù)下去通常能得到多少回報”。各個步驟的預(yù)期結(jié)果分兩者都可能輸出數(shù)值但學(xué)習(xí)目標(biāo)不同。一輪 PPO 怎樣閉環(huán)采樣回答。用本輪采樣策略生成一批回答保存 token、采樣時的對數(shù)概率等信息。這個采樣策略就是本輪的“舊策略”。----采樣 指的是讓當(dāng)前模型針對同一個提示詞隨機(jī)生成多條不同的候選回答而不是從外部數(shù)據(jù)集里抽數(shù)據(jù)。收集訓(xùn)練信號。獎勵機(jī)制打分Critic 預(yù)測各回答前綴的價值典型 RLHF 還加入相對參考模型的 KL 懲罰。估計優(yōu)勢。將獎勵和價值預(yù)測結(jié)合通常使用 GAE廣義優(yōu)勢估計判斷生成行為比當(dāng)前預(yù)期好多少。更新 Actor。使用優(yōu)勢和新舊策略的概率比構(gòu)造裁剪目標(biāo)進(jìn)行一個或有限多個優(yōu)化輪次。更新 Critic。讓價值預(yù)測擬合由獎勵及價值估計構(gòu)造的回報目標(biāo)。重新采樣。用更新后的策略收集新回答開始下一輪而不是無限復(fù)用同一批舊回答。優(yōu)勢的直覺是“表現(xiàn)相對基線的好壞”但實(shí)際 GAE 不是簡單把最終得分減去每個位置的預(yù)測值。它先計算一步時序差分誤差再按時間匯總s? 是問題加當(dāng)前前綴V 是 Critic 預(yù)測γ 控制折扣λ 調(diào)節(jié)估計的偏差與方差在有限回答上求和會于終止處截斷真正終止?fàn)顟B(tài)的后續(xù)價值按零處理。正優(yōu)勢提供強(qiáng)化信號負(fù)優(yōu)勢提供削弱信號。PPO 的“不要改太猛”限制的是什么令 ρ? 表示當(dāng)前策略與舊策略對同一已采樣 token 的概率比。PPO 最大化的核心裁剪項(xiàng)是當(dāng)概率比朝有利方向變化過大時裁剪目標(biāo)不再為繼續(xù)擴(kuò)大這部分變化提供額外收益。這不是把全部參數(shù)變化或?qū)嶋H概率比硬鎖在某個范圍內(nèi)。另一個常見約束是相對參考模型的 KL 懲罰它限制的是相對于長期基準(zhǔn)的整體偏移和 PPO 裁剪不是同一回事。因此要分清舊策略與參考模型舊策略是本批數(shù)據(jù)采樣時的快照下一輪會刷新參考模型是約束所依賴的基準(zhǔn)典型訓(xùn)練階段中保持凍結(jié)。PPO 通常更新 Actor 和 Critic獎勵模型在這一策略優(yōu)化階段通常凍結(jié)更外層的迭代訓(xùn)練可另行更新獎勵模型。五、GRPO同一道題多答幾次用組內(nèi)比較替代 CriticGRPOGroup Relative Policy Optimization組相對策略優(yōu)化保留了 PPO 風(fēng)格的策略優(yōu)化但改變了優(yōu)勢的來源不再單獨(dú)訓(xùn)練價值模型而是對同一問題生成一組回答利用組內(nèi)獎勵的統(tǒng)計量作為比較基線。組采樣。每個問題生成 G 個回答并記錄采樣時的概率。逐個評分。用獎勵模型或規(guī)則得到各回答的獎勵 r?。算相對優(yōu)勢。在同一個問題的回答組內(nèi)計算獎勵均值與標(biāo)準(zhǔn)差。更新策略。使用組相對優(yōu)勢、PPO 風(fēng)格裁剪目標(biāo)和原始版本中的 KL 約束更新 Actor。重新探索。用新 Actor 生成下一組回答重復(fù)上述過程。在原始最終結(jié)果獎勵版本中同一回答的各 token 共用該回答的結(jié)果級優(yōu)勢并不意味著知道其中每個推理步驟各自是否正確過程獎勵屬于另一種更細(xì)粒度的設(shè)置。工程實(shí)現(xiàn)還須處理標(biāo)準(zhǔn)差為零的情況例如加入數(shù)值穩(wěn)定項(xiàng)或跳過無區(qū)分信號的組。一個可手算的例子假設(shè)某題的四個回答獲得獎勵 [1, 1, 0, 0]。采用總體標(biāo)準(zhǔn)差口徑均值為 0.5標(biāo)準(zhǔn)差為 0.5所以相對優(yōu)勢為 [1, 1, ?1, ?1]。這是教學(xué)算例不是實(shí)驗(yàn)結(jié)果不同實(shí)現(xiàn)的標(biāo)準(zhǔn)差口徑可能改變數(shù)值尺度。?這張圖里的兩條分支回答了同一個問題獎勵已經(jīng)有了拿什么當(dāng)“預(yù)期基線”PPO 用學(xué)出來的價值預(yù)測criticGRPO 用當(dāng)前回答組的相對表現(xiàn)。兩者都需要可信的評分信號。GRPO 不是“多答案版 DPO”DPO 學(xué)已有回答對的偏好GRPO 在訓(xùn)練循環(huán)中不斷采樣并根據(jù)組內(nèi)獎勵更新。它也不是“只挑最高分做 SFT”組內(nèi)不同回答會得到不同方向和強(qiáng)度的優(yōu)勢信號而非只保留一份范文。組內(nèi)比較有邊界如果整組同分相對獎勵部分就沒有區(qū)分信號如果整組都不好“組內(nèi)最好”也不等于絕對正確。省去 Critic 能減少價值模型的訓(xùn)練和存儲開銷但多回答采樣仍有成本不能據(jù)此斷言所有設(shè)置下總訓(xùn)練成本都更低。六、把四種方法放回完整訓(xùn)練路線常見路線是先通過 SFT 建立較好的指令遵循與任務(wù)表現(xiàn)再根據(jù)可獲得的學(xué)習(xí)信號繼續(xù)優(yōu)化手里有可靠的回答對偏好可以做 DPO能對新生成的回答持續(xù)評分可以考慮 PPO 或 GRPO 這樣的在線強(qiáng)化學(xué)習(xí)方法。經(jīng)典 InstructGPT 展示了 SFT、獎勵建模與 PPO 的組合DPO 與 DeepSeekMath 則展示了不同的后續(xù)優(yōu)化路徑。?同樣RLHF是利用人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)的框架PPO是其中可用的算法不是 RLHF 的同義詞。DPO 從偏好數(shù)據(jù)直接優(yōu)化策略繞開顯式獎勵建模和在線 RL 循環(huán)但在理論上與帶 KL 約束的獎勵優(yōu)化目標(biāo)存在聯(lián)系。七、讀完后能回答這五個問題就抓住了主線SFT為什么不需要先生成一份新答案因?yàn)樗苯佑檬痉痘卮鹱鞅O(jiān)督計算指定 token 的概率和損失。DPO在比較什么比較 chosen 對 rejected 的相對概率優(yōu)勢相對于參考模型改善了多少而不是比較文本長得多像。獎勵模型和 Critic 有什么關(guān)系前者給反饋后者預(yù)測預(yù)期回報PPO 用二者構(gòu)造優(yōu)勢Critic 也從回報目標(biāo)中學(xué)習(xí)。PPO的舊策略就是參考模型嗎不是。舊策略服務(wù)于本批采樣和更新幅度比較參考模型服務(wù)于相對長期基準(zhǔn)的約束。GRPO到底省掉了什么省掉單獨(dú)訓(xùn)練的價值模型用組內(nèi)統(tǒng)計計算優(yōu)勢沒有省掉獎勵也沒有省掉在線采樣。最后把四種方法壓成一句話SFT學(xué)示范DPO學(xué)相對偏好PPO學(xué)比預(yù)期更好的生成行為GRPO學(xué)比同組平均表現(xiàn)更好的生成行為。真正的共同點(diǎn)不是“都在模仿好答案”而是它們都把某種學(xué)習(xí)信號轉(zhuǎn)化為參數(shù)更新改變模型未來生成回答的概率。參考資料[1] Direct Preference Optimization: Your Language Model is Secretly a Reward Model重點(diǎn)閱讀第 3—4 節(jié)了解 RLHF 基本流程、DPO 目標(biāo)與參考模型。[2] DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models重點(diǎn)閱讀第 4.1 節(jié)、圖 4 與附錄 A.1理解 PPO、GRPO 及其訓(xùn)練目標(biāo)。[3] Training language models to follow instructions with human feedback經(jīng)典 SFT → 獎勵建模 → PPO 路線。