化：原理、損失函數(shù)與極簡實(shí)現(xiàn))
DPO 這個(gè)名字最近兩年在模型對(duì)齊方向火得不行做 LLM 微調(diào)的人多少都會(huì)碰到。如果你已經(jīng)跑通了監(jiān)督微調(diào)開始接觸 RLHF、人類偏好對(duì)齊這些東西那 DPODirect Preference Optimization直接偏好優(yōu)化幾乎就是繞不開的一道坎。它的核心賣點(diǎn)非常直接不需要訓(xùn)練獎(jiǎng)勵(lì)模型不需要復(fù)雜的強(qiáng)化學(xué)習(xí)采樣循環(huán)只用一條偏好數(shù)據(jù)對(duì)就能把模型對(duì)齊到人類偏好上。我最初看到這個(gè)思路也覺得有點(diǎn)反直覺——不建獎(jiǎng)勵(lì)模型怎么優(yōu)化但當(dāng)你真正把代碼跑起來把損失函數(shù)拆開看一遍就會(huì)發(fā)現(xiàn)它的設(shè)計(jì)其實(shí)非常干凈。這篇博文不會(huì)去講太多學(xué)術(shù)公式推導(dǎo)而是從一份極簡教學(xué) Demo 的角度把 DPO 從原理到代碼實(shí)現(xiàn)完整捋一遍。適合兩類人一是剛了解 RLHF、想知道 DPO 到底在做什么的入門者二是已經(jīng)能跑通 SFT但對(duì)著 DPO 訓(xùn)練腳本不知道怎么改、踩了不少坑的實(shí)踐者。我會(huì)把 Demo 里每一段關(guān)鍵代碼的意圖、損失函數(shù)為什么長這樣、超參數(shù)怎么選連同我在實(shí)際訓(xùn)練中遇到的典型問題全部寫出來希望能幫你少走一些彎路。1. 整體設(shè)計(jì)思路DPO 為什么值得上手1.1 傳統(tǒng) RLHF 的復(fù)雜鏈路與 DPO 的化繁為簡在聊 DPO 的代碼之前得先搞清楚它到底解決了什么問題。傳統(tǒng)的 RLHF 鏈路是四步走先拿人類偏好數(shù)據(jù)訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型再凍結(jié)基座模型、加載一個(gè)待優(yōu)化的策略模型然后用強(qiáng)化學(xué)習(xí)算法最常見的是 PPO去讓策略模型在獎(jiǎng)勵(lì)模型的打分下不斷提升。這個(gè)鏈路有兩個(gè)難點(diǎn)讓人很頭疼第一獎(jiǎng)勵(lì)模型本身要單獨(dú)訓(xùn)練、單獨(dú)調(diào)參它的質(zhì)量直接決定后續(xù)強(qiáng)化學(xué)習(xí)的上限第二PPO 的在線采樣、優(yōu)勢估計(jì)、價(jià)值網(wǎng)絡(luò)這些組件非常重訓(xùn)練不穩(wěn)定是常態(tài)動(dòng)不動(dòng)就崩連很多做過多年 RL 的人都覺得麻煩。DPO 的核心洞察在于它把“獎(jiǎng)勵(lì)模型”和“策略優(yōu)化”這兩件事合并了。具體來說DPO 利用了一個(gè)數(shù)學(xué)上的等價(jià)關(guān)系——在 KL 約束下最優(yōu)策略和獎(jiǎng)勵(lì)函數(shù)之間可以互相轉(zhuǎn)換。也就是說我們可以不顯式訓(xùn)練獎(jiǎng)勵(lì)模型而是直接把這個(gè)最優(yōu)策略下的隱式獎(jiǎng)勵(lì)表達(dá)式代入 Bradley-Terry 偏好模型中最終得到一個(gè)只依賴策略模型和參考模型的簡單損失函數(shù)。這個(gè)損失用一行代碼就能寫完訓(xùn)練過程和普通的交叉熵微調(diào)幾乎一樣簡單。這也是為什么 DPO 發(fā)布之后很快就被大量采用——性能上能對(duì)標(biāo)甚至超過傳統(tǒng) RLHF但工程復(fù)雜度低了一個(gè)量級(jí)。1.2 Demo 代碼的定位教學(xué)優(yōu)先于性能我們這份極簡教學(xué) Demo目標(biāo)不是刷排行榜而是把 DPO 的核心機(jī)制完整跑通。所以它的設(shè)計(jì)會(huì)有幾個(gè)明確取舍不使用分布式訓(xùn)練不使用大模型甚至連 LoRA 我都不打算直接套現(xiàn)成的訓(xùn)練庫而是用最原始的 PyTorch 代碼把訓(xùn)練循環(huán)寫出來。這樣做有好處你能看到每一個(gè)張量的形狀、每一步梯度是怎么回傳的、損失函數(shù)里每一項(xiàng)在算什么。當(dāng)你真正理解了這個(gè)最簡版本再去上 Hugging Face 的 TRL 庫或者使用各種大模型訓(xùn)練框架就只是換個(gè) API 的問題底層思想是一樣的。Demo 的完整流程大概是這樣準(zhǔn)備一組偏好數(shù)據(jù)每條數(shù)據(jù)包含一個(gè)問題、一個(gè)被偏好的回答 chosen、一個(gè)不被偏好的回答 rejected加載一個(gè)預(yù)訓(xùn)練模型作為 policy model同時(shí)復(fù)制一份凍結(jié)參數(shù)作為 reference model然后計(jì)算兩條回答在 policy model 和 reference model 下的對(duì)數(shù)概率帶入 DPO 損失做常規(guī)的反向傳播。整個(gè)過程不采樣、不強(qiáng)化、不更新參考模型思路非常線性。我之前自己復(fù)現(xiàn)這個(gè)流程時(shí)最大的感受是DPO 的代碼框架比 RLHF 簡單太多但數(shù)據(jù)質(zhì)量的影響會(huì)被放大很多。因?yàn)檎麄€(gè)訓(xùn)練信號(hào)完全來自偏好之間的對(duì)比如果偏好數(shù)據(jù)本身標(biāo)注質(zhì)量差或者 chosen 和 rejected 的差異不明顯模型的分布偏移就會(huì)變得很怪。這一點(diǎn)在后面會(huì)詳細(xì)說。2. 核心細(xì)節(jié)解析DPO 損失函數(shù)的數(shù)學(xué)直覺2.1 偏好模型從 Bradley-Terry 說起要理解 DPO 的損失函數(shù)得先理解數(shù)據(jù)是怎么來的。我們搜集人類反饋時(shí)通常會(huì)拿到三元組 $x$提示、$y_w$優(yōu)秀回答、$y_l$較差回答。Bradley-Terry 模型給出了一種建模方式假設(shè)存在一個(gè)底層的獎(jiǎng)勵(lì)函數(shù) $r(x, y)$人類選擇 $y_w$ 而不是 $y_l$ 的概率可以寫成 sigmoid 形式$$P(y_w \succ y_l \mid x) \sigma(r(x, y_w) - r(x, y_l))$$這個(gè)式子很直觀兩條回答的獎(jiǎng)勵(lì)分差越大被偏好的那條勝出的概率越高。傳統(tǒng) RLHF 的做法是先學(xué)一個(gè)參數(shù)化的獎(jiǎng)勵(lì)模型去擬合這個(gè)概率再拿這個(gè)獎(jiǎng)勵(lì)模型去指導(dǎo)策略優(yōu)化。但 DPO 走了一條完全不同的路——它壓根不去顯式學(xué)獎(jiǎng)勵(lì)函數(shù)而是直接把獎(jiǎng)勵(lì)函數(shù)進(jìn)行參數(shù)化替換。突破口在于一個(gè)已經(jīng)證明的結(jié)論在 KL 散度約束下最大化獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)問題有閉式解。最優(yōu)策略 $\pi^*$ 和獎(jiǎng)勵(lì)函數(shù) $r$ 之間存在一一對(duì)應(yīng)關(guān)系獎(jiǎng)勵(lì)可以表示為$$r(x, y) \beta \log \frac{\pi^*(y \mid x)}{\pi_{\mathrm{ref}}(y \mid x)} \beta \log Z(x)$$這里的 $Z(x)$ 是配分函數(shù)$\beta$ 是控制偏離參考模型程度的溫度參數(shù)。DPO 的核心聰明之處就是把上面這個(gè)獎(jiǎng)勵(lì)表達(dá)式直接代回 Bradley-Terry 公式配分函數(shù) $Z(x)$ 會(huì)在分子分母的比較中消掉。最終你得到的損失函數(shù)只和當(dāng)前策略模型、參考模型的概率比有關(guān)完全不需要獎(jiǎng)勵(lì)模型。2.2 隱式獎(jiǎng)勵(lì)與參考模型的角色DPO 里雖然沒有顯式的獎(jiǎng)勵(lì)模型但每個(gè)策略模型其實(shí)都隱含著一個(gè)獎(jiǎng)勵(lì)函數(shù)。你可以把 $\beta \log(\pi(y \mid x) / \pi_{\mathrm{ref}}(y \mid x))$ 看作是當(dāng)前策略相對(duì)于參考模型的“優(yōu)勢分?jǐn)?shù)”。當(dāng)策略模型給某條回答的概率顯著高于參考模型時(shí)就等價(jià)于隱式獎(jiǎng)勵(lì)很大反之則很小。這個(gè)視角解釋了 DPO 為什么能在不建模獎(jiǎng)勵(lì)的情況下對(duì)齊人類偏好。那 reference model 在這里起什么作用它是訓(xùn)練開始之前保存的初始策略副本全程凍結(jié)。它的存在相當(dāng)于一個(gè)“錨點(diǎn)”防止模型在優(yōu)化過程中偏離原始分布太遠(yuǎn)。如果你完全沒有參考模型或者參考模型加載錯(cuò)了優(yōu)化目標(biāo)里就沒有了防止分布漂移的約束模型很快就會(huì)過度優(yōu)化偏好數(shù)據(jù)出現(xiàn)重復(fù)、退化、單一化等問題。我在實(shí)際復(fù)現(xiàn)中曾經(jīng)偷懶跳過參考模型結(jié)果 loss 下降得非常快但生成的文本質(zhì)量一塌糊涂這個(gè)教訓(xùn)后面會(huì)展開講。2.3 損失實(shí)現(xiàn)中的關(guān)鍵參數(shù)DPO 的最終損失函數(shù)寫出來非常簡潔。定義兩個(gè)概率比策略模型下 chosen 與 rejected 的對(duì)數(shù)概率差$\log \pi(y_w|x) - \log \pi(y_l|x)$以及參考模型下的同樣差值。兩者相減得到一個(gè) logits再套一個(gè)負(fù)對(duì)數(shù) sigmoid就是最終的損失$$\mathcal{L}{\mathrm{DPO}} -\log \sigma\left(\beta \left(\log \frac{\pi(y_w|x)}{\pi(y_l|x)} - \log \frac{\pi{\mathrm{ref}}(y_w|x)}{\pi_{\mathrm{ref}}(y_l|x)}\right)\right)$$這個(gè)公式的信息量很大拆開看有三層第一層如果策略模型給 chosen 的概率提升、給 rejected 的概率下降那么兩個(gè)概率差會(huì)變大損失變小第二層參考模型的概率差相當(dāng)于一個(gè)基線如果參考模型本身就已經(jīng)偏向 chosen那么策略模型需要超過這個(gè)基線才會(huì)得到獎(jiǎng)勵(lì)這有效防止了模型把分布偏移到參考模型已經(jīng)偏好過的方向上第三層$\beta$ 參數(shù)控制這個(gè)偏移的懲罰強(qiáng)度。在 Demo 代碼中這個(gè)損失函數(shù)通常只需要五六行即可實(shí)現(xiàn)。如果你看到別人代碼里的損失函數(shù)長得很奇怪多半是對(duì)負(fù)對(duì)數(shù) sigmoid 做了等價(jià)變換比如用 log-sum-exp 來穩(wěn)定計(jì)算核心邏輯都是一樣的。3. 實(shí)操過程與核心實(shí)現(xiàn)逐段解析3.1 數(shù)據(jù)準(zhǔn)備偏好數(shù)據(jù)的組織方式DPO 的數(shù)據(jù)集和 SFT 不太一樣不能簡單搞一個(gè)“輸入-輸出”的映射就完事。每一條訓(xùn)練樣本必須同時(shí)包含三樣?xùn)|西prompt提示、chosen被偏好的回答、rejected被拒絕的回答。很多開源偏好數(shù)據(jù)集的格式就是這樣的三元組你在加載時(shí)需要注意字段名稱不同數(shù)據(jù)集叫法可能不一樣有的叫 accepted/rejected有的叫 chosen/response_chosen 等。在極簡 Demo 里我會(huì)建議先把數(shù)據(jù)組織成一個(gè)列表每個(gè)元素是(prompt, chosen, rejected)的字符串元組然后單獨(dú)寫一個(gè)預(yù)處理函數(shù)把三個(gè)字符串拼接成模型輸入的 token 序列。一個(gè)非常關(guān)鍵的細(xì)節(jié)是chosen 和 rejected 必須使用完全相同的 prompt 前綴并且要分別獨(dú)立拼接不能把兩條回答放進(jìn)同一個(gè)序列否則模型看到 token 順序就會(huì)混亂。def construct_input(prompt, response): # 使用統(tǒng)一的對(duì)話模板拼接 prompt 和 response text template.format(promptprompt, responseresponse) return tokenizer(text, truncationTrue, max_lengthmax_seq_len)很多新手在第一步就踩坑chosen 和 rejected 的序列長度不一致于是在 batch 時(shí)需要 padding。此時(shí)要特別小心padding 的部分絕不能參與 loss 計(jì)算否則模型會(huì)去預(yù)測我們?nèi)藶樘畛涞?token導(dǎo)致概率計(jì)算完全失真。一種做法是把 padding 位置的標(biāo)簽設(shè)為 -100在計(jì)算對(duì)數(shù)概率時(shí)用掩碼排除還有一種做法是構(gòu)造一個(gè)loss_mask只對(duì)回答部分的 token 計(jì)算概率和損失。3.2 模型加載與參考模型凍結(jié)模型加載這塊Demo 里比較標(biāo)準(zhǔn)化的流程是加載一個(gè)預(yù)訓(xùn)練模型作為 policy model再深拷貝一份權(quán)重作為 reference model。我建議用copy.deepcopy(model.state_dict())這種直接復(fù)制狀態(tài)字典的方式然后加載到另一個(gè)模型實(shí)例里而不是在同一個(gè)模型上調(diào)用兩次加載這樣更干凈。policy_model AutoModelForCausalLM.from_pretrained(model_name) ref_model AutoModelForCausalLM.from_pretrained(model_name) # 或者直接把 policy_model 的權(quán)重深拷貝給 ref_model ref_model.load_state_dict(copy.deepcopy(policy_model.state_dict()))reference model 加載完之后立刻設(shè)置requires_grad_(False)把所有參數(shù)凍結(jié)。這一步很容易被忽略但如果不凍結(jié)梯度會(huì)同時(shí)傳到兩個(gè)模型上訓(xùn)練目標(biāo)就完全錯(cuò)亂了。我在代碼里還會(huì)加一句檢查for name, param in ref_model.named_parameters(): assert not param.requires_grad, f{name} 應(yīng)該被凍結(jié)另外有個(gè)小建議如果你的顯存緊張但 GPU 能裝下模型可以把 reference model 和 policy model 放進(jìn)同一個(gè) device兩個(gè)模型的前向計(jì)算交替進(jìn)行不會(huì)占用雙份激活值內(nèi)存因?yàn)?same batch 下兩個(gè)模型是順序執(zhí)行的。3.3 訓(xùn)練循環(huán)與損失計(jì)算的核心實(shí)現(xiàn)下面這段是整篇博文最核心的代碼我會(huì)一段一段拆開說。DPO 的訓(xùn)練循環(huán)本身并不復(fù)雜難點(diǎn)在于怎么把“對(duì)數(shù)概率差”算準(zhǔn)。def compute_logps(model, input_ids, attention_mask, labels): outputs model(input_idsinput_ids, attention_maskattention_mask) logits outputs.logits # [batch, seq_len, vocab_size] log_probs F.log_softmax(logits, dim-1) # 只取每個(gè)位置模型給真實(shí) token 的對(duì)數(shù)概率 per_token_logps torch.gather( log_probs, dim-1, indexlabels.unsqueeze(-1) ).squeeze(-1) # 把 padding 位置排除掉 mask labels ! -100 per_token_logps per_token_logps * mask.float() return per_token_logps.sum(dim-1)這段代碼做了三件事第一拿到模型對(duì)每個(gè)位置、每個(gè)詞表 token 的 logits轉(zhuǎn)成對(duì)數(shù)概率第二通過gather把每個(gè)位置模型給真實(shí) token 的概率撈出來第三將標(biāo)簽為 -100 的位置 mask 掉然后對(duì)序列求和得到整條回答的“總對(duì)數(shù)概率”。這里有個(gè)細(xì)節(jié)值得提醒求和而不是求平均在 DPO 中是故意的。因?yàn)?DPO 的損失計(jì)算的是兩條回答的概率差而概率本質(zhì)上是序列級(jí)聯(lián)合概率的對(duì)數(shù)。如果你求平均短回答和長回答的概率就被歸一化了偏好比較的尺度就失去了意義。實(shí)際操作長回答容易獲得更低的平均 logprob但不是模型生成質(zhì)量差的信號(hào)這只是概率乘法路徑更長導(dǎo)致的。所以 DPO 的原則是對(duì)齊所有 token 的聯(lián)合似然用求和。接下來就是 DPO 損失函數(shù)的核心計(jì)算def dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta0.1): policy_log_ratios policy_chosen_logps - policy_rejected_logps ref_log_ratios ref_chosen_logps - ref_rejected_logps logits policy_log_ratios - ref_log_ratios loss -F.logsigmoid(beta * logits) return loss.mean()你會(huì)發(fā)現(xiàn)這個(gè)實(shí)現(xiàn)總共就四行但每一行都對(duì)應(yīng)一個(gè)重要的概念。第一行計(jì)算策略模型對(duì) chosen 和 rejected 的總對(duì)數(shù)概率差第二行計(jì)算參考模型的同樣差值第三行相減得到“策略相對(duì)于參考模型的偏好程度變化”第四行通過logsigmoid把 logits 壓成損失。訓(xùn)練循環(huán)本身和普通的語言模型微調(diào)沒什么兩樣把一組 batch 的 chosen 和 rejected 輸入分別前向算出四個(gè) logps然后算 loss、反向傳播、更新梯度。有一點(diǎn)我要特別提醒如果顯存允許建議把 chosen 和 rejected 拼成一個(gè) batch 一起前向這樣兩個(gè)序列都能共享一次 batch padding 邏輯但計(jì)算損失時(shí)按照索引切分否則當(dāng) chosen 和 rejected 長度差異大時(shí)batch padding 會(huì)浪費(fèi)大量計(jì)算。3.4 超參數(shù)選擇與訓(xùn)練配置DPO 的超參數(shù)里最值得花心思的是 $\beta$。它的大小直接代表了“允許模型偏離參考模型多遠(yuǎn)”。在 Demo 里我默認(rèn)設(shè)成 0.1這個(gè)值是很多實(shí)驗(yàn)驗(yàn)證過的安全起點(diǎn)但如果你發(fā)現(xiàn)模型生成風(fēng)格變化太快、過擬合嚴(yán)重可以把 $\beta$ 調(diào)大比如 0.5 甚至 1.0如果感覺模型學(xué)得不夠積極、偏好提升慢則可以調(diào)小到 0.05。學(xué)習(xí)率和 batch size 的選擇和 SFT 類似但因?yàn)?DPO 的梯度信號(hào)來自偏好對(duì)比對(duì)數(shù)據(jù)噪聲更敏感一般建議學(xué)習(xí)率不要太大在我的測試?yán)?1e-6 到 2e-5 之間比較穩(wěn)妥LoRA 場景下可以稍微大一點(diǎn)。訓(xùn)練輪數(shù)不宜過多通常 1 到 3 個(gè) epoch 就足夠多了反而容易記憶偏好數(shù)據(jù)中的噪聲。還有一個(gè)常見的訓(xùn)練技巧是加上梯度累積。因?yàn)槠脭?shù)據(jù)構(gòu)造起來成本高通常數(shù)據(jù)量不會(huì)特別大所以小 batch 配合梯度累積既能穩(wěn)定優(yōu)化又能在有限顯存下擴(kuò)大有效 batch。不過要注意DPO 的 loss 是 pairwise 的做梯度累積時(shí)不需要額外處理正常累積即可。4. 常見問題與排查技巧實(shí)錄4.1 loss 一直在下降生成質(zhì)量反而變差這是我復(fù)現(xiàn) DPO 時(shí)遇到的最詭異的狀況訓(xùn)練 loss 曲線很漂亮均勻下降但生成結(jié)果卻越來越重復(fù)、越來越模板化。排查到最后發(fā)現(xiàn)這是因?yàn)槲以跇?gòu)建偏好數(shù)據(jù)時(shí)選了一個(gè) quality gap 很大的數(shù)據(jù)集chosen 和 rejected 的差異太明顯模型一下子就把“答案風(fēng)格”也學(xué)進(jìn)去了。這其實(shí)是過擬合的一種表現(xiàn)通過增大 $\beta$ 或減小訓(xùn)練輪數(shù)可以緩解。我建議你在訓(xùn)練過程中不定期手動(dòng)看一下生成示例不要只盯 loss 曲線。DPO 的 loss 下降本身并不能保證對(duì)齊質(zhì)量提升因?yàn)?loss 衡量的是偏好對(duì)比的滿足程度而不是絕對(duì)生成質(zhì)量。你可以額外記錄一個(gè)“chosen 平均對(duì)數(shù)概率差”的指標(biāo)這個(gè)差值如果一直在增高模型很可能已經(jīng)開始過度優(yōu)化偏好數(shù)據(jù)了。4.2 chosen 和 rejected 長度差異過大這個(gè)問題在真實(shí)數(shù)據(jù)里太常見了。有些標(biāo)注員寫的 rejected 回答只有一句話而 chosen 是很長的段落。求和后 chosen 的總對(duì)數(shù)概率天然比 rejected 更負(fù)因?yàn)殚L序列的 logprob 絕對(duì)值更大但其實(shí)每個(gè) token 的擬合程度可能差不多。這樣模型會(huì)通過“加長輸出”這種偷懶手段來降低 loss而不是真正學(xué)會(huì)回答內(nèi)容的好壞。處理方式有兩個(gè)方向。第一個(gè)方向是過濾數(shù)據(jù)拒絕掉長度差異過大的樣本第二個(gè)方向是在構(gòu)造 loss mask 時(shí)只對(duì)回答部分的 token 計(jì)算概率并且不要讓 loss mask 覆蓋 prompt 部分。如果你確實(shí)想保留這類樣本可以把求和改成按 token 數(shù)量做輕微歸一化但這種情況不太推薦因?yàn)闀?huì)破壞 DPO 的聯(lián)合概率比較邏輯。4.3 訓(xùn)練顯存不足DPO 理論上比 PPO 省顯存因?yàn)樗恍枰~外的值網(wǎng)絡(luò)、不需要存儲(chǔ) rollout 軌跡。但如果你一次性加載 policy model 和 reference model 兩份完整參數(shù)顯存壓力依然存在。在不影響理解核心代碼的前提下有幾個(gè)非常實(shí)用的降顯存手段第一用 LoRA 之類的方式訓(xùn)練參考模型仍然全量加載但 policy model 的可訓(xùn)練參數(shù)極少梯度顯存大幅降低。第二把兩個(gè)模型放進(jìn)同一個(gè) GPU用梯度檢查點(diǎn)gradient checkpointing減少激活值占用。第三如果 reference model 太大可以使用和 policy model 共用底層 transformer、只保存特定層副本的方式這種技巧只適合特殊網(wǎng)絡(luò)結(jié)構(gòu)我這里不多展開。我的經(jīng)驗(yàn)是在 Demo 階段直接用 7B 以下的小模型或者干脆用 1B 左右的模型先跑通邏輯不要一開始就上大規(guī)模模型。DPO 的訓(xùn)練思路在大模型和小模型上是完全一致的把 Demo 跑通了再遷移到大模型你會(huì)輕松很多。4.4 推理時(shí)出現(xiàn)重復(fù)與退化訓(xùn)練完的模型做推理時(shí)如果發(fā)現(xiàn)輸出和參考模型幾乎沒差別那通常是訓(xùn)練不充分、$\beta$ 太大或者學(xué)習(xí)率太小。反之如果輸出變得奇怪、語法錯(cuò)誤、重復(fù)嚴(yán)重多半是過擬合偏好數(shù)據(jù)了也就是前面說的 loss 雖然降了但分布崩了。退化問題在 DPO 里比 SFT 更容易出現(xiàn)因?yàn)橛?xùn)練目標(biāo)只對(duì)比相對(duì)偏好沒有絕對(duì)質(zhì)量約束參考模型的錨定作用一旦被削弱模型就會(huì)往 score 高的方向狂奔。一個(gè)很有效的補(bǔ)救措施是保存訓(xùn)練過程中多個(gè) checkpoint每個(gè) checkpoint 都用固定的測試 prompt 寫幾段生成樣本人工比較之后再?zèng)Q定選取哪一個(gè)。不要只看驗(yàn)證集上的 loss因?yàn)轵?yàn)證集的構(gòu)建方式和訓(xùn)練集幾乎一樣模型很容易在偏好對(duì)比上作弊。5. 實(shí)操心得與后續(xù)擴(kuò)展方向我在實(shí)際把 DPO 從 Demo 擴(kuò)展到完整項(xiàng)目時(shí)有幾個(gè)很深的體會(huì)。首先是“參考模型就是隱式的約束器”這句話只有真正下場調(diào)過參才會(huì)有感覺——$\beta$ 和參考模型對(duì)結(jié)果的影響比學(xué)習(xí)率還大。其次是數(shù)據(jù)質(zhì)量再怎么強(qiáng)調(diào)都不過分DPO 把訓(xùn)練信號(hào)全部壓縮到了一條偏好對(duì)的對(duì)比里如果這條對(duì)比本身是錯(cuò)或者模糊的整個(gè)模型就是在朝一個(gè)錯(cuò)誤的方向移動(dòng)而且因?yàn)橛?xùn)練簡單這個(gè)錯(cuò)誤方向會(huì)很快被放大。所以在做過一輪完整實(shí)驗(yàn)后我又回頭花了大量時(shí)間清洗偏好數(shù)據(jù)效果比調(diào)參明顯得多。講到這里如果你已經(jīng)理解了那份極簡教學(xué) Demo 的代碼結(jié)構(gòu)可以繼續(xù)往這幾個(gè)方向擴(kuò)展把單輪偏好數(shù)據(jù)換成對(duì)話級(jí)別的多輪偏好數(shù)據(jù)把標(biāo)準(zhǔn) DPO 換成帶長度懲罰或 token 級(jí)加權(quán)的變體再加上 LoRA 和 4bit 量化做高效微調(diào)。這些擴(kuò)展本質(zhì)上都是在不改變核心損失函數(shù)的前提下對(duì)數(shù)據(jù) shape 和訓(xùn)練策略做調(diào)整。我自己跑過一圈后最深的建議是動(dòng)手前先把這個(gè)最小 Demo 從頭到尾寫一遍不用任何封裝庫你會(huì)發(fā)現(xiàn) DPO 的神秘感瞬間消失了。 DPO直接偏好優(yōu)化：原理、損失函數(shù)與極簡實(shí)現(xiàn)
DPO 這個(gè)名字最近兩年在模型對(duì)齊方向火得不行做 LLM 微調(diào)的人多少都會(huì)碰到。如果你已經(jīng)跑通了監(jiān)督微調(diào)開始接觸 RLHF、人類偏好對(duì)齊這些東西那 DPODirect Preference Optimization直接偏好優(yōu)化幾乎就是繞不開的一道坎。它的核心賣點(diǎn)非常直接不需要訓(xùn)練獎(jiǎng)勵(lì)模型不需要復(fù)雜的強(qiáng)化學(xué)習(xí)采樣循環(huán)只用一條偏好數(shù)據(jù)對(duì)就能把模型對(duì)齊到人類偏好上。我最初看到這個(gè)思路也覺得有點(diǎn)反直覺——不建獎(jiǎng)勵(lì)模型怎么優(yōu)化但當(dāng)你真正把代碼跑起來把損失函數(shù)拆開看一遍就會(huì)發(fā)現(xiàn)它的設(shè)計(jì)其實(shí)非常干凈。這篇博文不會(huì)去講太多學(xué)術(shù)公式推導(dǎo)而是從一份極簡教學(xué) Demo 的角度把 DPO 從原理到代碼實(shí)現(xiàn)完整捋一遍。適合兩類人一是剛了解 RLHF、想知道 DPO 到底在做什么的入門者二是已經(jīng)能跑通 SFT但對(duì)著 DPO 訓(xùn)練腳本不知道怎么改、踩了不少坑的實(shí)踐者。我會(huì)把 Demo 里每一段關(guān)鍵代碼的意圖、損失函數(shù)為什么長這樣、超參數(shù)怎么選連同我在實(shí)際訓(xùn)練中遇到的典型問題全部寫出來希望能幫你少走一些彎路。1. 整體設(shè)計(jì)思路DPO 為什么值得上手1.1 傳統(tǒng) RLHF 的復(fù)雜鏈路與 DPO 的化繁為簡在聊 DPO 的代碼之前得先搞清楚它到底解決了什么問題。傳統(tǒng)的 RLHF 鏈路是四步走先拿人類偏好數(shù)據(jù)訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型再凍結(jié)基座模型、加載一個(gè)待優(yōu)化的策略模型然后用強(qiáng)化學(xué)習(xí)算法最常見的是 PPO去讓策略模型在獎(jiǎng)勵(lì)模型的打分下不斷提升。這個(gè)鏈路有兩個(gè)難點(diǎn)讓人很頭疼第一獎(jiǎng)勵(lì)模型本身要單獨(dú)訓(xùn)練、單獨(dú)調(diào)參它的質(zhì)量直接決定后續(xù)強(qiáng)化學(xué)習(xí)的上限第二PPO 的在線采樣、優(yōu)勢估計(jì)、價(jià)值網(wǎng)絡(luò)這些組件非常重訓(xùn)練不穩(wěn)定是常態(tài)動(dòng)不動(dòng)就崩連很多做過多年 RL 的人都覺得麻煩。DPO 的核心洞察在于它把“獎(jiǎng)勵(lì)模型”和“策略優(yōu)化”這兩件事合并了。具體來說DPO 利用了一個(gè)數(shù)學(xué)上的等價(jià)關(guān)系——在 KL 約束下最優(yōu)策略和獎(jiǎng)勵(lì)函數(shù)之間可以互相轉(zhuǎn)換。也就是說我們可以不顯式訓(xùn)練獎(jiǎng)勵(lì)模型而是直接把這個(gè)最優(yōu)策略下的隱式獎(jiǎng)勵(lì)表達(dá)式代入 Bradley-Terry 偏好模型中最終得到一個(gè)只依賴策略模型和參考模型的簡單損失函數(shù)。這個(gè)損失用一行代碼就能寫完訓(xùn)練過程和普通的交叉熵微調(diào)幾乎一樣簡單。這也是為什么 DPO 發(fā)布之后很快就被大量采用——性能上能對(duì)標(biāo)甚至超過傳統(tǒng) RLHF但工程復(fù)雜度低了一個(gè)量級(jí)。1.2 Demo 代碼的定位教學(xué)優(yōu)先于性能我們這份極簡教學(xué) Demo目標(biāo)不是刷排行榜而是把 DPO 的核心機(jī)制完整跑通。所以它的設(shè)計(jì)會(huì)有幾個(gè)明確取舍不使用分布式訓(xùn)練不使用大模型甚至連 LoRA 我都不打算直接套現(xiàn)成的訓(xùn)練庫而是用最原始的 PyTorch 代碼把訓(xùn)練循環(huán)寫出來。這樣做有好處你能看到每一個(gè)張量的形狀、每一步梯度是怎么回傳的、損失函數(shù)里每一項(xiàng)在算什么。當(dāng)你真正理解了這個(gè)最簡版本再去上 Hugging Face 的 TRL 庫或者使用各種大模型訓(xùn)練框架就只是換個(gè) API 的問題底層思想是一樣的。Demo 的完整流程大概是這樣準(zhǔn)備一組偏好數(shù)據(jù)每條數(shù)據(jù)包含一個(gè)問題、一個(gè)被偏好的回答 chosen、一個(gè)不被偏好的回答 rejected加載一個(gè)預(yù)訓(xùn)練模型作為 policy model同時(shí)復(fù)制一份凍結(jié)參數(shù)作為 reference model然后計(jì)算兩條回答在 policy model 和 reference model 下的對(duì)數(shù)概率帶入 DPO 損失做常規(guī)的反向傳播。整個(gè)過程不采樣、不強(qiáng)化、不更新參考模型思路非常線性。我之前自己復(fù)現(xiàn)這個(gè)流程時(shí)最大的感受是DPO 的代碼框架比 RLHF 簡單太多但數(shù)據(jù)質(zhì)量的影響會(huì)被放大很多。因?yàn)檎麄€(gè)訓(xùn)練信號(hào)完全來自偏好之間的對(duì)比如果偏好數(shù)據(jù)本身標(biāo)注質(zhì)量差或者 chosen 和 rejected 的差異不明顯模型的分布偏移就會(huì)變得很怪。這一點(diǎn)在后面會(huì)詳細(xì)說。2. 核心細(xì)節(jié)解析DPO 損失函數(shù)的數(shù)學(xué)直覺2.1 偏好模型從 Bradley-Terry 說起要理解 DPO 的損失函數(shù)得先理解數(shù)據(jù)是怎么來的。我們搜集人類反饋時(shí)通常會(huì)拿到三元組 $x$提示、$y_w$優(yōu)秀回答、$y_l$較差回答。Bradley-Terry 模型給出了一種建模方式假設(shè)存在一個(gè)底層的獎(jiǎng)勵(lì)函數(shù) $r(x, y)$人類選擇 $y_w$ 而不是 $y_l$ 的概率可以寫成 sigmoid 形式$$P(y_w \succ y_l \mid x) \sigma(r(x, y_w) - r(x, y_l))$$這個(gè)式子很直觀兩條回答的獎(jiǎng)勵(lì)分差越大被偏好的那條勝出的概率越高。傳統(tǒng) RLHF 的做法是先學(xué)一個(gè)參數(shù)化的獎(jiǎng)勵(lì)模型去擬合這個(gè)概率再拿這個(gè)獎(jiǎng)勵(lì)模型去指導(dǎo)策略優(yōu)化。但 DPO 走了一條完全不同的路——它壓根不去顯式學(xué)獎(jiǎng)勵(lì)函數(shù)而是直接把獎(jiǎng)勵(lì)函數(shù)進(jìn)行參數(shù)化替換。突破口在于一個(gè)已經(jīng)證明的結(jié)論在 KL 散度約束下最大化獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)問題有閉式解。最優(yōu)策略 $\pi^*$ 和獎(jiǎng)勵(lì)函數(shù) $r$ 之間存在一一對(duì)應(yīng)關(guān)系獎(jiǎng)勵(lì)可以表示為$$r(x, y) \beta \log \frac{\pi^*(y \mid x)}{\pi_{\mathrm{ref}}(y \mid x)} \beta \log Z(x)$$這里的 $Z(x)$ 是配分函數(shù)$\beta$ 是控制偏離參考模型程度的溫度參數(shù)。DPO 的核心聰明之處就是把上面這個(gè)獎(jiǎng)勵(lì)表達(dá)式直接代回 Bradley-Terry 公式配分函數(shù) $Z(x)$ 會(huì)在分子分母的比較中消掉。最終你得到的損失函數(shù)只和當(dāng)前策略模型、參考模型的概率比有關(guān)完全不需要獎(jiǎng)勵(lì)模型。2.2 隱式獎(jiǎng)勵(lì)與參考模型的角色DPO 里雖然沒有顯式的獎(jiǎng)勵(lì)模型但每個(gè)策略模型其實(shí)都隱含著一個(gè)獎(jiǎng)勵(lì)函數(shù)。你可以把 $\beta \log(\pi(y \mid x) / \pi_{\mathrm{ref}}(y \mid x))$ 看作是當(dāng)前策略相對(duì)于參考模型的“優(yōu)勢分?jǐn)?shù)”。當(dāng)策略模型給某條回答的概率顯著高于參考模型時(shí)就等價(jià)于隱式獎(jiǎng)勵(lì)很大反之則很小。這個(gè)視角解釋了 DPO 為什么能在不建模獎(jiǎng)勵(lì)的情況下對(duì)齊人類偏好。那 reference model 在這里起什么作用它是訓(xùn)練開始之前保存的初始策略副本全程凍結(jié)。它的存在相當(dāng)于一個(gè)“錨點(diǎn)”防止模型在優(yōu)化過程中偏離原始分布太遠(yuǎn)。如果你完全沒有參考模型或者參考模型加載錯(cuò)了優(yōu)化目標(biāo)里就沒有了防止分布漂移的約束模型很快就會(huì)過度優(yōu)化偏好數(shù)據(jù)出現(xiàn)重復(fù)、退化、單一化等問題。我在實(shí)際復(fù)現(xiàn)中曾經(jīng)偷懶跳過參考模型結(jié)果 loss 下降得非常快但生成的文本質(zhì)量一塌糊涂這個(gè)教訓(xùn)后面會(huì)展開講。2.3 損失實(shí)現(xiàn)中的關(guān)鍵參數(shù)DPO 的最終損失函數(shù)寫出來非常簡潔。定義兩個(gè)概率比策略模型下 chosen 與 rejected 的對(duì)數(shù)概率差$\log \pi(y_w|x) - \log \pi(y_l|x)$以及參考模型下的同樣差值。兩者相減得到一個(gè) logits再套一個(gè)負(fù)對(duì)數(shù) sigmoid就是最終的損失$$\mathcal{L}{\mathrm{DPO}} -\log \sigma\left(\beta \left(\log \frac{\pi(y_w|x)}{\pi(y_l|x)} - \log \frac{\pi{\mathrm{ref}}(y_w|x)}{\pi_{\mathrm{ref}}(y_l|x)}\right)\right)$$這個(gè)公式的信息量很大拆開看有三層第一層如果策略模型給 chosen 的概率提升、給 rejected 的概率下降那么兩個(gè)概率差會(huì)變大損失變小第二層參考模型的概率差相當(dāng)于一個(gè)基線如果參考模型本身就已經(jīng)偏向 chosen那么策略模型需要超過這個(gè)基線才會(huì)得到獎(jiǎng)勵(lì)這有效防止了模型把分布偏移到參考模型已經(jīng)偏好過的方向上第三層$\beta$ 參數(shù)控制這個(gè)偏移的懲罰強(qiáng)度。在 Demo 代碼中這個(gè)損失函數(shù)通常只需要五六行即可實(shí)現(xiàn)。如果你看到別人代碼里的損失函數(shù)長得很奇怪多半是對(duì)負(fù)對(duì)數(shù) sigmoid 做了等價(jià)變換比如用 log-sum-exp 來穩(wěn)定計(jì)算核心邏輯都是一樣的。3. 實(shí)操過程與核心實(shí)現(xiàn)逐段解析3.1 數(shù)據(jù)準(zhǔn)備偏好數(shù)據(jù)的組織方式DPO 的數(shù)據(jù)集和 SFT 不太一樣不能簡單搞一個(gè)“輸入-輸出”的映射就完事。每一條訓(xùn)練樣本必須同時(shí)包含三樣?xùn)|西prompt提示、chosen被偏好的回答、rejected被拒絕的回答。很多開源偏好數(shù)據(jù)集的格式就是這樣的三元組你在加載時(shí)需要注意字段名稱不同數(shù)據(jù)集叫法可能不一樣有的叫 accepted/rejected有的叫 chosen/response_chosen 等。在極簡 Demo 里我會(huì)建議先把數(shù)據(jù)組織成一個(gè)列表每個(gè)元素是(prompt, chosen, rejected)的字符串元組然后單獨(dú)寫一個(gè)預(yù)處理函數(shù)把三個(gè)字符串拼接成模型輸入的 token 序列。一個(gè)非常關(guān)鍵的細(xì)節(jié)是chosen 和 rejected 必須使用完全相同的 prompt 前綴并且要分別獨(dú)立拼接不能把兩條回答放進(jìn)同一個(gè)序列否則模型看到 token 順序就會(huì)混亂。def construct_input(prompt, response): # 使用統(tǒng)一的對(duì)話模板拼接 prompt 和 response text template.format(promptprompt, responseresponse) return tokenizer(text, truncationTrue, max_lengthmax_seq_len)很多新手在第一步就踩坑chosen 和 rejected 的序列長度不一致于是在 batch 時(shí)需要 padding。此時(shí)要特別小心padding 的部分絕不能參與 loss 計(jì)算否則模型會(huì)去預(yù)測我們?nèi)藶樘畛涞?token導(dǎo)致概率計(jì)算完全失真。一種做法是把 padding 位置的標(biāo)簽設(shè)為 -100在計(jì)算對(duì)數(shù)概率時(shí)用掩碼排除還有一種做法是構(gòu)造一個(gè)loss_mask只對(duì)回答部分的 token 計(jì)算概率和損失。3.2 模型加載與參考模型凍結(jié)模型加載這塊Demo 里比較標(biāo)準(zhǔn)化的流程是加載一個(gè)預(yù)訓(xùn)練模型作為 policy model再深拷貝一份權(quán)重作為 reference model。我建議用copy.deepcopy(model.state_dict())這種直接復(fù)制狀態(tài)字典的方式然后加載到另一個(gè)模型實(shí)例里而不是在同一個(gè)模型上調(diào)用兩次加載這樣更干凈。policy_model AutoModelForCausalLM.from_pretrained(model_name) ref_model AutoModelForCausalLM.from_pretrained(model_name) # 或者直接把 policy_model 的權(quán)重深拷貝給 ref_model ref_model.load_state_dict(copy.deepcopy(policy_model.state_dict()))reference model 加載完之后立刻設(shè)置requires_grad_(False)把所有參數(shù)凍結(jié)。這一步很容易被忽略但如果不凍結(jié)梯度會(huì)同時(shí)傳到兩個(gè)模型上訓(xùn)練目標(biāo)就完全錯(cuò)亂了。我在代碼里還會(huì)加一句檢查for name, param in ref_model.named_parameters(): assert not param.requires_grad, f{name} 應(yīng)該被凍結(jié)另外有個(gè)小建議如果你的顯存緊張但 GPU 能裝下模型可以把 reference model 和 policy model 放進(jìn)同一個(gè) device兩個(gè)模型的前向計(jì)算交替進(jìn)行不會(huì)占用雙份激活值內(nèi)存因?yàn)?same batch 下兩個(gè)模型是順序執(zhí)行的。3.3 訓(xùn)練循環(huán)與損失計(jì)算的核心實(shí)現(xiàn)下面這段是整篇博文最核心的代碼我會(huì)一段一段拆開說。DPO 的訓(xùn)練循環(huán)本身并不復(fù)雜難點(diǎn)在于怎么把“對(duì)數(shù)概率差”算準(zhǔn)。def compute_logps(model, input_ids, attention_mask, labels): outputs model(input_idsinput_ids, attention_maskattention_mask) logits outputs.logits # [batch, seq_len, vocab_size] log_probs F.log_softmax(logits, dim-1) # 只取每個(gè)位置模型給真實(shí) token 的對(duì)數(shù)概率 per_token_logps torch.gather( log_probs, dim-1, indexlabels.unsqueeze(-1) ).squeeze(-1) # 把 padding 位置排除掉 mask labels ! -100 per_token_logps per_token_logps * mask.float() return per_token_logps.sum(dim-1)這段代碼做了三件事第一拿到模型對(duì)每個(gè)位置、每個(gè)詞表 token 的 logits轉(zhuǎn)成對(duì)數(shù)概率第二通過gather把每個(gè)位置模型給真實(shí) token 的概率撈出來第三將標(biāo)簽為 -100 的位置 mask 掉然后對(duì)序列求和得到整條回答的“總對(duì)數(shù)概率”。這里有個(gè)細(xì)節(jié)值得提醒求和而不是求平均在 DPO 中是故意的。因?yàn)?DPO 的損失計(jì)算的是兩條回答的概率差而概率本質(zhì)上是序列級(jí)聯(lián)合概率的對(duì)數(shù)。如果你求平均短回答和長回答的概率就被歸一化了偏好比較的尺度就失去了意義。實(shí)際操作長回答容易獲得更低的平均 logprob但不是模型生成質(zhì)量差的信號(hào)這只是概率乘法路徑更長導(dǎo)致的。所以 DPO 的原則是對(duì)齊所有 token 的聯(lián)合似然用求和。接下來就是 DPO 損失函數(shù)的核心計(jì)算def dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta0.1): policy_log_ratios policy_chosen_logps - policy_rejected_logps ref_log_ratios ref_chosen_logps - ref_rejected_logps logits policy_log_ratios - ref_log_ratios loss -F.logsigmoid(beta * logits) return loss.mean()你會(huì)發(fā)現(xiàn)這個(gè)實(shí)現(xiàn)總共就四行但每一行都對(duì)應(yīng)一個(gè)重要的概念。第一行計(jì)算策略模型對(duì) chosen 和 rejected 的總對(duì)數(shù)概率差第二行計(jì)算參考模型的同樣差值第三行相減得到“策略相對(duì)于參考模型的偏好程度變化”第四行通過logsigmoid把 logits 壓成損失。訓(xùn)練循環(huán)本身和普通的語言模型微調(diào)沒什么兩樣把一組 batch 的 chosen 和 rejected 輸入分別前向算出四個(gè) logps然后算 loss、反向傳播、更新梯度。有一點(diǎn)我要特別提醒如果顯存允許建議把 chosen 和 rejected 拼成一個(gè) batch 一起前向這樣兩個(gè)序列都能共享一次 batch padding 邏輯但計(jì)算損失時(shí)按照索引切分否則當(dāng) chosen 和 rejected 長度差異大時(shí)batch padding 會(huì)浪費(fèi)大量計(jì)算。3.4 超參數(shù)選擇與訓(xùn)練配置DPO 的超參數(shù)里最值得花心思的是 $\beta$。它的大小直接代表了“允許模型偏離參考模型多遠(yuǎn)”。在 Demo 里我默認(rèn)設(shè)成 0.1這個(gè)值是很多實(shí)驗(yàn)驗(yàn)證過的安全起點(diǎn)但如果你發(fā)現(xiàn)模型生成風(fēng)格變化太快、過擬合嚴(yán)重可以把 $\beta$ 調(diào)大比如 0.5 甚至 1.0如果感覺模型學(xué)得不夠積極、偏好提升慢則可以調(diào)小到 0.05。學(xué)習(xí)率和 batch size 的選擇和 SFT 類似但因?yàn)?DPO 的梯度信號(hào)來自偏好對(duì)比對(duì)數(shù)據(jù)噪聲更敏感一般建議學(xué)習(xí)率不要太大在我的測試?yán)?1e-6 到 2e-5 之間比較穩(wěn)妥LoRA 場景下可以稍微大一點(diǎn)。訓(xùn)練輪數(shù)不宜過多通常 1 到 3 個(gè) epoch 就足夠多了反而容易記憶偏好數(shù)據(jù)中的噪聲。還有一個(gè)常見的訓(xùn)練技巧是加上梯度累積。因?yàn)槠脭?shù)據(jù)構(gòu)造起來成本高通常數(shù)據(jù)量不會(huì)特別大所以小 batch 配合梯度累積既能穩(wěn)定優(yōu)化又能在有限顯存下擴(kuò)大有效 batch。不過要注意DPO 的 loss 是 pairwise 的做梯度累積時(shí)不需要額外處理正常累積即可。4. 常見問題與排查技巧實(shí)錄4.1 loss 一直在下降生成質(zhì)量反而變差這是我復(fù)現(xiàn) DPO 時(shí)遇到的最詭異的狀況訓(xùn)練 loss 曲線很漂亮均勻下降但生成結(jié)果卻越來越重復(fù)、越來越模板化。排查到最后發(fā)現(xiàn)這是因?yàn)槲以跇?gòu)建偏好數(shù)據(jù)時(shí)選了一個(gè) quality gap 很大的數(shù)據(jù)集chosen 和 rejected 的差異太明顯模型一下子就把“答案風(fēng)格”也學(xué)進(jìn)去了。這其實(shí)是過擬合的一種表現(xiàn)通過增大 $\beta$ 或減小訓(xùn)練輪數(shù)可以緩解。我建議你在訓(xùn)練過程中不定期手動(dòng)看一下生成示例不要只盯 loss 曲線。DPO 的 loss 下降本身并不能保證對(duì)齊質(zhì)量提升因?yàn)?loss 衡量的是偏好對(duì)比的滿足程度而不是絕對(duì)生成質(zhì)量。你可以額外記錄一個(gè)“chosen 平均對(duì)數(shù)概率差”的指標(biāo)這個(gè)差值如果一直在增高模型很可能已經(jīng)開始過度優(yōu)化偏好數(shù)據(jù)了。4.2 chosen 和 rejected 長度差異過大這個(gè)問題在真實(shí)數(shù)據(jù)里太常見了。有些標(biāo)注員寫的 rejected 回答只有一句話而 chosen 是很長的段落。求和后 chosen 的總對(duì)數(shù)概率天然比 rejected 更負(fù)因?yàn)殚L序列的 logprob 絕對(duì)值更大但其實(shí)每個(gè) token 的擬合程度可能差不多。這樣模型會(huì)通過“加長輸出”這種偷懶手段來降低 loss而不是真正學(xué)會(huì)回答內(nèi)容的好壞。處理方式有兩個(gè)方向。第一個(gè)方向是過濾數(shù)據(jù)拒絕掉長度差異過大的樣本第二個(gè)方向是在構(gòu)造 loss mask 時(shí)只對(duì)回答部分的 token 計(jì)算概率并且不要讓 loss mask 覆蓋 prompt 部分。如果你確實(shí)想保留這類樣本可以把求和改成按 token 數(shù)量做輕微歸一化但這種情況不太推薦因?yàn)闀?huì)破壞 DPO 的聯(lián)合概率比較邏輯。4.3 訓(xùn)練顯存不足DPO 理論上比 PPO 省顯存因?yàn)樗恍枰~外的值網(wǎng)絡(luò)、不需要存儲(chǔ) rollout 軌跡。但如果你一次性加載 policy model 和 reference model 兩份完整參數(shù)顯存壓力依然存在。在不影響理解核心代碼的前提下有幾個(gè)非常實(shí)用的降顯存手段第一用 LoRA 之類的方式訓(xùn)練參考模型仍然全量加載但 policy model 的可訓(xùn)練參數(shù)極少梯度顯存大幅降低。第二把兩個(gè)模型放進(jìn)同一個(gè) GPU用梯度檢查點(diǎn)gradient checkpointing減少激活值占用。第三如果 reference model 太大可以使用和 policy model 共用底層 transformer、只保存特定層副本的方式這種技巧只適合特殊網(wǎng)絡(luò)結(jié)構(gòu)我這里不多展開。我的經(jīng)驗(yàn)是在 Demo 階段直接用 7B 以下的小模型或者干脆用 1B 左右的模型先跑通邏輯不要一開始就上大規(guī)模模型。DPO 的訓(xùn)練思路在大模型和小模型上是完全一致的把 Demo 跑通了再遷移到大模型你會(huì)輕松很多。4.4 推理時(shí)出現(xiàn)重復(fù)與退化訓(xùn)練完的模型做推理時(shí)如果發(fā)現(xiàn)輸出和參考模型幾乎沒差別那通常是訓(xùn)練不充分、$\beta$ 太大或者學(xué)習(xí)率太小。反之如果輸出變得奇怪、語法錯(cuò)誤、重復(fù)嚴(yán)重多半是過擬合偏好數(shù)據(jù)了也就是前面說的 loss 雖然降了但分布崩了。退化問題在 DPO 里比 SFT 更容易出現(xiàn)因?yàn)橛?xùn)練目標(biāo)只對(duì)比相對(duì)偏好沒有絕對(duì)質(zhì)量約束參考模型的錨定作用一旦被削弱模型就會(huì)往 score 高的方向狂奔。一個(gè)很有效的補(bǔ)救措施是保存訓(xùn)練過程中多個(gè) checkpoint每個(gè) checkpoint 都用固定的測試 prompt 寫幾段生成樣本人工比較之后再?zèng)Q定選取哪一個(gè)。不要只看驗(yàn)證集上的 loss因?yàn)轵?yàn)證集的構(gòu)建方式和訓(xùn)練集幾乎一樣模型很容易在偏好對(duì)比上作弊。5. 實(shí)操心得與后續(xù)擴(kuò)展方向我在實(shí)際把 DPO 從 Demo 擴(kuò)展到完整項(xiàng)目時(shí)有幾個(gè)很深的體會(huì)。首先是“參考模型就是隱式的約束器”這句話只有真正下場調(diào)過參才會(huì)有感覺——$\beta$ 和參考模型對(duì)結(jié)果的影響比學(xué)習(xí)率還大。其次是數(shù)據(jù)質(zhì)量再怎么強(qiáng)調(diào)都不過分DPO 把訓(xùn)練信號(hào)全部壓縮到了一條偏好對(duì)的對(duì)比里如果這條對(duì)比本身是錯(cuò)或者模糊的整個(gè)模型就是在朝一個(gè)錯(cuò)誤的方向移動(dòng)而且因?yàn)橛?xùn)練簡單這個(gè)錯(cuò)誤方向會(huì)很快被放大。所以在做過一輪完整實(shí)驗(yàn)后我又回頭花了大量時(shí)間清洗偏好數(shù)據(jù)效果比調(diào)參明顯得多。講到這里如果你已經(jīng)理解了那份極簡教學(xué) Demo 的代碼結(jié)構(gòu)可以繼續(xù)往這幾個(gè)方向擴(kuò)展把單輪偏好數(shù)據(jù)換成對(duì)話級(jí)別的多輪偏好數(shù)據(jù)把標(biāo)準(zhǔn) DPO 換成帶長度懲罰或 token 級(jí)加權(quán)的變體再加上 LoRA 和 4bit 量化做高效微調(diào)。這些擴(kuò)展本質(zhì)上都是在不改變核心損失函數(shù)的前提下對(duì)數(shù)據(jù) shape 和訓(xùn)練策略做調(diào)整。我自己跑過一圈后最深的建議是動(dòng)手前先把這個(gè)最小 Demo 從頭到尾寫一遍不用任何封裝庫你會(huì)發(fā)現(xiàn) DPO 的神秘感瞬間消失了。