### 一、文章主要內(nèi)容總結(jié)本文提出了首個基于統(tǒng)一多模態(tài)思維鏈（CoT）的獎勵模型UNIFIEDREWARD-THINK，旨在通過顯式長鏈推理提升多模態(tài)獎勵模型的可靠性和魯棒性。核心方法分為三個訓(xùn)練階段：1. **冷啟動階段**：使用少量圖像生成偏好數(shù)據(jù)蒸餾GPT-4o的推理過程，使模型學(xué)習(xí)CoT推理的格式和結(jié)構(gòu)。2. **拒絕采樣階段**：利用大規(guī)模統(tǒng)一多模態(tài)偏好數(shù)據(jù)激發(fā)模型在各類視覺任務(wù)中的推理能力，保留正確推理樣本以強(qiáng)化準(zhǔn)確模式。3. **組相對策略優(yōu)化（GRPO）階段**：對錯誤預(yù)測樣本進(jìn)行基于GRPO的強(qiáng)化微調(diào)，推動模型探索多樣化推理路徑，優(yōu)化推理準(zhǔn)確性。實驗表明，引入長CoT推理顯著提升了獎勵信號的準(zhǔn)確性，且模型在掌握CoT后即使無需顯式推理痕跡，也能通過隱式推理超越現(xiàn)有基線。### 二、文章創(chuàng)新點1. **首個統(tǒng)一多模態(tài)CoT獎勵模型**：實現(xiàn)了視覺理解與生成任務(wù)的多維度、分步長鏈推理，突破了傳統(tǒng)獎勵模型僅提供直接響應(yīng)或淺層推理的局限。2. **三階段強(qiáng)化微調(diào)框架**：結(jié)合冷啟動蒸餾、拒絕采樣和GRPO，有效激活模型的潛在推理能力，解決了CoT獎勵數(shù)據(jù)稀缺的問題。3. **顯式與隱式推理結(jié)合**：證明顯式CoT推理可增強(qiáng)模型可靠性，且模型在內(nèi)部化推理能力后，隱式推理仍能提升獎勵信號準(zhǔn)確性，無需額外推理痕跡。### 三、Abstract翻譯近期，多模態(tài)獎勵模型（RMs）在提供獎勵信號以對齊視覺模型與人類偏好方面展現(xiàn)出顯著潛力。然而，當(dāng)前RMs通常局限于提供直接響應(yīng)或進(jìn)行深度有限的淺層推理，常導(dǎo)致獎勵信號不準(zhǔn)確。我們認(rèn)為，將顯式長思維鏈（CoT）納入獎勵推理過程可顯著增強(qiáng)其可靠性和魯棒性。此外，我們相信一旦RMs內(nèi)化CoT推理能力，其直接響應(yīng)