自我蒸餾究竟讓模型學(xué)到了什么一篇新論文對推理進步證據(jù)的重新審查**原論文**Does self-distillation improve reasoning?**選文與版本**2026 年 10 月 14 日 arXiv cs.LG 最新列表選文10 月 15 日完成解讀依據(jù) 2610.18613v1。**閱讀范圍**正文、理論證明、完整實驗表、訓(xùn)練參數(shù)和梯度測量附錄并核對所討論 SDPO / OPSD 原始研究的公開主張。實驗數(shù)字為作者報告未獨立復(fù)現(xiàn)。摘要自我蒸餾的吸引力在于同一個模型在獲得正確答案、參考解法或環(huán)境反饋后可能成為“更好的自己”再通過稠密的 token 級監(jiān)督教會沒有這些信息的學(xué)生模型。但這個故事包含幾個需要分別驗證的環(huán)節(jié)獲得更多信息是否真的產(chǎn)生更好的教師學(xué)生的提升是否來自這些信息提升能否遷移到新問題收益是否只是由更長的思考過程換來。這篇論文圍繞 SDPO 和 OPSD 進行復(fù)現(xiàn)與機制拆解。它發(fā)現(xiàn)所測 SDPO 在代碼任務(wù)上的改善主要停留在訓(xùn)練題目部分科學(xué)領(lǐng)域訓(xùn)練伴隨跨領(lǐng)域退化OPSD 的數(shù)學(xué)收益則更符合思考模式遷移而不依賴正確參考解法的內(nèi)容。梯度分析進一步顯示低方差的蒸餾信號不一定指向未見問題上的獎勵改善。我的判斷這篇論文最重要的貢獻是把“模型分?jǐn)?shù)提高”與“特權(quán)信息有效轉(zhuǎn)化為可泛化能力”分開驗證。它對兩種具體方法給出了有力質(zhì)疑但沒有證明自我蒸餾普遍無效也沒有證明強化學(xué)習(xí)在任何預(yù)算下都更優(yōu)。1. 論文檔案與閱讀立場項目信息標(biāo)題Does self-distillation improve reasoning?作者Jason Ken Adhinarta、Raina Wu、Ashutosh Sharma、Avinash Balakrishnan、Rameswar Panda、Polina Golland、Yoon Kim、Zhang-Wei HongarXiv2610.18613v1首次提交2026-10-13 15:59:36 UTC北京時間 10 月 13 日 23:59:36篇幅作者標(biāo)注 33 頁、11 圖、24 表模型范圍Qwen3 1.7B–14B以及 OLMo-3-7B 系列核心對象SDPO、OPSD代碼、科學(xué)問答、工具使用和數(shù)學(xué)任務(wù)代碼sleepypandu/does-sd-improve-reasoning狀態(tài)arXiv 預(yù)印本本文不預(yù)設(shè)其已完成同行評議這是一篇以機制識別和評測審查為主的算法研究不是推出新訓(xùn)練算法的論文。評價它應(yīng)看它能否排除已有解釋的替代原因而不只看是否刷出最高分。2. 為什么“同一個模型教自己”看起來合理設(shè)學(xué)生僅看到問題x xx教師還看到訓(xùn)練時可用、部署時不可用的信息z zz。它們分別給出p S ( ? ∣ x , y t ) , p T ( ? ∣ x , z , y t ) . p_S(\cdot\mid x,y_{t}),\qquad p_T(\cdot\mid x,z,y_{t}).pS?(?∣x,yt?),pT?(?∣x,z,yt?).這里z zz可以是正確推導(dǎo)、執(zhí)行錯誤信息或另一條成功軌跡?！疤貦?quán)”描述的是信息可用性差異不意味著教師權(quán)重更大。訓(xùn)練先讓學(xué)生產(chǎn)生軌跡再在學(xué)生實際經(jīng)過的前綴上讓其 token 分布接近教師分布。概括為L S D E x , y ～ sg ? ( p S ) , z [ ∑ t D ( p S ( ? ∣ x , y t ) , sg ? ( p T ( ? ∣ x , z , y t ) ) ) ] . L_{\mathrm{SD}} \mathbb E_{x,y\sim\operatorname{sg}(p_S),z} \left[\sum_tD\big(p_S(\cdot\mid x,y_{t}), \operatorname{sg}(p_T(\cdot\mid x,z,y_{t}))\big)\right].LSD?Ex,y～sg(pS?),z?[t∑?D(pS?(?∣x,yt?),sg(pT?(?∣x,z,yt?)))].sg ? \operatorname{sg}sg表示停止梯度。實際教師還可能是凍結(jié)副本或指數(shù)移動平均副本不能把“同模型”理解為每一步教師與學(xué)生權(quán)重都完全相同。它的優(yōu)勢設(shè)想有兩點學(xué)生在自身容易訪問的狀態(tài)上學(xué)習(xí)減少訓(xùn)練—部署分布錯位教師每個 token 都給出監(jiān)督緩解整段回答只有一個成敗獎勵的稀疏性。[2–3]問題也在這里監(jiān)督更密集只說明信號數(shù)量更多它不保證這些信號更接近真正應(yīng)學(xué)習(xí)的內(nèi)容。SDPO 與 OPSD 的區(qū)別方法主要教師信息本文復(fù)現(xiàn)實驗中的關(guān)鍵損失設(shè)置SDPO成功的同組軌跡、環(huán)境反饋代碼用 top-k 反向 KL科學(xué) / 工具實驗用 Jensen–Shannon使用 EMA 教師OPSD數(shù)據(jù)集參考解法正向 KL 與 token 級裁剪凍結(jié)教師另對教師思考模式做對照GRPO 對照可驗證的回答獎勵按組估計相對優(yōu)勢直接訓(xùn)練高獎勵行為這些差異很重要。不能把一項實驗的失敗簡單歸因于“所有 KL 蒸餾”也不能把不同方法中的教師刷新方式和散度方向混在一起。3. 第一條證據(jù)鏈通過新測試用例不等于會解新題3.1 原有評測主張需要拆成兩個問題根據(jù)本文作者對所復(fù)現(xiàn) SDPO 設(shè)置的說明原代碼實驗在相同題目上留出部分測試用例。這樣的評測可以檢查模型是否學(xué)會滿足題目的完整規(guī)格但不能單獨回答它能否解決訓(xùn)練中未出現(xiàn)的新題。本文于是將 LiveCodeBench v6 的題目拆成互不重疊的訓(xùn)練題和測試題再區(qū)分三個評測集合集合題目是否訓(xùn)練過測試用例是否訓(xùn)練時使用更接近檢驗什么train_seen是是對訓(xùn)練任務(wù)的適應(yīng)train_unseen是否同題規(guī)格內(nèi)的用例泛化test_unseen否否跨題目泛化這不是文字游戲。同一算法題的多個用例通常共享一個解題規(guī)則真正掌握那道題的解法后通過新輸入并不要求獲得可遷移到其他題目的新能力。因此問題級記憶與測試用例級過擬合可以同時被區(qū)分模型可能沒有死記輸入輸出卻仍主要記住了訓(xùn)練題目的解法。3.2 新題成績與訓(xùn)練題成績出現(xiàn)分離以下為附錄表 5 的 test_unseen 結(jié)果均為四個種子的均值 ± 標(biāo)準(zhǔn)差單位為百分比。初始化評測存在采樣差異因此保留每個方法各自的起點。模型方法初始化200 步相對自身起點Qwen3-8BSDPO32.3 ± 1.629.8 ± 1.1?2.5 個百分點Qwen3-8BGRPO30.6 ± 1.034.3 ± 0.53.7 個百分點Qwen3-14BSDPO32.8 ± 0.732.3 ± 1.3?0.5 個百分點Qwen3-14BGRPO33.6 ± 0.438.5 ± 2.24.9 個百分點OLMo-3-7B-InstructSDPO30.9 ± 1.021.0 ± 1.4?9.9 個百分點OLMo-3-7B-InstructGRPO31.5 ± 1.834.1 ± 0.82.6 個百分點與此同時Qwen3-8B 的 SDPO 在 train_seen 提升 23.1 個百分點在 train_unseen 提升 18.4 個百分點。這組對照比“分?jǐn)?shù)下降”更有解釋力方法確實學(xué)到了有用內(nèi)容只是這些內(nèi)容的有效范圍主要局限在已接觸題目。3.3 更快上升與更好最終結(jié)果是兩種優(yōu)勢SDPO 在早期訓(xùn)練題成績上升更快延長訓(xùn)練后Qwen3 上的 GRPO 繼續(xù)改善并反超部分訓(xùn)練題指標(biāo)。早期評測能支持樣本效率主張卻不能直接支持最終能力上限主張。但反過來也要公平如果部署預(yù)算只允許很短的適配階段早期優(yōu)勢仍然有實際價值?？茖W(xué)比較應(yīng)同時報告固定交互預(yù)算、固定 token 預(yù)算和固定計算時間而不是只選擇有利的一段曲線。4. 第二條證據(jù)鏈專項提升可能伴隨其他能力退化作者分別在生物、化學(xué)、材料、物理和工具使用上訓(xùn)練 Qwen3-8B然后在全部五域的留出題上評測。下表摘自正文表 1OOD 變化指四個非訓(xùn)練域的平均準(zhǔn)確率相對基礎(chǔ)模型的變化。訓(xùn)練域SDPO 域內(nèi)準(zhǔn)確率GRPO 域內(nèi)準(zhǔn)確率SDPO OOD 變化GRPO OOD 變化生物52.5%51.0%?12.8 ± 0.81.2 ± 0.9化學(xué)77.7%68.9%?16.6 ± 4.41.6 ± 0.4材料73.5%76.2%?7.1 ± 4.01.2 ± 0.7物理73.1%72.4%?12.5 ± 4.60.9 ± 0.1工具使用53.5%66.3%0.9 ± 1.8?2.1 ± 1.2域內(nèi)列為均值完整標(biāo)準(zhǔn)差見原表OOD 列保留均值 ± 標(biāo)準(zhǔn)差單位為百分點。原評測使用 avg16即多次采樣準(zhǔn)確率的平均估計不是“16 次中至少一次答對”的 pass16。化學(xué)上 SDPO 的域內(nèi)優(yōu)勢明顯不能忽略但它同時存在更大的非訓(xùn)練域損失。工具訓(xùn)練又是例外SDPO 的 OOD 略升GRPO 略降。因此“SDPO 訓(xùn)練必然破壞其他能力”并不符合原表。更合理的問題是目標(biāo)域改善與原有能力保持之間的交換比例是否適合實際應(yīng)用例如專門解化學(xué)題的離線模型和需要在科學(xué)、工具、日常問答間切換的通用助手對退化的容忍度不同。平均域內(nèi)分?jǐn)?shù)不能獨立決定部署價值。5. 第三條證據(jù)鏈參考答案的內(nèi)容可能不是收益來源5.1 一個容易混淆的雙重變化在所分析的 OPSD 設(shè)置中學(xué)生關(guān)閉 thinking教師開啟 thinking且教師獲得正確參考解法。因此教師比學(xué)生多了兩個條件更豐富的解題信息和不同的思考模式。如果不分別控制最終分?jǐn)?shù)提升既可能來自正確知識也可能來自輸出行為遷移。作者設(shè)計兩個因素教師 thinking 開 / 關(guān)參考信息為正確解法、無解法、其他題目的打亂解法。學(xué)生訓(xùn)練時保持 thinking-off再分別以 thinking-on / off 評測。5.2 結(jié)果對“參考內(nèi)容必不可少”構(gòu)成挑戰(zhàn)下表為 Qwen3-8B、AIME24 / AIME25 / HMMT25 的平均分摘自正文表 2。采用 avg12各評測模式選擇其跨種子平均表現(xiàn)最佳的 checkpoint并非所有單元格都來自同一個訓(xùn)練步。訓(xùn)練方法 / 教師設(shè)置教師參考信息thinking-off 評測thinking-on 評測基礎(chǔ)模型—19.3%63.1%GRPO訓(xùn)練時不思考—23.7%64.3%SFT參考監(jiān)督數(shù)據(jù)50.0%63.0%OPSD教師思考正確解法33.1%65.0%OPSD教師思考無解法44.6%65.3%OPSD教師思考打亂解法33.2%65.1%OPSD教師不思考正確解法19.5%64.6%OPSD教師不思考無解法20.4%64.5%OPSD教師不思考打亂解法19.1%64.9%固定教師 thinking-on 后正確解法在 thinking-off 評測下沒有超過打亂解法反而明顯低于無解法。關(guān)閉教師思考后學(xué)生直接回答模式下的增益接近消失。這支持在這些配置中正確參考內(nèi)容不是獲得收益的必要條件教師思考行為的遷移更能解釋較大的提升。但“不是必要條件”不等于“所有樣本上都沒有作用”。平均結(jié)果可能掩蓋部分題目上的正負(fù)效應(yīng)也不能從打亂解法仍有效推導(dǎo)出模型完全忽略上下文。無參考條件改變了輸入長度和干擾程度需要進一步精細控制。5.3 思考模式可以通過行為重新出現(xiàn)作者觀察到學(xué)生在 thinking-off 模式下仍可能生成長篇第一人稱推理輸出孤立的/think標(biāo)記再給出整理后的答案部分設(shè)置孤立標(biāo)記占比達到 69.9%。使用 thinking-on 教師后回答長度增加到原來的 2.72–5.82 倍。[1§4.3、附錄 D.3–D.4]這說明模板上的模式開關(guān)不等于輸出行為被嚴(yán)格限制。模型可能把已有的長推理行為搬進直接回答通道。這仍可能是有用的訓(xùn)練效果它改變了能力的調(diào)用方式。但若沒有固定生成預(yù)算就不能稱為“以同樣推理成本獲得更強能力”。更準(zhǔn)確的研究問題是收益來自新的問題解決策略還是來自更長時間地運行已有策略6. 第四條證據(jù)鏈低方差監(jiān)督為什么仍可能方向不對6.1 理想教師的條件比“知道答案”更嚴(yán)格論文討論一個相對當(dāng)前策略、帶 KL 約束的理想教師π ? ( y ∣ x ) 1 Z ( x ) π θ ( y ∣ x ) exp ? ( R ( x , y ) / β ) . \pi^*(y\mid x)\frac{1}{Z(x)}\pi_\theta(y\mid x)\exp(R(x,y)/\beta).π?(y∣x)Z(x)1?πθ?(y∣x)exp(R(x,y)/β).它按獎勵重新加權(quán)學(xué)生原有輸出分布。對固定問題、二元獎勵和相應(yīng)完整分布目標(biāo)作者證明向這個凍結(jié)的理想教師做正向或反向 KL 優(yōu)化其局部更新方向與獎勵策略梯度相同。[1命題 3.1、附錄 B]例如反向 KL 的梯度滿足? θ D K L ( π θ ∥ sg ? ( π ? ) ) ? 1 β ? θ E π θ [ R ] . \nabla_\theta D_{\mathrm{KL}}(\pi_\theta\|\operatorname{sg}(\pi^*)) -\frac{1}{\beta}\nabla_\theta\mathbb E_{\pi_\theta}[R].?θ?DKL?(πθ?∥sg(π?))?β1??θ?Eπθ??[R].正向 KL 在二元獎勵下得到另一個正比例系數(shù)。因此關(guān)鍵不在“是否蒸餾”而在教師是否具備這種獎勵重加權(quán)結(jié)構(gòu)?？吹秸_答案的語言模型并不會自動滿足它。教師可能被參考文本的表面形式吸引偏向單一解法或更擅長續(xù)寫解釋卻不擅長判斷學(xué)生當(dāng)前前綴如何走向高獎勵。6.2 實驗測量訓(xùn)練方向與留出獎勵方向的夾角對留出題的期望獎勵J h e l d J_{\mathrm{held}}Jheld?和實際更新方向d dd局部近似為J h e l d ( θ η d ) ? J h e l d ( θ ) ≈ η ? J h e l d ( θ ) ? d . J_{\mathrm{held}}(\theta\eta d)-J_{\mathrm{held}}(\theta) \approx\eta\nabla J_{\mathrm{held}}(\theta)^\top d.Jheld?(θηd)?Jheld?(θ)≈η?Jheld?(θ)?d.作者用留出題上的 GRPO 梯度作為參考比較各方法梯度的余弦相似度。代碼實驗的結(jié)果如下均在基礎(chǔ)模型處測量誤差為跨四種子匯總后的 jackknife 誤差。[1表 4]模型GRPO 與參考的相似度SDPO 與參考的相似度Qwen3-8B0.121 ± 0.011?0.167 ± 0.063Qwen3-14B0.070 ± 0.0420.013 ± 0.112OLMo-3-7B-Instruct0.422 ± 0.0910.062 ± 0.028Qwen3-8B 數(shù)學(xué)實驗中訓(xùn)練時不思考的 GRPO 為 0.118 ± 0.050教師思考且使用正確參考的 OPSD 為 ?0.160 ± 0.020。自我蒸餾在這里的梯度噪聲更小但與參考方向?qū)R較弱。**穩(wěn)定地更新和朝期望目標(biāo)更新是兩種性質(zhì)。**低方差不能補償系統(tǒng)性的方向偏差。7. 同樣需要審查這篇批判論文的論證深刻的解讀不能只重復(fù)批判者的結(jié)論。下面幾條邊界會影響我們能從結(jié)果推到多遠。7.1 梯度實驗不是對理論命題的直接檢驗命題比較同一固定問題下的理想完整分布目標(biāo)實驗比較訓(xùn)練問題的實際損失梯度與留出問題的參考梯度。前者研究教師與獎勵是否一致后者還混入跨問題泛化。此外實踐中使用 top-k、裁剪、EMA、不同散度和停止采樣梯度其優(yōu)化方向未必等同于理想序列分布 KL 的完整梯度。因此對齊較差可以反駁“實踐已近似理想教師”的簡單敘述卻不能僅憑這一結(jié)果唯一確定教師失敗的原因。7.2 初始位置的局部反向不代表長期必然退化所有梯度都在基礎(chǔ)模型處、學(xué)習(xí)率設(shè)為零的條件下測量。有限步訓(xùn)練會改變分布、特征和教師關(guān)系。一個初始方向不利的方法可能之后進入有利區(qū)域更長回答帶來的性能提升也未必由初始局部指標(biāo)完整捕獲。事實上論文中的部分 OPSD 設(shè)置最終準(zhǔn)確率提高卻具有負(fù)初始對齊。這正說明梯度指標(biāo)是機制診斷工具不是長期性能的充分判據(jù)。7.3 原始梯度與實際優(yōu)化位移并不相同數(shù)學(xué)訓(xùn)練使用 LoRA而附錄 E.3 為避免零初始化適配矩陣造成的問題測量所有參數(shù)的梯度。AdamW 又會引入自適應(yīng)預(yù)條件、動量、裁剪等。因此全參數(shù)原始梯度的夾角不一定等于 LoRA 參數(shù)空間中真實更新位移的夾角。更直接的驗證是記錄實際參數(shù)變化Δ θ \Delta\thetaΔθ在多個訓(xùn)練階段測量? J h e l d ? Δ θ \nabla J_{\mathrm{held}}^\top\Delta\theta?Jheld??Δθ再用小步真實更新檢查預(yù)測是否成立。7.4 參考梯度是估計不是無噪聲真值留出 GRPO 梯度通過有限采樣得到并使用組內(nèi)標(biāo)準(zhǔn)化等實際設(shè)置。論文自己報告它有較高噪聲跨種子 jackknife 有助于量化不確定性卻不能把它變成精確總體獎勵梯度。尤其 Qwen3-14B 代碼中的 SDPO 相似度為 0.013 ± 0.112應(yīng)理解為方向不明確而不能寫成“確定為負(fù)”。OLMo 數(shù)學(xué)結(jié)果也不能照搬 Qwen3 的負(fù)對齊結(jié)論。7.5 比較方法不等于比較同一成本代碼訓(xùn)練的 mini-batch 設(shè)置不同科學(xué)實驗因穩(wěn)定性調(diào)整了 GRPO 學(xué)習(xí)率SDPO 和 GRPO 使用不同學(xué)習(xí)率。數(shù)學(xué)上 OPSD / SFT 訓(xùn)練 200 步GRPO 500 步生成長度上限和訓(xùn)練批量也不同。[1附錄 E]這些選擇可用于復(fù)現(xiàn)各方法及觀察行為但不是嚴(yán)格計算預(yù)算匹配。特別是要判斷“哪個方法更經(jīng)濟”還需同時核算教師前向、學(xué)生采樣、驗證器調(diào)用、訓(xùn)練時間和最終輸出長度。7.6 論文的適用范圍有明確邊界研究主要覆蓋兩個方法、兩個模型家族和可驗證任務(wù)。它沒有全面測試所有自我蒸餾變體、混合強化學(xué)習(xí)目標(biāo)、復(fù)雜反饋聚合和非可驗證任務(wù)。原 SDPO 也討論對單個難題的測試時適配本論文的跨題泛化結(jié)果不能自動否定那種不同目標(biāo)下的用途。8. 我認(rèn)為最有價值的解釋收益需要分成三個層次這里給出一個由論文啟發(fā)的分析框架不是作者原有分類。層次模型發(fā)生的變化需要的證據(jù)任務(wù)適應(yīng)更會處理接觸過的問題或工作流同題新輸入、真實任務(wù)完成率能力調(diào)用更容易啟動已有思考模式或輸出策略模式控制、長度控制、行為分析可遷移學(xué)習(xí)對未見問題學(xué)到更普遍的方法問題級隔離、跨域評測、固定成本比較這三種收益都可能有價值但它們對應(yīng)不同科學(xué)主張。訓(xùn)練題改善主要支持第一層thinking-off 下出現(xiàn)長思考支持第二層只有足夠獨立的泛化評測才更有資格支持第三層。真正的問題不是“自我蒸餾有沒有提高一個數(shù)字”而是它提高的是哪一層付出了什么代價。9. 更有前景的算法方向與可檢驗假設(shè)以下均為本文建議不是原論文已完成的方法。9.1 先確認(rèn)教師有局部優(yōu)勢再蒸餾不應(yīng)默認(rèn)教師只要多看了信息就更好?？梢栽诓糠智熬Y上采樣教師與學(xué)生續(xù)寫用驗證器估計教師優(yōu)勢僅在優(yōu)勢明確時賦予較高蒸餾權(quán)重。該方法會增加驗證成本因此需要比較“增加一次驗證”與“增加一次普通采樣”的邊際收益?？蓹z驗假設(shè)是選擇性蒸餾比全 token 無差別匹配更能保持跨題泛化。9.2 將獎勵目標(biāo)保留為訓(xùn)練約束一種候選思路是讓可驗證獎勵持續(xù)約束策略改善教師分布只作為輔助信號。例如聯(lián)合目標(biāo)可以概括為獎勵項加受控蒸餾項但不能憑寫出加權(quán)和就宣稱有效。關(guān)鍵實驗應(yīng)檢驗輔助梯度與獎勵梯度沖突時如何處理以及收益是否仍在固定預(yù)算下存在。對于“形式流暢但行為錯誤”的反饋獎勵錨定可能尤其重要。9.3 把信息內(nèi)容與計算行為真正分開下一輪更強的 OPSD 實驗可以同時控制參考信息的正確性、長度、解題風(fēng)格教師和學(xué)生模式最大及實際輸出 token是否允許重復(fù)生成思考標(biāo)記。如果在這些條件固定后正確參考仍穩(wěn)定優(yōu)于無關(guān)參考才更直接支持知識內(nèi)容遷移。若優(yōu)勢消失則工程價值更可能在能力調(diào)用和預(yù)算重分配。9.4 建立持續(xù)學(xué)習(xí)的保持曲線除了當(dāng)前任務(wù)分?jǐn)?shù)應(yīng)在每次適配后評測舊任務(wù)和未見領(lǐng)域并繪制“新增能力—保持能力—訓(xùn)練成本”的曲線。僅報告新域成績可能掩蓋方法對整體系統(tǒng)能力的損耗。這對多功能智能體尤其重要一次工具技能更新不能只檢查那個工具調(diào)用是否更熟練還需要檢查普通問答、其他工具和拒絕無效調(diào)用的行為是否受到影響。10. 對人機知識協(xié)調(diào)與數(shù)字人研發(fā)的啟示這部分是研究遷移思考不是論文對人類專家或數(shù)字人產(chǎn)品的直接實驗證據(jù)。人機協(xié)作里一個系統(tǒng)可能越來越像專家的表達方式卻未必更準(zhǔn)確地使用專家知識。論文對“思考模式遷移”和“參考內(nèi)容遷移”的拆分提示我們也應(yīng)區(qū)分解釋形式更專業(yè)、建議更符合既有習(xí)慣以及對新情境的預(yù)測真正改善。例如在專家反饋后系統(tǒng)推薦質(zhì)量上升的研究中至少需要控制反饋是否包含正確信息同長度但無關(guān)反饋是否也有效評測是否復(fù)用了相同候選是否通過增加計算或解釋長度獲得提升。僅有訓(xùn)練后滿意度或解釋一致性不足以證明知識被有效吸收。對于數(shù)字人研發(fā)個性化訓(xùn)練提高角色一致性和用戶熟悉感可能很有價值。但角色口吻更像用戶偏好并不證明工具執(zhí)行更可靠。應(yīng)分別評估表達適應(yīng)、事實判斷、跨任務(wù)行為和原有能力保持。11. 最終評價這篇論文最強的證據(jù)是問題級拆分和參考信息對照它們直接改變了評測對象并對收益來源提出了可檢驗的替代解釋?？缬蚓仃囘M一步揭示專項學(xué)習(xí)的隱藏代價。梯度分析增加了機制線索但由于局部性、估計噪聲及參數(shù)空間差異其解釋應(yīng)比作者最強措辭更克制。自我蒸餾仍是合理的研究方向但“同一個模型看到更多信息后會成為好老師”應(yīng)當(dāng)被視為待驗證條件。一個可靠的系統(tǒng)需要證明自己正在學(xué)習(xí)可遷移的知識而不僅是更穩(wěn)定地模仿一種答案形式。如果只保留一個判斷標(biāo)準(zhǔn)先問分?jǐn)?shù)為什么提高再問這份收益能否在新問題、同等成本和其他能力不受損的條件下保留下來。參考資料與證據(jù)位置Adhinarta et al. Does self-distillation improve reasoning?2026。代碼泛化見 §4.1、附錄 D.1 表 5–7跨域結(jié)果見表 1模式與參考控制見表 2、附錄 D.3–D.5理論與梯度見 §3.1、§4.4、附錄 B / E.3訓(xùn)練設(shè)置見表 22–24。摘要PDF。Hübotter et al. Reinforcement Learning via Self-Distillation公開 HTML。用于核對 SDPO 的富反饋、稠密監(jiān)督與測試時適配主張。具體劃分復(fù)現(xiàn)與反證數(shù)字以文獻 1 為來源本文未重新運行原項目。Zhao et al. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models。用于核對 OPSD 關(guān)于特權(quán)信息、自身軌跡和 token 級蒸餾的原始主張。復(fù)現(xiàn)研究代碼。提供項目地址不代表本文已審計或運行代碼。文中標(biāo)準(zhǔn)差、jackknife 誤差和置信區(qū)間并非同一統(tǒng)計量本文按原表分別標(biāo)注不把誤差條自動解釋為顯著性檢驗。