我印象里“讓強(qiáng)模型跟著弱標(biāo)簽走”這件事已經(jīng)成了對(duì)齊訓(xùn)練里一個(gè)心照不宣的“雷區(qū)”。所謂弱標(biāo)簽指的是由參數(shù)量較小、能力較弱的模型生成的監(jiān)督數(shù)據(jù)或者是標(biāo)注質(zhì)量參差不齊的人工數(shù)據(jù)。很多團(tuán)隊(duì)在微調(diào)階段圖省事直接用這些數(shù)據(jù)去訓(xùn)練強(qiáng)模型結(jié)果發(fā)現(xiàn)參數(shù)越大學(xué)得越歪甚至出現(xiàn)“能力回退”——模型說話越來越像那個(gè)小模型邏輯漏洞也被一并繼承。我一度以為這個(gè)問題只能靠清洗數(shù)據(jù)、堆人力標(biāo)注來解決直到看到這篇被AI頂級(jí)學(xué)術(shù)會(huì)議AAAI收錄的研究才意識(shí)到還有另一條路與其把弱標(biāo)簽全部清洗干凈不如讓強(qiáng)模型在訓(xùn)練時(shí)自己決定“哪些標(biāo)簽值得學(xué)哪些標(biāo)簽該忽略”。這個(gè)思路就是標(biāo)題里說的“不再盲從弱標(biāo)簽讓強(qiáng)模型自主選擇”也是眼下“超級(jí)對(duì)齊”方向里相當(dāng)有工程價(jià)值的一個(gè)新范式。這篇文章想和你聊透幾個(gè)事弱標(biāo)簽為什么會(huì)讓強(qiáng)模型越訓(xùn)越差、這個(gè)“自主選擇”機(jī)制是怎么實(shí)現(xiàn)的、實(shí)驗(yàn)效果到底有多明顯以及如果我想在自己的訓(xùn)練流程里復(fù)現(xiàn)這套思路應(yīng)該怎么落地。適合正在做SFT、RLHF、偏好優(yōu)化或者被弱監(jiān)督數(shù)據(jù)坑過的同學(xué)認(rèn)真看一遍應(yīng)該能少走不少彎路。1. 弱標(biāo)簽的“雙刃劍”強(qiáng)模型為什么會(huì)被一份錯(cuò)誤答案帶偏1.1 先搞清楚什么是弱標(biāo)簽為什么大家都在用在正式拆解這個(gè)方法前先給“弱標(biāo)簽”一個(gè)清晰的畫像。所謂弱標(biāo)簽通常指三路數(shù)據(jù)源一是小模型生成的偏好對(duì)或指令回復(fù)比如用幾億參數(shù)的模型批量產(chǎn)出回答再和大模型的答案配成對(duì)比樣本二是眾包標(biāo)注中質(zhì)量參差不齊的人工數(shù)據(jù)標(biāo)注員水平不一有些甚至就是復(fù)制粘貼三是規(guī)則抽取或遠(yuǎn)程監(jiān)督得到的自動(dòng)標(biāo)注比如用關(guān)鍵詞匹配或外部知識(shí)庫回填標(biāo)簽。大家明知道弱標(biāo)簽有噪聲為什么還在用答案很簡單強(qiáng)標(biāo)簽太貴了。請(qǐng)高水平標(biāo)注員給一條復(fù)雜指令寫參考答案成本動(dòng)輒幾十塊起步用弱模型批量生成一條的成本接近零。在“數(shù)據(jù)規(guī)模決定模型天花板”的共識(shí)下大多數(shù)團(tuán)隊(duì)都會(huì)選擇先用弱標(biāo)簽堆量再花錢雇人抽檢。問題在于抽檢只能保下限保不了訓(xùn)練過程的穩(wěn)定性。我見過最典型的翻車場景某團(tuán)隊(duì)用一個(gè)小模型生成了幾萬條“用戶偏好對(duì)”A是用戶想要的B是不想要的然后拿這批數(shù)據(jù)去微調(diào)一個(gè)百億參數(shù)模型。結(jié)果訓(xùn)練了兩輪之后模型在代碼生成任務(wù)上的準(zhǔn)確率掉了接近十個(gè)百分點(diǎn)生成風(fēng)格也變得啰嗦、喜歡堆砌廢話。后來一查小模型在偏好標(biāo)注里有一個(gè)隱藏的系統(tǒng)性偏差凡涉及數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)的題它幾乎都偏好“先給完整代碼、后逐行解釋”這種輸出格式而真正的高質(zhì)量回答應(yīng)該是“先給思路再給關(guān)鍵片段”。大模型把這些錯(cuò)誤偏好當(dāng)成真理學(xué)進(jìn)去了等于被一個(gè)水平不如自己的“老師”洗了腦。1.2 為什么強(qiáng)模型越想對(duì)齊反而越容易倒退這里要引入一個(gè)概念叫“繼承梯度”。弱標(biāo)簽之所以危險(xiǎn)不只是因?yàn)樗e(cuò)而是因?yàn)樗腻e(cuò)誤方向會(huì)通過梯度的方式傳染給強(qiáng)模型。直覺上很好理解假設(shè)強(qiáng)模型的初始能力是80分弱標(biāo)簽里40%的樣本是錯(cuò)誤的。訓(xùn)練時(shí)強(qiáng)模型對(duì)一部分錯(cuò)誤標(biāo)簽會(huì)產(chǎn)生較高的預(yù)測損失因?yàn)樗X得正確答案是另一個(gè)這時(shí)梯度會(huì)推著模型往“符合弱標(biāo)簽”的方向調(diào)整。由于弱模型作為標(biāo)簽生成器其錯(cuò)誤往往是系統(tǒng)性的、有偏的比如總是偏好某一種句式、某個(gè)推理套路梯度就會(huì)在這些方向上反復(fù)疊加。更麻煩的是強(qiáng)模型本身是夠聰明的——它在某些樣本上已經(jīng)能“看出”弱標(biāo)簽不對(duì)但訓(xùn)練目標(biāo)不允許它表達(dá)這種判斷。損失函數(shù)是死的只要模型輸出和弱標(biāo)簽不一致就要受懲罰。于是模型被迫在“自己的判斷”和“標(biāo)簽的要求”之間做妥協(xié)這種妥協(xié)累積起來就會(huì)表現(xiàn)為能力回退推理能力被壓縮生成風(fēng)格被帶偏甚至出現(xiàn)“選擇性失明”——該拒絕的請(qǐng)求不拒絕不該拒絕的反而拒了。用個(gè)生活化的類比你讓一位博士生去跟一個(gè)小學(xué)生做同桌老師規(guī)定一切以小學(xué)生作業(yè)本上的答案為準(zhǔn)博士生明明看出來有些題算錯(cuò)了但為了“配合教學(xué)”只能把對(duì)的改成錯(cuò)的。改一次沒問題改一百次他自己的計(jì)算能力也會(huì)退化。所以“弱到強(qiáng)泛化”這個(gè)研究方向的本質(zhì)就是解決“強(qiáng)者服從弱者時(shí)如何不變成弱者”的問題?，F(xiàn)有的主流做法無非兩類一類是清洗標(biāo)簽在訓(xùn)練前把弱標(biāo)簽盡量修對(duì)但成本高、且很難消除系統(tǒng)性偏差另一類是讓強(qiáng)模型“硬扛”通過正則化、早停等手段減輕損傷但效果通常只是延緩不能根治。而這篇論文選擇了一個(gè)更直接的切入點(diǎn)——把選擇權(quán)交給強(qiáng)模型自己。2. 核心機(jī)制拆解強(qiáng)模型如何“自主選擇”而不是被動(dòng)接收2.1 從“全盤接收”到“擇善而從”一個(gè)簡單的范式轉(zhuǎn)變“讓強(qiáng)模型自主選擇”這個(gè)概念聽起來有點(diǎn)玄但拆開來看思路其實(shí)非常樸素。傳統(tǒng)訓(xùn)練流程是數(shù)據(jù)進(jìn)模型模型算損失梯度更新參數(shù)。弱標(biāo)簽從頭到尾都是“不可違背”的——你說A對(duì)模型就得學(xué)A對(duì)你說B答案不合格模型就得認(rèn)為B不合格。整個(gè)過程里模型沒有質(zhì)疑標(biāo)簽的權(quán)利。這篇論文的突破在于它把標(biāo)簽從“硬約束”變成了“候選答案”。訓(xùn)練時(shí)強(qiáng)模型不需要無條件相信弱標(biāo)簽而是先對(duì)每個(gè)標(biāo)簽做一個(gè)內(nèi)部判斷——這個(gè)標(biāo)簽和我的能力水平匹配嗎如果讓我自己回答我會(huì)不會(huì)給出同樣的答案這個(gè)判斷的結(jié)果會(huì)直接影響梯度更新的方向和強(qiáng)度。也就是說模型學(xué)會(huì)了說一句話“這個(gè)標(biāo)簽我可以學(xué)或者那個(gè)標(biāo)簽我應(yīng)該忽略?！边@個(gè)轉(zhuǎn)變的意義怎么強(qiáng)調(diào)都不過分。它意味著弱標(biāo)簽不再是一個(gè)需要被預(yù)先審判的“數(shù)據(jù)質(zhì)量”問題而是一個(gè)可以被動(dòng)態(tài)評(píng)估的“信息置信度”問題。模型不再是被動(dòng)接受知識(shí)的容器而是變成了一個(gè)主動(dòng)篩選知識(shí)的學(xué)習(xí)者——這點(diǎn)和人類的學(xué)習(xí)過程反而更像了我們小時(shí)候都抄過參考書上的答案聰明的學(xué)生會(huì)挑著抄而不是全抄。2.2 三層機(jī)制打分、過濾、加權(quán)具體如何實(shí)現(xiàn)“自主選擇”論文提出的框架大體可以拆成三層每層解決一個(gè)不同的問題。第一層是“置信度感知打標(biāo)”。給每一條弱標(biāo)簽樣本計(jì)算一個(gè)分?jǐn)?shù)表示“強(qiáng)模型認(rèn)為這個(gè)標(biāo)簽有多可信”。這個(gè)分?jǐn)?shù)不能只看模型輸出的softmax最大值——我后面會(huì)講到這樣容易造成“模型非常自信地犯錯(cuò)”。更穩(wěn)妥的做法是同時(shí)衡量模型在多個(gè)隨機(jī)溫度采樣下的輸出一致性或者計(jì)算模型內(nèi)部隱層表征的熵值綜合得出一個(gè)不確定性估計(jì)。打分邏輯不復(fù)雜如果強(qiáng)模型自己的回答和弱標(biāo)簽給出的答案高度一致說明這個(gè)標(biāo)簽是“可以安全學(xué)習(xí)”的如果不一致甚至互相矛盾說明這個(gè)標(biāo)簽很可能存在問題。第二層是“動(dòng)態(tài)閾值過濾”。拿到置信度分?jǐn)?shù)后不是按一個(gè)固定閾值一刀切而是結(jié)合樣本難度、類別分布做動(dòng)態(tài)調(diào)整。簡單說太難的樣本即使標(biāo)簽是準(zhǔn)的也不能強(qiáng)學(xué)太簡單的樣本標(biāo)簽即便稍有偏差學(xué)了也無妨因?yàn)槟Ｐ驮缇驼莆樟恕Ｖ挥新湓凇疤惶鴫虻弥眳^(qū)間的樣本才值得被高權(quán)重地學(xué)習(xí)。這個(gè)思維其實(shí)和課程學(xué)習(xí)curriculum learning很像都是讓模型在合適的時(shí)間學(xué)合適的內(nèi)容。第三層是“梯度級(jí)軟加權(quán)”。這一層是最體現(xiàn)工作量的地方。傳統(tǒng)篩選思路會(huì)把低分樣本直接丟棄但實(shí)際情況是——弱標(biāo)簽雖然整體不靠譜但里面常常夾雜著有價(jià)值的信息。如果直接扔了模型會(huì)丟失這部分?jǐn)?shù)據(jù)量反而更容易在剩余樣本上過擬合如果全留著噪聲又會(huì)嚴(yán)重影響梯度方向。論文的做法是不丟給低置信度樣本分配一個(gè)較小的梯度權(quán)重同時(shí)疊加一個(gè)標(biāo)簽平滑項(xiàng)讓模型在“弱認(rèn)可”的樣本上只做輕微調(diào)整。用數(shù)學(xué)化的語言描述訓(xùn)練的總損失大致是每個(gè)樣本的交叉熵?fù)p失乘上它的置信度權(quán)重w再加上一項(xiàng)“不采納”時(shí)的平滑損失。w由強(qiáng)模型自身的判斷決定而不是由標(biāo)簽生成器決定。這樣一來梯度的大部分貢獻(xiàn)都來自強(qiáng)模型“認(rèn)可”的樣本弱標(biāo)簽真正變成了輔助信息而不是主導(dǎo)信息。2.3 為什么要“軟加權(quán)”而不是“直接丟棄”這是實(shí)際操作里最值得聊的細(xì)節(jié)。我最初接觸類似方案時(shí)直覺是既然低置信度樣本是噪聲直接扔掉不就完了其實(shí)不然。弱標(biāo)簽數(shù)據(jù)集里低置信度樣本往往不是“純?cè)肼暋倍恰昂胄盘?hào)”——里面既有完全錯(cuò)誤的反例也有模棱兩可的邊界案例還有難度過高、連強(qiáng)模型自己都沒把握的樣本。如果簡單丟棄相當(dāng)于把所有“難啃的骨頭”都排除在訓(xùn)練集之外模型就失去了對(duì)邊界樣本的區(qū)分能力。舉一個(gè)實(shí)際的例子。在安全對(duì)齊場景中最容易導(dǎo)致模型誤判的樣本恰恰是那些“看似有害、實(shí)則合規(guī)”的邊界請(qǐng)求比如“我心情很差想找人說說話”這類包含負(fù)面情緒但不違反安全規(guī)范的內(nèi)容。弱標(biāo)簽很可能把這些誤標(biāo)為“有害”并拒答。如果強(qiáng)模型直接丟棄這類低置信度樣本就學(xué)不會(huì)區(qū)分“情緒表達(dá)”和“惡意攻擊”拒答率會(huì)飆升如果用軟加權(quán)的方式保留一部分模型就能在“不確定該不該拒絕”的時(shí)候?qū)W習(xí)到更細(xì)膩的判斷標(biāo)準(zhǔn)。所以這套機(jī)制的精髓就在于不是讓強(qiáng)模型和弱標(biāo)簽割裂而是讓強(qiáng)模型決定“以什么力度”去參考弱標(biāo)簽。這個(gè)“力度”是動(dòng)態(tài)變化的取決于模型當(dāng)前的能力狀態(tài)——訓(xùn)練初期模型不成熟可能更多依賴弱標(biāo)簽訓(xùn)練后期模型能力增強(qiáng)會(huì)自動(dòng)減少對(duì)不可信標(biāo)簽的依賴。這種自適應(yīng)特性也讓它在多種任務(wù)上表現(xiàn)更穩(wěn)定。3. 實(shí)驗(yàn)設(shè)計(jì)與效果驗(yàn)證數(shù)據(jù)不會(huì)說謊3.1 驗(yàn)證場景是怎么設(shè)計(jì)的論文在實(shí)驗(yàn)環(huán)節(jié)覆蓋了三類任務(wù)通用指令跟隨、安全對(duì)齊、以及推理能力保持性驗(yàn)證。這個(gè)設(shè)計(jì)很有心機(jī)——前兩者考察“對(duì)齊效果”后者考察“對(duì)齊傷害”也就是訓(xùn)練對(duì)齊之后模型在數(shù)學(xué)、代碼、邏輯推理等硬任務(wù)上有沒有退步。通用指令跟隨用的是對(duì)話偏好數(shù)據(jù)安全對(duì)齊用的是紅隊(duì)測試樣本推理能力則用幾套公開的數(shù)學(xué)和代碼基準(zhǔn)來評(píng)估。對(duì)照組包括直接用弱標(biāo)簽微調(diào)傳統(tǒng)基線、對(duì)弱標(biāo)簽做靜態(tài)清洗后再訓(xùn)練、以及只做硬過濾的版本低置信度樣本直接丟棄。這樣一對(duì)比就能清楚看見“軟加權(quán)自主選擇”相比其他方案的優(yōu)勢到底在哪。在指令跟隨上自主選擇方案比傳統(tǒng)基線有明顯提升尤其是對(duì)復(fù)雜指令的理解和遵循能力遠(yuǎn)超直接微調(diào)的效果。在安全對(duì)齊上拒答的“精確率”和“召回率”得到了更好的平衡——該拒的沒放不該拒的也沒誤殺。最有說服力的是推理能力保持性傳統(tǒng)方案在訓(xùn)練后數(shù)學(xué)推理成績明顯下降而自主選擇方案幾乎沒什么折損。3.2 消融實(shí)驗(yàn)告訴你哪些環(huán)節(jié)最不能省論文的消融實(shí)驗(yàn)有幾個(gè)值得記錄的發(fā)現(xiàn)。第一動(dòng)態(tài)閾值比固定閾值重要得多。固定閾值帶來的問題在兩個(gè)極端都很明顯閾值太低模型幾乎是全盤接收弱標(biāo)簽和傳統(tǒng)方式?jīng)]有本質(zhì)區(qū)別閾值太高低置信度樣本全部被過濾訓(xùn)練信號(hào)驟減模型在驗(yàn)證集上的損失反而上升。動(dòng)態(tài)閾值相當(dāng)于給選擇器裝了一個(gè)“自適應(yīng)旋鈕”始終讓訓(xùn)練集保持在一個(gè)信息量充沛又足夠干凈的狀態(tài)。第二軟加權(quán)的作用不可替代。把“軟加權(quán)”替換成“硬丟棄”之后安全對(duì)齊的紅線指標(biāo)出現(xiàn)回退——就是誤殺率上升了。原因上面說過邊界樣本被丟光了模型學(xué)不會(huì)區(qū)分惡劣意圖和正常宣泄。而軟加權(quán)相當(dāng)于給邊界樣本留了一扇門讓模型在“不確定”的時(shí)候有機(jī)會(huì)繼續(xù)學(xué)習(xí)。第三置信度分?jǐn)?shù)的設(shè)計(jì)直接影響上限。在多頭溫度采樣的不確定性估計(jì)加持下模型對(duì)弱標(biāo)簽的篩選準(zhǔn)確率明顯優(yōu)于單一softmax分?jǐn)?shù)。這說明好的分?jǐn)?shù)比好的閾值更重要——閾值只是篩選規(guī)則分?jǐn)?shù)是篩選依據(jù)依據(jù)錯(cuò)了規(guī)則再精細(xì)也白搭。3.3 一個(gè)值得關(guān)注的副產(chǎn)品訓(xùn)練效率反而提升了這里有個(gè)出乎意料的發(fā)現(xiàn)因?yàn)槟Ｐ筒皇蔷鶆虻卦谒袠颖旧细聶?quán)重而是自適應(yīng)地集中資源在“值得學(xué)”的樣本上最終收斂步數(shù)反而減少了大概節(jié)約了20-30%的訓(xùn)練步數(shù)。尤其在目標(biāo)領(lǐng)域的任務(wù)上模型會(huì)更快到達(dá)最優(yōu)區(qū)域。這個(gè)發(fā)現(xiàn)背后的道理很樸素以前弱標(biāo)簽里有大量“學(xué)不學(xué)都無所謂”的簡單樣本占了計(jì)算資源卻沒有提供新知識(shí)現(xiàn)在這些樣本的梯度權(quán)重被壓低模型把計(jì)算資源讓給了真正有難度、有區(qū)分度的邊界樣本學(xué)習(xí)效率自然上去了。這提醒了我們一件事數(shù)據(jù)質(zhì)量對(duì)訓(xùn)練效率的影響可能比我們想象的更大。4. 落到工程實(shí)踐怎么把這套“自主選擇”搬進(jìn)自己的訓(xùn)練流程4.1 一套可直接照抄的訓(xùn)練流水線你不需要完全復(fù)現(xiàn)論文里的全部細(xì)節(jié)才能吃到這波紅利。我自己按這套思路改造了一個(gè)小規(guī)模的SFT流程效果就很明顯。整體流程大致分五步。第一步用弱模型批量生成監(jiān)督樣本?？梢允瞧脤?duì)也可以是三元組用戶指令、弱模型回答、強(qiáng)模型回答。注意生成時(shí)要保存一條關(guān)鍵信息——弱模型對(duì)該回答的自置信度后面有大用。第二步用強(qiáng)模型對(duì)每條樣本做“一致性評(píng)估”。這里的強(qiáng)模型是凍結(jié)不參與訓(xùn)練的主要負(fù)責(zé)判斷“這條弱標(biāo)簽和我自己的判斷是否一致”。具體做法可以是用強(qiáng)模型回答同一個(gè)問題再計(jì)算兩種答案的語義一致性也可以直接讓強(qiáng)模型輸出一個(gè)“認(rèn)同度”評(píng)分。我的實(shí)操經(jīng)驗(yàn)是語義一致性比直觀評(píng)分更可靠因?yàn)榇竽Ｐ徒o自己打分會(huì)存在系統(tǒng)性樂觀偏差。第三步生成置信度分布并確定閾值。把所有樣本的置信度分?jǐn)?shù)做一個(gè)直方圖找到分布中的“斷裂點(diǎn)”也就是分?jǐn)?shù)出現(xiàn)斷崖式下降的位置把動(dòng)態(tài)閾值的基座放在這里再留出一定的緩沖帶。如果分布過于尖銳先把temperature調(diào)高到0.7再做評(píng)估。第四步為每一條樣本計(jì)算梯度權(quán)重。具體來說置信度高于高閾值的樣本權(quán)重設(shè)為1低于低閾值的樣本權(quán)重設(shè)為0.05到0.2之間中間部分按線性插值或sigmoid函數(shù)過渡。同時(shí)為低置信度樣本疊加一個(gè)標(biāo)簽平滑項(xiàng)防止模型在錯(cuò)誤標(biāo)簽上學(xué)得太徹底。第五步用加權(quán)交叉熵?fù)p失進(jìn)行微調(diào)。這里有一個(gè)我自己踩過坑得出的教訓(xùn)權(quán)重的min值不能設(shè)成0。設(shè)成0意味著模型對(duì)這些樣本完全忽視損失函數(shù)對(duì)這些樣本沒有梯度等價(jià)于硬丟棄。建議至少要保留0.05的最小權(quán)重讓模型有機(jī)會(huì)從這些樣本中獲取“反面信息”。4.2 三個(gè)必看的動(dòng)力學(xué)細(xì)節(jié)整個(gè)訓(xùn)練過程里有多個(gè)細(xì)節(jié)對(duì)效果影響很大。一是權(quán)重w千萬不能劇烈波動(dòng)。如果每一條batch內(nèi)不同樣本的權(quán)重差異過大梯度更新會(huì)非常不穩(wěn)定表現(xiàn)為loss曲線大幅震蕩。我給w加了一個(gè)指數(shù)移動(dòng)平均相當(dāng)于讓模型對(duì)弱標(biāo)簽的“態(tài)度”變得平穩(wěn)不會(huì)隨著單個(gè)樣本的置信度劇烈變化而左右搖擺。這個(gè)操作讓loss收斂速度明顯變快訓(xùn)練也更穩(wěn)。二是置信度的絕對(duì)值和相對(duì)值要區(qū)分看待。大模型打分普遍偏高長期在0.9以上這時(shí)候直接設(shè)0.8作為高分閾值沒有意義。正確做法是看相對(duì)分位以75分位作為高閾值以30分位作為低閾值。這樣就不受模型打分習(xí)慣的影響在各種基座模型上都能自動(dòng)適配。三是“不要只依賴一種不確定性指標(biāo)”。我試過用softmax作為唯一置信度時(shí)在性別化或風(fēng)格化比較強(qiáng)的數(shù)據(jù)上模型的置信度存在明顯偏差——它對(duì)風(fēng)格化的內(nèi)容往往高估自己的確定性。后來用多溫度采樣自熵融合的方式這個(gè)問題緩解了很多。多花一次推理成本的收益遠(yuǎn)大于后期調(diào)閾值的成本。4.3 實(shí)驗(yàn)復(fù)現(xiàn)需要準(zhǔn)備什么如果你想在自己數(shù)據(jù)集上跑通這套流程建議按下面的資源清單準(zhǔn)備。硬件方面一張至少擁有80GB顯存的推理卡是必須的因?yàn)樵u(píng)估階段需要跑強(qiáng)模型的多溫度采樣同時(shí)要保持訓(xùn)練階段的可復(fù)現(xiàn)性。軟件方面建議使用開源的分布式訓(xùn)練框架配合支持動(dòng)態(tài)權(quán)重的損失函數(shù)實(shí)現(xiàn)。整個(gè)流程里最耗時(shí)的其實(shí)是置信度打分因?yàn)橐獙?duì)每條樣本跑多次采樣推理數(shù)據(jù)量大的時(shí)候最好做并行化。數(shù)據(jù)方面最好先準(zhǔn)備一個(gè)和目標(biāo)任務(wù)領(lǐng)域接近的驗(yàn)證集用于觀察訓(xùn)練過程中模型的效果變化。如果驗(yàn)證集上沒有明顯指標(biāo)提升先別急著加大訓(xùn)練量回頭檢查置信度分?jǐn)?shù)的分布是不是出了問題。5. 常見問題與排查技巧實(shí)錄5.1 我剛開始復(fù)現(xiàn)時(shí)踩過的一系列坑第一個(gè)坑強(qiáng)模型幾乎全盤接受所有弱標(biāo)簽。一開始我以為訓(xùn)練成功了——所有樣本置信度都接近滿分毫無篩選阻力。后來發(fā)現(xiàn)是評(píng)估階段的temperature設(shè)置太低模型幾乎以貪心解碼方式回答輸出高度確定自然和弱標(biāo)簽高度一致。把temperature調(diào)到0.7以上分?jǐn)?shù)分布才拉開差距。第二個(gè)坑訓(xùn)練loss震蕩得厲害。排查后發(fā)現(xiàn)是動(dòng)態(tài)權(quán)重w在每一個(gè)step都在劇烈變化模型像一只“反復(fù)變卦”的學(xué)生前一步還在認(rèn)真學(xué)習(xí)某個(gè)樣本后一步就把它丟棄了。解決方法是給w加EMA平滑讓模型對(duì)弱標(biāo)簽的“態(tài)度”變化更緩和。這個(gè)改動(dòng)讓loss曲線立刻平滑了很多。第三個(gè)坑訓(xùn)練后雖然對(duì)齊指標(biāo)提升了但通用能力明顯下降?；仡^看是“軟加權(quán)”沒有做好低閾值被設(shè)成了0等價(jià)于硬丟棄。把最小權(quán)重從0改成0.1之后通用能力掉點(diǎn)問題明顯緩解。所以我在前文反復(fù)強(qiáng)調(diào)軟加權(quán)的最小值不能設(shè)成0這是一個(gè)數(shù)字之差效果天壤之別。5.2 常見問題速查表現(xiàn)象可能原因排查順序置信度分?jǐn)?shù)聚成一團(tuán)沒有區(qū)分度評(píng)估溫度太低或打分方式單一先調(diào)temperature再嘗試多溫度采樣訓(xùn)練loss全程高位震蕩動(dòng)態(tài)權(quán)重波動(dòng)過于劇烈給權(quán)重加EMA平滑觀察曲線變化對(duì)齊效果好但通用推理掉點(diǎn)低置信度樣本被硬丟棄把最小權(quán)重從0改為0.05-0.2訓(xùn)練效率沒有提升動(dòng)態(tài)閾值沒有生效相當(dāng)于全盤接收檢查閾值是否處于合理分位區(qū)間安全拒答率飆升邊界樣本被過濾殆盡恢復(fù)軟加權(quán)保留低置信度樣本這張表是我反復(fù)實(shí)驗(yàn)后總結(jié)出來的基本覆蓋了第一次復(fù)現(xiàn)這類方案時(shí)最容易碰到的報(bào)文。如果你在實(shí)驗(yàn)中也遇到類似情況照上面的順序排查通常能很快找到問題所在。6. 我的實(shí)操體會(huì)與可能的擴(kuò)展方向?qū)懙竭@里聊聊我自己的心得。這套“讓強(qiáng)模型自主選擇”的思路本質(zhì)上是把對(duì)齊訓(xùn)練從“服從模式”切換成了“協(xié)商模式”讓強(qiáng)模型用自己的判斷力去反哺自己的訓(xùn)練過程。我用它改造了自己的SFT流程之后最強(qiáng)烈的體感不是某個(gè)指標(biāo)暴漲了多少而是訓(xùn)練過程變得“可控”了——模型不再是一味地吸收數(shù)據(jù)而是開始有選擇地學(xué)習(xí)這個(gè)轉(zhuǎn)變?cè)谡{(diào)試和排障時(shí)帶來的安全感是傳統(tǒng)全盤接收式訓(xùn)練給不了的。當(dāng)然這套方法也不是萬能的。如果你的弱標(biāo)簽生成模型和強(qiáng)模型能力差距過大比如用幾百萬參數(shù)的模型給幾千億參數(shù)的模型當(dāng)老師置信度打分本身就可能毫無參考意義——因?yàn)閺?qiáng)模型看弱模型處處都覺得不靠譜最后要么全部低置信度要么全部高置信度選擇器失效。這個(gè)“能力差窗口”的問題我認(rèn)為是這個(gè)方向下一步最值得探索的課題。擴(kuò)展方向上我有兩個(gè)直覺。一是這套選擇機(jī)制可以和“可驗(yàn)證獎(jiǎng)勵(lì)”結(jié)合。比如代碼生成場景用編譯通過率和單測通過率作為額外的硬信號(hào)疊加在置信度評(píng)估之上相當(dāng)于在“自主選擇”的基礎(chǔ)上再多一層客觀驗(yàn)證篩選會(huì)更準(zhǔn)。二是可以遷移到多模態(tài)對(duì)齊上讓視覺模型對(duì)文本標(biāo)簽做同樣的自主甄別在圖文不一致的樣本上避免被弱標(biāo)簽帶偏。最后再分享一個(gè)小技巧在訓(xùn)練中后期把強(qiáng)模型的置信度打分開溫到1.0讓選擇器“更信任自己”能進(jìn)一步壓榨模型的潛力。我在幾個(gè)場景里試下來都有效代價(jià)是前期要準(zhǔn)備更干凈的訓(xùn)練數(shù)據(jù)來兜底。這里面的平衡值得你親自拿數(shù)據(jù)試一試。