簡(jiǎn)介《機(jī)器學(xué)習(xí)之模型評(píng)估與模型選擇》PPT課件面向機(jī)器學(xué)習(xí)初學(xué)者、算法工程師及相關(guān)面試準(zhǔn)備者系統(tǒng)講解模型評(píng)估與選擇的核心流程聚焦如何獲取可靠測(cè)試結(jié)果、評(píng)估性能優(yōu)劣、判斷模型間實(shí)質(zhì)差別。內(nèi)容先區(qū)分泛化誤差與經(jīng)驗(yàn)誤差剖析過(guò)擬合與欠擬合的成因再介紹留出法、K-折交叉驗(yàn)證、自助法等常用評(píng)估方法。性能度量部分覆蓋回歸中的平均絕對(duì)值誤差、均方誤差、R平方值分類中的錯(cuò)誤率、精度、查準(zhǔn)率、查全率、F1、ROC與AUC。此外還梳理Boosting、Bagging、Random Forest等集成學(xué)習(xí)方式闡明如何通過(guò)組合多個(gè)學(xué)習(xí)器進(jìn)一步增強(qiáng)模型的泛化能力。整個(gè)壓縮包僅包含1個(gè)PPT文件約3MB圖表清晰、結(jié)構(gòu)完整便于教學(xué)與自學(xué)已有146人瀏覽學(xué)習(xí)可按頁(yè)對(duì)照掌握模型評(píng)估與選擇的完整框架。1. 模型評(píng)估這件事別讓訓(xùn)練誤差騙了你泛化誤差才是模型選擇的關(guān)鍵一個(gè)很常見(jiàn)的翻車現(xiàn)場(chǎng)模型在訓(xùn)練集上跑出97%的準(zhǔn)確率一上真實(shí)業(yè)務(wù)數(shù)據(jù)就掉到60%。問(wèn)題出在哪大概率是你把經(jīng)驗(yàn)誤差當(dāng)成了泛化誤差在做判斷。機(jī)器學(xué)習(xí)里的模型評(píng)估與模型選擇核心就是把“訓(xùn)練誤差低”和“泛化能力強(qiáng)”這兩件事分開看待。這份PPT把評(píng)估方法、性能度量、比較檢驗(yàn)串成了一條完整鏈路先用留出法、交叉驗(yàn)證或自助法拿到可靠的測(cè)試結(jié)果再用性能度量來(lái)衡量好壞最后用比較檢驗(yàn)判斷這種好壞是真實(shí)能力還是抽樣運(yùn)氣。內(nèi)容框架和周志華《機(jī)器學(xué)習(xí)》第2章是同一套體系信息密度不低適合正在補(bǔ)機(jī)器學(xué)習(xí)基礎(chǔ)、準(zhǔn)備期末復(fù)習(xí)或者要從零搭評(píng)估流程的從業(yè)者照著捋一遍。2. 評(píng)估方法三件套留出法、交叉驗(yàn)證與自助法怎么選PPT把評(píng)估方法放在最前面是因?yàn)楹竺嫠小澳Ｐ秃脡摹钡慕Y(jié)論都建立在測(cè)試結(jié)果之上。評(píng)估方法的核心就一句話怎么拿到一份可信的測(cè)試集。原則也很明確——測(cè)試集與訓(xùn)練集互斥也就是說(shuō)測(cè)試集里的樣本絕不能參與模型訓(xùn)練。這條底線一旦破掉后面所有指標(biāo)都失去意義。2.1 留出法分層采樣和劃分比例是兩個(gè)決定成敗的細(xì)節(jié)留出法是最直觀的評(píng)估方式把整個(gè)數(shù)據(jù)集按比例切成兩塊一塊訓(xùn)練一塊測(cè)試。操作上有一個(gè)容易忽略的前提——?jiǎng)澐智跋缺ＷC訓(xùn)練集和測(cè)試集的類別分布一致。以二分類為例如果原始數(shù)據(jù)里正例占30%、負(fù)例占70%那劃分后的訓(xùn)練集和測(cè)試集最好各自也保持這個(gè)比例這就是分層采樣。不做分層的問(wèn)題在于劃分出來(lái)的測(cè)試集可能恰好全是某一類評(píng)估結(jié)果會(huì)被嚴(yán)重扭曲。PPT里強(qiáng)調(diào)“多次重復(fù)劃分”常見(jiàn)做法是跑100次隨機(jī)劃分每次計(jì)算評(píng)估指標(biāo)后取平均。這樣做能大幅降低單次劃分帶來(lái)的方差因?yàn)椴煌S機(jī)種子下的劃分結(jié)果可能差異很大。我在實(shí)際項(xiàng)目里一般這么落from sklearn.model_selection import train_test_split # test_size0.2 對(duì)應(yīng)約 1/5 的測(cè)試集占比 # stratifyy 按類別比例分層采樣random_state 固定劃分結(jié)果 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42 )這里最關(guān)鍵的是stratifyy它保證劃分前后正負(fù)樣本比例一致random_state固定種子讓實(shí)驗(yàn)可復(fù)現(xiàn)換不同的種子多跑幾次就能看出評(píng)估結(jié)果的波動(dòng)范圍。劃分完之后我還會(huì)主動(dòng)檢查一下訓(xùn)練集和測(cè)試集的類別比例確認(rèn)和原始數(shù)據(jù)對(duì)得上。關(guān)于測(cè)試集大小PPT給出的經(jīng)驗(yàn)區(qū)間是1/5到1/3。這個(gè)區(qū)間有講究測(cè)試集太小評(píng)估結(jié)果的置信度低兩個(gè)模型對(duì)比時(shí)無(wú)法區(qū)分是真實(shí)差異還是隨機(jī)波動(dòng)測(cè)試集太大訓(xùn)練數(shù)據(jù)不足模型學(xué)到的規(guī)律不充分。我在處理中小數(shù)據(jù)集時(shí)習(xí)慣取20%出頭但數(shù)據(jù)量極大時(shí)哪怕測(cè)試集只占5%絕對(duì)樣本數(shù)也已經(jīng)足夠支撐穩(wěn)定評(píng)估不必死守1/5。2.2 K-折交叉驗(yàn)證K值影響偏差與方差的平衡點(diǎn)K-折交叉驗(yàn)證把數(shù)據(jù)等分成K份逐一拿一份當(dāng)驗(yàn)證集、剩余K-1份當(dāng)訓(xùn)練集。這樣做的好處是每個(gè)樣本都有一次成為驗(yàn)證樣本的機(jī)會(huì)評(píng)估結(jié)果比留出法更穩(wěn)定同時(shí)幾乎全部數(shù)據(jù)都被用于訓(xùn)練沒(méi)有浪費(fèi)。K默認(rèn)取10是多年實(shí)踐沉淀下來(lái)的經(jīng)驗(yàn)值它在偏差和方差之間找到了一個(gè)相對(duì)平衡的位置。K取大訓(xùn)練數(shù)據(jù)更多、每次訓(xùn)練的模型偏差更小但K次評(píng)估結(jié)果之間的相關(guān)性也會(huì)升高最終平均值的方差反而偏大K取小訓(xùn)練數(shù)據(jù)少、模型偏差上升評(píng)估結(jié)果更容易被數(shù)據(jù)劃分方式左右。所以K值并不是越大越好。平時(shí)做實(shí)驗(yàn)數(shù)據(jù)量中等、訓(xùn)練速度快的模型我用K10數(shù)據(jù)量小或者模型訓(xùn)練一次要花很久我會(huì)降到K5先確保能跑完。代碼上交叉驗(yàn)證我一般直接用sklearn封裝好的接口from sklearn.model_selection import cross_val_score, StratifiedKFold from sklearn.ensemble import RandomForestClassifier model RandomForestClassifier(n_estimators100, random_state42) cv StratifiedKFold(n_splits10, shuffleTrue, random_state42) scores cross_val_score(model, X, y, cvcv, scoringaccuracy) print(scores.mean(), scores.std())注意這里用的是StratifiedKFold而不是普通KFold它會(huì)在每一折里保持類別比例避免某些折恰好缺了一類樣本。cross_val_score返回的是每一折的分?jǐn)?shù)我從來(lái)不會(huì)只記一個(gè)平均值——每折分?jǐn)?shù)都留著后面做模型比較檢驗(yàn)時(shí)還要用。當(dāng)K等于樣本總數(shù)m時(shí)就是留一法。每個(gè)樣本單獨(dú)做一次測(cè)試集其余m-1個(gè)樣本做訓(xùn)練集循環(huán)m次。留一法的優(yōu)勢(shì)在于訓(xùn)練集和測(cè)試集都“用到極致”特別適合樣本量極小的場(chǎng)景但代價(jià)是計(jì)算開銷成倍放大并且對(duì)某些對(duì)單個(gè)樣本敏感的模型來(lái)說(shuō)評(píng)估結(jié)果的方差反而可能比K-折更大。我在實(shí)際工作中只在樣本量少于幾百時(shí)才考慮留一法。2.3 自助法36.8%的樣本為何始終“隱身”自助法走的是另一條路有放回采樣。每次從原始數(shù)據(jù)中隨機(jī)抽一個(gè)樣本放入訓(xùn)練集抽完放回再繼續(xù)抽直到湊夠m個(gè)樣本。因?yàn)槭欠呕夭蓸油粋€(gè)樣本可能被抽中多次另一些樣本可能一次都沒(méi)出現(xiàn)。當(dāng)樣本量m足夠大時(shí)某個(gè)樣本始終沒(méi)被抽中的概率約等于36.8%這個(gè)數(shù)字來(lái)源于極限(1-1/m)^m趨近于e^{-1}。那36.8%沒(méi)被抽中的樣本正好可以拿來(lái)當(dāng)測(cè)試集這就是包外估計(jì)。自助法的最大優(yōu)點(diǎn)是小數(shù)據(jù)量下不用為“訓(xùn)練集和測(cè)試集如何分配”發(fā)愁訓(xùn)練集規(guī)模和原數(shù)據(jù)一致測(cè)試集也有足夠樣本。代價(jià)是自助采樣會(huì)改變?cè)紨?shù)據(jù)的分布——有放回采樣帶來(lái)的重復(fù)樣本讓訓(xùn)練集里某些樣本被過(guò)度代表評(píng)估結(jié)果會(huì)引入一定偏差。三種方法怎么選我自己的判斷邏輯如下評(píng)估方法訓(xùn)練集測(cè)試集主要優(yōu)點(diǎn)主要缺點(diǎn)首選場(chǎng)景留出法按比例切分互斥留出簡(jiǎn)單直接適合快速驗(yàn)證單次劃分方差大數(shù)據(jù)量充足快速看基線K-折交叉驗(yàn)證K-1份輪流訓(xùn)練1份輪流驗(yàn)證穩(wěn)定、數(shù)據(jù)利用率高計(jì)算開銷大中小數(shù)據(jù)集的標(biāo)準(zhǔn)做法自助法有放回采樣m條未被抽中的36.8%小樣本下訓(xùn)練數(shù)據(jù)不縮水?dāng)?shù)據(jù)分布被改變樣本量少、評(píng)估方差優(yōu)先注意交叉驗(yàn)證得到的每折分?jǐn)?shù)都保存下來(lái)不要只留平均值。比較兩個(gè)模型時(shí)配對(duì)數(shù)據(jù)比總平均值有價(jià)值得多。3. 性能度量從錯(cuò)誤率到AUC先定標(biāo)準(zhǔn)再看數(shù)字PPT里有一句話很關(guān)鍵性能度量是衡量模型泛化能力的評(píng)價(jià)標(biāo)準(zhǔn)反映了任務(wù)需求。也就是說(shuō)同一個(gè)模型用不同指標(biāo)去衡量結(jié)論可能完全相反。所以先想清楚業(yè)務(wù)要什么再?zèng)Q定看哪個(gè)數(shù)字。3.1 回歸任務(wù)三大指標(biāo)MAE、MSE與R2回歸任務(wù)的評(píng)估指標(biāo)有三個(gè)最常用平均絕對(duì)誤差MAE、均方誤差MSE和R2。MAE就是預(yù)測(cè)值與真實(shí)值差的絕對(duì)值的平均單位與原始數(shù)據(jù)一致解釋起來(lái)最直接——比如預(yù)測(cè)房?jī)r(jià)MAE是3萬(wàn)元意味著平均每套房預(yù)測(cè)偏差3萬(wàn)。MSE是誤差平方的期望值因?yàn)樽隽似椒酱笳`差會(huì)貢獻(xiàn)更大的損失所以MSE對(duì)離群點(diǎn)特別敏感。如果業(yè)務(wù)里預(yù)測(cè)失誤的代價(jià)與誤差大小非線性相關(guān)MSE更合適如果只是想知道“平均差多少”MAE更直觀。R2的本質(zhì)是回歸平方和占總平方和的比例衡量模型對(duì)觀測(cè)值變異的解釋程度。R20.9可以理解為模型解釋了90%的變異。但R2有一個(gè)讓新手反復(fù)糾結(jié)的坑它在訓(xùn)練集上會(huì)隨著特征數(shù)量增加而單調(diào)上升哪怕加進(jìn)去的是無(wú)用特征。所以很多教科書推薦看調(diào)整后的R2。更關(guān)鍵的是R2描述的是“擬合程度”不是“泛化能力”一個(gè)在訓(xùn)練集上R2很高的模型可能在新數(shù)據(jù)上表現(xiàn)很差還得回到評(píng)估方法那一層去約束。3.2 查準(zhǔn)率與查全率誤報(bào)和漏報(bào)哪個(gè)代價(jià)更高分類任務(wù)的評(píng)估起點(diǎn)是混淆矩陣四個(gè)基本量真正例TP、假正例FP、真負(fù)例TN、假負(fù)例FN。查準(zhǔn)率PTP/(TPFP)回答的是“預(yù)測(cè)成正例的樣本里有多少是真的正例”查全率RTP/(TPFN)回答的是“真實(shí)正例里有多少被找出來(lái)了”。這兩個(gè)指標(biāo)天然互斥想提高查全率往往要把閾值調(diào)低于是更多負(fù)例被誤判為正例查準(zhǔn)率下降。業(yè)務(wù)場(chǎng)景決定了哪個(gè)指標(biāo)該優(yōu)先。垃圾郵件過(guò)濾更看重查準(zhǔn)率因?yàn)檎`殺一封正常工作郵件比漏收幾封垃圾郵件更讓人惱火而疾病篩查場(chǎng)景反而更看重查全率漏掉一個(gè)陽(yáng)性病人可能耽誤治療。PPT里提到的P-R曲線和平衡點(diǎn)BEP就是在可視化管理這個(gè)權(quán)衡曲線越靠右上模型越好。如果兩個(gè)學(xué)習(xí)器的PR曲線相交沒(méi)法直接判斷誰(shuí)更優(yōu)就得用BEP或F1這類綜合指標(biāo)來(lái)定。3.3 F1、ROC與AUC綜合指標(biāo)的適用邊界F1是查準(zhǔn)率和查全率的調(diào)和平均公式為2PR/(PR)。調(diào)和平均對(duì)較小值更敏感所以當(dāng)P和R差距懸殊時(shí)F1會(huì)明顯偏小這正好反映了一個(gè)“偏科”的模型并不是好模型。F1還有一個(gè)變體F-beta通過(guò)調(diào)整beta值來(lái)給P或R更高權(quán)重beta1更重視查全率beta1更重視查準(zhǔn)率。實(shí)際業(yè)務(wù)中如果需要精確控制“誤報(bào)還是漏報(bào)哪個(gè)更不能忍”用F-beta比默認(rèn)F1更合理。ROC曲線和AUC是另一套評(píng)估體系。ROC的橫軸是假正率FPR縱軸是真正率TPR。它和PR曲線最大的區(qū)別是ROC在樣本類別不平衡時(shí)仍然顯得樂(lè)觀而PR曲線會(huì)明顯暴露不平衡問(wèn)題。比如正例只占1%的數(shù)據(jù)集FPR即使從0.01漲到0.1對(duì)ROC的影響也很小但PR曲線上查準(zhǔn)率會(huì)劇烈下跌。所以做分類時(shí)我通常會(huì)同時(shí)看PR曲線和AUC不平衡場(chǎng)景以PR曲線為主。4. 模型選擇鏈路評(píng)估方法、性能度量與比較檢驗(yàn)怎么閉環(huán)PPT反復(fù)強(qiáng)調(diào)模型選擇的三個(gè)關(guān)鍵問(wèn)題如何獲得測(cè)試結(jié)果、如何評(píng)估性能優(yōu)劣、如何判斷實(shí)質(zhì)差別。短一點(diǎn)說(shuō)就是“拿到數(shù)字、看懂?dāng)?shù)字、驗(yàn)證數(shù)字”。這三環(huán)缺一不可很多人的項(xiàng)目恰恰死在最后一環(huán)——只比大小不做顯著性檢驗(yàn)。4.1 過(guò)擬合與欠擬合模型選擇要解決的根本矛盾過(guò)擬合和欠擬合并不是兩個(gè)需要背下來(lái)的名詞而是模型選擇問(wèn)題的根源。經(jīng)驗(yàn)誤差低、泛化誤差高說(shuō)明模型把訓(xùn)練集的噪聲也學(xué)進(jìn)去了經(jīng)驗(yàn)誤差本身就高說(shuō)明模型連訓(xùn)練數(shù)據(jù)的內(nèi)在規(guī)律都沒(méi)抓住。實(shí)際操作中欠擬合好在能直接通過(guò)訓(xùn)練誤差看出來(lái)給模型加容量、加特征即可過(guò)擬合則隱蔽得多因?yàn)橛?xùn)練集上它表現(xiàn)優(yōu)異只有拿到新數(shù)據(jù)才暴露。PPT里的這句話值得反復(fù)想“什么樣的模型是好的不僅取決于算法和數(shù)據(jù)還取決于任務(wù)需求。”同一個(gè)數(shù)據(jù)集上隨機(jī)森林可能比線性回歸的MSE低10%但如果你要的是一個(gè)可以用系數(shù)解釋業(yè)務(wù)的模型線性回歸仍然可能是更好的選擇。模型選擇不只是“跑分選最高”還要參考可解釋性、訓(xùn)練成本、穩(wěn)定性和維護(hù)難度。4.2 比較檢驗(yàn)兩個(gè)模型看起來(lái)有差別統(tǒng)計(jì)學(xué)上真的有嗎“如何判斷實(shí)質(zhì)差別”對(duì)應(yīng)的是比較檢驗(yàn)。為什么需要這一步因?yàn)槊看卧u(píng)估都有隨機(jī)性數(shù)據(jù)劃分不同、初始化不同評(píng)估結(jié)果自然有小幅波動(dòng)。A模型的AUC是0.83B模型是0.82這個(gè)0.01的差可能是真實(shí)水平高低也可能是隨機(jī)擾動(dòng)。不檢驗(yàn)就下結(jié)論等于把決策建立在噪聲之上。常見(jiàn)做法是一組模型在同一套K-折交叉驗(yàn)證下重復(fù)多次評(píng)估對(duì)每折的兩模型性能差值做配對(duì)t檢驗(yàn)也可以借助調(diào)整后的配對(duì)檢驗(yàn)因?yàn)楦髡壑g并不是獨(dú)立樣本直接t檢驗(yàn)會(huì)低估方差需要修正。教科書里還會(huì)提McNemar檢驗(yàn)以及基于排序的Friedman檢驗(yàn)。項(xiàng)目里我的經(jīng)驗(yàn)是先做多折交叉驗(yàn)證拿到每折的指標(biāo)再對(duì)差值做配對(duì)檢驗(yàn)如果p值大于0.05我不會(huì)急著說(shuō)“A比B好”而是回去檢查是不是評(píng)估設(shè)置的方差太大了。提示判斷“互斥”是否做到位的標(biāo)準(zhǔn)很簡(jiǎn)單——從測(cè)試集樣本里能推算出的任何信息都不應(yīng)該出現(xiàn)在模型訓(xùn)練所用到的輸入中。4.3 集成學(xué)習(xí)模型組合如何改變選擇策略PPT在最后帶出了集成學(xué)習(xí)這不是偶然。Boosting、Bagging、隨機(jī)森林之所以有效本質(zhì)上也是在處理“單個(gè)模型不穩(wěn)定”的問(wèn)題——通過(guò)組合多個(gè)學(xué)習(xí)器降低方差或偏差。Bagging是并行訓(xùn)練多個(gè)個(gè)體學(xué)習(xí)器再平均核心就是降方差對(duì)高方差模型效果尤其明顯Boosting是串行地訓(xùn)練、每輪加大前一輪中被分錯(cuò)樣本的權(quán)重核心是降偏差對(duì)欠擬合的模型更有幫助。為什么寫模型評(píng)估的PPT要引入集成學(xué)習(xí)因?yàn)樗鼈児餐赶蛞粋€(gè)目的選出一個(gè)對(duì)未來(lái)數(shù)據(jù)表現(xiàn)穩(wěn)定的模型。單次評(píng)估得到的高分只有當(dāng)你確認(rèn)它來(lái)自真實(shí)泛化能力而不是訓(xùn)練集記憶時(shí)才有意義。集成學(xué)習(xí)的底層邏輯提醒我們看一個(gè)學(xué)習(xí)器時(shí)不僅要看它自己的表現(xiàn)還要看它與其它學(xué)習(xí)器的差異程度——差異越大的個(gè)體組合起來(lái)整體提升往往越大。5. 避坑清單PPT里沒(méi)細(xì)說(shuō)的五個(gè)實(shí)操陷阱5.1 訓(xùn)練集和測(cè)試集“互斥”沒(méi)做干凈現(xiàn)象訓(xùn)練時(shí)評(píng)估指標(biāo)很好測(cè)試集上指標(biāo)也不錯(cuò)但上線后立刻崩。排查后發(fā)現(xiàn)預(yù)處理階段是在合并整個(gè)數(shù)據(jù)集上做的測(cè)試集信息已經(jīng)泄漏到訓(xùn)練過(guò)程里。原因嚴(yán)格來(lái)說(shuō)互斥不僅是“樣本不參與訓(xùn)練”還包括“從數(shù)據(jù)中學(xué)到的任何統(tǒng)計(jì)量都不能來(lái)自測(cè)試集”。標(biāo)準(zhǔn)化用的均值和標(biāo)準(zhǔn)差如果是在全量數(shù)據(jù)上算的就屬于信息泄漏。解決所有預(yù)處理參數(shù)都只用訓(xùn)練集擬合再用同一套參數(shù)轉(zhuǎn)換測(cè)試集。把訓(xùn)練和預(yù)測(cè)路徑保持一致避免“線下效果好、線上現(xiàn)原形”。5.2 留出法劃分比例拍腦袋現(xiàn)象測(cè)試集取50%結(jié)果訓(xùn)練集上表現(xiàn)一般測(cè)試集取10%評(píng)估結(jié)果波動(dòng)極大兩次隨機(jī)劃分差出好幾個(gè)點(diǎn)。原因比例不對(duì)。測(cè)試集太大訓(xùn)練數(shù)據(jù)不足模型欠擬合測(cè)試集太小評(píng)估方差大。PPT給的1/5到1/3是經(jīng)驗(yàn)區(qū)間但這個(gè)區(qū)間也要結(jié)合數(shù)據(jù)總量來(lái)判斷。解決數(shù)據(jù)量小時(shí)提高訓(xùn)練比例或改用交叉驗(yàn)證數(shù)據(jù)量很大時(shí)測(cè)試集比例可以低于1/5但要保證測(cè)試集的絕對(duì)樣本數(shù)足夠。劃分時(shí)固定隨機(jī)種子并把劃分方式記錄下來(lái)備查。5.3 K值選錯(cuò)導(dǎo)致評(píng)估方差偏大現(xiàn)象同樣的數(shù)據(jù)和模型K5和K10跑出來(lái)的平均準(zhǔn)確率差2%而且K5每次重跑的波動(dòng)更大。原因K值影響偏差方差平衡也影響每次訓(xùn)練子集的重疊程度。K5每次訓(xùn)練數(shù)據(jù)占比只有80%而K10占比90%后者訓(xùn)練更充分單折波動(dòng)更小。解決默認(rèn)用K10數(shù)據(jù)量極小或訓(xùn)練極慢時(shí)用K5樣本量非常小且模型對(duì)單樣本敏感時(shí)考慮留一法。記錄每折的評(píng)估結(jié)果不要只留一個(gè)平均值。5.4 查準(zhǔn)率與查全率用錯(cuò)業(yè)務(wù)場(chǎng)景現(xiàn)象某分類模型查準(zhǔn)率0.95、查全率只有0.4團(tuán)隊(duì)認(rèn)為“準(zhǔn)確率挺高就上線了”結(jié)果把大量真實(shí)正例漏掉業(yè)務(wù)方投訴。原因只看一個(gè)指標(biāo)。查準(zhǔn)率高可以靠“少預(yù)測(cè)正例”實(shí)現(xiàn)比如模型只挑最有把握的幾個(gè)樣本預(yù)測(cè)為正例其余全判負(fù)查準(zhǔn)率自然高但大量真實(shí)正例被漏掉。解決先把業(yè)務(wù)目標(biāo)拆成“誤報(bào)代價(jià)”和“漏報(bào)代價(jià)”哪個(gè)更高再?zèng)Q定優(yōu)化P還是R然后用F1或F-beta做綜合判斷。記錄混淆矩陣的完整四個(gè)格子而不是只看一個(gè)比例。5.5 跳過(guò)比較檢驗(yàn)把隨機(jī)波動(dòng)當(dāng)成模型差距現(xiàn)象新模型比舊模型AUC高0.01匯報(bào)里寫“提升顯著”上線后換了幾次數(shù)據(jù)劃分優(yōu)勢(shì)消失了。原因單次劃分的評(píng)估結(jié)果包含抽樣誤差沒(méi)有做多次重復(fù)評(píng)估并檢驗(yàn)差異是否可能來(lái)自隨機(jī)波動(dòng)。解決固定同一套K-折劃分跑兩個(gè)模型記錄每折結(jié)果對(duì)差值做配對(duì)檢驗(yàn)只有p值小于0.05的差異才當(dāng)真實(shí)提升。日常習(xí)慣是每次對(duì)比都保存劃分索引保證多個(gè)模型在完全相同的數(shù)據(jù)劃分上比較減少外部變量。6. 落地技巧把整套知識(shí)點(diǎn)壓成一份可復(fù)用的評(píng)估流程我現(xiàn)在做一個(gè)項(xiàng)目第一件事不是選模型而是先把評(píng)估流程定下來(lái)。流程大致是四步劃分?jǐn)?shù)據(jù)、定指標(biāo)、選候選模型、做比較檢驗(yàn)。劃分?jǐn)?shù)據(jù)優(yōu)先用分層K-折交叉驗(yàn)證K10把劃分索引保存下來(lái)指標(biāo)選擇先和業(yè)務(wù)確認(rèn)誤報(bào)/漏報(bào)代價(jià)再確定主指標(biāo)和輔助指標(biāo)候選模型先跑一遍基線再往上加復(fù)雜度最后對(duì)所有候選模型在多折結(jié)果上跑配對(duì)檢驗(yàn)差異不顯著就選更簡(jiǎn)單的。下面是我常用的一張工作參數(shù)表供你落地時(shí)參考環(huán)節(jié)默認(rèn)參數(shù)/做法何時(shí)調(diào)整數(shù)據(jù)劃分分層K-折交叉驗(yàn)證K10數(shù)據(jù)量小/訓(xùn)練慢降為K5類別不平衡同時(shí)看PR曲線與AUC以PR為準(zhǔn)正例比例極低時(shí)回歸評(píng)估MAEMSE一起看離群點(diǎn)影響大時(shí)加看R2分類主指標(biāo)按業(yè)務(wù)代價(jià)選P或RF1做輔助代價(jià)不明時(shí)用F1模型比較配對(duì)檢驗(yàn)p0.05視為顯著折數(shù)少時(shí)用調(diào)整后的檢驗(yàn)驗(yàn)證方法上有個(gè)小技巧每次評(píng)估固定隨機(jī)種子并在不同種子上多跑幾次。如果多次運(yùn)行結(jié)果的方差超過(guò)了兩個(gè)模型之間的差距那這個(gè)差距基本是噪聲——這時(shí)候該做的不是繼續(xù)調(diào)模型而是先加大驗(yàn)證集或增加折數(shù)把評(píng)估本身做穩(wěn)。我從那次“97%訓(xùn)練準(zhǔn)確率上線崩盤”之后就把這一整套流程寫進(jìn)了自己項(xiàng)目的啟動(dòng)模板里每到一個(gè)新數(shù)據(jù)集都強(qiáng)制走一遍先定評(píng)估協(xié)議再談模型效果。這份PPT里的知識(shí)點(diǎn)和當(dāng)前很多機(jī)器學(xué)習(xí)課程的評(píng)估章節(jié)是互通的你把評(píng)估方法選對(duì)、指標(biāo)定準(zhǔn)再去追模型提升路徑會(huì)順很多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取