1. Day11的課程起點(diǎn)為什么建模評(píng)估比調(diào)參更決定項(xiàng)目成敗在浙大疏錦行的學(xué)習(xí)計(jì)劃里前十天一路學(xué)下來(lái)特征工程、線性回歸、樹模型、集成方法、神經(jīng)網(wǎng)絡(luò)都過(guò)了一遍。代碼能跑通模型能訓(xùn)練看起來(lái)一切順利。但到了第11天課程主題轉(zhuǎn)向機(jī)器學(xué)習(xí)與建模評(píng)估的時(shí)候我突然意識(shí)到一個(gè)問題前面所有模型訓(xùn)練的環(huán)節(jié)其實(shí)都只是把模型造出來(lái)而評(píng)估才是決定這個(gè)模型能不能真正落地、值不值得被信任的那道關(guān)卡。很多初學(xué)者容易陷入一個(gè)誤區(qū)——把精力全放在調(diào)參上今天grid search調(diào)個(gè)max_depth明天換一批特征看看效果好像分?jǐn)?shù)漲了0.01就是天大的進(jìn)步。但在真實(shí)項(xiàng)目里建模評(píng)估體系的優(yōu)先級(jí)遠(yuǎn)高于調(diào)參。為什么因?yàn)樵u(píng)估回答的是三個(gè)更根本的問題模型的預(yù)測(cè)結(jié)果能不能信任這個(gè)結(jié)果在真實(shí)業(yè)務(wù)里值多少錢模型會(huì)不會(huì)在生產(chǎn)環(huán)境里突然失效說(shuō)實(shí)話我在這個(gè)環(huán)節(jié)踩過(guò)不少坑。早些年做一個(gè)信貸風(fēng)險(xiǎn)評(píng)分項(xiàng)目模型在驗(yàn)證集上AUC做到0.87自己覺得已經(jīng)不錯(cuò)了。結(jié)果上線后在真實(shí)業(yè)務(wù)場(chǎng)景里壞賬率反而比舊規(guī)則模型還高。排查了很久才發(fā)現(xiàn)問題出在數(shù)據(jù)劃分上——我用了包含未來(lái)信息的特征去做時(shí)序預(yù)測(cè)評(píng)估階段的好成績(jī)完全是數(shù)據(jù)泄漏造成的幻象。這個(gè)教訓(xùn)讓我記住了評(píng)估體系如果不嚴(yán)格調(diào)參調(diào)得再好也是一場(chǎng)自欺欺人的游戲。1.1 一個(gè)反直覺的結(jié)論模型準(zhǔn)確率95%照樣不能上線先拋一個(gè)反直覺的結(jié)論二分類模型在測(cè)試集上準(zhǔn)確率達(dá)到95%并不能說(shuō)明這個(gè)模型可用。舉個(gè)極端例子如果你的數(shù)據(jù)集里負(fù)樣本占95%正樣本只占5%那么一個(gè)把所有樣本都判為負(fù)類的蠢模型準(zhǔn)確率恰好是95%。這種模型分明沒有學(xué)到任何有用的規(guī)律卻能在準(zhǔn)確率指標(biāo)上偽裝成優(yōu)秀模型。所以在建模評(píng)估中準(zhǔn)確率這個(gè)指標(biāo)天然存在陷阱尤其是面對(duì)類別不平衡問題時(shí)。真正要看的是模型在少數(shù)類樣本上的表現(xiàn)——比如查全率召回率和查準(zhǔn)率精確率以及這兩個(gè)指標(biāo)隨閾值變化的曲線關(guān)系。這也是Day11課堂上花了大量時(shí)間討論的點(diǎn)我們?cè)u(píng)估的不是模型猜對(duì)了多少而是模型在關(guān)鍵樣本上表現(xiàn)如何。1.2 評(píng)估視角下重新理解建模全流程換個(gè)角度想建模評(píng)估不只是最后跑一個(gè)測(cè)試集拿分?jǐn)?shù)而是一條貫穿始終的主線。數(shù)據(jù)質(zhì)量檢查要看分布漂移特征篩選要看驗(yàn)證集上的增益是否真實(shí)模型選擇要比對(duì)多個(gè)候選方案上線后還要持續(xù)監(jiān)控指標(biāo)衰減?？梢哉f(shuō)機(jī)器學(xué)習(xí)項(xiàng)目的每一步?jīng)Q策本質(zhì)上都依賴一套可信的評(píng)估體系來(lái)作答。Day11的核心安排就是把這套體系從頭到尾串一遍。下面我按實(shí)操順序把這段時(shí)間記錄的要點(diǎn)和踩坑細(xì)節(jié)完整展開。2. 數(shù)據(jù)劃分最容易被敷衍卻最影響評(píng)估可信度的環(huán)節(jié)建模評(píng)估的第一步不是選指標(biāo)而是把數(shù)據(jù)劃分清楚。這一步看起來(lái)簡(jiǎn)單——分個(gè)訓(xùn)練集、驗(yàn)證集、測(cè)試集而已——但具體執(zhí)行時(shí)有幾個(gè)細(xì)節(jié)沒做好后面整個(gè)評(píng)估結(jié)果都會(huì)被污染。2.1 劃分比例與分層策略的實(shí)操選擇常見劃分比例有7:2:1、8:1:1、6:2:2具體選哪種取決于數(shù)據(jù)量和任務(wù)特點(diǎn)。我自己常用的方案是數(shù)據(jù)量大萬(wàn)級(jí)以上用98:1:1或97:2:1數(shù)據(jù)量緊張幾千條用70:15:15甚至60:20:20。為什么要單獨(dú)留驗(yàn)證集因?yàn)檎{(diào)參過(guò)程中你多次看了驗(yàn)證集的結(jié)果驗(yàn)證集的信息已經(jīng)被泄漏到你的決策里了它就不再是一個(gè)客觀的評(píng)估標(biāo)準(zhǔn)。真正能代表模型在未知數(shù)據(jù)上表現(xiàn)的只有從頭到尾只看過(guò)一次的測(cè)試集。分層抽樣也不能省。直接調(diào)用train_test_split默認(rèn)的隨機(jī)劃分在類別不平衡時(shí)容易出現(xiàn)驗(yàn)證集里某一類樣本特別少的情況。這時(shí)候應(yīng)該按目標(biāo)變量分層from sklearn.model_selection import train_test_split # 按標(biāo)簽分層確保訓(xùn)練/驗(yàn)證/測(cè)試集中正負(fù)樣本比例一致 train_val, test train_test_split( data, test_size0.1, stratifydata[label], random_state42 ) train, val train_test_split( train_val, test_size0.111, stratifytrain_val[label], random_state42 )分層的作用是讓每一份數(shù)據(jù)里的類別分布都接近原始分布這樣評(píng)估結(jié)果才有可比性不同模型之間的分?jǐn)?shù)差異才能歸因于模型本身而不是歸因于劃分運(yùn)氣。2.2 數(shù)據(jù)泄漏的經(jīng)典案例為什么驗(yàn)證集分?jǐn)?shù)高得離譜反而要警惕數(shù)據(jù)泄漏是評(píng)估環(huán)節(jié)里最隱蔽也最致命的坑。所謂泄漏就是訓(xùn)練過(guò)程偷看了本不該看到的信息。常見場(chǎng)景有特征工程在全量數(shù)據(jù)上做比如先對(duì)整個(gè)數(shù)據(jù)集做標(biāo)準(zhǔn)化/歸一化再劃分訓(xùn)練集和測(cè)試集。測(cè)試集的信息就這樣混進(jìn)了訓(xùn)練階段模型評(píng)估分自然虛高。正確做法是先劃分?jǐn)?shù)據(jù)再在訓(xùn)練集上fit標(biāo)準(zhǔn)化器用同一套參數(shù)transform驗(yàn)證集和測(cè)試集。時(shí)序任務(wù)里用了未來(lái)信息。比如用T1天的真實(shí)數(shù)據(jù)做特征去預(yù)測(cè)T1天的目標(biāo)目標(biāo)值和特征本來(lái)就是同一件事預(yù)測(cè)當(dāng)然神準(zhǔn)。去重不徹底。有些數(shù)據(jù)集里同一用戶的多條記錄同時(shí)出現(xiàn)在訓(xùn)練集和測(cè)試集模型等于見過(guò)答案。我自己有個(gè)判斷標(biāo)準(zhǔn)如果某個(gè)特征在驗(yàn)證集上單獨(dú)就能達(dá)到極高的AUC比如0.95以上多半是泄漏了。Day11課上老師強(qiáng)調(diào)的一句話讓我印象很深評(píng)估分?jǐn)?shù)異常好先別高興先懷疑是不是自己把答案混進(jìn)去了。這句話聽起來(lái)嚇人但實(shí)踐中真的救了模型很多回。3. 評(píng)估指標(biāo)的正確打開方式從準(zhǔn)確率到F1再到概率校準(zhǔn)數(shù)據(jù)劃分干凈了接下來(lái)才輪到評(píng)估指標(biāo)的選擇。針對(duì)不同任務(wù)類型指標(biāo)選錯(cuò)了評(píng)估就失去了意義。3.1 不同業(yè)務(wù)場(chǎng)景下的指標(biāo)選擇邏輯這里我整理了一個(gè)指標(biāo)選型對(duì)照表方便按業(yè)務(wù)場(chǎng)景快速?zèng)Q策業(yè)務(wù)場(chǎng)景核心關(guān)注點(diǎn)首選指標(biāo)補(bǔ)充指標(biāo)垃圾郵件識(shí)別別誤殺正常郵件精確率特異度癌癥篩查寧可錯(cuò)檢不能漏檢召回率F1借貸風(fēng)控壞賬損失遠(yuǎn)大于收益損失AUC、KS壞賬率業(yè)務(wù)指標(biāo)推薦系統(tǒng)排序質(zhì)量NDCG、MAP點(diǎn)擊率回歸任務(wù)誤差的絕對(duì)大小MAERMSE回歸任務(wù)懲罰大誤差RMSER2概率預(yù)測(cè)任務(wù)概率校準(zhǔn)度LogLossBrier Score比如癌癥篩查和垃圾郵件識(shí)別兩者雖然都是二分類但代價(jià)完全不對(duì)稱。癌癥漏檢一個(gè)病人可能就是一條命垃圾郵件誤殺一封正常郵件用戶頂多去垃圾箱翻一翻。如果用同一個(gè)準(zhǔn)確率指標(biāo)去比較兩個(gè)場(chǎng)景的模型沒有意義。3.2 精確率和召回率的權(quán)衡閾值是評(píng)估的一部分模型輸出的往往是一個(gè)概率值要變成0/1類別標(biāo)簽就必須選一個(gè)閾值。默認(rèn)閾值0.5在類別不平衡時(shí)通常不是最優(yōu)的。實(shí)操中我會(huì)畫出Precision-Recall曲線然后根據(jù)業(yè)務(wù)代價(jià)選擇最佳閾值from sklearn.metrics import precision_recall_curve precisions, recalls, thresholds precision_recall_curve(y_val, y_pred_proba) # 找一個(gè)平衡點(diǎn)例如讓F1最大 f1_scores 2 * (precisions * recalls) / (precisions recalls) best_idx np.argmax(f1_scores[:-1]) # 注意thresholds長(zhǎng)度比precisions少一位 best_threshold thresholds[best_idx] print(f最佳閾值: {best_threshold:.4f}對(duì)應(yīng)F1: {f1_scores[best_idx]:.4f})這段代碼看起來(lái)簡(jiǎn)單但實(shí)際應(yīng)用時(shí)最容易被忽略的細(xì)節(jié)是用哪個(gè)數(shù)據(jù)集來(lái)選閾值我見過(guò)不少同學(xué)直接在測(cè)試集上找最佳閾值這相當(dāng)于又偷偷看了測(cè)試集——閾值本身成了調(diào)參的一部分測(cè)試集就不再干凈了。正確做法是在驗(yàn)證集上選閾值選好之后固定下來(lái)再到測(cè)試集上做最終評(píng)估。3.3 AUC和LogLoss從排序能力到概率可信度AUC是另一個(gè)繞不開的指標(biāo)。它衡量的是模型把正樣本排在負(fù)樣本前面的能力不受閾值影響。正因?yàn)椴皇荛撝涤绊慉UC適合在模型選型階段做粗篩但它也有盲區(qū)——AUC高不代表模型預(yù)測(cè)的概率是校準(zhǔn)的。比如模型對(duì)好客戶輸出0.9的概率分實(shí)際好客戶比例只有0.7AUC可能依然很高但概率值本身已經(jīng)失真了。這種情況就需要LogLoss出場(chǎng)。LogLoss直接懲罰預(yù)測(cè)概率和真實(shí)概率之間的差距預(yù)測(cè)越自信且越離譜懲罰越大。在需要依賴概率值做業(yè)務(wù)決策的場(chǎng)景比如定價(jià)、額度授信LogLoss比AUC更值得盯緊。Day11給我最大的啟發(fā)是評(píng)估指標(biāo)從來(lái)不是選一個(gè)最好的而是組合起來(lái)互相補(bǔ)充。AUC管排序LogLoss管校準(zhǔn)F1管業(yè)務(wù)決策點(diǎn)一套組合拳打下來(lái)才對(duì)模型有了比較全面的認(rèn)知。4. 過(guò)擬合的診斷與應(yīng)對(duì)學(xué)習(xí)曲線、交叉驗(yàn)證與偏差方差權(quán)衡評(píng)估指標(biāo)選好之后下一步是診斷模型的泛化能力。這里的核心問題只有一個(gè)模型是真正學(xué)到了規(guī)律還是僅僅記住了訓(xùn)練數(shù)據(jù)4.1 偏差方差分解為什么k折交叉驗(yàn)證比單次劃分更可靠單一劃分的驗(yàn)證集分?jǐn)?shù)波動(dòng)很大——換一批隨機(jī)種子分?jǐn)?shù)可能上下浮動(dòng)幾個(gè)百分點(diǎn)。這導(dǎo)致你很難判斷模型之間的差異是真實(shí)的還是噪聲。k折交叉驗(yàn)證的做法是把訓(xùn)練數(shù)據(jù)分成k份輪流拿其中1份做驗(yàn)證其余k-1份做訓(xùn)練最后把k次分?jǐn)?shù)平均。k一般取5或10。取5的原因是計(jì)算量適中取10是因?yàn)槊空蹟?shù)據(jù)量更大方差更小。我自己做快速實(shí)驗(yàn)用5折做最終模型評(píng)估用10折。這里面有個(gè)細(xì)節(jié)坑如果使用分層抽樣交叉驗(yàn)證也要帶上stratify參數(shù)否則類別分布一折一個(gè)樣分?jǐn)?shù)波動(dòng)會(huì)大得讓人懷疑人生。對(duì)于小數(shù)據(jù)集我還會(huì)用RepeatedStratifiedKFold——把整個(gè)k折過(guò)程重復(fù)多次每次用不同隨機(jī)種子打亂順序最后取平均。這樣能把評(píng)估置信區(qū)間縮得更窄模型間的微小差異也能更可靠地暴露出來(lái)。4.2 學(xué)習(xí)曲線的實(shí)操解讀什么時(shí)候加數(shù)據(jù)已經(jīng)沒用了學(xué)習(xí)曲線learning curve是診斷過(guò)擬合和欠擬合最直觀的工具。橫軸是訓(xùn)練樣本量縱軸是訓(xùn)練分?jǐn)?shù)和驗(yàn)證分?jǐn)?shù)。畫出來(lái)之后看兩條曲線的走勢(shì)訓(xùn)練分?jǐn)?shù)高、驗(yàn)證分?jǐn)?shù)低兩條線中間隔著一條大溝——這是過(guò)擬合。加數(shù)據(jù)、加正則、簡(jiǎn)化模型都是緩解手段。訓(xùn)練分?jǐn)?shù)和驗(yàn)證分?jǐn)?shù)都低兩條線挨在一起——這是欠擬合。增加模型復(fù)雜度或改進(jìn)特征才是正路。兩條線距離不大但都還沒達(dá)到理想分?jǐn)?shù)且曲線還在隨樣本量上升——這是數(shù)據(jù)還不夠繼續(xù)收集樣本通常有效。我在早期做機(jī)器學(xué)習(xí)項(xiàng)目時(shí)總是一上來(lái)就上復(fù)雜模型然后為一兩個(gè)點(diǎn)的分?jǐn)?shù)提升折騰半天。后來(lái)養(yǎng)成了先畫學(xué)習(xí)曲線的習(xí)慣先判斷瓶頸是數(shù)據(jù)還是模型再對(duì)癥下藥。這一步大大減少了無(wú)效調(diào)參的時(shí)間。4.3 正則化系數(shù)的選擇用驗(yàn)證集分?jǐn)?shù)而不是訓(xùn)練集分?jǐn)?shù)模型選型之后正則化強(qiáng)度的選擇也屬于評(píng)估的一部分。以L2正則為例系數(shù)lambda從0.001到100跨了五個(gè)數(shù)量級(jí)。選大還是選小理論上lambda越大懲罰越重模型越簡(jiǎn)單。實(shí)操中我通常的做法是在訓(xùn)練集上訓(xùn)練若干組lambda的候選值2. 在驗(yàn)證集上記錄每個(gè)lambda對(duì)應(yīng)的評(píng)估指標(biāo)3. 選驗(yàn)證集分?jǐn)?shù)最高但不要過(guò)擬合到驗(yàn)證集的一組lambda4. 如果有懷疑再用交叉驗(yàn)證確認(rèn)一次穩(wěn)定區(qū)間。這里又回到數(shù)據(jù)劃分那條線——驗(yàn)證集只能用來(lái)選一次超參數(shù)。如果反復(fù)用驗(yàn)證集去挑選超參數(shù)并微調(diào)驗(yàn)證集就慢慢變成了訓(xùn)練集的一部分最終測(cè)試集分?jǐn)?shù)會(huì)虛高。這也解釋了為什么比賽中常見public leaderboard過(guò)擬合現(xiàn)象——大家在公開榜單上反復(fù)刷分最終private榜單分?jǐn)?shù)塌方。5. Day11實(shí)戰(zhàn)復(fù)盤一個(gè)貸款違約預(yù)測(cè)模型的評(píng)估全流程白天講理論晚上做實(shí)戰(zhàn)。Day11的作業(yè)是用一份含20萬(wàn)條記錄的貸款數(shù)據(jù)預(yù)測(cè)借款人是否會(huì)違約。這個(gè)案例特別適合串起整個(gè)評(píng)估流程我在這里完整復(fù)盤一遍。5.1 項(xiàng)目背景與baseline建立數(shù)據(jù)特征包括收入、負(fù)債比、貸款金額、信用歷史時(shí)長(zhǎng)、逾期次數(shù)等。正樣本違約占比約8%屬于典型的類別不平衡問題。我的第一步不是直接上復(fù)雜模型而是先建立一個(gè)簡(jiǎn)單的baseline——用邏輯回歸加上基本的特征工程。之所以先用簡(jiǎn)單模型是因?yàn)楹竺嫠袕?fù)雜模型的提升都必須以這個(gè)baseline為參照系否則你根本不知道復(fù)雜模型到底帶來(lái)了多少增量。Baseline在驗(yàn)證集上的結(jié)果AUC為0.793LogLoss為0.412。這個(gè)分?jǐn)?shù)能接受但明顯還有提升空間。5.2 四組對(duì)照實(shí)驗(yàn)的具體評(píng)估結(jié)果接著我做了四組對(duì)照實(shí)驗(yàn)每組都嚴(yán)格使用相同的數(shù)據(jù)劃分和預(yù)處理流程只改變模型或特征策略實(shí)驗(yàn)組策略描述驗(yàn)證集AUC驗(yàn)證集LogLossA組邏輯回歸 baseline0.7930.412B組baseline 特征工程分箱、交互項(xiàng)0.8150.387C組LightGBM 默認(rèn)參數(shù)0.8620.351D組LightGBM 調(diào)參學(xué)習(xí)率、葉子數(shù)、正則0.8710.336從結(jié)果看從A到C是兩類跳躍式提升特征工程貢獻(xiàn)了約2.2個(gè)點(diǎn)的AUC換用樹模型貢獻(xiàn)了約4.7個(gè)點(diǎn)。從C到D的調(diào)參只貢獻(xiàn)了不到1個(gè)點(diǎn)。這說(shuō)明什么在數(shù)據(jù)質(zhì)量和模型選型面前調(diào)參的邊際收益是遞減的。這也再次驗(yàn)證了Day11課程的核心觀點(diǎn)評(píng)估體系首先幫你判斷力量該往哪里使。5.3 從評(píng)估結(jié)果反推模型診斷與改進(jìn)方向只看AUC還不夠。我進(jìn)一步觀察D組在最低違約概率區(qū)段的表現(xiàn)發(fā)現(xiàn)模型對(duì)高違約概率樣本的輸出存在系統(tǒng)性低估——預(yù)測(cè)概率普遍在0.3~0.5區(qū)間而真實(shí)違約率在0.4左右時(shí)模型給出的概率有點(diǎn)偏高這種概率校準(zhǔn)偏差在LogLoss里會(huì)暴露出來(lái)。于是我用Isotonic Regression做了一次概率校準(zhǔn)LogLoss從0.336降到0.312。提示概率校準(zhǔn)只改變輸出概率的尺度不改變模型的排序能力所以AUC不會(huì)明顯變化。如果業(yè)務(wù)需要概率做決策校準(zhǔn)這一步不能省。之后我在從未碰過(guò)的測(cè)試集上做了最終評(píng)估AUC 0.868LogLoss 0.318。相比驗(yàn)證集分?jǐn)?shù)沒有明顯衰減說(shuō)明模型的泛化能力是可信的沒有過(guò)擬合跡象。6. 測(cè)試集之外評(píng)估體系要延伸到業(yè)務(wù)落地環(huán)節(jié)Day11課程強(qiáng)調(diào)了另一個(gè)關(guān)鍵認(rèn)知測(cè)試集評(píng)估通過(guò)只代表模型在離線數(shù)據(jù)上表現(xiàn)良好不等于上線后能產(chǎn)生業(yè)務(wù)價(jià)值。真正的評(píng)估還要往前再走兩步。6.1 業(yè)務(wù)指標(biāo)是把模型結(jié)果翻譯成錢的關(guān)鍵橋梁評(píng)估指標(biāo)和業(yè)務(wù)指標(biāo)之間的gap常常是項(xiàng)目失敗的真正原因。以貸款風(fēng)控為例AUC提升0.01看起來(lái)不錯(cuò)但如果換算成業(yè)務(wù)語(yǔ)言可能意味著每筆貸款審批的通過(guò)率需要下調(diào)5%直接導(dǎo)致業(yè)務(wù)量萎縮。真正的評(píng)估應(yīng)該這樣問如果使用這個(gè)模型壞賬率能降多少審批通過(guò)率會(huì)受多大影響每萬(wàn)元貸款的風(fēng)險(xiǎn)成本是多少在Day11的案例里我用D組模型重新模擬了審批流程設(shè)定一個(gè)風(fēng)險(xiǎn)閾值超過(guò)閾值就拒絕貸款。相比不使用模型壞賬率從4.8%降到2.1%但審批拒絕率也上升了約9%。這個(gè)代價(jià)是否值得就需要業(yè)務(wù)方拍板了。這也是為什么建模評(píng)估不能只盯著技術(shù)指標(biāo)——它最終要服務(wù)于業(yè)務(wù)決策。6.2 上線后的持續(xù)監(jiān)控與評(píng)估指標(biāo)衰減模型上線不是終點(diǎn)。真實(shí)數(shù)據(jù)分布會(huì)隨著時(shí)間、政策、用戶行為悄悄變化評(píng)估分?jǐn)?shù)也會(huì)持續(xù)衰減。常見的監(jiān)控信號(hào)有特征分布漂移某個(gè)關(guān)鍵特征的取值區(qū)間和訓(xùn)練時(shí)差異明顯。預(yù)測(cè)分布漂移模型輸出的概率均值發(fā)生明顯移動(dòng)。業(yè)務(wù)指標(biāo)異動(dòng)比如壞賬率突然上升或者點(diǎn)擊率明顯下降。實(shí)操上至少需要一套定時(shí)任務(wù)每天或每周自動(dòng)調(diào)用測(cè)試集和新采集的數(shù)據(jù)做一輪評(píng)估指標(biāo)計(jì)算一旦指標(biāo)跌破預(yù)警線就觸發(fā)告警提醒重新訓(xùn)練或回滾。Day11課程里雖然沒有細(xì)講線上監(jiān)控的完整方案但這個(gè)意識(shí)必須從評(píng)估階段就建立起來(lái)——評(píng)估不是一次性的動(dòng)作而是一個(gè)持續(xù)反饋的閉環(huán)。6.3 評(píng)估報(bào)告把結(jié)論寫清楚也是評(píng)估的一部分最后一點(diǎn)常被忽略評(píng)估階段的產(chǎn)出不應(yīng)該只是一堆數(shù)字而是一份能講清模型憑什么被信任的報(bào)告。我現(xiàn)在的習(xí)慣是每個(gè)項(xiàng)目結(jié)束時(shí)固定寫一份簡(jiǎn)短評(píng)估總結(jié)內(nèi)容包括數(shù)據(jù)劃分方式說(shuō)明、評(píng)估指標(biāo)定義、基線模型和最終模型對(duì)照、閾值選擇依據(jù)、業(yè)務(wù)代價(jià)分析、上線后監(jiān)控計(jì)劃。這份東西不一定要多長(zhǎng)但必須能讓人看懂模型的價(jià)值在哪里、局限在哪里。寫在最后的一點(diǎn)體會(huì)這次Day11的課程讓我對(duì)機(jī)器學(xué)習(xí)與建模評(píng)估這個(gè)主題有了完全不一樣的理解。以前我總覺得評(píng)估就是調(diào)幾個(gè)指標(biāo)、畫幾張曲線、跑一個(gè)混淆矩陣?，F(xiàn)在回頭看評(píng)估其實(shí)是對(duì)整個(gè)建模過(guò)程的一次系統(tǒng)拷問你的數(shù)據(jù)是不是干凈的你的結(jié)論是不是可信的你的模型是不是真的能創(chuàng)造價(jià)值我已經(jīng)開始把Day11這套評(píng)估流程固化成自己的項(xiàng)目模板了。下一步的計(jì)劃是把手頭一個(gè)老項(xiàng)目的評(píng)估體系重新擼一遍重點(diǎn)檢查數(shù)據(jù)劃分里有沒有類似時(shí)間泄漏的問題順便把概率校準(zhǔn)也補(bǔ)上。如果你也在學(xué)習(xí)機(jī)器學(xué)習(xí)的路上建議早點(diǎn)把評(píng)估這個(gè)環(huán)節(jié)重視起來(lái)——它不會(huì)讓你的模型分?jǐn)?shù)立刻暴漲但能讓你的每一個(gè)分?jǐn)?shù)都變得可信。