簡(jiǎn)介由杰森·布朗利編寫的《Python集成學(xué)習(xí)算法7天速成》中文翻譯版源自MachineLearningMastery系列面向已有Python、NumPy和scikit-learn基礎(chǔ)的開(kāi)發(fā)者用七節(jié)課快速補(bǔ)齊集成學(xué)習(xí)核心技能。資源共1個(gè)PDF文件壓縮包大小481KB便于下載后離線閱讀文檔按課程01至07組織章節(jié)獨(dú)立性較強(qiáng)依次講解什么是集成學(xué)習(xí)、裝袋集成、隨機(jī)森林、AdaBoost、梯度提升、投票集成和堆疊集成每課設(shè)有明確任務(wù)并提供基于scikit-learn的完整代碼示例可照做預(yù)測(cè)建模實(shí)驗(yàn)。針對(duì)模型方差、數(shù)據(jù)泄露和融合策略等容易出錯(cuò)的環(huán)節(jié)書中給出精簡(jiǎn)說(shuō)明幫助讀者把多個(gè)模型組合成更可靠的預(yù)測(cè)方案也可遷移到Kaggle等競(jìng)賽場(chǎng)景。目前已有108人學(xué)習(xí)瀏覽適合希望利用一周時(shí)間系統(tǒng)掌握集成學(xué)習(xí)并提升模型表現(xiàn)的開(kāi)發(fā)者。1. 集成學(xué)習(xí) 7 天速成為什么“打群架”的模型通常比單打獨(dú)斗更強(qiáng)如果你正打算用 7 天時(shí)間把 Python 集成學(xué)習(xí)算法從只會(huì)調(diào)庫(kù)練到能講清原理、能上手調(diào)優(yōu)、能排查問(wèn)題這篇筆記就是按這個(gè)目標(biāo)寫的。集成學(xué)習(xí)的核心思想一句話就能說(shuō)透單個(gè)模型容易偏、容易抖但把一群各有毛病、又不太一樣的模型湊在一起投票或接力整體誤差通常會(huì)被磨平一大截。這也是 Kaggle 競(jìng)賽里幾乎每支前排隊(duì)伍都會(huì)在最后一步用上 Stacking 或 Boosting 的原因。7 天速成不是讓你背公式而是按“并行集成 → 串行集成 → 集成之集成 → 避坑調(diào)優(yōu)”這條主線用 Python 生態(tài)里現(xiàn)成的庫(kù)把每個(gè)環(huán)節(jié)跑通。適合的對(duì)象很明確已經(jīng)會(huì)用 sklearn 訓(xùn)練單個(gè)模型、但對(duì)集成學(xué)習(xí)只停留在“聽(tīng)過(guò)名字”階段的從業(yè)者以及想在項(xiàng)目里把模型精度再往上頂一檔的工程師。第一天到第三天你會(huì)感受到“多模型投票”帶來(lái)的穩(wěn)定收益第四到第六天進(jìn)入 Boosting 與 Stacking 后更多的功夫要花在防止過(guò)擬合和評(píng)估偏差上最后一天請(qǐng)務(wù)必留給自己把整個(gè)實(shí)驗(yàn)過(guò)程固化成可復(fù)現(xiàn)的記錄。接下來(lái)我們從最基礎(chǔ)的并行集成開(kāi)始。2. 并行集成Voting 與 Bagging先讓模型學(xué)會(huì)“投團(tuán)隊(duì)票”2.1 集成學(xué)習(xí)的理論地基偏差-方差分解與“三個(gè)臭皮匠”邏輯先回答一個(gè)新手必然要問(wèn)的問(wèn)題為什么多個(gè)模型放在一起效果反而比最好的單個(gè)模型還穩(wěn)這要從偏差-方差分解說(shuō)起。一個(gè)模型的泛化誤差大致能拆成三項(xiàng)偏差bias、方差variance和不可約噪聲。偏差大說(shuō)明模型對(duì)規(guī)律的理解不夠經(jīng)常欠擬合方差大說(shuō)明模型對(duì)訓(xùn)練數(shù)據(jù)的波動(dòng)太敏感換個(gè)數(shù)據(jù)集表現(xiàn)就劇烈起伏。單棵決策樹是典型的低偏差高方差模型而線性模型則常常反過(guò)來(lái)。集成學(xué)習(xí)的思路就是在這兩項(xiàng)之間做文章。Bagging 的核心操作是“并行訓(xùn)練 平均”它通過(guò) Bootstrap 采樣讓每個(gè)子模型看到不同的訓(xùn)練子集子模型之間天然存在差異最后投票或平均時(shí)彼此的高方差部分會(huì)互相抵消。這背后的數(shù)學(xué)直覺(jué)是如果各基模型誤差是獨(dú)立的那么平均后的方差會(huì)按子模型數(shù)量下降哪怕基模型之間不完全獨(dú)立只要不是完全相關(guān)方差也能被顯著壓縮。這里有一張常用的誤差拆解表方便你對(duì)照自己的項(xiàng)目來(lái)判斷該用 Bagging 還是 Boosting當(dāng)前問(wèn)題主要矛盾推薦的集成方向理由單模型欠擬合訓(xùn)練分很低高偏差Boosting / Stacking串行擬合殘差能系統(tǒng)性降低偏差單模型分?jǐn)?shù)不錯(cuò)但測(cè)試集波動(dòng)大高方差Bagging / RandomForest并行平均能壓低方差數(shù)據(jù)噪聲大特征冗余多方差與偏差都高先用 Bagging 穩(wěn)底再上 Boosting直接 Boosting 容易把噪聲也學(xué)進(jìn)去“三個(gè)臭皮匠勝過(guò)諸葛亮”這句話在機(jī)器學(xué)習(xí)里是有前提的皮匠們得有自己的判斷不能全是同一個(gè)師傅教出來(lái)的。如果 10 個(gè)模型高度雷同集成只是在放大同一個(gè)錯(cuò)誤毫無(wú)意義。這也是整篇筆記里反復(fù)會(huì)出現(xiàn)的一條主線多樣性是集成的靈魂。2.2 用 scikit-learn 跑通 Voting 與 Bagging最小可執(zhí)行代碼先動(dòng)手跑一個(gè)最樸素的 Voting 分類器。Voting 分硬投票和軟投票硬投票是每個(gè)模型投一票、少數(shù)服從多數(shù)軟投票是每個(gè)模型輸出類別概率后加權(quán)平均再取概率最高的類別。數(shù)據(jù)量小、模型校準(zhǔn)良好時(shí)軟投票通常更穩(wěn)。下面這段代碼在一個(gè)模擬的二分類數(shù)據(jù)集上直接對(duì)比單模型與 Voting 的效果from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.ensemble import VotingClassifier, RandomForestClassifier from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score # 生成 2000 個(gè)樣本、20 個(gè)特征的模擬二分類數(shù)據(jù) X, y make_classification(n_samples2000, n_features20, n_informative15, random_state42) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, stratifyy, random_state42) # 三個(gè)差異明顯的基模型 lr LogisticRegression(max_iter1000, random_state42) dt DecisionTreeClassifier(max_depth5, random_state42) rf RandomForestClassifier(n_estimators50, max_depth8, random_state42) # 軟投票按類別概率加權(quán)平均 voting_clf VotingClassifier( estimators[(lr, lr), (dt, dt), (rf, rf)], votingsoft ) voting_clf.fit(X_train, y_train) for name, model in [(LR, lr), (DT, dt), (RF, rf), (Voting, voting_clf)]: acc accuracy_score(y_test, model.predict(X_test)) print(f{name}: {acc:.4f})這段代碼里最關(guān)鍵的是votingsoft參數(shù)。軟投票要求基模型都有predict_proba方法邏輯回歸和決策樹都滿足。如果你換了某些不支持概率輸出的模型就只能退回到votinghard。我一般會(huì)在跑 Baseline 時(shí)先用硬投票確認(rèn)三個(gè)模型分?jǐn)?shù)接近后再切到軟投票看是否有提升。接下來(lái)是 Bagging 的最小示例。BaggingClassifier 本身是一個(gè)通用包裝器你可以把任意基模型塞進(jìn)去它內(nèi)部通過(guò) Bootstrap 采樣生成多個(gè)訓(xùn)練子集并行訓(xùn)練多個(gè)副本from sklearn.ensemble import BaggingClassifier from sklearn.tree import DecisionTreeClassifier # 用決策樹作為基模型訓(xùn)練 200 個(gè)副本 bag_clf BaggingClassifier( estimatorDecisionTreeClassifier(max_depth10, random_state42), n_estimators200, max_samples0.8, # 每個(gè)子模型采樣 80% 的樣本 max_features1.0, # 每個(gè)子模型使用全部特征 bootstrapTrue, # 有放回采樣 oob_scoreTrue, # 計(jì)算袋外分?jǐn)?shù) n_jobs-1, # 使用全部 CPU 核 random_state42 ) bag_clf.fit(X_train, y_train) print(fBagging OOB Score: {bag_clf.oob_score_:.4f}) print(fBagging Test Accuracy: {accuracy_score(y_test, bag_clf.predict(X_test)):.4f})max_samples0.8意味著每個(gè)子模型只看到 80% 的樣本剩下的 20% 沒(méi)參與訓(xùn)練正好可以用作天然的驗(yàn)證集。oob_scoreTrue就是利用這些沒(méi)被采到的樣本計(jì)算一個(gè)袋外分?jǐn)?shù)它約等于交叉驗(yàn)證的效果但省掉了重復(fù)訓(xùn)練的開(kāi)銷。對(duì)新手來(lái)說(shuō)如果訓(xùn)練集只有幾千條建議把max_samples調(diào)高到 0.9否則每個(gè)子模型看到的樣本太少基模型容易欠擬合。2.3 隨機(jī)森林Bagging 加特征隨機(jī)性以及 OOB 分?jǐn)?shù)的妙用隨機(jī)森林可以理解為 Bagging 的一個(gè)升級(jí)版它在每次節(jié)點(diǎn)分裂時(shí)不再?gòu)娜刻卣骼镎易顑?yōu)切分點(diǎn)而是隨機(jī)抽取一部分特征再?gòu)闹羞x最優(yōu)。這個(gè)改動(dòng)很關(guān)鍵它讓每棵樹學(xué)到的“特長(zhǎng)”不同。比如有的樹更依賴特征 A有的樹更依賴特征 B投票時(shí)彼此互補(bǔ)整體方差進(jìn)一步下降。用 sklearn 訓(xùn)練隨機(jī)森林只需要改一行from sklearn.ensemble import RandomForestClassifier rf_clf RandomForestClassifier( n_estimators300, max_depthNone, # 不限制深度讓樹自由生長(zhǎng) min_samples_leaf2, # 葉子節(jié)點(diǎn)最少 2 個(gè)樣本限制過(guò)擬合 max_featuressqrt, # 分類問(wèn)題默認(rèn)取特征數(shù)的平方根 oob_scoreTrue, n_jobs-1, random_state42 ) rf_clf.fit(X_train, y_train) print(fRF OOB Score: {rf_clf.oob_score_:.4f}) print(fRF Test Accuracy: {accuracy_score(y_test, rf_clf.predict(X_test)):.4f}) # 查看特征重要性 importance rf_clf.feature_importances_ top_idx importance.argsort()[-5:][::-1] print(Top-5 重要特征索引:, top_idx)max_featuressqrt是分類問(wèn)題的默認(rèn)推薦值回歸問(wèn)題一般用1.0或log2。這段代碼里我把max_depth設(shè)為None配合min_samples_leaf2來(lái)讓樹自由生長(zhǎng)但葉子不能太純這個(gè)組合在中小數(shù)據(jù)集上往往表現(xiàn)不錯(cuò)。特征重要性feature_importances_是基于“該特征在所有樹中帶來(lái)的不純度減少量”累加得到的注意它偏向數(shù)值型特征和取值多的特征只能用作粗篩不能當(dāng)作因果證據(jù)。OOB 分?jǐn)?shù)在這里還有額外價(jià)值你不必專門切一塊驗(yàn)證集就能知道模型大概的水平。做法是先跑一遍不設(shè)置max_depth的隨機(jī)森林看 OOB 分?jǐn)?shù)再跑一遍有限制條件的版本對(duì)比 OOB 分?jǐn)?shù)漲了說(shuō)明限制有效跌了說(shuō)明限制過(guò)度。我習(xí)慣把 OOB 分?jǐn)?shù)當(dāng)作調(diào)參時(shí)的主要參照省下交叉驗(yàn)證的大量時(shí)間。3. 串行集成Boosting 家族從 AdaBoost 到 GBDT 再到 XGBoost3.1 Boosting 的核心邏輯每個(gè)模型負(fù)責(zé)“上一輪沒(méi)做對(duì)的事”如果把 Bagging 比作“并行開(kāi)會(huì)、獨(dú)立發(fā)言”Boosting 就是“接力攻堅(jiān)、步步為營(yíng)”。它訓(xùn)練一堆模型但順序有先后第 2 個(gè)模型重點(diǎn)關(guān)注第 1 個(gè)模型做錯(cuò)的樣本第 3 個(gè)模型重點(diǎn)關(guān)注前兩個(gè)模型的殘差如此往復(fù)。AdaBoost 的做法是改變樣本權(quán)重——被分錯(cuò)的樣本權(quán)重變大下一輪模型被迫把注意力集中在這些難樣本上。GBDT梯度提升決策樹換了一種更通用的表述每一輪新增的樹去擬合前面所有樹的負(fù)梯度也就是“殘差”。對(duì)于回歸任務(wù)殘差就是真實(shí)值與當(dāng)前預(yù)測(cè)值之差對(duì)于分類任務(wù)這個(gè)殘差被替換為概率空間上的梯度。為什么擬合殘差有效因?yàn)槊恳惠喍荚谛拚?dāng)前的錯(cuò)誤方向相當(dāng)于沿著損失函數(shù)下降的方向逐步逼近最優(yōu)解。這里有一個(gè)新手容易犯的概念混淆AdaBoost 和 GBDT 都叫 Boosting但 AdaBoost 通過(guò)樣本權(quán)重來(lái)體現(xiàn)“關(guān)注錯(cuò)誤”GBDT 通過(guò)擬合殘差來(lái)體現(xiàn)。前者對(duì)異常值極其敏感因?yàn)楫惓｜c(diǎn)權(quán)重會(huì)被不斷放大后者在損失函數(shù)選擇上更靈活因此衍生出了 XGBoost、LightGBM 等一堆工程化實(shí)現(xiàn)。理解了這一點(diǎn)你就能明白為什么大多數(shù)比賽和工業(yè)項(xiàng)目最終都選了 GBDT 系算法而不是 AdaBoost。3.2 AdaBoost 與梯度提升的最小實(shí)現(xiàn)從 sklearn 到手動(dòng)理解先用 sklearn 把 AdaBoost 跑通代碼很簡(jiǎn)單from sklearn.ensemble import AdaBoostClassifier ada_clf AdaBoostClassifier( estimatorDecisionTreeClassifier(max_depth1, random_state42), # 樹樁 n_estimators200, learning_rate0.5, algorithmSAMME, random_state42 ) ada_clf.fit(X_train, y_train) print(fAdaBoost Test Accuracy: {accuracy_score(y_test, ada_clf.predict(X_test)):.4f})AdaBoost 的基模型在 sklearn 里默認(rèn)就是深度為 1 的決策樹樁algorithmSAMME是為了兼容多分類的變體。learning_rate0.5表示每一步只按 0.5 的步長(zhǎng)采納當(dāng)前模型的貢獻(xiàn)這樣后續(xù)模型還能有修正空間步長(zhǎng)太大會(huì)導(dǎo)致模型在少數(shù)難樣本上用力過(guò)猛太小則訓(xùn)練緩慢。跑完這段代碼后你可以打印ada_clf.estimator_errors_看看每一輪的加權(quán)誤差誤差曲線如果后期開(kāi)始震蕩說(shuō)明步長(zhǎng)沒(méi)調(diào)好或者樹樁太弱。再看回歸任務(wù)的 GBDT 實(shí)現(xiàn)同樣是 sklearn 一行搞定from sklearn.ensemble import GradientBoostingRegressor from sklearn.metrics import mean_squared_error gb_reg GradientBoostingRegressor( n_estimators200, learning_rate0.05, max_depth3, subsample0.8, random_state42 ) gb_reg.fit(X_train_reg, y_train_reg) # 回歸數(shù)據(jù)集 pred gb_reg.predict(X_test_reg) print(fGBDT RMSE: {mean_squared_error(y_test_reg, pred, squaredFalse):.4f})subsample0.8是隨機(jī)梯度提升的做法每輪只用 80% 的樣本訓(xùn)練當(dāng)前樹。這個(gè)參數(shù)不是為了省計(jì)算而是引入隨機(jī)性來(lái)降低與 Bagging 類似的方差同時(shí)加快訓(xùn)練。經(jīng)驗(yàn)上learning_rate與n_estimators必須聯(lián)合調(diào)整學(xué)習(xí)率減半需要的樹數(shù)量大致翻倍。你想快速驗(yàn)證這一點(diǎn)可以分別跑(0.1, 100)和(0.05, 200)兩組參數(shù)觀察測(cè)試分?jǐn)?shù)是否接近。3.3 GBDT 的三件套調(diào)參學(xué)習(xí)率、樹深度與子采樣GBDT 系模型在實(shí)踐中最需要關(guān)注的三個(gè)參數(shù)就是learning_rate、max_depth和subsample。它們之間是互相牽制的關(guān)系。learning_rate控制每棵樹貢獻(xiàn)的權(quán)重。數(shù)值越小模型越保守需要越多樹來(lái)擬合同樣的信號(hào)數(shù)值太大前幾棵樹就把訓(xùn)練集學(xué)滿了后面全是噪音擬合。我一般先用固定學(xué)習(xí)率 0.1 跑一遍記錄驗(yàn)證集分?jǐn)?shù)曲線然后把學(xué)習(xí)率降到 0.05、樹數(shù)量翻倍再對(duì)比曲線。如果兩次效果接近說(shuō)明模型容量足夠問(wèn)題在別處如果 0.05 顯著更好說(shuō)明 0.1 時(shí)已經(jīng)過(guò)擬合了。max_depth在 GBDT 中通常取值 3 到 6遠(yuǎn)小于單棵決策樹的深度。原因是 Boosting 每次只擬合殘差不需要太復(fù)雜的樹深度過(guò)深反而讓當(dāng)前樹“想太多”把殘差里的噪聲也學(xué)進(jìn)去。subsample是行采樣比例0.7 到 0.9 之間是常用區(qū)間它對(duì)防止過(guò)擬合的貢獻(xiàn)在數(shù)據(jù)量小的時(shí)候尤其明顯。這三個(gè)參數(shù)的正確調(diào)參順序很重要。我建議先固定learning_rate0.1用交叉驗(yàn)證搜max_depth和subsample找到合適區(qū)間后再把學(xué)習(xí)率降下來(lái)、把樹數(shù)量補(bǔ)上去最后微調(diào)早停。順序反了會(huì)浪費(fèi)時(shí)間因?yàn)槟阍谝粋€(gè)過(guò)擬合狀態(tài)下調(diào)學(xué)習(xí)率結(jié)論沒(méi)有參考價(jià)值。3.4 工程化 BoostingXGBoost 與 LightGBM 該怎么選當(dāng)你從 sklearn 切到真正的工程化 Boosting 庫(kù)時(shí)先看這張對(duì)比表再?zèng)Q定用哪個(gè)對(duì)比維度XGBoostLightGBM分裂策略預(yù)排序 直方圖近似基于梯度的單邊采樣GOSS 互斥特征捆綁EFB訓(xùn)練速度中等大數(shù)據(jù)集上明顯更快內(nèi)存占用較高更低類別特征支持需手動(dòng)編碼支持原生類別特征擅長(zhǎng)場(chǎng)景中小數(shù)據(jù)、稀疏特征大規(guī)模數(shù)據(jù)、高維特征如果你只是想在 7 天速成里快速拿到可靠結(jié)果我的建議是中小數(shù)據(jù)集優(yōu)先 XGBoost因?yàn)樗€(wěn)定、文檔更成熟數(shù)據(jù)量超過(guò)幾十萬(wàn)行且特征稀疏時(shí)直接換 LightGBM速度差距會(huì)非常明顯。下面用 XGBoost 的 sklearn 接口做一個(gè)最小示例from xgboost import XGBClassifier from sklearn.metrics import roc_auc_score xgb_clf XGBClassifier( n_estimators300, learning_rate0.05, max_depth4, subsample0.8, colsample_bytree0.8, # 每棵樹隨機(jī)使用 80% 的特征 eval_metriclogloss, early_stopping_rounds30, random_state42 ) xgb_clf.fit( X_train, y_train, eval_set[(X_test, y_test)], verboseFalse ) print(fXGB AUC: {roc_auc_score(y_test, xgb_clf.predict_proba(X_test)[:, 1]):.4f})這段代碼里early_stopping_rounds30是防止過(guò)擬合的關(guān)鍵當(dāng)測(cè)試集合上的 logloss 連續(xù) 30 輪沒(méi)有提升訓(xùn)練自動(dòng)終止best_iteration屬性會(huì)告訴你最佳樹數(shù)量。colsample_bytree0.8是隨機(jī)森林里特征隨機(jī)性的 Boosting 版本它迫使每棵樹只依賴部分特征增加多樣性。LightGBM 的接口略有不同它用n_estimators對(duì)應(yīng)同樣的概念需要額外設(shè)置num_leaves而不是max_depth。num_leaves理論上可以大于2^max_depth因此它能擬合更復(fù)雜的局部結(jié)構(gòu)但也更容易過(guò)擬合。我的經(jīng)驗(yàn)是先用默認(rèn)num_leaves31如果驗(yàn)證集分?jǐn)?shù)不如 XGBoost再逐步調(diào)整而不是一上來(lái)就改得面目全非。4. 集成之集成Stacking 與 Blending讓模型預(yù)測(cè)值變成新特征4.1 Stacking 為什么能漲點(diǎn)元模型學(xué)的是“誰(shuí)在哪些樣本上更可靠”Stacking 的思路比 Bagging 和 Boosting 又進(jìn)了一步Bagging 讓基模型投票Boosting 讓基模型接力而 Stacking 干脆把基模型的預(yù)測(cè)結(jié)果當(dāng)作新特征再訓(xùn)練一個(gè)元模型來(lái)學(xué)習(xí)“在什么情況下應(yīng)該更相信哪個(gè)基模型”。舉例來(lái)說(shuō)邏輯回歸可能在樣本 A 上很準(zhǔn)隨機(jī)森林在樣本 B 上很準(zhǔn)Stacking 的元模型會(huì)學(xué)到這個(gè)規(guī)律而不是簡(jiǎn)單投票。這里最關(guān)鍵的操作是防止“數(shù)據(jù)泄漏”。如果直接用基模型在訓(xùn)練集上的預(yù)測(cè)結(jié)果作為元模型的輸入基模型已經(jīng)見(jiàn)過(guò)這些樣本預(yù)測(cè)結(jié)果會(huì)偏樂(lè)觀元模型學(xué)到的就是虛高信號(hào)。正確做法是用 K 折交叉驗(yàn)證為每個(gè)訓(xùn)練樣本生成“袋外預(yù)測(cè)”O(jiān)ut-of-Fold簡(jiǎn)稱 OOF比如 5 折每次用 4 折訓(xùn)練基模型預(yù)測(cè)剩下 1 折循環(huán) 5 次后每個(gè)訓(xùn)練樣本都拿到一個(gè)“沒(méi)見(jiàn)過(guò)它”的預(yù)測(cè)值。測(cè)試集上的處理同樣要注意每一折訓(xùn)練好的基模型都要對(duì)完整測(cè)試集做預(yù)測(cè)然后取平均得到測(cè)試集的最終預(yù)測(cè)特征。很多人第一版 Stacking 漲不了點(diǎn)幾乎都是因?yàn)檫@一步偷懶直接用全量訓(xùn)練模型預(yù)測(cè)測(cè)試集導(dǎo)致特征分布不一致。4.2 用交叉驗(yàn)證生成 OOF 預(yù)測(cè)完整可復(fù)現(xiàn)代碼下面這段代碼手動(dòng)實(shí)現(xiàn)了 5 折 Stacking 的全流程基模型用隨機(jī)森林和邏輯回歸元模型用邏輯回歸import numpy as np from sklearn.model_selection import StratifiedKFold from sklearn.ensemble import RandomForestClassifier from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score # 準(zhǔn)備 OOF 矩陣形狀是 (訓(xùn)練樣本數(shù), 基模型個(gè)數(shù)) kf StratifiedKFold(n_splits5, shuffleTrue, random_state42) base_models [ (rf, RandomForestClassifier(n_estimators100, max_depth6, random_state42)), (lr, LogisticRegression(max_iter1000, random_state42)) ] # OOF 預(yù)測(cè)和測(cè)試集預(yù)測(cè)容器 oof_pred np.zeros((len(X_train), len(base_models))) test_pred np.zeros((len(X_test), len(base_models))) for idx, (name, model) in enumerate(base_models): test_fold_pred np.zeros(len(X_test)) # 累計(jì)測(cè)試集預(yù)測(cè) for train_idx, val_idx in kf.split(X_train, y_train): # 拆出當(dāng)前折的訓(xùn)練集和驗(yàn)證集 X_fold_train, X_fold_val X_train[train_idx], X_train[val_idx] y_fold_train, y_fold_val y_train[train_idx], y_train[val_idx] # 在當(dāng)前折上訓(xùn)練基模型 model.fit(X_fold_train, y_fold_train) # 對(duì)驗(yàn)證集預(yù)測(cè)概率填充 OOF oof_pred[val_idx, idx] model.predict_proba(X_fold_val)[:, 1] # 對(duì)完整測(cè)試集預(yù)測(cè)概率累加后取平均 test_fold_pred model.predict_proba(X_test)[:, 1] / kf.get_n_splits() test_pred[:, idx] test_fold_pred # 訓(xùn)練元模型輸入是基模型的預(yù)測(cè)概率 meta_model LogisticRegression(max_iter1000, random_state42) meta_model.fit(oof_pred, y_train) final_pred meta_model.predict(test_pred) print(fStacking Test Accuracy: {accuracy_score(y_test, final_pred):.4f})這段代碼有幾個(gè)細(xì)節(jié)值得展開(kāi)。第一StratifiedKFold保證每折的正負(fù)樣本比例和全量數(shù)據(jù)一致分類問(wèn)題必須用分層采樣否則某些折里可能全是一個(gè)類別。第二OOF 矩陣的每一列對(duì)應(yīng)一個(gè)基模型在全部訓(xùn)練樣本上的“干凈預(yù)測(cè)”元模型拿到的特征不會(huì)包含“記憶過(guò)的答案”。第三測(cè)試集預(yù)測(cè)用的是每一折模型預(yù)測(cè)的平均值這一步不可省如果某一折因?yàn)殡S機(jī)種子問(wèn)題導(dǎo)致某模型沒(méi)收斂平均值能平滑掉異常波動(dòng)。跑通這段代碼后建議你檢查一下 OOF 矩陣兩列之間的相關(guān)性。如果相關(guān)性超過(guò) 0.95說(shuō)明兩個(gè)基模型幾乎沒(méi)有差異Stacking 提升空間有限。這時(shí)候與其繼續(xù)堆模型不如回頭改進(jìn)基模型的多樣性。4.3 Blending 作為輕量替代五分鐘版 StackingBlending 是 Stacking 的簡(jiǎn)化版它不做交叉驗(yàn)證而是直接把訓(xùn)練集切出一部分比如 10%當(dāng)作“小驗(yàn)證集”基模型只在剩余 90% 上訓(xùn)練然后對(duì)小驗(yàn)證集和測(cè)試集做預(yù)測(cè)元模型用小驗(yàn)證集的預(yù)測(cè)結(jié)果來(lái)訓(xùn)練。代碼如下from sklearn.model_selection import train_test_split # 從訓(xùn)練集中切出 10% 作為元模型的小驗(yàn)證集 X_meta_train, X_meta_val, y_meta_train, y_meta_val train_test_split( X_train, y_train, test_size0.1, stratifyy_train, random_state42 ) def get_base_predictions(model, X_fit, y_fit, X_predict): model.fit(X_fit, y_fit) return model.predict_proba(X_predict)[:, 1] # 基模型在小驗(yàn)證集和測(cè)試集上的預(yù)測(cè) rf_meta_val get_base_predictions(RandomForestClassifier(n_estimators100, random_state42, max_depth6), X_meta_train, y_meta_train, X_meta_val) lr_meta_val get_base_predictions(LogisticRegression(max_iter1000, random_state42), X_meta_train, y_meta_train, X_meta_val) rf_test get_base_predictions(RandomForestClassifier(n_estimators100, random_state42, max_depth6), X_meta_train, y_meta_train, X_test) lr_test get_base_predictions(LogisticRegression(max_iter1000, random_state42), X_meta_train, y_meta_train, X_test) # 拼接特征后訓(xùn)練元模型 meta_features_val np.column_stack([rf_meta_val, lr_meta_val]) meta_features_test np.column_stack([rf_test, lr_test]) meta_model LogisticRegression(max_iter1000) meta_model.fit(meta_features_val, y_meta_val) blend_pred meta_model.predict(meta_features_test) print(fBlending Test Accuracy: {accuracy_score(y_test, blend_pred):.4f})Blending 的優(yōu)點(diǎn)是代碼量少、邏輯直白訓(xùn)練成本低適合在時(shí)間緊急時(shí)快速出一個(gè)集成結(jié)果。代價(jià)是它比 Stacking 多浪費(fèi)了 10% 的訓(xùn)練數(shù)據(jù)給元模型小數(shù)據(jù)集上效果可能不如 OOF 方式。我的建議是7 天速成的第 5 天先跑 Blending 理解流程第 6 天再切到完整的 Stacking兩者對(duì)比一下就能直觀感受到 OOF 的價(jià)值。4.4 基模型多樣性與元模型選擇的實(shí)操建議Stacking 漲不漲點(diǎn)一半取決于基模型的選擇一半取決于元模型的設(shè)計(jì)?；Ｐ筒灰x同類算法否則學(xué)到的錯(cuò)誤模式高度一致。我常用的組合是邏輯回歸簡(jiǎn)單線性基線、隨機(jī)森林高方差、并行、GBDT高偏差、串行、XGBoost帶正則的 Boosting。這四個(gè)模型的預(yù)測(cè)概率相關(guān)性通常能控制在 0.85 以下相當(dāng)于提供了四種不同視角。元模型的選擇沒(méi)有統(tǒng)一答案。我的經(jīng)驗(yàn)是先從邏輯回歸開(kāi)始因?yàn)樗?xùn)練快、結(jié)果穩(wěn)、不容易過(guò)擬合如果把 OOF 特征換成邏輯回歸后驗(yàn)證分?jǐn)?shù)有明顯提升說(shuō)明信息融合有效再試更復(fù)雜的元模型。如果你在元模型里加入原始特征比如把訓(xùn)練數(shù)據(jù)的原始數(shù)值特征也拼進(jìn) OOF 矩陣效果可能更好但也更容易過(guò)擬合因?yàn)樵Ｐ同F(xiàn)在有了直接“看到”原始特征的能力對(duì) OOF 特征的依賴會(huì)下降。這一步要不要做建議以驗(yàn)證集分?jǐn)?shù)為準(zhǔn)。另外一個(gè)經(jīng)常被忽略的點(diǎn)如果基模型里有 XGBoost 或 LightGBM它們的predict_proba輸出在極端類別不均衡下可能非常集中比如全是 0.01 或 0.99這會(huì)干擾元模型的邏輯回歸擬合。解決辦法是先把 OOF 概率做標(biāo)簽編碼或分位變換再輸入元模型。這個(gè)細(xì)節(jié)在第 5 章的類別不平衡部分還會(huì)再提。5. 集成學(xué)習(xí)避坑指南5 個(gè)真實(shí)踩坑記錄與排查思路5.1 OOF 與驗(yàn)證集劃分不當(dāng)導(dǎo)致線下漲點(diǎn)、線上翻車現(xiàn)象在本地用隨機(jī)劃分的訓(xùn)練測(cè)試集Stacking 之后準(zhǔn)確率提升了 2%一上真實(shí)環(huán)境或線上 A/B 測(cè)試效果反而比單模型還差。原因數(shù)據(jù)里可能存在時(shí)間依賴或分組結(jié)構(gòu)。比如同一條用戶的多條行為記錄被隨機(jī)分到了訓(xùn)練集和測(cè)試集模型等于“見(jiàn)過(guò)”這個(gè)人了OOF 預(yù)測(cè)和元模型訓(xùn)練都受到了泄漏信號(hào)的干擾。解決檢查數(shù)據(jù)里有沒(méi)有“同一實(shí)體多條記錄”的情況比如用戶 ID、設(shè)備 ID、訂單 ID。有的話用GroupKFold按實(shí)體分組切分保證同一個(gè)實(shí)體的數(shù)據(jù)全部落在同一折里。如果數(shù)據(jù)是按時(shí)間產(chǎn)生的直接按時(shí)間點(diǎn)切分訓(xùn)練集和測(cè)試集并且用時(shí)間前移的交叉驗(yàn)證方式。排查時(shí)先畫一張數(shù)據(jù)的時(shí)間分布圖如果訓(xùn)練集和測(cè)試集的類別分布或特征分布有明顯漂移先處理分布問(wèn)題再談集成。5.2 基模型多樣性不足集成活成了“復(fù)讀機(jī)”現(xiàn)象隨機(jī)森林 XGBoost LightGBM 三個(gè)模型做了 Stacking結(jié)果和直接用 XGBoost 幾乎一樣。原因這三個(gè)模型雖然算法不同但在同一個(gè)數(shù)據(jù)集上、用同一套特征工程學(xué)到的主要規(guī)律高度相似。它們對(duì)正確樣本的看法一致對(duì)錯(cuò)誤樣本的錯(cuò)誤方式也雷同元模型沒(méi)有差異化信息可用。解決先計(jì)算 OOF 預(yù)測(cè)之間的相關(guān)性矩陣如果相關(guān)系數(shù)普遍高于 0.9說(shuō)明多樣性嚴(yán)重不足。這時(shí)優(yōu)先調(diào)整方向不是繼續(xù)加模型而是往特征子集、樣本子集或算法類型三個(gè)方向制造差異。常見(jiàn)做法是利用特征分組讓模型 A 只用數(shù)值特征模型 B 只用類別特征模型 C 用全部特征或者同一種算法換不同超參數(shù)比如深樹和淺樹。用這種手法把相關(guān)性壓到 0.8 以下Stacking 才有實(shí)際意義。5.3 早停與學(xué)習(xí)率n_estimators 加得越多越準(zhǔn)是錯(cuò)覺(jué)現(xiàn)象訓(xùn)練 Boosting 模型時(shí)每次把n_estimators翻倍驗(yàn)證集分?jǐn)?shù)都在漲直到某個(gè)點(diǎn)后開(kāi)始劇烈下降但你看訓(xùn)練集分?jǐn)?shù)還在穩(wěn)步上升。原因Boosting 的每一輪都在擬合當(dāng)前殘差樹的數(shù)量越多模型對(duì)訓(xùn)練集的記憶越完整。驗(yàn)證集分?jǐn)?shù)開(kāi)始掉頭的那一刻就是模型開(kāi)始把噪聲當(dāng)成規(guī)律的時(shí)刻。解決固定使用early_stopping_rounds同時(shí)把learning_rate降到 0.05 或更低。一個(gè)常用做法是先用 0.1 的學(xué)習(xí)率找出大致的最佳區(qū)間再把學(xué)習(xí)率減半、樹數(shù)量翻倍繼續(xù)觀察驗(yàn)證曲線是否改善。注意早停是基于驗(yàn)證集指標(biāo)不是訓(xùn)練集有些人習(xí)慣用訓(xùn)練集 logloss 做早停等于用開(kāi)卷考試成績(jī)判斷學(xué)生水平不可取。5.4 類別不均衡下 Boosting 的“強(qiáng)者恒強(qiáng)”現(xiàn)象二分類問(wèn)題正樣本只占 5%負(fù)樣本占 95%跑完 XGBoost 后準(zhǔn)確率 95%看起來(lái)很高但一看 F1 分?jǐn)?shù)慘不忍睹正樣本幾乎全被預(yù)測(cè)成負(fù)類。原因Boosting 在每一輪加權(quán)時(shí)會(huì)把更多權(quán)重放在被分錯(cuò)的樣本上。但初始階段負(fù)樣本數(shù)量壓倒性占優(yōu)模型很容易把全部樣本預(yù)測(cè)為負(fù)類造成后來(lái)的輪次里正樣本權(quán)重雖然上升但整體決策邊界仍偏向負(fù)類一側(cè)。解決先換評(píng)估指標(biāo)不要用準(zhǔn)確率改用 F1、PR-AUC 或 ROC-AUC。然后給模型傳遞類別權(quán)重參數(shù)XGBoost 里是scale_pos_weight通常設(shè)為負(fù)樣本數(shù)除以正樣本數(shù)LightGBM 里用is_unbalanceTrue或scale_pos_weight。如果還不行對(duì)少數(shù)類做樣本加權(quán)或上采樣別急著用 SMOTE先看類別權(quán)重能不能把決策邊界拉回來(lái)。集成模型內(nèi)部機(jī)制復(fù)雜改完權(quán)重后一定要同時(shí)觀察訓(xùn)練集和驗(yàn)證集的分差權(quán)重過(guò)大會(huì)讓模型在訓(xùn)練集上過(guò)擬合多數(shù)類。5.5 隨機(jī)種子與多線程集成結(jié)果像開(kāi)盲盒現(xiàn)象同一份代碼、同一個(gè)參數(shù)配置每次運(yùn)行得到的驗(yàn)證集分?jǐn)?shù)都不一樣反復(fù)橫跳 0.5% 左右。原因隨機(jī)森林的行采樣、Boosting 的子采樣、交叉驗(yàn)證的分割順序都依賴隨機(jī)數(shù)生成器同時(shí)n_jobs-1并行訓(xùn)練時(shí)線程調(diào)度的隨機(jī)性也會(huì)影響浮點(diǎn)數(shù)累加順序產(chǎn)生微小差異。解決在代碼里給所有模型統(tǒng)一設(shè)置random_state交叉驗(yàn)證也用同一個(gè)隨機(jī)種子如果用了 XGBoost 或 LightGBM把它們的random_state也設(shè)成同一個(gè)整數(shù)。不光模型要固定數(shù)據(jù) shuffle 的順序也要固定。如果你發(fā)現(xiàn)固定了所有隨機(jī)種子后結(jié)果仍不穩(wěn)大概率是多線程浮點(diǎn)累加導(dǎo)致此時(shí)把n_jobs從-1調(diào)成1復(fù)測(cè)一次如果結(jié)果穩(wěn)定了說(shuō)明是并行計(jì)算引入的數(shù)值波動(dòng)。對(duì)上線模型我通常用固定隨機(jī)種子跑 3 次取均值把這個(gè)均值作為提交分?jǐn)?shù)。6. 7 天收尾手法用三份驗(yàn)收?qǐng)?bào)告鎖定模型效果別把調(diào)參過(guò)程當(dāng)黑匣子7 天速成的最后一天千萬(wàn)不要急著去搜新模型而是做三件事。第一件事是回顧實(shí)驗(yàn)記錄把 7 天里跑過(guò)的每一個(gè)模型組合、每一組超參數(shù)、對(duì)應(yīng)的驗(yàn)證集分?jǐn)?shù)和 OOF 相關(guān)性整理成一張表。沒(méi)有記錄就等于沒(méi)做過(guò)因?yàn)榛叵氩怀瞿慕M配置是因?yàn)楦牧四膫€(gè)參數(shù)才漲的。我習(xí)慣用 Markdown 表格記錄每行是一次實(shí)驗(yàn)列包括基模型列表、關(guān)鍵參數(shù)、驗(yàn)證分?jǐn)?shù)、OOF 相關(guān)性、訓(xùn)練用時(shí)備注里寫當(dāng)時(shí)的判斷。這張表就是你下次面對(duì)同類問(wèn)題時(shí)的最強(qiáng)參考。第二件事是穩(wěn)定性驗(yàn)證用一個(gè)小腳本對(duì)最終選定的集成模型跑 5 次不同隨機(jī)種子記錄每次的驗(yàn)證集分?jǐn)?shù)計(jì)算均值和標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差小于 0.003 才說(shuō)明模型結(jié)果可復(fù)現(xiàn)如果標(biāo)準(zhǔn)差偏大說(shuō)明模型容量或數(shù)據(jù)切分本身不穩(wěn)定這時(shí)候分析單次分?jǐn)?shù)沒(méi)有意義。穩(wěn)定性驗(yàn)證的目的是讓你在匯報(bào)結(jié)果時(shí)心里有底漲的那 2% 是真實(shí)差異還是隨機(jī)波動(dòng)。第三件事是特征重要性歸因把最終 Stacking 模型里每個(gè)基模型的 OOF 預(yù)測(cè)重要性輸出出來(lái)看看元模型到底在依賴誰(shuí)。如果某個(gè)基模型的 OOF 特征在元模型里的系數(shù)接近零說(shuō)明它對(duì)這個(gè)數(shù)據(jù)集沒(méi)有貢獻(xiàn)下次可以去掉如果某個(gè)特征在隨機(jī)森林里重要性極高但在 XGBoost 里很低說(shuō)明它對(duì)不同算法有不同價(jià)值這個(gè)特征值得保留。用permutation_importance計(jì)算擾動(dòng)每個(gè)特征后驗(yàn)證分?jǐn)?shù)的下降量比內(nèi)置的重要性更直觀。最后分享一個(gè)我自己的教訓(xùn)有一次做時(shí)間序列預(yù)測(cè)花了三天調(diào)好了 Stacking線上效果異常優(yōu)秀但因?yàn)閷?shí)驗(yàn)中途換過(guò)兩次數(shù)據(jù)切分方式?jīng)]有統(tǒng)一記錄復(fù)盤時(shí)完全無(wú)法確認(rèn)哪個(gè)版本對(duì)應(yīng)哪個(gè)結(jié)果最終只能重跑一組基礎(chǔ)實(shí)驗(yàn)確認(rèn)。從那以后我把“當(dāng)天實(shí)驗(yàn)當(dāng)天記錄”定成鐵律調(diào)參過(guò)程絕不當(dāng)黑匣子。這 7 天的速成也許不能讓你變成集成學(xué)習(xí)專家但能讓你建立起一套從模型選型到實(shí)驗(yàn)驗(yàn)收的完整工作流。希望你也能在最后的驗(yàn)收環(huán)節(jié)里找到自己最順手的那一套記錄格式。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取