別忘了點“在看”呀今天這篇是寫給我們自己人看的做機(jī)器學(xué)習(xí)這一行如果你問一個從業(yè)者“你在真實項目里最常用哪個模型”回答大概率不是某個花哨的深度學(xué)習(xí)網(wǎng)絡(luò)而是一句平淡的“調(diào)個梯度提升樹或者跑個隨機(jī)森林”。這兩個東西都屬于集成算法Ensemble Learning。圈里有人喜歡用“三個臭皮匠頂個諸葛亮”來解釋它也有人管它叫“集成學(xué)習(xí)大法好”但我覺得最傳神的說法還是那句七個葫蘆一條心。什么意思呢單個葫蘆娃打架各有各的本事但也各有各的短板可一旦七個兄弟擰成一股繩連妖怪都得繞著走。集成算法就是這個套路多個弱學(xué)習(xí)器weak learner各自為戰(zhàn)最后通過投票、加權(quán)、疊加等方式統(tǒng)一決策硬生生把“一般般”變成“很能打”。這篇文章不聊花架子直接拆解集成算法里的三種主流玩法——Bagging、Boosting、Stacking——把它們的原理、流程、參數(shù)直覺、工程坑位一次說透。適合正在學(xué)機(jī)器學(xué)習(xí)基礎(chǔ)、準(zhǔn)備做項目實戰(zhàn)的新手也適合已經(jīng)用過隨機(jī)森林或XGBoost但一直沒把底層邏輯理順的老手。1. 集成算法的整體設(shè)計思路1.1 為什么單個模型總有種“力不從心”的感覺在聊集成之前先想清楚一個問題一個模型為什么會有誤差機(jī)器學(xué)習(xí)里有個經(jīng)典的偏差-方差分解Bias-Variance Decomposition可以把模型的泛化誤差拆成三塊偏差Bias、方差Variance和不可避免的噪聲Noise。偏差大說明模型太簡單對訓(xùn)練數(shù)據(jù)的擬合能力不足典型的欠擬合。方差大說明模型太敏感訓(xùn)練數(shù)據(jù)稍微抖一下預(yù)測結(jié)果就劇烈波動典型的過擬合。噪聲是數(shù)據(jù)本身自帶的任何模型都沒辦法消除。單個模型的問題在于你很難同時把偏差和方差都壓得很低。拿決策樹舉例樹很淺偏差大、欠擬合樹很深方差大、過擬合。你調(diào)參調(diào)到半夜無非就是在“偏差”和“方差”之間找個能接受的平衡點。但是單個模型的容量有限平衡點附近的能力上限就在那里。那怎么辦呢?fù)Q個思路——既然一個模型搞不定那就別讓它單打獨斗了。多訓(xùn)練幾個模型讓它們互相彌補(bǔ)、互相糾錯從統(tǒng)計上把誤差攤薄。這就是集成算法最底層的動機(jī)。我自己的理解是集成學(xué)習(xí)本質(zhì)上是在用“模型數(shù)量的冗余”換取“預(yù)測結(jié)果的穩(wěn)定”這種思路在工業(yè)界特別好使因為工程上你沒法保證拿到的是完美數(shù)據(jù)但你總能擠出時間多跑幾個模型。1.2 集成起效果的兩個必要條件準(zhǔn)一點散一點不是隨便把幾個模型堆在一起就能變強(qiáng)的。葫蘆七兄弟能打勝仗是因為每個人都有自己的絕活而不是七個一模一樣的葫蘆娃復(fù)制粘貼。集成算法有效必須同時滿足兩個條件第一基學(xué)習(xí)器的準(zhǔn)確率至少要高于隨機(jī)猜測。哪怕只是比瞎蒙好一點點這個基學(xué)習(xí)器就有貢獻(xiàn)價值。第二基學(xué)習(xí)器之間要有足夠的差異性。如果所有模型犯的錯都一樣投票的時候錯的一邊還是錯的那邊集成就沒有意義了。這兩句話看似簡單其實是后面所有技術(shù)細(xì)節(jié)的出發(fā)點。Bagging通過樣本擾動制造差異性Boosting通過樣本權(quán)重制造差異性Stacking通過模型結(jié)構(gòu)差異制造差異性。你看三兄弟的分岔路從這里就開始了。理解了“準(zhǔn)一點散一點”再看任何集成方法的設(shè)計都不會覺得突兀。1.3 三條主流路線的性格差異集成算法發(fā)展到現(xiàn)在主流路線就三條打分如下路線代表算法串行/并行核心目標(biāo)一句話性格Bagging隨機(jī)森林并行降方差各干各的最后投票老大哥風(fēng)格BoostingAdaBoost、GBDT、XGBoost串行降偏差后一個盯著前一個的錯連環(huán)糾錯Stacking模型融合層級組合優(yōu)勢讓聰明人集體開會再請個高管拍板接下來三章我分別展開講。2. Bagging各打各的最后投票2.1 自助采樣法每個模型看到的“世界”都不太一樣Bagging的全稱是Bootstrap Aggregating直譯過來就是“自助采樣聚合”。這里的關(guān)鍵詞是“自助采樣”Bootstrap Sampling。什么叫自助采樣給你一個包含N個樣本的訓(xùn)練集每次從里面隨機(jī)抽1個樣本抽完放回去再抽下一個。重復(fù)N次得到一個新的訓(xùn)練集。因為是有放回抽樣新訓(xùn)練集里可能有重復(fù)樣本有些原樣本則一次都沒出現(xiàn)。數(shù)學(xué)上有一個經(jīng)典結(jié)論當(dāng)N足夠大時每個新訓(xùn)練集大約包含原數(shù)據(jù)集63.2%的不重復(fù)樣本剩下約36.8%的樣本是沒被抽中的。那些沒被抽中的樣本有個專門的名字叫“包外樣本”O(jiān)ut-of-Bag簡稱OOB它們可以天然地當(dāng)作驗證集來用不需要額外劃分驗證數(shù)據(jù)這算是Bagging附帶贈送的一個大福利。在每個基學(xué)習(xí)器的訓(xùn)練中用一份通過自助采樣得到的“副本”數(shù)據(jù)來訓(xùn)練。因為每份副本的數(shù)據(jù)分布都略有差異基學(xué)習(xí)器之間就自然而然地產(chǎn)生了差異性。最后回歸任務(wù)對所有基學(xué)習(xí)器的輸出取平均分類任務(wù)做多數(shù)投票或者對各類別概率求平均再取最大。就這么簡單粗暴。2.2 為什么Bagging能降低方差如果你手頭有一組獨立同分布的隨機(jī)變量每個變量的方差都是σ2那它們的平均值方差就是σ2/k。只要k足夠大平均值的波動會越來越小。這就是統(tǒng)計學(xué)里的基本事實也是Bagging降方差的理論根基。但這里有一個容易誤導(dǎo)人的地方Bagging里的基學(xué)習(xí)器并不是真正獨立的因為它們都來自同一份原始數(shù)據(jù)的自助采樣副本而且底層的模型同質(zhì)比如都是決策樹所以它們之間其實存在正相關(guān)性。那降方差的效果就要打折扣。相關(guān)系數(shù)ρ越高集成的方差下降越有限。所以Bagging的效果上限很大程度上取決于你能不能把基學(xué)習(xí)器之間的相關(guān)性壓下去。而這正是隨機(jī)森林Random Forest做得最漂亮的地方。2.3 隨機(jī)森林的“雙重隨機(jī)”隨機(jī)森林在Bagging的基礎(chǔ)上加了第二重隨機(jī)性不僅在樣本層面做自助采樣在特征層面也做了隨機(jī)選擇。具體來說每次分裂決策樹的一個節(jié)點時不是從全部m個特征里找最優(yōu)分裂特征而是先從全部特征中隨機(jī)抽出k個特征k通常取根號m或log2m再在這k個候選特征里挑選最優(yōu)分裂。這一手非常聰明。如果只用樣本擾動遇到特征特別強(qiáng)的場景所有樹都會優(yōu)先用那一個強(qiáng)特征分裂樹與樹之間長得差不多相關(guān)性很高集成的方差下降效果就被削弱了。加了特征隨機(jī)之后即便最強(qiáng)特征還在大部分樹也不一定能選中它分裂時被迫使用其他特征樹與樹之間的差異就大了。實踐里隨機(jī)森林往往是決策樹Bagging的一個顯著升級版深層原因就在這里。2.4 為什么Bagging的最佳搭檔是決策樹細(xì)想一下Bagging對基學(xué)習(xí)器的要求是“高方差、低偏差”。什么意思呢基學(xué)習(xí)器得足夠敏感數(shù)據(jù)一擾動學(xué)習(xí)器輸出的變化要比較明顯否則集成根本產(chǎn)生不了多樣性。而決策樹天然就有這個脾氣樹一深還原訓(xùn)練數(shù)據(jù)還原得特別徹底方差很高但對訓(xùn)練集的擬合能力也強(qiáng)偏差很低。如果換成線性模型或者KNN這種穩(wěn)定模型你換一份自助采樣副本它學(xué)出來的模型可能幾乎沒變化那Bagging就白搞了。所以實際工程中Bagging的基學(xué)習(xí)器基本默認(rèn)決策樹尤其是CART樹。這不是巧合是性質(zhì)匹配。實操中還有一個非常值得關(guān)注的點如果用Bagging可以讓每棵樹長得非常深甚至不剪枝讓它充分?jǐn)M合訓(xùn)練集把那個“高方差”的性格發(fā)揮出來然后靠集成去平抑方差。這跟Boosting恰好相反后面我會講到。2.5 包外樣本評估與實戰(zhàn)心得我之前在某圖像處理Demo項目里想快速評估隨機(jī)森林的效果但又不想額外劃分驗證集就用了OOB評估。具體做法訓(xùn)練過程中記錄每個樣本是否被某棵樹的自助采樣副本包含。對樣本x只用那些沒有在訓(xùn)練時見過x的樹對x做預(yù)測最后集成起來作為OOB預(yù)測。這個OOB誤差和交叉驗證誤差高度接近但成本低很多。實際操作里直接用random forest框架的話一個參數(shù)oob_score設(shè)為True就能拿到OOB分?jǐn)?shù)。這個指標(biāo)特別適合做超參數(shù)粗篩比如快速比較樹的數(shù)量、最大特征數(shù)哪個設(shè)置更好。用OOB先粗篩一把確定一個候選區(qū)間再拿交叉驗證精調(diào)比每一步都跑交叉驗證省了不知道多少時間。3. Boosting連環(huán)糾錯步步為營3.1 Boosting和Bagging最大的區(qū)別Boosting跟Bagging走了完全相反的路Bagging并行建樹Boosting串行建樹Bagging追求降低方差Boosting追求降低偏差。Boosting的基本流程是先用初始數(shù)據(jù)訓(xùn)練一個弱學(xué)習(xí)器然后根據(jù)當(dāng)前學(xué)習(xí)器的表現(xiàn)調(diào)整訓(xùn)練樣本的權(quán)重或目標(biāo)值讓下一個基學(xué)習(xí)器更關(guān)注之前做錯的樣本。如此反復(fù)迭代最后把所有基學(xué)習(xí)器加權(quán)組合起來。這個思想可以概括成一句話后一個模型站在前一個模型的肩膀上專挑前一個的軟肋打。所以你最終得到的不是一個各管一攤的團(tuán)隊而是一個糾錯鏈條所有模型合在一起共同逼近一個更準(zhǔn)確的函數(shù)形態(tài)。3.2 AdaBoost從“改權(quán)重”開始的經(jīng)典版本AdaBoostAdaptive Boosting自適應(yīng)提升是最早的Boosting算法之一拿到的目標(biāo)不是直接預(yù)測而是“讓模型把注意力放在錯得最多的樣本上”。它的核心流程分三步第一步給每個訓(xùn)練樣本初始化一個權(quán)重通常都是1/N。第二步用當(dāng)前帶權(quán)樣本訓(xùn)練一個基學(xué)習(xí)器計算它在訓(xùn)練集上的加權(quán)錯誤率ε。根據(jù)錯誤率計算這個學(xué)習(xí)器的權(quán)重α公式為α0.5×ln((1-ε)/ε)。這個權(quán)重表示“這個學(xué)習(xí)器說話的分量”。第三步根據(jù)模型是否正確預(yù)測每個樣本更新樣本權(quán)重。被分錯的樣本權(quán)重乘上e^α分對的乘上e^(-α)最后歸一化。簡單說錯得越多的樣本下一輪在樣本里占的比例越大。迭代T輪后得到T個基學(xué)習(xí)器及其權(quán)重α。集成預(yù)測時每個基學(xué)習(xí)器按α加權(quán)投票。AdaBoost訓(xùn)練到后期樣本權(quán)重的分布會變得非常極端——那些極難分類的樣本權(quán)重會累積得非常夸張這既是它抗不過噪聲的原因也是后面改進(jìn)版本要解決的問題。3.3 換個角度看AdaBoost加性模型如果只看AdaBoost的步驟覺得像某種啟發(fā)式的權(quán)重調(diào)整。但從宏觀視角看AdaBoost是典型的加性模型Additive Model最終模型是一堆基學(xué)習(xí)器的加權(quán)和。它本質(zhì)上是在做函數(shù)空間上的梯度下降優(yōu)化的損失函數(shù)是指數(shù)損失L(y,f(x))e^(-yf(x))。這個角度非常關(guān)鍵因為它直接引出了GBDT的核心邏輯既然Boosting是在做函數(shù)空間梯度下降那能不能不限定損失函數(shù)任意給定一個可導(dǎo)損失都用梯度下降的方式去擬合一個弱學(xué)習(xí)器呢答案是能這就有了Gradient Boosting。3.4 GBDT用負(fù)梯度做“偽殘差”GBDTGradient Boosting Decision Tree的訓(xùn)練思路和AdaBoost看起來很不一樣但其實一脈相承。每一輪迭代中我們不是修改樣本權(quán)重而是根據(jù)當(dāng)前集成模型對每個樣本的預(yù)測值計算損失函數(shù)關(guān)于預(yù)測值的負(fù)梯度然后用一棵決策樹去擬合這個負(fù)梯度。當(dāng)損失函數(shù)取平方損失時這個負(fù)梯度恰好等于真實值減預(yù)測值也就是殘差。所以對平方損失而言GBDT每輪就是在擬合殘差。但換成其他損失函數(shù)比如對數(shù)損失、Huber損失負(fù)梯度就不是殘差那么簡單了。所以業(yè)界管它叫“偽殘差”。所有框架的負(fù)面效果都一樣每輪新訓(xùn)練一棵樹讓整體的預(yù)測沿著損失下降最快的方向前進(jìn)這是FLOW的求導(dǎo)思想在函數(shù)空間的應(yīng)用。實際操作中還有個要記得的點GBDT通常用一個較小的學(xué)習(xí)率η比如0.01到0.1來縮放每一棵樹的貢獻(xiàn)即新模型舊模型η×當(dāng)前樹。這不是為了好玩而是為了給后面的迭代留出空間。如果學(xué)習(xí)率太大前面幾輪就把損失壓到很低后面繼續(xù)糾錯的空間被壓縮很容易過擬合。這個小細(xì)節(jié)我踩過很多次坑后面在“參數(shù)直覺”里細(xì)說。3.5 樹模型在Boosting里的角色差異在Bagging里我們鼓勵樹長得深讓方差爆發(fā)出來。但在Boosting里基學(xué)習(xí)器恰恰要用“弱”的——所以實際工程里GBDT的樹一般都很淺常用的max_depth是3到8。這里面的道理是Boosting的核心是靠大量弱學(xué)習(xí)器一點點糾偏每一步走小一點方向更精一點樹太深單棵樹擬合能力太強(qiáng)前面幾輪就把訓(xùn)練集擬合得七七八八后面要么過擬合要么把噪聲也學(xué)進(jìn)去了。所以我自己在調(diào)GBDT類模型包括XGBoost、LightGBM時習(xí)慣性先把max_depth調(diào)小然后通過控制n_estimators和學(xué)習(xí)率來整體平衡擬合能力。樹的數(shù)量不是越多越好也不是越少越好得看著驗證集曲線決定。但是如果你發(fā)現(xiàn)驗證集提升非常緩慢先別急著堆樹看看是不是學(xué)習(xí)率設(shè)置得太小了。注意Boosting系模型對數(shù)據(jù)中的異常值非常敏感。原因很簡單每一輪迭代都會把權(quán)重或梯度集中在“難擬合”的樣本上如果這個難擬合的樣本本身是噪聲那Boosting就是在強(qiáng)行記住垃圾信息。使用前一定要做異常值篩查至少也要用對異常值不太敏感的損失函數(shù)比如Huber損失。4. Stacking讓聰明人開完會高管拍板4.1 什么是Stacking如果說Bagging和Boosting解決的是“同一類模型的集成”問題那Stacking解決的是“不同類模型怎么融合”的問題。它的思路很直白先用多個異構(gòu)的基學(xué)習(xí)器比如邏輯回歸、KNN、決策樹、SVM在訓(xùn)練集上分別訓(xùn)練每個基模型都對樣本產(chǎn)生一個預(yù)測結(jié)果然后把這些預(yù)測結(jié)果作為新的特征拼接成一個“次級訓(xùn)練集”再用一個元學(xué)習(xí)器meta-learner在這個次級訓(xùn)練集上訓(xùn)練學(xué)習(xí)“不同基模型的結(jié)果如何組合最優(yōu)”。聽起來就像開一個評審會各個基模型是不同領(lǐng)域的專家每個專家先獨立給意見最后有一個高管元學(xué)習(xí)器綜合所有人的意見做最終決策。這個高管不關(guān)心原始特征是什么只看每個專家的意見。所以Stacking的核心是“組合權(quán)重的學(xué)習(xí)”。4.2 為什么要用交叉驗證來生成“次級訓(xùn)練集”這是Stacking里最容易被初學(xué)者踩爆的坑。如果你讓基模型在全部訓(xùn)練集上訓(xùn)練然后用它對訓(xùn)練集本身做預(yù)測把預(yù)測結(jié)果當(dāng)作次級特征去訓(xùn)練元學(xué)習(xí)器那必然會發(fā)生嚴(yán)重的過擬合。因為基模型已經(jīng)在訓(xùn)練集上“見過”這些樣本了預(yù)測結(jié)果里帶著大量“背答案”的信息元學(xué)習(xí)器學(xué)到的規(guī)律在真實數(shù)據(jù)上根本不成立。解決辦法就是K折交叉驗證。以5折為例把訓(xùn)練集分成5份每次拿4份訓(xùn)練基模型對剩下1份做預(yù)測。重復(fù)5次每個樣本都會得到一次“模型在沒看過它的情況下”的預(yù)測結(jié)果。把這些跨折預(yù)測拼接起來作為次級訓(xùn)練集的特征。測試集呢方法是用同一個基模型在每個折上訓(xùn)練出的5個版本分別對測試集做預(yù)測取平均作為測試集的次級特征。這個方法多出一大塊訓(xùn)練開銷——每個基模型要訓(xùn)練K次而不是1次。但沒辦法這屬于“保命操作”不做數(shù)據(jù)就泄露模型上線就翻車。我在某跨平臺系統(tǒng)里親眼見過一個讓人欲哭無淚的場景某同事圖省事用全量訓(xùn)練集擬合基模型后直接在訓(xùn)練集上生成次級特征訓(xùn)練集上元模型分?jǐn)?shù)漂亮得不行上線后效果直接崩盤一夜之間從90分變60分。后來改成5折交叉驗證生成特征才恢復(fù)正常。4.3 基模型的多樣性和元學(xué)習(xí)器的選擇Stacking要想效果好基模型之間的差異性非常重要。如果你把五個一模一樣的邏輯回歸放在一起Stacking那跟單個邏輯回歸沒什么區(qū)別。實際操作中我會刻意選擇不同類型的模型比如線性模型邏輯回歸、嶺回歸、非線性核模型SVM、樹模型隨機(jī)森林、GBDT、近鄰模型KNN、以及簡單的神經(jīng)網(wǎng)絡(luò)MLP。讓每一個模型從不同的角度觀察數(shù)據(jù)元學(xué)習(xí)器才有可學(xué)習(xí)的素材。元學(xué)習(xí)器本身不建議太復(fù)雜。因為次級特征維度通常不高基模型個數(shù)個到幾十個而且基模型的預(yù)測結(jié)果之間可能存在較強(qiáng)的相關(guān)性。元學(xué)習(xí)器用簡單的邏輯回歸或線性模型比較穩(wěn)妥目的是學(xué)習(xí)組合權(quán)重而不是再一次引入大量非線性變換。如果有人把元學(xué)習(xí)器也搞成一個很強(qiáng)的GBDT很容易在次級特征上過擬合。另外有個實操細(xì)節(jié)Stacking里基模型的預(yù)測結(jié)果最好確保是概率值而不是硬類別標(biāo)簽。硬標(biāo)簽只有0和1信息量太低而且容易丟失各個模型內(nèi)部對不確定性的度量概率值比如某樣本屬于正類的概率是0.73保留了更多信息元學(xué)習(xí)器可以更好地捕捉模型的置信度。分類任務(wù)中這一點非常關(guān)鍵。4.4 Stacking的時間成本大家得有個心理準(zhǔn)備Stacking的時間成本大概是單獨訓(xùn)練一個模型的好幾倍具體取決于基模型數(shù)量和交叉驗證折數(shù)。假設(shè)你選5個基模型、5折交叉驗證那實際訓(xùn)練次數(shù)就是5×525次訓(xùn)練再加元學(xué)習(xí)器1次總計26次。還要考慮每次訓(xùn)練的時間可能是單模型的數(shù)倍。在時間預(yù)算緊張的工業(yè)環(huán)境里Stacking通常不是首選除非單模型已經(jīng)壓不動了或者你手頭有充足的計算資源。我個人的經(jīng)驗是Stacking比較適合放在比賽沖刺階段或上線前的最終模型融合階段不適合放在日常實驗迭代中。日常迭代用單個強(qiáng)模型比如LightGBM快速試錯最后確定幾個差異性較大的強(qiáng)模型做Stacking。這個順序反過來就會讓自己陷入“洗不完的試錯循環(huán)”。5. 三種集成方案橫向?qū)Ρ?.1 關(guān)鍵維度對照維度BaggingBoostingStacking基學(xué)習(xí)器同質(zhì)通常是決策樹同質(zhì)通常是淺決策樹異質(zhì)多種模型訓(xùn)練方式并行串行層級主要降低方差偏差組合誤差對噪聲敏感度較低很高中等訓(xùn)練成本中中高高可解釋性尚可特征重要性尚可特征重要性較差最常用場景高方差數(shù)據(jù)特征多結(jié)構(gòu)化表格數(shù)據(jù)比賽沖刺、精度極限5.2 如何根據(jù)項目選型如果你是做結(jié)構(gòu)化表格數(shù)據(jù)、特征里有大量數(shù)值和類別變量目標(biāo)是最小化預(yù)測誤差那Boosting系尤其是LightGBM或XGBoost通常是默認(rèn)首選我踩過的大部分表格類項目最后都是這倆在撐場子。如果數(shù)據(jù)噪聲比較大特征維度很高而且你比較關(guān)注訓(xùn)練穩(wěn)定性那隨機(jī)森林這類Bagging方案往往比單棵決策樹好得多而且不容易過擬合。如果你已經(jīng)是多輪比賽老兵對粗糙度不敏感那就考慮Stacking收尾。這三種方案不是互斥的。事實上很多成熟方案是“兩層套娃”底層用隨機(jī)森林上層再做Boosting或者先用Boosting跑出一個強(qiáng)模型再和別的模型做Stacking。集成算法本來就是用來靈活組合的不用拘泥于“只能用某一種”。6. 工程實戰(zhàn)中的坑位與排查清單6.1 特征擾動與樣本擾動的邊界提到Bagging大家容易忽略一個點Bagging里的基學(xué)習(xí)器不僅可以用樣本擾動還可以用特征擾動。隨機(jī)森林同時用了兩者。但在某些場景里樣本擾動帶來的收益已經(jīng)很小比如樣本量非常大、采樣后每份子集長得差不多這時候可以試試加大特征擾動從全部特征變成隨機(jī)抽一部分特征訓(xùn)練每棵樹。我這里說一個不太常見的做法每棵樹隨機(jī)用80%的特征訓(xùn)練會比固定用全部特征更容易制造多樣且對缺失特征的魯棒性也更好。6.2 Boosting類模型訓(xùn)練時的經(jīng)典報錯與對策我在實際項目中遇到過幾個很典型的Boosting報錯列一下排查思路損失不降訓(xùn)練集上誤差率始終居高不下。先查學(xué)習(xí)率是不是太大或太小。學(xué)習(xí)率太大模型在迭代過程中震蕩不收斂學(xué)習(xí)率太小迭代步數(shù)不夠還沒到極小值就結(jié)束了。我一般從0.05到0.1起步結(jié)合早停機(jī)制動態(tài)決定迭代輪數(shù)。驗證集上比訓(xùn)練集差一大截。這通常是過擬合的信號。除了調(diào)小最大深度外還要查一下是否加足了正則化參數(shù)葉子節(jié)點權(quán)重、L1/L2正則。XGBoost和LightGBM都有對應(yīng)的正則項別只用默認(rèn)值。特征重要性畸變個別類別型特征被瘋狂使用。檢查類別特征的處理方式分箱切分過細(xì)容易導(dǎo)致模型抓住噪聲。換成學(xué)習(xí)率更低、迭代更多的方式可能會改善。6.3 Stacking里的“時間放大器”問題Stacking有一個特別坑的工程問題如果你用5個基模型、5折交叉驗證那相當(dāng)于把單模型訓(xùn)練成本乘以25。如果每個基模型訓(xùn)練本來就要1小時Stacking一套跑下來將近一天再加上調(diào)參迭代一不留神就變成“訓(xùn)練一周、崩潰一秒”。我建議在進(jìn)入Stacking之前先對每個基模型做嚴(yán)格的時間預(yù)算評估能并行就并行多個基模型可以并發(fā)訓(xùn)練實在不行就減少折數(shù)到3折或者選更輕量的基模型比如用邏輯回歸替換深度網(wǎng)絡(luò)。6.4 別忘了做加權(quán)平均這個“窮人版集成”最后分享一個壓箱底的經(jīng)驗在考慮上復(fù)雜Stacking之前先試試加權(quán)平均集成。這是一個成本極低但效果往往出乎意料的方法把兩個或三個強(qiáng)模型的概率預(yù)測或回歸預(yù)測值做加權(quán)平均權(quán)重用驗證集搜索。做這個操作大概只需要10分鐘有時候效果已經(jīng)能逼近完整的Stacking。因為很多基模型之間的誤差確實存在互補(bǔ)性一個簡單的線性融合就足以把漲點收進(jìn)口袋。我自己在好幾個項目里的體會是集成算法的價值不在于多花哨而在于“把不同模型的優(yōu)點組合起來”。好比你帶團(tuán)隊每個組員都未必是全方位的頂尖高手但只要各有所長、相互信任、目標(biāo)一致最后做出的成績一定比任何一個人單兵作戰(zhàn)都好。七個葫蘆娃能贏靠的不是某一個娃的神力而是七個人一條心。做模型也是這個道理。從最小可用起步先用單模型跑通基線再上Bagging或Boosting看看增益最后再考慮Stacking。每一步都記錄訓(xùn)練時間和驗證集分?jǐn)?shù)清晰知道自己每一步在干嘛踩坑也踩得明明白白。集成學(xué)習(xí)這條路真不復(fù)雜貴在把基礎(chǔ)原理想透再動手。