周末兩天把機(jī)器學(xué)習(xí)經(jīng)典入門(mén)算法過(guò)了一遍第二天正好卡在四個(gè)基礎(chǔ)又核心的模型上KNN、樸素貝葉斯、決策樹(shù)以及由多棵樹(shù)組成的決策森林和隨機(jī)森林。這四個(gè)算法幾乎是所有分類(lèi)問(wèn)題的起手式后面再玩什么提升樹(shù)、堆疊模型很多核心思想都是從它們身上長(zhǎng)出來(lái)的。如果你正在自學(xué)機(jī)器學(xué)習(xí)或者已經(jīng)會(huì)調(diào)包但總覺(jué)得原理糊了一層紙這篇筆記應(yīng)該能幫你把那層窗戶(hù)紙捅破。內(nèi)容全程來(lái)自我自己的復(fù)現(xiàn)代碼和踩坑記錄沒(méi)有晦澀推導(dǎo)只有怎么用、為什么這么用、坑在哪里。先說(shuō)我那天的場(chǎng)景手頭有一個(gè)模擬的用戶(hù)流失預(yù)測(cè)Demo特征有數(shù)值型使用時(shí)長(zhǎng)、消費(fèi)金額有離散型渠道來(lái)源、套餐類(lèi)型樣本量大概兩萬(wàn)。我要求自己用這四種算法分別去跑一遍分類(lèi)任務(wù)對(duì)比精度、訓(xùn)練時(shí)間、可解釋性。這一跑四個(gè)算法的脾氣基本就摸清了。這篇文章就按“從直觀到集成”的順序來(lái)寫(xiě)每一步都帶執(zhí)行動(dòng)作和避坑經(jīng)驗(yàn)新手可以直接按著思路來(lái)一遍。1. 四種算法先混個(gè)臉熟1.1 它們各自解決什么問(wèn)題凡是拿到一張帶標(biāo)簽的數(shù)據(jù)表你第一反應(yīng)就是找一個(gè)分類(lèi)器。KNN是“看鄰居”樸素貝葉斯是“算概率”決策樹(shù)是“問(wèn)問(wèn)題”隨機(jī)森林是“讓一群決策樹(shù)投票”。四種做法背后的邏輯完全不同但都解決同一類(lèi)問(wèn)題給定樣本的特征預(yù)測(cè)它的標(biāo)簽是A還是B或者多分類(lèi)。KNN的思路最簡(jiǎn)單粗暴一個(gè)樣本的類(lèi)別由離它最近的K個(gè)樣本投票決定。它沒(méi)有任何訓(xùn)練過(guò)程屬于“惰性學(xué)習(xí)”模型其實(shí)就是那堆訓(xùn)練數(shù)據(jù)本身。樸素貝葉斯則是直接算后驗(yàn)概率在已知特征取值的情況下樣本屬于某個(gè)類(lèi)別的概率有多大。它核心依賴(lài)貝葉斯公式再加一個(gè)非常強(qiáng)的假設(shè)——特征之間條件獨(dú)立。這個(gè)假設(shè)在現(xiàn)實(shí)里幾乎不成立但它往往還能給出不錯(cuò)的結(jié)果屬于“人傻但運(yùn)氣好”的類(lèi)型。決策樹(shù)則是一連串if-else規(guī)則構(gòu)成的樹(shù)狀結(jié)構(gòu)每一步問(wèn)一個(gè)問(wèn)題比如“使用時(shí)長(zhǎng)大于30天嗎”不斷把數(shù)據(jù)分割成越來(lái)越純的子集?；卮鹇窂骄褪穷A(yù)測(cè)結(jié)果天然具有可解釋性。決策森林就是把多棵樹(shù)組在一起通常指用Bagging或類(lèi)似思路訓(xùn)練出的樹(shù)集合。隨機(jī)森林就是決策森林里最出名的一個(gè)變種用有放回抽樣訓(xùn)練很多棵決策樹(shù)每棵樹(shù)在分裂時(shí)只隨機(jī)看一部分特征最后讓所有樹(shù)投票得到結(jié)果。它把“單棵易過(guò)擬合的樹(shù)”變成了“一群不容易過(guò)擬合的樹(shù)”。1.2 一張表看懂適用場(chǎng)景表里這幾項(xiàng)是我實(shí)踐中比較看重的維度維度KNN樸素貝葉斯決策樹(shù)隨機(jī)森林訓(xùn)練速度無(wú)訓(xùn)練過(guò)程很快快快預(yù)測(cè)速度慢要算全部距離極快快快高維稀疏文本很吃力特別適合比較吃力尚可特征數(shù)值范圍敏感非常敏感幾乎不敏感不敏感不敏感可解釋性差一般很好一般是否需特征縮放需要不需要不需要不需要小樣本表現(xiàn)不錯(cuò)很不錯(cuò)容易過(guò)擬合容易欠擬合常見(jiàn)硬傷維度災(zāi)難獨(dú)立性假設(shè)切分規(guī)則太機(jī)械超參數(shù)多選型口訣我自己的版本是文本分類(lèi)先上樸素貝葉斯樣本少、維度低、數(shù)據(jù)干凈試試KNN要跟業(yè)務(wù)方解釋邏輯時(shí)用單棵決策樹(shù)要精度、又不想太折騰時(shí)直接用隨機(jī)森林。沒(méi)說(shuō)到的場(chǎng)景隨機(jī)森林是你能做出的最穩(wěn)妥默認(rèn)選擇之一。2. KNN把離你最近的朋友的話當(dāng)真2.1 核心思想與距離度量KNN的全稱(chēng)是K-Nearest Neighbors直譯就是K個(gè)最近的鄰居。假設(shè)你有一個(gè)未知類(lèi)別的樣本算法會(huì)在全量訓(xùn)練數(shù)據(jù)里找離它最近的K個(gè)樣本這K個(gè)樣本里哪個(gè)類(lèi)別多預(yù)測(cè)結(jié)果就是哪個(gè)。若K3找最近3個(gè)點(diǎn)兩個(gè)說(shuō)A類(lèi)、一個(gè)說(shuō)B類(lèi)那就判為A類(lèi)?！半x它最近”怎么定義這就引出了距離度量。最常用的是歐氏距離也就是幾何空間里的直線距離import numpy as np def euclidean_distance(a, b): return np.sqrt(np.sum((np.array(a) - np.array(b)) ** 2))實(shí)踐中還有個(gè)常用選項(xiàng)是曼哈頓距離絕對(duì)值之和它更適合特征維度高但稀疏的情況但說(shuō)實(shí)話默認(rèn)用歐氏距離已經(jīng)能覆蓋絕大多數(shù)場(chǎng)景。文本向量這類(lèi)稀疏場(chǎng)景則常用余弦相似度。距離度量選錯(cuò)會(huì)帶來(lái)非常微妙的影響。歐氏距離對(duì)異常值特別敏感某個(gè)特征出現(xiàn)一個(gè)離譜的極值距離直接被它主導(dǎo)。所以做KNN之前特征工程比算法本身更重要。2.2 K值要命特征縮放更要命K值的選擇是整個(gè)KNN里最核心的超參數(shù)。K太小模型只看極少幾個(gè)點(diǎn)對(duì)噪聲極其敏感K太大把離得很遠(yuǎn)的樣本也拉進(jìn)來(lái)邊界被抹得一塌糊涂。我那時(shí)圖省事直接取了K1做了個(gè)Demo準(zhǔn)確率看起來(lái)還行但一畫(huà)混淆矩陣就發(fā)現(xiàn)問(wèn)題預(yù)測(cè)結(jié)果在邊界上東一塊西一塊完全跟著個(gè)別異常點(diǎn)跑。換成交叉驗(yàn)證后K從1調(diào)到11模型才穩(wěn)定下來(lái)。做法很簡(jiǎn)單把訓(xùn)練集切出驗(yàn)證集或者直接用交叉驗(yàn)證遍歷K1到K30看哪個(gè)K的驗(yàn)證精度最高。別偷懶拍腦袋定K。特征縮放是我那天真正踩的第一個(gè)坑。當(dāng)時(shí)數(shù)據(jù)里有“使用時(shí)長(zhǎng)”和“月消費(fèi)金額”兩個(gè)特征前者在0到60之間后者動(dòng)輒幾百上千。KNN是基于距離計(jì)算的量綱大的特征直接把量綱小的特征給淹沒(méi)了算出來(lái)所謂的“最近鄰居”全是消費(fèi)金額相近的使用時(shí)長(zhǎng)幾乎不參與決策。標(biāo)準(zhǔn)化之后兩個(gè)特征才真正平等地被考慮。所以但凡用基于距離的算法第一件事就是做標(biāo)準(zhǔn)化或者歸一化。from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import cross_val_score scaler StandardScaler() X_scaled scaler.fit_transform(X) k_values range(1, 31) scores [] for k in k_values: knn KNeighborsClassifier(n_neighborsk) score cross_val_score(knn, X_scaled, y, cv5).mean() scores.append(score) best_k k_values[int(np.argmax(scores))] print(f最優(yōu)K值: {best_k}, 交叉驗(yàn)證精度: {max(scores):.4f})2.3 用KNN跑通一次小分類(lèi)Demo拿我手頭那個(gè)流失預(yù)測(cè)DataFrame來(lái)演示。特征做標(biāo)準(zhǔn)化后先劃分訓(xùn)練測(cè)試集from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X_scaled, y, test_size0.2, random_state42, stratifyy ) knn KNeighborsClassifier(n_neighborsbest_k) knn.fit(X_train, y_train) print(訓(xùn)練集精度:, knn.score(X_train, y_train)) print(測(cè)試集精度:, knn.score(X_test, y_test))注意一點(diǎn)標(biāo)準(zhǔn)化是在全部訓(xùn)練數(shù)據(jù)上fit的然后再transform測(cè)試集。千萬(wàn)不能在訓(xùn)練和測(cè)試上分別做標(biāo)準(zhǔn)化那樣會(huì)讓測(cè)試集信息泄露到訓(xùn)練流程里。我見(jiàn)過(guò)好多新手在這里出錯(cuò)最后驗(yàn)證集精度看起來(lái)虛高上線就崩。2.4 KNN的坑與補(bǔ)救KNN最大的坑是預(yù)測(cè)慢。訓(xùn)練什么都不干一預(yù)測(cè)就要遍歷全部訓(xùn)練樣本算距離。樣本量一上萬(wàn)預(yù)測(cè)過(guò)程肉眼可見(jiàn)地變慢。解決辦法要么用KDTree或Ball Tree結(jié)構(gòu)加速要么直接換模型。sklearn里algorithmkd_tree可以開(kāi)但高維數(shù)據(jù)下KDTree優(yōu)勢(shì)會(huì)消失。第二個(gè)坑是樣本不平衡。如果A類(lèi)占90%B類(lèi)占10%KNN天然更傾向把邊界樣本判成A類(lèi)。補(bǔ)救方式有采用加權(quán)投票距離越近權(quán)重越高、對(duì)少數(shù)類(lèi)樣本過(guò)采樣比如SMOTE、或者調(diào)整分類(lèi)閾值。我自己實(shí)踐時(shí)加權(quán)投票是成本最低的改進(jìn)sklearn里weightsdistance就是干這個(gè)的。3. 樸素貝葉斯不查資料就敢下判斷的概率黨3.1 貝葉斯公式與那個(gè)“樸素”的假設(shè)樸素貝葉斯的出發(fā)點(diǎn)非常聰明與其直接判斷“這個(gè)樣本是什么類(lèi)別”不如反過(guò)來(lái)問(wèn)“如果是這個(gè)類(lèi)別它長(zhǎng)這樣的概率有多大”再結(jié)合每個(gè)類(lèi)別本身出現(xiàn)的概率算出后驗(yàn)概率。公式是P(類(lèi)別|特征) P(特征|類(lèi)別) × P(類(lèi)別) / P(特征)做分類(lèi)時(shí)分母P(特征)對(duì)所有類(lèi)別都一樣所以只需比較分子大小P(特征|類(lèi)別)乘以P(類(lèi)別)。問(wèn)題來(lái)了一個(gè)樣本往往有幾十個(gè)特征聯(lián)合概率P(特征1, 特征2, ..., 特征n|類(lèi)別)沒(méi)法直接從有限樣本里估計(jì)出來(lái)因?yàn)樘卣鹘M合數(shù)量會(huì)爆炸?！皹闼亍钡募僭O(shè)在這里登場(chǎng)假設(shè)所有特征在給定類(lèi)別條件下相互獨(dú)立。這樣一來(lái)聯(lián)合概率就變成了各個(gè)特征條件概率的乘積P(特征|類(lèi)別) ≈ P(特征1|類(lèi)別) × P(特征2|類(lèi)別) × ... × P(特征n|類(lèi)別)生活化理解就是判斷一封郵件是不是垃圾郵件把“出現(xiàn)了‘打折’”、“出現(xiàn)了‘發(fā)票’”、“出現(xiàn)‘點(diǎn)擊鏈接’”這幾個(gè)詞各自與垃圾郵件的相關(guān)度相乘乘出來(lái)的數(shù)越高越可能是垃圾郵件。雖然詞跟詞之間明明有關(guān)聯(lián)但這個(gè)假設(shè)保證了計(jì)算可行。3.2 拉普拉斯平滑防止零概率翻車(chē)假設(shè)某個(gè)詞在訓(xùn)練集里從未出現(xiàn)在垃圾郵件中那么P(這個(gè)詞|垃圾郵件)直接等于0。乘積里有一個(gè)0整個(gè)概率就變成0導(dǎo)致后驗(yàn)概率為0。這個(gè)結(jié)果顯然不合理沒(méi)見(jiàn)過(guò)的詞不代表永遠(yuǎn)不出現(xiàn)。解決辦法是拉普拉斯平滑本質(zhì)是給每個(gè)特征取值加一點(diǎn)“保底計(jì)數(shù)”。公式中的P(特征|類(lèi)別)變成P (該類(lèi)別下該特征出現(xiàn)次數(shù) α) / (該類(lèi)別下總特征出現(xiàn)次數(shù) α × 特征取值總數(shù))α通常取1稱(chēng)為拉普拉斯平滑。這個(gè)技巧在文本分類(lèi)里尤其重要因?yàn)樵~匯量大沒(méi)見(jiàn)過(guò)的組合實(shí)在太多了。這也是為什么用樸素貝葉斯做文本分類(lèi)前一定要保證平滑參數(shù)被正確設(shè)置。3.3 連續(xù)特征怎么處理樸素貝葉斯原始形態(tài)處理的是離散特征詞語(yǔ)出現(xiàn)或不出。但流失預(yù)測(cè)里的“消費(fèi)金額”是連續(xù)值怎么處理常見(jiàn)做法有兩種。一種是把連續(xù)值離散化比如按分位數(shù)切分成“低、中、高”三段再當(dāng)離散特征統(tǒng)計(jì)頻次。這種方式的缺點(diǎn)是對(duì)切分邊界很敏感信息損失也大。另一種更優(yōu)雅假設(shè)連續(xù)特征在某個(gè)類(lèi)別下服從某個(gè)概率分布通常是正態(tài)分布然后用數(shù)據(jù)估計(jì)這個(gè)分布的參數(shù)均值和方差預(yù)測(cè)時(shí)把特征值代入概率密度函數(shù)算出“概率”。這個(gè)變體叫高斯樸素貝葉斯是sklearn里處理連續(xù)特征最常用的選擇。如果你發(fā)現(xiàn)特征分布明顯偏態(tài)可以試試對(duì)數(shù)變換后再擬合。from sklearn.naive_bayes import GaussianNB gnb GaussianNB() gnb.fit(X_train, y_train) print(測(cè)試集精度:, gnb.score(X_test, y_test))3.4 用一個(gè)文本分類(lèi)小例子驗(yàn)證威力為了驗(yàn)證樸素貝葉斯在文本上有多能打我額外構(gòu)造了一個(gè)模擬的短文本分類(lèi)任務(wù)給一組評(píng)論句子打好評(píng)差評(píng)標(biāo)簽。用CountVectorizer把句子變成詞頻向量然后直接用多項(xiàng)式樸素貝葉斯from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB corpus [這個(gè)產(chǎn)品真好用, 太差了退貨, 服務(wù)態(tài)度很不錯(cuò), 垃圾再也不買(mǎi)了, ...] labels [1, 0, 1, 0, ...] vectorizer CountVectorizer() X_vec vectorizer.fit_transform(corpus) mnb MultinomialNB(alpha1.0) mnb.fit(X_vec, labels) sample [東西還行吧] sample_vec vectorizer.transform(sample) print(預(yù)測(cè)類(lèi)別:, mnb.predict(sample_vec)[0])這個(gè)例子我只用了幾十條樣本分類(lèi)效果已經(jīng)像模像樣。樸素貝葉斯在小樣本、高維稀疏場(chǎng)景下的性?xún)r(jià)比是神經(jīng)網(wǎng)絡(luò)都比不了的。3.5 邊界與硬傷樸素貝葉斯的硬傷就是獨(dú)立性假設(shè)。真實(shí)數(shù)據(jù)里特征幾乎總有關(guān)聯(lián)在流失預(yù)測(cè)里消費(fèi)金額高的用戶(hù)往往使用時(shí)長(zhǎng)也長(zhǎng)。當(dāng)特征強(qiáng)相關(guān)時(shí)獨(dú)立假設(shè)會(huì)把概率算得過(guò)分樂(lè)觀最終分類(lèi)邊界比貝葉斯最優(yōu)邊界要差。第二個(gè)問(wèn)題它適合用概率閾值做決策的場(chǎng)景但輸出的概率值本身不準(zhǔn)。如果你想用預(yù)測(cè)概率做風(fēng)險(xiǎn)排序最好先做概率校準(zhǔn)用CalibratedClassifierCV包一層。我在某次風(fēng)險(xiǎn)名單排序中試過(guò)校準(zhǔn)前后的排名差異非常明顯直接影響到后續(xù)人工審核的工作量。4. 決策樹(shù)與決策森林從一堆if-else到一群if-else4.1 決策樹(shù)怎么選特征決策樹(shù)的訓(xùn)練過(guò)程就是不斷挑選特征和切分閾值的過(guò)程。標(biāo)準(zhǔn)是每次切分之后子節(jié)點(diǎn)的數(shù)據(jù)要比父節(jié)點(diǎn)“更純”也就是盡量讓同一類(lèi)的樣本落在一起。衡量“純”的指標(biāo)常見(jiàn)有兩個(gè)信息熵和基尼系數(shù)。信息熵衡量不確定性熵越高越混亂。切分前后的熵差叫信息增益選信息增益最大的特征來(lái)切分。這就是ID3算法的思路。C4.5換成信息增益率避免傾向取值多的特征。CART則用基尼系數(shù)公式為1減去各類(lèi)別樣本占比平方之和每次選基尼系數(shù)下降最大的切分方式。ETL現(xiàn)場(chǎng)實(shí)操里我一般不會(huì)自己算這些sklearn的DecisionTreeClassifier直接包好了。但理解切分邏輯很重要決策樹(shù)本質(zhì)上在特征空間里畫(huà)矩形邊界所以它對(duì)線性可分問(wèn)題的表達(dá)本身就吃虧它擅長(zhǎng)的是捕捉高維特征的交互關(guān)系if A and B then C這類(lèi)結(jié)構(gòu)。4.2 剪枝防止樹(shù)長(zhǎng)瘋了單棵決策樹(shù)不設(shè)限制時(shí)會(huì)一路生長(zhǎng)到每個(gè)葉子節(jié)點(diǎn)都純?yōu)橹?。?xùn)練集精度可以做到100%但測(cè)試集慘不忍睹這就是過(guò)擬合。樹(shù)的深度越深邊界越碎噪聲被刻進(jìn)去得越徹底?？刂七^(guò)擬合的方法是剪枝分兩種預(yù)剪枝在生長(zhǎng)過(guò)程中就限制深度、最小樣本量后剪枝是先讓樹(shù)長(zhǎng)滿(mǎn)再自底向上評(píng)估合并葉子節(jié)點(diǎn)是否讓驗(yàn)證集精度提升能提升就合并。sklearn里默認(rèn)不給后剪枝但我可以手動(dòng)設(shè)置多項(xiàng)預(yù)剪枝參數(shù)from sklearn.tree import DecisionTreeClassifier dt DecisionTreeClassifier( max_depth5, min_samples_split20, min_samples_leaf10, criteriongini ) dt.fit(X_train, y_train)這里面min_samples_leaf是我最常用的控制項(xiàng)。只要葉子樣本量夠大邊界就穩(wěn)。深度限制只是兜底實(shí)際調(diào)參時(shí)我會(huì)優(yōu)先調(diào)葉子節(jié)點(diǎn)最少樣本數(shù)。4.3 什么是決策森林“決策森林”在正規(guī)教材里不是一個(gè)標(biāo)準(zhǔn)算法名稱(chēng)更多是一種口語(yǔ)化的說(shuō)法指把多棵決策樹(shù)湊在一起使用。為什么要湊一起因?yàn)閱慰脴?shù)過(guò)擬合太嚴(yán)重而且方差大訓(xùn)練集換一批樣本樹(shù)結(jié)構(gòu)可能完全不一樣。如果同時(shí)訓(xùn)練多棵存在差異的樹(shù)讓它們投票方差就能被平均掉。決策森林是通向隨機(jī)森林的過(guò)渡概念。袋裝思路Bagging把訓(xùn)練數(shù)據(jù)做有放回抽樣得到多份不同的訓(xùn)練子集每份子集訓(xùn)練一棵樹(shù)。抽樣帶來(lái)的隨機(jī)性讓每棵樹(shù)長(zhǎng)得不一樣最終投票決策。不過(guò)有一個(gè)問(wèn)題如果某些特征特別強(qiáng)幾棵樹(shù)在分裂時(shí)都優(yōu)先用這個(gè)特征樹(shù)和樹(shù)之間仍然很像差異不夠大。4.4 單樹(shù)與森林的直觀對(duì)比我在模擬項(xiàng)目X上做了個(gè)實(shí)驗(yàn)同一份數(shù)據(jù)單棵深度為10的決策樹(shù)測(cè)試精度大約0.76訓(xùn)練精度0.99明顯過(guò)擬合。換一個(gè)簡(jiǎn)單的帶100棵樹(shù)的決策森林每棵樹(shù)用不同的抽樣子集測(cè)試精度升到0.82訓(xùn)練精度反而降到0.91。這就是典型的“以微小偏差換巨大方差下降”。如果你需要向業(yè)務(wù)方解釋模型邏輯單棵淺樹(shù)依然有不可替代的地位。深度為3或4的樹(shù)可以畫(huà)成規(guī)則表每個(gè)葉子給出一條“如果...那么...”的規(guī)則這對(duì)風(fēng)控場(chǎng)景特別友好。而森林模型更像一個(gè)黑箱失去了可解釋性。5. 隨機(jī)森林一群模型打群架果然更猛5.1 Bagging與特征隨機(jī)讓每棵樹(shù)不一樣隨機(jī)森林是集成的集大成者。它憑借兩個(gè)機(jī)制保證每棵樹(shù)之間足夠有差異。第一個(gè)機(jī)制是Bagging對(duì)原始訓(xùn)練集進(jìn)行有放回抽樣每次抽與訓(xùn)練集同樣大小的樣本子集每棵樹(shù)只在自己的子集上訓(xùn)練。大概會(huì)有約36.8%原始樣本沒(méi)被抽到這部分樣本稱(chēng)為袋外樣本OOB可以直接用來(lái)做測(cè)試誤差的估計(jì)省了單獨(dú)劃分驗(yàn)證集。第二個(gè)機(jī)制是特征隨機(jī)化每棵樹(shù)在每次分裂時(shí)并不是從全部特征里挑最優(yōu)而是先隨機(jī)選一部分特征默認(rèn)是特征總數(shù)的開(kāi)方再?gòu)倪@部分里選最優(yōu)切分。這樣進(jìn)一步增大了樹(shù)之間的差異性。兩個(gè)機(jī)制加起來(lái)隨機(jī)森林里的樹(shù)既“數(shù)據(jù)不同”又“視角不同”投票結(jié)果穩(wěn)定得多。這個(gè)設(shè)計(jì)里的直覺(jué)我特別喜歡單棵決策樹(shù)容易偏見(jiàn)和鉆牛角尖但一群出發(fā)點(diǎn)不同的樹(shù)做決策任何一棵樹(shù)的毛病都會(huì)被其他樹(shù)的判斷給稀釋掉。5.2 三個(gè)關(guān)鍵參數(shù)怎么調(diào)隨機(jī)森林調(diào)參不復(fù)雜關(guān)鍵是抓住主要矛盾。n_estimators樹(shù)的數(shù)量直接決定模型穩(wěn)定性和訓(xùn)練成本。樹(shù)太少方差沒(méi)有完全壓平樹(shù)太多訓(xùn)練時(shí)間線性增長(zhǎng)但精度提升趨于邊際遞減。我的經(jīng)驗(yàn)是先用500棵試觀察精度隨樹(shù)數(shù)增長(zhǎng)的收斂曲線。如果200棵就到瓶頸后面再加樹(shù)基本無(wú)意義。max_features每次分裂隨機(jī)抽取的特征數(shù)控制單棵樹(shù)的能力。默認(rèn)值是特征數(shù)的平方根分類(lèi)問(wèn)題一般夠用。特征很多比如上百維時(shí)可以往大調(diào)一點(diǎn)讓每棵樹(shù)更強(qiáng)一些。min_samples_leaf葉子最小樣本數(shù)依然是我最優(yōu)先調(diào)的正則化參數(shù)。設(shè)得太小比如1單棵樹(shù)過(guò)擬合設(shè)得太大樹(shù)太粗糙模型整體會(huì)欠擬合。我在兩萬(wàn)樣本的流失預(yù)測(cè)里設(shè)成20左右效果還不錯(cuò)。from sklearn.ensemble import RandomForestClassifier rf RandomForestClassifier( n_estimators300, max_featuressqrt, min_samples_leaf20, max_depth15, random_state42, n_jobs-1 ) rf.fit(X_train, y_train) print(OOB精度:, rf.oob_score_) print(測(cè)試集精度:, rf.score(X_test, y_test))注意OOB精度是隨機(jī)森林特有的一項(xiàng)免費(fèi)評(píng)估指標(biāo)不需要額外留驗(yàn)證集就能估出泛化能力。訓(xùn)練過(guò)程中它已經(jīng)被內(nèi)部算出來(lái)了我每次都會(huì)先看它再?zèng)Q定要不要繼續(xù)調(diào)參。5.3 用隨機(jī)森林做特征重要性分析隨機(jī)森林一個(gè)很值錢(qián)的能力是輸出特征重要性。原理是某特征在樹(shù)分裂中造成的基尼系數(shù)下降總和越大或?qū)︻A(yù)測(cè)精度貢獻(xiàn)越大它就越重要。這個(gè)結(jié)果可以直接用于特征篩選幫我把兩萬(wàn)樣本里的三十多個(gè)特征砍到只剩十來(lái)個(gè)核心特征建模速度大幅提升精度幾乎不掉。import pandas as pd importance rf.feature_importances_ feature_names X.columns imp_df pd.DataFrame({特征: feature_names, 重要性: importance}) imp_df imp_df.sort_values(重要性, ascendingFalse) print(imp_df.head(10))用特征重要性時(shí)注意一個(gè)陷阱當(dāng)兩個(gè)特征高度相關(guān)時(shí)重要性會(huì)在它們之間被分散導(dǎo)致結(jié)果虛低。做篩選的時(shí)候最好先看一眼相關(guān)性矩陣把高相關(guān)的特征先合并或刪掉一邊再做重要性排序才靠譜。5.4 隨機(jī)森林的克制與邊界隨機(jī)森林不是萬(wàn)能藥。一來(lái)它對(duì)噪聲特征多的數(shù)據(jù)依然會(huì)受影響雖然比單棵樹(shù)抗噪但噪聲比例很高時(shí)依然被帶偏。二來(lái)它不適合高維稀疏數(shù)據(jù)文本詞頻這種上萬(wàn)維的輸入隨機(jī)森林效果遠(yuǎn)不如樸素貝葉斯或線性模型。三來(lái)它預(yù)測(cè)速度比單棵樹(shù)慢每個(gè)樣本要走全部樹(shù)再合并結(jié)果實(shí)時(shí)性要求高的場(chǎng)景要謹(jǐn)慎。還有一點(diǎn)隨機(jī)森林輸出概率的校準(zhǔn)程度也一般。如果需要精確概率而不只是類(lèi)別標(biāo)簽依然需要概率校準(zhǔn)。6. 實(shí)戰(zhàn)踩坑記錄與經(jīng)驗(yàn)速查6.1 經(jīng)典錯(cuò)誤與排查思路數(shù)據(jù)泄漏導(dǎo)致虛高精度。我某次把標(biāo)準(zhǔn)化fit過(guò)整個(gè)數(shù)據(jù)集后才切分訓(xùn)練測(cè)試集測(cè)試精度從0.74直接跳到0.88。排查方式是手動(dòng)創(chuàng)建一條“明顯不合理樣本”放進(jìn)測(cè)試集看它是否被模型“認(rèn)出”。防止這類(lèi)問(wèn)題的核心原則所有統(tǒng)計(jì)變換只能從訓(xùn)練集獲取參數(shù)測(cè)試集只能被transform。類(lèi)別不平衡讓多數(shù)類(lèi)躺贏。流失率只有8%時(shí)模型全預(yù)測(cè)“不流失”就能拿92%的準(zhǔn)確率。看準(zhǔn)確率毫無(wú)意義要重點(diǎn)看召回率和ROC-AUC。處理方法是調(diào)class_weightbalanced或采樣少數(shù)類(lèi)。KNN在量綱未統(tǒng)一時(shí)的結(jié)果不可解釋。我試過(guò)用原始特征直接跑KNNK5的鄰居里幾乎全是某個(gè)特征的極端值樣本而且這種錯(cuò)誤很難通過(guò)常規(guī)指標(biāo)暴露因?yàn)閍ccuracy可能并不低但業(yè)務(wù)邏輯明顯不對(duì)勁。一定先做特征標(biāo)準(zhǔn)化。決策樹(shù)深度過(guò)大畫(huà)不出規(guī)則。一開(kāi)始我把樹(shù)深度設(shè)為15模型倒是精確但導(dǎo)出的規(guī)則有幾千條葉子業(yè)務(wù)方根本沒(méi)法用。后來(lái)改成深度4到5模型雖然損失了一點(diǎn)精度但規(guī)則可讀性極大提升項(xiàng)目推進(jìn)反而更快。6.2 我的幾個(gè)固定習(xí)慣每一個(gè)算法Demo我都要跑三件套打印訓(xùn)練集精度、測(cè)試集精度、交叉驗(yàn)證均值和標(biāo)準(zhǔn)差。只看單次測(cè)試集精度極其容易自欺欺人標(biāo)準(zhǔn)差大說(shuō)明模型對(duì)數(shù)據(jù)劃分方式太敏感。對(duì)隨機(jī)森林我固定打印OOB精度。它幫我省掉的驗(yàn)證集時(shí)間加起來(lái)已經(jīng)足夠一次完整的調(diào)參迭代。對(duì)樸素貝葉斯我固定檢查各類(lèi)別下特征的條件概率分布而不是只看精度。比如高斯樸素貝葉斯如果某些特征的條件方差被估算得極大大概率是異常值沒(méi)處理干凈這種情況精度看不出來(lái)但上線后預(yù)測(cè)概率會(huì)漂。選擇算法時(shí)我現(xiàn)在的順序是先想清楚業(yè)務(wù)需要的是“解釋清楚”還是“精度優(yōu)先”再考慮樣本量、特征類(lèi)型、預(yù)測(cè)實(shí)時(shí)性最后才決定用哪個(gè)模型。四個(gè)算法里隨機(jī)森林和決策樹(shù)是解釋需求的分岔口樸素貝葉斯和KNN則是特征類(lèi)型的適配結(jié)果。6.3 我的個(gè)人體會(huì)四個(gè)算法學(xué)完最大的感觸是算法本身都不復(fù)雜真正的功夫全在數(shù)據(jù)處理、特征工程和模型評(píng)估的紀(jì)律性上。KNN和樸素貝葉斯屬于“道理一聽(tīng)就懂但數(shù)據(jù)稍微臟一點(diǎn)就翻車(chē)”的模型決策樹(shù)和隨機(jī)森林對(duì)數(shù)據(jù)預(yù)處理要求低一些但你對(duì)模型內(nèi)部發(fā)生了什么的理解程度決定了你能把它用得多好。我后來(lái)再給別人講這四個(gè)算法時(shí)都會(huì)用一句話串起來(lái)先用樸素貝葉斯兜底再上隨機(jī)森林提精度需要解釋時(shí)換深一點(diǎn)的決策樹(shù)KNN則永遠(yuǎn)是那個(gè)用來(lái)理解“距離”和“樣本相似性”的最佳入門(mén)模型。機(jī)器學(xué)習(xí)進(jìn)階之路有很多條但這四條是值得每個(gè)實(shí)踐者走一遍的必經(jīng)之路。