簡(jiǎn)介這份資源面向數(shù)據(jù)分析初學(xué)者與進(jìn)階學(xué)習(xí)者聚焦計(jì)數(shù)型數(shù)據(jù)的回歸建模實(shí)戰(zhàn)以挑戰(zhàn)者號(hào)航天飛機(jī)O形環(huán)熱損傷數(shù)據(jù)為案例講解如何用Python完成泊松回歸全流程。內(nèi)容涵蓋數(shù)據(jù)讀入與表頭處理、描述性統(tǒng)計(jì)與直方圖探索、均值方差檢驗(yàn)判斷分散均衡、特征矩陣與目標(biāo)向量準(zhǔn)備以及基于statsmodels的GLM建模、殘差分析與可視化驗(yàn)證幫助讀者掌握泊松回歸在真實(shí)場(chǎng)景中的適用條件與解釋方法。資源包共1個(gè)PDF文件約521KB以圖文形式完整呈現(xiàn)代碼、輸出結(jié)果與分析結(jié)論便于對(duì)照復(fù)現(xiàn)。目前已有1076人學(xué)習(xí)下載適合希望補(bǔ)齊回歸分析技能、理解計(jì)數(shù)數(shù)據(jù)建模思路的數(shù)據(jù)挖掘與統(tǒng)計(jì)學(xué)習(xí)者參考。1. 泊松回歸做航班 O 形環(huán)數(shù)據(jù)分析23 行數(shù)據(jù)里藏著多少門(mén)道拿到o-ring-erosion-only.csv的時(shí)候很多人第一反應(yīng)是「就 23 行能分析出什么」。但恰恰是這份挑戰(zhàn)者號(hào)航天飛機(jī)的 O 形環(huán)熱損傷數(shù)據(jù)把泊松回歸在計(jì)數(shù)數(shù)據(jù)上的價(jià)值體現(xiàn)得淋漓盡致——因變量Number experiencing thermal distress是 0、1、2 這樣的非負(fù)整數(shù)計(jì)數(shù)均值 0.391方差 0.412兩者幾乎相等正好落在泊松分布「分散均衡」的適用區(qū)間里。如果你手頭也有類(lèi)似的計(jì)數(shù)型業(yè)務(wù)數(shù)據(jù)比如某段時(shí)間內(nèi)的故障次數(shù)、投訴工單數(shù)、頁(yè)面點(diǎn)擊量這套用 Python statsmodels 走 GLM 泊松回歸的流程可以直接遷移。這篇筆記面向的是想真正跑通一遍泊松回歸、看懂摘要表、并且知道哪里容易翻車(chē)的數(shù)據(jù)分析從業(yè)者不是泛泛講回歸原理的科普。2. 數(shù)據(jù)讀入與探索從無(wú)表頭 CSV 到分散均衡判斷2.1 無(wú)表頭 CSV 的讀入與列名重建原始文件沒(méi)有表頭直接read_csv會(huì)把第一行數(shù)據(jù)當(dāng)成列名后面所有數(shù)值列全變成 object 類(lèi)型describe()直接報(bào)錯(cuò)。常見(jiàn)做法是用names參數(shù)手動(dòng)指定列名列名建議同時(shí)保留可讀性和后續(xù)建模的簡(jiǎn)潔性——我一般會(huì)先用完整英文名讀進(jìn)來(lái)確認(rèn)數(shù)據(jù)沒(méi)問(wèn)題后再統(tǒng)一重命名。import pandas as pd # 原始 CSV 無(wú)表頭用 names 手動(dòng)指定列名 col_names [ Number of O-ring at risk on a given flight, Number experiencing thermal distress, Launch temperature(degrees F), Leak-check pressure(psi), Temporal order of flight ] df_erosion pd.read_csv(o-ring-erosion-only.csv, namescol_names) print(df_erosion.shape) # (23, 5) print(df_erosion.columns.tolist()) print(df_erosion.head())這里names的長(zhǎng)度必須和實(shí)際列數(shù)嚴(yán)格一致少一個(gè)會(huì)報(bào)Too many columns specified多一個(gè)會(huì)在末尾多出一列全 NaN。讀進(jìn)來(lái)之后先看shape確認(rèn)是 23 行 5 列再看head()確認(rèn)第一行不是被誤當(dāng)成表頭。如果dtypes里出現(xiàn) object八成是某列混進(jìn)了非數(shù)值字符需要單獨(dú)排查。2.2 描述性統(tǒng)計(jì)與因變量分布判斷describe()給出的是建模前最重要的一次體檢。這份數(shù)據(jù)里Number experiencing thermal distress的均值 0.391、方差 0.412兩者接近相等這是泊松回歸能用的前提條件。如果方差遠(yuǎn)大于均值過(guò)度分散標(biāo)準(zhǔn)泊松回歸的標(biāo)準(zhǔn)誤會(huì)偏小p 值會(huì)假性顯著這時(shí)候要考慮負(fù)二項(xiàng)回歸如果方差遠(yuǎn)小于均值分散不足泊松假設(shè)也不成立。import numpy as np import matplotlib.pyplot as plt # 基礎(chǔ)描述性統(tǒng)計(jì) print(df_erosion.describe()) # 因變量均值與方差對(duì)比判斷是否分散均衡 mean_val np.mean(df_erosion[Number experiencing thermal distress]) var_val np.var(df_erosion[Number experiencing thermal distress]) print(fmean{mean_val:.4f}, var{var_val:.4f}) # 頻數(shù)直方圖直觀看因變量分布形態(tài) plt.rcParams[font.family] simHei plt.hist(df_erosion[Number experiencing thermal distress], bins10, facecolorblue, edgecolorblack, alpha0.7) plt.xlabel(區(qū)間) plt.ylabel(頻數(shù)) plt.title(因變量頻數(shù)分布直方圖) plt.show()np.mean和np.var默認(rèn)按總體計(jì)算ddof0和describe()里 pandas 的樣本標(biāo)準(zhǔn)差口徑不同對(duì)比時(shí)要注意統(tǒng)一。直方圖的作用是看分布是否嚴(yán)重左偏——如果絕大多數(shù)樣本都集中在 0只有極少數(shù)取到 2 以上即使均值方差接近模型對(duì)高計(jì)數(shù)段的預(yù)測(cè)也會(huì)很弱這時(shí)候要謹(jǐn)慎解讀系數(shù)。2.3 列名重命名與特征順序調(diào)整原始列名太長(zhǎng)寫(xiě) formula 的時(shí)候容易出錯(cuò)而且 statsmodels 的 formula 接口對(duì)含空格和括號(hào)的列名支持不好。重命名時(shí)我習(xí)慣把因變量放到最后一列自變量在前這樣column_stack構(gòu)造特征矩陣時(shí)順序一目了然。# 重命名為簡(jiǎn)潔列名 df_erosion.rename(columns{ Number of O-ring at risk on a given flight: num_rings, Launch temperature(degrees F): temperature, Leak-check pressure(psi): pressure, Number experiencing thermal distress: num_distress, Temporal order of flight: order }, inplaceTrue) # 調(diào)整列順序自變量在前因變量在最后 order [num_rings, temperature, pressure, order, num_distress] df_erosion df_erosion[order] print(df_erosion.head())inplaceTrue會(huì)直接修改原 DataFrame如果你后面還要用原始列名做對(duì)照建議先copy()一份。列順序調(diào)整本身不影響 GLM 的 formula 寫(xiě)法但影響column_stack構(gòu)造的 X 矩陣列序進(jìn)而影響你手動(dòng)核對(duì)系數(shù)時(shí)的對(duì)應(yīng)關(guān)系——這一點(diǎn)在排查「系數(shù)對(duì)不上變量」的問(wèn)題時(shí)特別關(guān)鍵。3. 泊松回歸建模GLM 調(diào)用、系數(shù)解讀與預(yù)測(cè)3.1 statsmodels GLM 的 formula 接口與數(shù)組接口statsmodels 提供兩種建模入口formula 接口smf.glm和數(shù)組接口sm.GLM。formula 接口可讀性好適合變量少、需要反復(fù)調(diào)整組合的場(chǎng)景數(shù)組接口在變量多、需要程序化生成特征時(shí)更靈活。這份數(shù)據(jù)只有 4 個(gè)自變量用 formula 接口最省事。import statsmodels.formula.api as smf import statsmodels.api as sm # formula 接口因變量 ~ 自變量family 指定泊松分布 glm smf.glm( formulanum_distress ~ num_rings temperature pressure order, datadf_erosion, familysm.families.Poisson() ) results glm.fit() print(results.summary())familysm.families.Poisson()默認(rèn)使用 log 鏈接函數(shù)即log(E[y]) β? β?x? ...所以系數(shù)解讀時(shí)要取指數(shù)exp(β)表示該自變量每增加一個(gè)單位因變量期望值的倍數(shù)變化。temperature的系數(shù)是 -0.0883exp(-0.0883) ≈ 0.915意味著溫度每升高 1 華氏度熱損傷 O 形環(huán)的期望數(shù)量乘以 0.915即下降約 8.5%。3.2 模型摘要表逐項(xiàng)解讀摘要表里幾個(gè)關(guān)鍵位置coef是系數(shù)std err是標(biāo)準(zhǔn)誤z是 Wald 統(tǒng)計(jì)量P|z|是 p 值[0.025 0.975]是 95% 置信區(qū)間。這份結(jié)果里只有temperature的 p 值 0.036 小于 0.05其余三個(gè)變量都不顯著。這說(shuō)明在控制溫度的前提下O 形環(huán)數(shù)量、檢漏壓力和航班時(shí)序?qū)釗p傷沒(méi)有統(tǒng)計(jì)上顯著的影響。# 單獨(dú)提取系數(shù)方便后續(xù)做 exp 轉(zhuǎn)換 print(results.params) # Intercept 0.098418 # num_rings 0.590510 # temperature -0.088329 # pressure 0.007007 # order 0.011480 # 系數(shù)取指數(shù)解讀為期望值倍數(shù)變化 import numpy as np print(np.exp(results.params))num_rings的系數(shù) 0.5905 看起來(lái)很大但 p 值 0.274 不顯著不能直接下結(jié)論說(shuō)「O 形環(huán)越多熱損傷越多」。這里有個(gè)容易翻車(chē)的點(diǎn)num_rings在所有 23 條記錄里恒等于 6標(biāo)準(zhǔn)差為 0它本質(zhì)上是個(gè)常數(shù)放進(jìn)模型只會(huì)吸收截距的一部分不可能顯著。如果你拿到的是別的數(shù)據(jù)集先檢查每個(gè)自變量的方差方差為 0 的列直接剔除否則會(huì)浪費(fèi)自由度還干擾解讀。3.3 預(yù)測(cè)結(jié)果與 RMSE 評(píng)估results.predict(df_erosion)返回的是期望計(jì)數(shù)不是整數(shù)需要 round 之后和真實(shí)值對(duì)比。RMSE 用sklearn.metrics.mean_squared_error開(kāi)根號(hào)即可。from sklearn.metrics import mean_squared_error # 預(yù)測(cè)并保留三位小數(shù) df_erosion[predict_result] results.predict(df_erosion) df_erosion[predict_result] df_erosion[predict_result].apply(lambda x: round(x, 3)) # 計(jì)算 RMSE rmse np.sqrt(mean_squared_error(df_erosion[predict_result], df_erosion[num_distress])) print(fRMSE: {rmse:.4f})RMSE 約 0.490因變量本身均值 0.391、最大值 2這個(gè)誤差水平說(shuō)明模型有一定預(yù)測(cè)能力但不算強(qiáng)。注意mean_squared_error的參數(shù)順序是(y_true, y_pred)寫(xiě)反了結(jié)果一樣但語(yǔ)義不對(duì)團(tuán)隊(duì)協(xié)作時(shí)容易造成誤解。另外預(yù)測(cè)值 round 到三位小數(shù)后再算 RMSE和直接用原始預(yù)測(cè)值算會(huì)有微小差異報(bào)告里要注明口徑。4. 避坑與排查泊松回歸落地時(shí)最容易翻車(chē)的五件事4.1 現(xiàn)象describe()報(bào)錯(cuò)或數(shù)值列變成 object原因CSV 無(wú)表頭且未指定names第一行數(shù)據(jù)被當(dāng)成列名后續(xù)數(shù)值列混入字符串。解決讀入時(shí)顯式傳names讀完后用df.dtypes檢查每列類(lèi)型發(fā)現(xiàn) object 列用pd.to_numeric(df[col], errorscoerce)轉(zhuǎn)換并檢查 NaN 數(shù)量。4.2 現(xiàn)象模型摘要里所有變量都不顯著原因自變量之間存在共線(xiàn)性或者某個(gè)自變量方差為 0如本例的num_rings恒等于 6。解決建模前先算df.corr()看自變量?jī)蓛上嚓P(guān)再算df[col].std()剔除零方差列。共線(xiàn)性嚴(yán)重時(shí)考慮逐步回歸或正則化。4.3 現(xiàn)象預(yù)測(cè)值出現(xiàn)負(fù)數(shù)原因泊松回歸的 log 鏈接理論上保證期望值為正但results.predict返回的是線(xiàn)性預(yù)測(cè)的指數(shù)變換數(shù)值上不會(huì)為負(fù)。如果出現(xiàn)負(fù)數(shù)八成是你手動(dòng)對(duì)線(xiàn)性預(yù)測(cè)部分做了減法。解決直接用results.predict不要自己拆params手算。4.4 現(xiàn)象RMSE 很小但模型沒(méi)有業(yè)務(wù)意義原因因變量絕大多數(shù)為 0模型只要全預(yù)測(cè)接近 0 就能拿到低 RMSE。解決除了 RMSE還要看Pseudo R-squ. (CS)本例 0.2633和殘差分布必要時(shí)對(duì)高計(jì)數(shù)段單獨(dú)評(píng)估。4.5 現(xiàn)象formula里列名含空格或括號(hào)報(bào)錯(cuò)原因statsmodels 的 formula 解析器把空格和括號(hào)當(dāng)語(yǔ)法符號(hào)。解決先rename成合法 Python 標(biāo)識(shí)符再寫(xiě) formula。重命名后記得同步更新column_stack里的列名引用。5. 進(jìn)階技巧用對(duì)數(shù)似然和殘差圖驗(yàn)證泊松假設(shè)跑完基礎(chǔ)模型只是第一步真正決定這份分析能不能寫(xiě)進(jìn)報(bào)告的是假設(shè)檢驗(yàn)。泊松回歸的核心假設(shè)是「均值等于方差」但模型擬合完之后殘差的分布同樣重要。我一般會(huì)做兩件事一是對(duì)比對(duì)數(shù)似然和偏差統(tǒng)計(jì)量二是畫(huà)殘差與預(yù)測(cè)值的散點(diǎn)圖。# 對(duì)數(shù)似然與偏差 print(fLog-Likelihood: {results.llf:.4f}) print(fDeviance: {results.deviance:.4f}) print(fPearson chi2: {results.pearson_chi2:.4f}) # 殘差圖預(yù)測(cè)值 vs 殘差 residuals df_erosion[num_distress] - df_erosion[predict_result] plt.scatter(df_erosion[predict_result], residuals) plt.axhline(y0, colorred, linestyle--) plt.xlabel(預(yù)測(cè)值) plt.ylabel(殘差) plt.title(殘差 vs 預(yù)測(cè)值) plt.show()Deviance15.407 和自由度 19 對(duì)比比值小于 1說(shuō)明沒(méi)有明顯的過(guò)度分散。Pearson chi223.4 和自由度 19 也比較接近進(jìn)一步支持泊松假設(shè)成立。殘差圖如果呈現(xiàn)喇叭口形狀預(yù)測(cè)值越大殘差越分散說(shuō)明存在異方差需要考慮準(zhǔn)泊松或負(fù)二項(xiàng)。這份數(shù)據(jù)的殘差圖基本圍繞 0 均勻分布沒(méi)有明顯模式可以認(rèn)為模型設(shè)定合理。另一個(gè)容易被忽略的點(diǎn)是Pseudo R-squ. (CS)本例 0.2633Cox-Snell 偽 R2 在計(jì)數(shù)模型里不像線(xiàn)性回歸的 R2 那樣直觀但可以用來(lái)對(duì)比不同模型對(duì)同一數(shù)據(jù)的擬合優(yōu)度。如果你嘗試加入交互項(xiàng)或去掉不顯著變量這個(gè)值的變化方向能幫你判斷模型是變好還是變差。最后說(shuō)個(gè)習(xí)慣每次跑完 GLM我都會(huì)把results.params、results.pvalues、results.conf_int()三個(gè)輸出拼成一張表和原始變量名一一對(duì)應(yīng)存下來(lái)。因?yàn)?statsmodels 的摘要表在變量多的時(shí)候會(huì)換行肉眼核對(duì)系數(shù)和變量名很容易串行。從那以后我每次做泊松回歸都強(qiáng)制走一遍「零方差檢查 → 共線(xiàn)性檢查 → 殘差圖 → 系數(shù)對(duì)照表」這四步再也沒(méi)在報(bào)告里寫(xiě)錯(cuò)過(guò)變量。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取