簡介這份資源是一套基于Hadoop與Spark的大數(shù)據(jù)金融信貸風(fēng)控系統(tǒng)完整設(shè)計(jì)與實(shí)現(xiàn)涵蓋源代碼、說明文檔及輔助配置面向大數(shù)據(jù)、計(jì)算機(jī)等相關(guān)專業(yè)學(xué)生可用于畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)或企業(yè)初期項(xiàng)目參考。包體共69個(gè)文件其中包含36個(gè)Java源文件與8個(gè)Scala源文件配合12個(gè)XML配置、5個(gè)Properties環(huán)境配置及SQL腳本完整覆蓋從數(shù)據(jù)接入、Spark Streaming實(shí)時(shí)處理到信貸風(fēng)險(xiǎn)判定的核心鏈路。壓縮包約58KB目錄結(jié)構(gòu)清晰分為主工程與獨(dú)立的數(shù)據(jù)源接入模塊并配有數(shù)據(jù)庫初始化腳本和說明文檔且采用Maven管理項(xiàng)目依賴便于按模塊構(gòu)建與查閱。目前已有325人學(xué)習(xí)下載代碼均已運(yùn)行驗(yàn)證并附有高評(píng)分的項(xiàng)目介紹與配置說明可支撐動(dòng)手復(fù)現(xiàn)、功能擴(kuò)展和二次開發(fā)。資源內(nèi)還提供README等說明能有效降低上手門檻適合需要完整大數(shù)據(jù)風(fēng)控項(xiàng)目范例的讀者。1. 基于Hadoop、Spark的大數(shù)據(jù)金融信貸風(fēng)險(xiǎn)控系統(tǒng)到底解決什么問題當(dāng)信貸業(yè)務(wù)的數(shù)據(jù)量跑到千萬級(jí)單機(jī)SQL和Excel透視表開始卡死傳統(tǒng)風(fēng)控的特征加工需要跑幾個(gè)通宵時(shí)這個(gè)系統(tǒng)的價(jià)值就出來了?；贖adoop、Spark的大數(shù)據(jù)金融信貸風(fēng)險(xiǎn)控系統(tǒng)本質(zhì)上是把“數(shù)據(jù)存儲(chǔ)”交給HDFS、“批量計(jì)算”交給Spark用離線批處理的方式完成信貸用戶的特征加工、風(fēng)險(xiǎn)評(píng)分和黑名單識(shí)別。它解決的不是“怎么做一個(gè)APP”而是“怎么在有限服務(wù)器資源下把幾千萬條借款和還款記錄變成可用的風(fēng)控特征”。適合三類人做畢業(yè)設(shè)計(jì)的計(jì)算機(jī)或大數(shù)據(jù)專業(yè)學(xué)生、準(zhǔn)備轉(zhuǎn)行金融數(shù)據(jù)崗位的工程師、以及業(yè)務(wù)量增長后急需替代Excel風(fēng)控的小型金融團(tuán)隊(duì)。這套方案的落地難點(diǎn)不在算法而在環(huán)境搭建、特征加工和資源調(diào)優(yōu)三件事上。2. 信貸風(fēng)控系統(tǒng)的總體設(shè)計(jì)從業(yè)務(wù)流程到大數(shù)據(jù)架構(gòu)分層2.1 信貸風(fēng)控的業(yè)務(wù)閉環(huán)哪些環(huán)節(jié)必須交給大數(shù)據(jù)一個(gè)完整的信貸風(fēng)控系統(tǒng)數(shù)據(jù)流大致是申請進(jìn)件 → 用戶畫像 → 額度審批 → 放款 → 貸后監(jiān)控 → 催收與壞賬標(biāo)注。這六個(gè)環(huán)節(jié)每個(gè)都會(huì)產(chǎn)生大量可供分析的明細(xì)數(shù)據(jù)而這些數(shù)據(jù)匯總到一起就構(gòu)成了大數(shù)據(jù)風(fēng)控的基礎(chǔ)。需要重點(diǎn)說明的是系統(tǒng)里每個(gè)環(huán)節(jié)的輸入輸出都是結(jié)構(gòu)化日志。比如“申請進(jìn)件”會(huì)落一份包含用戶ID、申請時(shí)間、借款金額、期限的記錄“貸后監(jiān)控”會(huì)在每筆還款時(shí)追加一條狀態(tài)記錄。這些記錄以日為單位增量寫入一年下來輕松超過幾千萬行。傳統(tǒng)單機(jī)數(shù)據(jù)庫不是不能存而是“聚合計(jì)算”太慢——你要統(tǒng)計(jì)某個(gè)用戶近30天的借款頻次、逾期天數(shù)均值單機(jī)SQL需要全表掃描加文件排序跑一個(gè)特征要幾分鐘到幾十分鐘。Spark的核心優(yōu)勢就在這里把數(shù)據(jù)分布到多臺(tái)機(jī)器內(nèi)存里并行算。從落地角度我通常建議把業(yè)務(wù)模型和計(jì)算引擎解耦。業(yè)務(wù)上分成申請、審批、貸后三個(gè)域每個(gè)域抽象出一套事實(shí)表計(jì)算上統(tǒng)一用Spark批任務(wù)跑T1離線特征結(jié)果寫回Hive或MySQL供審批系統(tǒng)調(diào)用。這樣做的好處是業(yè)務(wù)方不用關(guān)心底層用了什么引擎模型迭代時(shí)也只改Spark代碼不動(dòng)業(yè)務(wù)流程。2.2 數(shù)據(jù)分層與存儲(chǔ)選型HDFS加Hive的四層標(biāo)準(zhǔn)結(jié)構(gòu)大數(shù)據(jù)風(fēng)控系統(tǒng)的存儲(chǔ)設(shè)計(jì)業(yè)界最成熟的做法是四層結(jié)構(gòu)ODS原始數(shù)據(jù)層、DWD明細(xì)數(shù)據(jù)層、DWS匯總數(shù)據(jù)層、ADS應(yīng)用數(shù)據(jù)層。這套分層在Hadoop生態(tài)里落地非常自然因?yàn)镠ive天然支持庫表結(jié)構(gòu)也方便后期用Spark直接讀取。ODS層負(fù)責(zé)對(duì)接上游業(yè)務(wù)庫通常用Sqoop或DataX把MySQL的借款流水、還款流水、用戶注冊信息全量或增量同步到HDFS。DWD層做清洗和標(biāo)準(zhǔn)化比如統(tǒng)一日期格式、剔除重復(fù)申請、糾正渠道ID空值。DWS層是核心把明細(xì)數(shù)據(jù)聚合成用戶維度的風(fēng)控特征比如近7天、近30天、近90天的借款次數(shù)、逾期次數(shù)、平均借款金額、最大逾期天數(shù)等。ADS層面向最終展示比如黑名單列表、用戶風(fēng)險(xiǎn)評(píng)分表、審批決策結(jié)果表。存儲(chǔ)格式上我個(gè)人的選擇是ODS層保留Parquet或ORC的原始文件DWD和DWS層用Parquet加分區(qū)。分區(qū)字段按業(yè)務(wù)日期dt來做每天一個(gè)分區(qū)既便于Spark下推裁剪也方便數(shù)據(jù)回溯和清理。這里要特別注意很多初學(xué)者在Hive里用默認(rèn)的TextFile格式跑一次全表掃描要讀完整份數(shù)據(jù)換成Parquet后掃描量能下降到原來的1/5甚至1/10。2.3 系統(tǒng)模塊劃分采集、加工、模型、服務(wù)四張王牌從實(shí)現(xiàn)角度拆系統(tǒng)由四個(gè)核心模塊組成。采集模塊定時(shí)拉取業(yè)務(wù)庫增量數(shù)據(jù)形成當(dāng)天分區(qū)文件特征加工模塊是Spark批任務(wù)讀取DWD層數(shù)據(jù)計(jì)算出用戶級(jí)和訂單級(jí)特征模型模塊在Spark MLlib里訓(xùn)練評(píng)分模型常見的算法選邏輯回歸或梯度提升樹服務(wù)模塊把訓(xùn)練好的模型輸出到線上通過加載模型文件將評(píng)分結(jié)果寫入MySQL供審批接口查詢。模塊之間的依賴用調(diào)度框架串聯(lián)。開源方案里最常用的是Azkaban或Apache DolphinScheduler把每天的任務(wù)編排成DAG比如凌晨2點(diǎn)同步增量數(shù)據(jù)3點(diǎn)跑DWD清洗4點(diǎn)跑DWS聚合5點(diǎn)訓(xùn)練增量模型6點(diǎn)輸出結(jié)果表。這里要提醒一句調(diào)度依賴必須考慮前一天任務(wù)失敗的重跑策略否則某一個(gè)環(huán)節(jié)掛了后面所有結(jié)果表都停在昨天。模塊劃分的價(jià)值在于“換一樣?xùn)|西不碰其他模塊”。比如業(yè)務(wù)方臨時(shí)要新增一個(gè)風(fēng)控變量只需要改DWS層的Spark任務(wù)模型引擎和服務(wù)接口不受影響。這也是畢業(yè)設(shè)計(jì)答辯和實(shí)際項(xiàng)目評(píng)審最看重的部分——不是模型有多深而是整個(gè)數(shù)據(jù)流是否完整閉環(huán)。3. Spark核心實(shí)現(xiàn)用PySpark完成信貸特征加工與模型訓(xùn)練3.1 特征加工是風(fēng)控的靈魂一個(gè)groupBy聚合案例信貸風(fēng)控的特征加工總體上就是三類用戶行為統(tǒng)計(jì)、借貸歷史統(tǒng)計(jì)、時(shí)間序列變化量。其中用戶借貸歷史統(tǒng)計(jì)是最優(yōu)先要做的因?yàn)樵谝粋€(gè)人的歷史還款記錄里逾期頻次和金額波動(dòng)能直接反映違約傾向。下面用一段PySpark代碼來實(shí)現(xiàn)最核心的用戶維度聚合特征。from pyspark.sql import SparkSession from pyspark.sql.functions import count, sum, avg, max, min, when, col spark SparkSession.builder \ .appName(finrisk_user_features) \ .enableHiveSupport() \ .getOrCreate() # 讀取DWD層某一天的借款訂單明細(xì) loan spark.sql(SELECT * FROM dwd_loan_record WHERE dt2024-06-01) # 按用戶維度聚合得到近30天內(nèi)的借款行為特征 user_feat loan.groupBy(user_id) \ .agg( count(loan_id).alias(loan_cnt_30d), sum(when(col(status) 0, 1).otherwise(0)).alias(overdue_cnt_30d), avg(overdue_days).alias(avg_overdue_days), avg(loan_amount).alias(avg_loan_amt), max(loan_amount).alias(max_loan_amt), min(loan_amount).alias(min_loan_amt) )這段代碼的每個(gè)聚合字段都有明確的金融含義。overdue_cnt_30d統(tǒng)計(jì)近30天的逾期次數(shù)是所有特征里對(duì)違約預(yù)測貢獻(xiàn)最穩(wěn)定的一個(gè)avg_overdue_days表示平均逾期天數(shù)數(shù)值越大說明用戶資金鏈緊張程度越高avg_loan_amt和max_loan_amt組合起來能識(shí)別借款金額是否超過其收入水平這也是授信額度審批的重要參考。參數(shù)層面groupBy(user_id)的粒度決定了特征維度如果要做訂單級(jí)特征改成groupBy(user_id, loan_id)即可when(col(status) 0, 1).otherwise(0)是Spark SQL的標(biāo)準(zhǔn)條件計(jì)數(shù)寫法等價(jià)于sum(CASE WHEN status0 THEN 1 ELSE 0 END)。實(shí)際項(xiàng)目中我一般會(huì)在groupBy之前先filter(dt 2024-05-01 and dt 2024-06-01)把時(shí)間窗口限定在近30天這樣每個(gè)用戶參與聚合的數(shù)據(jù)量會(huì)大幅減少任務(wù)執(zhí)行時(shí)間能下降一半以上。3.2 窗口函數(shù)加工最新行為最近一筆還款狀態(tài)聚合特征解決“總量”問題窗口函數(shù)解決“最近狀態(tài)”問題。風(fēng)控場景里用戶最近一次還款是否逾期對(duì)當(dāng)前授信決策的影響遠(yuǎn)大于半年前的歷史表現(xiàn)。Spark對(duì)窗口函數(shù)的支持已經(jīng)很成熟實(shí)現(xiàn)方式是partitionBy orderBy row_number。from pyspark.sql.window import Window from pyspark.sql.functions import row_number w Window.partitionBy(user_id).orderBy(col(apply_time).desc()) last_loan loan.withColumn(rn, row_number().over(w)) \ .filter(col(rn) 1) \ .select(user_id, loan_amount, status, overdue_days, apply_time)窗口函數(shù)的partitionBy指定了分組鍵是user_idorderBy desc把最新申請記錄排在最前面row_number取第一條即最近一筆訂單。這里有個(gè)性能細(xì)節(jié)窗口函數(shù)在全量數(shù)據(jù)上執(zhí)行時(shí)如果用戶量大且分區(qū)內(nèi)數(shù)據(jù)多shuffle開銷會(huì)非常大。一個(gè)常見的優(yōu)化是先把DWD層的分區(qū)字段dt過濾到最近三個(gè)月再配合loan表只保留需要的列參與排序這樣能有效降低內(nèi)存壓力。row_number和rank的區(qū)別也需要注意。row_number是嚴(yán)格遞增且不重復(fù)rank遇到相同排序值會(huì)并列且后續(xù)跳過序號(hào)。對(duì)于“取最近一筆”這個(gè)目標(biāo)必須用row_number否則同一天申請多筆的用戶會(huì)取到多行結(jié)果導(dǎo)致特征表和訂單表join后產(chǎn)生數(shù)據(jù)膨脹。3.3 用Spark MLlib訓(xùn)練信貸評(píng)分模型邏輯回歸與調(diào)參特征加工結(jié)束之后進(jìn)入模型訓(xùn)練環(huán)節(jié)。Spark MLlib的邏輯回歸和隨機(jī)森林是這里最常用的兩個(gè)算法。我用邏輯回歸作為基線模型因?yàn)樗山忉屝詮?qiáng)——每個(gè)特征的系數(shù)能告訴審批人員“逾期次數(shù)每增加一次風(fēng)險(xiǎn)分增加多少”這在金融監(jiān)管語境下非常重要。from pyspark.ml.feature import VectorAssembler, StandardScaler from pyspark.ml.classification import LogisticRegression from pyspark.ml import Pipeline from pyspark.ml.evaluation import BinaryClassificationEvaluator # 假設(shè)user_feat已經(jīng)和label合并成train_data feature_cols [loan_cnt_30d, overdue_cnt_30d, avg_overdue_days, avg_loan_amt, max_loan_amt, min_loan_amt, last_status] assembler VectorAssembler(inputColsfeature_cols, outputColfeatures_vec) scaler StandardScaler(inputColfeatures_vec, outputColfeatures_scale) lr LogisticRegression(featuresColfeatures_scale, labelCollabel, maxIter100, regParam0.01, elasticNetParam0.8) pipeline Pipeline(stages[assembler, scaler, lr]) train_data, test_data user_feat.randomSplit([0.8, 0.2], seed42) model pipeline.fit(train_data) evaluator BinaryClassificationEvaluator(rawPredictionColrawPrediction) auc evaluator.evaluate(model.transform(test_data)) print(ftest AUC {auc})代碼里VectorAssembler把多個(gè)特征列合并成一個(gè)向量這是Spark MLlib的固定入口StandardScaler把特征標(biāo)準(zhǔn)化到零均值和單位方差能加速邏輯回歸收斂。regParam0.01是L2正則強(qiáng)度值越大特征系數(shù)越平滑、越不容易過擬合elasticNetParam0.8表示在L1和L2之間偏向L1這會(huì)讓部分弱特征的系數(shù)直接變成0起到特征選擇作用。對(duì)信貸場景正負(fù)樣本不均衡是比調(diào)參更嚴(yán)重的問題。逾期用戶可能只占總樣本的3%~5%模型會(huì)傾向于把所有用戶都預(yù)測為“正常”AUC看起來高但實(shí)際沒用。解決方式有兩種在LogisticRegression里設(shè)置weightCol將少數(shù)類樣本權(quán)重調(diào)高或者用classWeight參數(shù)配置。訓(xùn)練完成后model.transform(test_data)輸出的probability列就可以直接轉(zhuǎn)成風(fēng)險(xiǎn)評(píng)分規(guī)則為score round(probability_of_bad * 1000)分?jǐn)?shù)越高代表風(fēng)險(xiǎn)越高。這類從特征加工到模型訓(xùn)練的過程其實(shí)就是Spark數(shù)據(jù)分析案例里最常見的模板——清洗抽取、聚合字段、組裝向量、訓(xùn)練評(píng)估。理解了這套固定動(dòng)作以后換任何業(yè)務(wù)域都只是改字段名。4. Hadoop與Spark環(huán)境搭建和集群調(diào)優(yōu)從偽分布式到Y(jié)ARN4.1 Hadoop偽分布式搭建與Zookeeper整合實(shí)戰(zhàn)學(xué)習(xí)階段最劃算的投入是搭一套Hadoop偽分布式環(huán)境單臺(tái)機(jī)器跑通全流程后面再擴(kuò)展到集群。偽分布式和集群的區(qū)別只有兩點(diǎn)進(jìn)程是否分布在不同機(jī)器、是否需要Zookeeper做NameNode高可用。單機(jī)玩不需要ZK但集群模式下必須把Zookeeper加上因?yàn)镠DFS的Active/Standby NameNode切換全靠它。標(biāo)準(zhǔn)安裝步驟大致如下先安裝JDK 8然后下載Hadoop安裝包解壓到/opt/hadoop配置環(huán)境變量。接著修改core-site.xml指定NameNode地址修改hdfs-site.xml指定副本數(shù)和NameNode數(shù)據(jù)目錄最后hdfs namenode -format格式化文件系統(tǒng)。# 安裝Hadoop準(zhǔn)備步驟 export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME/opt/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # core-site.xml 關(guān)鍵配置 property namefs.defaultFS/name valuehdfs://localhost:9000/value /property # hdfs-site.xml 關(guān)鍵配置 property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/data/hadoop/name/value /property property namedfs.datanode.data.dir/name value/data/hadoop/data/value /property偽分布式下dfs.replication必須設(shè)置為1否則默認(rèn)3副本會(huì)把磁盤寫爆fs.defaultFS指向localhost:9000是固定套路。很多人在格式化時(shí)遇到報(bào)錯(cuò)原因是/data/hadoop/name目錄已經(jīng)存在且由上次的初始化數(shù)據(jù)污染解決方式是先rm -rf /data/hadoop再重新格式化。這個(gè)重裝動(dòng)作在偽分布式階段非常常見屬于正常操作。與Zookeeper整合的實(shí)戰(zhàn)要點(diǎn)是在hdfs-site.xml里配置ha.zookeeper.quorum指向ZK集群地址并把dfs.nameservices邏輯名和NameNode的namenode1、namenode2兩個(gè)節(jié)點(diǎn)綁定。ZK在這里的角色是故障時(shí)快速切換NameNode讓HDFS對(duì)外提供不間斷服務(wù)。如果只有一臺(tái)測試機(jī)跳過ZK不影響功能驗(yàn)證如果目標(biāo)是集群生產(chǎn)必須搭三臺(tái)ZK節(jié)點(diǎn)以保證選舉可用。4.2 Spark集群部署YARN模式是關(guān)鍵Spark本身只是個(gè)計(jì)算框架它需要有人分配資源。常見部署模式有l(wèi)ocal、Standalone、YARN、Mesos其中YARN模式是生產(chǎn)環(huán)境的最優(yōu)選擇因?yàn)閅ARN能同時(shí)跑MapReduce和Spark不用維護(hù)兩套資源調(diào)度。配置YARN模式的流程是先配置spark-env.sh指定Java和Hadoop路徑再設(shè)置spark-defaults.conf指定master為yarn最后把Spark提交到集群的方式由spark-submit完成。# spark-env.sh 關(guān)鍵配置 export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_CONF_DIR/opt/hadoop/etc/hadoop export YARN_CONF_DIR/opt/hadoop/etc/hadoop export SPARK_HOME/opt/spark # spark-defaults.conf 關(guān)鍵配置 spark.master yarn spark.submit.deployMode cluster spark.driver.memory 2g spark.executor.memory 4g spark.executor.cores 2 spark.yarn.archive hdfs:///spark-jars/spark-archive.zipspark.submit.deployMode有cluster和client兩種模式。Client模式適合交互調(diào)試Driver跑在提交任務(wù)的機(jī)器上日志直接打印在終端Cluster模式適合生產(chǎn)調(diào)度的定時(shí)任務(wù)Driver跑在YARN的ApplicationMaster里日志要去yarn logs -applicationId查。做畢設(shè)和聯(lián)調(diào)階段建議用client日志直觀做正式跑批任務(wù)建議用cluster避免提交節(jié)點(diǎn)成為單點(diǎn)瓶頸。spark.yarn.archive的含義是把Spark依賴打包成zip傳到HDFS這樣YARN的每個(gè)NodeManager都能共享依賴不用在每個(gè)節(jié)點(diǎn)上都放一份Spark完整安裝包。這一步是集群化之前必須做的否則任務(wù)提交到多節(jié)點(diǎn)集群時(shí)會(huì)頻繁報(bào)ClassNotFoundException屬于配置階段的經(jīng)典坑。4.3 大數(shù)據(jù)集群部署策略三個(gè)必調(diào)的運(yùn)行參數(shù)集群部署策略上核心是搞清楚Spark任務(wù)跑多快、占多少資源由什么決定。需要時(shí)刻盯住的參數(shù)有三個(gè)spark.executor.memory、spark.executor.cores、spark.sql.shuffle.partitions。前面兩個(gè)決定每個(gè)執(zhí)行器的算力第三個(gè)決定shuffle階段的數(shù)據(jù)分區(qū)數(shù)。分區(qū)數(shù)設(shè)置過小會(huì)導(dǎo)致單分區(qū)數(shù)據(jù)量過大結(jié)果出現(xiàn)OOM設(shè)置過大會(huì)導(dǎo)致task數(shù)量過多調(diào)度開銷反而拖慢整體速度。參數(shù)名建議值設(shè)置依據(jù)spark.executor.memory4g~8g不超過單機(jī)物理內(nèi)存的1/4保守值4g起步spark.executor.cores2~4每個(gè)executor的并行度一般以核數(shù)除以2作為初始值spark.sql.shuffle.partitions200~500根據(jù)數(shù)據(jù)量和executor數(shù)量動(dòng)態(tài)調(diào)整優(yōu)先用默認(rèn)200spark.driver.memory2g~4gDriver端做collect時(shí)內(nèi)存需求大單獨(dú)調(diào)高spark.driver.maxResultSize2g防止collect超大結(jié)果集把driver撐爆這里最容易被忽視的是executor內(nèi)存和YARN容器上限的關(guān)系。YARN默認(rèn)單個(gè)容器最大內(nèi)存是8G如果你的executor內(nèi)存設(shè)置成12g任務(wù)提交后會(huì)被YARN直接拒絕啟動(dòng)。解決辦法是同步調(diào)整yarn-site.xml里的yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb讓兩者匹配。大數(shù)據(jù)集群部署策略的另一個(gè)要點(diǎn)是數(shù)據(jù)本地性。Spark計(jì)算任務(wù)能就近讀取HDFS數(shù)據(jù)塊時(shí)速度最快所以部署Spark的節(jié)點(diǎn)應(yīng)該和HDFS的DataNode節(jié)點(diǎn)重合或者至少保證同一機(jī)架內(nèi)網(wǎng)絡(luò)互通?？鐧C(jī)架讀數(shù)據(jù)會(huì)導(dǎo)致每個(gè)task都要走網(wǎng)絡(luò)拉取文件整體耗時(shí)可能翻倍。驗(yàn)證方式是在Spark UI的“Locality Level”看到PROCESS_LOCAL或NODE_LOCAL才算正常如果全是RACK_LOCAL說明部署策略出了偏差。5. 常見問題與避坑啟動(dòng)失敗、內(nèi)存溢出、數(shù)據(jù)傾斜5.1 DataNode起不來磁盤空間與副本策略的玄學(xué)現(xiàn)象執(zhí)行start-dfs.sh后NameNode進(jìn)程正常jps查看時(shí)DataNode沒有出現(xiàn)日志里報(bào)Failed to bind to :50010或磁盤空間不足。原因最常見的情況是偽分布式下把副本數(shù)設(shè)成了3而用于測試的機(jī)器磁盤根本存不下三份數(shù)據(jù)另一個(gè)原因是dfs.datanode.data.dir指定的目錄不存在或者沒有寫入權(quán)限。這類報(bào)錯(cuò)在初學(xué)階段出現(xiàn)頻率極高且錯(cuò)誤信息不直觀看起來像玄學(xué)本質(zhì)上就是配置和環(huán)境沖突。解決先執(zhí)行stop-all.sh停掉所有進(jìn)程然后檢查磁盤剩余空間df -h確認(rèn)可用容量至少5G以上。修改hdfs-site.xml把dfs.replication改為1并手動(dòng)創(chuàng)建數(shù)據(jù)目錄mkdir -p /data/hadoop/data、chown -R $USER /data/hadoop。最后清空/data/hadoop/name和/data/hadoop/data下的遺留文件重新執(zhí)行hdfs namenode -format再start-dfs.sh啟動(dòng)。格式化命名的順序很多新手搞反——必須先刪目錄再格式化否則格式化的元數(shù)據(jù)和舊殘留沖突啟動(dòng)依然失敗。5.2 Spark任務(wù)提交到Y(jié)ARN后被立刻處決現(xiàn)象用spark-submit提交任務(wù)后幾秒內(nèi)屏幕上直接報(bào)Application is killed或Container is running beyond virtual memory limits。這種報(bào)錯(cuò)在YARN模式下極其典型。原因executor申請的內(nèi)存超過了YARN容器允許的上限或者是executor的物理內(nèi)存超過申請的虛擬內(nèi)存比值。YARN默認(rèn)yarn.nodemanager.vmem-pmem-ratio為2.1即物理內(nèi)存2G的容器最多允許4.2G虛擬內(nèi)存而Spark的executor還會(huì)額外占用堆外內(nèi)存和JVM元空間疊加之后很容易超限。解決第一步降低spark.executor.memory到容器允許范圍內(nèi)比如YARN單容器上限8Gexecutor就設(shè)4G~6G第二步統(tǒng)一調(diào)整spark.executor.memoryOverhead默認(rèn)是executor內(nèi)存的10%壓力大時(shí)調(diào)高到512m或1g第三步如果問題還在去yarn-site.xml里把yarn.nodemanager.vmem-pmem-ratio調(diào)大到4.0或直接設(shè)置yarn.nodemanager.vmem-check-enabled為false但生產(chǎn)環(huán)境不建議禁用檢查因?yàn)檫@會(huì)掩蓋真正的內(nèi)存泄漏。5.3 特征join時(shí)數(shù)據(jù)傾斜加鹽與廣播變量的十八般武藝現(xiàn)象跑user_feat.join(order_info, user_id)時(shí)整個(gè)任務(wù)卡在某個(gè)stageSpark UI上某個(gè)task的shuffle read量遠(yuǎn)大于其他task執(zhí)行時(shí)間比其他task高出幾十倍。原因某個(gè)高頻用戶的借款記錄特別多比如一個(gè)羊毛黨用戶關(guān)聯(lián)了幾萬筆訂單按user_id做hash分區(qū)時(shí)這個(gè)用戶的全部數(shù)據(jù)落到了同一個(gè)executor上單點(diǎn)計(jì)算壓力集中爆發(fā)。數(shù)據(jù)傾斜是Spark批處理任務(wù)里最傷筋動(dòng)骨的問題尤其在信貸數(shù)據(jù)里小額高頻借款用戶的記錄量與正常用戶差距巨大。解決如果是小表join大表直接給join操作加broadcast提示把維度表廣播到每個(gè)executor內(nèi)存中徹底不走shuffle。如果兩邊都是大表采用加鹽方案——對(duì)熱點(diǎn)key在join前加隨機(jī)前綴先膨脹再聚合。偽代碼如下把訂單表的user_id拼一個(gè)隨機(jī)數(shù)后綴如concat(user_id, _, rand_num)右表也按相同規(guī)則復(fù)制多條帶相同前綴的記錄join完成后再按user_id聚合還原。這種方式能以增加數(shù)據(jù)量為代價(jià)換取負(fù)載均衡屬于最通用的傾斜治理手段。5.4 本地能跑通集群上一跑就OOM現(xiàn)象同樣的代碼在本地模式local[*]上運(yùn)行無異常提交到Y(jié)ARN集群后頻繁報(bào)ExecutorLostFailure或Java heap space。原因本地模式默認(rèn)只有一個(gè)executor所有task串行跑內(nèi)存壓力小集群模式下多個(gè)executor并行執(zhí)行且數(shù)據(jù)量在分布式環(huán)境下被放大driver端和executor端的內(nèi)存分配策略完全不同。另一個(gè)原因是代碼里用了.collect()方法把全量結(jié)果拉回driver在集群上數(shù)據(jù)量一大driver內(nèi)存瞬間被打滿。解決在所有需要落庫或展示的地方用df.write.format(parquet).save(...)替代collect()必須輸出少量結(jié)果時(shí)先limit(100)再collect。同時(shí)檢查Spark UI的Executor頁面看具體是driver端OOM還是executor端OOM——driver端OOM調(diào)spark.driver.memoryexecutor端OOM調(diào)spark.executor.memory加memoryOverhead。排查順序不能亂先看UI再改參數(shù)否則就是在猜。6. 結(jié)果驗(yàn)證與進(jìn)階改造從離線批處理走向準(zhǔn)實(shí)時(shí)風(fēng)控模型訓(xùn)練完成只是開始怎么證明系統(tǒng)可用才是最關(guān)鍵的。常規(guī)做法是算AUC和KS兩個(gè)指標(biāo)。AUC能衡量模型整體區(qū)分度0.7以上算及格0.75~0.85是信貸場景常用的理想?yún)^(qū)間KS關(guān)注的是好壞用戶分布的最大差距風(fēng)控模型KS一般要求在0.3以上。如果訓(xùn)練AUC高但測試AUC掉得厲害優(yōu)先檢查特征中是否混入了未來變量——比如用“當(dāng)前訂單的還款狀態(tài)”去預(yù)測當(dāng)前訂單違約這種數(shù)據(jù)泄漏在信貸風(fēng)控里是重災(zāi)區(qū)。除了模型指標(biāo)還要驗(yàn)證數(shù)據(jù)鏈路的正確性。我的習(xí)慣是取最近三天的DWS特征表隨機(jī)抽幾名用戶把Spark聚合出的借款次數(shù)、逾期次數(shù)和業(yè)務(wù)庫里的明細(xì)記錄人工比對(duì)確認(rèn)口徑一致后再進(jìn)入模型迭代。這一步雖然原始卻能有效避免分區(qū)字段拼錯(cuò)、日期過濾條件寫反這類低級(jí)錯(cuò)誤數(shù)據(jù)平臺(tái)上查數(shù)是對(duì)得上但特征字段含義可能已經(jīng)偏離業(yè)務(wù)了。進(jìn)階改造方向是把當(dāng)前T1的離線批處理變成準(zhǔn)實(shí)時(shí)。具體路線是用Kafka接收業(yè)務(wù)系統(tǒng)實(shí)時(shí)產(chǎn)生的申請和還款事件Spark Structured Streaming消費(fèi)Kafka數(shù)據(jù)做窗口聚合每5分鐘更新一次用戶特征緩存模型服務(wù)從緩存中讀取特征并實(shí)時(shí)返回評(píng)分。這套改造不需要重寫系統(tǒng)在現(xiàn)有的DWS層增加一張實(shí)時(shí)特征寬表再在服務(wù)層增加一個(gè)讀取Redis緩存的接口即可。如果團(tuán)隊(duì)對(duì)實(shí)時(shí)性要求更高可以再引入Flink替換掉Spark Streaming但底層的特征口徑和模型文件完全不用動(dòng)?；氐焦こ瘫旧砦椰F(xiàn)在的習(xí)慣是無論任務(wù)多小提交后先打開Spark UI盯兩個(gè)指標(biāo)shuffle讀寫的總量和單個(gè)task的執(zhí)行時(shí)間。shuffle量突然變大說明join或groupBy的粒度和分區(qū)有問題task時(shí)間分布不均說明傾斜正在發(fā)生。把這個(gè)習(xí)慣保持下來很多集群層面的疑難雜癥都能在剛冒頭時(shí)被按下去。這套基于Hadoop、Spark的信貸風(fēng)控系統(tǒng)技術(shù)棧都是公開的真正的護(hù)城河在特征口徑、數(shù)據(jù)質(zhì)量和排錯(cuò)效率上希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取