做這個(gè)項(xiàng)目之前我一直覺得電價(jià)預(yù)測(cè)和普通時(shí)序預(yù)測(cè)沒什么兩樣無非是拿歷史價(jià)格套一個(gè)模型看看 RMSE 能壓到多少。直到我真正面對(duì)歐洲某典型現(xiàn)貨市場(chǎng)的逐小時(shí)電價(jià)數(shù)據(jù)才意識(shí)到問題比想象中難得多價(jià)格凌晨可能只有幾歐元中午光伏滿發(fā)時(shí)能跌到負(fù)數(shù)傍晚氣電頂上來又瞬間沖到上百歐元。這種“日?；钡臉O端波動(dòng)讓 ARIMA、GARCH 甚至普通樹模型都顯得力不從心而換深度學(xué)習(xí)模型雖然能壓住誤差卻很難回答業(yè)務(wù)方那句靈魂拷問——“模型到底看到了什么才敢預(yù)測(cè)出這個(gè)價(jià)格”于是這個(gè)項(xiàng)目把兩條線擰在一起做一條是用深度學(xué)習(xí)做未來 24 小時(shí)電價(jià)預(yù)測(cè)另一條是用 SHAP 可解釋性分析把黑盒模型的輸出拆解成“每個(gè)特征的貢獻(xiàn)”。項(xiàng)目跑通之后我的體會(huì)是準(zhǔn)確率提升只是結(jié)果真正有價(jià)值的是能夠向別人說清楚“預(yù)測(cè)為什么成立”以及“模型學(xué)會(huì)了哪些市場(chǎng)規(guī)律”。這篇就按我實(shí)際動(dòng)手的順序從方案選型、數(shù)據(jù)清洗、模型訓(xùn)練到 SHAP 解讀把完整鏈路和踩過的坑一次講透。適合正在做電力市場(chǎng)預(yù)測(cè)的算法工程師、對(duì)沖能源風(fēng)險(xiǎn)的量化同學(xué)以及想給深度學(xué)習(xí)項(xiàng)目加上可解釋性的研究者參考。1. 項(xiàng)目定位與研究目標(biāo)拆解1.1 為什么選這個(gè)市場(chǎng)場(chǎng)景這個(gè)項(xiàng)目選擇的研究對(duì)象是歐洲最具代表性的現(xiàn)貨電力市場(chǎng)之一特征是新能源占比極高、市場(chǎng)化程度成熟、價(jià)格波動(dòng)大。熟悉歐洲電力市場(chǎng)的讀者可能立刻想到伊比利亞半島那個(gè)“天天上頭條”的市場(chǎng)但為了避免掛靠具體機(jī)構(gòu)下面統(tǒng)一用“目標(biāo)市場(chǎng)”來稱呼。目標(biāo)市場(chǎng)采用典型的統(tǒng)一邊際出清機(jī)制發(fā)電資源按報(bào)價(jià)從低到高排隊(duì)系統(tǒng)負(fù)荷需求曲線與供給曲線的交點(diǎn)決定了全體市場(chǎng)成員統(tǒng)一成交的現(xiàn)貨價(jià)格。這個(gè)機(jī)制帶來一個(gè)很有意思的結(jié)果——風(fēng)電和光伏的邊際運(yùn)行成本幾乎為零只要它們出力足夠大就會(huì)把電價(jià)推向極低甚至負(fù)值而天然氣機(jī)組和儲(chǔ)能則成為晚高峰價(jià)格的主要支撐。所以電價(jià)預(yù)測(cè)的本質(zhì)其實(shí)是預(yù)測(cè)“發(fā)電結(jié)構(gòu)博弈”的結(jié)果而不是預(yù)測(cè)某一條獨(dú)立的時(shí)間序列。我選擇這個(gè)場(chǎng)景有三個(gè)理由。第一數(shù)據(jù)可得性高市場(chǎng)運(yùn)營方公開的透明度數(shù)據(jù)接口里有逐小時(shí)出清價(jià)、系統(tǒng)負(fù)荷、風(fēng)電光伏出力預(yù)測(cè)等核心字段天然適合做研究。第二目標(biāo)市場(chǎng)經(jīng)常出現(xiàn)負(fù)電價(jià)和尖峰樣本內(nèi)包含了“電價(jià)概率分布的尾部”這對(duì)檢驗(yàn)深度學(xué)習(xí)模型的魯棒性很有價(jià)值。第三可再生能源占比高意味著電價(jià)受天氣和燃料成本雙重驅(qū)動(dòng)特征工程可挖掘的空間很大做 SHAP 解釋時(shí)能講出的故事也足夠豐富。1.2 整體技術(shù)方案的選型邏輯先交代為什么淘汰傳統(tǒng)方案。ARIMA 類模型要求序列近似線性且平穩(wěn)而電價(jià)序列有明顯的時(shí)變方差、尖峰厚尾和多重季節(jié)周期做差分和對(duì)數(shù)變換也只能勉強(qiáng)應(yīng)付預(yù)測(cè)能力很弱。GARCH 族模型擅長描述波動(dòng)率聚集但點(diǎn)預(yù)測(cè)效果平平而且它對(duì)“新能源出力沖擊”這種外生突變幾乎無能為力。樹模型能用特征工程做得好時(shí)效果不錯(cuò)但它本質(zhì)上是按特征切分空間天然不擅長建?！拔磥?24 小時(shí)連續(xù)輸出的時(shí)序依賴”外推能力也弱。深度學(xué)習(xí)之所以成為主線是因?yàn)樗馨选斑^去一周的價(jià)格形態(tài)、今日外生預(yù)測(cè)、日歷節(jié)奏”整體作為序列輸入端到端學(xué)習(xí)從窗口到未來 24 小時(shí)的映射關(guān)系。我在項(xiàng)目里用 ConvLSTM 混合結(jié)構(gòu)后面會(huì)細(xì)說。但深度學(xué)習(xí)換來了精度也帶來了解釋性空白。交易臺(tái)的人不會(huì)只因?yàn)?RMSE 好看就相信預(yù)測(cè)他們會(huì)追問“為什么中午這小時(shí)你預(yù)測(cè)了負(fù)價(jià)依據(jù)是光伏還是負(fù)荷”項(xiàng)目評(píng)審也會(huì)關(guān)心模型是否學(xué)到了合理市場(chǎng)邏輯而不是記住了噪聲。SHAP 正好補(bǔ)上了這一環(huán)它計(jì)算每個(gè)特征對(duì)每個(gè)預(yù)測(cè)樣本的邊際貢獻(xiàn)既能畫全局重要性排序也能拆解單條預(yù)測(cè)的形成過程。這套“高性能預(yù)測(cè) 可解釋分析”的組合是項(xiàng)目在技術(shù)選型上最核心的決策。最后是管線規(guī)劃。整個(gè)項(xiàng)目拆成五個(gè)模塊數(shù)據(jù)清洗與重采樣、特征構(gòu)造與目標(biāo)定義、模型設(shè)計(jì)與訓(xùn)練、預(yù)測(cè)評(píng)估、SHAP 解釋。每個(gè)模塊單獨(dú)驗(yàn)證通過之后再串聯(lián)避免后期排查問題時(shí)無從下手。2. 數(shù)據(jù)鏈路搭建從原始序列到可訓(xùn)練樣本2.1 原始數(shù)據(jù)字段與清洗細(xì)節(jié)項(xiàng)目使用的原始數(shù)據(jù)主要來自市場(chǎng)運(yùn)營方公開的透明度接口核心字段包括逐小時(shí)現(xiàn)貨出清價(jià)、系統(tǒng)實(shí)際負(fù)荷、系統(tǒng)負(fù)荷預(yù)測(cè)、風(fēng)電出力預(yù)測(cè)、光伏出力預(yù)測(cè)、天然氣價(jià)格、碳排放配額價(jià)格以及氣溫和日歷信息。這里有一個(gè)非常重要的概念要提前明確——建模時(shí)能用的“外生變量版本”到底是什么。舉個(gè)例子預(yù)測(cè)當(dāng)天第 14 個(gè)小時(shí)的電價(jià)如果特征里用了“當(dāng)天 14 時(shí)系統(tǒng)實(shí)際負(fù)荷”那屬于嚴(yán)重的未來信息泄漏因?yàn)閷?shí)際負(fù)荷要到那個(gè)小時(shí)結(jié)束后才會(huì)被統(tǒng)計(jì)發(fā)布。實(shí)際可用的應(yīng)該是前一日發(fā)布的負(fù)荷預(yù)測(cè)或者臨近時(shí)刻的更新預(yù)測(cè)。訓(xùn)練樣本可以包含很多維度但每條特征必須嚴(yán)格滿足“在預(yù)測(cè)時(shí)刻已知”的約束。清洗上我踩過三個(gè)比較典型的坑。第一是時(shí)間索引問題歐洲市場(chǎng)跨夏令時(shí)切換某些天只有 23 個(gè)小時(shí)或 25 個(gè)小時(shí)直接用本地時(shí)間做滯后會(huì)自動(dòng)錯(cuò)位。處理方式是數(shù)據(jù)處理階段全部統(tǒng)一成 UTC保留一個(gè)本地時(shí)區(qū)字段僅用于展示滯后特征一律按 UTC 時(shí)間軸構(gòu)造。第二是缺失值逐小時(shí)序列偶爾會(huì)出現(xiàn)單點(diǎn)缺失1~2 個(gè)缺失點(diǎn)用線性插值問題不大但如果連續(xù)缺失超過 6 個(gè)小時(shí)最好整段剔除否則插值會(huì)制造出虛假的平滑段模型會(huì)誤學(xué)。第三是負(fù)電價(jià)和極端尖峰很多新手第一反應(yīng)是當(dāng)成異常值刪掉這是大忌——負(fù)電價(jià)是新能源高發(fā)時(shí)段的正常市場(chǎng)現(xiàn)象極端尖峰也承載了供需緊張的信息刪掉它們等于把模型最需要學(xué)習(xí)的關(guān)鍵機(jī)制抹掉了。2.2 特征工程與預(yù)測(cè)目標(biāo)的定義特征工程我分成三類來設(shè)計(jì)歷史價(jià)格特征、日歷節(jié)奏特征、外生變量特征。歷史價(jià)格特征里滯后項(xiàng)最核心的是前 1/2/3 小時(shí)、昨日同時(shí)刻lag_24h、上周同時(shí)刻lag_168h再加一個(gè)過去 7 天同時(shí)刻均值。為什么重點(diǎn)保留這幾個(gè)現(xiàn)貨市場(chǎng)有極強(qiáng)的日內(nèi)節(jié)奏昨天下午 2 點(diǎn)的光伏壓價(jià)效應(yīng)大概率會(huì)在今天下午 2 點(diǎn)重演一周前的同小時(shí)還能捕捉周季節(jié)模式。只保留密集的逐小時(shí)滯后并不會(huì)帶來明顯提升反而會(huì)讓特征矩陣變胖、訓(xùn)練變慢SHAP 分析時(shí)還會(huì)出現(xiàn)特征共線性問題。除了原始滯后價(jià)我還構(gòu)造了滾動(dòng)窗口統(tǒng)計(jì)量過去 3 小時(shí)均值、過去 3 小時(shí)標(biāo)準(zhǔn)差、過去 24 小時(shí)極差。這批特征刻畫的是市場(chǎng)“當(dāng)前狀態(tài)”比如過去三小時(shí)價(jià)格劇烈震蕩模型就應(yīng)該對(duì)當(dāng)前時(shí)刻的預(yù)測(cè)保留更多不確定性。日歷特征用 sin/cos 周期編碼而不是直接填整數(shù)小時(shí)。直接填 hour23 和 hour0 這兩個(gè)整數(shù)在模型看來距離是 23 個(gè)單位但真實(shí)時(shí)間上它們只差 1 小時(shí)用線性編碼會(huì)給模型制造虛假的“斷點(diǎn)”。hour_sin/hour_cos以及dayofweek_sin/dayofweek_cos能平滑表達(dá)這種周期性。節(jié)假日則單獨(dú)做一個(gè)二值特征歐洲市場(chǎng)在法定節(jié)假日期間需求結(jié)構(gòu)會(huì)發(fā)生顯著變化。外生變量特征包括負(fù)荷預(yù)測(cè)、風(fēng)電出力預(yù)測(cè)、光伏出力預(yù)測(cè)、天然氣價(jià)格、碳價(jià)、氣溫。外生變量的發(fā)布版本要統(tǒng)一用“日前預(yù)測(cè)快照”不能混用不同批次的日更數(shù)據(jù)否則模型會(huì)發(fā)現(xiàn)同一時(shí)刻的輸入口徑不一致預(yù)測(cè)結(jié)果會(huì)跟著跳。目標(biāo)變量定義為未來 24 小時(shí)逐小時(shí)電價(jià)的多步輸出即模型一次輸出 24 個(gè)值而不是迭代滾動(dòng)預(yù)測(cè)。直接多步預(yù)測(cè)避免了誤差在遞歸中累積訓(xùn)練時(shí)間也更短缺點(diǎn)是失去遞歸修正能力但實(shí)測(cè)結(jié)果更穩(wěn)定。構(gòu)造樣本時(shí)還有一條鐵律窗口滑動(dòng)方向嚴(yán)格沿時(shí)間軸推進(jìn)訓(xùn)練集和驗(yàn)證集的劃分邊界要發(fā)生在生成窗口之前。如果先把整段數(shù)據(jù)切出驗(yàn)證集再在全局生成滑動(dòng)窗口訓(xùn)練窗口的末端會(huì)“看到”驗(yàn)證集開頭的數(shù)據(jù)評(píng)估結(jié)果會(huì)虛高這在第 5 章還會(huì)展開講。3. 深度學(xué)習(xí)模型的設(shè)計(jì)與訓(xùn)練紀(jì)律3.1 模型結(jié)構(gòu)為什么要用 Conv LSTM 混合主模型結(jié)構(gòu)是一層 1D 卷積接雙層 LSTM最后接全連接層輸出 24 個(gè)價(jià)格點(diǎn)。先上代碼import tensorflow as tf model tf.keras.Sequential([ tf.keras.layers.Conv1D(filters32, kernel_size3, paddingsame, activationrelu), tf.keras.layers.BatchNormalization(), tf.keras.layers.LSTM(units64, return_sequencesTrue), tf.keras.layers.Dropout(0.2), tf.keras.layers.LSTM(units32, return_sequencesFalse), tf.keras.layers.Dropout(0.2), tf.keras.layers.Dense(units24) ])為什么第一層用卷積而不是直接上 LSTM電價(jià)相鄰小時(shí)之間往往有很強(qiáng)的短時(shí)慣性例如凌晨 2 點(diǎn)到 4 點(diǎn)的價(jià)格通常平穩(wěn)滑行Conv1D 的局部卷積核能快速提取這類短時(shí)模式還能壓縮序列長度。我實(shí)測(cè)過加這一層后 LSTM 層的壓力明顯減小訓(xùn)練時(shí)間縮短約三分之一測(cè)試集誤差略有改善。反過來如果只用純 LSTM模型需要自己從長序列里摸索出短時(shí)模式參數(shù)量和訓(xùn)練成本都會(huì)上去。LSTM 單元堆兩層是性能和復(fù)雜度之間的平衡點(diǎn)第一層 64 個(gè)單元負(fù)責(zé)學(xué)習(xí)時(shí)間模式第二層 32 個(gè)單元在更高抽象層組合這些模式超過兩層之后收益很小反而更容易在長序列上過擬合。代碼里每個(gè) LSTM 層后面接了 Dropout(0.2)這是處理時(shí)序模型過擬合最直接的手段比正則化系數(shù)更順手。3.2 訓(xùn)練細(xì)節(jié)、歸一化與超參選擇訓(xùn)練配置里最關(guān)鍵的一步是歸一化。電價(jià)序列包含負(fù)電價(jià)和極端尖峰如果用 MinMaxScaler極端值會(huì)把大部分正常樣本壓縮到一個(gè)很窄的區(qū)間模型無形中把精度花在了區(qū)分極值上。我用的是 RobustScaler按中位數(shù)和四分位距縮放對(duì)異常值不敏感負(fù)電價(jià)落在零點(diǎn)兩側(cè)也很自然。from sklearn.preprocessing import RobustScaler scaler RobustScaler().fit(X_train_2d) # 只在訓(xùn)練集上擬合 X_train scaler.transform(X_train_2d) X_val scaler.transform(X_val_2d) X_test scaler.transform(X_test_2d)這里必須強(qiáng)調(diào)fit只能作用在訓(xùn)練集上驗(yàn)證集和測(cè)試集只能用訓(xùn)練集的統(tǒng)計(jì)量做transform否則就屬于把未來數(shù)據(jù)的信息“捎帶”進(jìn)了訓(xùn)練流程。訓(xùn)練超參數(shù)我固定如下超參數(shù)取值選擇依據(jù)輸入窗口長度168 小時(shí)覆蓋完整 7 天周周期模型能識(shí)別周日和周一差異卷積核尺寸3捕捉相鄰 3 小時(shí)的短時(shí)慣性LSTM 單元數(shù)64 / 32兩層結(jié)構(gòu)控制參數(shù)量在合理區(qū)間Dropout0.2防止時(shí)序過擬合損失函數(shù)Huberdelta1.0兼顧 MSE 的敏感性和 MAE 的魯棒性優(yōu)化器Adam初始學(xué)習(xí)率 0.001常規(guī)穩(wěn)健搭配Batch Size256平衡梯度穩(wěn)定性與訓(xùn)練速度最大 Epoch80配合早停策略早停 Patience10驗(yàn)證集 loss 連續(xù) 10 輪不降即停損失函數(shù)沒有用默認(rèn)的 MSE。電價(jià)的尖峰會(huì)讓 MSE 主導(dǎo)梯度模型為了降低二次懲罰傾向于把預(yù)測(cè)壓向“平滑的中間值”結(jié)果就是峰谷時(shí)刻全被抹平。Huber 損失在誤差較小時(shí)接近 MSE、誤差大時(shí)接近 MAE既保留了對(duì)大誤差的敏感度又不會(huì)因?yàn)閭€(gè)別尖峰帶偏整個(gè)訓(xùn)練方向。訓(xùn)練時(shí)配合 ReduceLROnPlateau 做學(xué)習(xí)率衰減patience 設(shè) 5、衰減系數(shù) 0.5模型保存以驗(yàn)證集指標(biāo)為基準(zhǔn)早停觸發(fā)時(shí)恢復(fù)到驗(yàn)證集最優(yōu)權(quán)重。所有隨機(jī)種子固定保證實(shí)驗(yàn)可復(fù)現(xiàn)。3.3 評(píng)估指標(biāo)與誤差觀察口徑第一批評(píng)估指標(biāo)我用了 RMSE、MAE、R2 和 sMAPE。RMSE 對(duì)災(zāi)難性大誤差敏感適合盯“有沒有離譜預(yù)測(cè)”MAE 反映平均誤差水平R2 看模型對(duì)目標(biāo)變異的解釋比例。MAPE 在這個(gè)場(chǎng)景里直接失效——真實(shí)電價(jià)會(huì)出現(xiàn) 0 和負(fù)值MAPE 的分母不是 0 就是負(fù)數(shù)計(jì)算值毫無意義所以用對(duì)稱的 sMAPE 作為替代?；€選擇非常關(guān)鍵。我用了兩個(gè)基線持久性基線用昨日同小時(shí)價(jià)格作為明日預(yù)測(cè)值和線性回歸。持久性基線在電價(jià)這種強(qiáng)慣性序列里一點(diǎn)都不弱如果深度學(xué)習(xí)模型不能讓 RMSE 相對(duì)它下降 20% 以上那這個(gè)深度學(xué)習(xí)就不合格。項(xiàng)目跑出來的結(jié)果是測(cè)試集上深度學(xué)習(xí)模型的 RMSE 相對(duì)持久性基線下降約四分之一MAE 改善略小R2 在 0.92 附近。誤差不能只看整體均值按小時(shí)誤差拆開看才有意義。實(shí)測(cè)中正午 12 點(diǎn)到 15 點(diǎn)的誤差明顯偏大這正對(duì)應(yīng)光伏出力高、價(jià)格容易被打到負(fù)區(qū)間的時(shí)段。如果外生特征里的光伏預(yù)測(cè)數(shù)值偏保守模型就會(huì)在午后持續(xù)性高估價(jià)格。這個(gè)結(jié)論后來通過 SHAP 依賴圖得到了印證。預(yù)測(cè)曲線可視化時(shí)可以明顯看到早高峰和晚高峰的尖峰形狀被模型學(xué)到了但遇到風(fēng)電驟減或者氣價(jià)突漲的日子預(yù)測(cè)還是會(huì)滯后這類樣本正是后續(xù)需要單獨(dú)建子模型或引入額外特征的方向。4. SHAP 可解釋性分析把預(yù)測(cè)邏輯打開給業(yè)務(wù)看4.1 SHAP 原理與深度學(xué)習(xí)配適SHAP 的核心是 Shapley 值來自合作博弈論把每個(gè)特征看作參與游戲的一方模型輸出是全體特征合作產(chǎn)生的收益Shapley 值就是一種公平分配收益的方法——它在所有可能的特征組合里計(jì)算某個(gè)特征的邊際貢獻(xiàn)再按加權(quán)平均得到該特征對(duì)當(dāng)前預(yù)測(cè)的貢獻(xiàn)。簡單說就是模型給這個(gè)樣本預(yù)測(cè)出的價(jià)格可以拆成“基線預(yù)測(cè)值 每個(gè)特征的貢獻(xiàn)值”把所有貢獻(xiàn)加起來就還原了預(yù)測(cè)結(jié)果。用一個(gè)生活類比理解朋友聚餐后 AA但有人吃得多有人吃得少怎么算出誰該出多少才公平SHAP 的方法是讓每個(gè)人分別加入不同的人群組合看他加入前后賬單變化了多少把所有組合的變化加總求平均最后得到每個(gè)人的“公平貢獻(xiàn)”。放到模型里特征就是聚餐的人模型輸出就是賬單金額。深度學(xué)習(xí)模型配 SHAP 有幾種方式。TensorFlow 環(huán)境里可以用DeepExplainer或GradientExplainer做基于梯度的近似計(jì)算也可以用模型無關(guān)的KernelExplainer做采樣。對(duì) LSTM 類模型我的實(shí)測(cè)體會(huì)是GradientExplainer的穩(wěn)定性和速度更均衡先從訓(xùn)練集隨機(jī)抽 200 條樣本作為背景數(shù)據(jù)集再對(duì)測(cè)試集樣本計(jì)算 SHAP 值。背景數(shù)據(jù)集必須全部來自訓(xùn)練集否則解釋過程泄漏了未來信息得到的貢獻(xiàn)值會(huì)有偏。import shap explainer shap.GradientExplainer(model, X_train_background) shap_values explainer.shap_values(X_test_explain) shap.summary_plot(shap_values[0], X_test_explain, feature_namesfeature_names)4.2 全局解釋特征重要性和影響方向SHAP 全局分析最有價(jià)值的是 summary plot。橫軸是 SHAP 值大小縱軸按特征平均絕對(duì) SHAP 值排序樣本點(diǎn)的顏色代表該特征的實(shí)際取值高低。讀圖時(shí)先看排序再看顏色分布的方向關(guān)系就能知道“誰在影響預(yù)測(cè)”以及“怎么影響”。這個(gè)項(xiàng)目里最重要的三個(gè)發(fā)現(xiàn)如下。第一lag_24h昨日同小時(shí)價(jià)格的重要性一騎絕塵且與 SHAP 值呈正相關(guān)昨日同小時(shí)價(jià)格高模型就傾向于推高今日預(yù)測(cè)。這是市場(chǎng)慣性的體現(xiàn)現(xiàn)貨價(jià)格在相同時(shí)段之間有極強(qiáng)的自相關(guān)。第二光伏出力預(yù)測(cè)的重要性排在前列整體方向?yàn)樨?fù)——光伏出力越高模型越傾向壓低價(jià)格。這個(gè)方向不是線性恒定午后高光伏區(qū)間尤其明顯樣本點(diǎn)出現(xiàn)大量左端延伸說明模型學(xué)到了“光伏過剩會(huì)把價(jià)格打到負(fù)區(qū)間”這一段非線性機(jī)制。第三天然氣價(jià)格的影響不是獨(dú)立常數(shù)它在冬夜高負(fù)荷時(shí)段的貢獻(xiàn)被明顯放大。氣價(jià)是邊際機(jī)組的成本錨模型捕捉到的是“高價(jià)燃料 高負(fù)荷 價(jià)格容易被推升”的交互效應(yīng)。再往下看依賴圖。畫dependence_plot時(shí)會(huì)發(fā)現(xiàn)光伏出力預(yù)測(cè)特征對(duì) SHAP 貢獻(xiàn)的斜率在不同負(fù)荷顏色下并不一致高負(fù)荷日同一份光伏出力預(yù)測(cè)壓低價(jià)格的作用更強(qiáng)。這說明市場(chǎng)博弈中光伏對(duì)價(jià)格的邊際影響依賴系統(tǒng)需求——光伏在需求旺盛時(shí)壓低價(jià)格在需求慘淡時(shí)直接制造負(fù)電價(jià)。這類交互特征在線性模型里很難顯式構(gòu)造深度學(xué)習(xí) SHAP 能把它自動(dòng)找出來是這套組合最大的競(jìng)爭力。4.3 局部解釋拆解單個(gè)時(shí)段的預(yù)測(cè)全局解釋回答“模型總體靠什么”局部解釋回答“這一個(gè)小時(shí)為什么這么預(yù)測(cè)”。用 waterfall 圖看單個(gè)樣本最直觀從基線預(yù)測(cè)值出發(fā)每個(gè)特征往上加貢獻(xiàn)或往下減貢獻(xiàn)最后得到模型輸出。我挑過一個(gè)正午負(fù)電價(jià)樣本。模型預(yù)測(cè) -12 歐元/兆瓦時(shí)拆開看光伏出力預(yù)測(cè)高貢獻(xiàn) -18 歐元昨日同小時(shí)低價(jià)貢獻(xiàn) -6 歐元系統(tǒng)負(fù)荷預(yù)測(cè)低貢獻(xiàn) -3 歐元但天然氣價(jià)格走低讓預(yù)測(cè)回拉了 5 歐元節(jié)假日效應(yīng)又貢獻(xiàn) 3 歐元幾項(xiàng)加總就是 -12 歐元。這種拆解給交易員看對(duì)方幾乎不需要培訓(xùn)就能理解“模型認(rèn)為光伏是打價(jià)格的主力”信任感會(huì)大幅提升。夜晚峰值樣本則是另一個(gè)圖景滯后價(jià)格正貢獻(xiàn) 40 歐元?dú)鈨r(jià)正貢獻(xiàn) 22 歐元負(fù)荷預(yù)測(cè)正貢獻(xiàn) 8 歐元光伏出力近似為零。面對(duì)這兩類差別極大的樣本模型分別動(dòng)用了不同特征組合做決策這不是人工規(guī)則能輕松覆蓋的。我用 SHAP 做局部解釋的另一個(gè)用途是審計(jì)如果某一天模型預(yù)測(cè)出異常高價(jià)點(diǎn)開 waterfall 立刻能查到是哪個(gè)輸入變量在“撐場(chǎng)面”而不是對(duì)著黑盒干瞪眼。5. 實(shí)測(cè)踩坑記錄與常見問題速查5.1 數(shù)據(jù)泄漏與時(shí)序錯(cuò)位這個(gè)項(xiàng)目最大的坑也是電力預(yù)測(cè)最經(jīng)典的坑就是未來數(shù)據(jù)泄漏。我第一次建模時(shí)把“當(dāng)日全天實(shí)際負(fù)荷均值”直接作為當(dāng)天所有時(shí)點(diǎn)的特征結(jié)果驗(yàn)證集效果極好測(cè)試集也漂亮但把特征換成“預(yù)測(cè)負(fù)荷”之后誤差立刻打回原形。原因在于實(shí)際負(fù)荷均值是次日才知道的統(tǒng)計(jì)量把它塞進(jìn)當(dāng)天輸入等于讓模型作弊。排查方法是做特征發(fā)布延遲審計(jì)對(duì)每個(gè)外生變量標(biāo)注“最早可用時(shí)間點(diǎn)”逐項(xiàng)確認(rèn)它在預(yù)測(cè)時(shí)刻確實(shí)已經(jīng)發(fā)布。窗口構(gòu)造階段的邊界泄漏同樣隱蔽。如果先隨機(jī)切驗(yàn)證集再生成滑動(dòng)窗口訓(xùn)練集最后一個(gè)窗口的標(biāo)簽可能落在驗(yàn)證集時(shí)間范圍內(nèi)信息會(huì)跨邊界流動(dòng)。解決方式是先設(shè)定好時(shí)間斷點(diǎn)再構(gòu)造窗口并讓訓(xùn)練集結(jié)束時(shí)間和驗(yàn)證集開始時(shí)間之間至少空出一個(gè)窗口長度的冷卻間隙。這個(gè)間隙不會(huì)影響數(shù)據(jù)量但能徹底阻斷跨集合的時(shí)間依賴。夏令時(shí)錯(cuò)位是最折磨人的問題。歐洲市場(chǎng)每年兩次切換本地時(shí)區(qū)原始數(shù)據(jù)如果用本地時(shí)間標(biāo)記shift(24)得到的“昨日同小時(shí)”在切換日會(huì)錯(cuò)位一小時(shí)。強(qiáng)迫自己把所有時(shí)間列統(tǒng)一為 UTC 之后這類錯(cuò)位徹底消失。為了業(yè)務(wù)展示可以保留一個(gè)本地時(shí)區(qū)轉(zhuǎn)換字段但一切滯后、滾動(dòng)計(jì)算都基于 UTC。5.2 模型訓(xùn)練與 SHAP 解釋的坑訓(xùn)練階段的坑主要是損失函數(shù)和早停選擇。默認(rèn)用 MSE 會(huì)讓模型把精力花在擬合極端尖峰上預(yù)測(cè)曲線整體變得遲鈍。換 Huber 之后正常時(shí)段的精度幾乎沒有損失峰谷時(shí)段的追漲能力反而更好。早停不要盯著最后一個(gè) epoch 的權(quán)重要顯式保存驗(yàn)證集指標(biāo)最好的 epoch 權(quán)重否則訓(xùn)練后期模型已經(jīng)開始過擬合測(cè)試集誤差會(huì)被拖累。SHAP 解釋也有自身陷阱。特征共線性是最常見的一種滯后價(jià)格和滾動(dòng)均值高度相關(guān)時(shí)SHAP 會(huì)在它們之間隨機(jī)分?jǐn)傌暙I(xiàn)單次計(jì)算的單個(gè)特征數(shù)值不穩(wěn)定換一次背景樣本結(jié)果可能差別不小。解決辦法是先用相關(guān)性矩陣排查特征再進(jìn)行分組 SHAP把全部滯后類特征合并成“歷史價(jià)格組”算總貢獻(xiàn)再細(xì)看組內(nèi)拆分。另外DeepExplainer對(duì) RNN 的近似有時(shí)會(huì)波動(dòng)我習(xí)慣把GradientExplainer的結(jié)果和KernelExplainer在少量樣本上的計(jì)算結(jié)果交叉驗(yàn)證方向一致才采用。要記住 SHAP 表達(dá)的是“模型如何決策”不是“數(shù)據(jù)真實(shí)因果”向業(yè)務(wù)匯報(bào)時(shí)用詞要準(zhǔn)確避免說“因?yàn)楣夥詢r(jià)格低”要說“模型基于光伏特征做出了壓低預(yù)測(cè)的決策”。5.3 常見問題速查表癥狀可能原因解決方案預(yù)測(cè)曲線整體比實(shí)際滯后一天滯后特征以 24 小時(shí)為主模型過度依賴昨日同小時(shí)增加 1/2/3 小時(shí)短滯后特征引入滾動(dòng)統(tǒng)計(jì)量午后光伏高發(fā)時(shí)段誤差顯著偏大光伏預(yù)測(cè)特征口徑不準(zhǔn)或數(shù)據(jù)版本混用統(tǒng)一使用日前預(yù)測(cè)快照核對(duì)發(fā)布延遲驗(yàn)證集指標(biāo)很好實(shí)盤效果崩塌某特征存在未來數(shù)據(jù)泄漏逐項(xiàng)審計(jì)特征最早可用時(shí)間點(diǎn)夏令時(shí)切換日預(yù)測(cè)混亂時(shí)間索引錯(cuò)位導(dǎo)致滯后特征錯(cuò) 1 小時(shí)時(shí)間統(tǒng)一為 UTC展示層再轉(zhuǎn)本地SHAP 單特征數(shù)值穩(wěn)定性差特征共線性導(dǎo)致貢獻(xiàn)分?jǐn)傠S機(jī)化分組計(jì)算 SHAP去除高相關(guān)冗余特征SHAP 值全部接近 0背景樣本沒有正確取自訓(xùn)練集或解釋器類型不適配重設(shè)背景樣本更換 Gradient/Kernel Explainer6. 項(xiàng)目復(fù)盤哪些經(jīng)驗(yàn)?zāi)軓?fù)用到下一個(gè)預(yù)測(cè)項(xiàng)目把這個(gè)項(xiàng)目做完我最大的感受是預(yù)測(cè)類項(xiàng)目的成敗往往不在模型結(jié)構(gòu)而在數(shù)據(jù)口徑和驗(yàn)證紀(jì)律。模型從 LSTM 換成 ConvLSTM、調(diào)大調(diào)小 DropoutRMSE 的變化幅度其實(shí)有限但一次夏令時(shí)錯(cuò)位或者一個(gè)未來泄漏特征就能讓評(píng)估結(jié)果失真 30% 以上。所以項(xiàng)目推進(jìn)過程中我把“數(shù)據(jù)版本時(shí)間線”當(dāng)成和模型精度同等重要的交付物每個(gè)特征都標(biāo)注了發(fā)布時(shí)間、適用時(shí)區(qū)、預(yù)測(cè)窗口整套流程立刻變得可控。另一個(gè)值得復(fù)用的經(jīng)驗(yàn)是可解釋性分析應(yīng)該前置而不是后置。很多同學(xué)先把模型調(diào)到滿意再補(bǔ)一個(gè) SHAP 圖當(dāng)說明材料但我在這個(gè)項(xiàng)目里其實(shí)是靠 SHAP 早期就發(fā)現(xiàn)過錯(cuò)誤特征——有個(gè)外生變量重要性很高查了發(fā)布延遲才發(fā)現(xiàn)它根本不是預(yù)測(cè)時(shí)刻已知的信息那時(shí)候模型還沒最終定型改起來成本很低。把 SHAP 當(dāng)成模型調(diào)試工具比當(dāng)成論文裝飾品實(shí)用得多。后續(xù)擴(kuò)展方向也比較明確。當(dāng)前模型輸出的是單點(diǎn)預(yù)測(cè)值實(shí)際交易決策需要的是概率分布可以基于同一套特征加 Quantile Loss 或 MC Dropout 做區(qū)間預(yù)測(cè)。目標(biāo)市場(chǎng)的氣價(jià)、碳價(jià)、新能源出力之間存在動(dòng)態(tài)耦合下一步可以嘗試多市場(chǎng)聯(lián)合建?；蛞胱⒁饬C(jī)制讓模型自動(dòng)聚焦關(guān)鍵時(shí)段。如果要做成生產(chǎn)系統(tǒng)還需要加入在線增量訓(xùn)練因?yàn)槭袌?chǎng)機(jī)制會(huì)隨時(shí)間演化靜態(tài)模型的預(yù)測(cè)能力會(huì)逐漸衰減。最后說一點(diǎn)個(gè)人心得。做這類高波動(dòng)時(shí)序預(yù)測(cè)最忌諱的是拿測(cè)試集反復(fù)試模型試到指標(biāo)好看為止——那其實(shí)已經(jīng)造成信息泄漏只是你感覺不到。我要求自己測(cè)試集只準(zhǔn)跑一次完整實(shí)驗(yàn)所有調(diào)參都看驗(yàn)證集SHAP 分析也單獨(dú)保留一套“審計(jì)樣本”。事實(shí)證明這個(gè)習(xí)慣幫我避免了很多后期返工。如果你準(zhǔn)備動(dòng)手復(fù)現(xiàn)這個(gè)項(xiàng)目先把數(shù)據(jù)清洗和特征構(gòu)造框架搭扎實(shí)再碰模型結(jié)構(gòu)。模型可以隨時(shí)換數(shù)據(jù)錯(cuò)位一天后面所有工作都會(huì)跟著白做。