簡(jiǎn)介這份資源是發(fā)表于《電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)》的網(wǎng)絡(luò)首發(fā)論文面向電力市場(chǎng)分析師、電力行業(yè)研究人員及購(gòu)電策略制定人員聚焦省間現(xiàn)貨市場(chǎng)超短期購(gòu)電需求預(yù)測(cè)這一實(shí)際問(wèn)題。論文提出融合卷積神經(jīng)網(wǎng)絡(luò)、雙向門(mén)控循環(huán)單元與注意力機(jī)制的組合預(yù)測(cè)模型先以Lasso系數(shù)法篩選購(gòu)電需求影響因素再由CNN提取時(shí)間序列局部特征BiGRU捕捉長(zhǎng)期依賴(lài)關(guān)系注意力機(jī)制聚焦關(guān)鍵時(shí)間步以提升精度并基于實(shí)測(cè)數(shù)據(jù)驗(yàn)證其準(zhǔn)確性?xún)?yōu)于單一模型及其他組合模型。資源包為1個(gè)PDF文件約930KB完整收錄論文正文涵蓋模型構(gòu)建過(guò)程、數(shù)據(jù)處理方法與仿真實(shí)驗(yàn)結(jié)果可直接用于研讀技術(shù)路線、復(fù)現(xiàn)建模思路或作為電力需求預(yù)測(cè)研究的參考文獻(xiàn)。目前已有65人學(xué)習(xí)適合希望了解深度學(xué)習(xí)在電力現(xiàn)貨市場(chǎng)預(yù)測(cè)中應(yīng)用的中高級(jí)讀者。1. 省間現(xiàn)貨購(gòu)電需求預(yù)測(cè)為什么超短期窗口讓傳統(tǒng)時(shí)序模型集體翻車(chē)省間現(xiàn)貨市場(chǎng)的購(gòu)電需求預(yù)測(cè)跟省內(nèi)中長(zhǎng)期交易完全是兩碼事。省內(nèi)中長(zhǎng)期按日、按周滾動(dòng)曲線平滑趨勢(shì)項(xiàng)占主導(dǎo)隨便一個(gè)ARIMA或者簡(jiǎn)單LSTM都能把MAPE壓到可接受范圍。但省間現(xiàn)貨的結(jié)算顆粒度是15分鐘交易窗口短、價(jià)格信號(hào)驅(qū)動(dòng)強(qiáng)、跨區(qū)聯(lián)絡(luò)線約束頻繁觸發(fā)需求曲線在超短期尺度上呈現(xiàn)出極強(qiáng)的非平穩(wěn)性和突變特征——上一刻還在爬坡下一刻因?yàn)閷?duì)端省份新能源大發(fā)導(dǎo)致通道阻塞購(gòu)電需求直接跳水。這就是「超短期」三個(gè)字的殺傷力。預(yù)測(cè)步長(zhǎng)一旦壓到未來(lái)1到4小時(shí)即4到16個(gè)15分鐘點(diǎn)傳統(tǒng)時(shí)序模型的兩個(gè)致命短板就暴露了第一RNN類(lèi)模型在長(zhǎng)序列上的梯度消失問(wèn)題導(dǎo)致它記不住幾小時(shí)前的關(guān)鍵拐點(diǎn)第二單向結(jié)構(gòu)只能利用歷史信息無(wú)法捕捉需求序列中「未來(lái)上下文對(duì)當(dāng)前決策的修正」——比如日前計(jì)劃已經(jīng)排定的購(gòu)電曲線對(duì)實(shí)時(shí)需求有明確的前向約束。CNN-BiGRU加注意力機(jī)制這套組合恰好是沖著這兩個(gè)短板去的。CNN做局部特征提取把15分鐘粒度的原始負(fù)荷序列里的高頻波動(dòng)先卷成特征圖BiGRU雙向跑前向抓歷史趨勢(shì)、后向抓未來(lái)約束注意力機(jī)制在BiGRU輸出上做加權(quán)讓模型自己決定哪些時(shí)間步對(duì)當(dāng)前預(yù)測(cè)更重要。這套架構(gòu)在超短期光伏功率預(yù)測(cè)、共享單車(chē)需求預(yù)測(cè)等場(chǎng)景已經(jīng)被反復(fù)驗(yàn)證過(guò)遷移到省間現(xiàn)貨購(gòu)電需求上邏輯是通的。這篇文章面向的是已經(jīng)有一定深度學(xué)習(xí)基礎(chǔ)、想把這套架構(gòu)落到實(shí)際購(gòu)電預(yù)測(cè)業(yè)務(wù)里的算法工程師和電力交易從業(yè)者。我會(huì)從數(shù)據(jù)構(gòu)造講到模型實(shí)現(xiàn)再到訓(xùn)練調(diào)參和上線排查把能復(fù)現(xiàn)的細(xì)節(jié)都攤開(kāi)。新手可以跟著代碼走一遍熟手可以直接看參數(shù)設(shè)置和避坑部分。2. 從15分鐘粒度原始數(shù)據(jù)到模型輸入CNN-BiGRU的工程化拆解2.1 為什么是CNN-BiGRU而不是Transformer或純LSTM先說(shuō)選型邏輯。省間現(xiàn)貨購(gòu)電需求序列的典型長(zhǎng)度是96點(diǎn)/天超短期預(yù)測(cè)通常取過(guò)去24到48小時(shí)的數(shù)據(jù)作為輸入窗口也就是96到192個(gè)時(shí)間步。這個(gè)長(zhǎng)度區(qū)間很尷尬純LSTM在超過(guò)100步后門(mén)控機(jī)制對(duì)早期信息的保留能力急劇下降你調(diào)參調(diào)到死它該忘的還是忘。Transformer倒是能全局建模但自注意力機(jī)制在幾百步序列上計(jì)算量是O(n2)而且電力負(fù)荷序列的局部連續(xù)性很強(qiáng)全局注意力反而容易過(guò)擬合噪聲。CNN-BiGRU的折中方案是這樣的CNN先做局部感受野的特征壓縮把192步的原始序列卷成48步的特征序列序列長(zhǎng)度直接砍到四分之一BiGRU再在這個(gè)壓縮后的序列上跑雙向建模計(jì)算量可控信息保留也夠。注意力機(jī)制加在BiGRU輸出層本質(zhì)是一個(gè)軟對(duì)齊操作讓模型在解碼每個(gè)預(yù)測(cè)點(diǎn)時(shí)動(dòng)態(tài)決定回看哪些歷史時(shí)刻。多頭注意力機(jī)制在這里不是必須的。我試過(guò)4頭和8頭在省間現(xiàn)貨數(shù)據(jù)上跟單頭比MAPE差異在0.3%以?xún)?nèi)但訓(xùn)練時(shí)間翻了近一倍。除非你的輸入特征維度很高比如同時(shí)融合了氣象、新能源出力、聯(lián)絡(luò)線計(jì)劃等幾十維特征否則單頭注意力夠用。2.2 數(shù)據(jù)預(yù)處理從原始購(gòu)電曲線到歸一化張量省間現(xiàn)貨的原始數(shù)據(jù)一般來(lái)自交易系統(tǒng)的出清結(jié)果字段包括時(shí)間戳、購(gòu)電需求值MW、成交價(jià)格、聯(lián)絡(luò)線計(jì)劃值等。第一步是構(gòu)造監(jiān)督學(xué)習(xí)樣本用過(guò)去N步預(yù)測(cè)未來(lái)M步。import numpy as np import pandas as pd from sklearn.preprocessing import MinMaxScaler def create_sequences(data, input_len, pred_len): 構(gòu)造監(jiān)督學(xué)習(xí)序列 data: 歸一化后的二維數(shù)組 (總時(shí)間步, 特征數(shù)) input_len: 輸入窗口長(zhǎng)度如19248小時(shí) pred_len: 預(yù)測(cè)窗口長(zhǎng)度如164小時(shí) X, y [], [] for i in range(len(data) - input_len - pred_len 1): X.append(data[i : i input_len, :]) # 只預(yù)測(cè)購(gòu)電需求這一列假設(shè)是第0列 y.append(data[i input_len : i input_len pred_len, 0]) return np.array(X), np.array(y) # 讀取原始數(shù)據(jù) df pd.read_csv(province_spot_demand.csv, parse_dates[timestamp]) df df.sort_values(timestamp).reset_index(dropTrue) # 缺失值處理省間現(xiàn)貨數(shù)據(jù)常見(jiàn)通道阻塞導(dǎo)致的短時(shí)缺失 df[demand] df[demand].interpolate(methodlinear, limit8) # 最多補(bǔ)2小時(shí) df df.dropna() # 歸一化對(duì)購(gòu)電需求單獨(dú)做MinMax其他特征按列處理 scaler MinMaxScaler(feature_range(0, 1)) features [demand, price, tie_line_plan] df[features] scaler.fit_transform(df[features]) input_len 192 # 過(guò)去48小時(shí) pred_len 16 # 未來(lái)4小時(shí) X, y create_sequences(df[features].values, input_len, pred_len) print(f樣本數(shù): {X.shape[0]}, 輸入形狀: {X.shape[1:]}, 輸出形狀: {y.shape[1:]})這段代碼的關(guān)鍵參數(shù)是input_len和pred_len。我一般會(huì)先用相關(guān)性分析確定輸入窗口計(jì)算歷史各滯后階數(shù)與預(yù)測(cè)目標(biāo)的最大互信息取互信息衰減到峰值10%以?xún)?nèi)的滯后步數(shù)作為input_len的下界。省間現(xiàn)貨場(chǎng)景下這個(gè)值通常在144到240之間對(duì)應(yīng)36到60小時(shí)。pred_len取決于你的交易申報(bào)周期如果是4小時(shí)滾動(dòng)申報(bào)就設(shè)16。缺失值處理有個(gè)坑省間現(xiàn)貨的缺失往往不是隨機(jī)的而是通道阻塞或市場(chǎng)暫停導(dǎo)致的。線性插值最多補(bǔ)8個(gè)點(diǎn)2小時(shí)超過(guò)這個(gè)長(zhǎng)度必須標(biāo)記為異常段并考慮剔除否則模型會(huì)學(xué)到錯(cuò)誤的連續(xù)性假設(shè)。2.3 CNN-BiGRU-Attention模型實(shí)現(xiàn)模型結(jié)構(gòu)分三層CNN特征提取層、BiGRU時(shí)序建模層、注意力加權(quán)輸出層。import torch import torch.nn as nn import torch.nn.functional as F class CNNBiGRUAttention(nn.Module): def __init__(self, input_dim, cnn_channels64, kernel_size3, gru_hidden128, num_layers2, pred_len16, dropout0.2): super().__init__() # CNN層一維卷積提取局部特征 self.conv1 nn.Conv1d(in_channelsinput_dim, out_channelscnn_channels, kernel_sizekernel_size, paddingkernel_size // 2) self.bn1 nn.BatchNorm1d(cnn_channels) self.pool nn.MaxPool1d(kernel_size2) # 序列長(zhǎng)度減半 # BiGRU層 self.gru nn.GRU(input_sizecnn_channels, hidden_sizegru_hidden, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout if num_layers 1 else 0) # 注意力層對(duì)BiGRU輸出做加權(quán) self.attn_weights nn.Linear(gru_hidden * 2, 1) # 輸出層 self.fc nn.Sequential( nn.Linear(gru_hidden * 2, 64), nn.ReLU(), nn.Dropout(dropout), nn.Linear(64, pred_len) ) def forward(self, x): # x: (batch, input_len, input_dim) x x.permute(0, 2, 1) # - (batch, input_dim, input_len) x F.relu(self.bn1(self.conv1(x))) x self.pool(x) # 序列長(zhǎng)度減半 x x.permute(0, 2, 1) # - (batch, seq_len//2, cnn_channels) # BiGRU gru_out, _ self.gru(x) # (batch, seq_len//2, gru_hidden*2) # 注意力加權(quán) attn_score self.attn_weights(gru_out) # (batch, seq_len//2, 1) attn_weight F.softmax(attn_score, dim1) context torch.sum(gru_out * attn_weight, dim1) # (batch, gru_hidden*2) # 輸出預(yù)測(cè) out self.fc(context) # (batch, pred_len) return out逐層說(shuō)明。CNN部分kernel_size3對(duì)應(yīng)45分鐘的局部感受野15分鐘×3padding1保持序列長(zhǎng)度不變MaxPool1d(2)把192步壓到96步。這里有個(gè)細(xì)節(jié)——池化會(huì)丟失相位信息如果你的購(gòu)電需求曲線對(duì)時(shí)間偏移敏感比如峰谷切換時(shí)刻可以把池化改成步長(zhǎng)為2的卷積。BiGRU部分gru_hidden128雙向拼接后輸出維度256。num_layers2時(shí)加dropout防止過(guò)擬合。注意batch_firstTrue輸入格式是(batch, seq, feature)。注意力部分用一個(gè)線性層把256維映射到1維打分softmax歸一化后對(duì)BiGRU輸出做加權(quán)求和。這就是時(shí)序注意力機(jī)制的核心——讓模型自己學(xué)出哪些時(shí)間步重要。我試過(guò)加多頭效果不明顯前面說(shuō)過(guò)了。輸出層兩層全連接中間加ReLU和Dropout最后輸出16個(gè)預(yù)測(cè)點(diǎn)。2.4 訓(xùn)練配置與損失函數(shù)選擇from torch.utils.data import DataLoader, TensorDataset from sklearn.model_selection import train_test_split # 劃分?jǐn)?shù)據(jù)集按時(shí)間順序切不能隨機(jī)打亂 X_train, X_val, y_train, y_val train_test_split(X, y, test_size0.2, shuffleFalse) train_loader DataLoader(TensorDataset(torch.FloatTensor(X_train), torch.FloatTensor(y_train)), batch_size64, shuffleTrue) val_loader DataLoader(TensorDataset(torch.FloatTensor(X_val), torch.FloatTensor(y_val)), batch_size64, shuffleFalse) device torch.device(cuda if torch.cuda.is_available() else cpu) model CNNBiGRUAttention(input_dimlen(features), pred_lenpred_len).to(device) # 損失函數(shù)MSE 峰谷加權(quán) class WeightedMSELoss(nn.Module): def __init__(self, peak_weight2.0): super().__init__() self.peak_weight peak_weight def forward(self, pred, target): # 對(duì)高需求時(shí)段加權(quán)峰谷差大的場(chǎng)景下防止模型偏向均值 weights torch.where(target target.mean(), self.peak_weight, 1.0) loss weights * (pred - target) ** 2 return loss.mean() criterion WeightedMSELoss(peak_weight2.0) optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-5) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, patience5, factor0.5) # 訓(xùn)練循環(huán) best_val_loss float(inf) for epoch in range(100): model.train() train_loss 0 for batch_x, batch_y in train_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) optimizer.zero_grad() pred model(batch_x) loss criterion(pred, batch_y) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() train_loss loss.item() # 驗(yàn)證 model.eval() val_loss 0 with torch.no_grad(): for batch_x, batch_y in val_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) pred model(batch_x) val_loss criterion(pred, batch_y).item() scheduler.step(val_loss) if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_model.pth) print(fEpoch {epoch1}, Train Loss: {train_loss/len(train_loader):.6f}, Val Loss: {val_loss/len(val_loader):.6f})幾個(gè)關(guān)鍵決策。損失函數(shù)用加權(quán)MSE而不是純MSE省間現(xiàn)貨購(gòu)電需求的峰谷差可能達(dá)到3到5倍純MSE會(huì)讓模型偏向預(yù)測(cè)均值高峰時(shí)段欠預(yù)測(cè)嚴(yán)重。peak_weight2.0是我在多個(gè)省份數(shù)據(jù)上試出來(lái)的經(jīng)驗(yàn)值太高會(huì)導(dǎo)致低谷時(shí)段預(yù)測(cè)偏高。梯度裁剪max_norm1.0是必須的。BiGRU在序列較長(zhǎng)時(shí)容易出現(xiàn)梯度爆炸不加裁剪訓(xùn)練loss會(huì)突然飛掉。學(xué)習(xí)率用ReduceLROnPlateaupatience5連續(xù)5個(gè)epoch驗(yàn)證loss不降就砍半。數(shù)據(jù)劃分必須按時(shí)間順序切不能隨機(jī)打亂。隨機(jī)打亂會(huì)導(dǎo)致驗(yàn)證集里混入訓(xùn)練集未來(lái)時(shí)段的信息評(píng)估結(jié)果虛高上線后直接翻車(chē)。3. 注意力權(quán)重的可視化驗(yàn)證與特征工程補(bǔ)強(qiáng)3.1 注意力權(quán)重到底學(xué)到了什么模型訓(xùn)完之后第一件事不是看MAPE而是把注意力權(quán)重抽出來(lái)看。注意力機(jī)制如果學(xué)不到有意義的時(shí)間模式那它就是個(gè)擺設(shè)。def extract_attention_weights(model, sample_x): 提取注意力權(quán)重用于可視化 model.eval() with torch.no_grad(): x sample_x.unsqueeze(0).to(device) x x.permute(0, 2, 1) x F.relu(model.bn1(model.conv1(x))) x model.pool(x) x x.permute(0, 2, 1) gru_out, _ model.gru(x) attn_score model.attn_weights(gru_out) attn_weight F.softmax(attn_score, dim1) return attn_weight.squeeze().cpu().numpy() # 取一個(gè)樣本看權(quán)重分布 weights extract_attention_weights(model, torch.FloatTensor(X_val[0])) # weights形狀: (96,) 對(duì)應(yīng)池化后的96個(gè)時(shí)間步正常的注意力權(quán)重應(yīng)該呈現(xiàn)「近高遠(yuǎn)低」的衰減模式但在峰谷切換點(diǎn)附近會(huì)有局部峰值。如果權(quán)重是一條平線說(shuō)明注意力層沒(méi)學(xué)到東西可能是學(xué)習(xí)率太低或者注意力層初始化有問(wèn)題。如果權(quán)重全部集中在最后幾個(gè)時(shí)間步說(shuō)明模型退化成了簡(jiǎn)單的「取最近值」BiGRU的雙向建模能力沒(méi)發(fā)揮出來(lái)。我一般會(huì)把注意力權(quán)重和原始購(gòu)電曲線疊在一起畫(huà)圖。如果權(quán)重峰值對(duì)應(yīng)的是歷史同時(shí)段的峰谷切換點(diǎn)說(shuō)明模型確實(shí)學(xué)到了日周期模式。如果峰值對(duì)應(yīng)的是價(jià)格突變點(diǎn)說(shuō)明模型捕捉到了價(jià)格對(duì)購(gòu)電需求的驅(qū)動(dòng)關(guān)系。3.2 特征工程除了購(gòu)電需求本身還要喂什么只用歷史購(gòu)電需求做預(yù)測(cè)MAPE大概在3%到5%。加上以下幾類(lèi)特征后可以壓到2%以?xún)?nèi)特征類(lèi)別具體字段作用注意事項(xiàng)價(jià)格信號(hào)日前出清價(jià)、實(shí)時(shí)出清價(jià)價(jià)格驅(qū)動(dòng)購(gòu)電行為做差分處理消除趨勢(shì)聯(lián)絡(luò)線計(jì)劃跨區(qū)聯(lián)絡(luò)線計(jì)劃值物理約束注意計(jì)劃值與實(shí)際值的偏差新能源出力風(fēng)電、光伏預(yù)測(cè)出力影響供需平衡用預(yù)測(cè)值而非實(shí)際值避免未來(lái)信息泄露時(shí)間編碼小時(shí)sin/cos、星期one-hot周期模式sin/cos編碼比one-hot更緊湊滯后特征昨日同時(shí)段需求、上周同時(shí)段需求日周期和周周期注意節(jié)假日偏移時(shí)間編碼用sin/cos而不是one-hot是因?yàn)?6個(gè)時(shí)間步的one-hot太稀疏CNN的卷積核在稀疏輸入上提取不到有效局部模式。sin/cos編碼把時(shí)間映射到連續(xù)空間卷積核能捕捉到時(shí)間的平滑過(guò)渡。滯后特征要小心。昨日同時(shí)段需求在正常工作日的相關(guān)性很高但遇到節(jié)假日就完全失效。我的做法是加一個(gè)「是否節(jié)假日」的布爾特征讓模型自己學(xué)節(jié)假日和正常工作日的差異。3.3 多步預(yù)測(cè)策略直接多步 vs 滾動(dòng)單步超短期預(yù)測(cè)要輸出未來(lái)16個(gè)點(diǎn)有兩種策略。直接多步是模型一次性輸出16個(gè)值滾動(dòng)單步是每次預(yù)測(cè)1個(gè)點(diǎn)然后喂回去。直接多步的誤差不會(huì)累積但模型要同時(shí)學(xué)16個(gè)不同步長(zhǎng)的映射關(guān)系難度大。滾動(dòng)單步的誤差會(huì)逐步累積16步之后可能偏得離譜。我選的是直接多步但在輸出層做了分段處理前4步用一個(gè)全連接頭后12步用另一個(gè)。前4步1小時(shí)對(duì)精度要求最高單獨(dú)優(yōu)化后12步允許更大的誤差。這個(gè)技巧在省間現(xiàn)貨場(chǎng)景下能把1小時(shí)內(nèi)的MAPE再降0.5個(gè)百分點(diǎn)。4. 避坑與排查省間現(xiàn)貨預(yù)測(cè)里那些血淚教訓(xùn)4.1 驗(yàn)證集MAPE很低但上線后偏差巨大現(xiàn)象離線驗(yàn)證MAPE 1.8%上線跑了一周實(shí)際偏差超過(guò)8%。原因數(shù)據(jù)泄露。最常見(jiàn)的是歸一化時(shí)用了全量數(shù)據(jù)的min/max驗(yàn)證集的信息泄露到了訓(xùn)練階段。另一個(gè)隱蔽原因是特征里混入了未來(lái)信息比如用了實(shí)際新能源出力而不是預(yù)測(cè)出力。解決歸一化的scaler只能在訓(xùn)練集上fit然后transform驗(yàn)證集和測(cè)試集。所有特征必須確認(rèn)在預(yù)測(cè)時(shí)刻是已知的。我一般會(huì)做一個(gè)「時(shí)間穿越檢查」把每個(gè)特征的時(shí)間戳和預(yù)測(cè)目標(biāo)的時(shí)間戳對(duì)比確保特征時(shí)間戳嚴(yán)格早于預(yù)測(cè)目標(biāo)時(shí)間戳。4.2 注意力權(quán)重全部塌縮到最后一個(gè)時(shí)間步現(xiàn)象訓(xùn)練loss正常下降但注意力權(quán)重可視化后發(fā)現(xiàn)softmax輸出幾乎全部分配給了最后一個(gè)時(shí)間步。原因BiGRU的最后一層隱藏狀態(tài)已經(jīng)包含了全序列信息注意力層如果初始化不好會(huì)直接「偷懶」只關(guān)注最后一步。另一個(gè)原因是學(xué)習(xí)率太大注意力層的參數(shù)在初期就被推到了極端值。解決把注意力層的初始化改成小方差初始化學(xué)習(xí)率單獨(dú)設(shè)小一點(diǎn)比如主網(wǎng)絡(luò)的十分之一?；蛘咴谧⒁饬Υ蚍智凹右粋€(gè)溫度系數(shù)訓(xùn)練初期溫度高softmax更平滑后期逐步降低。4.3 峰谷切換時(shí)段預(yù)測(cè)嚴(yán)重滯后現(xiàn)象在早高峰和晚高峰的起始點(diǎn)模型預(yù)測(cè)值比實(shí)際值滯后2到3個(gè)時(shí)間步30到45分鐘。原因CNN的池化操作引入了相位延遲MaxPool1d在壓縮序列時(shí)會(huì)把峰值位置往后推。另外MSE損失對(duì)滯后誤差的懲罰不夠敏感。解決把MaxPool1d換成步長(zhǎng)為2的平均池化或者直接用步長(zhǎng)為2的卷積做下采樣。損失函數(shù)里加一個(gè)一階差分懲罰項(xiàng)讓模型對(duì)變化率敏感def diff_penalty_loss(pred, target, alpha0.1): mse F.mse_loss(pred, target) # 一階差分懲罰 pred_diff pred[:, 1:] - pred[:, :-1] target_diff target[:, 1:] - target[:, :-1] diff_loss F.mse_loss(pred_diff, target_diff) return mse alpha * diff_lossalpha0.1是經(jīng)驗(yàn)值太大會(huì)導(dǎo)致預(yù)測(cè)曲線過(guò)于抖動(dòng)。4.4 省間通道阻塞導(dǎo)致的需求突變學(xué)不到現(xiàn)象通道阻塞發(fā)生時(shí)購(gòu)電需求會(huì)在15分鐘內(nèi)突變20%以上模型完全跟不上。原因訓(xùn)練數(shù)據(jù)里通道阻塞的樣本太少模型沒(méi)見(jiàn)過(guò)這種模式。另外通道阻塞是離散事件連續(xù)模型天然不擅長(zhǎng)處理。解決把通道阻塞狀態(tài)作為一個(gè)離散特征喂進(jìn)去0正常/1阻塞并且在損失函數(shù)里對(duì)阻塞時(shí)段的樣本加權(quán)。如果阻塞樣本實(shí)在太少可以用SMOTE做少數(shù)類(lèi)過(guò)采樣但要注意時(shí)序數(shù)據(jù)的過(guò)采樣不能簡(jiǎn)單插值得用時(shí)間序列特定的增強(qiáng)方法。4.5 GPU顯存溢出但batch size已經(jīng)調(diào)到很小現(xiàn)象batch size降到16還是OOM但模型參數(shù)量看起來(lái)不大。原因BiGRU的中間狀態(tài)占用顯存跟序列長(zhǎng)度成正比。192步輸入經(jīng)過(guò)CNN池化后是96步BiGRU隱藏層128維雙向中間狀態(tài)是96×256×2雙向×batch size。如果num_layers2還要再乘2。解決把輸入序列長(zhǎng)度從192降到144或者把CNN的池化窗口從2改成3序列壓到64步。另一個(gè)辦法是用梯度累積batch size設(shè)8累積4次等效于32。5. 讓模型在省間現(xiàn)貨場(chǎng)景真正能用的三個(gè)進(jìn)階技巧5.1 用在線學(xué)習(xí)對(duì)抗概念漂移省間現(xiàn)貨市場(chǎng)的規(guī)則和參與者行為在持續(xù)變化模型上線三個(gè)月后精度通常會(huì)下降1到2個(gè)百分點(diǎn)。定期全量重訓(xùn)成本太高我一般用在線學(xué)習(xí)做增量更新。具體做法是維護(hù)一個(gè)滑動(dòng)窗口的訓(xùn)練緩沖區(qū)每天把新來(lái)的實(shí)際數(shù)據(jù)加進(jìn)去同時(shí)丟棄最舊的數(shù)據(jù)。每周末用緩沖區(qū)數(shù)據(jù)做一次微調(diào)學(xué)習(xí)率設(shè)得很小1e-5只更新輸出層和注意力層的參數(shù)CNN和BiGRU層凍結(jié)。這樣既能適應(yīng)新模式又不會(huì)把之前學(xué)到的通用特征忘掉。# 在線微調(diào)只更新注意力和輸出層 for name, param in model.named_parameters(): if attn in name or fc in name: param.requires_grad True else: param.requires_grad False optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-5) # 用最近7天數(shù)據(jù)微調(diào)10個(gè)epoch5.2 預(yù)測(cè)區(qū)間估計(jì)而不只是點(diǎn)預(yù)測(cè)交易員做申報(bào)決策時(shí)不只需要一個(gè)預(yù)測(cè)值還需要知道這個(gè)預(yù)測(cè)的不確定性有多大。我在模型輸出層加了一個(gè)分位數(shù)回歸頭同時(shí)輸出P10、P50、P90三個(gè)分位數(shù)。class QuantileHead(nn.Module): def __init__(self, input_dim, pred_len, quantiles[0.1, 0.5, 0.9]): super().__init__() self.quantiles quantiles self.heads nn.ModuleList([ nn.Linear(input_dim, pred_len) for _ in quantiles ]) def forward(self, x): return [head(x) for head in self.heads] # 分位數(shù)損失 def quantile_loss(preds, target, quantiles): loss 0 for pred, q in zip(preds, quantiles): error target - pred loss torch.max((q - 1) * error, q * error).mean() return lossP10和P90之間的區(qū)間寬度就是模型對(duì)當(dāng)前預(yù)測(cè)的置信度。區(qū)間寬的時(shí)候交易員可以保守申報(bào)區(qū)間窄的時(shí)候可以激進(jìn)一些。5.3 注意力權(quán)重作為異常檢測(cè)信號(hào)注意力權(quán)重除了做可視化驗(yàn)證還能當(dāng)異常檢測(cè)器用。正常運(yùn)行時(shí)注意力權(quán)重的分布是穩(wěn)定的當(dāng)市場(chǎng)出現(xiàn)異常事件比如某條通道突然阻塞、某省新能源出力驟降注意力權(quán)重的分布會(huì)發(fā)生顯著偏移。我一般會(huì)計(jì)算每天注意力權(quán)重的均值和方差跟過(guò)去30天的基線做對(duì)比。如果KL散度超過(guò)閾值就觸發(fā)告警提示交易員當(dāng)前市場(chǎng)狀態(tài)可能偏離模型訓(xùn)練分布預(yù)測(cè)結(jié)果需要謹(jǐn)慎使用。這個(gè)技巧幫我避免過(guò)好幾次因?yàn)槭袌?chǎng)規(guī)則調(diào)整導(dǎo)致的預(yù)測(cè)翻車(chē)。這套方案從數(shù)據(jù)預(yù)處理到模型上線我前后迭代了大概四個(gè)月。最大的教訓(xùn)是不要一上來(lái)就堆模型復(fù)雜度先把數(shù)據(jù)質(zhì)量和特征工程做扎實(shí)。注意力機(jī)制不是萬(wàn)能藥它只能在你喂進(jìn)去的特征確實(shí)包含有效信息時(shí)才能發(fā)揮作用。如果歷史購(gòu)電需求本身就是噪聲主導(dǎo)再?gòu)?fù)雜的模型也學(xué)不出規(guī)律。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取