對比)
簡介這份資源面向時間序列預測方向的研究者、算法工程師與高年級學生聚焦用PyTorch復現(xiàn)并改進DeepAR、Informer、Transformer、RNN等經典模型解決多變量時序分析與預測問題覆蓋金融、氣象、工業(yè)等場景。壓縮包共61個文件約55.25MB以49個Python實現(xiàn)文件為主配套4個gz數(shù)據集、4張png結果圖以及txt說明、docx附贈文檔、json與md說明代碼按data、models、exp、test等模塊組織便于按實驗腳本逐項復現(xiàn)。已有95人學習下載。讀者可拿到各模型的完整實現(xiàn)與訓練腳本、概率預測與點預測的對比實驗、多變量數(shù)據加載與特征工程工具以及指標計算、概率預測可視化等輔助模塊適合在此基礎上做二次開發(fā)與模型改進。1. 從一份「模型全家桶」說起多變量時間序列預測到底難在哪電力負荷曲線、交通流量、工業(yè)設備振動、零售銷量這些數(shù)據有一個共同點它們不是孤立的一列數(shù)而是多個變量互相糾纏著隨時間演化。你拿到的往往是一張[時間步, 變量數(shù)]的表想預測未來一段時間的走勢。單變量預測那套「一列歷史推一列未來」的做法在多變量場景下會立刻暴露問題——變量之間的相關性被丟掉了而恰恰是這些相關性里藏著預測的線索。這份標題里提到的方案本質是把 DeepAR、Informer、Transformer、RNN 這幾類經典模型放進同一個 PyTorch 工程里用統(tǒng)一的數(shù)據接口和訓練流程做多變量時間序列分析與預測。它解決的不是「哪個模型最強」這種問題而是「我手上這批多變量數(shù)據到底該用哪類模型、怎么快速橫向對比」。適合已經會寫 PyTorch 訓練循環(huán)、但面對時間序列時不知道從哪下手的工程師也適合想把 LSTM 時間序列預測 Python 那套老流程升級到注意力機制的人。下面按「先立住原理、再動手復現(xiàn)、最后講坑」的順序拆開講。2. 四類模型的分工DeepAR、Informer、Transformer、RNN 各自解決什么2.1 先搞清楚它們不是同一層的替代品很多人一上來就問「Informer 和 Transformer 哪個準」這個問題本身就問偏了。這幾類模型的差異不在精度高低而在它們對時間序列的建模假設不同。RNN含 LSTM、GRU是自回歸的逐點遞推結構隱狀態(tài)沿時間軸傳遞天然適合捕捉短期依賴和序列順序。它的短板是長序列上梯度傳播路徑太長且無法并行訓練慢。LSTM 時間序列預測 Python 生態(tài)里最成熟的方案就是它代碼簡單、調參直觀作為基線非常合適。Transformer 用自注意力一次性看到整個序列任意兩個時間步之間的依賴路徑長度都是 1長程依賴建模能力強且可并行。但標準自注意力的計算復雜度是序列長度的平方長序列上顯存和耗時都會爆炸。Informer 是針對長序列預測做的改進版核心是 ProbSparse 稀疏注意力把注意力復雜度從 O(L2) 降到 O(L log L)同時用蒸餾機制逐層壓縮序列長度。它適合輸入序列很長比如上千步的預測任務。DeepAR 是另一條路線它不直接輸出點預測而是輸出概率分布的參數(shù)比如高斯分布的均值和方差用自回歸方式逐點采樣天然給出預測區(qū)間。多變量場景下它把所有變量的歷史一起喂進去共享一個網絡適合需要不確定性量化的業(yè)務。模型建模方式長序列能力是否輸出概率并行訓練RNN/LSTM逐點遞推弱否否Transformer全局自注意力中否是Informer稀疏注意力蒸餾強否是DeepAR自回歸分布輸出中是否2.2 統(tǒng)一數(shù)據接口是復現(xiàn)的前提四類模型要放在一個工程里對比第一件事不是寫模型而是把數(shù)據格式統(tǒng)一。多變量時間序列的常見組織方式是滑動窗口給定歷史長度context_length和預測長度pred_length從原始序列上切出[context_length, num_vars]的輸入和[pred_length, num_vars]的目標。import torch from torch.utils.data import Dataset class MultiVarWindowDataset(Dataset): def __init__(self, data, context_length168, pred_length24): # data: [total_steps, num_vars] 的 float32 張量 self.data torch.as_tensor(data, dtypetorch.float32) self.context_length context_length self.pred_length pred_length self.num_samples len(self.data) - context_length - pred_length 1 def __len__(self): return self.num_samples def __getitem__(self, idx): x self.data[idx : idx self.context_length] # 歷史窗口 y self.data[idx self.context_length : idx self.context_length self.pred_length] # 預測目標 return x, y這段代碼的關鍵在num_samples的計算總長度減去窗口長度再減預測長度加一少加這個一就會在最后一個樣本上越界。context_length和pred_length是最需要根據業(yè)務調整的兩個參數(shù)——電力負荷常用 168一周小時數(shù)預測 24交通流量常用 96 預測 12。窗口切好后RNN 類模型直接按時間維喂入Transformer 和 Informer 需要額外做位置編碼DeepAR 則要在目標上做分布假設。提示多變量數(shù)據務必先做標準化且標準化參數(shù)只能用訓練集統(tǒng)計驗證和測試集復用訓練集的均值和方差否則會引入未來信息。3. 用 PyTorch 把四類模型跑通從環(huán)境到訓練循環(huán)3.1 環(huán)境搭建與依賴確認PyTorch 環(huán)境搭建是繞不過去的第一步。CUDA 和 PyTorch 版本必須對齊裝錯了要么用不上 GPU要么直接報錯。常見做法是用 conda 建獨立環(huán)境再按官方命令裝對應 CUDA 版本的包。conda create -n ts_pred python3.10 -y conda activate ts_pred # 按本機 CUDA 版本選擇下面以 CUDA 11.8 為例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy pandas scikit-learn matplotlib裝完先驗證 GPU 是否可用這一步別省import torch print(torch.__version__) print(torch.cuda.is_available()) # 必須為 True 才走 GPU print(torch.cuda.get_device_name(0)) # 確認識別到正確顯卡如果cuda.is_available()返回 False八成是 CUDA 版本和 PyTorch 包不匹配或者驅動太舊。Ubuntu 安裝 PyTorch 和 WSL 環(huán)境下排查思路一樣先看nvidia-smi輸出的 CUDA 版本再對照 PyTorch 官網的版本矩陣重裝。Anaconda 配置 PyTorch 環(huán)境時別在 base 環(huán)境里裝污染了很難清理。3.2 RNN 基線最短路徑先跑出一個能看的數(shù)任何對比都要有基線。LSTM 結構簡單、收斂穩(wěn)定先用它把整條鏈路跑通確認數(shù)據管道、損失函數(shù)、評估指標都沒問題再去上復雜模型。import torch.nn as nn class LSTMForecaster(nn.Module): def __init__(self, num_vars, hidden_size64, num_layers2, pred_length24): super().__init__() self.lstm nn.LSTM( input_sizenum_vars, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, ) self.head nn.Linear(hidden_size, num_vars * pred_length) self.pred_length pred_length self.num_vars num_vars def forward(self, x): # x: [batch, context_length, num_vars] out, _ self.lstm(x) last out[:, -1, :] # 取最后時間步的隱狀態(tài) y self.head(last) # [batch, num_vars * pred_length] return y.view(-1, self.pred_length, self.num_vars)hidden_size從 64 起步num_layers兩層通常夠用再深容易過擬合小數(shù)據集。head一次性輸出整個預測窗口比逐點遞推快很多代價是丟掉了預測步之間的自回歸依賴。如果業(yè)務對多步一致性要求高可以改成逐點輸出再滾動但訓練會慢一個量級。3.3 Transformer 與 Informer位置編碼和注意力掩碼是重點Transformer 用在時間序列上位置編碼不能照搬 NLP 那套固定正弦編碼就完事因為時間序列的周期性和絕對位置都重要。常見做法是把位置編碼和可學習的時間特征小時、星期、月份拼接。class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len5000): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len).unsqueeze(1).float() div torch.exp(torch.arange(0, d_model, 2).float() * (-torch.log(torch.tensor(10000.0)) / d_model)) pe[:, 0::2] torch.sin(position * div) pe[:, 1::2] torch.cos(position * div) self.register_buffer(pe, pe.unsqueeze(0)) # [1, max_len, d_model] def forward(self, x): return x self.pe[:, :x.size(1)]register_buffer讓pe跟著模型走 GPU 但不參與梯度更新這是標準寫法。Informer 的 ProbSparse 注意力實現(xiàn)要復雜得多核心是只對「查詢稀疏性」高的那部分 query 做注意力計算其余用均值填充。自己手寫容易出錯建議先用標準 Transformer 跑通再替換注意力模塊做對比。Transformer 預測正弦數(shù)據是驗證實現(xiàn)正確性的經典手段如果模型連正弦都擬合不了說明位置編碼或掩碼寫錯了。訓練時注意解碼器輸入要右移一位且用因果掩碼防止看到未來。3.4 DeepAR把點預測換成分布預測DeepAR 的輸出不是一條線而是一個分布的參數(shù)。以高斯為例網絡輸出均值和標準差損失用負對數(shù)似然。class DeepARHead(nn.Module): def __init__(self, hidden_size, num_vars): super().__init__() self.mu nn.Linear(hidden_size, num_vars) self.sigma nn.Linear(hidden_size, num_vars) def forward(self, h): mu self.mu(h) sigma torch.nn.functional.softplus(self.sigma(h)) 1e-6 # 保證正數(shù) return mu, sigma def gaussian_nll(y, mu, sigma): # y, mu, sigma: [batch, pred_length, num_vars] return (torch.log(sigma) 0.5 * torch.log(2 * torch.tensor(3.14159)) 0.5 * ((y - mu) / sigma) ** 2).mean()softplus加一個小常數(shù)是為了防止標準差趨近 0 導致數(shù)值爆炸這個1e-6是血淚經驗去掉之后訓練到中期很容易出 NaN。DeepAR 訓練時每個時間步都算一次損失推理時從分布里采樣再喂回下一步所以推理速度比一次性輸出的模型慢。4. 多變量預測的避坑清單五個真實翻車現(xiàn)場4.1 現(xiàn)象驗證損失比訓練損失低很多原因數(shù)據泄漏。最常見的是標準化用了全量數(shù)據的均值方差或者滑動窗口切分時訓練集和驗證集有重疊。時間序列不能隨機劃分必須按時間先后切。解決先切分再標準化訓練集算出的均值方差存下來給驗證測試用。窗口切分時在訓練集和驗證集之間留出至少一個context_length的間隔。4.2 現(xiàn)象模型預測出來是一條直線原因多變量里某些變量量綱差異太大比如一個變量范圍是 0 到 1另一個是 0 到 10000梯度被大量綱變量主導小量綱變量學不動。解決每個變量單獨標準化或者用 RobustScaler 抗異常值。檢查輸入張量的每個通道統(tǒng)計量確認沒有某個通道方差異常大。4.3 現(xiàn)象Informer 訓練顯存爆掉原因序列長度設得太長或者 batch size 沒跟著調。稀疏注意力雖然降了復雜度但常數(shù)項不小序列上千步時顯存占用依然可觀。解決先把context_length降到 336 或 512 試跑確認能跑通再往上加。開啟混合精度訓練torch.cuda.amp能省不少顯存。4.4 現(xiàn)象Transformer 訓練不收斂損失震蕩原因學習率太大或者沒用 warmup。Transformer 對學習率敏感直接上 1e-3 很容易發(fā)散。解決用 AdamW學習率從 1e-4 起步加線性 warmup 前 10% 步數(shù)。梯度裁剪設 1.0防止梯度爆炸。4.5 現(xiàn)象DeepAR 推理結果每次都不一樣原因這是設計如此DeepAR 是概率模型每次從分布采樣結果都不同。解決需要確定性輸出時取多次采樣的均值或中位數(shù)。評估時用分位數(shù)損失或 CRPS不要用 MSE 直接比否則對概率模型不公平。5. 進階技巧怎么判斷一個模型值不值得上生產跑通不等于能用。我一般會做三件事來判斷一個時間序列模型是否值得投入生產。第一做滾動預測驗證。不要只在一個固定測試集上算一次指標而是模擬真實場景用前 N 步預測后 M 步然后窗口往后滑重復幾十次看指標的均值和方差。方差大的模型上線后表現(xiàn)會很不穩(wěn)定。第二和樸素基線比。季節(jié)性樸素法拿去年同期的值當預測在很多業(yè)務上強得離譜。如果你的 Transformer 打不過它說明模型沒學到真東西先回去查數(shù)據和特征。第三看預測區(qū)間的覆蓋率。如果業(yè)務需要不確定性量化DeepAR 這類概率模型要檢查 80% 和 95% 預測區(qū)間的實際覆蓋率是否接近名義值。覆蓋率嚴重偏低說明分布假設不對可能要換負二項或 Student-t。驗證項合格標準不達標先查滾動預測指標方差相對均值小于 20%數(shù)據平穩(wěn)性、窗口長度對比樸素基線至少提升 10%特征工程、模型容量預測區(qū)間覆蓋率與名義值偏差小于 5%分布假設、損失函數(shù)最后說個習慣我每次換模型前都會把基線結果和隨機種子固定下來存成文件不然調了兩周回頭發(fā)現(xiàn)還不如第一版連后悔藥都沒得吃。多變量時間序列預測沒有銀彈DeepAR、Informer、Transformer、RNN 各有各的適用面把數(shù)據管道和評估流程做扎實比追新模型重要得多。希望幫到你。本文還有配套的精品資源點擊獲取 PyTorch多變量時間序列預測：DeepAR、Informer、Transformer與RNN實戰(zhàn)對比
簡介這份資源面向時間序列預測方向的研究者、算法工程師與高年級學生聚焦用PyTorch復現(xiàn)并改進DeepAR、Informer、Transformer、RNN等經典模型解決多變量時序分析與預測問題覆蓋金融、氣象、工業(yè)等場景。壓縮包共61個文件約55.25MB以49個Python實現(xiàn)文件為主配套4個gz數(shù)據集、4張png結果圖以及txt說明、docx附贈文檔、json與md說明代碼按data、models、exp、test等模塊組織便于按實驗腳本逐項復現(xiàn)。已有95人學習下載。讀者可拿到各模型的完整實現(xiàn)與訓練腳本、概率預測與點預測的對比實驗、多變量數(shù)據加載與特征工程工具以及指標計算、概率預測可視化等輔助模塊適合在此基礎上做二次開發(fā)與模型改進。1. 從一份「模型全家桶」說起多變量時間序列預測到底難在哪電力負荷曲線、交通流量、工業(yè)設備振動、零售銷量這些數(shù)據有一個共同點它們不是孤立的一列數(shù)而是多個變量互相糾纏著隨時間演化。你拿到的往往是一張[時間步, 變量數(shù)]的表想預測未來一段時間的走勢。單變量預測那套「一列歷史推一列未來」的做法在多變量場景下會立刻暴露問題——變量之間的相關性被丟掉了而恰恰是這些相關性里藏著預測的線索。這份標題里提到的方案本質是把 DeepAR、Informer、Transformer、RNN 這幾類經典模型放進同一個 PyTorch 工程里用統(tǒng)一的數(shù)據接口和訓練流程做多變量時間序列分析與預測。它解決的不是「哪個模型最強」這種問題而是「我手上這批多變量數(shù)據到底該用哪類模型、怎么快速橫向對比」。適合已經會寫 PyTorch 訓練循環(huán)、但面對時間序列時不知道從哪下手的工程師也適合想把 LSTM 時間序列預測 Python 那套老流程升級到注意力機制的人。下面按「先立住原理、再動手復現(xiàn)、最后講坑」的順序拆開講。2. 四類模型的分工DeepAR、Informer、Transformer、RNN 各自解決什么2.1 先搞清楚它們不是同一層的替代品很多人一上來就問「Informer 和 Transformer 哪個準」這個問題本身就問偏了。這幾類模型的差異不在精度高低而在它們對時間序列的建模假設不同。RNN含 LSTM、GRU是自回歸的逐點遞推結構隱狀態(tài)沿時間軸傳遞天然適合捕捉短期依賴和序列順序。它的短板是長序列上梯度傳播路徑太長且無法并行訓練慢。LSTM 時間序列預測 Python 生態(tài)里最成熟的方案就是它代碼簡單、調參直觀作為基線非常合適。Transformer 用自注意力一次性看到整個序列任意兩個時間步之間的依賴路徑長度都是 1長程依賴建模能力強且可并行。但標準自注意力的計算復雜度是序列長度的平方長序列上顯存和耗時都會爆炸。Informer 是針對長序列預測做的改進版核心是 ProbSparse 稀疏注意力把注意力復雜度從 O(L2) 降到 O(L log L)同時用蒸餾機制逐層壓縮序列長度。它適合輸入序列很長比如上千步的預測任務。DeepAR 是另一條路線它不直接輸出點預測而是輸出概率分布的參數(shù)比如高斯分布的均值和方差用自回歸方式逐點采樣天然給出預測區(qū)間。多變量場景下它把所有變量的歷史一起喂進去共享一個網絡適合需要不確定性量化的業(yè)務。模型建模方式長序列能力是否輸出概率并行訓練RNN/LSTM逐點遞推弱否否Transformer全局自注意力中否是Informer稀疏注意力蒸餾強否是DeepAR自回歸分布輸出中是否2.2 統(tǒng)一數(shù)據接口是復現(xiàn)的前提四類模型要放在一個工程里對比第一件事不是寫模型而是把數(shù)據格式統(tǒng)一。多變量時間序列的常見組織方式是滑動窗口給定歷史長度context_length和預測長度pred_length從原始序列上切出[context_length, num_vars]的輸入和[pred_length, num_vars]的目標。import torch from torch.utils.data import Dataset class MultiVarWindowDataset(Dataset): def __init__(self, data, context_length168, pred_length24): # data: [total_steps, num_vars] 的 float32 張量 self.data torch.as_tensor(data, dtypetorch.float32) self.context_length context_length self.pred_length pred_length self.num_samples len(self.data) - context_length - pred_length 1 def __len__(self): return self.num_samples def __getitem__(self, idx): x self.data[idx : idx self.context_length] # 歷史窗口 y self.data[idx self.context_length : idx self.context_length self.pred_length] # 預測目標 return x, y這段代碼的關鍵在num_samples的計算總長度減去窗口長度再減預測長度加一少加這個一就會在最后一個樣本上越界。context_length和pred_length是最需要根據業(yè)務調整的兩個參數(shù)——電力負荷常用 168一周小時數(shù)預測 24交通流量常用 96 預測 12。窗口切好后RNN 類模型直接按時間維喂入Transformer 和 Informer 需要額外做位置編碼DeepAR 則要在目標上做分布假設。提示多變量數(shù)據務必先做標準化且標準化參數(shù)只能用訓練集統(tǒng)計驗證和測試集復用訓練集的均值和方差否則會引入未來信息。3. 用 PyTorch 把四類模型跑通從環(huán)境到訓練循環(huán)3.1 環(huán)境搭建與依賴確認PyTorch 環(huán)境搭建是繞不過去的第一步。CUDA 和 PyTorch 版本必須對齊裝錯了要么用不上 GPU要么直接報錯。常見做法是用 conda 建獨立環(huán)境再按官方命令裝對應 CUDA 版本的包。conda create -n ts_pred python3.10 -y conda activate ts_pred # 按本機 CUDA 版本選擇下面以 CUDA 11.8 為例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy pandas scikit-learn matplotlib裝完先驗證 GPU 是否可用這一步別省import torch print(torch.__version__) print(torch.cuda.is_available()) # 必須為 True 才走 GPU print(torch.cuda.get_device_name(0)) # 確認識別到正確顯卡如果cuda.is_available()返回 False八成是 CUDA 版本和 PyTorch 包不匹配或者驅動太舊。Ubuntu 安裝 PyTorch 和 WSL 環(huán)境下排查思路一樣先看nvidia-smi輸出的 CUDA 版本再對照 PyTorch 官網的版本矩陣重裝。Anaconda 配置 PyTorch 環(huán)境時別在 base 環(huán)境里裝污染了很難清理。3.2 RNN 基線最短路徑先跑出一個能看的數(shù)任何對比都要有基線。LSTM 結構簡單、收斂穩(wěn)定先用它把整條鏈路跑通確認數(shù)據管道、損失函數(shù)、評估指標都沒問題再去上復雜模型。import torch.nn as nn class LSTMForecaster(nn.Module): def __init__(self, num_vars, hidden_size64, num_layers2, pred_length24): super().__init__() self.lstm nn.LSTM( input_sizenum_vars, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, ) self.head nn.Linear(hidden_size, num_vars * pred_length) self.pred_length pred_length self.num_vars num_vars def forward(self, x): # x: [batch, context_length, num_vars] out, _ self.lstm(x) last out[:, -1, :] # 取最后時間步的隱狀態(tài) y self.head(last) # [batch, num_vars * pred_length] return y.view(-1, self.pred_length, self.num_vars)hidden_size從 64 起步num_layers兩層通常夠用再深容易過擬合小數(shù)據集。head一次性輸出整個預測窗口比逐點遞推快很多代價是丟掉了預測步之間的自回歸依賴。如果業(yè)務對多步一致性要求高可以改成逐點輸出再滾動但訓練會慢一個量級。3.3 Transformer 與 Informer位置編碼和注意力掩碼是重點Transformer 用在時間序列上位置編碼不能照搬 NLP 那套固定正弦編碼就完事因為時間序列的周期性和絕對位置都重要。常見做法是把位置編碼和可學習的時間特征小時、星期、月份拼接。class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len5000): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len).unsqueeze(1).float() div torch.exp(torch.arange(0, d_model, 2).float() * (-torch.log(torch.tensor(10000.0)) / d_model)) pe[:, 0::2] torch.sin(position * div) pe[:, 1::2] torch.cos(position * div) self.register_buffer(pe, pe.unsqueeze(0)) # [1, max_len, d_model] def forward(self, x): return x self.pe[:, :x.size(1)]register_buffer讓pe跟著模型走 GPU 但不參與梯度更新這是標準寫法。Informer 的 ProbSparse 注意力實現(xiàn)要復雜得多核心是只對「查詢稀疏性」高的那部分 query 做注意力計算其余用均值填充。自己手寫容易出錯建議先用標準 Transformer 跑通再替換注意力模塊做對比。Transformer 預測正弦數(shù)據是驗證實現(xiàn)正確性的經典手段如果模型連正弦都擬合不了說明位置編碼或掩碼寫錯了。訓練時注意解碼器輸入要右移一位且用因果掩碼防止看到未來。3.4 DeepAR把點預測換成分布預測DeepAR 的輸出不是一條線而是一個分布的參數(shù)。以高斯為例網絡輸出均值和標準差損失用負對數(shù)似然。class DeepARHead(nn.Module): def __init__(self, hidden_size, num_vars): super().__init__() self.mu nn.Linear(hidden_size, num_vars) self.sigma nn.Linear(hidden_size, num_vars) def forward(self, h): mu self.mu(h) sigma torch.nn.functional.softplus(self.sigma(h)) 1e-6 # 保證正數(shù) return mu, sigma def gaussian_nll(y, mu, sigma): # y, mu, sigma: [batch, pred_length, num_vars] return (torch.log(sigma) 0.5 * torch.log(2 * torch.tensor(3.14159)) 0.5 * ((y - mu) / sigma) ** 2).mean()softplus加一個小常數(shù)是為了防止標準差趨近 0 導致數(shù)值爆炸這個1e-6是血淚經驗去掉之后訓練到中期很容易出 NaN。DeepAR 訓練時每個時間步都算一次損失推理時從分布里采樣再喂回下一步所以推理速度比一次性輸出的模型慢。4. 多變量預測的避坑清單五個真實翻車現(xiàn)場4.1 現(xiàn)象驗證損失比訓練損失低很多原因數(shù)據泄漏。最常見的是標準化用了全量數(shù)據的均值方差或者滑動窗口切分時訓練集和驗證集有重疊。時間序列不能隨機劃分必須按時間先后切。解決先切分再標準化訓練集算出的均值方差存下來給驗證測試用。窗口切分時在訓練集和驗證集之間留出至少一個context_length的間隔。4.2 現(xiàn)象模型預測出來是一條直線原因多變量里某些變量量綱差異太大比如一個變量范圍是 0 到 1另一個是 0 到 10000梯度被大量綱變量主導小量綱變量學不動。解決每個變量單獨標準化或者用 RobustScaler 抗異常值。檢查輸入張量的每個通道統(tǒng)計量確認沒有某個通道方差異常大。4.3 現(xiàn)象Informer 訓練顯存爆掉原因序列長度設得太長或者 batch size 沒跟著調。稀疏注意力雖然降了復雜度但常數(shù)項不小序列上千步時顯存占用依然可觀。解決先把context_length降到 336 或 512 試跑確認能跑通再往上加。開啟混合精度訓練torch.cuda.amp能省不少顯存。4.4 現(xiàn)象Transformer 訓練不收斂損失震蕩原因學習率太大或者沒用 warmup。Transformer 對學習率敏感直接上 1e-3 很容易發(fā)散。解決用 AdamW學習率從 1e-4 起步加線性 warmup 前 10% 步數(shù)。梯度裁剪設 1.0防止梯度爆炸。4.5 現(xiàn)象DeepAR 推理結果每次都不一樣原因這是設計如此DeepAR 是概率模型每次從分布采樣結果都不同。解決需要確定性輸出時取多次采樣的均值或中位數(shù)。評估時用分位數(shù)損失或 CRPS不要用 MSE 直接比否則對概率模型不公平。5. 進階技巧怎么判斷一個模型值不值得上生產跑通不等于能用。我一般會做三件事來判斷一個時間序列模型是否值得投入生產。第一做滾動預測驗證。不要只在一個固定測試集上算一次指標而是模擬真實場景用前 N 步預測后 M 步然后窗口往后滑重復幾十次看指標的均值和方差。方差大的模型上線后表現(xiàn)會很不穩(wěn)定。第二和樸素基線比。季節(jié)性樸素法拿去年同期的值當預測在很多業(yè)務上強得離譜。如果你的 Transformer 打不過它說明模型沒學到真東西先回去查數(shù)據和特征。第三看預測區(qū)間的覆蓋率。如果業(yè)務需要不確定性量化DeepAR 這類概率模型要檢查 80% 和 95% 預測區(qū)間的實際覆蓋率是否接近名義值。覆蓋率嚴重偏低說明分布假設不對可能要換負二項或 Student-t。驗證項合格標準不達標先查滾動預測指標方差相對均值小于 20%數(shù)據平穩(wěn)性、窗口長度對比樸素基線至少提升 10%特征工程、模型容量預測區(qū)間覆蓋率與名義值偏差小于 5%分布假設、損失函數(shù)最后說個習慣我每次換模型前都會把基線結果和隨機種子固定下來存成文件不然調了兩周回頭發(fā)現(xiàn)還不如第一版連后悔藥都沒得吃。多變量時間序列預測沒有銀彈DeepAR、Informer、Transformer、RNN 各有各的適用面把數(shù)據管道和評估流程做扎實比追新模型重要得多。希望幫到你。本文還有配套的精品資源點擊獲取