做多變量時(shí)間序列預(yù)測(cè)這幾年我最頭疼的不是把單條曲線的趨勢(shì)拉準(zhǔn)而是變量和變量之間的關(guān)系。一開始我也迷信 Transformer 那套覺得讓注意力自己去“發(fā)現(xiàn)”變量間的相關(guān)性就完事了結(jié)果跑電力負(fù)荷、交通流這類數(shù)據(jù)時(shí)很快發(fā)現(xiàn)注意力給出來的關(guān)系在推理階段幾乎是固定的而真實(shí)場(chǎng)景里的變量交互根本不是這個(gè)樣子——凌晨的用電關(guān)系和晚高峰的用電關(guān)系能差出一倍。后來我把目光從“全局關(guān)系矩陣”挪到“局部交互模式”上逐步攢出了 FACT 這套思路也就是用細(xì)粒度跨變量卷積Fine-grained Cross-variable Convolution來建模動(dòng)態(tài)變量交互。這篇文章就把這套方法從動(dòng)機(jī)到實(shí)現(xiàn)、再到踩坑復(fù)盤完整拆開講。想直接抄代碼的想搞懂為什么這樣做更合理的應(yīng)該都能有收獲。1. 變量交互建模的隱痛靜態(tài)假設(shè)與全局注意力的失效場(chǎng)景1.1 大部分實(shí)際系統(tǒng)的交互是“時(shí)變”的先拋一個(gè)反常識(shí)的觀察許多人做多變量預(yù)測(cè)第一個(gè)動(dòng)作就是求相關(guān)性矩陣或者讓模型學(xué)一個(gè)變量間相似度矩陣。這兩種做法本質(zhì)都在找一個(gè)“全局平均”的關(guān)系但真實(shí)系統(tǒng)的交互幾乎都是時(shí)變的。拿電力負(fù)荷舉例氣溫對(duì)用電量的影響夏季空調(diào)季是強(qiáng)正相關(guān)春秋季又接近無關(guān)到了采暖季還會(huì)變成另一種形態(tài)工作日的變量交互結(jié)構(gòu)和節(jié)假日完全不同。哪怕壓縮到一天里凌晨由工業(yè)負(fù)荷主導(dǎo)、晚間由居民負(fù)荷主導(dǎo)各變量之間的主導(dǎo)關(guān)系也在不斷切換。用一個(gè)靜態(tài)矩陣去擬合這種變化結(jié)果只能是折中——高峰段對(duì)不齊低谷段也不準(zhǔn)。我在一次交通流預(yù)測(cè)的項(xiàng)目里第一次被這個(gè)問題擊中。給模型喂了 40 多個(gè)路口的流量數(shù)據(jù)整體相關(guān)性矩陣顯示 A 路口和 B 路口相關(guān)度只有 0.3但按小時(shí)切片算早高峰能到 0.8深夜只有 0.05。如果只在整體相關(guān)度上篩閾值這兩個(gè)路口會(huì)被認(rèn)為“關(guān)系弱”而直接被忽略可早高峰那兩小時(shí)它們明顯在互相影響。這讓我徹底放棄了“一個(gè)矩陣打天下”的思路。1.2 注意力機(jī)制也在“偷懶”有人會(huì)說用 Transformer 總該能捕捉動(dòng)態(tài)交互了吧每個(gè)時(shí)間步的注意力權(quán)重不是不一樣嗎理論上確實(shí)不一樣但實(shí)際訓(xùn)練之后你會(huì)發(fā)現(xiàn)幾個(gè)問題。第一注意力 softmax 在長(zhǎng)序列上很容易趨于均勻化梯度信號(hào)也會(huì)把那些“穩(wěn)定出現(xiàn)”的模式強(qiáng)化最終學(xué)到的仍然是一種平均關(guān)系。第二在變量維度上做全局注意力復(fù)雜度是變量數(shù)的平方變量一多上百個(gè)傳感器節(jié)點(diǎn)訓(xùn)練非常痛苦顯存開銷直線上升。第三也是常被忽略的一點(diǎn)點(diǎn)積注意力建模的是對(duì)稱的相似度變量 A 對(duì)變量 B 的影響和 B 對(duì) A 的影響在權(quán)重上天然不區(qū)分方向。但現(xiàn)實(shí)里這種方向性交互比比皆是電價(jià)上漲會(huì)帶動(dòng)光伏出力調(diào)整反過來光伏出力卻幾乎不影響電價(jià)這種不對(duì)稱靠對(duì)稱注意力根本表達(dá)不出來。當(dāng)然真要強(qiáng)行表達(dá)方向性可以在注意力里加方向編碼或者用非對(duì)稱的注意力變體但代價(jià)是更復(fù)雜的結(jié)構(gòu)、更多的調(diào)參成本。至少我在自己項(xiàng)目里試下來收益不夠填復(fù)雜度。1.3 “細(xì)粒度”到底指什么我理解的細(xì)粒度有三個(gè)層面缺一不可細(xì)粒度維度核心含義靜態(tài)建模為何不行時(shí)間維度交互模式不是整段序列共享一套參數(shù)而是隨小時(shí)間窗動(dòng)態(tài)變化靜態(tài)矩陣只能給出一段時(shí)期的平均值變量維度不是所有變量共享一個(gè)相關(guān)性矩陣而是每個(gè)變量或相鄰變量簇有各自的局部交互模式全局矩陣把強(qiáng)相關(guān)的細(xì)節(jié)全部平均掉方向維度A 影響 B 與 B 影響 A 的強(qiáng)度可以不同相關(guān)性和對(duì)稱注意力都天然不區(qū)分方向FACT 的核心是想用盡可能簡(jiǎn)單的操作把這三個(gè)層面的細(xì)粒度統(tǒng)一起來——在變量軸上做小核卷積同時(shí)讓卷積核參數(shù)隨輸入內(nèi)容動(dòng)態(tài)生成。2. FACT 的核心機(jī)關(guān)從“學(xué)一個(gè)矩陣”到“動(dòng)態(tài)卷積核”2.1 為什么選卷積先看數(shù)據(jù)形態(tài)多變量序列一般是 B×T×V 的張量B 是 batchT 是時(shí)間長(zhǎng)度V 是變量數(shù)。傳統(tǒng)做法是構(gòu)造 V×V 的交互矩陣去乘 X參數(shù)和計(jì)算量都隨 V 平方增長(zhǎng)或者讓所有變量在每個(gè)時(shí)間步上互相做注意力計(jì)算量依然逃不掉 V2。卷積的做法是把 V 當(dāng)作“序列長(zhǎng)度”用一個(gè)長(zhǎng)度為 k 的卷積核沿著變量軸滑動(dòng)每次只看相鄰的 k 個(gè)變量。為什么這種局部假設(shè)合理因?yàn)楝F(xiàn)實(shí)中變量交互大多發(fā)生在鄰近結(jié)構(gòu)電網(wǎng)里相鄰母線的相互影響遠(yuǎn)強(qiáng)于遠(yuǎn)端節(jié)點(diǎn)交通流里相鄰路段的相關(guān)性最強(qiáng)氣象站里隔幾百公里的觀測(cè)點(diǎn)幾乎談不上交互。局部性不等于放棄全局堆疊多層之后感受野層層擴(kuò)大第一層窗口相鄰變量、第二層窗口次近鄰、第三層就能覆蓋十幾個(gè)變量甚至更遠(yuǎn)的交互。這和 CNN 在圖像里從邊緣到紋理再到物體輪廓的路徑是同一個(gè)套路。卷積還有一個(gè)現(xiàn)實(shí)優(yōu)勢(shì)參數(shù)共享。同一個(gè)卷積核在所有變量位置復(fù)用不會(huì)因?yàn)樽兞繑?shù)量增加就參數(shù)爆炸。原始的靜態(tài)卷積只有 k 個(gè)參數(shù)比 V×V 的矩陣小太多了。即便加上動(dòng)態(tài)生成機(jī)制參數(shù)量的增長(zhǎng)也是線性的整體仍然可控。2.2 動(dòng)態(tài)核是怎么來的FACT 的關(guān)鍵在“動(dòng)態(tài)”兩個(gè)字。最簡(jiǎn)單的實(shí)現(xiàn)思路叫條件卷積先把時(shí)間維度的全局特征池化成一個(gè)小向量比如 mean-pool 或 max-pool把這個(gè)向量喂給一個(gè)小型 MLP輸出一組卷積核權(quán)重。這組權(quán)重就是針對(duì)當(dāng)前輸入內(nèi)容“定制”的。為什么這個(gè)設(shè)計(jì)有效全局池化保留了這段序列的整體狀態(tài)現(xiàn)在整體是在高峰還是低谷、像工作日還是節(jié)假日、系統(tǒng)處于穩(wěn)態(tài)還是震蕩期。MLP 根據(jù)這個(gè)狀態(tài)決定變量交互的形態(tài)相當(dāng)于“大局定框架局部填細(xì)節(jié)”。整體狀態(tài)編碼和局部交互組合正好對(duì)應(yīng)我們做人工判斷時(shí)的兩步邏輯先看當(dāng)前處于什么場(chǎng)景再判斷在這個(gè)場(chǎng)景下誰和誰更相關(guān)。實(shí)際做的時(shí)候有個(gè)小細(xì)節(jié)動(dòng)態(tài)核的初始化和訓(xùn)練穩(wěn)定性要特別小心。如果 MLP 隨機(jī)初始化剛開始產(chǎn)出的核可能讓輸出分布崩掉。我習(xí)慣把 MLP 最后一層的權(quán)重初始化為接近 0偏置初始化成單位脈沖的形狀這樣初始狀態(tài)下接近恒等映射訓(xùn)練會(huì)更穩(wěn)后面再讓梯度慢慢把核“推開”。2.3 時(shí)間分支與變量分支如何協(xié)作跨變量卷積只回答了“變量之間怎么交互”序列本身的時(shí)間依賴還得有人管。我在 FACT 里的做法是雙分支并行時(shí)間分支在時(shí)間軸做因果卷積或膨脹卷積負(fù)責(zé)捕捉局部趨勢(shì)、周期、突變跨變量分支在變量軸做細(xì)粒度卷積負(fù)責(zé)捕捉同一時(shí)刻變量間的橫向交互兩個(gè)分支的輸出逐元素相加再過 LayerNorm 和殘差堆疊多層。這樣設(shè)計(jì)的好處是兩類信息互不干擾不需要擠在同一個(gè)矩陣?yán)锘ハ嗤讌f(xié)。有的數(shù)據(jù)集長(zhǎng)程時(shí)間依賴特別強(qiáng)就把時(shí)間分支換成自注意力有的數(shù)據(jù)集變量交互特別復(fù)雜就加深跨變量分支、加大卷積核。組合式的結(jié)構(gòu)讓 FACT 在不同數(shù)據(jù)上遷移起來非常方便。整體流程可以這樣看輸入 X → 實(shí)例歸一化 → 可選 patch 切分與嵌入 → 多層并行塊時(shí)間分支 跨變量分支各帶殘差與歸一化→ 輸出投影 → 逆歸一化 → 預(yù)測(cè) Y。實(shí)例歸一化處理分布偏移patch 切分能縮短序列、降低后續(xù)計(jì)算量這兩個(gè)都是被 PatchTST 等結(jié)構(gòu)驗(yàn)證過的預(yù)處理技巧直接拿來配合使用就行。3. 把 FACT 寫進(jìn)代碼維度變換、超網(wǎng)絡(luò)與堆疊細(xì)節(jié)3.1 先跑通最簡(jiǎn)單的靜態(tài)版本不要一上來就上動(dòng)態(tài)核。我建議先實(shí)現(xiàn)一個(gè)靜態(tài)跨變量卷積把維度變換搞清楚再說。最簡(jiǎn)單的寫法是把變量軸當(dāng)成卷積分組里的空間軸用 conv1d 處理import torch import torch.nn as nn class StaticCrossVariableConv(nn.Module): def __init__(self, kernel_size5): super().__init__() self.kernel_size kernel_size self.conv nn.Conv1d( in_channels1, out_channels1, kernel_sizekernel_size, paddingkernel_size // 2, biasFalse, ) def forward(self, x): # x: (B, T, V) - reshape 把時(shí)間步當(dāng)成批次 b, t, v x.shape x x.reshape(b * t, 1, v) # (B*T, 1, V) y self.conv(x) # 沿變量維度卷積 return y.reshape(b, t, v)這里把 B×T 合并成一個(gè)批次維度對(duì)每個(gè)時(shí)間步單獨(dú)在變量軸上做卷積。padding 用 same 模式保證輸出長(zhǎng)度不變。別小看這一步我見過不少朋友在維度上栽跟頭明明想卷變量軸結(jié)果把變量當(dāng)通道卷時(shí)間軸了錯(cuò)誤很隱蔽。這個(gè)靜態(tài)版本已經(jīng)能驗(yàn)證“跨變量卷積”這個(gè)方向是否值得繼續(xù)。拿它在自己的數(shù)據(jù)上跑幾輪如果比線性基線有明顯提升再上動(dòng)態(tài)核不遲如果連靜態(tài)版都沒有收益那說明數(shù)據(jù)里變量交互的局部性可能很弱動(dòng)態(tài)版大概率也救不回來。3.2 動(dòng)態(tài)核版本條件卷積的實(shí)現(xiàn)動(dòng)態(tài)核的核心是用全局池化特征生成卷積權(quán)重。下面是一個(gè)教學(xué)級(jí)簡(jiǎn)潔實(shí)現(xiàn)class DynamicCrossVariableConv(nn.Module): def __init__(self, num_vars, kernel_size5, hidden_dim64): super().__init__() self.num_vars num_vars self.k kernel_size self.hidden_dim hidden_dim # 超網(wǎng)絡(luò)從全局池化特征生成動(dòng)態(tài)卷積核 self.condition_net nn.Sequential( nn.Linear(num_vars, hidden_dim), nn.GELU(), nn.Linear(hidden_dim, num_vars * kernel_size), ) # 動(dòng)態(tài)核初始化 self._init_kernel_weights() def _init_kernel_weights(self): # 讓初始權(quán)重接近“只關(guān)注自身”中心位置為1其余為0 with torch.no_grad(): last self.condition_net[-1] last.weight.zero_() last.bias.zero_() mid self.k // 2 for i in range(self.num_vars): last.bias[i * self.k mid] 1.0 def forward(self, x): # x: (B, T, V) b, t, v x.shape cond x.mean(dim1) # (B, V) weights self.condition_net(cond) # (B, V*K) weights weights.view(b, v, self.k) # (B, V, K) # 變量維度滑窗 pad self.k // 2 x_padded torch.nn.functional.pad(x, (pad, pad), modereplicate) patches x_padded.unfold(2, self.k, 1) # (B, T, V, K) # 每個(gè)變量用對(duì)應(yīng)的動(dòng)態(tài)核沿K求和 out (patches * weights.unsqueeze(1)).sum(dim-1) # (B, T, V) return out主要步驟拆開看cond 是每個(gè)樣本的時(shí)間池化特征喂給一個(gè)兩層 MLP 得到 B×V×K 的核權(quán)重torch padding 后用 unfold 提取每個(gè)變量位置長(zhǎng)度為 K 的窗口最后用動(dòng)態(tài)核與窗口逐位置相乘再求和。unfold 在這種小模塊里夠用如果變量數(shù)很大、追求速度可以用 im2col 思路替換但大部分場(chǎng)景不需要。再說一遍初始化為什么重要?jiǎng)討B(tài)核是生成出來的如果 MLP 隨機(jī)初始化早期輸出分布會(huì)被奇怪的卷積核帶偏。上面我先把最后一個(gè) Linear 的權(quán)重整個(gè)歸零、再把中心位置偏置設(shè)成 1初始時(shí)每個(gè)位置基本只看自己相當(dāng)于恒等映射訓(xùn)練穩(wěn)定性立刻好很多。這個(gè)細(xì)節(jié)幫我省了不少調(diào)試時(shí)間。3.3 多層堆疊與感受野控制跨變量卷積不是一層就完事重點(diǎn)在堆疊。每層核寬 K堆疊 L 層后一個(gè)變量能影響的變量范圍是 1 L × (K?1)。比如 K5、堆 3 層感受野就是 13 個(gè)變量K7、堆 4 層感受野 25 個(gè)變量。堆疊的好處是淺層學(xué)局部小簇交互、深層學(xué)簇與簇之間的組合信息逐層抽象。堆疊時(shí)有三個(gè)經(jīng)驗(yàn)值可以抄每層都用 same padding保持變量維度長(zhǎng)度不變最后輸出層再做降維或投影每層輸出接 LayerNorm再套殘差。這一點(diǎn)在下章會(huì)展開說順序影響很大不要為了“加深”而加深先按感受野需求算層數(shù)。如果最強(qiáng)的交互隔著 20 個(gè)變量核寬 5 的模型堆 4 層就夠硬堆 10 層只會(huì)讓模型更笨重計(jì)算量也可以簡(jiǎn)單算一下每層跨變量卷積的開銷是 O(T·V·K)堆 L 層就是 O(L·T·V·K)和變量注意力 O(T·V2) 相比在 V 較大時(shí)優(yōu)勢(shì)非常明顯。比如 V100、K5、L4跨變量卷積的乘加次數(shù)是 2000T而注意力光相關(guān)性矩陣就是 10000T還沒算 softmax 和其他開銷。3.4 和 Patch、實(shí)例歸一化怎么銜接Patch 處理在 PatchTST 等模型里被廣泛驗(yàn)證把時(shí)間序列切成長(zhǎng)度為 P、可能有重疊的小段每段嵌入成一個(gè) token。FACT 完全可以和 patch 配合用。切完 patch 之后時(shí)間長(zhǎng)度從 T 變成約 T/P跨變量卷積在變量軸的運(yùn)算量不變但時(shí)間分支的后續(xù)計(jì)算會(huì)更省。我在實(shí)踐中用 patch 長(zhǎng)度 16、步長(zhǎng) 8 起步序列長(zhǎng)度減半模型訓(xùn)練速度快很多預(yù)測(cè)精度基本不受損失。實(shí)例歸一化一定要做在主干網(wǎng)絡(luò)之前。它的作用是消除不同樣本間的均值/方差漂移尤其適合電力、流量這類分布會(huì)隨季節(jié)、事件變化的數(shù)據(jù)。做法很簡(jiǎn)單對(duì)每個(gè)樣本的每個(gè)變量先減均值除以標(biāo)準(zhǔn)差模型輸出后再把預(yù)測(cè)結(jié)果按原來的統(tǒng)計(jì)量逆縮放。注意逆歸一化要在輸出層做完之后直接作用到最終預(yù)測(cè)值上不要夾在中間層否則統(tǒng)計(jì)信息會(huì)被模型內(nèi)部操作扭曲。4. 實(shí)驗(yàn)復(fù)盤的三個(gè)深坑變量順序、核寬度、歸一化時(shí)機(jī)4.1 坑一變量順序決定生死這是我在項(xiàng)目里碰到的第一道坎。最初的 FACT 版本效果平平比線性模型沒強(qiáng)多少一度想放棄。在固定隨機(jī)種子、控制變量的前提下排查了很久懷疑學(xué)習(xí)率、懷疑動(dòng)態(tài)核初始化、懷疑數(shù)據(jù)預(yù)處理把這些全部排除之后最后把輸入變量的列順序改了一下——按相關(guān)性做了一次層次聚類重排——模型效果立刻上了一個(gè)臺(tái)階MSE 大約下降了兩三成不同數(shù)據(jù)集幅度不同。這個(gè)現(xiàn)象背后的原理其實(shí)很直白卷積的局部性假設(shè)要求“順序即語義”相鄰位置的變量最好真的相關(guān)。如果變量列順序是隨意錄入的卷積窗口掃過去抓到的全是弱相關(guān)配對(duì)等于讓模型學(xué)一堆噪聲關(guān)系。解決方案有三檔最省事訓(xùn)練前用滑動(dòng)窗口相關(guān)性矩陣做層次聚類把高相關(guān)變量排在一起固定這個(gè)順序訓(xùn)練更穩(wěn)訓(xùn)練時(shí)對(duì)變量順序做隨機(jī) shuffle 增強(qiáng)。雖然卷積核是平移共享的但重排能讓模型不容易依賴某個(gè)絕對(duì)位置泛化更好更靈活把變量分組每組用獨(dú)立的卷積核類似分組卷積組內(nèi)排序、組間互不干擾如果你發(fā)現(xiàn)自己數(shù)據(jù)集里的變量順序無法改變可以先打開 shuffle 增強(qiáng)試一周。這個(gè)改動(dòng)成本最低效果經(jīng)常超出預(yù)期。4.2 坑二卷積核寬度不是越大越好另一個(gè)折騰我兩天的問題是核寬度。直覺上覺得窗口越大看到的交互越多但把 K 從 3 一路調(diào)到 9、15 之后驗(yàn)證指標(biāo)先升后降K9 左右就開始出現(xiàn)退化。原因也好解釋窗口越大卷積的輸出越接近窗口內(nèi)變量的平均值細(xì)粒度交互被“糊”掉了。這和圖像里大卷積核容易丟細(xì)節(jié)是同一個(gè)原理——過平滑效應(yīng)。我后來用網(wǎng)格搜索在 K∈{3,5,7,9,15} 里試發(fā)現(xiàn)大部分?jǐn)?shù)據(jù)集的最佳點(diǎn)在 5 到 7 之間。中小數(shù)據(jù)集建議直接定 5 起步別一上來就調(diào)大只有在變量數(shù)很多超過 200或者局部結(jié)構(gòu)特別復(fù)雜時(shí)才值得試更大的核。還有一個(gè)容易忽視的點(diǎn)核寬加大意味著可表達(dá)模式變多數(shù)據(jù)量不夠時(shí)學(xué)到的多半是噪聲所以要同步考慮過擬合風(fēng)險(xiǎn)。4.3 坑三歸一化的位置影響訓(xùn)練穩(wěn)定性這個(gè)坑比較隱蔽但殺傷力很大。我在一套數(shù)據(jù)上訓(xùn)練時(shí)loss 曲線在 20 個(gè) epoch 后開始劇烈震蕩試了調(diào)學(xué)習(xí)率、換優(yōu)化器都不管用。后來逐層打印激活值才發(fā)現(xiàn)跨變量卷積的輸出方差在深層里膨脹了——因?yàn)榫矸e本質(zhì)是窗口內(nèi) k 個(gè)值的加權(quán)和如果權(quán)重沒有約束方差會(huì)隨層數(shù)指數(shù)放大。解決辦法是把歸一化嵌入到每一層內(nèi)部在跨變量卷積之前先做一次輸入歸一化卷積輸出后再接一次 LayerNorm然后再進(jìn)殘差。這個(gè)“前置 后置”的做法在深層 Transformer 里很常見放到 FACT 的跨變量模塊里同樣成立而且比只在 block 出口做一次歸一化要穩(wěn)得多。順帶一個(gè)小技巧動(dòng)態(tài)核生成網(wǎng)絡(luò)里MLP 最后一層如果用了偏置初始時(shí)記得把卷積核的均值控制住。均值偏大等于給每個(gè)位置都加了一個(gè)常數(shù)偏移層級(jí)一深偏移會(huì)累積成系統(tǒng)性偏差各種指標(biāo)都會(huì)異常。4.4 數(shù)據(jù)量少時(shí)動(dòng)態(tài)核比靜態(tài)核更容易過擬合動(dòng)態(tài)核的代價(jià)是參數(shù)增加——每層多了一個(gè)超網(wǎng)絡(luò)變量數(shù)超過 100 時(shí)這部分參數(shù)相當(dāng)可觀。我一開始在只有幾十條序列的小數(shù)據(jù)集上直接上動(dòng)態(tài)核驗(yàn)證 loss 比訓(xùn)練 loss 高出一大截典型的過擬合信號(hào)。后來做了個(gè)簡(jiǎn)單消融小數(shù)據(jù)集用靜態(tài)核 固定排序效果反而更好。我的建議是訓(xùn)練樣本量在幾千條以下時(shí)先用靜態(tài)核打底確認(rèn)收益之后再切換動(dòng)態(tài)核?；蛘呓o動(dòng)態(tài)核生成網(wǎng)絡(luò)加一些正則比如把核權(quán)重的 L2 約束加上或者用低秩分解把 MLP 的輸出維度降下來。動(dòng)核不是免費(fèi)的午餐它的代價(jià)是參數(shù)變多這一點(diǎn)要心里有數(shù)。5. 哪些任務(wù)適合 FACT哪些任務(wù)別硬上5.1 優(yōu)勢(shì)場(chǎng)景中等變量數(shù)、強(qiáng)局部交互、交互時(shí)變FACT 最出彩的場(chǎng)景有三類特征變量數(shù)量在 20 到 200 之間變量間普遍存在相鄰或局部相關(guān)性交互結(jié)構(gòu)會(huì)隨狀態(tài)切換變化。我在電力負(fù)荷、城市交通流、氣象觀測(cè)這三類數(shù)據(jù)上都跑出了還不錯(cuò)的效果電力相鄰饋線的負(fù)荷聯(lián)動(dòng)、氣溫對(duì)用電量的時(shí)變影響FACT 的動(dòng)態(tài)核在這個(gè)場(chǎng)景下能學(xué)出晝夜兩種明顯的交互模式交通路口間流量傳導(dǎo)主要發(fā)生在空間相鄰路段配合按相關(guān)性排序FACT 比全局注意力更早捕捉到早高峰的聯(lián)動(dòng)變化氣象站點(diǎn)之間的相互影響隨天氣系統(tǒng)移動(dòng)而變化跨變量卷積的局部性假設(shè)和真實(shí)物理過程天然對(duì)齊你也可以在部署前做一個(gè)快速自檢取同一天的數(shù)據(jù)按一小時(shí)切窗計(jì)算變量間相關(guān)性矩陣。如果這些矩陣在不同時(shí)段的差異明顯FACT 動(dòng)態(tài)核的用武之地就很大如果矩陣非常穩(wěn)定靜態(tài)方法可能就夠用了。5.2 不適合的場(chǎng)景變量數(shù)目太少比如只有三五個(gè)時(shí)卷積的局部性假設(shè)沒有意義直接用線性層或者 Transformer 反而更簡(jiǎn)單。變量數(shù)量太多比如上千個(gè)高維傳感器每層的動(dòng)態(tài)核生成網(wǎng)絡(luò)會(huì)帶來不小的參數(shù)量這時(shí)先做變量篩選或者降維再接 FACT 會(huì)更合適。如果數(shù)據(jù)里變量相互之間獨(dú)立性極強(qiáng)幾乎沒有可建模的交互那 FACT 學(xué)到的只會(huì)是噪聲——這種情況下先考慮單變量模型別急著上多變量復(fù)雜結(jié)構(gòu)。還有一種情況要特別提醒最強(qiáng)的交互隔了非常遠(yuǎn)比如跨了 50 個(gè)變量卷積要靠深層堆疊才能覆蓋。層數(shù)一多訓(xùn)練難度和收益都會(huì)變得不劃算這時(shí)候用圖神經(jīng)網(wǎng)絡(luò)或者全局注意力反而更直接。選擇模型之前先花半天把數(shù)據(jù)里的“交互距離”摸清楚能幫你省下一兩周的無效調(diào)參。5.3 還能怎么玩FACT 的動(dòng)態(tài)核是個(gè)天然的可解釋性窗口。我訓(xùn)練好模型后在某段序列上推理把最后一層跨變量卷積生成的核畫成熱力圖能看到變量交互隨著狀態(tài)切換的變化——這比單純給出預(yù)測(cè)結(jié)果更有價(jià)值至少能回答業(yè)務(wù)方“為什么這兩個(gè)變量這段時(shí)間會(huì)一起動(dòng)”這種問題。后續(xù)我還在考慮兩個(gè)擴(kuò)展方向把核生成網(wǎng)絡(luò)換成低秩分解形式進(jìn)一步壓參數(shù)以及給動(dòng)態(tài)核加稀疏約束讓模型自動(dòng)挑出最重要的變量交互路徑。這些改動(dòng)都不影響整體框架屬于在 FACT 這個(gè)“殼子”里做局部替換感興趣的同學(xué)可以直接在自己的數(shù)據(jù)上動(dòng)手試。