第一次被系綜平均Ensemble Average也常被叫作集平均這個概念真正絆住是在我做一批雷達回波數(shù)據(jù)處理的時候。手里握著128個脈沖重復周期的采樣矩陣導師只說了一句“做集平均”我當時的反應是平均誰把128條曲線逐點相加除以128這不就是普通平均嗎后來才明白這個操作背后藏著一整套關于隨機過程的假設而我當時對這套假設一無所知結果在一個非平穩(wěn)的實測數(shù)據(jù)集上直接把有用信號給平均沒了。系綜平均說的是面對一個隨機過程我們在同一個時刻 t對“所有可能發(fā)生的實現(xiàn)”取期望。它衡量的是統(tǒng)計意義上的中心趨勢而不是某一次觀測的走勢。與之相對的是時間平均也就是對單條樣本在時間軸上做平均。這兩者什么時候能互相替代、什么時候絕對不能是工程里最容易翻車的地方之一。不管你是做信號處理、通信、金融建模、分子動力學仿真還是搞機器學習的 BatchNorm這個概念都會在某個環(huán)節(jié)跳出來攔住你。下面這些內容適合三類人看剛接觸隨機過程、被“期望”“遍歷性”這些詞繞暈的學生做仿真和實驗數(shù)據(jù)、需要判斷樣本量夠不夠的工程師以及已經會用均值方差、但沒深究過背后假設的從業(yè)者。我會從概念拆解一路講到代碼實現(xiàn)和踩坑記錄盡量說人話。1. 系綜平均到底在平均什么1.1 一次實驗、一條曲線和一個系綜的關系先把最容易被混淆的一點掰開一次實驗產生一條數(shù)據(jù)曲線這條曲線叫一個“實現(xiàn)”或者一個“樣本函數(shù)”。而系綜ensemble是所有這些可能實現(xiàn)的集合配上它們的概率分布。注意概率分布是這個集合不可分割的一部分沒有分布的“一堆曲線”不構成系綜。打個生活化的比方。你想知道某城市十月份下午三點的平均氣溫。系綜視角的做法是想象有無數(shù)個平行世界每個世界里都有同一個城市、同一個十月份、同一個下午三點每個世界的氣溫是一個樣本。把所有平行世界的氣溫加起來求期望這就是系綜平均。你現(xiàn)實里能拿到的只有我們這個世界里從10月1日到10月31日這31個觀測值那是時間序列是某一個實現(xiàn)上的31個采樣點。這個區(qū)別為什么重要因為絕大多數(shù)工程問題的答案都藏在系綜里而你能觀測到的永遠只是時間軸上的切片。你能不能從切片里推斷整體取決于一個非常強的假設——平穩(wěn)性和遍歷性。這也是后面要反復講的核心。我在實際項目里見過太多人把“對多條曲線取平均”就叫系綜平均但對“多條曲線”的來源完全不設條件。如果這128條曲線來自同一個確定性信號加同一個確定性干擾那平均之后剩下的東西跟統(tǒng)計期望沒什么關系只是簡單的相干疊加或者抵消。判斷依據(jù)永遠是數(shù)據(jù)生成機制而不是平均這個動作本身。1.2 嚴格定義概率空間、隨機變量族、期望算子從數(shù)學上講隨機過程是定義在概率空間 (Ω, F, P) 上的一族隨機變量 {X(t, ω) : t ∈ T, ω ∈ Ω}。這里 Ω 是樣本空間每個 ω 是一個基本結果也就是一個“實現(xiàn)”t 是參數(shù)通常是時間。系綜平均的定義非常簡單固定 t把 X(t, ·) 看成一個普通隨機變量取它的數(shù)學期望連續(xù)情形m(t) E[X(t)] ∫ x · f_{X(t)}(x) dx離散取值情形m(t) Σ x_k · P(X(t) x_k)如果 Ω 是離散且等概率的仿真里最常見m(t) (1/N) Σ_{i1}^{N} X_i(t)第三個式子就是工程中真正落地的東西用 N 個獨立同分布的樣本函數(shù)在固定時刻 t 上取算術平均。這里有兩個隱含要求一是每個樣本函數(shù)的“權重”由概率決定等概率才能簡單取算術平均二是這 N 個實現(xiàn)必須來自同一個分布也就是統(tǒng)計上可交換。注意仿真里“跑1000次蒙特卡洛”得到的集合平均只有在隨機數(shù)種子設置正確、每次獨立采樣、模型參數(shù)完全一致的前提下才等于系綜平均。任何一次跑偏比如用了不同的初始條件分布平均值就失去了統(tǒng)計意義。很多人忽略的一點是m(t) 是 t 的函數(shù)不一定是常數(shù)。只有當過程是寬平穩(wěn)的時候一階矩才與時間無關。所以嚴格來說“把128條曲線逐點平均得到一條曲線”得到的是 m(t) 的估計而不是一個常數(shù)。這個細節(jié)在非平穩(wěn)場景比如瞬態(tài)響應、調制信號里非常關鍵。1.3 為什么工程上繞不開這個量均值本身信息量有限但它是幾乎所有二階統(tǒng)計量的地基。協(xié)方差函數(shù) C(t1, t2) E[(X(t1) - m(t1))(X(t2) - m(t2))]功率譜密度、相關矩陣、信噪比、最小均方誤差估計器全部要先把均值減干凈。均值估計不準后面全部帶偏。更本質的原因是真實系統(tǒng)的輸出幾乎總帶隨機性。器件的熱噪聲、信道的多徑散射、材料參數(shù)的批次差異、金融資產的波動、分子的熱運動這些都不是可以被單次觀測精確描述的。要給出“典型值”“期望性能”“置信區(qū)間”只能用統(tǒng)計語言。系綜平均就是這套語言里最基本的一個詞。我在做一個微弱信號檢測項目時的體會特別深。單次采集的信噪比低到 -20 dB肉眼完全看不出信號但做2000次同步平均之后周期性成分以大約 √N 的速率浮出噪聲底。那次我真正意識到平均不是“平滑一下”而是用樣本數(shù)的平方根去換取信噪比的提升。前提是信號在每次實驗中嚴格對齊且噪聲在各次實現(xiàn)之間不相關——這兩條又回到了系綜的假設上。2. 系綜平均與時間平均遍歷性這根救命稻草2.1 時間平均為什么在實踐中更常用時間平均的定義是_T (1/T) ∫_0^T X(t) dt連續(xù)或者N (1/N) Σ{n1}^{N} X[n]離散它是工程數(shù)據(jù)的天然形態(tài)。示波器抓一段波形傳感器記錄一天的溫度麥克風錄一段語音得到的就是一條時間序列?，F(xiàn)實里誰也沒法真的去遍歷平行世界所以時間平均才是唯一可動手實現(xiàn)的路徑。問題的關鍵在于時間平均是隨機變量不同實驗會得到不同的值而系綜平均在定義上是確定性的期望是一個固定的數(shù)字或函數(shù)。要把這兩個東西劃等號必須請出遍歷性定理。這也是初學者最容易忽略的一步很多人直接假設自己手上那條曲線算出來的均值就等于理論均值卻從沒問過“這個假設成立嗎”。2.2 均方遍歷、均值遍歷和相關遍歷的區(qū)別遍歷性不是一個非此即彼的開關而是分層次的工程上有幾個層次最常用遍歷類型含義常見應用均值遍歷時間均值依概率收斂到系綜均值直流分量估計、偏置校正均方遍歷二階時間自相關收斂到系綜自相關功率譜估計、自適應濾波分布遍歷時間直方圖收斂到邊緣分布直方圖統(tǒng)計、概率密度建模均值遍歷是最弱的要求相關遍歷則強得多。一個過程可能均值遍歷但自相關并不遍歷。比如某些長記憶過程均值看著收斂了但二階統(tǒng)計量一直在飄。如果拿它去做譜估計或者協(xié)方差矩陣估計結果會非常不穩(wěn)。提示判斷一個過程是否能做遍歷假設先查它是不是平穩(wěn)。非平穩(wěn)過程幾乎談不上遍歷因為系綜均值本身隨時間變化時間平均只有一個數(shù)根本無法對應一個隨時間變化的函數(shù)。2.3 平穩(wěn)性與遍歷性的關系與判據(jù)嚴格平穩(wěn)要求任意階聯(lián)合分布不隨時間平移變化這在工程里幾乎無法驗證。所以實踐中基本都用寬平穩(wěn)均值恒定、自相關只依賴時間差 τ。寬平穩(wěn)是遍歷性的必要條件但不是充分條件。一個反例是 X(t) AA 是一個固定的隨機變量每次實驗抽一次 A 之后就不再變。這個過程均值恒定E[A] 是常數(shù)自相關只依賴 τ恒等于 Var(A)但它完全不遍歷單條曲線的時間平均恒等于 A而系綜平均是 E[A]兩者一般不等。這個反例在工程里對應一種非常真實的情形批次差異。假設你測試100個芯片每個芯片的失調電壓是固定值芯片內部還疊加了隨機噪聲。如果你只測一個芯片一整天你測到的均值是“這個芯片的失調 零”而不是“整批芯片的失調期望”。這時候必須跨芯片做系綜平均時間平均救不了你。我判斷遍歷性時通常問三個問題第一均值有沒有隨時間的系統(tǒng)性漂移畫個滑動平均看看第二不同時間段的直方圖是否明顯不同疊加對比第三把長序列切成若干段段間均值是否落在合理的統(tǒng)計漲落內段均值序列做方差檢驗。三個問題都過關才有可能安全地用時間平均替代。2.4 常見誤區(qū)把單次長觀測當成系綜這個坑我自己踩過。做某類器件穩(wěn)定性測試我采集了連續(xù)8小時的數(shù)據(jù)算了一個均值報告里寫著“平均響應”。審稿人問了一句你這8小時里的溫度漂移怎么處理的我才發(fā)現(xiàn)那段時間環(huán)境溫度上升了3度器件響應有單調漂移整個過程的均值根本不是任何一個時刻的期望它是個四不像。解決辦法有兩類。一是把漂移建模進去做趨勢項分離對去趨勢后的殘差做時間平均二是按環(huán)境條件分層在每個溫度點上分別做時間平均得到條件均值再按環(huán)境分布做加權這個加權其實就是系綜平均的離散近似。還有一種是“用不同初始條件跑同一條軌跡”的偽系綜。分子動力學里很常見有人跑100次不同初速度的模擬然后說這是系綜平均。嚴格講如果初速度從麥克斯韋分布采樣、積分時間足夠長、體系達到了平衡這個做法是成立的這其實就是多副本采樣。但如果初條件全部從一個極端區(qū)域出發(fā)那這100條軌跡都在同一個非平衡態(tài)里平均出來的不是平衡系綜平均。3. 樣本量、方差與收斂速度怎么算3.1 估計量的無偏性與方差衰減規(guī)律用 N 個獨立樣本估計系綜均值估計量 m? (1/N) Σ X_i。它的期望等于真值是無偏的。它的方差是 Var(m?) σ2 / N標準差是 σ/√N。這兩條式子直接決定了工程上的預算。想讓誤差條減半樣本數(shù)要翻4倍。這是最反直覺也最常被低估的一點精度提升是平方根關系不是線性關系。我做粒子濾波的蒙特卡洛實驗時從1000個粒子加到4000個粒子均值曲線才明顯變光滑而計算時間漲了4倍。對應地誤差條標準誤寫作 SE σ? / √N置信區(qū)間在正態(tài)近似下大約是 m? ± 1.96 · SE。注意這里的 σ? 是從同一批樣本里估出來的樣本標準差如果 N 很小比如小于30要用 t 分布而不是正態(tài)分布否則置信區(qū)間會偏窄給人一種虛假的精確感。3.2 有效樣本數(shù)與自相關時間上面的公式前提是樣本獨立。仿真里如果每次重跑都重新播種獨立性一般沒問題。但時間平均場景下相鄰采樣點高度相關直接套 σ/√N 會嚴重高估精度。工程上的做法是定義積分自相關時間τ_int 1 2 · Σ_{k1}^{K} ρ(k)其中 ρ(k) 是歸一化自相關函數(shù)求和到 ρ 基本衰減到零為止一般截到 1/e 或者 0.05。然后定義有效樣本數(shù)N_eff N / (2 · τ_int)舉個例子一條長10000點的時間序列算出來 τ_int 25那 N_eff 只有200左右。你以為自己有10000個自由度實際只有200個。這時候的誤差條要按 SE σ / √200 來算而不是 σ / √10000兩者差了7倍。這個錯誤在論文里出現(xiàn)的頻率高得離譜。注意自相關時間估計本身也帶誤差而且對 K 的選取敏感。穩(wěn)妥做法是畫幾條不同截斷下的 τ_int 曲線看它是否穩(wěn)定或者直接用自舉法繞開顯式估計。3.3 表格不同場景下的樣本量經驗值場景獨立性來源典型樣本量備注蒙特卡洛仿真獨立重播種1e3 ~ 1e6按目標相對誤差定1% 通常需1e4以上圖像多幀集平均去噪幀間獨立噪聲20 ~ 500信噪比隨 √幀數(shù)提升受漂移限制分子動力學時間采樣需 N_eff 1e3必須扣除自相關時間通信誤碼率測試獨立碼塊至少100個錯誤事件錯誤數(shù)比總比特數(shù)更能決定精度金融歷史回測時間序列取決于自相關非平穩(wěn)性通常比樣本量更致命第三列只是量級參考真正的判斷標準永遠是目標精度和數(shù)據(jù)的自相關結構。3.4 方差縮減在有限算力下把誤差壓下去算力永遠是有限的所以方差縮減技術值得花時間。幾個實用的對偶變量法如果被估計量關于某個輸入是單調的用 X 和它的鏡像 1-X 成對采樣兩者的偏差負相關平均后方差下降?？刂谱兞糠ㄕ乙粋€已知均值的相關量 Y用 m? - β(Y - E[Y]) 作為估計選好 β 能把方差砍掉一大截。分層抽樣把輸入空間劃成若干層層內采樣層間按比例加權能消除層間差異帶來的方差。公共隨機數(shù)比較兩個方案時用同一批隨機數(shù)把差分量的方差降下來。做A/B方案對比時特別有效我做過一組實驗用了公共隨機數(shù)后相同樣本數(shù)下方案差異的置信區(qū)間縮短了約60%。這些方法有個共同前提你必須對問題的結構有理解。盲目套用不會有效果甚至可能引入偏差。用之前先畫一下被估計量對輸入的響應曲線判斷單調性和相關性方向。4. 從零實現(xiàn)一個系綜平均估計器4.1 數(shù)據(jù)布局為什么要把系綜放在第一維做批量計算時數(shù)據(jù)布局直接決定性能。我的習慣是讓第一個維度是系綜樣本序號第二個維度是時間或空間坐標。這樣 numpy 的 axis0 平均就是系綜平均內存訪問也是連續(xù)的。import numpy as np rng np.random.default_rng(20240517) N_ENS 4000 # 系綜樣本數(shù) N_T 512 # 每條的采樣長度 # 構造一個寬平穩(wěn)過程均值恒定 相關噪聲 # 用 AR(1) 生成有色噪聲rho 控制相關強度 rho 0.85 sigma 1.0 noise np.zeros((N_ENS, N_T)) noise[:, 0] rng.normal(0.0, sigma, sizeN_ENS) for k in range(1, N_T): noise[:, k] rho * noise[:, k - 1] np.sqrt(1 - rho**2) * \ rng.normal(0.0, sigma, sizeN_ENS) signal 2.0 0.0 * noise # 恒定均值 2.0 data signal noise # 每行是一個實現(xiàn) # 系綜平均固定 t對所有實現(xiàn)求期望 m_hat data.mean(axis0) se data.std(axis0, ddof1) / np.sqrt(N_ENS) print(m_hat[:5]) print(se[:5])這段代碼里 data.mean(axis0) 就是系綜平均的離散形式。為什么用 ddof1因為樣本標準差用 N-1 歸一化才是總體方差的無偏估計N 小的時候差別明顯N 大以后無所謂但養(yǎng)成習慣沒有壞處。4.2 在線算法Welford 增量更新系綜樣本數(shù)很大的時候把所有數(shù)據(jù)堆在內存里不現(xiàn)實。Welford 算法可以邊讀邊算數(shù)值穩(wěn)定性也遠好于樸素的兩遍法或 Σx2 公式。import math class RunningStats: 在線計算均值與無偏方差單遍掃描數(shù)值穩(wěn)定 __slots__ (n, mean, M2) def __init__(self): self.n 0 self.mean 0.0 self.M2 0.0 def update(self, x: float) - None: self.n 1 delta x - self.mean self.mean delta / self.n self.M2 delta * (x - self.mean) property def var(self) - float: return self.M2 / (self.n - 1) if self.n 1 else 0.0 property def sem(self) - float: 均值的標準誤 return math.sqrt(self.var / self.n) if self.n 1 else float(nan) rs RunningStats() for v in rng.normal(3.0, 2.0, size100000): rs.update(v) print(rs.mean, rs.var, rs.sem)為什么不用 Σx 和 Σx2 的公式當數(shù)據(jù)量很大且數(shù)值尺度差異明顯時Σx2 和 (Σx)2/N 兩個大數(shù)相減會造成災難性抵消方差可能算出負數(shù)。Welford 每次只用增量和均值更新規(guī)避了這個問題。做長時間漂移實驗或者流式傳感器數(shù)據(jù)時這個差別非常真實。4.3 收斂診斷誤差條、塊平均和自舉法只看一條平均值曲線不夠必須給出不確定度。三個我常用的手段第一是誤差條曲線把 m?(t) ± 1.96·SE(t) 畫出來觀察區(qū)間寬度是否隨 N 合理收縮。如果 N 從1000加到4000區(qū)間寬度應該縮小到一半左右偏差太大說明有相關性或非平穩(wěn)。第二是塊平均block averaging。把 N 個樣本切成 B 個塊每塊算一個均值看塊均值的方差隨塊長度的變化。當塊長超過自相關時間后塊均值方差應該趨于平坦這個平臺值就是真實方差。這招在做分子動力學和長時仿真時是標配代碼不超過20行但能救命。第三是自舉法bootstrap。對系綜樣本做有放回重采樣重復 R 次一般1000到10000每次算一個均值得到經驗分布直接讀分位數(shù)作為置信區(qū)間。它不依賴正態(tài)假設對偏態(tài)分布特別友好。def bootstrap_ci(samples, stat_fnnp.mean, R5000, alpha0.05, seed0): rng np.random.default_rng(seed) n samples.shape[0] idx rng.integers(0, n, size(R, n)) stats stat_fn(samples[idx], axis1) lo np.quantile(stats, alpha / 2) hi np.quantile(stats, 1 - alpha / 2) return stats.mean(), lo, hi提示塊長和自舉重采樣次數(shù)都要做敏感性測試。塊長選太短會低估方差選太長則塊數(shù)不足方差估計本身不穩(wěn)。我的經驗是保證至少30個塊同時塊長大于3倍自相關時間。4.4 與 BatchNorm 的對照一個被工程化的系綜平均深度網絡里的 BatchNorm 值得單獨說一句。訓練時它對一個 mini-batch 內的樣本計算均值和方差做歸一化同時用滑動平均維護一組全局統(tǒng)計量推理時用這組統(tǒng)計量。這里的 mini-batch 就是一個小系綜每一步的批量統(tǒng)計是系綜平均的有噪估計而滑動平均維護的是對整體分布的逼近。這也解釋了一個常見故障如果訓練時的批量分布和推理時的真實分布不一致batch size 太小、數(shù)據(jù)有強序列相關、任務域偏移滑動平均給出的統(tǒng)計量就不代表推理樣本的分布性能會掉。調大 batch size 或者改用 GroupNorm、LayerNorm本質都是在調整“系綜”的構造方式讓它更匹配真實數(shù)據(jù)分布。5. 典型場景下的落地方式5.1 蒙特卡洛與不確定性量化蒙特卡洛的本質就是用大數(shù)定律把積分變成系綜平均。要估計 E[f(X)]就從 p(x) 里采樣 N 次算 (1/N) Σ f(x_i)。誤差以 1/√N 收斂和維度無關這是它相對確定性數(shù)值積分的最大優(yōu)勢。但要注意兩個陷阱。一是偽隨機數(shù)的質量低質量的線性同余發(fā)生器在高維下會產生格點結構導致估計有偏。現(xiàn)在優(yōu)先用 PCG64 或者 Philox 這類現(xiàn)代生成器。二是重要抽樣當目標事件概率極低時樸素平均幾乎采不到有效樣本必須換分布采樣再乘似然比權重。金融里給深度虛值期權定價靠的就是這套。5.2 圖像多幀集平均去噪這個場景把系綜平均的物理意義體現(xiàn)得很直觀。同一場景連續(xù)拍攝多幀靜態(tài)內容在每幀里位置不變隨機噪聲在幀間獨立。把 N 幀對齊、逐像素平均噪聲標準差下降 √N 倍。我做過一組天文暗弱目標的處理。單幀信噪比只有1.5左右目標完全淹沒在噪聲里。對齊疊加200幀后信噪比到了20以上結構清晰可見。幾個關鍵約束幀間要做亞像素配準否則對齊誤差會把細節(jié)糊掉傳感器暗電流和熱噪聲是慢變偏置不能靠平均消除得單獨標定圖像本身有亮度漂移時要么先做歸一化要么用加權平均權重取各幀的曝光時間或信噪比。順帶說一句這里的“平均”如果換成“中位數(shù)”抗離群點的能力更強代價是收斂速度稍慢、計算量大。宇宙射線擊中這類稀疏強干擾用中位數(shù)組合效果明顯更好。5.3 陣列信號處理與自適應波束形成天線陣列天然構成本身的系綜M 個陣元就是 M 個空間采樣。樣本協(xié)方差矩陣 R? (1/K) Σ x_k x_k^H 就是對系綜協(xié)方差矩陣的估計其中 K 是快拍數(shù)。這里有一個經典的工程權衡。K 太少R? 是病態(tài)的奇異求逆會爆炸K 太多如果信號源在移動快拍之間就不再同分布估計有偏。經驗規(guī)則是 K ≥ 2M 起步通常取 3M 到 5M。如果信源數(shù)接近或超過陣元數(shù)還要上對角加載或者收縮估計把 R? 往單位陣方向拉一點犧牲一點分辨率換取數(shù)值穩(wěn)定。我做過的實測里K/M 從 2 提到 5波束形成的零陷深度改善了大約8 dB但到了8以后收益就很小了反而因為非平穩(wěn)性開始變差。所以不是越多越好得結合場景找拐點。5.4 統(tǒng)計物理與分子動力學統(tǒng)計力學是系綜概念的故鄉(xiāng)。微正則系綜NVE、正則系綜NVT、等溫等壓系綜NPT、巨正則系綜本質上是不同的約束條件下對應的不同概率分布。系綜平均就是在這個分布下求物理量的期望。實踐中最麻煩的是各態(tài)歷經問題。如果體系的能量面上有高勢壘模擬時間不夠長軌跡被困在一個局部區(qū)域時間平均就代表不了系綜平均。蛋白質折疊、玻璃態(tài)轉變這類問題特別容易出問題。常見對策有副本交換replica exchange、傘形采樣、元動力學本質都是人為加速遍歷過程。判斷是否收斂我最?？吹牧渴莿菽芎突匦霃降臅r間序列畫出它們隨時間塊平均的變化看是否穩(wěn)定。另外用不同初始條件跑多組獨立軌跡看結果是否一致這是最直接的交叉驗證。5.5 量子力學里的密度矩陣量子力學的混合態(tài)也是系綜平均的直接體現(xiàn)。純態(tài)是單個實現(xiàn)混合態(tài)是純態(tài)的統(tǒng)計系綜密度矩陣 ρ Σ p_i |ψ_iψ_i| 就帶著系綜平均的味道。任意可觀測量的期望是 tr(ρA)。相干與退相干的區(qū)別很有意思純態(tài)疊加里不同分支之間還存在相位關系測量時會發(fā)生干涉而系綜平均把相位信息抹掉了只剩強度求和。很多新手會把“經典系綜平均”和“量子疊加”混為一談結果在解釋干涉實驗時講不清楚。區(qū)別的關鍵在于是否有相位信息保留這一點在密度矩陣的非對角元上體現(xiàn)得很清楚。6. 常見問題與排查技巧實錄6.1 平均值不收斂或緩慢漂移現(xiàn)象隨著樣本數(shù)增加均值曲線一直在緩慢爬升或下降誤差條不收縮。排查順序我一般這樣走。先畫滑動平均和原始數(shù)據(jù)看有沒有明顯趨勢項。有趨勢項意味著過程非平穩(wěn)繼續(xù)加樣本只會讓估計收斂到一個沒有物理意義的“歷史平均”。其次是看數(shù)據(jù)生成過程是不是有參數(shù)在慢變比如溫度、供電電壓、負載狀態(tài)。最后檢查采樣機制本身比如采樣的觸發(fā)條件是不是跟信號相關這種選擇偏差會引入系統(tǒng)性的偏移。解決辦法分兩層。一是分離趨勢做去趨勢或者差分然后對殘差做統(tǒng)計。二是分層把非平穩(wěn)維度當作條件變量在每個條件下做時間平均最后按條件分布加權。6.2 方差估計偏小置信區(qū)間過窄這是最隱蔽也最危險的問題因為它不報錯只是讓你過度自信。典型原因有三個樣本間存在正相關但沒有扣除、樣本數(shù)少于30還用了正態(tài)分位數(shù)、方差估計用了有偏公式。最快的診斷方法是塊平均。把序列切成 B 個塊算塊均值看塊均值的方差乘上塊數(shù)是否和逐點方差一致。如果塊方差的估計顯著大于逐點方差除以N恭喜你你的真實不確定度被低估了。論文審稿里被點名最多的統(tǒng)計問題就是這個。我的習慣是只要檢驗的是時間序列一律先用塊平均或者自舉法算誤差然后再畫誤差條寧可保守也不要虛假精確。6.3 遍歷性假設被悄悄打破的信號有些信號比均值漂移更隱蔽段均值序列存在明顯的長程相關段與段之間不是獨立的直方圖隨窗口位置緩慢變化尤其是尾部二階統(tǒng)計量自相關、譜密度的形狀在不同時間段不一致?lián)Q一組初始條件重跑結果落在置信區(qū)間之外出現(xiàn)這些現(xiàn)象說明你的單條軌跡不能代表整個系綜。要么加長模擬時間直到跨越所有相關的慢尺度要么做多副本采樣要么改用更合適的系綜比如換控溫方法、換采樣算法。6.4 常見問題速查表現(xiàn)象可能原因快速驗證方法處理方式均值不收斂非平穩(wěn)、趨勢項畫滑動平均去趨勢或分層處理誤差條太窄自相關未扣除塊平均對照用 N_eff 或自舉法換種子結果差別大樣本量不足跑5組不同種子增加樣本量平均后信號被抹平各實現(xiàn)間相位/時延未對齊檢查互相關峰值位置先對齊再平均方差出現(xiàn)負值公式數(shù)值不穩(wěn)定檢查量級差改用 Welford批量統(tǒng)計與全局不符系綜構成不一致對比批內和全局直方圖換歸一化方式6.5 幾條我踩過之后才明白的經驗第一條平均之前先對齊。這句話我說給過好幾個人但真正吃虧才會記住。做超聲檢測時我直接對100次采集做平均結果信號反而比單次更模糊。原因是各次的回波到達時刻有微小抖動直接平均相當于做了低通濾波把高頻成分抹掉了。后來做了亞采樣級的時延校正再平均效果立刻出來。移動的、有時延的、有相位變化的東西平均前必須配準。第二條別用“樣本數(shù)”欺騙自己要用“有效樣本數(shù)”。我見過有人拿100萬點的仿真數(shù)據(jù)算誤差條用了 √1000000 這個因子最后置信區(qū)間小到萬分之一結論是“精度極高”。實際上數(shù)據(jù)是AR(1)過程自相關時間25有效樣本才兩萬真實誤差是報告值的7倍。報告看起來漂亮但經不起任何復現(xiàn)。第三條獨立性和平穩(wěn)性要用數(shù)據(jù)說話。不要因為你“覺得”噪聲是獨立的就默認它可以平均掉。做一個自相關圖做一個游程檢驗花不了十分鐘但能省掉幾天返工。第四條平均會掩蓋問題不總是好事。有些異?，F(xiàn)象只在單次記錄里出現(xiàn)一旦做系綜平均就消失了。如果你做的是故障診斷、異常檢測這類任務系綜平均可能會把你要找的東西一起平均掉。這時候應該反過來看樣本間的離散度把方差當信號而不是當噪聲。7. 一點后續(xù)可以延展的方向這套東西往下走可以接到幾個挺有意思的方向。一是貝葉斯推斷里的后驗期望那就是對參數(shù)分布做系綜平均MCMC 采樣出來的鏈就是近似的系綜樣本收斂診斷和系綜平均的收斂判斷是同一套邏輯。二是隨機微分方程的數(shù)值解伊藤積分和斯特拉托諾維奇積分給出不同結果根源就在于對積分和的取法不同本質是系綜平均里極限過程的定義差異。三是機器學習里的集成學習多個模型預測的平均可以看作對假設空間的系綜平均偏差方差分解那套分析講的就是這個。我自己最近在折騰的是把系綜平均的思想用到設備老化建模上。同一型號的一批設備各自的老化軌跡不同用多設備數(shù)據(jù)構建設計矩陣做統(tǒng)計推斷本質上就是在做系綜意義上的一致性估計。后面如果把這個流程整理清楚了再來寫一篇更細的。