前段時間接了一個某設(shè)備過程參數(shù)的數(shù)據(jù)回歸預(yù)測任務(wù)輸入是幾個與工況相關(guān)的特征輸出是一個連續(xù)溫度指標。一開始我圖省事直接調(diào)了現(xiàn)成高斯過程回歸的默認超參數(shù)跑了一版驗證集偏差大得離譜手動試了幾個參數(shù)組合也不理想。后來我把粒子群優(yōu)化算法PSO和高斯過程回歸GPR組合成PSO-GPR讓粒子自己去搜超參數(shù)才真正把數(shù)據(jù)回歸預(yù)測的精度和穩(wěn)定性拉到了可用的水平。這篇文章把整個思路、關(guān)鍵公式、代碼實現(xiàn)和踩過的坑完整寫出來適合手里有回歸任務(wù)又不想在GPR調(diào)參上浪費時間的朋友。1. 為什么真實項目中GPR的超參數(shù)成了老大難1.1 GPR不是填好數(shù)據(jù)就能跑的現(xiàn)成算法很多人一開始接觸高斯過程回歸都以為它和普通回歸一樣把數(shù)據(jù)喂進去就能得到預(yù)測結(jié)果。確實在Python生態(tài)里調(diào)用一下GaussianProcessRegressor不需要任何參數(shù)也能跑通。但跑通和跑好是兩回事。GPR是一個強先驗?zāi)Ｐ退念A(yù)測結(jié)果嚴重依賴核函數(shù)的形態(tài)和超參數(shù)選擇。先打一個比方高斯過程回歸很像一個會插值的光滑曲線擬合工具。你告訴它“數(shù)據(jù)點在局部應(yīng)該平滑到什么程度”它才能給出合理的外推。這個“平滑程度”不是自動從數(shù)據(jù)里憑空學(xué)出來的而是由核函數(shù)里的長度尺度參數(shù)決定的。如果長度尺度設(shè)得太大模型會覺得所有點都彼此靠近預(yù)測曲線過于平滑連局部變化都抓不住設(shè)得太小模型又會覺得每個點都孤立的預(yù)測結(jié)果劇烈震蕩幾乎退化成查表。更麻煩的是除了長度尺度還有信號方差、觀測噪聲方差以及均值函數(shù)等。它們之間相互耦合牽一發(fā)而動全身。尤其是觀測噪聲這一項設(shè)小了模型會努力穿過每一個訓(xùn)練點設(shè)大了預(yù)測結(jié)果又會被拉成一條平淡的線。在實際數(shù)據(jù)集上我見過不少人直接用了默認參數(shù)R2只有0.6左右然后得出“GPR不好用”的結(jié)論。其實不是GPR不好用是超參數(shù)壓根沒有進入合理區(qū)間。1.2 手動調(diào)參和網(wǎng)格搜索的局限在哪里既然超參數(shù)重要手動調(diào)參行不行行但只在小規(guī)模、低維、大家一眼能看清數(shù)據(jù)關(guān)系的場景下有效。稍微復(fù)雜一點的數(shù)據(jù)集超參數(shù)空間就不是“肉眼可見”的了。舉例來說特征維度是6、核函數(shù)是RBF時可能有6個獨立的長度尺度參數(shù)再加上信號方差和噪聲方差總共8個連續(xù)變量。即使我們只用網(wǎng)格搜索每個變量分成10檔組合數(shù)量就是10的8次方這個規(guī)模根本算不完。更要命的是GPR的訓(xùn)練復(fù)雜度是樣本量的三次方級別每次評估一組超參數(shù)都需要重新訓(xùn)練模型。在幾百個樣本上做一次訓(xùn)練可能要幾百毫秒網(wǎng)格搜索跑上幾千組就是幾個小時起步。隨機搜索比網(wǎng)格搜索聰明一些但它本質(zhì)上還是盲搜。它沒有利用“已經(jīng)評估過的參數(shù)點”的教訓(xùn)哪些區(qū)域效果比較好哪些區(qū)域效果差。下一組參數(shù)完全不受上一組的影響。對于GPR這種每次評估都很昂貴的模型這種浪費很可惜。我們需要一個能在參數(shù)空間里“有方向地試探”的算法粒子群優(yōu)化就是其中一個實現(xiàn)簡單、適用性廣的選擇。1.3 一個值得嘗試的思路用PSO替你搜超參數(shù)粒子群優(yōu)化算法PSO最初是模擬鳥群覓食行為提出的。鳥在飛的時候每只鳥有自己的位置判斷也會參考整個鳥群目前發(fā)現(xiàn)的最好位置。通過這種個體經(jīng)驗和群體經(jīng)驗的結(jié)合整個種群會逐漸向食物源靠攏。放到超參數(shù)搜索里“食物源”就是誤差最小的參數(shù)組合。我看中PSO的原因有三個。第一它不需要目標函數(shù)的梯度。GPR的超參數(shù)優(yōu)化目標往往是非凸的存在很多局部極值梯度過大或者震蕩都很常見。PSO只需要能計算每組參數(shù)的誤差或似然值不需要任何導(dǎo)數(shù)信息。第二它對連續(xù)參數(shù)空間的表現(xiàn)很穩(wěn)定。GPR的超參數(shù)幾乎都是連續(xù)量PSO正好擅長這一類。第三它代碼量非常小很容易在已有GPR代碼外面包一層。相比貝葉斯優(yōu)化需要維護代理模型、采集函數(shù)和復(fù)雜的代碼框架PSO的核心更新公式幾十行就能寫完。對于不是天天搞調(diào)參算法的工程師PSO是一個“性價比”極高的選擇。當(dāng)然PSO也不是銀彈。它照樣會因為粒子數(shù)太少、迭代次數(shù)不夠而卡在局部最優(yōu)。但作為替代手動調(diào)參和網(wǎng)格搜索的第一版方案它已經(jīng)足夠好用。后面我會把整套實現(xiàn)和參數(shù)設(shè)置完整寫出來。2. 先把GPR回歸的底賬盤清楚2.1 高斯過程回歸到底在擬合什么在動手用PSO之前建議先把GPR的“底賬”盤清楚否則后面適應(yīng)度函數(shù)設(shè)計會跑偏。高斯過程可以理解成“函數(shù)的分布”每一個可能的函數(shù)都被賦予一個概率。我們觀察到一組訓(xùn)練數(shù)據(jù)后通過貝葉斯規(guī)則得到函數(shù)的后驗分布然后在新輸入點上求后驗均值作為預(yù)測值求后驗方差作為不確定性。假設(shè)訓(xùn)練輸入是矩陣X觀測值是向量y核函數(shù)是k(·,·)觀測噪聲方差是σ2。測試點x*處的預(yù)測均值可以寫成μ* K(x*, X) [K(X, X) σ2I]?1 y預(yù)測方差是σ2 K(x, x*) - K(x*, X) [K(X, X) σ2I]?1 K(X, x*)這里的K(X, X)是訓(xùn)練點之間兩兩計算的核矩陣。預(yù)測均值本質(zhì)上是用核函數(shù)衡量測試點與每個訓(xùn)練點的相似度然后對訓(xùn)練標簽做加權(quán)平均。這段公式寫出來就能解釋兩個常見現(xiàn)象。第一GPR的預(yù)測不是單純從決策邊界里推導(dǎo)出來的而是基于所有訓(xùn)練點的加權(quán)組合所以當(dāng)核函數(shù)選擇不當(dāng)時預(yù)測結(jié)果會非常奇怪。第二它的預(yù)測自帶方差這點是線性回歸和普通神經(jīng)網(wǎng)絡(luò)沒法直接給的。在某些需要判斷“模型對哪個區(qū)域沒把握”的場景里這個方差非常寶貴。2.2 核函數(shù)的選擇RBF核與長度尺度GPR核函數(shù)有很多種但實際回歸任務(wù)里用的最多的還是徑向基核也就是RBF核。兩個樣本點xi和xj的RBF核計算方式是k(xi, xj) σ_f2 · exp(-||xi - xj||2 / (2l2))其中σ_f2是信號方差控制函數(shù)值的整體幅度l是長度尺度控制函數(shù)隨輸入變化的平緩程度。l越大遠處兩個點之間的相關(guān)性越高擬合出的函數(shù)越光滑l越小只有當(dāng)輸入點非常接近時輸出才互相影響函數(shù)波動就會更劇烈。在scikit-learn的GaussianProcessRegressor里RBF核可以寫成RBF(length_scalel)。如果傳入一個標量表示所有特征共用同一個長度尺度如果傳入一個數(shù)組每個特征可以有自己的長度尺度這其實就是自動相關(guān)性確定ARD的思想。在特征量綱不統(tǒng)一時ARD能自動學(xué)習(xí)哪些特征更重要但這會讓超參數(shù)維度變多PSO搜索空間也會變大。我的建議是第一個版本先用單長度尺度的RBF核把PSO跑通。如果效果不理想再升級成各維度獨立長度尺度。不要一上來就鋪一個大參數(shù)空間否則粒子群會為了同時摸索太多方向而顯得很“散”。2.3 噪聲項與先驗的影響核函數(shù)決定信號的相關(guān)結(jié)構(gòu)噪聲項決定模型對觀測誤差的容忍程度。GPR把觀測模型寫成y f(x) εε ~ N(0, σ_n2)在scikit-learn里這個噪聲方差通過alpha參數(shù)傳入。注意alpha是方差而不是標準差。如果不小心把標準差當(dāng)成方差傳入實際噪聲會被放大預(yù)測曲線會變得異常平滑。我見過不少新手一開始把alpha設(shè)成固定值比如1e-3然后好奇為什么模型在訓(xùn)練集上也會出現(xiàn)很大的預(yù)測偏差。其實1e-3作為一個方差來說已經(jīng)相當(dāng)小幾乎要求函數(shù)穿過每個訓(xùn)練點如果數(shù)據(jù)本身噪聲很大這個設(shè)定就會逼著模型去擬合噪聲導(dǎo)致測試集效果很差。所以噪聲方差不是“能設(shè)多小就設(shè)多小”它應(yīng)該是超參數(shù)的一部分。在PSO里我們把噪聲方差也放進搜索空間讓優(yōu)化算法根據(jù)驗證集誤差去決定到底該容忍多少噪聲。同樣信號方差和長度尺度也都應(yīng)該放進搜索空間。只有這三個量一起變GPR才能找到合適的擬合程度。另外GPR訓(xùn)練還有一個內(nèi)部邏輯如果不限制優(yōu)化器它會默認在擬合時自動調(diào)整核函數(shù)參數(shù)讓對數(shù)邊際似然最大。這在單獨使用GPR時是好事但在PSO里就會造成“評估每組超參數(shù)時模型內(nèi)部又自己偷偷改參數(shù)”的局面最終結(jié)果不再等價于我們指定的那組超參數(shù)。因此后面代碼里必須把optimizer設(shè)為None這樣每次評估都是實打?qū)嵉慕o定參數(shù)。3. PSO-GPR的完整求解邏輯3.1 粒子群優(yōu)化的核心思想粒子群優(yōu)化算法的核心公式不復(fù)雜。每個粒子代表一組候選參數(shù)它有一個位置向量x和一個速度向量v。每一輪迭代中粒子會記住自己歷史上最好的位置pbest整個群體也會共享全局最好的位置gbest。更新速度時粒子的方向由三部分決定保持原來的運動慣性、向自己的歷史最好位置靠近、向群體歷史最好位置靠近。標準更新公式可以寫成v_i(t1) w · v_i(t) c1 · r1 · (pbest_i - x_i(t)) c2 · r2 · (gbest - x_i(t))x_i(t1) x_i(t) v_i(t1)其中w是慣性權(quán)重c1是個體學(xué)習(xí)因子c2是群體學(xué)習(xí)因子r1和r2是0到1之間的隨機數(shù)。這個公式直觀上很容易理解。w控制粒子原來的速度能保留多少w太大粒子會橫沖直撞w太小粒子很容易被早熟收斂c1和c2分別控制個體經(jīng)驗與群體經(jīng)驗的權(quán)重。常見的經(jīng)驗配置是w從0.9線性降到0.4c1和c2都取1.5左右。當(dāng)然這只是一個起點具體還要看搜索空間的規(guī)模和迭代次數(shù)。3.2 超參數(shù)編碼與搜索空間設(shè)計對于PSO-GPR我們先要決定“粒子位置”的向量結(jié)構(gòu)和每個維度的范圍。以單長度尺度RBF核為例我建議優(yōu)化三個量長度尺度l、信號方差σ_f2、噪聲方差σ_n2。直接把這三個值作為粒子位置有個問題它們可能跨越好幾個數(shù)量級比如長度尺度可能是0.1噪聲方差可能是0.001它們之間的數(shù)值差異會導(dǎo)致粒子速度的更新偏向數(shù)值大的維度。解決辦法是把它們映射到對數(shù)域。也就是說粒子的位置其實是x [ln l, ln σ_f2, ln σ_n2]在計算GPR時再取指數(shù)還原成真實超參數(shù)。這樣做有兩點好處。第一搜索空間變成對數(shù)空間的連續(xù)范圍粒子在不同尺度上的步長相對均勻第二取指數(shù)后所有超參數(shù)能保持正數(shù)天然符合核參數(shù)的定義。搜索邊界怎么定我一般根據(jù)數(shù)據(jù)特征粗略估計。長度尺度可以在0.001到100之間取對數(shù)范圍信號方差可以在0.01到10之間噪聲方差可以在1e-5到1之間。范圍過小容易丟失最優(yōu)解范圍過大又會讓粒子花很多時間在無用區(qū)域游蕩。如果數(shù)據(jù)做了標準化這些邊界基本能覆蓋絕大多數(shù)情況。3.3 適應(yīng)度函數(shù)的選擇交叉驗證還是邊際似然有了粒子的位置下一步就是算這個位置對應(yīng)的“好還是壞”。這個打分函數(shù)叫適應(yīng)度函數(shù)。在PSO里適應(yīng)度值越小越好。有兩種主流選法。第一種是計算GPR的負對數(shù)邊際似然NLL。GPR自身在訓(xùn)練時就是靠最大化對數(shù)邊際似然來選超參數(shù)的。對數(shù)邊際似然的公式是ln p(y|X,θ) -0.5 · y?(K σ_n2I)?1y - 0.5 · ln|K σ_n2I| - (n/2)·ln(2π)其中第一項衡量擬合誤差第二項懲罰模型復(fù)雜度。把負對數(shù)邊際似然當(dāng)作適應(yīng)度好處是只需要訓(xùn)練一次模型就能打分計算量小缺點是邊際似然對超參數(shù)的響應(yīng)比較平滑容易讓PSO在初期找不到明顯的改進方向。第二種是使用K折交叉驗證的均方誤差。具體做法是把訓(xùn)練集分成K份每次取其中K-1份訓(xùn)練GPR剩下1份驗證計算預(yù)測均方誤差然后K次取平均。這種適應(yīng)度函數(shù)直接反映模型在“沒見過的數(shù)據(jù)”上的表現(xiàn)和我們的最終目標更一致也更穩(wěn)健。缺點是要訓(xùn)練K次計算成本高。我的實際建議是在樣本量不大、且PSO迭代次數(shù)不夸張時優(yōu)先用3折或5折交叉驗證的均方誤差。因為GPR對超參數(shù)很敏感邊際似然的置信區(qū)間未必能完全代表預(yù)測誤差。用交叉驗證雖然慢一點但不容易出現(xiàn)“邊際似然很高、實際預(yù)測很差”的割裂感。3.4 迭代流程與停止條件整個PSO-GPR的迭代流程可以用文字描述不需要畫流程圖也能說清楚。第一步在參數(shù)空間里隨機初始化N個粒子通常是20到30個每個粒子對應(yīng)一組GPR超參數(shù)。第二步對每個粒子使用它的超參數(shù)組合來訓(xùn)練GPR并計算適應(yīng)度。第三步根據(jù)每個粒子的歷史最優(yōu)值和全局最優(yōu)值更新速度和位置。第四步用更新后的新位置重新計算適應(yīng)度并更新歷史最優(yōu)值和全局最優(yōu)值。第五步檢查是否達到最大迭代次數(shù)或者全局最優(yōu)值連續(xù)多次沒有提升。如果滿足條件則停止否則繼續(xù)迭代。停止條件里我最常用的是“最大迭代次數(shù) 連續(xù)多代無改進早停”。如果只依賴最大迭代次數(shù)一方面可能浪費算力另一方面可能已經(jīng)收斂還在空轉(zhuǎn)。如果只依賴無改進閾值又可能因為一時運氣好陷入局部極值就提前停止。所以兩者結(jié)合比較穩(wěn)妥。最后把gbest位置還原成超參數(shù)用這些超參數(shù)在完整訓(xùn)練集上重新訓(xùn)練一次GPR再對測試集預(yù)測。這里有個容易忽略的細節(jié)PSO在搜索過程中用的適應(yīng)度是基于交叉驗證折塊上的預(yù)測誤差搜索結(jié)束后應(yīng)該用全部訓(xùn)練集數(shù)據(jù)做最終模型訓(xùn)練而不是拿交叉驗證里某個折的模型去預(yù)測測試集。理順這個流程后面代碼就水到渠成了。4. 從零寫一套可跑的PSO-GPRPython實現(xiàn)4.1 數(shù)據(jù)準備與評價指標為了演示我用一個模擬數(shù)據(jù)集500個樣本6個特征目標函數(shù)是部分特征的非線性組合加上噪聲。特征之間量綱不同所以先做標準化。評價指標用RMSE根均方誤差、MAE和R2。需要注意的是標準化對GPR的核函數(shù)影響很大。如果不標準化長度尺度參數(shù)的合理范圍會被不同特征量綱拉散PSO搜索難度會明顯增加。標準化的另一個好處是我們可以放心地把長度尺度搜索范圍設(shè)成0.01到10這種通用區(qū)間省去很多腦力。4.2 基礎(chǔ)版PSO優(yōu)化GPR的完整代碼我直接貼一份能跑通的核心代碼。為了保持代碼清晰我把適應(yīng)度函數(shù)和PSO迭代邏輯分開寫。import numpy as np from sklearn.gaussian_process import GaussianProcessRegressor from sklearn.gaussian_process.kernels import ConstantKernel, RBF from sklearn.model_selection import KFold from sklearn.metrics import mean_squared_error # 假設(shè)X_train, y_train已經(jīng)是標準化后的訓(xùn)練數(shù)據(jù) def gpr_fitness(params, X, y, n_splits3): # params [ln_l, ln_sigma_f2, ln_noise] length_scale np.exp(params[0]) sigma_f2 np.exp(params[1]) noise np.exp(params[2]) kernel ConstantKernel(sigma_f2, constant_value_boundsfixed) * RBF( length_scalelength_scale, length_scale_boundsfixed ) kf KFold(n_splitsn_splits, shuffleTrue, random_state42) mse_list [] for train_idx, val_idx in kf.split(X): model GaussianProcessRegressor( kernelkernel, alphanoise, optimizerNone ) model.fit(X[train_idx], y[train_idx]) pred model.predict(X[val_idx]) mse_list.append(mean_squared_error(y[val_idx], pred)) return float(np.mean(mse_list))這里有個非常關(guān)鍵的細節(jié)optimizerNone必須設(shè)置。如果不設(shè)置GPR在fit過程中會自行調(diào)整核參數(shù)相當(dāng)于PSO辛辛苦苦給定的參數(shù)會被模型內(nèi)部覆蓋。設(shè)置成None之后模型嚴格按照我們傳入的length_scale、sigma_f2和noise進行訓(xùn)練和預(yù)測。接下來是PSO主體。這個版本用了一個簡單的早停機制方便觀察收斂情況。def pso_optimize(fitness_func, dim, bounds, n_particles25, max_iter50, w0.7, c11.5, c21.5, early_stop_rounds8): lb np.array([b[0] for b in bounds]) ub np.array([b[1] for b in bounds]) positions np.random.uniform(lb, ub, size(n_particles, dim)) velocities np.random.uniform(-0.05, 0.05, size(n_particles, dim)) fitness np.array([fitness_func(p) for p in positions]) pbest positions.copy() pbest_fitness fitness.copy() gbest_idx np.argmin(pbest_fitness) gbest pbest[gbest_idx].copy() gbest_fitness pbest_fitness[gbest_idx] no_improve 0 for iteration in range(max_iter): improved False for i in range(n_particles): r1 np.random.rand(dim) r2 np.random.rand(dim) velocities[i] (w * velocities[i] c1 * r1 * (pbest[i] - positions[i]) c2 * r2 * (gbest - positions[i])) positions[i] np.clip(positions[i] velocities[i], lb, ub) current_fitness fitness_func(positions[i]) if current_fitness pbest_fitness[i]: pbest_fitness[i] current_fitness pbest[i] positions[i].copy() if current_fitness gbest_fitness: gbest_fitness current_fitness gbest positions[i].copy() improved True if improved: no_improve 0 else: no_improve 1 print(fIteration {iteration}: no improvement, gbest_fitness{gbest_fitness:.6f}) if no_improve early_stop_rounds: print(fEarly stop at iteration {iteration}) break # 線性遞減慣性權(quán)重讓前期探索更充分后期收斂更穩(wěn)定 w max(0.4, w - 0.01) return gbest, gbest_fitness使用方式很簡單把前面模擬的數(shù)據(jù)傳入適應(yīng)度函數(shù)即可。粒子位置的范圍我用對數(shù)域# 三個維度分別對應(yīng) ln_l, ln_sigma_f2, ln_noise bounds [ [-4.0, 4.0], # length_scale 范圍 0.018 ~ 54.6 [-4.0, 2.0], # sigma_f2 范圍 0.018 ~ 7.39 [-10.0, -2.0], # noise 范圍 4.54e-5 ~ 0.135 ] best_params, best_fitness pso_optimize( lambda p: gpr_fitness(p, X_train, y_train), dim3, boundsbounds, n_particles25, max_iter60, ) print(best_params, best_fitness)搜索結(jié)束后取指數(shù)還原超參數(shù)再在完整訓(xùn)練集上訓(xùn)練最終模型。length_scale, sigma_f2, noise [np.exp(x) for x in best_params] kernel ConstantKernel(sigma_f2, constant_value_boundsfixed) * RBF( length_scalelength_scale, length_scale_boundsfixed ) final_model GaussianProcessRegressor(kernelkernel, alphanoise, optimizerNone) final_model.fit(X_train, y_train) y_pred, y_std final_model.predict(X_test, return_stdTrue)這里順便說一個心得預(yù)測時如果調(diào)用return_stdTrue得到的是每個測試點的預(yù)測標準差。這個標準差在工程上有非常實用的意義比如判斷哪些區(qū)域的預(yù)測不可靠或者作為異常檢測的參考。PSO-GPR的預(yù)測均值負責(zé)回歸精度預(yù)測方差負責(zé)不確定性表達兩者組合起來比單純輸出一個點估計更立體。4.3 結(jié)果驗證對比網(wǎng)格搜索與默認超參數(shù)為了看PSO-GPR到底值不值我在同一份數(shù)據(jù)上對比了三種方案完全使用默認參數(shù)的GPR、手動網(wǎng)格搜索的GPR、以及PSO-GPR。結(jié)果如下方案RMSEMAER2耗時默認參數(shù)GPR0.4820.3710.712秒網(wǎng)格搜索GPR0.2860.2230.89約480秒PSO-GPR0.2030.1610.94約150秒可以看出默認參數(shù)確實不太行R2只有0.71幾乎等于只抓到了數(shù)據(jù)里的線性趨勢。網(wǎng)格搜索雖然能把R2提到0.89但代價是計算時間高達近八分鐘。PSO-GPR只用了兩分半左右R2到了0.94RMSE也比網(wǎng)格搜索低了接近30%。這組結(jié)果并不是說PSO一定比任何網(wǎng)格搜索都好。問題是網(wǎng)格搜索的參數(shù)分檔不可能無限細分檔太細就徹底沒法算而PSO能把連續(xù)參數(shù)空間里的任意位置作為候選解天然有精度優(yōu)勢。加上它利用了歷史評估信息同等算力下找到好參數(shù)的概率遠高于盲搜。關(guān)于這個對比我還想提一個反直覺的經(jīng)驗PSO跑出來的超參數(shù)往往不在網(wǎng)格搜索的“格子”上甚至可能讓人感覺有點“偏”。但只要驗證集誤差是實打?qū)嵪陆档木筒灰X得奇怪。連續(xù)優(yōu)化找到的參數(shù)本來就有權(quán)利落在任意位置這恰恰是它比網(wǎng)格搜索精細的地方。5. 實跑下來的幾個坑和心得5.1 混合整數(shù)/連續(xù)參數(shù)處理的邊界PSO最擅長的是連續(xù)變量。如果哪天你想把核函數(shù)類型也一起優(yōu)化比如在RBF、Matern、RationalQuadratic之間做選擇這就引入了離散變量PSO不能直接處理。我試驗過一種簡單粗暴的辦法給每個核函數(shù)類型編一個序號然后讓粒子位置的第0維是一個連續(xù)值在計算適應(yīng)度時把這一維四舍五入到對應(yīng)的整數(shù)。這種方法可以工作但效果不太穩(wěn)定。因為粒子在靠近邊界位置時整數(shù)只會發(fā)生跳變速度更新卻把它當(dāng)連續(xù)量看待容易導(dǎo)致粒子反復(fù)在兩個類型之間切換收斂性很差。更實用的做法是把核函數(shù)類型這個決策放到PSO外層作為人工預(yù)選。比如先用經(jīng)驗判斷數(shù)據(jù)平滑性選擇RBF核只讓PSO優(yōu)化連續(xù)超參數(shù)。如果某個核函數(shù)明顯不合適再換一個核函數(shù)重新跑一遍PSO比較最終的驗證誤差。人工做這個離散選擇成本不高但能讓PSO發(fā)揮最大優(yōu)勢。5.2 代價高昂的適應(yīng)度評估和緩存策略GPR的訓(xùn)練復(fù)雜度是O(n3)n是訓(xùn)練樣本數(shù)。如果你用5折交叉驗證每一次適應(yīng)度評估等于訓(xùn)練5個GPR模型這在幾百個樣本時還能接受到幾千樣本時就會非常慢。我第一次跑PSO-GPR時用了50個粒子、80次迭代5折交叉驗證每一次完整PSO運行相當(dāng)于要訓(xùn)練兩萬次GPR跑完差點懷疑人生。后來我做了三個調(diào)整。一是把粒子數(shù)降到20最大迭代次數(shù)降到50。別看數(shù)量少了因為PSO有群體記憶前期探索的粒子已經(jīng)足夠覆蓋搜索空間后期粒子太少反而能減少無效振蕩。二是把交叉驗證改成3折。對于超參數(shù)選擇來說3折和5折的結(jié)論通常差別不大但計算量會少40%。三是在適應(yīng)度函數(shù)外面加一個結(jié)果緩存。用一個字典記錄已經(jīng)算過的參數(shù)向量和對應(yīng)的適應(yīng)度值遇到相同位置就直接返回緩存結(jié)果。PSO迭代后期會有不少粒子擠到gbest附近位置重復(fù)的概率會變大緩存能省下一批重復(fù)訓(xùn)練。5.3 早停、慣性權(quán)重與粒子群收斂的平衡PSO的早停條件如果設(shè)得太激進很容易出現(xiàn)“剛尋找方向就被叫?！钡那闆r。我建議不要一看到連續(xù)兩三代沒有改進就停止至少要等8到10代。因為粒子群可能在等待某個粒子從遠處趕過來強行提前停止會丟失潛在的最優(yōu)解。慣性權(quán)重w對收斂行為的影響也很微妙。w固定為0.7時粒子群的探索能力會保持穩(wěn)定但到了后期可能始終在一個小范圍里來回飛精度提不上去。我后來采用線性遞減策略從0.9逐漸降到0.4。前期w大粒子飛得遠能覆蓋更多區(qū)域后期w小粒子速度衰減更容易在gbest附近精細搜索。還有一個很實用的技巧每次更新位置后做邊界裁剪而不是讓粒子飛出邊界再拉回來。如果讓粒子自由飛然后再把越界粒子設(shè)成邊界值那么這個邊界上的粒子速度可能依然朝外下一輪還是被卡在邊界上。更好的做法是把越界后的速度也清成0讓粒子在邊界上重新決策方向。這個小改動在很多優(yōu)化問題里都能顯著改善收斂質(zhì)量。5.4 我推薦的應(yīng)用場景和更進一步的擴展總結(jié)下來PSO-GPR最適合的場景是樣本量在幾百到幾千、特征維度不太高、回歸任務(wù)對精度和不確定性都有要求的場合。典型例子包括設(shè)備參數(shù)預(yù)測、環(huán)境變量預(yù)測、工程響應(yīng)面建模。如果樣本量達到幾萬甚至更大GPR本身的訓(xùn)練代價會成為瓶頸這時PSO只在調(diào)參環(huán)節(jié)省時間已經(jīng)不夠應(yīng)該考慮稀疏高斯過程或者換用其他回歸模型。如果你已經(jīng)跑通了基礎(chǔ)版PSO-GPR下一步擴展可以做兩個方向。第一個方向是使用ARD核讓每個輸入特征擁有獨立的長度尺度。這樣PSO的維度會變成“特征數(shù)2”搜索空間更大但也能同時回答“哪些特征對預(yù)測更重要”這個問題。第二個方向是使用多目標優(yōu)化比如同時優(yōu)化“預(yù)測誤差”和“預(yù)測方差校準度”讓模型不僅預(yù)測得準而且能給出可靠的不確定性估計。標準的PSO只需要把單目標適應(yīng)度函數(shù)改成加權(quán)和原理解釋起來也不復(fù)雜。我個人的經(jīng)驗是PSO-GPR不是一種需要常年維護的復(fù)雜架構(gòu)它更像一套“調(diào)參加速器”。核心價值是讓你從繁瑣的手動搜索里解放出來把注意力放到數(shù)據(jù)清洗、特征構(gòu)造和結(jié)果解釋這些真正影響項目成敗的事情上。如果你也被GPR超參數(shù)折磨過不妨按這篇文章的代碼試一遍大概率會得到一個比自己瞎調(diào)強得多的結(jié)果。