多輸出回歸預(yù)測一直是個(gè)說簡單不簡單、說難又繞不開的活。單輸出模型做得再漂亮一到“一個(gè)輸入同時(shí)出好幾個(gè)結(jié)果”的場景各種坑就冒出來了維度之間互相牽制、誤差層層傳遞、超參數(shù)調(diào)了十幾個(gè)版本還是不穩(wěn)定。最近我把北方蒼鷹優(yōu)化算法和最小二乘支持向量機(jī)搭在一起專門用來做多輸出回歸實(shí)測收斂速度和預(yù)測精度都比以前用網(wǎng)格搜索加手工調(diào)參強(qiáng)了一大截。這篇文章把整套思路拆開講透從算法選型到完整實(shí)現(xiàn)再到踩坑記錄希望能給正在折騰回歸預(yù)測的朋友省掉幾周摸索時(shí)間。這個(gè)組合聽起來有點(diǎn)“縫合怪”但實(shí)際上邏輯很順用最小二乘支持向量機(jī)兜底做回歸把原來的不等式約束換成等式約束模型求解速度快了不少再借助北方蒼鷹優(yōu)化算法去自動(dòng)搜索LSSVM里的正則化參數(shù)和核參數(shù)省去人工試參的苦力活。適合的人群很明確——做數(shù)據(jù)分析、機(jī)械壽命預(yù)測、能源負(fù)荷預(yù)測、電力系統(tǒng)短期負(fù)荷預(yù)測這類多輸出任務(wù)的工程師以及正好寫論文需要一套完整對比實(shí)驗(yàn)的研究生。文章內(nèi)容以實(shí)操為主不堆理論推導(dǎo)盡量把每一步為什么這么干講明白。1. 多輸出回歸預(yù)測到底難在哪1.1 工程場景里“多輸出”三個(gè)字的真實(shí)含義多輸出回歸說白了就是輸入一組特征變量模型要同時(shí)給出多個(gè)結(jié)果變量。比如某個(gè)工業(yè)設(shè)備的監(jiān)測數(shù)據(jù)輸入溫度、壓力、振動(dòng)信號(hào)輸出同一時(shí)刻的幾個(gè)劣化指標(biāo)又比如電力負(fù)荷預(yù)測輸入天氣、日期、歷史負(fù)荷數(shù)據(jù)輸出未來幾個(gè)時(shí)間點(diǎn)的負(fù)荷值。常規(guī)做法是建多個(gè)“單輸出預(yù)測模型”每個(gè)輸出一個(gè)模型看起來簡單直接但實(shí)際運(yùn)行中問題也不少。我在一個(gè)設(shè)備退化預(yù)測項(xiàng)目里吃過苦頭。設(shè)備有五個(gè)關(guān)鍵健康指標(biāo)需要同時(shí)預(yù)測單輸出模型堆了五個(gè)支持向量機(jī)每個(gè)單獨(dú)看誤差都不大但五個(gè)指標(biāo)之間的關(guān)聯(lián)關(guān)系被硬生生切斷了?，F(xiàn)場反饋說“某個(gè)指標(biāo)的預(yù)測結(jié)果跟另一個(gè)指標(biāo)的實(shí)測結(jié)果根本對不上”說白了就是模型之間缺乏協(xié)同最后只能整套重構(gòu)。所以做多輸出預(yù)測不能簡單理解成“多個(gè)單輸出任務(wù)的疊加”要考慮輸出之間的耦合性。另外一個(gè)容易忽視的問題是多輸出帶來的誤差累積。如果每個(gè)單輸出模型都有3%左右的誤差那么多個(gè)維度疊加之后后續(xù)應(yīng)用方拿著這組預(yù)測結(jié)果繼續(xù)計(jì)算誤差就會(huì)被放大好幾倍。特別是做設(shè)備剩余壽命、綜合健康狀態(tài)這類需要多個(gè)指標(biāo)參與運(yùn)算的場景輸出維度之間的誤差傳播會(huì)讓最終結(jié)論變得不可靠。1.2 傳統(tǒng)回歸模型在多輸出場景下的局限支持向量機(jī)本身是非常成熟的回歸工具核心思想是把輸入映射到高維空間然后找一個(gè)超平面讓樣本點(diǎn)盡可能落在超平面附近。傳統(tǒng)支持向量回歸要求解一個(gè)帶約束的二次規(guī)劃問題數(shù)據(jù)量一大求解速度就很難看。工程上做多輸出時(shí)通常會(huì)堆疊十幾個(gè)這樣的模型訓(xùn)練時(shí)間直接起飛。最小二乘支持向量機(jī)對這個(gè)問題做了一個(gè)很巧妙的簡化把原來支持向量機(jī)里的不等式約束改成等式約束同時(shí)把損失函數(shù)里的誤差項(xiàng)改成平方項(xiàng)。這樣一來求解過程就從二次規(guī)劃問題變成了解一個(gè)線性方程組。通俗地講原來需要重復(fù)迭代慢慢逼近最優(yōu)解現(xiàn)在一步到位直接求矩陣逆速度提升非常明顯。這在多輸出場景下尤其重要因?yàn)槟憧赡芤?xùn)練多個(gè)模型或者在一個(gè)大的目標(biāo)函數(shù)里反復(fù)評估多個(gè)輸出維度不能忍受單個(gè)模型求解太慢。但是LSSVM也不是白拿這個(gè)好處代價(jià)是模型精度對超參數(shù)非常敏感。兩個(gè)核心超參數(shù)——正則化參數(shù)γ和核函數(shù)參數(shù)σ——一旦設(shè)置不恰當(dāng)預(yù)測結(jié)果就會(huì)大幅波動(dòng)。γ控制模型對經(jīng)驗(yàn)誤差的懲罰力度σ控制核函數(shù)的寬度或者說影響范圍。這兩個(gè)參數(shù)之間還有耦合效應(yīng)一個(gè)變了另一個(gè)的合適范圍也變了。靠經(jīng)驗(yàn)、網(wǎng)格搜索、隨機(jī)搜索去試在單輸出問題上勉強(qiáng)能用在多輸出問題里就有點(diǎn)力不從心了——因?yàn)槎鄠€(gè)輸出模型可能是共享超參數(shù)也可能是各自獨(dú)立超參數(shù)參數(shù)空間一下子膨脹手工調(diào)參基本不現(xiàn)實(shí)。2. 為什么偏偏選北方蒼鷹優(yōu)化算法加LSSVM2.1 LSSVM的數(shù)學(xué)表達(dá)和參數(shù)含義先讓不太熟悉LSSVM的朋友有個(gè)基礎(chǔ)概念。給定訓(xùn)練樣本集 {(x_i, y_i), i1,2,...,n}LSSVM的優(yōu)化目標(biāo)可以寫成min J(w,e) (1/2)w^T w (γ/2)Σ_{i1}^{n} e_i^2約束條件是y_i w^T φ(x_i) b e_i, i1,2,...,n這里的 φ(x_i) 是把原始特征映射到高維空間的非線性映射w是權(quán)重向量b是偏置項(xiàng)e_i 是每個(gè)樣本的擬合誤差。γ就是正則化參數(shù)它在“模型復(fù)雜度”和“訓(xùn)練誤差大小”之間取平衡。γ太大模型會(huì)過度擬合訓(xùn)練數(shù)據(jù)γ太小模型擬合能力不夠陷入欠擬合。核函數(shù)選擇上工程里最常用的是高斯徑向基核K(x_i, x_j) exp(-||x_i - x_j||2 / (2σ2))這個(gè)σ就是核寬參數(shù)。σ太小模型容易過擬合決策邊界附近的變化過于敏感σ太大模型又太“遲鈍”整體預(yù)測偏平滑連必要的拐點(diǎn)都抓不住。實(shí)際操作中γ和σ的量級可能差好幾百倍而且每個(gè)數(shù)據(jù)集的最優(yōu)取值都不一樣所以不做自動(dòng)優(yōu)化根本不行。2.2 北方蒼鷹優(yōu)化算法的核心機(jī)制北方蒼鷹優(yōu)化算法是Dehghani等人2022年提出來的一種元啟發(fā)式優(yōu)化算法模擬的是蒼鷹捕獵過程的兩個(gè)階段。第一階段叫“獵物識(shí)別與攻擊”對應(yīng)勘探階段第二階段叫“追逐與逃逸”對應(yīng)開發(fā)階段。這個(gè)算法的優(yōu)點(diǎn)在于結(jié)構(gòu)簡單、需要用戶指定的參數(shù)少主要就是種群規(guī)模和最大迭代次數(shù)不像某些智能算法那樣還有一堆額外的經(jīng)驗(yàn)常數(shù)要調(diào)。從我個(gè)人使用幾類常見優(yōu)化算法的體驗(yàn)來看粒子群算法需要調(diào)慣性權(quán)重和學(xué)習(xí)因子遺傳算法要考慮交叉概率、變異概率和編碼方式操作起來繁瑣不說還容易陷入局部最優(yōu)。北方蒼鷹優(yōu)化算法在這方面的優(yōu)勢恰恰是“參數(shù)少、流程清晰”。第一階段的獵物位置是隨機(jī)選擇的意味著蒼鷹會(huì)在整個(gè)搜索空間內(nèi)探索第二階段的追逃行為則在已發(fā)現(xiàn)的優(yōu)良區(qū)域附近精細(xì)搜索兩者配合起來勘探和開發(fā)兼顧。不過必須提醒一點(diǎn)單看理論性能沒有哪個(gè)智能算法能對所有數(shù)據(jù)集都保持絕對優(yōu)勢。NO FREE LUNCH定理在數(shù)學(xué)上早就說明白了不存在一個(gè)算法能在所有優(yōu)化問題上都做到最好。我選北方蒼鷹優(yōu)化算法更多是看在它參數(shù)少、實(shí)現(xiàn)成本低、穩(wěn)定性相對不錯(cuò)而且和LSSVM超參數(shù)優(yōu)化這個(gè)過程很契合。2.3 組合邏輯鏈條為何要“聯(lián)合調(diào)參”如果只有一個(gè)輸出那你用北方蒼鷹優(yōu)化算法搜兩個(gè)參數(shù)——γ和σ就可以了。但在多輸出情境下事情復(fù)雜得多。多輸出模型的兩種常見做法第一種是“每個(gè)輸出獨(dú)立建?！币簿褪怯蠱個(gè)輸出就訓(xùn)練M個(gè)LSSVM模型每個(gè)模型都有自己的一套γ和σ那優(yōu)化空間就是2M維。第二種是“共享超參數(shù)的多輸出LSSVM”所有輸出共用一套γ和σ但每個(gè)輸出對應(yīng)的模型權(quán)重、偏差項(xiàng)獨(dú)立求解這種方案參數(shù)少但泛化能力在不同輸出維度上可能不均衡。我做項(xiàng)目時(shí)通常采用“共享γ獨(dú)立訓(xùn)練參數(shù)”的策略同時(shí)把多輸出回歸預(yù)測的平均誤差作為綜合適應(yīng)度。這樣既控制了參數(shù)數(shù)量又能讓多個(gè)輸出在同一個(gè)優(yōu)化框架下協(xié)調(diào)。具體地說北方蒼鷹優(yōu)化算法的每個(gè)個(gè)體都代表一組候選超參數(shù)γ, σ算法迭代時(shí)用這組超參數(shù)訓(xùn)練所有輸出維度的LSSVM模型然后計(jì)算所有輸出維度的平均均方根誤差作為該個(gè)體的適應(yīng)度值最后優(yōu)化目標(biāo)是讓這個(gè)平均均方根誤差降到最低。這里有個(gè)值得注意的細(xì)節(jié)如果用“獨(dú)立建?！钡乃悸纺浅甩煤挺疫€涉及每個(gè)輸出維度各自的懲罰系數(shù)這會(huì)導(dǎo)致參數(shù)空間暴漲。北方蒼鷹優(yōu)化算法搜索高維參數(shù)空間雖然可行但需要的迭代次數(shù)明顯增加。如果數(shù)據(jù)集本身不大或者輸出維度在十個(gè)以內(nèi)我更建議走共享參數(shù)路線把精力花在特征工程和核函數(shù)選擇上。3. 模型架構(gòu)與核心細(xì)節(jié)拆解3.1 多輸出LSSVM的工程實(shí)現(xiàn)方式在多輸出LSSVM的實(shí)現(xiàn)上市面上現(xiàn)成工具包比較少很多朋友在網(wǎng)上搜“multi-output LSSVM”發(fā)現(xiàn)找不到對應(yīng)的庫就直接放棄了。實(shí)際上工程實(shí)現(xiàn)完全可以基于單輸出LSSVM的代碼改造。我常用的做法是把每個(gè)輸出維度當(dāng)作獨(dú)立的LSSVM模型來訓(xùn)練但在優(yōu)化階段用一個(gè)統(tǒng)一的目標(biāo)函數(shù)。模型結(jié)構(gòu)大致是輸入層m維特征向量隱式特征映射通過RBF核函數(shù)完成輸出層并列的M個(gè)LSSVM回歸器每個(gè)都有獨(dú)立的拉格朗日乘子和偏置假設(shè)輸出維度是M訓(xùn)練樣本數(shù)量是n。對第j個(gè)輸出維度需要求解一個(gè)(n1)維的線性方程組。如果M個(gè)輸出全部獨(dú)立求解相當(dāng)于要做M次矩陣求逆運(yùn)算耗時(shí)是單輸出的M倍。這在數(shù)據(jù)集不大時(shí)沒問題但如果n到了幾千甚至上萬M又比較大速度就會(huì)成為新的瓶頸。一個(gè)優(yōu)化技巧是如果所有輸出維度共享同一個(gè)核矩陣Ω則可以把M個(gè)方程組拼接在一起一次性求解多個(gè)右端項(xiàng)。核矩陣只算一次矩陣分解清零一次多個(gè)輸出維度共享分解結(jié)果這樣效率非常高。具體做法是對核矩陣加對角擾動(dòng)后進(jìn)行LU分解然后將分解后的矩陣同時(shí)回代到M個(gè)右側(cè)列向量。這個(gè)操作在MATLAB里用左除符號(hào)可以直接完成在Python里可以用numpy的linalg.solve配合二維右手矩陣完成。3.2 適應(yīng)度函數(shù)怎么設(shè)計(jì)才合理多輸出回歸的適應(yīng)度函數(shù)設(shè)計(jì)直接決定了優(yōu)化算法的導(dǎo)向。最簡單的做法是取每個(gè)輸出維度均方根誤差的平均值fitness (1/M) * Σ_{j1}^{M} RMSE_j但這樣做有一個(gè)潛在問題如果某個(gè)輸出維度的數(shù)值范圍天生就比其他維度大很多那它的RMSE也會(huì)“霸占”適應(yīng)度函數(shù)的主導(dǎo)地位其他維度就算預(yù)測很差對適應(yīng)度的貢獻(xiàn)也被稀釋了。實(shí)際操作中最好先做歸一化或者用每個(gè)維度歸一化后的RMSE來計(jì)算適應(yīng)度。更穩(wěn)健的評估指標(biāo)是平均絕對百分比誤差MAPE或決定系數(shù)R2的組合形式。我的習(xí)慣是在優(yōu)化階段使用歸一化RMSE作為適應(yīng)度因?yàn)樗奶荻忍匦员容^平緩元啟發(fā)式優(yōu)化算法在這種目標(biāo)上更容易收斂在最終評估階段則給出RMSE、MAE、R2、MAPE的完整表格方便多角度對比。優(yōu)化目標(biāo)和評估指標(biāo)不完全一致沒關(guān)系關(guān)鍵是要保證優(yōu)化過程中的適應(yīng)度函數(shù)能穩(wěn)定反映模型的整體預(yù)測水平。另外有個(gè)小技巧每一輪迭代新種群中的每個(gè)個(gè)體都需要重新訓(xùn)練LSSVM并預(yù)測。如果訓(xùn)練集很大這會(huì)非常耗時(shí)。我一般會(huì)在優(yōu)化過程中預(yù)留一個(gè)驗(yàn)證集用驗(yàn)證集上的誤差來做適應(yīng)度評估而不是把全部訓(xùn)練集都用來訓(xùn)練。這樣能降低一點(diǎn)過擬合風(fēng)險(xiǎn)也能省一部分計(jì)算量。3.3 數(shù)據(jù)預(yù)處理與驗(yàn)證方式的選擇多輸出回歸模型對數(shù)據(jù)尺度非常敏感。所有特征維度無論原始數(shù)值范圍如何在進(jìn)入LSSVM之前都建議做標(biāo)準(zhǔn)化處理。RBF核里的歐氏距離計(jì)算對尺度極敏感如果某個(gè)特征范圍是0到10000其他特征是0到1那距離計(jì)算基本被前者主導(dǎo)模型相當(dāng)于忽略掉那些小尺度特征。常用的處理方式有兩種Z-score標(biāo)準(zhǔn)化和Min-Max歸一化。Z-score標(biāo)準(zhǔn)化公式是x (x - μ) / σMin-Max歸一化公式是x (x - min) / (max - min)LSSVM的RBF核函數(shù)本質(zhì)上基于距離Z-score更適合大多數(shù)場景。但要注意輸出維度一定要和輸入維度統(tǒng)一預(yù)處理策略或者至少保證輸出預(yù)測出來之后能還原到原始量綱否則最后評估階段拿到的RMSE數(shù)值根本沒法解釋。驗(yàn)證方式方面我用得最多的是K折交叉驗(yàn)證K取5或10。如果樣本量太小只有幾百條那就用留一法雖然慢但評估更可靠。多輸出場景下交叉驗(yàn)證還需要注意一點(diǎn)切分?jǐn)?shù)據(jù)時(shí)不能把同一個(gè)樣本的不同輸出切到不同的折里也就是說切分要基于樣本ID整體切分不能按特征列切。這個(gè)錯(cuò)誤新手很容易犯切完之后每個(gè)折里數(shù)據(jù)分布不均勻驗(yàn)證結(jié)果完全失真。我曾經(jīng)在一個(gè)項(xiàng)目里就是用錯(cuò)了切分方式導(dǎo)致交叉驗(yàn)證誤差看起來很小但一到實(shí)際測試集上誤差翻倍。后來排查半天才發(fā)現(xiàn)問題出在數(shù)據(jù)切分環(huán)節(jié)。所以多輸出任務(wù)的數(shù)據(jù)預(yù)處理一定要仔細(xì)檢查每個(gè)折里是否包含了完整的樣本并且輸出維度保持對齊。4. 完整實(shí)現(xiàn)過程從零手寫NGO-LSSVM4.1 環(huán)境準(zhǔn)備與工具箱選擇我平時(shí)用的環(huán)境是Python 3.9加scikit-learn、numpy、scipy。LSSVM沒有直接封裝在scikit-learn里面但有LSSVM庫可以裝或者可以自己寫一個(gè)簡潔版本。我個(gè)人傾向于用MATLAB的LS-SVMlab工具箱做論文對比實(shí)驗(yàn)時(shí)挺方便如果是部署到生產(chǎn)環(huán)境就自己在Python里實(shí)現(xiàn)一個(gè)類LSSVM回歸器也就幾十行代碼。在Python里自己實(shí)現(xiàn)LSSVM回歸器核心步驟就是構(gòu)建核矩陣、加對角擾動(dòng)、求解線性方程組。用numpy來實(shí)現(xiàn)非常直接首先計(jì)算訓(xùn)練集樣本之間的RBF核矩陣然后組裝成擴(kuò)展矩陣最后求解線性方程組。scipy的linalg.solve會(huì)做LU分解求解速度快還能處理多右端項(xiàng)。4.2 NGO-LSSVM偽代碼與參數(shù)表整個(gè)NGO-LSSVM多輸出預(yù)測流程我按模塊來拆。第一步數(shù)據(jù)準(zhǔn)備加載數(shù)據(jù)集特征矩陣X為(n_samples, n_features)輸出矩陣Y為(n_samples, n_outputs)。對特征和輸出分別做標(biāo)準(zhǔn)化。按7:3或者6:2:2劃分訓(xùn)練集、驗(yàn)證集、測試集。第二步初始化NGO參數(shù)種群規(guī)模N通常取20到50。最大迭代次數(shù)T通常取100到500。搜索維度Dim采用共享超參數(shù)策略時(shí)Dim2代表γ和σ采用獨(dú)立超參數(shù)策略時(shí)Dim2M。搜索邊界γ一般設(shè)置在[0.01, 1000]σ設(shè)置在[0.01, 100]具體范圍根據(jù)數(shù)據(jù)噪聲情況調(diào)整。第三步種群初始化 在搜索空間內(nèi)隨機(jī)生成N個(gè)個(gè)體每個(gè)個(gè)體的位置向量是[x1, x2]分別對應(yīng)γ和σ的自然對數(shù)值或者原始值。注意直接用原始值會(huì)讓搜索空間尺度差異過大所以一般對γ和σ取對數(shù)即將搜索變量定義為lg(γ)和lg(σ)在優(yōu)化結(jié)束后再還原。第四步NGO迭代 每輪迭代中對每個(gè)個(gè)體執(zhí)行兩個(gè)階段的位置更新。第一階段位置更新公式x_new x_old r * (prey - I * x_old)其中r是[0,1]之間的隨機(jī)數(shù)prey是隨機(jī)挑選的當(dāng)前種群中的一個(gè)個(gè)體位置獵物I隨機(jī)取1或2。如果x_new對應(yīng)的適應(yīng)度更優(yōu)則接受替換。第二階段位置更新公式R 0.02 * (1 - t / T) x_new x_old R * (2*r - 1) * x_old其中t是當(dāng)前迭代次數(shù)T是總迭代次數(shù)。x_new的適應(yīng)度更優(yōu)則接受替換。第五步適應(yīng)度評估 對每個(gè)個(gè)體位置解碼得到γ和σ使用當(dāng)前訓(xùn)練集訓(xùn)練LSSVM模型在驗(yàn)證集上計(jì)算所有輸出維度的平均歸一化RMSE作為適應(yīng)度。第六步輸出結(jié)果 迭代結(jié)束后記錄歷史最優(yōu)個(gè)體用該個(gè)體的γ和σ在訓(xùn)練集上重新訓(xùn)練LSSVM在測試集上評估輸出各輸出維度的RMSE、MAE、R2、MAPE等指標(biāo)。4.3 關(guān)鍵代碼片段示例下面的代碼展示了構(gòu)建多輸出LSSVM核心求解部分以Python為例。這里為了可讀性省略了索引細(xì)節(jié)和邊界檢查實(shí)際工程需要補(bǔ)齊。import numpy as np from scipy.linalg import solve def rbf_kernel_matrix(X1, X2, sigma): # 計(jì)算X1與X2之間的RBF核矩陣 # X1: (n1, d), X2: (n2, d) sq_dists ( np.sum(X1**2, axis1)[:, None] np.sum(X2**2, axis1)[None, :] - 2.0 * np.dot(X1, X2.T) ) sq_dists np.maximum(sq_dists, 0) return np.exp(-sq_dists / (2.0 * sigma**2)) def train_multi_lssvm(X_train, Y_train, gamma, sigma): n X_train.shape[0] m Y_train.shape[1] Omega rbf_kernel_matrix(X_train, X_train, sigma) A np.zeros((n1, n1)) A[0, 0] 0.0 A[0, 1:] 1.0 A[1:, 0] 1.0 A[1:, 1:] Omega np.eye(n) / gamma # Y_train是(n, m)矩陣右側(cè)向量b是(m, n1)轉(zhuǎn)置形式 rhs np.zeros((n1, m)) rhs[0, :] np.mean(Y_train, axis0) rhs[1:, :] Y_train solution solve(A, rhs) b solution[0, :] # 長度為m alpha solution[1:, :] # shape (n, m) return alpha, b def predict_multi_lssvm(X_train, Y_train, alpha, b, X_test, gamma, sigma): K_test rbf_kernel_matrix(X_test, X_train, sigma) # K_test shape: (n_test, n) Y_pred np.dot(K_test, alpha) b.reshape(1, -1) return Y_pred這個(gè)實(shí)現(xiàn)里有個(gè)細(xì)節(jié)值得展開說明我一次性求解了多個(gè)輸出維度的方程組而不是循環(huán)M次。這樣能大幅降低重復(fù)計(jì)算的核矩陣開銷而且數(shù)值穩(wěn)定性更好。如果你仔細(xì)看代碼會(huì)發(fā)現(xiàn)A矩陣其實(shí)是先把核矩陣加上對角線懲罰項(xiàng)再在兩側(cè)補(bǔ)上一列1和一行1。這是LSSVM求解中比較標(biāo)準(zhǔn)的擴(kuò)展矩陣形式為什么要加這一圈“1”呢因?yàn)樽詈笠瑫r(shí)解出偏置項(xiàng)b和拉格朗日乘子α而這個(gè)約束關(guān)系會(huì)被自然編碼到線性方程組里。4.4 參數(shù)設(shè)置與評估指標(biāo)速查下面給出我實(shí)際使用比較順手的一組參數(shù)范圍不同數(shù)據(jù)集可以在這個(gè)基礎(chǔ)上微調(diào)參數(shù)推薦范圍說明種群規(guī)模N20~50太小容易早熟太大迭代開銷高最大迭代T100~500復(fù)雜度高的問題取上限γ搜索范圍[0.01, 1000]建議取對數(shù)編碼σ搜索范圍[0.01, 100]建議取對數(shù)編碼優(yōu)化變量個(gè)數(shù)2共享超參數(shù)或2M獨(dú)立超參數(shù)M為輸出維度交叉驗(yàn)證折數(shù)5或10樣本少時(shí)用留一法適應(yīng)度函數(shù)歸一化RMSE的平均值防止大數(shù)值輸出維度主導(dǎo)評估指標(biāo)方面我建議至少輸出四個(gè)指標(biāo)。RMSE對較大誤差懲罰更重適合用來判斷模型是否存在嚴(yán)重偏離MAE更直觀和原始量綱統(tǒng)一R2反映模型的解釋能力越接近1越好MAPE則對量綱歸一化友好適合跨數(shù)據(jù)集對比。下面是這幾個(gè)指標(biāo)的計(jì)算公式RMSE sqrt((1/n) * Σ(y_i - ?_i)2)MAE (1/n) * Σ|y_i - ?_i|R2 1 - Σ(y_i - ?_i)2 / Σ(y_i - ?)2MAPE (100/n) * Σ|(y_i - ?_i) / y_i|多輸出場景下每個(gè)輸出維度都要單獨(dú)列出上述指標(biāo)同時(shí)給出M個(gè)維度的平均值。平均R2不是簡單地算算術(shù)平均建議按各維度樣本方差加權(quán)平均這樣更公平。5. 實(shí)操中的問題與排查實(shí)錄5.1 優(yōu)化不收斂或收斂到很差的結(jié)果NGO迭代幾百輪之后如果平均RMSE一直不下降先別急著換算法大概率是參數(shù)搜索范圍設(shè)置出了問題。我之前把σ搜索范圍定成[0.001, 1000]看起來覆蓋很廣但實(shí)際上RBF核在σ很大時(shí)幾乎變成線性核在σ很小時(shí)又過擬合搜索空間中大部分區(qū)域都是“壞區(qū)”算法很難找到好位置。后來改成對σ取對數(shù)編碼搜索范圍壓縮到[-2, 2]相當(dāng)于σ從0.01到100收斂速度立刻改善。另一個(gè)常見原因是種群規(guī)模太小。有些數(shù)據(jù)集的目標(biāo)函數(shù)非常崎嶇種群只有10個(gè)個(gè)體的時(shí)候NGO第一階段隨機(jī)挑選獵物探索能力不夠大概率困在局部極值。把種群規(guī)模提高到30以上并在初始化時(shí)使用拉丁超立方采樣而不是完全隨機(jī)均勻優(yōu)化效果會(huì)更穩(wěn)定。5.2 預(yù)測結(jié)果整體偏移模型預(yù)測值與真實(shí)值趨勢一致但整體偏高或者偏低這通常是輸出標(biāo)準(zhǔn)化環(huán)節(jié)出了問題。很多人在訓(xùn)練時(shí)對輸出Y做了Z-score標(biāo)準(zhǔn)化但預(yù)測完成后忘記還原到原始量綱或者還原時(shí)用了錯(cuò)誤的標(biāo)準(zhǔn)差。另一個(gè)更隱蔽的問題是多輸出維度各自標(biāo)準(zhǔn)化時(shí)如果某個(gè)輸出維度的訓(xùn)練集和測試集分布不一致比如測試集出現(xiàn)了訓(xùn)練集中不存在的更大數(shù)值還原后的預(yù)測結(jié)果就會(huì)系統(tǒng)性偏移。解決辦法是在數(shù)據(jù)劃分時(shí)就固定好標(biāo)準(zhǔn)化器的參數(shù)。具體做法是先用訓(xùn)練集擬合Z-score的均值和標(biāo)準(zhǔn)差然后把這個(gè)均值和標(biāo)準(zhǔn)差直接套到驗(yàn)證集和測試集上全程不能重新計(jì)算。這種事聽起來簡單但實(shí)際項(xiàng)目里因?yàn)榇a復(fù)用導(dǎo)致標(biāo)準(zhǔn)化器參數(shù)漂移的例子我一抓一個(gè)準(zhǔn)。5.3 多個(gè)輸出維度預(yù)測效果嚴(yán)重不均衡有時(shí)候輸出維度之間相關(guān)性極強(qiáng)比如輸出1預(yù)測得非常好R2到了0.95輸出2卻很糟糕R2只有0.3。這種情況經(jīng)常是因?yàn)檩敵?本身受一些未采集到的隱含變量影響模型信息量不夠。遇到這種問題先不要急著調(diào)NGO參數(shù)而是檢查特征工程和相關(guān)性分析。我建議在做模型之前先畫一下特征與每個(gè)輸出之間的相關(guān)性熱力圖。如果發(fā)現(xiàn)某個(gè)輸出和所有特征的相關(guān)系數(shù)都很低說明這個(gè)輸出可能不太適合用當(dāng)前特征集去預(yù)測。兩個(gè)選擇一是給該輸出增加額外特征二是將該輸出的權(quán)重在適應(yīng)度函數(shù)中調(diào)低避免它拖累其他輸出維度的優(yōu)化。但要注意調(diào)低某個(gè)輸出的權(quán)重要慎重如果下游業(yè)務(wù)對這個(gè)輸出的預(yù)測精度有硬性要求反而應(yīng)該提高它的權(quán)重讓優(yōu)化算法優(yōu)先保證這個(gè)關(guān)鍵輸出。5.4 訓(xùn)練時(shí)間太長迭代跑不動(dòng)做多輸出LSSVM優(yōu)化時(shí)最大的計(jì)算瓶頸在于每次適應(yīng)度評估都要重新訓(xùn)練M個(gè)LSSVM模型。即使每個(gè)模型求解只要幾十毫秒乘以種群規(guī)模30、迭代次數(shù)300再乘以交叉驗(yàn)證折數(shù)5總耗時(shí)相當(dāng)可觀。我實(shí)際測過一個(gè)5000樣本、10個(gè)輸出的數(shù)據(jù)集單次完整優(yōu)化跑了將近4小時(shí)。這在研究階段還能接受部署階段完全不行。三個(gè)緩解思路第一先用較小的數(shù)據(jù)集做參數(shù)范圍探索定好大概位置后再用全量數(shù)據(jù)跑最終優(yōu)化第二在迭代前期用較大容差和較少樣本做快速評估后期再用全量數(shù)據(jù)精細(xì)調(diào)優(yōu)第三把適應(yīng)度評估從驗(yàn)證集改成訓(xùn)練集的一部分比如每次隨機(jī)抽80%的樣本訓(xùn)練這樣每輪迭代快一些也帶一點(diǎn)隨機(jī)性有助于跳出局部極值。最后再加一個(gè)技巧NGO迭代后期將種群中適應(yīng)度排名靠后的一半個(gè)體淘汰重新在最優(yōu)個(gè)體附近用高斯擾動(dòng)生成新個(gè)體這樣相當(dāng)于局部的精細(xì)搜索能提高最終精度。6. 從論文方法到工程落地的幾點(diǎn)經(jīng)驗(yàn)6.1 模型好不好先看點(diǎn)線圖算法對比不能只看論文表格里那幾個(gè)最終RMSE數(shù)字。我在實(shí)際項(xiàng)目中養(yǎng)成一個(gè)習(xí)慣每次優(yōu)化完成后一定把三個(gè)輸出維度的真實(shí)值和預(yù)測值曲線放在同一張圖上單獨(dú)觀察波峰波谷處的擬合效果。很多模型在平均值上看著不錯(cuò)但一到局部極值區(qū)域就完全跟不上。多輸出回歸尤其要看每個(gè)輸出的曲線形態(tài)因?yàn)楣I(yè)現(xiàn)場關(guān)心的是趨勢拐點(diǎn)而不是總體誤差均值。這個(gè)習(xí)慣幫我躲過了一次“假成功”的經(jīng)歷。有個(gè)項(xiàng)目當(dāng)時(shí)按平均RMSE選出了最優(yōu)超參數(shù)看起來全局誤差下降了20%但畫了曲線之后發(fā)現(xiàn)一個(gè)關(guān)鍵健康指標(biāo)的峰值預(yù)測全部偏低業(yè)務(wù)方拿去使用后直接誤判了一次故障預(yù)警。后來在適應(yīng)度函數(shù)里加入了對峰值的懲罰項(xiàng)損耗函數(shù)從純RMSE改成了RMSE與峰值誤差的加權(quán)組合才把這個(gè)問題解決。6.2 怎么擴(kuò)展其他智能優(yōu)化算法做對比實(shí)驗(yàn)如果是要發(fā)論文或者做技術(shù)匯報(bào)通常需要和粒子群優(yōu)化、遺傳算法、灰狼優(yōu)化等做對比實(shí)驗(yàn)。我的建議是不要為了對比而對比而是看你的數(shù)據(jù)集特點(diǎn)。NGO的優(yōu)勢在于參數(shù)少、開發(fā)能力強(qiáng)粒子群優(yōu)化優(yōu)勢在于實(shí)現(xiàn)簡單、收斂快但容易陷入局部最優(yōu)遺傳算法優(yōu)勢在于全局搜索能力強(qiáng)但參數(shù)多、調(diào)參成本高。對比實(shí)驗(yàn)至少跑十次獨(dú)立重復(fù)記錄均值和標(biāo)準(zhǔn)差再做Wilcoxon符號(hào)秩檢驗(yàn)或Friedman檢驗(yàn)證明算法間的差異是統(tǒng)計(jì)顯著的而不是隨機(jī)波動(dòng)。對比時(shí)最好固定公共條件種群規(guī)模統(tǒng)一最大迭代次數(shù)統(tǒng)一適應(yīng)度函數(shù)統(tǒng)一初始種群隨機(jī)種子統(tǒng)一。NGO如果用了對數(shù)編碼而其他算法用原始值編碼這就不公平了。所有算法都要在相同條件下運(yùn)行最后比較的才有意義。6.3 后續(xù)擴(kuò)展方向在線預(yù)測與動(dòng)態(tài)更新做完靜態(tài)版本后如果業(yè)務(wù)需要在線預(yù)測可以考慮把模型部署為增量更新模式。LSSVM相比標(biāo)準(zhǔn)SVM的一個(gè)好處是解線性方程組模型更新時(shí)可以利用上一次求解的分解矩陣做增量計(jì)算不需要完全重訓(xùn)。相關(guān)的關(guān)鍵詞是“在線LSSVM”和“遞推最小二乘支持向量機(jī)”網(wǎng)上資料不少。另外北方蒼鷹優(yōu)化算法本身也可以和特征選擇結(jié)合起來。比如把特征掩碼加入優(yōu)化變量讓NGO在搜索超參數(shù)的同時(shí)篩選特征子集從而實(shí)現(xiàn)“同時(shí)優(yōu)化特征和參數(shù)”。這種聯(lián)合優(yōu)化的思路在多輸出預(yù)測場景下很有價(jià)值因?yàn)椴煌敵鼍S度可能依賴不同特征子集靠人工去篩選十個(gè)輸出的特征組合幾乎不可能交給優(yōu)化算法去搜往往能發(fā)現(xiàn)一些意外有效的組合。不過要注意特征維度不能太高否則搜索空間膨脹速度驚人優(yōu)化時(shí)間會(huì)不可控。我在實(shí)際使用中發(fā)現(xiàn)NGOLSSVM這個(gè)組合最舒服的地方在于“省心”。不需要做繁瑣的參數(shù)網(wǎng)格搜索也不用理解一堆復(fù)雜的內(nèi)部機(jī)理扔給算法自己跑就行。踩了幾次坑之后現(xiàn)在基本形成了一套固定流程先小樣本探路再全量優(yōu)化最后看圖調(diào)適應(yīng)度函數(shù)。這套流程用在不同數(shù)據(jù)集上都有穩(wěn)定的表現(xiàn)如果你也在做多輸出回歸預(yù)測可以直接拿過去試。