實測跑過幾輪對照實驗之后我才發(fā)現(xiàn)很多人問支持向量機SVM和支持向量回歸機SVR的區(qū)別本質(zhì)上是在問一個更基礎(chǔ)的問題同一個優(yōu)化框架把損失函數(shù)換掉之后模型的行為到底會變成什么樣。這兩個算法名字只差一個字母在 sklearn 里也是同一個模塊下的兄弟類但它們的輸出空間、損失函數(shù)、支持向量的物理含義、超參數(shù)的調(diào)法幾乎全都不一樣。更麻煩的是網(wǎng)上大量教程把它們混著講導(dǎo)致不少人拿著 SVC 的調(diào)參經(jīng)驗去調(diào) SVR最后得到一條幾乎貼著均值的直線還以為是自己數(shù)據(jù)的問題。這篇內(nèi)容我打算把兩者的分岔點、數(shù)學(xué)骨架、超參數(shù)語義和實操鏈路全部拆開講一遍代碼全部用 sklearn 可直接復(fù)現(xiàn)適合已經(jīng)會用 sklearn 但一直沒搞清這兩個模型邊界的人也適合需要選型決策的工程同學(xué)。1. 同一個優(yōu)化框架兩個完全不同的輸出先把SVM和SVR的分岔點說清楚1.1 從找一條最寬的路到造一條最合適的帶SVM 的經(jīng)典圖景非常直觀在一堆兩類樣本中間畫一條分界線并且要求這條線盡可能遠離最近的樣本點。這個遠離的距離就是間隔marginSVM 的目標(biāo)是讓間隔最大化。貼在間隔邊界上的那幾個點就是支持向量——整個決策面只由這幾個點決定你把其他樣本刪掉分界線可能紋絲不動這也是支持向量這個名字的由來。SVR 的圖景則完全不同它不畫分界線而是造一條有寬度的管狀帶tube管子以回歸曲線為中心總寬度是 2ε。凡是落在管子里的樣本一律認(rèn)為預(yù)測得已經(jīng)足夠準(zhǔn)了不計入任何損失只有掉在管子外面的點才會產(chǎn)生懲罰。所以 SVR 的支持向量是那些壓在管子邊界上或者掉在管子外面的樣本管子內(nèi)部的點全部被忽略。這個差別帶來一個非常關(guān)鍵的直覺分類任務(wù)關(guān)心的是邊界回歸任務(wù)關(guān)心的是帶寬。前者的核心問題是分界線該往哪邊偏一點后者的核心問題是這條帶子該多寬、往哪彎。理解了這個畫面后面所有的公式推導(dǎo)、對偶形式、參數(shù)語義你都能自己推出來七八成不用死記。1.2 輸出空間決定了損失函數(shù)必須整個換掉分類的輸出是離散標(biāo)簽Hinge 損失天然貼合這個場景只要樣本被正確分類并且離邊界足夠遠損失就是零一旦被分錯或者離邊界太近就線性地懲罰。這個零損失區(qū)域的存在讓 SVM 對噪聲有一定的容忍度。但回歸的輸出是連續(xù)數(shù)值如果你繼續(xù)用這種對錯二元的懲罰方式問題就大了——預(yù)測值和真實值差 0.001 和差 1000會被同等對待這顯然不合理。所以 SVR 換成了 ε 不敏感損失形式是 max(0, |y - f(x)| - ε)。這個損失有兩個我很看重的特性第一ε 范圍內(nèi)損失為零意味著模型對小幅噪聲完全不敏感傳感器采集時那點抖動根本影響不到擬合結(jié)果第二超過 ε 之后懲罰只是線性增長而不是像最小二乘那樣平方增長所以單個極端離群點沒辦法把整條曲線拽偏。我在含噪的傳感器時序數(shù)據(jù)上做過對照最小二乘回歸被一個尖峰帶偏了很遠而 SVR 基本穩(wěn)在原地。這也是為什么在噪聲大、離群點多的小樣本回歸任務(wù)里SVR 常常比線性回歸更好用的直接原因。1.3 一張表看清兩者的對照關(guān)系先把最容易混淆的維度列成表后面每一行我都會展開。對比維度SVM分類SVR回歸任務(wù)輸出離散類別標(biāo)簽連續(xù)數(shù)值幾何直覺最大化間隔的分界超平面寬度為 2ε 的容錯管道損失函數(shù)Hinge 損失ε 不敏感損失支持向量位置間隔邊界上或越界管道邊界上或管道外獨有超參數(shù)class_weight類別權(quán)重epsilon管道半寬常用評估指標(biāo)準(zhǔn)確率、F1、AUCMAE、RMSE、R2典型副作用概率輸出需要額外校準(zhǔn)預(yù)測值向均值收縮大樣本替代方案LinearSVC / SGDClassifierLinearSVR / SGDRegressor這張表里最值得盯住的是支持向量位置和典型副作用兩行。前者決定了你用n_support_觀察模型復(fù)雜度時兩個模型的解讀方式完全不同后者是新手最容易踩的雷我后面會用專門一節(jié)講。2. 把兩類問題的數(shù)學(xué)骨架拆到能看懂的程度2.1 硬間隔、軟間隔與松弛變量SVM 的分類骨架硬間隔 SVM 的原始問題寫出來是這樣的最小化 (1/2)||w||2約束條件是每個樣本都滿足 y_i(w·x_i b) ≥ 1。這個約束的物理含義就是所有樣本都在間隔之外。問題在于現(xiàn)實數(shù)據(jù)幾乎不可能線性完全可分硬間隔會直接無解。于是引入松弛變量 ξ_i把約束放寬成 y_i(w·x_i b) ≥ 1 - ξ_i同時目標(biāo)函數(shù)變成最小化 (1/2)||w||2 C·Σξ_i。這個式子里的 C 就是懲罰系數(shù)C 越大對違反間隔的容忍度越低模型越傾向于把所有訓(xùn)練樣本都分對泛化風(fēng)險隨之升高C 越小允許更多樣本落在間隔內(nèi)甚至分錯模型更寬容。注意這里有個容易被忽略的點目標(biāo)函數(shù)是間隔寬度和違規(guī)總量的一個加權(quán)和它本質(zhì)上是一個結(jié)構(gòu)風(fēng)險最小化的實現(xiàn)——前半部分控制模型復(fù)雜度后半部分控制訓(xùn)練誤差。理解了這一點你就明白為什么 C 的兩端分別對應(yīng)欠擬合和過擬合而不是越大越好或者越小越好。2.2 ε 不敏感管道是怎么寫進目標(biāo)函數(shù)的SVR 的原始問題形式上和 SVM 很像但多了一組變量最小化 (1/2)||w||2 C·Σ(ξ_i ξ_i*)約束是y_i - (w·x_i b) ≤ ε ξ_i(w·x_i b) - y_i ≤ ε ξ_i*ξ_i, ξ_i* ≥ 0前面兩條約束分別管預(yù)測偏低和預(yù)測偏高兩個方向所以需要兩組松弛變量。把兩條約束合起來看就是|y_i - (w·x_i b)| ≤ ε ξ_i也就是說殘差在 ε 以內(nèi)時 ξ 取零完全沒有懲罰超出 ε 的部分才由 ξ 承接并且被 C 線性懲罰。這里的 ε 是 SVM 里根本不存在的東西。它不是正則項也不是容錯上限而是多準(zhǔn)才算準(zhǔn)的定義。你在心里設(shè)定一個可接受的誤差范圍SVR 就只對這個范圍之外的偏差負責(zé)。這個設(shè)計對業(yè)務(wù)場景其實非常友好——預(yù)測銷量差幾十件無所謂那我直接把 ε 設(shè)成幾十模型就不會為了擬合這些無關(guān)緊要的偏差而扭曲整體形狀。2.3 對偶形式里的支持向量到底是誰SVM 的對偶問題是通過拉格朗日乘子 α_i 得到的最后預(yù)測函數(shù)寫成 f(x) Σ α_i y_i K(x_i, x) b其中 K 是核函數(shù)。KKT 條件給出了 α_i 的三種狀態(tài)α_i 0 的樣本對決策面毫無影響0 α_i C 的樣本恰好壓在間隔邊界上α_i C 的樣本則是越過了邊界的那批。后兩類就是支持向量這也是為什么刪掉 α_i 0 的點模型不變。SVR 的對偶形式更繞一點因為每個樣本有兩個乘子 α_i 和 α_i*它們的差 α_i - α_i* 才是這個樣本的系數(shù)。預(yù)測函數(shù)變成 f(x) Σ (α_i - α_i*) K(x_i, x) b而且只有當(dāng) |α_i - α_i*| 0 時才有貢獻。這個條件對應(yīng)的正是樣本落在管道外或壓在管道邊界上。換句話說管子里的樣本 α_i α_i* 0系數(shù)直接歸零被徹底忽略。這就解釋了一個很多人疑惑的現(xiàn)象為什么 SVR 的支持向量數(shù)量有時候會明顯少于樣本數(shù)因為如果你的 ε 設(shè)得比較寬大部分樣本都乖乖待在管子里了。反過來支持向量占比很高比如超過 80%通常意味著 ε 太小或者 C 太大模型在過度較真每一個點這是我會立刻回去調(diào)參的信號。3. C、gamma、epsilon 在兩類任務(wù)里的角色完全不同3.1 C 的兩副面孔同樣是 C在 SVM 和 SVR 里的作用機制其實有細微但重要的差別。SVM 里 C 直接決定了間隔違規(guī)的懲罰力度它的對偶約束是 0 ≤ α_i ≤ CC 是 α 的上界也就是單個樣本最多能有多大話語權(quán)。C 越大單個越界樣本的影響力越大決策面越容易被少數(shù)難分樣本帶著走。SVR 里 C 同樣是 α 的上界但它的對偶約束變成了 0 ≤ α_i, α_i* ≤ C也就是單個樣本在管道外的偏差最多被計入 C 的權(quán)重。由于 SVR 的系數(shù)是 α_i - α_i*當(dāng) C 很小時兩個乘子都被壓得很低模型的預(yù)測幾乎不動輸出會趨向于一個接近常數(shù)的曲線當(dāng) C 很大時模型拼命去擬合每一個超出 ε 的點容易在噪聲上過擬合。我自己的經(jīng)驗值是這樣小樣本幾千條以內(nèi)、特征經(jīng)過標(biāo)準(zhǔn)化之后SVM 的 C 從 1 開始試SVR 的 C 從 10 開始試通常更省時間。原因是 SVR 的目標(biāo)值量綱會放大殘差需要更大的 C 才能讓模型動起來。當(dāng)然這只是起點真正靠譜的做法還是網(wǎng)格搜索只是它能把搜索范圍縮窄。3.2 gamma 與核函數(shù)RBF 核下的影響半徑RBF 核的形式是 K(x, x) exp(-gamma · ||x - x||2)其中 gamma 和傳統(tǒng)的 σ 是倒數(shù)關(guān)系gamma 1/(2σ2)。物理含義是gamma 越大單個樣本的影響半徑越小模型的決策面/擬合曲線越能貼合局部細節(jié)gamma 越小影響半徑越大模型越平滑。這個規(guī)律在兩個任務(wù)里方向一致但后果不太一樣。分類任務(wù)里 gamma 過大會出現(xiàn)一個個孤立的小島式?jīng)Q策區(qū)域訓(xùn)練集準(zhǔn)確率飆到 99% 但測試集一塌糊涂回歸任務(wù)里 gamma 過大曲線會變成鋸齒狀的折線把每個噪聲點都串起來看起來擬合得很好實際預(yù)測能力極差。sklearn 里 gamma 的默認(rèn)值是scale等于 1/(n_features × X.var())這個默認(rèn)值在特征標(biāo)準(zhǔn)化之后通常是個不錯的起點。我一般只在這個基礎(chǔ)上試三檔scale、它的 0.1 倍、它的 10 倍。相比很多人習(xí)慣的 0.01/0.1/1/10 固定網(wǎng)格按數(shù)據(jù)方差縮放的做法在兩個任務(wù)之間遷移性更好不容易出現(xiàn)某一檔完全無效的浪費。3.3 epsilon 是 SVR 獨有的旋鈕也是最容易被忽略的如果只讓我強調(diào)一個 SVM 與 SVR 調(diào)參上的核心差異那就是SVR 多了一個決定模型松緊的 epsilon而且它比 C 更能改變模型形態(tài)。epsilon 的語義是可接受的誤差帶半寬。設(shè)得太小幾乎所有樣本都掉到管道外模型退化成試圖擬合每個點接近最小二乘還丟掉了魯棒性優(yōu)勢設(shè)得太大管道寬到什么都裝得下模型直接輸出一條接近常數(shù)的直線也就是常見的預(yù)測全等于均值。怎么定 epsilon 有個很實用的辦法先看目標(biāo)變量的量綱和業(yè)務(wù)可接受的誤差。比如預(yù)測房價業(yè)務(wù)上差 5 萬以內(nèi)都算可接受那 ε 就按 5 萬來設(shè)注意目標(biāo)變量需要標(biāo)準(zhǔn)化的話要換算過去。想要更數(shù)據(jù)驅(qū)動一點可以先用一個快速的基線模型比如隨機森林回歸或線性回歸算一遍殘差的標(biāo)準(zhǔn)差取它的 0.1 到 0.2 倍作為 epsilon 的搜索中心再在 [0.5倍, 2倍] 區(qū)間里網(wǎng)格搜索。這套流程比盲搜 0.01/0.1/0.5 要靠譜得多我實測至少能省一半以上的調(diào)參時間。補充一個很多人不知道的變體NuSVR用參數(shù) nu ∈ (0, 1] 同時接管 C 和 epsilon 的部分職責(zé)nu 可以粗略理解為允許掉在管道外的樣本比例上限。當(dāng)你對異常點比例有業(yè)務(wù)先驗時比如已知數(shù)據(jù)里有 5% 的壞點用 NuSVR 直接設(shè) nu0.05 比調(diào) C 和 epsilon 兩個參數(shù)要直觀得多。分類側(cè)也有一一對應(yīng)的NuSVC。4. 從 sklearn 跑通分類與回歸的對照實驗4.1 數(shù)據(jù)生成與標(biāo)準(zhǔn)化這一步?jīng)Q定了模型能不能用這兩個模型都是基于距離的核方法特征尺度不統(tǒng)一會直接毀掉結(jié)果。一個取值范圍 0 到 1 的特征和一個取值范圍 0 到 10000 的特征放在一起RBF 核算出來的距離幾乎完全由后者主導(dǎo)。所以標(biāo)準(zhǔn)化不是最好做一下而是必須做。更重要的是StandardScaler必須只在訓(xùn)練集上 fit然后 transform 測試集。這個細節(jié)看起來像廢話但我在代碼審查里見過太多次先對全量數(shù)據(jù) fit_transform 的寫法——這等于把測試集的均值和方差信息泄漏進了訓(xùn)練過程評估出來的分?jǐn)?shù)會虛高上線之后直接掉。import numpy as np from sklearn.datasets import make_classification, make_regression from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 分類數(shù)據(jù) Xc, yc make_classification(n_samples2000, n_features20, n_informative8, n_redundant4, class_sep1.2, flip_y0.05, random_state42) Xc_tr, Xc_te, yc_tr, yc_te train_test_split(Xc, yc, test_size0.3, stratifyyc, random_state42) scaler_c StandardScaler().fit(Xc_tr) Xc_tr, Xc_te scaler_c.transform(Xc_tr), scaler_c.transform(Xc_te) # 回歸數(shù)據(jù)故意加一點離群點用來看魯棒性 Xr, yr make_regression(n_samples2000, n_features20, n_informative8, noise20.0, random_state42) rng np.random.default_rng(0) outlier_idx rng.choice(len(yr), size30, replaceFalse) yr[outlier_idx] 300 # 人工污染 Xr_tr, Xr_te, yr_tr, yr_te train_test_split(Xr, yr, test_size0.3, random_state42) scaler_r StandardScaler().fit(Xr_tr) Xr_tr, Xr_te scaler_r.transform(Xr_tr), scaler_r.transform(Xr_te)注意回歸側(cè)我做了兩件事一是給目標(biāo)值加了離群點用來觀察 SVR 和線性回歸的差異二是 X 的標(biāo)準(zhǔn)化器和 y 分開處理。y 要不要標(biāo)準(zhǔn)化取決于你怎么設(shè) epsilon——如果 y 的量綱是幾萬epsilon 也得跟著是幾百幾千網(wǎng)格搜索的尺度會很難看。我通常會把 y 也標(biāo)準(zhǔn)化讓 epsilon 回到 0.1 這個量級最后預(yù)測時再逆變換回去。4.2 SVM 分類的完整鏈路分類側(cè)直接用SVCRBF 核起步同時打開probabilityTrue以便畫 ROC 曲線。from sklearn.svm import SVC from sklearn.metrics import (classification_report, confusion_matrix, roc_auc_score, f1_score) import time t0 time.time() clf SVC(kernelrbf, C1.0, gammascale, probabilityTrue, class_weightbalanced, random_state42) clf.fit(Xc_tr, yc_tr) print(f訓(xùn)練耗時: {time.time()-t0:.2f}s) pred clf.predict(Xc_te) proba clf.predict_proba(Xc_te)[:, 1] print(confusion_matrix(yc_te, pred)) print(classification_report(yc_te, pred, digits4)) print(AUC , round(roc_auc_score(yc_te, proba), 4)) print(支持向量數(shù):, clf.n_support_, 總計:, clf.n_support_.sum())這里有兩個細節(jié)值得說。第一class_weightbalanced在處理不平衡數(shù)據(jù)時比盲目加大 C 有效得多它按類別頻率自動給少數(shù)類更高的樣本權(quán)重是在損失層面做的修正而加大 C 只是把所有樣本的懲罰一起拉高往往會讓少數(shù)類被更多噪聲點淹沒。第二probabilityTrue打開之后 sklearn 會額外跑一次 Platt 標(biāo)定或者說內(nèi)部交叉驗證訓(xùn)練時間通常會翻倍甚至更多所以只有在你確實需要概率輸出時才打開只做類別判定的話關(guān)掉能省大量時間。另一個觀察指標(biāo)是n_support_。如果支持向量占訓(xùn)練樣本的比例超過 70%基本可以判斷模型在硬扛噪聲該降 C 或者升 gamma。這個比值是我判斷模型緊不緊最快的體檢指標(biāo)比看訓(xùn)練準(zhǔn)確率直觀得多。4.3 SVR 回歸的完整鏈路與目標(biāo)變換回歸這邊我把 y 標(biāo)準(zhǔn)化后再喂給 SVRepsilon 按標(biāo)準(zhǔn)化尺度設(shè)。from sklearn.svm import SVR, LinearSVR from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score scaler_y StandardScaler().fit(yr_tr.reshape(-1, 1)) yr_tr_s scaler_y.transform(yr_tr.reshape(-1, 1)).ravel() yr_te_s scaler_y.transform(yr_te.reshape(-1, 1)).ravel() def evaluate(name, model, Xtr, ytr, Xte, yte, scaler_yNone): model.fit(Xtr, ytr) p model.predict(Xte) if scaler_y is not None: p scaler_y.inverse_transform(p.reshape(-1, 1)).ravel() mae mean_absolute_error(yte, p) rmse mean_squared_error(yte, p) ** 0.5 print(f{name:14s} MAE{mae:8.2f} RMSE{rmse:8.2f} R2{r2_score(yte, p):.4f}) return p p_lr evaluate(LinearRegression, LinearRegression(), Xr_tr, yr_tr, Xr_te, yr_te) p_svr evaluate(SVR(rbf,eps0.1), SVR(kernelrbf, C10.0, gammascale, epsilon0.1), Xr_tr, yr_tr_s, Xr_te, yr_te_s, scaler_y) p_lsv evaluate(LinearSVR, LinearSVR(C1.0, epsilon0.1, max_iter20000, random_state42), Xr_tr, yr_tr_s, Xr_te, yr_te_s, scaler_y)在我構(gòu)造的這份帶污染數(shù)據(jù)上線性回歸的 RMSE 會被那 30 個離群點明顯拉高而 SVR 因為只線性懲罰、且超出部分被 C 截斷表現(xiàn)會穩(wěn)定得多。這就是前面講的魯棒性優(yōu)勢落到數(shù)字上的樣子。但我要特別提醒一句SVR 的魯棒性是有代價的。它對管道內(nèi)的樣本完全不敏感意味著如果數(shù)據(jù)里有一段區(qū)域的樣本全部落在管道內(nèi)模型在那里就沒有任何約束力曲線的形狀完全靠核函數(shù)和正則項決定?；貧w任務(wù)如果你需要精確擬合每個區(qū)間SVR 未必是最優(yōu)選擇。4.4 網(wǎng)格搜索該搜哪些參數(shù)兩個模型的搜索空間不一樣不要共用一套參數(shù)網(wǎng)格。SVM 的搜索空間C和gamma評價指標(biāo)用f1不平衡數(shù)據(jù)或roc_auc不要用 accuracy因為準(zhǔn)確率在不平衡數(shù)據(jù)上有很強的欺騙性。SVR 的搜索空間C、gamma、epsilon三個比分類多一維計算量自然更大。評價指標(biāo)用neg_mean_absolute_error或neg_root_mean_squared_error。用 RMSE 做指標(biāo)時更看重擬合精度用 MAE 更看重整體偏差的中位數(shù)表現(xiàn)選哪個取決于你的業(yè)務(wù)是怕偶爾的大偏差還是怕整體系統(tǒng)性偏差。from sklearn.model_selection import GridSearchCV, KFold # 分類兩個參數(shù) cv_cls GridSearchCV( SVC(kernelrbf, probabilityFalse, class_weightbalanced), {C: [0.1, 1, 10, 100], gamma: [scale, 0.01, 0.05, 0.2]}, scoringf1, cvKFold(5, shuffleTrue, random_state42), n_jobs-1) # 回歸三個參數(shù)網(wǎng)格要收窄否則組合爆炸 cv_reg GridSearchCV( SVR(kernelrbf), {C: [1, 10, 100], gamma: [scale, 0.01, 0.05], epsilon: [0.05, 0.1, 0.3]}, scoringneg_mean_absolute_error, cvKFold(5, shuffleTrue, random_state42), n_jobs-1) cv_cls.fit(Xc_tr, yc_tr) cv_reg.fit(Xr_tr, yr_tr_s) print(分類最優(yōu):, cv_cls.best_params_, cv_cls.best_score_) print(回歸最優(yōu):, cv_reg.best_params_, cv_reg.best_score_)回歸側(cè) 3×3×3 27 組每組 5 折就是 135 次訓(xùn)練。樣本量上萬時這會很慢所以我的習(xí)慣是先用粗網(wǎng)格定位大致區(qū)域再在最優(yōu)值附近做一輪細網(wǎng)格。這比一次性鋪大網(wǎng)格的效率高很多。5. 踩過的坑真實數(shù)據(jù)上的典型翻車現(xiàn)場5.1 SVR 的向均值收縮一條幾乎是直線的預(yù)測這是我見過最頻繁的 SVR 翻車現(xiàn)場訓(xùn)練完看 R2居然只有 0.1 甚至負數(shù)畫圖一看預(yù)測值幾乎是一條水平線緊貼著 y 的均值。新手第一反應(yīng)是數(shù)據(jù)沒規(guī)律實際上十有八九是三個原因之一。第一個原因是 epsilon 設(shè)得太大。如果你忘了標(biāo)準(zhǔn)化 y而 y 的量綱是幾萬你隨手寫的 epsilon0.1 反而沒問題但如果 y 已經(jīng)標(biāo)準(zhǔn)化到均值 0 方差 1而 epsilon 還是設(shè)成 1.0那等于允許誤差達到一個標(biāo)準(zhǔn)差模型自然什么都不用做就能把損失壓到零。第二個原因是 C 太小模型沒有動力去擬合管道外的點。第三個原因是 gamma 太小RBF 核的寬度太大整個空間被平滑成一個常數(shù)。排查順序我建議固定成先確認(rèn) y 的尺度與 epsilon 是否匹配再檢查 best_params_ 里 C 是不是撞到了搜索區(qū)間的下界。如果 C 恰好是網(wǎng)格里的最小值說明搜索區(qū)間設(shè)錯了應(yīng)該往下再擴一檔。這個檢查動作只需要一行代碼但能省掉半天瞎調(diào)參。5.2 類別不平衡時暴力調(diào) C 的無效循環(huán)分類側(cè)有個經(jīng)典誤區(qū)少數(shù)類召回率低就不斷加大 C。結(jié)果往往是整體準(zhǔn)確率上去了少數(shù)類的 F1 反而更差因為 C 變大讓模型更傾向于把邊界附近的樣本都判給多數(shù)類以減少總體的違規(guī)數(shù)。真正的解法有兩步先用class_weightbalanced在損失層面修正再用 F1 或 AUC 而不是準(zhǔn)確率來做模型選擇。如果數(shù)據(jù)極度不平衡比如 1:100SVM 的整體收益會明顯下降這時候換成樹模型會更省心。還有一個容易被忽略的點SVC 默認(rèn)用的是 one-vs-one 多分類策略類別多的時候需要訓(xùn)練 n(n-1)/2 個二分類器。10 個類別就是 45 個模型訓(xùn)練時間和內(nèi)存都會明顯膨脹。類別數(shù)超過 10 的情況下我一般直接換LinearSVC或者別的模型而不是硬扛。5.3 數(shù)據(jù)量一大訓(xùn)練時間就不是線性的SVC 和 SVR 底層都是 libsvm 那套實現(xiàn)訓(xùn)練復(fù)雜度大致在 O(n2) 到 O(n3) 之間n 是樣本數(shù)。這個增長曲線在小樣本時看不出來一旦跨過某個臨界點就突然變得無法忍受。我自己的體感經(jīng)驗是n 在幾千以內(nèi)隨便調(diào)網(wǎng)格都很快n 到兩三萬一次訓(xùn)練就要幾十秒五折網(wǎng)格搜索直接變成整個下午n 到十萬以上基本就不用考慮核方法了。替代方案是明確的分類換LinearSVC或SGDClassifier回歸換LinearSVR或SGDRegressor它們用的是線性核和坐標(biāo)下降或隨機梯度復(fù)雜度接近線性。代價是丟掉 RBF 核的非線性表達能力但如果你的特征是稠密的高維數(shù)據(jù)比如文本的 TF-IDF線性核往往本來就夠用甚至效果更好。另外LinearSVR的 epsilon 語義和 SVR 一致但它的默認(rèn)max_iter比較小數(shù)據(jù)稍大就會報收斂警告。我在上面的代碼里顯式設(shè)成了 20000這是從多次報錯里總結(jié)出來的一個比較通用的值。收到收斂警告時不要直接忽略先看系數(shù)有沒有收斂否則結(jié)果可能完全不可信。5.4 概率輸出和預(yù)測區(qū)間被誤用最后一個坑更隱蔽把 SVC 的predict_proba當(dāng)成真實概率用。SVM 本身輸出的是到超平面的距離不是概率sklearn 里的概率是通過 Platt 縮放或者內(nèi)部交叉驗證擬合出來的在小樣本上偏差可能很大。如果你的業(yè)務(wù)需要可靠的概率比如風(fēng)控打分要么做后續(xù)的校準(zhǔn)要么換用天然輸出概率的模型。SVR 這邊對應(yīng)的坑是把預(yù)測值當(dāng)成有置信區(qū)間的估計。SVR 只給你一個點預(yù)測它不提供預(yù)測方差。想要區(qū)間得用分位數(shù)回歸、集成模型的方差估計或者干脆訓(xùn)練多個模型看輸出的離散程度。我見過有人拿 SVR 的輸出直接乘以 0.9 和 1.1 當(dāng)上下界這在業(yè)務(wù)上是非常危險的。6. 選型清單什么時候用 SVM什么時候用 SVR什么時候都別用6.1 按數(shù)據(jù)規(guī)模和特征維度分?jǐn)?shù)據(jù)規(guī)模是第一道篩子。樣本量在一萬以內(nèi)、特征維度幾十到幾千這兩個模型都在舒適區(qū)樣本量超過五萬優(yōu)先考慮線性變體超過十萬直接換梯度提升樹或線性模型。特征維度方面SVM 和 SVR 在樣本數(shù)少于特征數(shù)的場景下有天然優(yōu)勢因為它們的是通過支持向量而非全部樣本定義決策面泛化能力不容易被維度拖垮。文本分類就是典型例子TF-IDF 特征動輒幾萬維樣本只有幾千條線性 SVM 在這個場景里長期是強基線。但要注意高維稀疏特征下 RBF 核通常不如線性核。原因很實際稀疏向量之間的歐氏距離區(qū)分度很差RBF 核算出來的相似度都擠在一起模型學(xué)不到東西。所以文本場景我基本不試 RBF直接用 LinearSVC。6.2 按業(yè)務(wù)需求的容錯性分如果你的業(yè)務(wù)能明確說出誤差多少以內(nèi)無所謂那 SVR 值得優(yōu)先嘗試因為 epsilon 就是這個容忍度的直接映射模型會主動忽略這個范圍內(nèi)的偏差把注意力放在大的偏差上。這類場景包括需求預(yù)測、庫存預(yù)估、能耗預(yù)測——這些領(lǐng)域里預(yù)測偏幾十件、幾度電本來就不影響決策。反過來如果業(yè)務(wù)要求每個樣本都盡量擬合準(zhǔn)比如做物理仿真替代模型、做精密標(biāo)定那 SVR 的容錯帶反而變成缺點最小二乘或者高斯過程回歸更合適。分類側(cè)類似如果類別邊界模糊、噪聲大SVM 的最大間隔特性會帶來不錯的泛化如果類別界限清晰且數(shù)據(jù)量很大用 SVM 就是殺雞用牛刀還會拖慢整個流水線。6.3 我自己的取舍習(xí)慣總結(jié)成我實際工作中的幾條判斷習(xí)慣不一定對所有人適用但至少可復(fù)現(xiàn)小樣本、非線性、噪聲大、且我關(guān)心的是排序或分類邊界先上 SVM用 RBF 核加class_weightbalanced。小樣本、連續(xù)目標(biāo)、有明確誤差容忍區(qū)間先上 SVRy 做標(biāo)準(zhǔn)化epsilon 按容忍度折算。樣本量過萬先把線性變體跑一遍當(dāng)基線確認(rèn)核方法帶來的提升值不值得那份訓(xùn)練時間。只要開始出現(xiàn)預(yù)測值貼著均值或者支持向量占比超過 70%立刻回頭檢查 epsilon、C、gamma 三者的量綱和尺度不要在評估指標(biāo)上糾結(jié)。網(wǎng)格搜索的評價指標(biāo)永遠和業(yè)務(wù)對齊分類用 F1 或 AUC回歸用 MAE 或 RMSE不用默認(rèn)的 accuracy 和 R2。最后分享一個我在調(diào) SVR 時常用的低成本技巧先固定 gammascale只對 C 和 epsilon 做二維網(wǎng)格找到大致區(qū)域之后再放開 gamma 做一輪細化。因為 gamma 主要影響曲線的彎曲能力而 C 和 epsilon 影響的是緊不緊這兩類問題的可分離性比三個參數(shù)一起搜要好得多實測能少走很多彎路。