簡(jiǎn)介這是一份面向機(jī)器學(xué)習(xí)初學(xué)者和 Java 開(kāi)發(fā)者的線性回歸實(shí)現(xiàn)示例聚焦梯度下降與正態(tài)方程兩種求解方式。項(xiàng)目用小型 Java 程序從一組數(shù)據(jù)點(diǎn)中學(xué)習(xí)最佳擬合直線例如根據(jù) y Mx B 的輸入數(shù)據(jù)自動(dòng)找到 M 與 B 的近似值并支持選擇高階多項(xiàng)式特征來(lái)擬合非線性函數(shù)可作為理解監(jiān)督學(xué)習(xí)基礎(chǔ)原理的入門(mén)代碼。壓縮包共 13 個(gè)文件體積約 44KB核心為 3 個(gè) Java 源文件另有 5 個(gè) txt 格式的訓(xùn)練數(shù)據(jù)樣本含來(lái)自 Andrew Ng 課程的示例數(shù)據(jù)、配置文件與說(shuō)明文檔以及 JAMA 矩陣運(yùn)算庫(kù)的 jar 包便于直接運(yùn)行和學(xué)習(xí)。目前已有 252 人學(xué)習(xí)瀏覽。通過(guò)閱讀源碼和切換不同訓(xùn)練數(shù)據(jù)可以對(duì)比梯度下降迭代求解與正態(tài)方程直接求解的差異同時(shí)了解如何在 Java 項(xiàng)目中引入第三方矩陣庫(kù)并觀察特征選擇對(duì)回歸結(jié)果的影響適合教學(xué)演示、課程作業(yè)或新手自學(xué)。1. 線性回歸的同一個(gè)解梯度下降與正態(tài)方程為什么殊途同歸很多剛接觸機(jī)器學(xué)習(xí)的開(kāi)發(fā)者都有同一個(gè)困惑線性回歸的最小二乘問(wèn)題梯度下降要迭代幾千輪才給出一個(gè)近似解正態(tài)方程卻像變魔術(shù)一樣一步解出來(lái)。更玄的是這兩條路線算出的參數(shù)幾乎完全一致。想穿透這層表象必須落回誤差函數(shù)的形狀本身——線性回歸的成本函數(shù)是凸的只有一個(gè)全局最低點(diǎn)所以無(wú)論用負(fù)梯度路徑逼近還是用解析法一步求解終點(diǎn)都是同一個(gè)參數(shù)向量。這份用 Java 實(shí)現(xiàn)的 Linear-Regression 資源剛好把兩條路線同時(shí)擺在面前。這里從機(jī)制層面拆解它梯度下降為什么能收斂、正態(tài)方程為什么一步到位以及特征縮放、矩陣求逆這些工程細(xì)節(jié)里的坑在哪。2. 梯度下降步長(zhǎng)與走向決定收斂還是發(fā)散2.1 凸地形為什么線性回歸沒(méi)有局部最優(yōu)陷阱把誤差函數(shù)畫(huà)成曲面梯度下降的每一步都是在問(wèn)當(dāng)前這個(gè)點(diǎn)往哪個(gè)方向走下降最快。對(duì)這個(gè)曲面形狀的判斷決定了你對(duì)梯度下降的全部信心來(lái)源。線性回歸用的成本函數(shù) J(θ) 通常寫(xiě)成J(θ) (1/2m) Σ(h(x_i) - y_i)2其中 h(x) θ_0 x_0 θ_1 x_1 ... θ_n x_n并且通常約定 x_0 1這樣 θ_0 就是截距項(xiàng)。關(guān)鍵點(diǎn)在于h(x) 對(duì)參數(shù) θ 是線性關(guān)系所以 J(θ) 展開(kāi)之后是 θ 的二次函數(shù)。二次函數(shù)要么開(kāi)口向上要么開(kāi)口向下這里由于平方項(xiàng)前面沒(méi)有負(fù)系數(shù)必然開(kāi)口向上形狀像一個(gè)碗。決定碗沿曲率的是海森矩陣 X?X它天然是半正定的這意味著誤差曲面上既沒(méi)有局部低谷也沒(méi)有馬鞍點(diǎn)。這個(gè)性質(zhì)比很多深度學(xué)習(xí)任務(wù)幸運(yùn)得多。神經(jīng)網(wǎng)絡(luò)里非凸的誤差曲面到處都是局部最優(yōu)和鞍點(diǎn)訓(xùn)練對(duì)初始化極其敏感而線性回歸的成本面是嚴(yán)格的凸函數(shù)從參數(shù)空間任何一個(gè)點(diǎn)出發(fā)梯度下降都只會(huì)滾向同一個(gè)碗底。初值最多影響到達(dá)速度不影響最終落在哪里。這也是為什么線性回歸常常被拿來(lái)當(dāng)機(jī)器學(xué)習(xí)的第一個(gè)入門(mén)模型——它把“優(yōu)化”這層黑匣子打開(kāi)后里面的結(jié)構(gòu)是干凈的。2.2 學(xué)習(xí)率與更新步長(zhǎng)走快了發(fā)散走慢了磨蹭梯度方向只給出角度不給出距離。距離由學(xué)習(xí)率 α 決定更新規(guī)則寫(xiě)成θ_j : θ_j - α · (1/m) Σ(h(x_i) - y_i) · x_j^(i)逐項(xiàng)拆開(kāi)看如果某個(gè)特征上的預(yù)測(cè)誤差 (h-y) 整體偏大說(shuō)明當(dāng)前 θ_j 偏低梯度為正減去它就上調(diào)反過(guò)來(lái)預(yù)測(cè)偏高梯度為負(fù)減去它反而下調(diào)。這個(gè)負(fù)號(hào)是整條更新規(guī)則的核心它保證每次移動(dòng)都在壓低成本而不是抬升成本。梯度是當(dāng)前點(diǎn)的最速上升方向取負(fù)號(hào)就是局部最速下降但這個(gè)結(jié)論只在無(wú)窮小步長(zhǎng)下嚴(yán)格成立。α 一旦不是無(wú)窮小跨出一步之后地形已經(jīng)變了所以每一步本質(zhì)上都是局部近似決策這也是梯度下降這個(gè)名字沒(méi)有“精確”兩個(gè)字的原因。α 太小幾百輪之后還在碗邊磨蹭計(jì)算資源全花在無(wú)效位移上α 太大一步跨過(guò)碗底、沖到對(duì)面坡上來(lái)回震蕩甚至越彈越高代價(jià)曲線肉眼可見(jiàn)地往上飛。經(jīng)典的血淚經(jīng)驗(yàn)是從 0.01 起步按十倍縮放試探直到看到 cost 平滑下降、沒(méi)有鋸齒就停手。如果用的是真實(shí)業(yè)務(wù)數(shù)據(jù)特征尺度和噪聲都不確定這個(gè)調(diào)參過(guò)程幾乎無(wú)法跳過(guò)只有特征縮放能把它壓到最低見(jiàn)第 4 章。2.3 批量梯度下降的 Java 實(shí)現(xiàn)同步更新是隱形的坑public double[] gradientDescent(double[][] X, double[] y, double[] theta, double alpha, int maxIter) { int m y.length; int n theta.length; for (int iter 0; iter maxIter; iter) { double[] grad new double[n]; // 第一趟基于當(dāng)前 theta 計(jì)算所有特征的梯度分量 for (int j 0; j n; j) { double sum 0; for (int i 0; i m; i) { double h predict(X[i], theta); // 當(dāng)前預(yù)測(cè)值 h(x^(i)) sum (h - y[i]) * X[i][j]; // 對(duì) theta_j 的偏導(dǎo)累加 } grad[j] sum / m; // 平均梯度 } // 第二趟梯度全部算完再統(tǒng)一更新 theta for (int j 0; j n; j) { theta[j] - alpha * grad[j]; } } return theta; }這段實(shí)現(xiàn)里最容易被寫(xiě)壞的細(xì)節(jié)是同步更新。所有 θ_j 必須基于舊參數(shù)計(jì)算梯度全部算完之后再一次應(yīng)用更新。如果邊算邊改比如先更新 θ_0再拿被改過(guò)的 θ_0 去算 θ_1 的梯度那么每一維使用的參數(shù)狀態(tài)都不一樣方法不再是沿梯度方向的整體移動(dòng)而變成了坐標(biāo)下降的變體。對(duì)凸問(wèn)題它未必發(fā)散但收斂路徑會(huì)扭曲代價(jià)曲線會(huì)出現(xiàn)不規(guī)則抖動(dòng)排查起來(lái)很迷惑。另外注意 grad[j] sum / m 使用的是平均梯度。成本函數(shù)里 1/m 的求和平均在求導(dǎo)后仍然留下 1/m。有些實(shí)現(xiàn)還會(huì)在成本函數(shù)里多除以一個(gè) 2那是為了讓推導(dǎo)過(guò)程中二次項(xiàng)的 2 被抵消對(duì)最終最優(yōu)解沒(méi)有任何影響只要成本函數(shù)和梯度公式的比例保持一致即可。真正重要的是 predict(X[i], theta) 默認(rèn) X 的第一列是常數(shù) 1。你在構(gòu)造特征矩陣時(shí)忘了加這一列模型就會(huì)退化成過(guò)原點(diǎn)的線性映射截距項(xiàng)失去存在的意義預(yù)測(cè)值整體偏離目標(biāo)均值方向。3. 正態(tài)方程一步求解背后的正交投影與矩陣推導(dǎo)3.1 從幾何視角看最小二乘殘差為什么必須垂直于特征空間梯度下降把求最優(yōu)參數(shù)變成一個(gè)走路的游戲正態(tài)方程則繞開(kāi)了走路直接算出碗底的位置。這個(gè)“一步到位”能成立靠的是殘差與特征空間的正交關(guān)系。把特征矩陣 X 的每一列看成一個(gè)向量。預(yù)測(cè)值 y_hat Xθ 永遠(yuǎn)落在 X 的列空間里也就是由特征向量張成的子空間。真實(shí)值 y 通常不落在這個(gè)子空間里所以殘差向量 r y - Xθ 一定存在。我們要最小化的是 ||r||2即殘差的平方長(zhǎng)度。幾何直觀給出答案向量到子空間的最短距離出現(xiàn)在殘差向量與子空間垂直的那一刻。一旦垂直殘差與 X 的每一列都正交于是 X?(y - Xθ) 0。把這個(gè)條件展開(kāi)就得到 X?Xθ X?y。這個(gè)方程的名字 normal equation 里的 “normal” 指的就是“垂直、正交”。所以正態(tài)方程不是拍腦袋湊出來(lái)的公式而是“殘差垂直”這個(gè)幾何條件經(jīng)過(guò)矩陣轉(zhuǎn)置之后的投影。想理解它為什么不用迭代核心就在這一句話梯度下降是在曲面上找下降路徑正態(tài)方程是直接解出垂直條件本身滿(mǎn)足的線性系統(tǒng)。3.2 代數(shù)推導(dǎo)矩陣求導(dǎo)那一步到底在做什么順著代數(shù)來(lái)推同樣能到達(dá)同一方程。成本函數(shù)寫(xiě)成向量形式J(θ) (1/2m) ||y - Xθ||2 (1/2m)(y - Xθ)?(y - Xθ)對(duì)它求梯度套用矩陣求導(dǎo)法則?J(θ) -(1/m)X?(y - Xθ)令梯度等于零得到 X?Xθ X?y再解 θθ (X?X)?1X?y注意中間這一步的兩次運(yùn)算其實(shí)就是計(jì)算殘差與所有特征的內(nèi)積。梯度為零恰好對(duì)應(yīng)“殘差與特征張成的子空間正交”與幾何視角完全一致。這一招之所以能一步到位是因?yàn)槎魏瘮?shù)導(dǎo)數(shù)唯一、極小點(diǎn)唯一換成任意非凸目標(biāo)函數(shù)令梯度為零只能得到駐點(diǎn)不一定是全局最小值甚至可能落在鞍點(diǎn)上。3.3 Java 里別直接求逆矩陣高斯消元的實(shí)現(xiàn)思路public double[] normalEquation(double[][] X, double[] y) { int n X[0].length; double[][] A new double[n][n]; double[] b new double[n]; // 構(gòu)造正規(guī)方程組A X?Xb X?y for (int i 0; i n; i) { for (int j 0; j n; j) { double sum 0; for (int k 0; k X.length; k) { sum X[k][i] * X[k][j]; } A[i][j] sum; } double sum 0; for (int k 0; k X.length; k) { sum X[k][i] * y[k]; } b[i] sum; } // 高斯消元選主元提升數(shù)值穩(wěn)定性 for (int col 0; col n; col) { int pivot col; for (int row col 1; row n; row) { if (Math.abs(A[row][col]) Math.abs(A[pivot][col])) { pivot row; } } // 交換主元行 double[] tmpRow A[col]; A[col] A[pivot]; A[pivot] tmpRow; double tmpB b[col]; b[col] b[pivot]; b[pivot] tmpB; // 消去當(dāng)前列下方的元素 for (int row col 1; row n; row) { double factor A[row][col] / A[col][col]; for (int j col; j n; j) { A[row][j] - factor * A[col][j]; } b[row] - factor * b[col]; } } // 回代求解 double[] theta new double[n]; for (int row n - 1; row 0; row--) { double sum b[row]; for (int col row 1; col n; col) { sum - A[row][col] * theta[col]; } theta[row] sum / A[row][row]; } return theta; }這里刻意沒(méi)有直接求 (X?X)?1 再乘 b原因有兩個(gè)。其一顯式求逆在浮點(diǎn)下更容易放大誤差計(jì)算逆矩陣相當(dāng)于同時(shí)解 n 個(gè)線性方程組中間數(shù)值可能很大而且大部分計(jì)算我們根本用不到。其二我們想要的是 θ A?1b它本質(zhì)上是一個(gè)線性方程組的解直接對(duì) A 做高斯消元再回代復(fù)雜度同樣是 O(n3)但常數(shù)更小代碼也更直觀。實(shí)現(xiàn)里有一處性能細(xì)節(jié)值得注意構(gòu)造 A 時(shí)循環(huán)順序是 i → j → k把 k 放在最內(nèi)層。Java 的二維數(shù)組按行存儲(chǔ)i 和 j 確定后內(nèi)層 k 在同一行里順序訪問(wèn)緩存命中率高。如果把 k 放最外層每個(gè)內(nèi)部訪問(wèn)都會(huì)跨到不同行不同列特征較多時(shí)性能肉眼可見(jiàn)地惡化。選主元的邏輯也不可省略當(dāng) A 的對(duì)角元素接近于零時(shí)直接做除法會(huì)產(chǎn)生天文數(shù)字級(jí)別的因子選主元通過(guò)行交換把最大的元素挪到對(duì)角線位置把數(shù)值風(fēng)險(xiǎn)掐在除法之前。4. Java 實(shí)現(xiàn)細(xì)節(jié)特征縮放、截距項(xiàng)與收斂判定4.1 特征縮放為什么只踩在梯度下降的痛處先擺結(jié)論正態(tài)方程對(duì)特征尺度在原理上不敏感梯度下降則非常敏感。原因是兩者處理信息的方式不同。梯度下降只用局部梯度做決策而梯度方向本身不具備對(duì)坐標(biāo)軸的縮放不變性。假設(shè)一個(gè)特征取值在 0.001 量級(jí)另一個(gè)特征取值在 10000 量級(jí)成本函數(shù)的等值線會(huì)被拉成細(xì)長(zhǎng)的橢圓。橢圓長(zhǎng)軸方向曲率極低短軸方向曲率極高梯度下降會(huì)在窄的那個(gè)維度上來(lái)回震蕩像在一條深溝里左右彈跳遲遲不往前推進(jìn)。這也是許多線性回歸代碼在跑梯度下降之前先做均值歸一化的原因public double[][] normalize(double[][] X) { int m X.length, n X[0].length; double[][] scaled new double[m][n]; // 第 0 列假定是截距項(xiàng)不參與縮放 for (int j 1; j n; j) { double mean 0; for (int i 0; i m; i) mean X[i][j]; mean / m; double variance 0; for (int i 0; i m; i) { variance (X[i][j] - mean) * (X[i][j] - mean); } double std Math.sqrt(variance / m); for (int i 0; i m; i) { scaled[i][j] (X[i][j] - mean) / std; } } return scaled; }縮放之后每個(gè)特征接近零均值、單位標(biāo)準(zhǔn)差等值線接近圓形梯度下降不管從哪個(gè)點(diǎn)出發(fā)方向都大致指向碗底。而正態(tài)方程之所以無(wú)所謂是因?yàn)榻馕鼋庵苯觼?lái)自矩陣運(yùn)算對(duì) X 做列變換等價(jià)于在特征空間里做一個(gè)線性變換系數(shù)會(huì)相應(yīng)補(bǔ)償最后得到的預(yù)測(cè)值不變。矩陣乘法天然內(nèi)建了坐標(biāo)變換的相容性不需要像梯度下降那樣關(guān)心路徑上的坡度。4.2 截距項(xiàng)這一列到底該不該歸一化上面的 normalize 代碼里第 0 列被跳過(guò)了。這是有意設(shè)計(jì)。截距項(xiàng)對(duì)應(yīng)的 x_0 是常數(shù) 1它的作用是為模型提供一個(gè)基線偏移。如果把它也拿去減均值、除標(biāo)準(zhǔn)差這一列會(huì)變成一個(gè)不為 1 的常數(shù)模型的 θ_0 跟特征尺度糾纏在一起預(yù)測(cè)值在訓(xùn)練集上也許還能擬合但泛化時(shí)截距的語(yǔ)義完全錯(cuò)亂。更隱蔽的問(wèn)題是統(tǒng)計(jì)量的復(fù)用。歸一化必須在訓(xùn)練集上算出 mean 和 std然后拿著同一組 mean/std 去變換訓(xùn)練集和測(cè)試集。很多實(shí)現(xiàn)翻車(chē)就翻在這里對(duì)測(cè)試集重新計(jì)算均值再用來(lái)縮放測(cè)試數(shù)據(jù)。測(cè)試集分布本來(lái)就跟訓(xùn)練集不完全一致一旦重算統(tǒng)計(jì)量特征尺度就變了等于把模型喂給分布外的輸入。訓(xùn)練時(shí)的截距、系數(shù)都建立在訓(xùn)練集統(tǒng)計(jì)量之上預(yù)測(cè)階段必須保持完全相同的坐標(biāo)變換。4.3 收斂判定三種口徑各有各的盲區(qū)迭代什么時(shí)候算數(shù)常見(jiàn)三種判定方式成本函數(shù)下降幅度小于某個(gè)閾值梯度范數(shù)小于某個(gè)閾值最多迭代次數(shù)只看第 1 種會(huì)出現(xiàn)假收斂成本函數(shù)在接近碗底時(shí)下降本來(lái)就越來(lái)越慢坡度平緩不代表已經(jīng)到終點(diǎn)。第 2 種更接近數(shù)學(xué)本質(zhì)梯度為零才是真正的駐點(diǎn)梯度范數(shù)小說(shuō)明確實(shí)走不動(dòng)了。第 3 種是保險(xiǎn)絲防止前兩種在異常情況下永遠(yuǎn)不觸發(fā)。public boolean converged(double[] theta, double[][] X, double[] y, double eps, double[] lastGrad) { double norm 0; for (double g : lastGrad) norm g * g; norm Math.sqrt(norm); return norm eps; }這個(gè)判斷只看梯度范數(shù)不關(guān)心 cost 的絕對(duì)值代價(jià)是每輪都要多算一次梯度。工程上可以交替著用每隔幾百輪打印一次 cost 和梯度范數(shù)肉眼看到 cost 平滑下降到平臺(tái)期、梯度范數(shù)同步萎縮才算真正心里有底。只靠迭代次數(shù)硬闖很可能迭代上限設(shè)小了算法停在半山腰輸出一份看似合理但還沒(méi)到最優(yōu)的參數(shù)。5. 常見(jiàn)問(wèn)題排查梯度下降翻車(chē)與正態(tài)方程的數(shù)值陷阱5.1 損失曲線不降反升學(xué)習(xí)率太大現(xiàn)象cost 打印出來(lái)一輪比一輪高甚至直接變成 NaN圖像上是一條向上沖的曲線。原因?qū)W習(xí)率 α 太大梯度下降一步跨過(guò)了碗底沖上對(duì)面坡之后新位置的梯度更陡下一輪跨得更遠(yuǎn)最終一路滾出參數(shù)空間。在浮點(diǎn)層面過(guò)大的中間值還會(huì)溢出成無(wú)窮大后面的減法全失效。解決把 α 往小調(diào)按 10 倍量級(jí)試探0.1 → 0.01 → 0.001直到 cost 單調(diào)下降。更穩(wěn)的做法是畫(huà)收斂曲線看到鋸齒震蕩就縮減步長(zhǎng)看到平滑下降就維持當(dāng)前量級(jí)。5.2 矩陣奇異特征冗余與樣本不足互相打架現(xiàn)象跑正態(tài)方程時(shí)高斯消元在某一步出現(xiàn)除零或者回代解出的 θ 數(shù)值大得離譜。原因X?X 不可逆沒(méi)有唯一解。典型場(chǎng)景有三個(gè)特征之間存在線性相關(guān)比如同時(shí)放入攝氏溫度和華氏溫度兩列只差一個(gè)線性變換樣本數(shù) m 小于特征數(shù) n或者數(shù)據(jù)里有一列全是常數(shù)。解決刪掉冗余維度、增加樣本量或者給 X?X 對(duì)角線加上一個(gè)小常數(shù) λI變成嶺回歸形式的 (X?X λI)?1X?y。注意這里的 λ 不是學(xué)習(xí)率正則化強(qiáng)度通常取 1e-6 到 1 之間的小值目的是讓奇異矩陣變得可逆代價(jià)是參數(shù)有輕微偏差。它是數(shù)值上的后悔藥不是建模策略。5.3 特征量綱差異大梯度下降龜速但 cost 曲線平坦現(xiàn)象學(xué)習(xí)率已經(jīng)調(diào)得很小cost 還是下降極慢幾百輪過(guò)去沒(méi)怎么動(dòng)只有調(diào)大 α 又立刻震蕩。原因特征沒(méi)有縮放成本函數(shù)等值線被拉成狹長(zhǎng)橢圓。梯度在短軸方向來(lái)回反彈長(zhǎng)軸方向緩慢推進(jìn)宏觀表現(xiàn)就是“怎么走都不順”。解決跑梯度下降前強(qiáng)制做均值歸一化并且只縮放非截距列。做了之后往往發(fā)現(xiàn)同樣的 α 就能正常收斂問(wèn)題不在步長(zhǎng)而在地形。5.4 浮點(diǎn)求和順序特征多時(shí)正態(tài)方程悄悄漂移現(xiàn)象正態(tài)方程解出的參數(shù)與梯度下降結(jié)果不一致特征數(shù)量上百之后偏差明顯隨著特征增多越來(lái)越大。原因X?X 每個(gè)元素都是 m 個(gè)乘積的和特征之間數(shù)量級(jí)差異大時(shí)某些求和項(xiàng)接近一正一負(fù)互相抵消浮點(diǎn)在求和過(guò)程中丟失了有效位。這是數(shù)學(xué)上無(wú)懈可擊的公式落到 IEEE 754 浮點(diǎn)之后有了次序相關(guān)的舍入誤差。解決先對(duì)特征做歸一化再構(gòu)造 X?X把條件數(shù)壓下來(lái)高斯消元里選主元已經(jīng)是第一道防線。若還嫌不夠可以在內(nèi)層求和時(shí)改用 Kahan 補(bǔ)償求和記錄每一步的舍入誤差把精度損失補(bǔ)回來(lái)。對(duì)絕大多數(shù)場(chǎng)景特征歸一化加選主元已經(jīng)足夠。5.5 提前終止的假收斂cost 平臺(tái)不等于最優(yōu)現(xiàn)象cost 曲線看起來(lái)已經(jīng)平了但把參數(shù)拿去驗(yàn)證集上評(píng)估效果明顯不對(duì)或者再繼續(xù)迭代還能繼續(xù)下降。原因收斂條件寫(xiě)成了“相鄰兩輪 cost 差小于閾值”而在某些地形下 cost 下降在很早期就會(huì)出現(xiàn)一個(gè)平緩的平臺(tái)尤其特征數(shù)量大、步長(zhǎng)小時(shí)更明顯。梯度還不夠小只是變化慢了。解決改用梯度范數(shù)作為終止條件并設(shè)足夠大的最大迭代次數(shù)作為保險(xiǎn)。如果計(jì)算資源允許保留一個(gè)驗(yàn)證集把每輪的驗(yàn)證誤差也打出來(lái)看到驗(yàn)證誤差還在改善就繼續(xù)迭代直到驗(yàn)證誤差開(kāi)始回升才考慮早停。6. 復(fù)雜度與適用邊界這份實(shí)現(xiàn)什么時(shí)候該被替換梯度下降與正態(tài)方程本質(zhì)解同一個(gè)問(wèn)題但代價(jià)曲線完全不同。批量梯度下降每一輪需要掃描全部 m 個(gè)樣本對(duì) n 個(gè)特征各算一次梯度單輪復(fù)雜度 O(mn)總輪數(shù)取決于數(shù)據(jù)規(guī)模和條件數(shù)通常在幾百到幾萬(wàn)之間。正態(tài)方程需要構(gòu)造 X?X復(fù)雜度 O(mn2)樸素實(shí)現(xiàn)下每個(gè)元素都要掃一遍 m再解一個(gè) n×n 的線性方程組整體 O(n3)。兩者在資源消耗上的分水嶺非常清楚維度梯度下降正態(tài)方程單輪/單次復(fù)雜度O(mn)輪數(shù)不定O(mn2 n3)內(nèi)存需求存特征矩陣即可額外存 n×n 矩陣特征數(shù)量 n適合 n 很大的場(chǎng)景n 過(guò)千后明顯吃力增量更新支持在線學(xué)習(xí)來(lái)一個(gè)新樣本就能更新一步需要全量重算數(shù)值穩(wěn)定性依賴(lài)學(xué)習(xí)率與縮放依賴(lài)條件數(shù)病態(tài)時(shí)易飄這張表告訴我的不是“哪個(gè)更好”而是“數(shù)據(jù)長(zhǎng)什么樣就應(yīng)該選哪條路”。n 小比如幾十到幾百、m 再大也不怕的時(shí)候正態(tài)方程幾乎總是更省事不用調(diào)學(xué)習(xí)率不用養(yǎng)收斂曲線一步到位。n 上了幾千、甚至特征稀疏到無(wú)法直接塞進(jìn) dumux 矩陣時(shí)梯度下降配合特征縮放和正則化更可控而且可以通過(guò)隨機(jī)梯度下降把單輪復(fù)雜度降到 O(n)犧牲精度換取速度。這份 Java 實(shí)現(xiàn)把兩條路線都放在一個(gè)資源里正好適合當(dāng)作對(duì)比實(shí)驗(yàn)臺(tái)構(gòu)造一份中等規(guī)模的數(shù)據(jù)先跑正態(tài)方程得到參考參數(shù)再跑梯度下降對(duì)比兩者的 cost 曲線和最終 θ。我自己拿到任何線性回歸數(shù)據(jù)的第一件事就是先數(shù)清 m 和 n再?zèng)Q定主線走哪條路如果兩條路線都在代碼里就強(qiáng)制自己把兩邊結(jié)果交叉比對(duì)一遍一致才敢把模型拿去部署。這個(gè)習(xí)慣幫我攔住過(guò)好幾回 beta 階段才發(fā)現(xiàn)的數(shù)據(jù)拼接錯(cuò)誤——當(dāng)梯度下降和正態(tài)方程給出的參數(shù)不一致幾乎總能挖出一個(gè)底層 bug要么特征沒(méi)對(duì)齊要么歸一化泄漏要么矩陣構(gòu)造時(shí)下標(biāo)越界。希望這份資源的代碼也能給你同樣的確定性也希望這套“先看數(shù)據(jù)規(guī)模、再選算法路線、最后交叉驗(yàn)證”的思路對(duì)你接下來(lái)的項(xiàng)目有幫助。本文還有配套的精品資源點(diǎn)擊獲取