1. 從“感知”到“分類”神經(jīng)網(wǎng)絡分類的起點如果你剛接觸機器學習看到“用神經(jīng)網(wǎng)絡做分類”這個標題可能會立刻想到那些動輒幾十上百層、參數(shù)上億的復雜模型感覺無從下手。但我想告訴你的是一切復雜的起點往往都出奇地簡單。今天我們不聊那些“巨無霸”而是回到最初的原點——感知機。它不僅是神經(jīng)網(wǎng)絡和深度學習大廈的第一塊磚更是理解“機器如何學習分類”最直觀、最本質(zhì)的模型。我自己在帶新人入門時也總是從這里開始因為吃透了感知機你就能理解后續(xù)所有復雜模型比如支持向量機、多層感知機核心思想的一半。簡單來說感知機是一個用于二分類的線性模型。你可以把它想象成一個極其簡化的“神經(jīng)元”。它的任務就是給你一些數(shù)據(jù)比如客戶的年齡和收入它需要判斷這個客戶是否會購買某產(chǎn)品是或否。它通過學習一條直線在二維空間或一個超平面在高維空間把兩類數(shù)據(jù)點分開。雖然它簡單到連“異或”這種非線性問題都解決不了但正是這種“缺陷”催生了更深層網(wǎng)絡的發(fā)展。所以學習感知機絕不是學習一個過時的工具而是掌握一套理解參數(shù)、權(quán)重、損失函數(shù)和優(yōu)化過程的底層思維框架。無論你是學生、轉(zhuǎn)行者還是想夯實基礎(chǔ)的在職工程師這篇文章都會帶你親手“造”出一個感知機并理解它每一步背后的“為什么”。2. 感知機核心原理與數(shù)學模型拆解要真正會用感知機死記公式是沒用的必須理解它每一個組成部分的設(shè)計意圖和數(shù)學含義。我們把它拆開來看。2.1 模型結(jié)構(gòu)與前向傳播決策是如何做出的感知機的結(jié)構(gòu)非常簡單。假設(shè)我們的輸入數(shù)據(jù)有n個特征比如判斷西瓜好壞特征可以是色澤、根蒂、敲聲等。那么輸入一個n維向量x [x1, x2, ..., xn]。通常我們會增加一個恒為1的偏置項x0這樣可以把閾值也融入權(quán)重中處理讓形式更統(tǒng)一。權(quán)重對應每個輸入特征都有一個權(quán)重w [w1, w2, ..., wn]以及一個偏置項w0。權(quán)重wi直觀地反映了第i個特征對最終決策的重要性。例如在判斷貸款風險時“年收入”這個特征的權(quán)重可能很大且為正而“逾期次數(shù)”的權(quán)重可能為負。加權(quán)和與激活函數(shù)感知機計算所有輸入特征與對應權(quán)重的點積再加上偏置得到凈輸入z w·x b Σ(wi * xi) b。這個z的值可能是一個任意實數(shù)。激活函數(shù)關(guān)鍵感知機使用一個叫階躍函數(shù)的激活函數(shù)。它的規(guī)則極其簡單如果z 0輸出1代表正類如果z 0輸出0或-1代表負類不同教材約定不同我們后續(xù)用-1。這個函數(shù)就像一道硬閘門沒有中間狀態(tài)。所以整個前向傳播過程就是輸入x→計算z w·x b→通過階躍函數(shù)輸出預測標簽 y_hat sign(z)。這里的sign是符號函數(shù)。這條“w·x b 0”的方程就是我們要尋找的分類決策邊界。2.2 學習規(guī)則模型如何從錯誤中學習感知機不會天生就知道正確的權(quán)重。它需要一個學習過程核心就是感知機學習算法。這個算法的思想樸素而強大如果分類正確則皆大歡喜權(quán)重不動如果分類錯誤則根據(jù)錯誤程度調(diào)整權(quán)重把決策邊界“推”向正確方向。具體更新規(guī)則如下初始化權(quán)重w和偏置b通常設(shè)為0或小的隨機數(shù)。遍歷訓練數(shù)據(jù)或一個批次。對于每一個樣本(x, y)其中y是真實標簽1 或 -1 a. 計算預測值y_hat sign(w·x b)。 b.如果y_hat等于y說明預測正確權(quán)重無需更新。 c.如果y_hat不等于y說明預測錯誤。此時更新權(quán)重和偏置w w η * y * xb b η * y當使用y ∈ {-1, 1}且sign(0)輸出 -1 的約定時我們來深入理解一下這個更新公式w w η * y * x背后的邏輯y是真實標簽。它決定了調(diào)整的方向。x是樣本特征向量。更新是與樣本特征成比例的。η是學習率一個大于0的超參數(shù)控制每次更新的步長。為什么這樣更新有效舉個例子假設(shè)真實標簽y 1正類但模型預測成了負類即w·x b 0。根據(jù)更新公式新的權(quán)重變?yōu)閣_new w_old η * (1) * x。那么對于這個樣本x的新凈輸入為w_new·x b_new (w_old ηx)·x (b_old η) (w_old·x b_old) η(||x||^2 1)由于η(||x||^2 1) 0新的凈輸入相比舊的凈輸入增加了從而更可能大于0使得下次遇到相同或相似樣本時預測為正類的可能性增大。對于y -1但預測為正類的情況更新是w_new w_old η * (-1) * x會使凈輸入減小促使預測向負類靠攏。這個過程可以直觀理解為把錯誤樣本的特征向量按其標簽的方向“加”到權(quán)重向量上從而讓權(quán)重向量轉(zhuǎn)向更有利于正確分類該樣本的方向。2.3 收斂性與局限性感知機能解決所有問題嗎感知機學習算法有一個重要的理論保證——感知機收斂定理。該定理指出如果訓練數(shù)據(jù)是線性可分的即存在一條直線/超平面能完美分開兩類數(shù)據(jù)那么感知機學習算法可以在有限次迭代內(nèi)找到一個解即一組權(quán)重使得所有訓練樣本都被正確分類。注意這個定理的前提“線性可分”至關(guān)重要。它也直接揭示了感知機最大的局限性它只能解決線性可分問題。最經(jīng)典的反例就是“異或”問題。在二維平面上異或問題的兩個類別無法用一條直線分開。當數(shù)據(jù)線性不可分時感知機的學習過程會陷入震蕩永遠無法收斂到一個對所有樣本都正確的解。正是這個局限性推動了神經(jīng)網(wǎng)絡的發(fā)展。為了解-決非線性問題我們在感知機的基礎(chǔ)上堆疊多層并引入非線性的激活函數(shù)如Sigmoid, ReLU這就得到了多層感知機也就是現(xiàn)代深度神經(jīng)網(wǎng)絡的前身。因此理解感知機的局限比理解它的能力更重要。3. 從零開始實現(xiàn)一個感知機分類器理解了原理最好的鞏固方式就是親手實現(xiàn)一遍。這里我用Python和NumPy從零開始構(gòu)建一個感知機并使用一個經(jīng)典數(shù)據(jù)集進行演示。我會詳細解釋每一行代碼的意圖。3.1 環(huán)境準備與數(shù)據(jù)合成我們首先創(chuàng)建一個線性可分的數(shù)據(jù)集以便觀察感知機的完美工作過程。import numpy as np import matplotlib.pyplot as plt # 設(shè)置隨機種子確保結(jié)果可復現(xiàn) np.random.seed(42) # 合成線性可分數(shù)據(jù) def generate_linear_separable_data(n_samples100): # 生成正類樣本 (標簽為1): 圍繞中心點(2, 2)添加高斯噪聲 X_pos np.random.randn(n_samples // 2, 2) np.array([2, 2]) y_pos np.ones(n_samples // 2) # 生成負類樣本 (標簽為-1): 圍繞中心點(-2, -2)添加高斯噪聲 X_neg np.random.randn(n_samples // 2, 2) np.array([-2, -2]) y_neg -np.ones(n_samples // 2) # 合并數(shù)據(jù)和標簽 X np.vstack((X_pos, X_neg)) y np.hstack((y_pos, y_neg)) # 打亂數(shù)據(jù)順序避免學習順序產(chǎn)生偏差 indices np.arange(n_samples) np.random.shuffle(indices) return X[indices], y[indices] # 生成數(shù)據(jù) X_train, y_train generate_linear_separable_data(200) print(f數(shù)據(jù)形狀: X_train {X_train.shape}, y_train {y_train.shape}) print(f標簽分布: {np.unique(y_train, return_countsTrue)})這段代碼生成了兩類分別聚集在(2,2)和(-2,-2)附近的數(shù)據(jù)點它們顯然是線性可分的。我們使用-1和1作為標簽這是感知機算法的常見約定。3.2 感知機類的實現(xiàn)接下來我們實現(xiàn)一個完整的感知機類包含初始化、訓練和預測方法。class Perceptron: 感知機分類器實現(xiàn)。 使用標簽 y ∈ {-1, 1}。 def __init__(self, learning_rate0.01, n_iters1000): 初始化感知機。 參數(shù): learning_rate (float): 學習率控制權(quán)重更新步長。 n_iters (int): 訓練最大迭代次數(shù)。 self.lr learning_rate self.n_iters n_iters self.weights None self.bias None # 記錄每次迭代的錯誤分類數(shù)用于可視化學習過程 self.errors_history [] def fit(self, X, y): 訓練感知機模型。 參數(shù): X (ndarray): 訓練特征矩陣形狀 (n_samples, n_features)。 y (ndarray): 訓練標簽向量形狀 (n_samples,)元素為 -1 或 1。 返回: self: 訓練好的模型實例。 n_samples, n_features X.shape # 1. 初始化參數(shù)權(quán)重初始為0偏置初始為0。 # 這是一種簡單的初始化方式。在實踐中對小隨機數(shù)初始化可能有助于打破對稱性但對感知機影響不大。 self.weights np.zeros(n_features) self.bias 0.0 # 2. 開始迭代訓練 for epoch in range(self.n_iters): epoch_errors 0 # 記錄本輪迭代的錯誤數(shù) for idx, x_i in enumerate(X): # 計算線性輸出 linear_output np.dot(x_i, self.weights) self.bias # 應用階躍函數(shù)進行預測 y_pred np.where(linear_output 0, 1, -1) # 3. 感知機更新規(guī)則僅當預測錯誤時更新 if y_pred ! y[idx]: # 核心更新步驟 update self.lr * y[idx] self.weights update * x_i self.bias update epoch_errors 1 # 記錄本輪錯誤數(shù) self.errors_history.append(epoch_errors) # 4. 早停機制如果本輪沒有錯誤說明已收斂提前結(jié)束訓練 if epoch_errors 0: print(f訓練在第 {epoch1} 輪提前收斂。) break else: # 如果for循環(huán)正常結(jié)束未break說明達到了最大迭代次數(shù) print(f訓練達到最大迭代次數(shù) {self.n_iters}。) return self def predict(self, X): 使用訓練好的模型進行預測。 參數(shù): X (ndarray): 待預測特征矩陣。 返回: predictions (ndarray): 預測標簽 (-1 或 1)。 # 計算所有樣本的線性輸出 linear_output np.dot(X, self.weights) self.bias # 應用階躍函數(shù)得到最終預測 y_pred np.where(linear_output 0, 1, -1) return y_pred def score(self, X, y): 計算模型在給定數(shù)據(jù)上的準確率。 參數(shù): X (ndarray): 特征矩陣。 y (ndarray): 真實標簽。 返回: accuracy (float): 分類準確率。 y_pred self.predict(X) accuracy np.mean(y_pred y) return accuracy代碼關(guān)鍵點解析初始化 (__init__): 除了學習率和迭代次數(shù)我們初始化權(quán)重和偏置為0。errors_history是一個有用的調(diào)試工具用于觀察訓練過程是否收斂。訓練 (fit): 這是核心。我們使用雙層循環(huán)外層是迭代輪數(shù)內(nèi)層遍歷每個樣本。注意這是在線學習即每看到一個樣本就立即決定是否更新權(quán)重。這種方式的收斂性證明就是感知機收斂定理。更新條件:if y_pred ! y[idx]:這是感知機算法的精髓——只從錯誤中學習。預測正確時模型參數(shù)保持不變。早停機制:if epoch_errors 0:當某一輪遍歷所有訓練樣本都沒有發(fā)生錯誤更新時證明當前權(quán)重已經(jīng)能夠完美分類所有訓練數(shù)據(jù)在線性可分的前提下訓練可以提前終止節(jié)省計算資源。預測 (predict): 訓練完成后預測就是簡單的前向計算加權(quán)和 偏置 → 階躍函數(shù)。3.3 訓練過程可視化與決策邊界繪制現(xiàn)在讓我們訓練模型并直觀地看看它學到了什么。# 1. 實例化并訓練模型 perceptron Perceptron(learning_rate0.1, n_iters100) perceptron.fit(X_train, y_train) # 2. 查看最終參數(shù) print(f訓練得到的權(quán)重: {perceptron.weights}) print(f訓練得到的偏置: {perceptron.bias}) print(f訓練準確率: {perceptron.score(X_train, y_train):.4f}) # 3. 繪制訓練誤差下降曲線 plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(range(1, len(perceptron.errors_history)1), perceptron.errors_history, markero, linestyle-) plt.xlabel(訓練輪次 (Epoch)) plt.ylabel(錯誤分類數(shù)) plt.title(感知機訓練誤差歷史) plt.grid(True, linestyle--, alpha0.7) # 4. 繪制數(shù)據(jù)點和學習到的決策邊界 plt.subplot(1, 2, 2) # 繪制原始數(shù)據(jù)點 plt.scatter(X_train[y_train1, 0], X_train[y_train1, 1], colorblue, labelClass 1, alpha0.6, edgecolorsk) plt.scatter(X_train[y_train-1, 0], X_train[y_train-1, 1], colorred, labelClass -1, alpha0.6, edgecolorsk) # 繪制決策邊界 (直線 w1*x1 w2*x2 b 0) # 重排為: x2 (-w1*x1 - b) / w2 w1, w2 perceptron.weights b perceptron.bias # 生成x軸的范圍 x1_min, x1_max X_train[:, 0].min() - 0.5, X_train[:, 0].max() 0.5 x1_values np.linspace(x1_min, x1_max, 100) # 計算對應的x2值 x2_values (-w1 * x1_values - b) / w2 plt.plot(x1_values, x2_values, colorgreen, linewidth3, label決策邊界) plt.xlabel(特征 1) plt.ylabel(特征 2) plt.title(感知機分類結(jié)果與決策邊界) plt.legend() plt.axis(equal) plt.grid(True, linestyle--, alpha0.5) plt.tight_layout() plt.show()運行這段代碼你會看到兩張圖。左圖展示了訓練過程中每輪錯誤分類樣本數(shù)量的變化理想情況下它會迅速下降到0這直觀地展示了“收斂”。右圖展示了二維特征空間中的數(shù)據(jù)點以及感知機學習到的那條綠色的決策邊界直線。這條直線成功地將藍點和紅點分在了兩側(cè)。實操心得在繪制決策邊界時可能會遇到除零錯誤如果w2接近0。一個更穩(wěn)健的方法是計算邊界線的兩個端點。例如取x1的最小最大值然后計算對應的x2。如果w2的絕對值非常小說明決策邊界幾乎垂直此時應該用x1 -b / w1來表示這條豎線。在實際編碼中需要增加條件判斷來處理這種邊界情況。4. 關(guān)鍵參數(shù)影響與實戰(zhàn)調(diào)優(yōu)指南感知機雖然簡單但幾個關(guān)鍵參數(shù)和實現(xiàn)細節(jié)對訓練結(jié)果有顯著影響。這里我們深入探討一下。4.1 學習率步長大小的藝術(shù)學習率η是感知機最重要的超參數(shù)。它控制著每次權(quán)重更新的幅度。學習率太大例如η1.0每次更新步長過大可能導致權(quán)重在最優(yōu)解附近劇烈震蕩甚至無法收斂。在誤差歷史圖上你會看到錯誤數(shù)在0附近上下跳動但始終不為0。學習率太小例如η0.001更新步長過小收斂速度會非常慢需要更多輪迭代才能達到同樣效果。雖然最終也能收斂但不必要地增加了訓練時間。合適的學習率例如η0.01 到 0.1通常能平穩(wěn)、快速地使錯誤數(shù)下降至0。如何選擇沒有絕對標準但一個常見的策略是從一個典型值如0.1開始觀察訓練誤差曲線。如果曲線震蕩就調(diào)小學習率如果下降太慢就適當調(diào)大。也可以嘗試學習率衰減策略但隨著感知機訓練輪次通常不多手動調(diào)整一兩次往往就夠了。4.2 迭代次數(shù)與收斂判斷n_iters定義了訓練的最大輪數(shù)。由于我們有早停機制這個參數(shù)可以設(shè)得大一些作為安全保障。感知機收斂定理保證了在線性可分情況下算法會停止但定理沒有給出具體的迭代次數(shù)上限它依賴于數(shù)據(jù)的幾何結(jié)構(gòu)。在實際操作中我通常這樣處理將n_iters設(shè)置為一個較大的數(shù)如1000或10000。在fit方法中實現(xiàn)早停如我們代碼中所做。監(jiān)控errors_history。如果它很快降到0并保持說明訓練成功。如果曲線在后期仍在持續(xù)波動例如在5和15之間跳動這強烈暗示數(shù)據(jù)可能不是線性可分的你需要重新檢查數(shù)據(jù)或考慮使用更復雜的模型。4.3 權(quán)重初始化從零開始還是隨機開始在我們的實現(xiàn)中權(quán)重初始化為零np.zeros。這對于感知機是可行的因為無論從哪里開始只要數(shù)據(jù)線性可分它最終都能收斂到一個解可能不是唯一的。然而零初始化可能導致學習過程在初期有一些對稱性但影響不大。另一種常見的做法是小隨機數(shù)初始化例如從均值為0、標準差為0.01的正態(tài)分布中采樣。這在更復雜的神經(jīng)網(wǎng)絡中至關(guān)重要可以打破對稱性加速收斂。對于感知機使用隨機初始化有時能讓決策邊界從不同的“方向”開始搜索但最終結(jié)果差異不大。你可以嘗試修改初始化代碼觀察對收斂速度的微小影響。# 小隨機數(shù)初始化示例 self.weights np.random.randn(n_features) * 0.01 self.bias 0.04.4 處理線性不可分數(shù)據(jù)感知機的“死穴”與啟示讓我們故意創(chuàng)建一個線性不可分的數(shù)據(jù)集比如一個簡單的“異或”模式或者環(huán)繞分布然后用感知機去訓練它。# 創(chuàng)建線性不可分數(shù)據(jù)同心圓分布 from sklearn.datasets import make_circles X_nl, y_nl make_circles(n_samples200, noise0.1, factor0.5, random_state42) y_nl np.where(y_nl 0, -1, 1) # 將標簽映射為-1和1 # 嘗試用感知機分類 perceptron_nl Perceptron(learning_rate0.1, n_iters200) perceptron_nl.fit(X_nl, y_nl) # 繪制結(jié)果 plt.figure(figsize(6, 6)) plt.scatter(X_nl[y_nl1, 0], X_nl[y_nl1, 1], colorblue, labelClass 1) plt.scatter(X_nl[y_nl-1, 0], X_nl[y_nl-1, 1], colorred, labelClass -1) # 嘗試繪制決策邊界一條直線 w1, w2 perceptron_nl.weights b perceptron_nl.bias x1_min, x1_max X_nl[:, 0].min() - 0.5, X_nl[:, 0].max() 0.5 x1_vals np.linspace(x1_min, x1_max, 100) if abs(w2) 1e-10: # 避免除零 x2_vals (-w1 * x1_vals - b) / w2 plt.plot(x1_vals, x2_vals, colorblack, linewidth3, label感知機決策邊界) else: plt.axvline(x-b/w1, colorblack, linewidth3, label感知機決策邊界) plt.title(f感知機處理線性不可分數(shù)據(jù) (準確率: {perceptron_nl.score(X_nl, y_nl):.2%})) plt.legend() plt.grid(True) plt.axis(equal) plt.show() # 繪制誤差歷史觀察是否收斂 plt.figure(figsize(8,4)) plt.plot(perceptron_nl.errors_history) plt.xlabel(Epoch) plt.ylabel(Number of Errors) plt.title(訓練誤差歷史 (線性不可分數(shù)據(jù)) - 無法收斂到0) plt.grid(True) plt.show()你會看到無論感知機如何努力那條黑色的決策邊界直線都無法將藍紅兩色的圓圈完美分開準確率會卡在某個水平比如50%左右。同時誤差歷史曲線不會穩(wěn)定地降到0而是在一個正值附近持續(xù)波動。這就是感知機的天花板。這個實驗非常重要它直觀地告訴你當遇到復雜模式時簡單的線性模型是遠遠不夠的。這自然引出了對多層網(wǎng)絡和非線性激活函數(shù)的需求。5. 常見問題、調(diào)試技巧與進階思考在實際動手實現(xiàn)和調(diào)試感知機的過程中你肯定會遇到一些典型問題。這里我總結(jié)了一份“避坑指南”。5.1 為什么我的感知機訓練不收斂這是最常見的問題。請按以下清單排查問題現(xiàn)象可能原因排查方法與解決方案誤差曲線始終在高位波動不下降。1.學習率過大。2.數(shù)據(jù)本身線性不可分。1.調(diào)小學習率如從1.0調(diào)到0.01觀察誤差曲線是否變得平緩。2.可視化你的數(shù)據(jù)用散點圖看看兩類點是否能用一條直線大致分開。如果明顯不能如環(huán)形、異或分布感知機注定失敗。誤差曲線緩慢下降但很久都不到0。1.學習率過小。2.數(shù)據(jù)接近線性可分但有少量噪聲或異常點。1.適當增大學習率加快收斂速度。2. 感知機對噪聲敏感。一個異常點可能導致決策邊界持續(xù)抖動?？紤]清洗數(shù)據(jù)或使用對噪聲更魯棒的模型如邏輯回歸或帶松弛變量的SVM。誤差突然降為0但模型在測試集上表現(xiàn)極差。過擬合。在線性可分數(shù)據(jù)上感知機會找到一個解但如果數(shù)據(jù)有噪聲它可能為了完美擬合訓練噪聲而找到一個“奇怪”的邊界泛化能力差。檢查決策邊界是否過于“扭曲”以穿過某些孤立的點。對于真實數(shù)據(jù)使用驗證集評估或考慮使用口袋算法?？诖惴〞Ａ粲柧氝^程中見過的“最好的”權(quán)重即在驗證集上表現(xiàn)最好的而不是最后的權(quán)重這能提升在噪聲數(shù)據(jù)上的泛化能力。5.2 感知機與邏輯回歸、SVM的聯(lián)系與區(qū)別理解感知機最好放在一個更廣闊的機器學習版圖中去看。它有幾個著名的“親戚”邏輯回歸可以看作是感知機的“概率升級版”。感知機直接輸出硬分類結(jié)果-1或1而邏輯回歸通過Sigmoid函數(shù)輸出一個屬于正類的概率。它的損失函數(shù)是交叉熵損失這使得它對分類的概率不確定性建模更好并且其優(yōu)化通常用梯度下降是平滑的總能找到全局最優(yōu)對于凸損失函數(shù)。當你不只需要分類還需要知道分類的置信度時就用邏輯回歸。支持向量機可以看作是感知機的“邊界最大化升級版”。感知機只要求找到一個能分開數(shù)據(jù)的超平面而SVM要求找到那個間隔最大的超平面這個超平面通常由少數(shù)“支持向量”決定因此具有更好的泛化能力。當你追求分類器的穩(wěn)健性和泛化性能時SVM通常是比感知機更優(yōu)的選擇。簡單來說感知機是這條技術(shù)演進路線上的起點感知機硬分類只分對錯 → 邏輯回歸軟分類輸出概率 → 線性SVM硬分類但追求最大間隔。5.3 從單層感知機到多層感知機神經(jīng)網(wǎng)絡的雛形感知機的根本局限在于它只能產(chǎn)生線性決策邊界。如何解決非線性問題答案是將多個感知機組合起來。堆疊層將多個感知機現(xiàn)在更常稱為“神經(jīng)元”排列在同一層構(gòu)成一個隱藏層。這一層的每個神經(jīng)元都接收相同的輸入但擁有不同的權(quán)重因此會學習到輸入數(shù)據(jù)的不同特征。引入非線性激活函數(shù)在每一層神經(jīng)元的輸出后引入一個非線性的激活函數(shù)如Sigmoid, Tanh, ReLU。這是突破線性限制的關(guān)鍵如果沒有非線性無論堆疊多少層整個網(wǎng)絡仍然等價于一個線性變換。多層連接將上一層的輸出作為下一層的輸入如此堆疊就形成了多層感知機。一個簡單的單隱藏層MLP前向傳播公式如下隱藏層輸出 h σ(W1 * x b1)最終輸出 y_hat σ(W2 * h b2)其中σ是非線性激活函數(shù)W1, b1, W2, b2是需要學習的參數(shù)。通過這種結(jié)構(gòu)網(wǎng)絡可以學習到極其復雜的非線性決策邊界從而解決像異或、圖像識別、自然語言處理等復雜任務。反向傳播算法則是用來高效計算這些參數(shù)梯度的關(guān)鍵它使得訓練深層網(wǎng)絡成為可能。所以當你熟練掌握了單層感知機的訓練過程前向計算、根據(jù)錯誤更新權(quán)重你就已經(jīng)理解了神經(jīng)網(wǎng)絡訓練最核心的反饋循環(huán)思想。后續(xù)的深度學習無非是規(guī)模更大、結(jié)構(gòu)更復雜、技巧更豐富的“感知機堆疊”。