簡(jiǎn)介《AI培訓(xùn)1-AI初體驗(yàn)-人工智能通識(shí)基礎(chǔ)課》是一套面向零基礎(chǔ)學(xué)習(xí)者的人工智能入門講義圍繞AI基本概念、發(fā)展脈絡(luò)與大數(shù)據(jù)背景下的實(shí)際應(yīng)用展開幫助讀者建立通識(shí)框架并銜接后續(xù)學(xué)習(xí)。內(nèi)容從達(dá)特茅斯會(huì)議與符號(hào)主義、連接主義講起延伸到機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、計(jì)算機(jī)視覺和機(jī)器人技術(shù)等核心分支同時(shí)涉及數(shù)據(jù)預(yù)處理、特征工程及Hadoop、Spark等平臺(tái)在AI項(xiàng)目中的角色并討論隱私、就業(yè)與算法歧視等倫理議題。壓縮包內(nèi)為1個(gè)PDF文件約6.25MB便于集中閱讀和隨時(shí)查閱。已有385人學(xué)習(xí)適合希望用較短時(shí)間梳理AI知識(shí)地圖、理解典型應(yīng)用并形成倫理意識(shí)的初學(xué)者。1. 從一個(gè)「訓(xùn)練集 99%、線上 62%」的落差說起一個(gè)模型在訓(xùn)練集上準(zhǔn)確率 99%上線一周掉到 62%。這不是段子是幾乎每個(gè)剛接觸人工智能項(xiàng)目的團(tuán)隊(duì)都會(huì)撞上的第一堵墻而且它跟算力、跟框架版本都沒關(guān)系——問題出在整條鏈路的某一環(huán)被悄悄破壞了。大多數(shù)人學(xué) AI 的順序是反的先去調(diào)包跑通一個(gè)模型再回頭補(bǔ)概念最后才發(fā)現(xiàn)自己根本說不清「數(shù)據(jù)是怎么進(jìn)來的」。這份人工智能通識(shí)基礎(chǔ)課的價(jià)值不在于教你調(diào)某個(gè)庫(kù)而在于把從概念、范式、大數(shù)據(jù)管道到倫理邊界這條鏈路一次鋪開讓你在動(dòng)手之前就知道哪一步會(huì)塌。搞懂它你才有判斷一個(gè) AI 需求該不該接、能不能落地的底氣而不是被人一句「上個(gè)大模型」?fàn)恐摺?. 從規(guī)則到表示學(xué)習(xí)為什么「把知識(shí)寫進(jìn) if-else」的成本會(huì)指數(shù)爆炸人工智能早期的路子非常樸素人怎么想就把這個(gè)過程翻譯成規(guī)則。符號(hào)主義那一代研究者相信智能的本質(zhì)是對(duì)符號(hào)的運(yùn)算只要把世界拆成實(shí)體和關(guān)系再寫足夠多的推理規(guī)則機(jī)器就能表現(xiàn)出智能。這個(gè)信念在實(shí)驗(yàn)室里成立在工業(yè)界撞了墻墻的名字叫「知識(shí)獲取瓶頸」。搞懂這個(gè)瓶頸你才能明白后面所有技術(shù)選擇為什么長(zhǎng)成現(xiàn)在這個(gè)樣子。2.1 知識(shí)獲取瓶頸規(guī)則系統(tǒng)的成本曲線長(zhǎng)什么樣規(guī)則系統(tǒng)的成本不是線性的。假設(shè)你做一個(gè)工單自動(dòng)分類器一開始 200 條關(guān)鍵詞規(guī)則能覆蓋 80% 的工單看起來很美。等你要把覆蓋率從 80% 推到 95%得再寫 2000 條規(guī)則從 95% 推到 98%可能還要 5000 條而且每加一條新規(guī)則都要回頭檢查它會(huì)不會(huì)和已有規(guī)則沖突。規(guī)則之間的交互是組合式的N 條規(guī)則的潛在沖突面接近 N2維護(hù)成本隨規(guī)模平方增長(zhǎng)而收益是線性甚至次線性的。更麻煩的是「邊界情況」。規(guī)則是人根據(jù)經(jīng)驗(yàn)寫的人寫規(guī)則時(shí)腦子里想的是典型案例而真實(shí)數(shù)據(jù)里長(zhǎng)尾部分永遠(yuǎn)比你預(yù)想的多。一個(gè)做票據(jù)識(shí)別的團(tuán)隊(duì)曾統(tǒng)計(jì)過他們前 300 條規(guī)則處理了標(biāo)準(zhǔn)票據(jù)后面 3000 條規(guī)則全在處理「蓋章位置偏了」「手寫體潦草」「掃描件有折痕」這類邊角料。規(guī)則越寫越像在給數(shù)據(jù)打補(bǔ)丁而不是在描述規(guī)律。這就是「知識(shí)獲取瓶頸」的真實(shí)含義知識(shí)明明存在專家腦子里但要把它轉(zhuǎn)成機(jī)器能執(zhí)行的符號(hào)中間那道人工翻譯的成本高到不可持續(xù)。專家會(huì)老、會(huì)走規(guī)則文檔會(huì)腐爛最后沒人敢動(dòng)那個(gè)文件。血淚經(jīng)驗(yàn)是凡是需要三個(gè)人以上長(zhǎng)期維護(hù)的規(guī)則庫(kù)基本都已經(jīng)在失控邊緣。2.2 表示學(xué)習(xí)替換掉的到底是哪一層人力連接主義換了個(gè)思路不告訴機(jī)器「怎么判斷」只給機(jī)器「判斷得對(duì)不對(duì)」讓它自己去找中間表示。這一換換掉的正是那道人工翻譯工序。原始像素、原始文本、原始點(diǎn)擊日志直接喂進(jìn)去模型內(nèi)部自己長(zhǎng)出「邊緣」「紋理」「詞組合」這類中間概念。這些概念沒有名字你也沒法用一句話描述它們但它們確實(shí)把原始輸入搬到了一個(gè)更容易做線性劃分的空間里。下面這段代碼是一個(gè)最小可訓(xùn)練單元它沒有任何業(yè)務(wù)規(guī)則全部參數(shù)都從數(shù)據(jù)里長(zhǎng)出來import numpy as np # 一個(gè)最小可訓(xùn)練單元h relu(xW1 b1)logits hW2 b2 # 注意W 不是人寫的規(guī)則而是訓(xùn)練過程中被數(shù)據(jù)推出來的 rng np.random.default_rng(42) D_IN, D_HID, D_OUT 784, 128, 10 # He 初始化方差按 fan_in 縮放避免深層網(wǎng)絡(luò)激活值逐層塌縮 W1 rng.normal(0, np.sqrt(2.0 / D_IN), size(D_IN, D_HID)) b1 np.zeros(D_HID) W2 rng.normal(0, np.sqrt(2.0 / D_HID), size(D_HID, D_OUT)) b2 np.zeros(D_OUT) def forward(x): h np.maximum(0.0, x W1 b1) # 隱層把 784 維像素搬到 128 維新空間 logits h W2 b2 # 輸出層在新空間里做線性劃分 return h, logits params W1.size b1.size W2.size b2.size print(params) # 101770約 10 萬(wàn)個(gè)可調(diào)數(shù)字參數(shù)量算下來是 784×128 128 128×10 10 101770。這 10 萬(wàn)個(gè)數(shù)字沒有任何一個(gè)對(duì)應(yīng)「如果有『發(fā)票』二字則加分」這樣的語(yǔ)義它們是一組讓損失函數(shù)下降的數(shù)值解。np.sqrt(2.0 / D_IN)里的 2 來自 ReLU 把一半激活值置零、方差減半這一事實(shí)除數(shù)fan_in是輸入維度——這是為了讓每一層的輸出方差大致穩(wěn)定否則堆到十幾層時(shí)前向信號(hào)會(huì)趨近于零反向梯度會(huì)趨近于無(wú)窮訓(xùn)練直接崩。np.maximum(0, ...)這一行看起來無(wú)害它才是「表示學(xué)習(xí)」能成立的關(guān)鍵。沒有非線性兩層線性疊起來還是線性等價(jià)于一層堆多深都沒用。有了 ReLU網(wǎng)絡(luò)才有能力把輸入空間折疊成任意形狀隱層的那 128 個(gè)數(shù)字才真正成為一組「學(xué)出來的特征」替代掉原本要人手寫的特征模板。2.3 三代范式的真實(shí)關(guān)系是疊加不是替代很多人學(xué)完歷史沿革會(huì)產(chǎn)生一個(gè)錯(cuò)覺符號(hào)主義被連接主義淘汰了。實(shí)際情況是三層技術(shù)疊在一起各自守著自己的地盤。符號(hào)系統(tǒng)擅長(zhǎng)的是「規(guī)則明確、可審計(jì)、不能出錯(cuò)」的場(chǎng)景——審批流、額度計(jì)算、合規(guī)校驗(yàn)這些地方你必須要有一個(gè)能打印出來給人看的判定依據(jù)神經(jīng)網(wǎng)絡(luò)的概率輸出在這里反而是缺陷。統(tǒng)計(jì)學(xué)習(xí)那一層夾在中間它不追求理解語(yǔ)義只追求在特征空間里找到一條分界線。風(fēng)控里的評(píng)分卡模型就是典型特征是人挑的、可解釋的模型只負(fù)責(zé)加權(quán)。深度學(xué)習(xí)的出現(xiàn)沒有讓評(píng)分卡消失因?yàn)闃I(yè)務(wù)方需要知道「為什么拒絕這筆申請(qǐng)」而一個(gè) 128 維隱層給不出這個(gè)答案。所以判斷一個(gè)需求該不該上模型有個(gè)很土但好用的標(biāo)準(zhǔn)這個(gè)問題你能不能用三句話把判定規(guī)則寫清楚能就寫規(guī)則別上模型不能但你手上有大量「輸入-正確答案」的樣本那就是監(jiān)督學(xué)習(xí)的地盤既說不清規(guī)則又沒有樣本那才是真正麻煩的情況通常得先想辦法把數(shù)據(jù)攢出來。這條判斷線比任何算法選型表都實(shí)用。3. 三類范式的分水嶺監(jiān)督、無(wú)監(jiān)督、強(qiáng)化學(xué)習(xí)的「反饋信號(hào)」從哪來機(jī)器學(xué)習(xí)被切成監(jiān)督、無(wú)監(jiān)督、強(qiáng)化三塊教科書通常按「有沒有標(biāo)簽」來分。這個(gè)分法沒錯(cuò)但不夠本質(zhì)。真正的分水嶺是你用來指導(dǎo)模型改進(jìn)的那個(gè)「反饋信號(hào)」是從哪來的它的信息量有多大它的噪聲有多大。搞清這一點(diǎn)你就能預(yù)判一個(gè)任務(wù)大概能做成什么樣。3.1 監(jiān)督學(xué)習(xí)損失函數(shù)其實(shí)是「答案的距離函數(shù)」監(jiān)督學(xué)習(xí)的信息量最足因?yàn)槊總€(gè)樣本都帶著標(biāo)準(zhǔn)答案。模型輸出一個(gè)預(yù)測(cè)損失函數(shù)計(jì)算它和答案之間的距離反向傳播把這個(gè)距離翻譯成每個(gè)參數(shù)的調(diào)整方向。整個(gè)訓(xùn)練過程就是在參數(shù)空間里沿著梯度的反方向往下走。分類任務(wù)最常用的損失是交叉熵它和 softmax 綁在一起用是有原因的import numpy as np def softmax(logits): # 減去最大值只為數(shù)值穩(wěn)定數(shù)學(xué)上等價(jià)不改變輸出分布 z logits - logits.max(axis-1, keepdimsTrue) e np.exp(z) return e / e.sum(axis-1, keepdimsTrue) logits np.array([2.0, 1.0, 0.1]) y_true 0 # 正確類別是第 0 類 p softmax(logits) # [0.6590, 0.2424, 0.0986] loss -np.log(p[y_true]) # 0.4170 grad p.copy() grad[y_true] - 1.0 # dL/dlogits softmax 輸出 - onehot 標(biāo)簽 print(p, loss, grad) # grad [-0.3410, 0.2424, 0.0986]關(guān)鍵在最后兩行。交叉熵對(duì) logits 的梯度恰好等于「預(yù)測(cè)概率減真實(shí)標(biāo)簽」形式極其干凈預(yù)測(cè)偏高的類別得到負(fù)梯度往下壓偏低的類別得到正梯度往上抬梯度大小自動(dòng)正比于預(yù)測(cè)錯(cuò)得有多離譜。這就是為什么分類任務(wù)幾乎不用均方誤差——均方誤差經(jīng)過 softmax 后梯度里會(huì)多出一個(gè)p(1-p)因子當(dāng)模型錯(cuò)得很自信時(shí)這個(gè)因子接近 0梯度反而消失學(xué)不動(dòng)。-np.log(p[y_true])這一項(xiàng)還有個(gè)細(xì)節(jié)如果預(yù)測(cè)概率真的到了 0log 會(huì)變成負(fù)無(wú)窮。工程上沒人直接這么寫都是把 softmax 和交叉熵合成一個(gè)算子做數(shù)值穩(wěn)定或者給概率加一個(gè)極小的 epsilon。這是新手最常翻的車之一訓(xùn)練到一半 loss 變nan八成是在這里。監(jiān)督學(xué)習(xí)的軟肋是標(biāo)簽本身。標(biāo)簽是人標(biāo)的人會(huì)有分歧、會(huì)累、會(huì)按自己的理解偏。一個(gè)團(tuán)隊(duì)花三個(gè)月把準(zhǔn)確率從 91% 調(diào)到 93%最后發(fā)現(xiàn)標(biāo)注一致性只有 88%——上限早就被標(biāo)注質(zhì)量鎖死了后面的調(diào)優(yōu)全是在擬合標(biāo)注噪聲。3.2 無(wú)監(jiān)督學(xué)習(xí)沒有標(biāo)簽時(shí)優(yōu)化目標(biāo)是誰(shuí)定的無(wú)監(jiān)督學(xué)習(xí)常被誤解成「沒有目標(biāo)」其實(shí)它有目標(biāo)只是目標(biāo)不是人給的答案而是人從數(shù)據(jù)結(jié)構(gòu)里假設(shè)出來的某種「好」。聚類假設(shè)「好的劃分是簇內(nèi)緊湊、簇間分離」降維假設(shè)「好的表示是丟掉的維度信息最少」自監(jiān)督假設(shè)「被遮住的部分可以從上下文推回來」。這些假設(shè)對(duì)不對(duì)沒有人告訴你。這就是無(wú)監(jiān)督最難受的地方優(yōu)化目標(biāo)是你自己定的所以效果好不好也得你自己判斷沒有一個(gè)客觀的 ground truth 兜底。KMeans 是最典型的例子它最小化簇內(nèi)平方和但聚類數(shù) k 必須人來指定。你給 k5它就會(huì)把數(shù)據(jù)切成 5 塊哪怕數(shù)據(jù)本來有 12 個(gè)自然簇。它不會(huì)報(bào)錯(cuò)不會(huì)警告只會(huì)給你一個(gè)看起來挺整齊的結(jié)果。常見的應(yīng)對(duì)思路是換評(píng)估維度輪廓系數(shù)、簇的穩(wěn)定性換隨機(jī)種子重跑看結(jié)果是否一致、以及最土但最有效的一招——把簇心拿出來給業(yè)務(wù)方看問一句「這五類說得通嗎」。業(yè)務(wù)不認(rèn)可的聚類數(shù)學(xué)指標(biāo)再漂亮也沒用。自監(jiān)督是這幾年最值得關(guān)注的方向它的巧妙之處在于從數(shù)據(jù)本身造標(biāo)簽遮住句子里一個(gè)詞讓模型猜把同一張圖做兩種增強(qiáng)讓模型判斷是不是同源。這樣既有監(jiān)督學(xué)習(xí)那樣明確的損失函數(shù)又不需要人工標(biāo)注。這條路子把「無(wú)監(jiān)督?jīng)]有客觀目標(biāo)」的問題繞過去了代價(jià)是造出來的任務(wù)和真實(shí)任務(wù)之間存在偏差預(yù)訓(xùn)練學(xué)到的東西未必都對(duì)下游有用。3.3 強(qiáng)化學(xué)習(xí)延遲回報(bào)下的信用分配強(qiáng)化學(xué)習(xí)的信息形態(tài)和前兩者完全不同。它既沒有標(biāo)準(zhǔn)答案也沒有數(shù)據(jù)結(jié)構(gòu)假設(shè)只有一個(gè)標(biāo)量獎(jiǎng)勵(lì)而且這個(gè)獎(jiǎng)勵(lì)往往是延遲的——下圍棋要走完 200 手才知道輸贏推薦系統(tǒng)要用戶停留十分鐘才知道這次推得好不好。延遲回報(bào)帶來兩個(gè)硬問題。第一個(gè)是信用分配最終贏了到底是第 37 手那步妙棋的功勞還是第 180 手對(duì)手失誤送的常見的做法是引入折扣因子 γ把未來獎(jiǎng)勵(lì)按 γ^t 折現(xiàn)回當(dāng)前時(shí)刻越遠(yuǎn)的獎(jiǎng)勵(lì)權(quán)重越小。γ0.99 意味著 100 步之后的獎(jiǎng)勵(lì)只剩三分之一的影響力這個(gè)數(shù)怎么定直接決定了模型是短視還是遠(yuǎn)視。第二個(gè)是探索與利用的權(quán)衡。模型當(dāng)前認(rèn)為最優(yōu)的動(dòng)作未必真的最優(yōu)如果一直選它就永遠(yuǎn)發(fā)現(xiàn)不了更好的選擇如果一直亂試又積累不了有效經(jīng)驗(yàn)。這個(gè)問題在監(jiān)督學(xué)習(xí)里根本不存在因?yàn)榇鸢敢呀?jīng)擺在那里了你只需要逼近它。強(qiáng)化學(xué)習(xí)在通識(shí)課里通常只講概念不講實(shí)現(xiàn)原因很實(shí)際樣本效率太低。一個(gè)監(jiān)督學(xué)習(xí)任務(wù)幾千條樣本能出效果同樣的問題用強(qiáng)化學(xué)習(xí)可能要幾百萬(wàn)次交互而且訓(xùn)練曲線抖動(dòng)劇烈換個(gè)隨機(jī)種子結(jié)果能差一倍。所以真實(shí)項(xiàng)目里的順序一般是能用監(jiān)督學(xué)習(xí)解決就別碰強(qiáng)化學(xué)習(xí)實(shí)在沒有標(biāo)注數(shù)據(jù)、又必須做序列決策時(shí)才考慮它。維度監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)反饋信號(hào)每條樣本的標(biāo)準(zhǔn)答案人為構(gòu)造的結(jié)構(gòu)假設(shè)環(huán)境返回的標(biāo)量獎(jiǎng)勵(lì)典型損失交叉熵、均方誤差簇內(nèi)平方和、重構(gòu)誤差策略梯度、時(shí)序差分誤差評(píng)估難度低有客觀指標(biāo)高需業(yè)務(wù)確認(rèn)高方差大且依賴環(huán)境主要失敗模式標(biāo)簽噪聲、數(shù)據(jù)泄漏假設(shè)不成立、k 值拍腦袋樣本效率低、獎(jiǎng)勵(lì)設(shè)計(jì)錯(cuò)誤4. 大數(shù)據(jù)管道為什么迭代訓(xùn)練受不了「落盤」以及特征工程為什么會(huì)泄漏模型只是整條鏈路的最后一環(huán)。真實(shí)項(xiàng)目里從原始日志到能喂進(jìn)模型的特征矩陣中間那段管道決定了效果的上限。這一段最容易被初學(xué)者忽略也最容易出那種「代碼沒報(bào)錯(cuò)、結(jié)果就是不對(duì)」的隱性問題。4.1 預(yù)處理與特征工程模型效果的大頭在進(jìn)入模型之前原始數(shù)據(jù)幾乎不能直接用。缺失值要處理刪、填均值、填中位數(shù)、還是單獨(dú)標(biāo)記成一個(gè)類別每種選擇都在向模型注入假設(shè)類別變量要編碼獨(dú)熱編碼在基數(shù)上萬(wàn)時(shí)會(huì)炸成幾萬(wàn)列稀疏矩陣目標(biāo)編碼又極易泄漏連續(xù)值要縮放不同量綱的特征會(huì)讓梯度下降走成之字形收斂慢十倍。量綱這件事值得單獨(dú)說。一個(gè)特征范圍是 0 到 1另一個(gè)是 0 到 1000000梯度對(duì)前者幾乎是平的、對(duì)后者極其陡峭學(xué)習(xí)率沒法同時(shí)適配。標(biāo)準(zhǔn)化減均值除標(biāo)準(zhǔn)差和歸一化縮到 [0,1]解決的就是這個(gè)問題讓所有維度在同一個(gè)尺度上被平等對(duì)待。但縮放有個(gè)前提條件經(jīng)常被違反統(tǒng)計(jì)量只能來自訓(xùn)練集。下面的寫法看著很自然其實(shí)是錯(cuò)的import pandas as pd train df.iloc[:8000].copy() test df.iloc[8000:].copy() # 錯(cuò)誤均值和標(biāo)準(zhǔn)差用到了 test 的信息測(cè)試集不再是沒見過的數(shù)據(jù) mu_all, sd_all df[amount].mean(), df[amount].std() # 正確統(tǒng)計(jì)量只從 train 計(jì)算然后用同一組參數(shù)變換 test mu, sd train[amount].mean(), train[amount].std() train[amount_z] (train[amount] - mu) / sd test[amount_z] (test[amount] - mu) / sd # 注意用的是 train 的 mu/sd差別在哪用全量統(tǒng)計(jì)量時(shí)測(cè)試集的分布信息提前滲進(jìn)了訓(xùn)練過程模型在離線評(píng)估里表現(xiàn)會(huì)虛高一點(diǎn)點(diǎn)。連續(xù)特征上這個(gè)偏差通常很小所以它不顯眼但換成目標(biāo)編碼用標(biāo)簽均值替換類別就是災(zāi)難級(jí)的——每個(gè)類別的編碼值里都摻進(jìn)了測(cè)試樣本的標(biāo)簽離線 AUC 能沖到 0.99上線立刻打回原形。更隱蔽的是時(shí)間維度。用隨機(jī)切分做時(shí)間序列的 train/test等于讓模型用未來的數(shù)據(jù)預(yù)測(cè)過去。正確做法是按時(shí)間點(diǎn)切用前 8 個(gè)月訓(xùn)后 2 個(gè)月測(cè)。這一條在風(fēng)控、銷量預(yù)測(cè)、推薦里都是鐵律違反了模型學(xué)到的全是「未來信息」。4.2 從磁盤屏障到 DAG 內(nèi)存復(fù)用分布式計(jì)算范式換了什么數(shù)據(jù)量超過單機(jī)內(nèi)存時(shí)就得靠分布式。第一代方案的思路很清晰把計(jì)算拆成 map 和 reduce 兩個(gè)階段中間結(jié)果落盤靠磁盤扛住數(shù)據(jù)量。這套模型皮實(shí)、容錯(cuò)簡(jiǎn)單但有個(gè)致命傷——每一次計(jì)算都要讀盤、寫盤。機(jī)器學(xué)習(xí)訓(xùn)練恰恰是迭代式的。梯度下降要跑幾百輪每輪都要把全量數(shù)據(jù)過一遍。如果每輪都是一個(gè)獨(dú)立的批處理作業(yè)那就意味著幾百次「讀盤→算→寫盤→再讀盤」。磁盤 IO 和網(wǎng)絡(luò)傳輸成了絕對(duì)瓶頸CPU 大部分時(shí)間在等數(shù)據(jù)。有人測(cè)過在這種范式下做迭代計(jì)算真正的計(jì)算時(shí)間占比可能不到 10%。第二代方案改的是執(zhí)行計(jì)劃。它把整個(gè)計(jì)算表達(dá)成一張有向無(wú)環(huán)圖多個(gè)算子能連續(xù)執(zhí)行的就連成一個(gè)階段中間結(jié)果留在內(nèi)存里直接喂給下一個(gè)算子只在必須跨節(jié)點(diǎn)重分區(qū)的邊界上才落盤。注意不是「不落盤」而是把落盤次數(shù)從「每個(gè)算子一次」壓到「每次重分區(qū)一次」。容錯(cuò)機(jī)制也跟著換了。既然中間結(jié)果不落盤機(jī)器掛了怎么恢復(fù)答案是記錄血緣每個(gè)數(shù)據(jù)集記住自己是由哪個(gè)數(shù)據(jù)集經(jīng)過什么算子算出來的丟了就按血緣重算那一部分。代價(jià)是重算收益是平時(shí)不用付落盤的代價(jià)。這個(gè)取舍很典型——用計(jì)算換 IO。維度批處理落盤范式DAG 內(nèi)存計(jì)算范式中間結(jié)果每個(gè)階段寫磁盤盡量留在內(nèi)存僅在重分區(qū)時(shí)落盤迭代任務(wù)每輪一個(gè)獨(dú)立作業(yè)IO 開銷巨大多輪共享同一批緩存數(shù)據(jù)容錯(cuò)方式失敗重跑整個(gè)作業(yè)按血緣關(guān)系重算丟失分區(qū)適用場(chǎng)景一次性離線清洗、超大冷數(shù)據(jù)迭代訓(xùn)練、交互式分析、多步管道理解了這一層「為什么有些框架做迭代快、有些做批處理穩(wěn)」就不再是玄學(xué)而是執(zhí)行計(jì)劃里落盤次數(shù)的差異。選型時(shí)問一句「這個(gè)任務(wù)要迭代多少輪、數(shù)據(jù)能不能塞進(jìn)內(nèi)存」答案基本就出來了。4.3 特征泄漏最隱蔽也最致命的一類錯(cuò)誤前面提了統(tǒng)計(jì)量泄漏和時(shí)間泄漏還有一類更狡猾的特征本身在預(yù)測(cè)發(fā)生的那一刻根本拿不到。比如預(yù)測(cè)用戶會(huì)不會(huì)下單你用上了「本次會(huì)話的最終成交金額」——這個(gè)字段在預(yù)測(cè)時(shí)點(diǎn)是不存在的但它和標(biāo)簽高度相關(guān)模型會(huì)死死抓住它離線指標(biāo)漂亮得不像話。排查這類問題的辦法很笨但很有效把每個(gè)特征拿出來問一句「這條記錄產(chǎn)生的那一秒這個(gè)值算出來了嗎」。答不上來的一律先剔除。另一個(gè)辦法是看特征重要性排名如果某個(gè)特征的重要性高得離譜比如單特征 AUC 就 0.9先懷疑泄漏別急著慶祝。5. 常見問題與排查五個(gè)把「通識(shí)」學(xué)成「玄學(xué)」的坑通識(shí)基礎(chǔ)課講完概念真正的考驗(yàn)在動(dòng)手。下面這幾條是初學(xué)者最容易踩的幾乎每一條我都見過有人在同一個(gè)地方反復(fù)翻車。按「現(xiàn)象 → 原因 → 解決」記下來比背公式管用。5.1 效果類故障訓(xùn)練集好看、線上難看現(xiàn)象訓(xùn)練集準(zhǔn)確率 99%驗(yàn)證集 97%上線一周掉到 62%而且隨著時(shí)間推移還在往下掉。原因三種可能按概率排序。第一是數(shù)據(jù)泄漏驗(yàn)證集和訓(xùn)練集之間存在信息滲透前面講的統(tǒng)計(jì)量泄漏、時(shí)間泄漏都算。第二是分布漂移線上數(shù)據(jù)的分布和訓(xùn)練時(shí)不一樣比如訓(xùn)練數(shù)據(jù)來自某幾個(gè)渠道上線后全渠道流量涌入。第三是評(píng)估口徑不一致離線算的是「所有樣本的平均準(zhǔn)確率」線上業(yè)務(wù)方看的是「高價(jià)值用戶里的準(zhǔn)確率」兩個(gè)數(shù)根本不是一回事。解決先做時(shí)間切分的驗(yàn)證用最近一個(gè)月的數(shù)據(jù)當(dāng)測(cè)試集看指標(biāo)掉多少再逐個(gè)特征排查泄漏最后和業(yè)務(wù)方對(duì)齊評(píng)估口徑把線上真正關(guān)心的那一小撮樣本單獨(dú)算指標(biāo)。三件事做完通常能定位到具體是哪一環(huán)。5.2 工程類故障loss 不降、loss 變 nan、顯存爆掉現(xiàn)象訓(xùn)練跑了十輪loss 在 2.3 附近紋絲不動(dòng)或者第二輪直接變成nan。原因loss 不動(dòng)的頭號(hào)原因是學(xué)習(xí)率。太大參數(shù)在最優(yōu)解附近來回橫跳loss 劇烈震蕩太小十輪走不出初始化那一片平地。第二號(hào)原因是標(biāo)簽錯(cuò)位——特征和標(biāo)簽沒對(duì)齊模型在學(xué)隨機(jī)噪聲這種情況下 loss 會(huì)穩(wěn)定在一個(gè)接近隨機(jī)猜測(cè)的值上二分類約 0.693。變成nan則多半是數(shù)值問題log(0)、除零、梯度爆炸。解決先跑一個(gè)極小數(shù)據(jù)集比如 32 條樣本過擬合看看如果連 32 條都擬合不了說明代碼有 bug 而不是調(diào)參問題。然后打印第一批數(shù)據(jù)的特征和標(biāo)簽人工核對(duì)是否對(duì)應(yīng)。學(xué)習(xí)率從 1e-3 開始按 3 倍網(wǎng)格搜觀察前 100 步的 loss 曲線形狀。加梯度裁剪防爆炸softmax 前減最大值防溢出?，F(xiàn)象顯存把 batch size 調(diào)到 256 就 OOM調(diào)到 32 又抖得厲害。原因顯存占用大致正比于 batch size 乘以單樣本的激活值而激活值和模型深度、序列長(zhǎng)度都相關(guān)。參數(shù)本身占的顯存反而是小頭。解決用梯度累積——batch 設(shè) 32連跑 8 次把梯度累加起來再更新一次等效 batch 是 256顯存只按 32 算。再配合混合精度顯存還能再省一半。這兩招基本能讓你在小顯存上跑出大 batch 的效果。5.3 合規(guī)類故障把不該進(jìn)模型的東西喂進(jìn)去現(xiàn)象模型效果很好但上線評(píng)審被卡住或者上線后收到用戶投訴。原因特征里混進(jìn)了敏感屬性性別、年齡、地域等模型可能學(xué)出歧視性的決策路徑或者訓(xùn)練數(shù)據(jù)里含有未脫敏的個(gè)人信息模型把它記住了。這類問題的特點(diǎn)是不會(huì)在指標(biāo)上暴露只會(huì)在合規(guī)審查或用戶反饋時(shí)爆出來。解決建模前先做特征清單評(píng)審把每個(gè)字段的合規(guī)屬性標(biāo)出來訓(xùn)練數(shù)據(jù)入湖前做脫敏上線前跑一遍公平性評(píng)估看不同群體的通過率差異是否在可接受范圍內(nèi)。通識(shí)課里專門講 AI 倫理不是湊數(shù)它是唯一一類「技術(shù)指標(biāo)全綠但項(xiàng)目直接死掉」的風(fēng)險(xiǎn)。提示排查順序永遠(yuǎn)是「數(shù)據(jù) → 特征 → 切分 → 模型 → 超參」從上游往下游查。反過來查你會(huì)在調(diào)參上浪費(fèi)掉 80% 的時(shí)間。6. 取舍的邊界為什么入門階段先學(xué)「不做什么」通識(shí)課有個(gè)繞不開的取舍是先把數(shù)學(xué)推導(dǎo)講透還是先把邊界和失敗模式講清。前者嚴(yán)謹(jǐn)?shù)鯇W(xué)者在還不會(huì)用工具的時(shí)候就被矩陣求導(dǎo)勸退后者實(shí)用代價(jià)是學(xué)員暫時(shí)說不清反向傳播的鏈?zhǔn)椒▌t細(xì)節(jié)。這門課選了后者我認(rèn)為這個(gè)選擇是對(duì)的——入門階段最大的成本不是「不會(huì)算」而是「用錯(cuò)工具還渾然不覺」。判斷自己有沒有真的學(xué)進(jìn)去可以用三個(gè)問題自測(cè)給你一個(gè)業(yè)務(wù)需求你能不能說出它屬于哪類范式、需要什么樣的反饋信號(hào)給你一份數(shù)據(jù)你能不能判斷哪些字段在預(yù)測(cè)時(shí)點(diǎn)拿不到給你一個(gè) 99% 的離線指標(biāo)你的第一反應(yīng)是慶祝還是懷疑泄漏。三個(gè)問題都答得上來說明底層認(rèn)知已經(jīng)建起來了剩下的調(diào)參和工程細(xì)節(jié)都是時(shí)間問題。至于進(jìn)階方向我的建議是先往「數(shù)據(jù)」走而不是往「模型」走。把特征工程、數(shù)據(jù)切分、評(píng)估口徑這三件事做扎實(shí)收益遠(yuǎn)大于換一個(gè)更先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)。真實(shí)項(xiàng)目里模型結(jié)構(gòu)的差異往往只有一兩個(gè)點(diǎn)而數(shù)據(jù)管道的一個(gè)泄漏能讓指標(biāo)虛高三十個(gè)點(diǎn)。早年我在一個(gè)模擬項(xiàng)目里帶過一個(gè)組為了把離線指標(biāo)刷到 0.95 連熬了兩周換模型、調(diào)超參、加特征最后發(fā)現(xiàn)是目標(biāo)編碼時(shí)用了全量標(biāo)簽指標(biāo)是假的。刪掉那個(gè)特征之后模型的真實(shí)水平只有 0.78而這兩周里沒有一個(gè)人想過去核對(duì)一下切分邏輯。從那以后我每次拿到一份漂亮得不像話的離線結(jié)果都強(qiáng)制先跑一遍「這個(gè)特征在預(yù)測(cè)時(shí)點(diǎn)拿得到嗎」的清單一個(gè)字段一個(gè)字段過過完才允許自己高興。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取