如果你跟我一樣是寫代碼出身這幾年一定被問過無數(shù)次“現(xiàn)在大模型都這么強了還有必要從零開始學AI工程嗎”我自己的體會是這個問題的答案取決于你到底想當“用戶”還是“工程師”。用API、搭Agent、做RAG這是用戶視角幾天就能上手但如果你想在模型輸出異常時定位到是位置編碼的問題想讀懂一篇新架構(gòu)論文想自己訓練并部署一個能完成推理任務的小模型那“AI engineering from scratch”這條路繞不開也省不掉。這篇文章我想把我自己從零開始走通這條路的過程、踩過的坑、以及一套可以照著執(zhí)行的路線圖完整分享出來。它不適合只想趕緊調(diào)通接口的人適合的是愿意花三個月到半年用“自己動手構(gòu)建”的方式把AI工程真正吃透的人。1. “從零開始”的邊界在哪里不是重新發(fā)明輪子而是重走關(guān)鍵輪子的設計之路很多人一聽“from scratch”就慌以為要像教科書那樣從晶體管理論開始造芯片。不是的。我理解的從零是把你日常調(diào)用、訓練、部署AI時遇到的核心概念每一步都親手實現(xiàn)一遍最小可用版本直到你能用自己的代碼解釋這些概念為止。1.1 從API調(diào)用到親手實現(xiàn)改變的是你的調(diào)試能力舉個最直觀的例子你調(diào)大模型API發(fā)現(xiàn)同樣的Prompt有時候正常有時候胡言亂語。如果是純用戶視角你只能換個Prompt試試運氣不好就換模型。但如果你自己實現(xiàn)過注意力機制你就會立刻想到檢查輸入序列里是否存在異常長文本、位置編碼的序列長度是否超過訓練上限、溫度參數(shù)是否過高導致概率分布過度平滑。這就是心智模型的差異。黑盒調(diào)用者靠玄學調(diào)參白盒構(gòu)建者靠機制定位。AI工程的核心能力從來不是“會調(diào)用”而是“會拆解”這正是“從零開始”帶給你最值錢的東西。1.2 哪些輪子值得重走哪些輪子可以跳過我給自己定過一個原則凡是在你實際工作中大概率會碰到、且出了問題需要你深入排查的模塊都要動手實現(xiàn)一遍凡是你純當工具用的外圍組件了解原理即可。值得完整實現(xiàn)的我用一張表列出來模塊為什么值得手寫實現(xiàn)到什么程度線性回歸 / Softmax分類器理解梯度下降的直覺所有后續(xù)模型的基石能手動求梯度并實現(xiàn)完整訓練循環(huán)多層感知機MLP理解反向傳播與非線性表達力手寫反向傳播不用自動求導完成一輪更新Transformer 編碼器/解碼器預訓練模型的絕對核心實現(xiàn)多頭注意力、殘差、LayerNorm、FFN分詞器Tokenizer數(shù)據(jù)入口影響一切下游效果親手實現(xiàn)BPE的合并邏輯自注意力各組件訓練Debug必備能解釋并手工推導QKV維度和記憶體邏輯不值得重寫的也有比如CUDA底層優(yōu)化、分布式通信協(xié)議、具體集群調(diào)度。這些屬于基礎(chǔ)設施原理層了解工程層直接用成熟方案就好。1.3 我把“徒手算維度”當成入門考試這里分享一個我建議初學者反復練習的題目給定輸入形狀為[batch8, seq_len1024, d_model768]的張量過一層標準多頭注意力12頭每個頭維度64請寫出每一步張量的形狀變化。q是[b, 1024, 12, 64]或合并維度后是[b, 12, 1024, 64]k同理注意力分數(shù)是[b, 12, 1024, 1024]softmax之后乘v得到[b, 12, 1024, 64]再轉(zhuǎn)置合并回[b, 1024, 768]。能一口氣寫清楚這些說明你對注意力機制的空間結(jié)構(gòu)有了最基礎(chǔ)的直覺。這個直覺在后續(xù)所有模型調(diào)試里都會反復用到。2. 地基三件套數(shù)學、機器學習、深度學習到底要掌握到什么程度干這行最難回答的問題之一就是“數(shù)學要學多深”。我的答案很務實學到能讀懂論文公式、能手推關(guān)鍵推導、能排查數(shù)值問題的程度就行不需要成為數(shù)學家。2.1 數(shù)學學這些就夠了但必須真能用線性代數(shù)方面向量矩陣運算、特征值分解、奇異值分解、矩陣求導和鏈式法則的順序思維這幾樣最常用。概率論方面常見分布、極大似然估計、貝葉斯公式、信息論里的熵和交叉熵這決定了你怎么設計損失函數(shù)、怎么理解采樣。微積分方面偏導數(shù)、梯度、鏈式法則這是反向傳播的全部基礎(chǔ)。數(shù)值計算方面數(shù)值穩(wěn)定性、梯度消失和梯度爆炸這直接關(guān)系訓練成敗。我見過太多人卡在線性代數(shù)上被SVD勸退。其實在AI工程里你真正高頻使用的就是把矩陣乘法寫成維度批量運算、理解權(quán)重矩陣的秩對表達力的影響、識別數(shù)值溢出風險。2.2 機器學習不止是調(diào)庫核心是“驗證思維”如果只學一個概念我選“驗證”。為什么因為訓練模型本質(zhì)就是反復做假設驗證假設結(jié)構(gòu)能擬合數(shù)據(jù)分布假設優(yōu)化器能收斂假設這個超參數(shù)組合更優(yōu)。沒有驗證思維就會變成盲人摸象。建議你重新理解過擬合、偏差方差權(quán)衡、正則化和數(shù)據(jù)劃分這四件事。它們聽起來基礎(chǔ)但在后續(xù)做強化學習訓練推理模型時你會發(fā)現(xiàn)評估集的設計、獎勵模型的泛化能力全都圍繞同樣的邏輯展開。2.3 深度學習的兩個分水嶺第一個分水嶺是能否不看任何參考徒手寫出一個三層的反向傳播。第二個分水嶺是能否把Transformer論文里的公式逐行翻譯成張量操作。跨過這兩個分水嶺你再讀任何新模型論文都會輕松很多。我自己的檢查方法是每周挑一篇新發(fā)表的模型論文強迫自己在兩天內(nèi)完成一個極簡復現(xiàn)。不追求性能只追求核心模塊跑通。這個方法進步極快也最能檢驗地基是否扎實。3. 手搓一個推理模型為什么“從零到Reasoning”是一條最優(yōu)路徑網(wǎng)絡熱詞里最近很流行“build a reasoning model from scratch”我深以為然。大模型從“會對話”到“會推理”是一個質(zhì)的跨越而實現(xiàn)這個跨越所需的思維鏈構(gòu)造、強化學習對齊、評測體系設計恰好把AI工程的全部關(guān)鍵節(jié)點串起來了。以它為目標項目比單獨學某個知識點高效得多。3.1 先搞清楚這里說的推理模型不是邏輯推理中文里“推理”容易跟傳統(tǒng)AI專家系統(tǒng)的“邏輯推理”混淆。這里說的reasoning是模型在給出最終答案前先生成一段逐步思考的中間過程從而提高復雜問題正確率的能力。你見過的“思維鏈”“自我反思”都屬于這個范疇。這類能力可以通過訓練讓模型獲得典型的做法是先用高質(zhì)量思維鏈數(shù)據(jù)做監(jiān)督微調(diào)再用強化學習讓模型學會自我探索。3.2 模型架構(gòu)選型我會這樣選既然目標是訓練一個小規(guī)模推理模型我不會從絕對零開始而是選一個成熟基座做繼續(xù)訓練或者用成熟開源權(quán)重做初始化。這么做有兩個好處一是省掉海量預訓練的成本二是能集中精力把“對齊”和“推理能力提升”這兩個環(huán)節(jié)吃透。具體選型上我推薦Decoder-only結(jié)構(gòu)并搭配這四件套組件選擇理由位置編碼RoPE外推能力強訓練Pre和Post的坑少歸一化RMSNorm比LayerNorm省算力穩(wěn)定激活函數(shù)SwiGLU同樣參數(shù)下表達力更好注意力變體GQA減少KV Cache占用推理性價比高如果你用的是7B或13B級別的通用模型也可以跳過預訓練直接微調(diào)。但如果目標是把整條鏈路打通建議還是用百億以下參數(shù)、千億以上token練一個小模型全流程體驗一遍。3.3 三步訓練法普通語言模型怎么變成推理模型我用過一個相對成熟的三階段方案分享出來供你參考。第一步是預訓練或繼續(xù)預訓練。目標是讓模型具備基本的語言能力和知識覆蓋。損失函數(shù)用交叉熵關(guān)注點是loss是否穩(wěn)步下降、困惑度是否合理。第二步是監(jiān)督微調(diào)SFT。目標是讓模型養(yǎng)成輸出思維鏈的習慣。這一步的核心是數(shù)據(jù)思維鏈數(shù)據(jù)的質(zhì)量直接決定最終推理能力。數(shù)據(jù)來源可以是從已有強模型中蒸餾也可以人工標注有代表性的推理軌跡。注意思維鏈不是越長越好要有節(jié)制地讓模型學會關(guān)鍵步驟而不是廢話堆砌。第三步是強化學習。比較推薦GRPO這類輕量方案它的好處是不需要單獨訓練價值網(wǎng)絡顯存壓力和實現(xiàn)復雜度都更低。獎勵信號可以來自答案正確性、格式規(guī)范性、思維鏈長度的懲罰項等多個維度。這一步的目標是讓模型在探索中自己發(fā)現(xiàn)更高效的推理路徑而不是只會復讀訓練數(shù)據(jù)里的思維鏈。3.4 顯存和算力的現(xiàn)實賬不是非得有幾卡A100很多人一算預訓練成本就放棄了但這里有一個務實的替代路徑用LoRA在消費級顯卡上微調(diào)一個7B模型把訓練數(shù)據(jù)重點放在思維鏈和推理指令上跑完GRPO變體。這條路依然能讓你完整經(jīng)歷“數(shù)據(jù)構(gòu)造→SFT→RL→評估→部署”的全部工程環(huán)節(jié)只是規(guī)模小一點。我算過一筆賬1B模型用BF16混合精度權(quán)重占2GB梯度2GB優(yōu)化器狀態(tài)如果用AdamW大約12GB激活值視序列長度而定。一張24GB顯存的顯卡跑1B模型勉強能全參微調(diào)跑7B就需要LoRA。有條件上多卡就用張量并行跑7B的BF16訓練兩張A100基本可以覆蓋。4. “訓練完成”只算完成了前半程數(shù)據(jù)、評估、部署才是AI工程的地平線模型loss降下去那一刻很多人長舒一口氣但我必須潑一盆冷水對AI工程師來說訓練完成只代表前半程結(jié)束。數(shù)據(jù)質(zhì)量、評估體系、部署性能這三塊才是把模型從“能跑”變成“能用”的關(guān)鍵。4.1 數(shù)據(jù)管線的設計原則臟數(shù)據(jù)比爛模型更可怕訓練一個推理模型數(shù)據(jù)配比很講究。通用語料、數(shù)學、代碼、思維鏈樣例、安全對抗樣例各自的占比決定了模型最終的能力偏向。數(shù)據(jù)清洗階段要做去重、敏感信息過濾、語言過濾這些聽起來不性感但效果立竿見影。一個常見的反直覺經(jīng)驗訓練數(shù)據(jù)不一定要最多但一定要最干凈。數(shù)據(jù)噪聲直接表現(xiàn)為loss震蕩和生成質(zhì)量的隨機性變差這些在事后極難排查。另外強烈建議你在數(shù)據(jù)管線里加上自動質(zhì)檢流程定期抽檢若干條樣本人工確認標注是否符合預期。4.2 評估體系要放在訓練之前設計這是我從失敗里學到的最大教訓。第一次訓模型時我訓完了才去找評估集結(jié)果發(fā)現(xiàn)評估任務和訓練數(shù)據(jù)分布差異過大完全不知道模型改進方向。正確做法是訓練開始前就確定一份包含通用能力、代碼能力、數(shù)學能力、推理能力四個維度的評估集并建立一套可重復的評測腳本。推理模型的評估尤其要小心“正確率幻覺”。模型可能給出的最終答案正確但思維鏈里全是胡編的中間步驟。所以評估時要同時看三件事最終答案正確率、關(guān)鍵中間步驟的邏輯連貫性、以及思維鏈的平均長度。理想情況是強化學習訓練后平均正確率上升同時思維鏈長度沒有無限膨脹。4.3 部署不是把權(quán)重文件拷到服務器就完了模型訓練完你馬上會面對推理延遲、吞吐量、并發(fā)壓力這些工程問題。KV Cache是第一個要優(yōu)化的點緩存歷史計算過的Key和Value避免每個token都重新計算全部歷史。KV Cache的顯存占用大約等于2 × 層數(shù) × 頭維度 × 序列長度 × 字節(jié)數(shù)大模型跑長序列時非常驚人?？蚣軐用嫖医ㄗh直接用vLLM或同類方案。它們的核心是PagedAttention技術(shù)把KV Cache按頁管理類似操作系統(tǒng)內(nèi)存分頁有效降低碎片化。量化方面用INT8在絕大多數(shù)場景損失極小INT4在推理任務上要重點驗證正確率衰減不要無腦壓縮。4.4 訓練過程的可觀測性別讓模型在黑暗中進化訓練大模型時我從不斷跑一個輕量日志系統(tǒng)。至少需要追蹤訓練loss、驗證loss、梯度范數(shù)grad norm、學習率、縮放因子如果用混合精度和每個評估基準的單獨得分。梯度范數(shù)是我個人的最優(yōu)先關(guān)注項。如果梯度范數(shù)突然飆升又恢復通常是數(shù)據(jù)里有異常樣本如果持續(xù)逼近極大值則大概率是數(shù)值不穩(wěn)定或者學習率過大。Loss突然spike很多時候不是模型壞了而是某些數(shù)據(jù)批次的分布極端先定位到具體樣本再動手。5. 三個月實踐路線圖每個階段做什么、交什么、怎么驗收這章直接給大家一份我驗證過的、可執(zhí)行的節(jié)奏表。它默認你每天能投入兩到三小時周末全天上大任務。如果時間不夠可以拉長周期但順序不建議亂。5.1 第1到第4周基礎(chǔ)補課與迷你實現(xiàn)周次任務產(chǎn)出物第1周數(shù)學快速回爐重點是矩陣求導和概率完成10道典型推導題第2周手寫線性回歸和MLP實現(xiàn)反向傳播一個不依賴自動求導的可訓練MLP第3周手寫Transformer核心塊注意力、FFN、Residual、LayerNorm的完整實現(xiàn)第4周自己寫B(tài)PE分詞器并跑通一個mini語言模型兩千萬token訓練級的mini模型第4周最關(guān)鍵。哪怕模型很小只要你能用自寫代碼從數(shù)據(jù)到模型完整跑通一次訓練循環(huán)你就過了最艱難的門檻。5.2 第5到第8周從普通語言模型邁向推理模型第5到第6周任務是數(shù)據(jù)準備和SFT。你要準備一份指令數(shù)據(jù)集和一份思維鏈數(shù)據(jù)集并用第4周的代碼做監(jiān)督微調(diào)。產(chǎn)出是模型能在限定領(lǐng)域內(nèi)按步驟回答問題。第7到第8周任務是對齊和強化學習。我會建議你直接用一個開源7B模型做LoRA變體實驗把對比組設為“只SFT”和“SFT強化學習”在數(shù)學、代碼、謎題三類評測集上做對照。這樣你能直觀看到思維鏈和強化學習帶來的效果提升。5.3 第9到第12周工程化與最終交付第9到第10周搭數(shù)據(jù)與評測閉環(huán)固化數(shù)據(jù)清洗、去重、評測腳本形成一條“訓練一批評估一批”的流水線。第11周完成部署用vLLM做并發(fā)推理實測吞吐和延遲嘗試INT8量化對照正確率。第12周整合成Demo附帶完整的訓練報告、評測報告、部署文檔。這三個月走完你會發(fā)現(xiàn)你不再依賴任何單一框架對模型內(nèi)部機制的每個環(huán)節(jié)都有自己的判斷。6. 那些文檔里不會寫的坑與經(jīng)驗最后分享一些實操中反復有人摔跤的點希望你能少走彎路。第一個坑是盲目追求數(shù)據(jù)量。很多人以為推理模型效果差是因為數(shù)據(jù)集不夠大實際往往是指令數(shù)據(jù)里混入了大量低質(zhì)量重復樣本。我見過一個實驗砍掉百分之三十的低質(zhì)量數(shù)據(jù)之后評估分數(shù)不降反升。第二個坑是只盯loss而忽略文本質(zhì)量。語言模型的loss降到一定程度后就很難再反映質(zhì)量差異了。尤其是思維鏈數(shù)據(jù)復雜度指標可能很接近但實際生成內(nèi)容完全不在同一水平必須抽樣肉眼檢查。第三個坑是復現(xiàn)論文只見骨架、沒見細節(jié)。論文里經(jīng)常省略的“小東西”學習率的預熱步數(shù)、權(quán)重衰減策略、輸出層的縮放因子、數(shù)據(jù)Shuffle的隨機種子這些全都會顯著影響復現(xiàn)效果。從論文到可靠復現(xiàn)之間往往隔著一堆沒人寫出來的配置組合。第四個坑是忽略數(shù)值穩(wěn)定性。做混合精度訓練時如果不做損失縮放很容易出現(xiàn)loss突然飛掉或者出現(xiàn)NaN。出問題先查輸入數(shù)據(jù)有沒有NaN或極端值再查梯度最后才懷疑優(yōu)化器。第五個坑是我個人反復提醒自己的別把模型想成“萬能引擎”。哪怕是訓練好的推理模型也只在它見過的推理模式范圍內(nèi)表現(xiàn)好。工程上的破解辦法是體系化組件配合該用搜索就用搜索該用外掛工具就用外掛工具不要迷信單一模型。關(guān)于學習資源市面上一批“從零構(gòu)建大語言模型”類的書籍和教程質(zhì)量都不錯我的建議是你不要只當讀者要一邊讀一邊復現(xiàn)代碼并且把書里的實驗在自己的小語料上跑一遍。凡是能跑通的教程才是真正屬于你的經(jīng)驗否則只是別人的目錄而已。走到這里如果你問我“從零開始”最終給你留下的是什么我的答案是一種面對任何新模型都不慌的底氣。看到一張新架構(gòu)圖你不會只知道這東西“看起來很強”而是有能力拆解它的每一個設計動機判斷哪些是核心、哪些是包裝甚至能徒手構(gòu)造一個它的迷你版。這個東西一旦學會就沒人能拿走。如果你也想踏上這條路我的最后一個建議是別等所有基礎(chǔ)都打好了再動手挑一個最感興趣的模型組件先用今天的周末把它從零實現(xiàn)出來。從第一行代碼跑通到loss開始下降的那一刻起你會發(fā)現(xiàn)題圖上的所有困難都有了明確的答案。