最近開源社區(qū)和社交媒體上關(guān)于“AI engineering”的討論熱度又上了一個臺階。很多人私信我問得最多的就是“我想從零開始搞AI工程到底該學(xué)什么是不是調(diào)幾個開源模型、包裝一下API就算入門了”說實話這個問題背后折射出的焦慮我很能理解——大模型相關(guān)的工具鏈太豐富了每天都有新框架、新論文、新SOTA刷屏普通人很容易被淹沒在信息流里反而不知道真正該抓的重點是什么。今天我特別想聊聊“ai-engineering-from-scratch”這條路。我自己的背景是傳統(tǒng)軟件開發(fā)出身后來轉(zhuǎn)算法再后來開始自己動手訓(xùn)練模型、做推理優(yōu)化、搭A(yù)gent系統(tǒng)一路踩坑無數(shù)也積累了一套自認(rèn)為還算靠譜的“從零到一”方法論。這篇博文不會給你羅列一百個教程鏈接也不會上來就丟給你一套看不懂的數(shù)學(xué)公式而是想用一個過來人的視角拆解從零構(gòu)建AI工程能力的完整路徑底層原理要懂到什么程度、工程化怎么落地、算力不夠怎么辦、評估體系怎么搭、以及我最想強調(diào)的一件事——怎么從“跑通Demo”跨越到“真正生產(chǎn)可用”。無論你是剛轉(zhuǎn)行的新人還是已經(jīng)在用LangChain之類框架的工程師我相信這篇文章里都有一些你平時文檔里看不到但實測下來非常關(guān)鍵的東西。1. “從零開始”到底是在解決什么問題先認(rèn)清四個層次1.1 為什么很多人的AI學(xué)習(xí)路徑一直是散的我在帶團隊和回答社區(qū)提問時發(fā)現(xiàn)一個普遍現(xiàn)象大部分人的學(xué)習(xí)路徑是“從框架倒推”。比如看到LangChain火了就先去學(xué)LangChain看到RAG流行就回去研究向量數(shù)據(jù)庫看到Agent很燙又開始看ReAct論文。這種“淘寶式”學(xué)習(xí)最大的問題在于——你永遠(yuǎn)在學(xué)別人的解決方案而不是建立自己的問題框架。真正的“從零開始”不是指從線性代數(shù)開始重新學(xué)而是指你能否在不依賴任何框架的前提下徒手構(gòu)建一個最小可用的AI系統(tǒng)這個系統(tǒng)可以是一個Transformer的精簡實現(xiàn)也可以是一個完整的RAG流水線甚至可以是一個從數(shù)據(jù)標(biāo)注到模型微調(diào)上線的小閉環(huán)。它不需要處理千萬級用戶但每個環(huán)節(jié)都必須經(jīng)過你的手而不是靠現(xiàn)成的SDK糊過去。我在自己的開源項目里設(shè)定了四個考核層次我建議想走這條路的人也拿來自測層次一在制品層你能看懂、能改、能調(diào)現(xiàn)有模型和框架。大部分人停在這一層。層次二生產(chǎn)層你獨立做出的系統(tǒng)能經(jīng)得起真實數(shù)據(jù)考驗有人用有問題能追蹤。層次三自設(shè)計層你根據(jù)需求設(shè)計適合的模型結(jié)構(gòu)、訓(xùn)練策略、推理優(yōu)化而不是只會套用現(xiàn)成的。層次四工程美學(xué)層你開始考慮系統(tǒng)的成本、延遲、可維護性、迭代效率——也就是工程化審美。1.2 從ChatGPT的“能聊天”到“我做出來的系統(tǒng)”之間的鴻溝打個比方用別人訓(xùn)練好的模型做應(yīng)用類似買了一套精裝房拎包入住很容易而“從零開始”的AI工程是你自己從地基開始蓋這棟樓。你可能只是蓋個小平房不需要像OpenAI那樣蓋摩天大樓但你得知道每一根梁柱承的是什么力。大模型時代的AI工程本質(zhì)上有兩條技術(shù)棧一條是“模型?！盡odel-centric關(guān)心怎么訓(xùn)練、怎么調(diào)優(yōu)一個基礎(chǔ)模型另一條是“系統(tǒng)?！盨ystem-centric關(guān)心怎么把模型嵌入到更大的業(yè)務(wù)系統(tǒng)里處理數(shù)據(jù)、記憶、工具調(diào)用、權(quán)限控制等問題。現(xiàn)代AI工程師的最大挑戰(zhàn)是——你要在這兩條棧之間來回穿梭。一會兒你是算法工程師要盯著loss曲線一會兒你是后端工程師要設(shè)計并發(fā)架構(gòu)。這正是“從零開始”項目的價值所在。它強迫你在模型棧和系統(tǒng)棧的交界處反復(fù)橫跳直到你建立起完整的“端到端心智模型”。2. 地基工程Token、注意力機制和損失函數(shù)到底決定了什么2.1 Token化語言模型的“像素”單位很多人一提Transformer就說注意力機制卻忽略了token化才是模型理解語言的起點。Tokenization決定了模型的“拼圖塊”有多精細(xì)。我見過不少新人用現(xiàn)成Tokenizer很順手但遇到領(lǐng)域?qū)Ｓ忻~、中英文混排、代碼符號時分詞結(jié)果一塌糊涂模型效果自然好不起來。從工程視角看Tokenizer不只是一個工具而是一個需要測試、需調(diào)優(yōu)的模塊。你需要知道BPEByte-Pair Encoding的核心邏輯是把語料里的高頻字節(jié)對逐步合并成子詞單元詞匯表的大小直接影響模型的嵌入表大小和推理速度。比如把 vocab size 從 32k 調(diào)到 100k嵌入層參數(shù)量可能多出幾千萬顯存消耗立刻上升中文場景下單字token和詞token各有優(yōu)劣。字級別token天然抗噪音但序列長度更長、計算開銷更大詞級別token語義更濃但對未登錄詞不友好。我的建議是不要默認(rèn)用某個模型的默認(rèn)Tokenizer。跑一次你自己的領(lǐng)域數(shù)據(jù)統(tǒng)計token覆蓋率看看有沒有大規(guī)模未登錄詞。### 2.2 注意力機制為什么位置編碼和掩碼同樣重要注意力機制的核心公式你可能已經(jīng)背熟了[ Attention(Q,K,V) softmax(\frac{QK^T}{\sqrt{d_k}})V ]但工程實現(xiàn)上真正決定模型質(zhì)量的往往是兩個細(xì)節(jié)位置編碼和注意力掩碼。位置編碼是在給模型傳遞“順序感”。早期的絕對正弦編碼到后來的相對位置編碼如RoPE、ALiBi各有各的工程考量。RoPE通過旋轉(zhuǎn)矩陣攜帶位置信息天然支持超出訓(xùn)練長度的外推雖然外推效果還要看訓(xùn)練策略ALiBi則是直接給注意力得分加線性偏置實現(xiàn)更簡單對長文本也更魯棒。我的實測經(jīng)驗是如果你要做長文本任務(wù)ALiBi的工程下限更低——它不會像RoPE那樣在長序列下出現(xiàn)復(fù)雜的插值問題。注意力掩碼則是因果語言模型的命門。訓(xùn)練時你要保證每個token只能看到它之前的token這個mask如果寫錯整個訓(xùn)練過程就毀了。有些實現(xiàn)會在服務(wù)端忘記關(guān)掉雙向注意力導(dǎo)致模型“偷看未來”線上表現(xiàn)出現(xiàn)詭異的好——比如變成“作弊”的翻譯器。這屬于典型的、很難排查的bug。2.3 損失函數(shù)你真的理解交叉熵在干什么嗎訓(xùn)練大模型絕大多數(shù)場景就是交叉熵?fù)p失函數(shù)。表面上它只是衡量預(yù)測分布和目標(biāo)分布的差異但工程上有幾個細(xì)節(jié)值得你注意Label Smoothing標(biāo)簽平滑幾乎每個生產(chǎn)級模型都要用。它不是為了提升acc而是防止模型過分自信。把它理解成給正確答案的one-hot向量“摻水”模型就天然不會出現(xiàn)過擬合式的死記硬背。我常用的值是0.1但如果你在蒸餾場景下反而要調(diào)小甚至關(guān)掉。Loss Scaling與混合精度訓(xùn)練FP16訓(xùn)練時梯度下溢是個大隱患。你需要在損失函數(shù)里手動乘以一個scale factor或者依賴AMP自動混合精度里的dynamic loss scaler。這一步做不好你看到的loss曲線就會毫無規(guī)律地跳變。我見過很多所謂的“從零實現(xiàn)”把注意力、FFN、LayerNorm都寫得能跑但遇到訓(xùn)練發(fā)散就完全不知道怎么排查。本質(zhì)上是他們沒有把損失函數(shù)、數(shù)值穩(wěn)定性、梯度流這幾件事串起來看。真正動手實現(xiàn)一遍反向傳播哪怕只是手動實現(xiàn)一個簡化版Transformer你才能對“為什么學(xué)習(xí)率不能太大”“為什么要做梯度裁剪”這些教科書結(jié)論有切身痛感。# 一個典型的混合精度訓(xùn)練loop骨架PyTorch風(fēng)格 scaler torch.cuda.amp.GradScaler() for step, batch in enumerate(train_loader): with torch.cuda.amp.autocast(): logits model(batch[input_ids]) loss criterion(logits, batch[labels]) scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) scaler.step(optimizer) scaler.update()這段代碼看起來平平無奇但我真的見過不下五個工程組因為沒加clip_grad_norm_導(dǎo)致訓(xùn)練不穩(wěn)定。別小看這些細(xì)節(jié)它們才是從“能用”到“能訓(xùn)”之間的分水嶺。3. 真實項目里最難啃的骨頭數(shù)據(jù)工程和訓(xùn)練管線3.1 數(shù)據(jù)清洗決定模型質(zhì)量上限的“臟活累活”如果你問我在AI工程里花費時間最多的是什么我的答案非常確定數(shù)據(jù)。不是搭模型不是調(diào)參而是數(shù)據(jù)清洗、去重、質(zhì)量過濾、配比調(diào)整。業(yè)界常說“Garbage in, garbage out”但在大模型時代這句話的殺傷力被放大了無數(shù)倍——因為模型會“記住”數(shù)據(jù)里的錯誤模式并在推理時以非常有邏輯的方式復(fù)現(xiàn)它們。以構(gòu)建中文語料為例我總結(jié)出四個必須過的關(guān)卡去重MinHash去重和SimHash去重是常用的技術(shù)。為什么必須去重因為重復(fù)數(shù)據(jù)會扭曲訓(xùn)練分布導(dǎo)致模型對某些片段產(chǎn)生“機械記憶”。我見過一個案例語料里某段新聞重復(fù)了上千次模型最后能一字不差地背誦出來但對其他新聞的概括能力反而下降。過濾噪聲HTML標(biāo)簽、廣告模版、亂碼、全角半角混用。這些不處理模型學(xué)到的語言分布里就會混入大量“非自然文本”規(guī)律。質(zhì)量分級不是所有文本都有同樣的訓(xùn)練價值。我習(xí)慣用“困惑度”perplexity或者弱分類器先給語料打分把高質(zhì)量數(shù)據(jù)集中抽樣。你會發(fā)現(xiàn)把數(shù)學(xué)課本和貼吧評論混在一起訓(xùn)練效果會互相干擾。配比多語種、多領(lǐng)域的數(shù)據(jù)配比是“煉丹”的核心參數(shù)。代碼、數(shù)學(xué)、通用文本、對話數(shù)據(jù)各有各的最佳比例。這個沒有人能給你公式只能靠小規(guī)模實驗去摸。3.2 預(yù)訓(xùn)練還是微調(diào)算力不夠時的現(xiàn)實解法很多個人開發(fā)者或小團隊一上來就想著“我也要預(yù)訓(xùn)練一個10B模型”但我勸你先冷靜。預(yù)訓(xùn)練一個哪怕是1B參數(shù)的模型也要幾百張GPU卡、幾十TB的高質(zhì)量數(shù)據(jù)。如果沒有這個資源更現(xiàn)實的做法是兩條腿走路繼續(xù)預(yù)訓(xùn)練Continue Pretraining如果你有很強的領(lǐng)域數(shù)據(jù)比如法律、醫(yī)療、金融可以對一個開源基座模型做領(lǐng)域自適應(yīng)訓(xùn)練。用低學(xué)習(xí)率大概1e-5到3e-5量級配合高質(zhì)量領(lǐng)域語料讓模型在原有能力基礎(chǔ)上“補課”。這種做法成本可控效果立竿見影。指令微調(diào)SFT用幾千到幾十萬條高質(zhì)量的指令回答對去調(diào)整模型行為。這里我強烈建議你關(guān)注數(shù)據(jù)配比和任務(wù)多樣性而不是一味追求數(shù)據(jù)量。我曾經(jīng)用2萬條精心設(shè)計的SFT數(shù)據(jù)效果超過另一個團隊用20萬條爬來的雜數(shù)據(jù)訓(xùn)出的模型。3.3 并行策略從單卡到多卡每一步都有一堆坑數(shù)據(jù)并行Data Parallelism最簡單但大家很快會遇到通信瓶頸。張量并行Tensor Parallelism把單個Transformer層切到多卡上能解決超大批次但通信開銷也不小。流水線并行Pipeline Parallelism把一個batch切成多個micro-batch串行流過不同設(shè)備吞吐利用率上去了但代碼復(fù)雜度也會爆炸。我個人的建議是如果你的訓(xùn)練腳本跑在4張卡以下先用原生DDP超過4張卡且模型大到單卡裝不下再考慮FSDPFully Sharded Data Parallel或DeepSpeed ZeRO系列。不要一開始就堆大詞穩(wěn)定跑通比炫技重要得多。# 一個DDP訓(xùn)練的最小啟動示例 torchrun --nproc_per_node4 train.py \ --model_name meta-llama/Llama-3.2-1B \ --batch_size 8 \ --gradient_accumulation_steps 8 \ --learning_rate 2e-5這里的gradient_accumulation_steps是另一個容易踩坑的地方。它能在不增大單卡內(nèi)存的前提下模擬大batch但當(dāng)你的實際batch size單卡batch × 卡數(shù) × 梯度累積步數(shù)超過某個閾值時模型訓(xùn)練會變得極不穩(wěn)定甚至loss直接飛掉。我自己習(xí)慣是目標(biāo)batch size在512左右就夠用了過大的batch反而不容易收斂。3.4 基于社區(qū)實踐補充的評估思路別用一次性評測集大多數(shù)教程會推薦你用幾個公開benchmark比如MMLU、GSM8K、HumanEval來評估模型。這些做橫向?qū)Ρ葲]問題但作為模型迭代的決策依據(jù)遠(yuǎn)遠(yuǎn)不夠。我更建議你建立自己的“黃金評估集”——從你的目標(biāo)業(yè)務(wù)里抽取一批高價值樣例每50~100條一批覆蓋不同的輸入類型、邊界情況、典型失敗場景。每次訓(xùn)練迭代后在這些樣例上人工打分或者用更強的模型自動打分看指標(biāo)是否真的在改善。我在自己的項目里就是這么干的把線上用戶反饋的高頻問題整理成200條“護衛(wèi)樣例”每個版本都優(yōu)先跑它。有時候模型在Big Bench上成績漲了但是在我的護衛(wèi)集上反而變蠢了這時候我就知道——是數(shù)據(jù)配比有問題。4. 從“預(yù)訓(xùn)練”到“推理增強”復(fù)現(xiàn)一個Reasoning Model的落地路徑4.1 推理模型到底“特化”在哪最近“構(gòu)建推理模型”的熱度一直非常高比如build a reasoning model from scratch相關(guān)的討論。很多人以為推理模型就是更大版本的ChatGPT其實關(guān)鍵區(qū)別在于推理模型學(xué)會了在回答問題前先生成一段“思考過程”并利用這段思考來規(guī)劃、驗證和修正答案。這也是為什么你會看到有些模型在你面前展示CoTChain-of-Thought——它不是在做“心理活動”而是在結(jié)構(gòu)化的自我對話中搜索更優(yōu)答案路徑。從零構(gòu)建一個推理模型你至少需要攻克三件事可驗證獎勵信號沒有標(biāo)準(zhǔn)答案的開放式問題怎么讓模型知道“自己思考得好不好”常見的做法包括結(jié)果驗證答案是數(shù)學(xué)題判對錯、過程驗證每一步推導(dǎo)是否符合規(guī)則以及模型獎勵用一個強大模型去給思考質(zhì)量打分。策略梯度優(yōu)化直接學(xué)RLHF里的PPO算法對推理場景來說太重了很多人轉(zhuǎn)向了GRPOGroup Relative Policy Optimization這類輕量方案。核心思想是讓模型對一個prompt生成多個候選答案然后用它們的相對好壞來更新策略。工程上實現(xiàn)比PPO簡單很多也不用維護一個巨大的critic model。傾向性/過程獎勵的獲取你需要一個“判官”來決定思考過程的好壞。這個判官可以是你手里的最強模型也可以是你用人工打分訓(xùn)練的小獎勵模型。我在早期復(fù)現(xiàn)時直接用了現(xiàn)成API模型當(dāng)判官效果意外地穩(wěn)。4.2 一個可落地的復(fù)現(xiàn)流程四階段法第一階段在一個較強的基礎(chǔ)模型上連續(xù)預(yù)訓(xùn)練推理型語料數(shù)學(xué)題代碼題邏輯鏈。只用SFT低學(xué)習(xí)率、高批量、多輪epoch先把模型“調(diào)教”出生成CoT的穩(wěn)定性。第二階段自帶質(zhì)量控制用現(xiàn)成的API或者規(guī)則構(gòu)造一批高質(zhì)量思維鏈做SFT。這時候的重點是多樣性讓模型學(xué)會不同的思考風(fēng)格。第三階段引入GRPO在可驗證任務(wù)上數(shù)學(xué)、代碼做RL強化。你需要跑起一個rollout generator不斷地讓模型生成多個回答再用規(guī)則判分。這段我認(rèn)為是最難但收益最大的一步模型會突然在某個時間點出現(xiàn)推理能力的躍升。第四階段在不可驗證任務(wù)上引入獎勵模型用RLHF或DPO做價值對齊。這一步要極其小心很容易把前面辛辛苦苦培養(yǎng)出來的推理能力給洗掉。如果你把這個流程都走完一遍邁過去你對所謂“o1式模型”的底層恐懼幾乎會消失——你會發(fā)現(xiàn)它并沒有魔法而是一個工程化的搜索策略被粗糙地塞進了語言模型的推理循環(huán)里。4.3 推理增強后的工程代價延遲和成本必須給你打預(yù)防針推理模型在生產(chǎn)環(huán)境里是很昂貴的。它不僅要生成最終答案還要先生成幾百到幾千token的CoT。這意味著首token延遲會明顯變長有些強推理模型的CoT長度可能在幾千token級別用戶感知就是“轉(zhuǎn)圈圈”顯存和算力消耗同步上升你需要評估線上部署時的吞吐瓶頸對Agent類應(yīng)用來說一個工具調(diào)用也要經(jīng)過完整推理整個系統(tǒng)的端到端時延會被拉高。所以我的建議是不要所有流量都走推理模型。用路由策略做分流——簡單問題直接上輕量快模型復(fù)雜推理才切到重模型。這個判斷在工程上很實用本質(zhì)上是一個小分類器加上規(guī)則兜底。5. AI工程中真正核彈級的經(jīng)驗評估、版本與“可解釋的失敗”5.1 “評測集”是一套系統(tǒng)工程不是跑個分如果只能給一條建議我會說盡早建立自己的評測體系。沒有評測體系你所有的“改進”都是在撞大運因為你根本不知道改完它變好了還是變壞了。一個能用的評測體系至少包含三層工具層自動化跑分腳本、數(shù)據(jù)層多個人類驗證過的評測集、決策層版本是否符合上線標(biāo)準(zhǔn)的閾值。我在一個項目里曾被“模型效果變好但產(chǎn)品體驗變差”的現(xiàn)象狠狠教訓(xùn)過——后來發(fā)現(xiàn)是評測集里都是對話場景但產(chǎn)品里真正的堵點是長文檔處理評測集沒覆蓋到。從那以后每次迭代我都要先從線上日志里搜幾百條真實、復(fù)雜的用戶請求把它們變成固定評測集。5.2 模型版本管理像管理軟件依賴一樣管理權(quán)重文件大模型工程的版本管理是很多團隊做得最差的地方。代碼有Git但權(quán)重文件往往只有一串日期命名的文件夾“final_v2”、“真的最后一次”。一旦你調(diào)了訓(xùn)練數(shù)據(jù)、改了超參、變了推理代碼你很可能不知道當(dāng)前模型對應(yīng)的是哪一套數(shù)據(jù)/代碼/評估集。我自己一直堅持三個原則每次訓(xùn)練都必須記錄一份“訓(xùn)練卡”數(shù)據(jù)版本、超參數(shù)、代碼commit號、評測腳本版本、評測結(jié)果一行都不能少權(quán)重文件名和訓(xùn)練卡要聯(lián)動不能改名亂放推理服務(wù)端必須鎖定模型的唯一標(biāo)識不能出現(xiàn)“代碼更新了但模型還是舊的”這種線上事故。5.3 失敗是稀疏的但“可解釋的失敗”是無價的我在這個項目里的最大收獲不是模型效果有多好而是建立了一套“可解釋的失敗”流程。每次模型在某個例子上表現(xiàn)不對我會立刻把它丟進“失敗池”并標(biāo)注三點期望輸出是什么模型給的是什么你覺得模型為什么這么給積攢到一定數(shù)量后你會發(fā)現(xiàn)自己對數(shù)據(jù)、評測、訓(xùn)練的認(rèn)知會有一次飛躍。比如我遇到過這樣一個案例模型在數(shù)學(xué)推理題上失敗得非常規(guī)律——所有含“9”的題目都容易出錯。排查后發(fā)現(xiàn)是訓(xùn)練數(shù)據(jù)的token序列里數(shù)字9被切分的模式太單一導(dǎo)致模型對這個數(shù)字的泛化很差。這種結(jié)論只有“可解釋的失敗”流程才能幫你穩(wěn)定沉淀出來。6. 從零到一的心得整理跳過的步驟都是要還的債說了這么多最后想分享一些個人體會。很多人期望“從零開始”意味著“一個月速成”但我想說的是真正扎實的AI工程能力是用一次次失敗換來的。你能越快暴露自己的知識盲區(qū)成長反而越快。所以我特別鼓勵你把過程“寫出來”——不是說要做漂亮的文檔而是像發(fā)“開發(fā)日志”一樣把每一個決策的前因后果記錄下來。等三個月后再回看你會發(fā)現(xiàn)自己當(dāng)時的很多判斷都是錯的而這就是最好的成長證據(jù)。我目前的公開項目里保留了大量這種“復(fù)盤式”的記錄。比如初期我在數(shù)據(jù)清洗上偷懶結(jié)果后期評測時模型總是混淆兩個長得像的專有術(shù)語又比如我一開始過度依賴某個知名微調(diào)框架后來發(fā)現(xiàn)它在處理長序列時默認(rèn)實現(xiàn)有缺陷被我換成了手動改造的版本——這些經(jīng)驗如果我當(dāng)時沒有寫下來后面十有八九會再踩一遍。如果你想走這條路我建議你選擇一個足夠小但有真實價值的起點。不要一上來就“復(fù)現(xiàn)Llama 3”而是從“用一個1B模型在你的垂直領(lǐng)域里做出一個推理能力明顯增強的Agent”開始。你會發(fā)現(xiàn)一旦你親手走完數(shù)據(jù)處理、訓(xùn)練、推理、評測、迭代優(yōu)化的全流程你以后再看到任何新框架都不會發(fā)怵——因為你已經(jīng)知道那些框架都在解決什么底層問題。最后說一個很多人忽視的細(xì)節(jié)千萬不要跳過日志和監(jiān)控。尤其是推理服務(wù)的輸入輸出日志、延遲指標(biāo)、用戶反饋收集。沒有這些你的下一輪迭代相當(dāng)于在黑暗里繡花一切都是憑感覺。有了這些哪怕你只是做一個很小的模型你也能逐步逼近生產(chǎn)級系統(tǒng)的質(zhì)量。我在實際項目中深有體會大部分“看起來厲害”的優(yōu)化最后靠的不是天才靈感而是清晰的數(shù)據(jù)反饋循環(huán)。