老實說《ai-engineering-from-scratch》這個標(biāo)題看起來像是一個短期突擊計劃但真正把它做完之后我覺得它更像一面鏡子——照出一個新手在AI工程這條路上一路踩坑、填坑、重新爬起來的全過程。過去大半年我基本就是這個狀態(tài)零基礎(chǔ)起步不靠現(xiàn)成的高層封裝一步步把數(shù)據(jù)、模型、訓(xùn)練、評估、部署、監(jiān)控這些環(huán)節(jié)整個過了一遍?，F(xiàn)在回頭看最值錢的東西反而不是跑了多少模型而是那些失敗和調(diào)試經(jīng)歷幫我建立的底層判斷力。這篇文章我盡量把整個過程還原出來包括思路、實操、踩過的坑和沉淀下來的方法希望能給也想走這條路的人一些參考。這篇文章適合誰如果你正處在裝好環(huán)境但不知道下一步干什么的階段或者已經(jīng)能跑通demo但總覺得理解很淺那這篇文章應(yīng)該對你有用。我會從AI工程到底是什么講起再拆解具體的實操路線最后把我遇到的典型問題和解決方案整理成速查表。不繞彎子都是實際跑過的經(jīng)驗。1. 先搞清楚AI工程到底在做什么很多人提起AI工程第一反應(yīng)就是用Python調(diào)一下模型接口。這確實是最外層的形態(tài)但工程實踐遠(yuǎn)不止這一步。我得先把這個概念剝開看它底下到底壓著哪些東西因為理解不對后面所有的學(xué)習(xí)路徑都會跟著歪掉。1.1 AI工程不是調(diào)接口那么簡單如果只調(diào)用現(xiàn)成API你實際接觸的不過是AI系統(tǒng)的最后一層。真正的AI工程至少包含數(shù)據(jù)采集與清洗、特征處理、模型選型、訓(xùn)練調(diào)優(yōu)、推理優(yōu)化、服務(wù)部署、監(jiān)控告警、迭代更新這幾個環(huán)節(jié)。每一個環(huán)節(jié)單獨拿出來都可以寫一本書但工程實踐要求的是把它們串成一個閉環(huán)。我從零開始折騰第一個完整項目時才發(fā)現(xiàn)一個殘酷現(xiàn)實模型訓(xùn)練只占整個時間的大概三成剩下的時間幾乎都花在數(shù)據(jù)處理、環(huán)境配置、調(diào)試問題和服務(wù)化封裝上。提示這個比例不是隨口說的是我?guī)讉€項目實測下來的平均結(jié)果。如果你也在AI工程入門建議先做好心理預(yù)期——不是只有訓(xùn)練才叫AI工程前面后面那些臟活累活才是工程的主體。我把AI工程拆成四個輪子數(shù)據(jù)、模型、算力、評估。數(shù)據(jù)對應(yīng)輸入質(zhì)量模型對應(yīng)算法能力算力對應(yīng)資源邊界評估對應(yīng)質(zhì)量底線。任何一個輪子扁平了整個系統(tǒng)就跑不順暢。新手最容易犯的錯就是把所有精力押在模型上結(jié)果數(shù)據(jù)一團(tuán)糟、評估靠肉眼最后模型上線了根本不敢用。1.2 為什么強調(diào)from scratchfrom scratch不是要求你從反向傳播手寫一個Transformer才算數(shù)——當(dāng)然如果你想深挖底層手寫是很好的練習(xí)——但它確實強調(diào)一個核心態(tài)度不要只滿足于能用要明白為什么這么用。舉個例子。用Hugging Face的pipeline接口加載一個BERT模型做情感分類三行代碼就跑通了。但如果你的任務(wù)不是通用的情感分類而是某個特定行業(yè)里很冷門的文本判斷任務(wù)你會發(fā)現(xiàn)預(yù)訓(xùn)練模型直接遷移的效果常常不理想。這時候如果你懂?dāng)?shù)據(jù)采樣、tokenizer詞表擴(kuò)展、微調(diào)策略這幾個底層環(huán)節(jié)你就知道問題出在哪詞表里沒有領(lǐng)域詞匯、數(shù)據(jù)分布和預(yù)訓(xùn)練語料差異過大、超參數(shù)沒有適配任務(wù)規(guī)模。這就是from scratch的價值——它培養(yǎng)的是排查鏈路問題的能力而不是復(fù)制Demo的能力。我自己實踐下來如果只看教程跟著跑確實很快但只要環(huán)境和數(shù)據(jù)稍作變化馬上就會卡住。而一旦卡住才是學(xué)習(xí)真正開始的地方。2. 從零開始的第一步環(huán)境與工具鏈搭建標(biāo)題里既然寫了from scratch那環(huán)境搭建自然是繞不開的苦功。這一節(jié)我把我的搭建過程和遇到的取舍寫清楚特別是那些別人很少提但很重要的細(xì)節(jié)。2.1 硬件配置與開發(fā)環(huán)境的取舍我入手時沒有太多預(yù)算手頭只有一臺普通游戲本CPU是i7-12700HGPU是RTX 3060 Laptop6GB顯存內(nèi)存32GB。在此之前我一度覺得沒A100就學(xué)不了AI但事實是6GB顯存在入門階段完全夠用前提是你得知道怎么在資源邊界內(nèi)工作。如果你有獨立顯卡哪怕顯存只有4GB也建議優(yōu)先把CUDA環(huán)境配好因為很多調(diào)試問題只有在真實GPU上跑過才會理解。如果是純CPU環(huán)境照樣能學(xué)但推理和訓(xùn)練的速度會慢到令人崩潰所以我建議至少有一塊支持CUDA的NVIDIA顯卡顯存6GB以上是舒適區(qū)。開發(fā)環(huán)境方面我強烈建議用LinuxUbuntu 22.04 LTS原因不是Windows跑不了而是大量模型倉庫、部署腳本和運維工具都是優(yōu)先支持Linux的。如果你只有Windows機器也不用急著裝雙系統(tǒng)Windows Subsystem for LinuxWSL2是一個很實用的過渡方案CUDA支持也成熟了。我是直接在Windows上用的WSL2日常開發(fā)體驗和Linux基本一致。2.2 版本匹配問題Python、CUDA、PyTorch三方博弈整個入門過程中最折磨我的不是模型不是算法是版本匹配。PyTorch、CUDA、Python三者的對應(yīng)關(guān)系非常嚴(yán)格。裝錯一版要么檢測不到GPU要么運行時報錯要么性能莫名其妙下降。我的建議是不要追求最新要追求穩(wěn)定組合。我目前在用的一個穩(wěn)定組合供參考組件版本選擇說明Ubuntu22.04 LTS長期支持官方文檔示例最多的版本Python3.10絕大多數(shù)庫兼容性最好的版本CUDA11.8或12.1看PyTorch官方對應(yīng)表PyTorch2.x穩(wěn)定版安裝時用官方命令生成器選對應(yīng)版本cuDNN與CUDA配套用pip安裝時一般自動處理我踩過最慘的一次坑是直接把CUDA升級到12.4結(jié)果項目里一個老版本的TensorFlow直接無法調(diào)用GPU最后只能花時間重建環(huán)境。從那以后我立了一個規(guī)矩——任何大版本升級前先看依賴庫的官方兼容性聲明再決定動還是不動。還有一個實用習(xí)慣每個項目開一個獨立的Python虛擬環(huán)境。我用的是conda因為它在管理Python版本和CUDA依賴方面更順手。每開一個項目第一件事就是conda create -n project_name python3.10然后在虛擬環(huán)境里裝依賴。這樣項目之間互不污染即使某個環(huán)境被我搞壞了也不會影響其他項目。3. 從零到第一個AI模型完整實操路徑環(huán)境準(zhǔn)備好以后就可以開始正經(jīng)的項目實操。我把路徑拆成三個階段跑通推理、訓(xùn)練小模型、服務(wù)化封裝。每階段都卡過也都有值得說的細(xì)節(jié)。3.1 第一步跑通一個開源模型的推理我選的首個模型是bert-base-chinese——一個中文預(yù)訓(xùn)練模型用途是文本分類。選擇它的理由很樸素體量小約110M參數(shù)推理快能在CPU上跑且中文生態(tài)資料多出了問題好排查。跑通推理之前先要理解tokenizer和模型輸入的套路。文本不能直接以字符串形式喂給模型必須經(jīng)過tokenizer轉(zhuǎn)成張量。這個轉(zhuǎn)換過程包含分詞、切subword、加special token、截斷或padding。很多新手上來就報錯dimension mismatch多半就是沒搞明白padding和truncation的作用。我的實操流程是用Hugging Face加載模型和tokenizer對輸入文本做tokenization得到input_ids、attention_mask把張量喂給模型拿到logits對logits做softmax得到概率分布按索引取標(biāo)簽代碼如下from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch model_name bert-base-chinese tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) text 這家餐廳的菜很好吃但服務(wù)態(tài)度一般。 inputs tokenizer(text, truncationTrue, paddingTrue, return_tensorspt) with torch.no_grad(): outputs model(**inputs) logits outputs.logits probs torch.softmax(logits, dim-1) print(probs)看起來簡單但這一步卡住我的點在于很多人會忽略return_tensorspt這個參數(shù)。如果不加返回的是Python列表沒法直接喂給PyTorch模型。這種細(xì)節(jié)教程里不一定提但實際跑的時候都會遇到。跑通這一步之后我對模型推理建立了完整的直覺模型不神秘它就是一個接收張量、輸出張量的函數(shù)tokenizer是文本與張量之間的橋梁。3.2 第二步自己訓(xùn)練一個文本分類小模型跑通別人的模型只是熱身真正價值出現(xiàn)在自己動手微調(diào)模型。我做的第一個訓(xùn)練項目是一個酒店評論情感分類任務(wù)正負(fù)樣本各兩千條。數(shù)據(jù)是從一個公開的評論集里整理出來的先做了去重、清理特殊字符、統(tǒng)一格式然后按7:2:1切分為訓(xùn)練集、驗證集、測試集。訓(xùn)練代碼的核心骨架from datasets import Dataset from transformers import TrainingArguments, Trainer train_dataset Dataset.from_pandas(train_df) val_dataset Dataset.from_pandas(val_df) training_args TrainingArguments( output_dir./results, evaluation_strategyepoch, save_strategyepoch, learning_rate2e-5, per_device_train_batch_size16, per_device_eval_batch_size32, num_train_epochs3, weight_decay0.01, logging_dir./logs, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_datasetval_dataset, ) trainer.train()這里有個關(guān)鍵問題learning_rate2e-5這個值不是隨便拍的。微調(diào)預(yù)訓(xùn)練模型時學(xué)習(xí)率通常要比從頭訓(xùn)練小一個量級因為預(yù)訓(xùn)練權(quán)重已經(jīng)學(xué)到了通用特征學(xué)率太大會導(dǎo)致災(zāi)難性遺忘——模型把之前學(xué)到的通用知識全忘掉。我一開始試過1e-4明顯看到驗證集loss劇烈波動改回2e-5以后才穩(wěn)定下降。另一個容易被忽略的參數(shù)是evaluation_strategyepoch它代表每個訓(xùn)練epoch結(jié)束后用驗證集評估一次。千萬不要只在所有訓(xùn)練結(jié)束后評估一次那樣中間出現(xiàn)的問題沒法及時發(fā)現(xiàn)。我后來甚至把日志頻率調(diào)到每一步都記錄loss可以實時觀察訓(xùn)練狀態(tài)。訓(xùn)練結(jié)束以后我做了兩件新手常忽略的事用專門的測試集做最終評估以及把模型保存到本地并用它對真實樣本做推理驗證。測試集的作用是模擬模型在沒見過的數(shù)據(jù)上的表現(xiàn)這才是真實場景下的效果而不是訓(xùn)練集上的自我感覺良好。3.3 第三步把模型封裝成一個可用服務(wù)訓(xùn)練完模型之后下一步是部署。如果不做這一步模型永遠(yuǎn)只是筆記本里的一個產(chǎn)物不算一個工程。我用FastAPI封裝成了RESTful接口代碼很簡單from fastapi import FastAPI, Request from pydantic import BaseModel from transformers import pipeline app FastAPI() classifier pipeline(text-classification, model./results/checkpoint-xxx) class Item(BaseModel): text: str app.post(/predict) async def predict(item: Item): result classifier(item.text)[0] return {label: result[label], score: result[score]}這里最需要注意的是模型加載時機。如果每次請求都加載一次模型服務(wù)和死掉差不多。正確的做法是在服務(wù)啟動時把模型加載進(jìn)內(nèi)存然后接口只做推理。這個細(xì)節(jié)雖然小但我在頭幾次部署時確實犯過——在接口函數(shù)里加載模型結(jié)果第一個請求花了十幾秒后面的請求報告內(nèi)存一直在漲。服務(wù)化還有一個現(xiàn)實問題并發(fā)。如果只處理單條請求用上面的寫法完全夠用。但一旦有并發(fā)請求就需要考慮批量推理、異步任務(wù)隊列、負(fù)載均衡。入門階段建議先把單服務(wù)跑通理解整個調(diào)用鏈路再考慮更復(fù)雜的架構(gòu)。4. 從零學(xué)習(xí)中最容易踩的坑承諾一下這一節(jié)的東西幾乎都是我從實際報錯和反復(fù)排查里攢下來的比看十篇教程都有用。我按出現(xiàn)頻率排了序。4.1 版本地獄庫、驅(qū)動、系統(tǒng)的三角關(guān)系這個問題幾乎人人會碰。我的經(jīng)歷是這樣的某次升級依賴之后PyTorch開始報CUDA error: no kernel image is available for execution on the device查了半天發(fā)現(xiàn)是CUDA版本和顯卡驅(qū)動不匹配。報錯信息大概率原因解決方向CUDA error: no kernel image...CUDA版本和驅(qū)動不匹配查驅(qū)動支持的CUDA版本重裝對應(yīng)CUDA或PyTorchlibcudnn.so.8: cannot open shared object filecuDNN缺失或版本不對在conda環(huán)境里安裝匹配的cuDNNRuntimeError: CUDA out of memory顯存不足減小batch size、用梯度累積、換半精度Expected all tensors to be on the same device張量在CPU/GPU混用顯式調(diào)用.to(device)統(tǒng)一設(shè)備ImportError: cannot import name x from transformerstransformers版本過舊升級或按官方文檔回退到指定版本建議所有初學(xué)者建立起一個意識每一次環(huán)境變動都做記錄。我后來把所有依賴寫進(jìn)requirements.txt而且固定版本號不寫范圍版本這樣環(huán)境才能可復(fù)現(xiàn)。尤其是多人協(xié)作或者隔一段時間重新跑項目時這個習(xí)慣能救人一命。4.2 數(shù)據(jù)問題比模型問題更致命而且更隱蔽我在訓(xùn)練第一個模型時犯過一個很經(jīng)典的錯誤數(shù)據(jù)沒做shuffle。數(shù)據(jù)里前2000條都是正樣本后2000條都是負(fù)樣本訓(xùn)練時模型先大量看到正樣本loss震蕩很厲害最后模型嚴(yán)重偏向預(yù)測正類。后來我總結(jié)出一個規(guī)律數(shù)據(jù)層面出問題往往模型輸出的整體表現(xiàn)看起來還行但細(xì)看各類別的指標(biāo)就會露餡。比如準(zhǔn)確率看著有85%一看precision和recall負(fù)類的recall只有30%——這樣的模型上線之后就只能不停地誤判。處理數(shù)據(jù)的基本流程我整理為五步去重去掉完全重復(fù)或近似重復(fù)的文本清洗去掉HTML標(biāo)簽、噪聲符號、亂碼字符標(biāo)準(zhǔn)化統(tǒng)一大小寫中文不需要、統(tǒng)一全半角符號標(biāo)簽校驗檢查標(biāo)簽分布是否有錯標(biāo)漏標(biāo)劃分按類別分層采樣確保訓(xùn)練、驗證、測試集中各類別比例一致這五步看著簡單實際做下來每一步都需要親手寫代碼檢查我甚至專門寫了幾個小函數(shù)來統(tǒng)計標(biāo)簽分布、文本長度分布、重復(fù)率確保數(shù)據(jù)的每個維度都心里有數(shù)。4.3 顯存不夠時的幾種現(xiàn)實解法6GB顯存做小模型微調(diào)還算夠用但稍微模型大一點就尷尬了。我剛?cè)腴T時想試試更大的模型結(jié)果直接被OOMOut Of Memory勸退。后來學(xué)會了幾招現(xiàn)在整理出來方法思路代價減小batch size一次喂給模型更少樣本訓(xùn)練變慢需配合梯度累積梯度累積每N步更新一次參數(shù)訓(xùn)練時間變長混合精度訓(xùn)練用FP16代替FP32精度略降但訓(xùn)練加速模型量化用INT8/INT4代替FP16精度損失需驗證清理緩存torch.cuda.empty_cache()在中間步驟清理治標(biāo)不治本我用的最順手的方案是batch size設(shè)為8梯度累積步數(shù)設(shè)為2這樣等效到16的批量大小顯存卻不爆。如果你也想優(yōu)化顯存第一條先改batch size很多情況下就能解決。注意顯存不夠不要急著買新顯卡先把batch size降下來試試。很多人習(xí)慣網(wǎng)上抄一個batch size值就直接跑跑掛了還以為是模型問題。實際上batch size是訓(xùn)練里最不敏感的參數(shù)量級只要不是太大了對效果影響有限。5. 我沉淀下來的幾條經(jīng)驗法則最后分享幾個經(jīng)過反復(fù)驗證的經(jīng)驗不是套話是每個決策背后都有實際教訓(xùn)才總結(jié)出來的。5.1 用項目驅(qū)動代替漫無目的地刷課說真的AI工程這個方向信息量太密如果沒有明確目標(biāo)很容易陷入看視頻一時爽合上電腦全忘光的假學(xué)習(xí)循環(huán)。我的建議是一開始就定一個可以交付的項目哪怕是做一個小模型走完整條鏈路——數(shù)據(jù)、訓(xùn)練、評估、部署——做完一遍之后再去補理論你會發(fā)現(xiàn)自己吸收知識的效率完全不同。我見過不少朋友花兩三個月看深度學(xué)習(xí)理論課代碼一行沒寫最后讓他跑個模型完全懵。反過來先動手把流程跑通再回頭補為什么梯度下降收斂為什么激活函數(shù)要選ReLU這些理論理解深度完全不一樣因為你有真實體驗打底了。第一個項目不要選太復(fù)雜。我最推薦的入門項目是中文文本分類數(shù)據(jù)好找模型不重鏈路完整踩坑密度剛剛好。圖像方向可以選CIFAR-10做分類但環(huán)境依賴要多一些上手成本更高。如果能堅持做完一個文本分類項目AI工程的基礎(chǔ)框架就有了。5.2 記錄實驗日志養(yǎng)成工程習(xí)慣剛開始訓(xùn)練模型時我試了很多組超參數(shù)但全憑印象過一周之后根本想不起來哪組參數(shù)好、為什么好。吃了不少虧之后我建了一個實驗記錄表每跑一次實驗記一行實驗編號與目標(biāo)數(shù)據(jù)集版本與切分方式模型結(jié)構(gòu)與參數(shù)數(shù)量超參數(shù)配置學(xué)習(xí)率、batch size、epochs等訓(xùn)練結(jié)果loss曲線、評估指標(biāo)復(fù)現(xiàn)命令或代碼位置備注當(dāng)時的異常表現(xiàn)偶然發(fā)現(xiàn)這個習(xí)慣的收益是滾雪球式的。三個月以后我翻記錄還能準(zhǔn)確知道當(dāng)時某個實驗為什么失敗哪些參數(shù)組合值得延續(xù)。這比任何AI輔助調(diào)參工具都更貼近工程實踐本質(zhì)——可復(fù)現(xiàn)、可追溯、可信賴。5.3 學(xué)習(xí)節(jié)奏與心態(tài)建議AI工程是一條很長很長的路入門期45天到90天不等取決于基礎(chǔ)和時間投入。如果之前寫過Python過程會順一大截如果完全零編程基礎(chǔ)建議先花一兩周熟悉Python語法和基礎(chǔ)庫再正式進(jìn)入AI工程環(huán)節(jié)。心態(tài)上最重要的一個建議報錯不是災(zāi)難而是線索。我最早遇到報錯就想放棄后來逐漸把它當(dāng)成排查游戲。每個報錯都在告訴你系統(tǒng)內(nèi)部某個環(huán)節(jié)的狀態(tài)順著報錯追下去你會對框架的理解越來越深。到現(xiàn)在遇見沒見過的報錯我甚至有點興奮——因為我知道解決它之后認(rèn)知又會提升一截。最后一個小建議多在社區(qū)寫分享、看別人的提問。我很多經(jīng)驗其實來源于幫別人排查問題普適性極強的問題往往意味著很多人都會踩。試著答一道新區(qū)塊鏈跑出來的問題你就知道自己是否真正理解了一個知識點。從零開始這條路不短但它帶來的底層判斷力是不可替代的。前期慢一點沒關(guān)系持續(xù)跑總會到達(dá)自己最初想去的地方。 AI工程從零到部署：完整實踐指南與踩坑記錄
老實說《ai-engineering-from-scratch》這個標(biāo)題看起來像是一個短期突擊計劃但真正把它做完之后我覺得它更像一面鏡子——照出一個新手在AI工程這條路上一路踩坑、填坑、重新爬起來的全過程。過去大半年我基本就是這個狀態(tài)零基礎(chǔ)起步不靠現(xiàn)成的高層封裝一步步把數(shù)據(jù)、模型、訓(xùn)練、評估、部署、監(jiān)控這些環(huán)節(jié)整個過了一遍?，F(xiàn)在回頭看最值錢的東西反而不是跑了多少模型而是那些失敗和調(diào)試經(jīng)歷幫我建立的底層判斷力。這篇文章我盡量把整個過程還原出來包括思路、實操、踩過的坑和沉淀下來的方法希望能給也想走這條路的人一些參考。這篇文章適合誰如果你正處在裝好環(huán)境但不知道下一步干什么的階段或者已經(jīng)能跑通demo但總覺得理解很淺那這篇文章應(yīng)該對你有用。我會從AI工程到底是什么講起再拆解具體的實操路線最后把我遇到的典型問題和解決方案整理成速查表。不繞彎子都是實際跑過的經(jīng)驗。1. 先搞清楚AI工程到底在做什么很多人提起AI工程第一反應(yīng)就是用Python調(diào)一下模型接口。這確實是最外層的形態(tài)但工程實踐遠(yuǎn)不止這一步。我得先把這個概念剝開看它底下到底壓著哪些東西因為理解不對后面所有的學(xué)習(xí)路徑都會跟著歪掉。1.1 AI工程不是調(diào)接口那么簡單如果只調(diào)用現(xiàn)成API你實際接觸的不過是AI系統(tǒng)的最后一層。真正的AI工程至少包含數(shù)據(jù)采集與清洗、特征處理、模型選型、訓(xùn)練調(diào)優(yōu)、推理優(yōu)化、服務(wù)部署、監(jiān)控告警、迭代更新這幾個環(huán)節(jié)。每一個環(huán)節(jié)單獨拿出來都可以寫一本書但工程實踐要求的是把它們串成一個閉環(huán)。我從零開始折騰第一個完整項目時才發(fā)現(xiàn)一個殘酷現(xiàn)實模型訓(xùn)練只占整個時間的大概三成剩下的時間幾乎都花在數(shù)據(jù)處理、環(huán)境配置、調(diào)試問題和服務(wù)化封裝上。提示這個比例不是隨口說的是我?guī)讉€項目實測下來的平均結(jié)果。如果你也在AI工程入門建議先做好心理預(yù)期——不是只有訓(xùn)練才叫AI工程前面后面那些臟活累活才是工程的主體。我把AI工程拆成四個輪子數(shù)據(jù)、模型、算力、評估。數(shù)據(jù)對應(yīng)輸入質(zhì)量模型對應(yīng)算法能力算力對應(yīng)資源邊界評估對應(yīng)質(zhì)量底線。任何一個輪子扁平了整個系統(tǒng)就跑不順暢。新手最容易犯的錯就是把所有精力押在模型上結(jié)果數(shù)據(jù)一團(tuán)糟、評估靠肉眼最后模型上線了根本不敢用。1.2 為什么強調(diào)from scratchfrom scratch不是要求你從反向傳播手寫一個Transformer才算數(shù)——當(dāng)然如果你想深挖底層手寫是很好的練習(xí)——但它確實強調(diào)一個核心態(tài)度不要只滿足于能用要明白為什么這么用。舉個例子。用Hugging Face的pipeline接口加載一個BERT模型做情感分類三行代碼就跑通了。但如果你的任務(wù)不是通用的情感分類而是某個特定行業(yè)里很冷門的文本判斷任務(wù)你會發(fā)現(xiàn)預(yù)訓(xùn)練模型直接遷移的效果常常不理想。這時候如果你懂?dāng)?shù)據(jù)采樣、tokenizer詞表擴(kuò)展、微調(diào)策略這幾個底層環(huán)節(jié)你就知道問題出在哪詞表里沒有領(lǐng)域詞匯、數(shù)據(jù)分布和預(yù)訓(xùn)練語料差異過大、超參數(shù)沒有適配任務(wù)規(guī)模。這就是from scratch的價值——它培養(yǎng)的是排查鏈路問題的能力而不是復(fù)制Demo的能力。我自己實踐下來如果只看教程跟著跑確實很快但只要環(huán)境和數(shù)據(jù)稍作變化馬上就會卡住。而一旦卡住才是學(xué)習(xí)真正開始的地方。2. 從零開始的第一步環(huán)境與工具鏈搭建標(biāo)題里既然寫了from scratch那環(huán)境搭建自然是繞不開的苦功。這一節(jié)我把我的搭建過程和遇到的取舍寫清楚特別是那些別人很少提但很重要的細(xì)節(jié)。2.1 硬件配置與開發(fā)環(huán)境的取舍我入手時沒有太多預(yù)算手頭只有一臺普通游戲本CPU是i7-12700HGPU是RTX 3060 Laptop6GB顯存內(nèi)存32GB。在此之前我一度覺得沒A100就學(xué)不了AI但事實是6GB顯存在入門階段完全夠用前提是你得知道怎么在資源邊界內(nèi)工作。如果你有獨立顯卡哪怕顯存只有4GB也建議優(yōu)先把CUDA環(huán)境配好因為很多調(diào)試問題只有在真實GPU上跑過才會理解。如果是純CPU環(huán)境照樣能學(xué)但推理和訓(xùn)練的速度會慢到令人崩潰所以我建議至少有一塊支持CUDA的NVIDIA顯卡顯存6GB以上是舒適區(qū)。開發(fā)環(huán)境方面我強烈建議用LinuxUbuntu 22.04 LTS原因不是Windows跑不了而是大量模型倉庫、部署腳本和運維工具都是優(yōu)先支持Linux的。如果你只有Windows機器也不用急著裝雙系統(tǒng)Windows Subsystem for LinuxWSL2是一個很實用的過渡方案CUDA支持也成熟了。我是直接在Windows上用的WSL2日常開發(fā)體驗和Linux基本一致。2.2 版本匹配問題Python、CUDA、PyTorch三方博弈整個入門過程中最折磨我的不是模型不是算法是版本匹配。PyTorch、CUDA、Python三者的對應(yīng)關(guān)系非常嚴(yán)格。裝錯一版要么檢測不到GPU要么運行時報錯要么性能莫名其妙下降。我的建議是不要追求最新要追求穩(wěn)定組合。我目前在用的一個穩(wěn)定組合供參考組件版本選擇說明Ubuntu22.04 LTS長期支持官方文檔示例最多的版本Python3.10絕大多數(shù)庫兼容性最好的版本CUDA11.8或12.1看PyTorch官方對應(yīng)表PyTorch2.x穩(wěn)定版安裝時用官方命令生成器選對應(yīng)版本cuDNN與CUDA配套用pip安裝時一般自動處理我踩過最慘的一次坑是直接把CUDA升級到12.4結(jié)果項目里一個老版本的TensorFlow直接無法調(diào)用GPU最后只能花時間重建環(huán)境。從那以后我立了一個規(guī)矩——任何大版本升級前先看依賴庫的官方兼容性聲明再決定動還是不動。還有一個實用習(xí)慣每個項目開一個獨立的Python虛擬環(huán)境。我用的是conda因為它在管理Python版本和CUDA依賴方面更順手。每開一個項目第一件事就是conda create -n project_name python3.10然后在虛擬環(huán)境里裝依賴。這樣項目之間互不污染即使某個環(huán)境被我搞壞了也不會影響其他項目。3. 從零到第一個AI模型完整實操路徑環(huán)境準(zhǔn)備好以后就可以開始正經(jīng)的項目實操。我把路徑拆成三個階段跑通推理、訓(xùn)練小模型、服務(wù)化封裝。每階段都卡過也都有值得說的細(xì)節(jié)。3.1 第一步跑通一個開源模型的推理我選的首個模型是bert-base-chinese——一個中文預(yù)訓(xùn)練模型用途是文本分類。選擇它的理由很樸素體量小約110M參數(shù)推理快能在CPU上跑且中文生態(tài)資料多出了問題好排查。跑通推理之前先要理解tokenizer和模型輸入的套路。文本不能直接以字符串形式喂給模型必須經(jīng)過tokenizer轉(zhuǎn)成張量。這個轉(zhuǎn)換過程包含分詞、切subword、加special token、截斷或padding。很多新手上來就報錯dimension mismatch多半就是沒搞明白padding和truncation的作用。我的實操流程是用Hugging Face加載模型和tokenizer對輸入文本做tokenization得到input_ids、attention_mask把張量喂給模型拿到logits對logits做softmax得到概率分布按索引取標(biāo)簽代碼如下from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch model_name bert-base-chinese tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) text 這家餐廳的菜很好吃但服務(wù)態(tài)度一般。 inputs tokenizer(text, truncationTrue, paddingTrue, return_tensorspt) with torch.no_grad(): outputs model(**inputs) logits outputs.logits probs torch.softmax(logits, dim-1) print(probs)看起來簡單但這一步卡住我的點在于很多人會忽略return_tensorspt這個參數(shù)。如果不加返回的是Python列表沒法直接喂給PyTorch模型。這種細(xì)節(jié)教程里不一定提但實際跑的時候都會遇到。跑通這一步之后我對模型推理建立了完整的直覺模型不神秘它就是一個接收張量、輸出張量的函數(shù)tokenizer是文本與張量之間的橋梁。3.2 第二步自己訓(xùn)練一個文本分類小模型跑通別人的模型只是熱身真正價值出現(xiàn)在自己動手微調(diào)模型。我做的第一個訓(xùn)練項目是一個酒店評論情感分類任務(wù)正負(fù)樣本各兩千條。數(shù)據(jù)是從一個公開的評論集里整理出來的先做了去重、清理特殊字符、統(tǒng)一格式然后按7:2:1切分為訓(xùn)練集、驗證集、測試集。訓(xùn)練代碼的核心骨架from datasets import Dataset from transformers import TrainingArguments, Trainer train_dataset Dataset.from_pandas(train_df) val_dataset Dataset.from_pandas(val_df) training_args TrainingArguments( output_dir./results, evaluation_strategyepoch, save_strategyepoch, learning_rate2e-5, per_device_train_batch_size16, per_device_eval_batch_size32, num_train_epochs3, weight_decay0.01, logging_dir./logs, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_datasetval_dataset, ) trainer.train()這里有個關(guān)鍵問題learning_rate2e-5這個值不是隨便拍的。微調(diào)預(yù)訓(xùn)練模型時學(xué)習(xí)率通常要比從頭訓(xùn)練小一個量級因為預(yù)訓(xùn)練權(quán)重已經(jīng)學(xué)到了通用特征學(xué)率太大會導(dǎo)致災(zāi)難性遺忘——模型把之前學(xué)到的通用知識全忘掉。我一開始試過1e-4明顯看到驗證集loss劇烈波動改回2e-5以后才穩(wěn)定下降。另一個容易被忽略的參數(shù)是evaluation_strategyepoch它代表每個訓(xùn)練epoch結(jié)束后用驗證集評估一次。千萬不要只在所有訓(xùn)練結(jié)束后評估一次那樣中間出現(xiàn)的問題沒法及時發(fā)現(xiàn)。我后來甚至把日志頻率調(diào)到每一步都記錄loss可以實時觀察訓(xùn)練狀態(tài)。訓(xùn)練結(jié)束以后我做了兩件新手常忽略的事用專門的測試集做最終評估以及把模型保存到本地并用它對真實樣本做推理驗證。測試集的作用是模擬模型在沒見過的數(shù)據(jù)上的表現(xiàn)這才是真實場景下的效果而不是訓(xùn)練集上的自我感覺良好。3.3 第三步把模型封裝成一個可用服務(wù)訓(xùn)練完模型之后下一步是部署。如果不做這一步模型永遠(yuǎn)只是筆記本里的一個產(chǎn)物不算一個工程。我用FastAPI封裝成了RESTful接口代碼很簡單from fastapi import FastAPI, Request from pydantic import BaseModel from transformers import pipeline app FastAPI() classifier pipeline(text-classification, model./results/checkpoint-xxx) class Item(BaseModel): text: str app.post(/predict) async def predict(item: Item): result classifier(item.text)[0] return {label: result[label], score: result[score]}這里最需要注意的是模型加載時機。如果每次請求都加載一次模型服務(wù)和死掉差不多。正確的做法是在服務(wù)啟動時把模型加載進(jìn)內(nèi)存然后接口只做推理。這個細(xì)節(jié)雖然小但我在頭幾次部署時確實犯過——在接口函數(shù)里加載模型結(jié)果第一個請求花了十幾秒后面的請求報告內(nèi)存一直在漲。服務(wù)化還有一個現(xiàn)實問題并發(fā)。如果只處理單條請求用上面的寫法完全夠用。但一旦有并發(fā)請求就需要考慮批量推理、異步任務(wù)隊列、負(fù)載均衡。入門階段建議先把單服務(wù)跑通理解整個調(diào)用鏈路再考慮更復(fù)雜的架構(gòu)。4. 從零學(xué)習(xí)中最容易踩的坑承諾一下這一節(jié)的東西幾乎都是我從實際報錯和反復(fù)排查里攢下來的比看十篇教程都有用。我按出現(xiàn)頻率排了序。4.1 版本地獄庫、驅(qū)動、系統(tǒng)的三角關(guān)系這個問題幾乎人人會碰。我的經(jīng)歷是這樣的某次升級依賴之后PyTorch開始報CUDA error: no kernel image is available for execution on the device查了半天發(fā)現(xiàn)是CUDA版本和顯卡驅(qū)動不匹配。報錯信息大概率原因解決方向CUDA error: no kernel image...CUDA版本和驅(qū)動不匹配查驅(qū)動支持的CUDA版本重裝對應(yīng)CUDA或PyTorchlibcudnn.so.8: cannot open shared object filecuDNN缺失或版本不對在conda環(huán)境里安裝匹配的cuDNNRuntimeError: CUDA out of memory顯存不足減小batch size、用梯度累積、換半精度Expected all tensors to be on the same device張量在CPU/GPU混用顯式調(diào)用.to(device)統(tǒng)一設(shè)備ImportError: cannot import name x from transformerstransformers版本過舊升級或按官方文檔回退到指定版本建議所有初學(xué)者建立起一個意識每一次環(huán)境變動都做記錄。我后來把所有依賴寫進(jìn)requirements.txt而且固定版本號不寫范圍版本這樣環(huán)境才能可復(fù)現(xiàn)。尤其是多人協(xié)作或者隔一段時間重新跑項目時這個習(xí)慣能救人一命。4.2 數(shù)據(jù)問題比模型問題更致命而且更隱蔽我在訓(xùn)練第一個模型時犯過一個很經(jīng)典的錯誤數(shù)據(jù)沒做shuffle。數(shù)據(jù)里前2000條都是正樣本后2000條都是負(fù)樣本訓(xùn)練時模型先大量看到正樣本loss震蕩很厲害最后模型嚴(yán)重偏向預(yù)測正類。后來我總結(jié)出一個規(guī)律數(shù)據(jù)層面出問題往往模型輸出的整體表現(xiàn)看起來還行但細(xì)看各類別的指標(biāo)就會露餡。比如準(zhǔn)確率看著有85%一看precision和recall負(fù)類的recall只有30%——這樣的模型上線之后就只能不停地誤判。處理數(shù)據(jù)的基本流程我整理為五步去重去掉完全重復(fù)或近似重復(fù)的文本清洗去掉HTML標(biāo)簽、噪聲符號、亂碼字符標(biāo)準(zhǔn)化統(tǒng)一大小寫中文不需要、統(tǒng)一全半角符號標(biāo)簽校驗檢查標(biāo)簽分布是否有錯標(biāo)漏標(biāo)劃分按類別分層采樣確保訓(xùn)練、驗證、測試集中各類別比例一致這五步看著簡單實際做下來每一步都需要親手寫代碼檢查我甚至專門寫了幾個小函數(shù)來統(tǒng)計標(biāo)簽分布、文本長度分布、重復(fù)率確保數(shù)據(jù)的每個維度都心里有數(shù)。4.3 顯存不夠時的幾種現(xiàn)實解法6GB顯存做小模型微調(diào)還算夠用但稍微模型大一點就尷尬了。我剛?cè)腴T時想試試更大的模型結(jié)果直接被OOMOut Of Memory勸退。后來學(xué)會了幾招現(xiàn)在整理出來方法思路代價減小batch size一次喂給模型更少樣本訓(xùn)練變慢需配合梯度累積梯度累積每N步更新一次參數(shù)訓(xùn)練時間變長混合精度訓(xùn)練用FP16代替FP32精度略降但訓(xùn)練加速模型量化用INT8/INT4代替FP16精度損失需驗證清理緩存torch.cuda.empty_cache()在中間步驟清理治標(biāo)不治本我用的最順手的方案是batch size設(shè)為8梯度累積步數(shù)設(shè)為2這樣等效到16的批量大小顯存卻不爆。如果你也想優(yōu)化顯存第一條先改batch size很多情況下就能解決。注意顯存不夠不要急著買新顯卡先把batch size降下來試試。很多人習(xí)慣網(wǎng)上抄一個batch size值就直接跑跑掛了還以為是模型問題。實際上batch size是訓(xùn)練里最不敏感的參數(shù)量級只要不是太大了對效果影響有限。5. 我沉淀下來的幾條經(jīng)驗法則最后分享幾個經(jīng)過反復(fù)驗證的經(jīng)驗不是套話是每個決策背后都有實際教訓(xùn)才總結(jié)出來的。5.1 用項目驅(qū)動代替漫無目的地刷課說真的AI工程這個方向信息量太密如果沒有明確目標(biāo)很容易陷入看視頻一時爽合上電腦全忘光的假學(xué)習(xí)循環(huán)。我的建議是一開始就定一個可以交付的項目哪怕是做一個小模型走完整條鏈路——數(shù)據(jù)、訓(xùn)練、評估、部署——做完一遍之后再去補理論你會發(fā)現(xiàn)自己吸收知識的效率完全不同。我見過不少朋友花兩三個月看深度學(xué)習(xí)理論課代碼一行沒寫最后讓他跑個模型完全懵。反過來先動手把流程跑通再回頭補為什么梯度下降收斂為什么激活函數(shù)要選ReLU這些理論理解深度完全不一樣因為你有真實體驗打底了。第一個項目不要選太復(fù)雜。我最推薦的入門項目是中文文本分類數(shù)據(jù)好找模型不重鏈路完整踩坑密度剛剛好。圖像方向可以選CIFAR-10做分類但環(huán)境依賴要多一些上手成本更高。如果能堅持做完一個文本分類項目AI工程的基礎(chǔ)框架就有了。5.2 記錄實驗日志養(yǎng)成工程習(xí)慣剛開始訓(xùn)練模型時我試了很多組超參數(shù)但全憑印象過一周之后根本想不起來哪組參數(shù)好、為什么好。吃了不少虧之后我建了一個實驗記錄表每跑一次實驗記一行實驗編號與目標(biāo)數(shù)據(jù)集版本與切分方式模型結(jié)構(gòu)與參數(shù)數(shù)量超參數(shù)配置學(xué)習(xí)率、batch size、epochs等訓(xùn)練結(jié)果loss曲線、評估指標(biāo)復(fù)現(xiàn)命令或代碼位置備注當(dāng)時的異常表現(xiàn)偶然發(fā)現(xiàn)這個習(xí)慣的收益是滾雪球式的。三個月以后我翻記錄還能準(zhǔn)確知道當(dāng)時某個實驗為什么失敗哪些參數(shù)組合值得延續(xù)。這比任何AI輔助調(diào)參工具都更貼近工程實踐本質(zhì)——可復(fù)現(xiàn)、可追溯、可信賴。5.3 學(xué)習(xí)節(jié)奏與心態(tài)建議AI工程是一條很長很長的路入門期45天到90天不等取決于基礎(chǔ)和時間投入。如果之前寫過Python過程會順一大截如果完全零編程基礎(chǔ)建議先花一兩周熟悉Python語法和基礎(chǔ)庫再正式進(jìn)入AI工程環(huán)節(jié)。心態(tài)上最重要的一個建議報錯不是災(zāi)難而是線索。我最早遇到報錯就想放棄后來逐漸把它當(dāng)成排查游戲。每個報錯都在告訴你系統(tǒng)內(nèi)部某個環(huán)節(jié)的狀態(tài)順著報錯追下去你會對框架的理解越來越深。到現(xiàn)在遇見沒見過的報錯我甚至有點興奮——因為我知道解決它之后認(rèn)知又會提升一截。最后一個小建議多在社區(qū)寫分享、看別人的提問。我很多經(jīng)驗其實來源于幫別人排查問題普適性極強的問題往往意味著很多人都會踩。試著答一道新區(qū)塊鏈跑出來的問題你就知道自己是否真正理解了一個知識點。從零開始這條路不短但它帶來的底層判斷力是不可替代的。前期慢一點沒關(guān)系持續(xù)跑總會到達(dá)自己最初想去的地方。