前陣子有朋友問我想入門大語言模型是不是得先買上幾張GPU、把幾十篇論文啃完再說。我說恰恰相反與其站在岸邊看別人訓(xùn)練大模型不如先花一個周末從零開始手把手構(gòu)建自己的第一個LLM。哪怕它只有幾十萬參數(shù)、生成的句子錯漏百出只要這一整套流程在你手里跑通你對語言模型的理解會比看十篇綜述都更扎實。這篇文章就是干這個用的——不依賴高性能硬件不堆晦澀公式把模型架構(gòu)、訓(xùn)練、生成、評估一條龍拆開講清楚。標(biāo)題敢寫“收藏版”是因為里面每個選擇我都會解釋背后的為什么每個常見坑我都會提前標(biāo)出來你可以把它當(dāng)作第一次做小模型實驗的完整參考手冊。這篇適合誰看有一點Python基礎(chǔ)、對Transformer只有模糊概念、想用最小成本搞清楚語言模型到底是怎么“學(xué)會說話”的人。它不適合期待讀完之后立刻能訓(xùn)練出接近商業(yè)產(chǎn)品級別模型的人——我們不追求大我們追求的是把一個模型從零到一完整跑通過程中獲得的認(rèn)知。1. 先想明白我們要構(gòu)建的“第一個LLM”到底有多大1.1 語言模型的本質(zhì)是“預(yù)測下一個字符”不管多大的模型底層的訓(xùn)練目標(biāo)都極其樸素給它一段文本作為上下文讓它預(yù)測下一個字符或者更準(zhǔn)確的叫法是token一個token可以是一個字符、一個詞或者一段子詞。比如你輸入“床前明月”模型要輸出一個概率分布告訴候選字符里“光”的概率最高。訓(xùn)練時我們拿真實的下一字符作為標(biāo)準(zhǔn)答案用交叉熵計算預(yù)測和答案的差距再通過反向傳播調(diào)整模型參數(shù)。這個流程不斷重復(fù)模型就慢慢學(xué)會了上下文里的統(tǒng)計規(guī)律。這看起來簡單到有點“笨”但所有語言模型的能力都是從這條主線上長出來的。GPT系列能寫文章、能對話、能編程本質(zhì)上都在做同一件事——根據(jù)前面的內(nèi)容預(yù)測下一個token。區(qū)別只在于數(shù)據(jù)規(guī)模、參數(shù)規(guī)模和訓(xùn)練技巧。所以當(dāng)你親手實現(xiàn)過“預(yù)測下一個字符”這個最小閉環(huán)之后后面再看任何大模型的技術(shù)文章都不會有“空中樓閣”的陌生感。1.2 為什么微型模型是最高效的學(xué)習(xí)載體有人可能會問現(xiàn)在開源大模型一堆直接拿現(xiàn)成的微調(diào)不是更方便嗎直接調(diào)用確實方便但那是“使用模型”不是“構(gòu)建模型”。自己從零構(gòu)建一個微型LLM你能直接觀察到三樣?xùn)|西數(shù)據(jù)怎么變成訓(xùn)練樣本、參數(shù)怎么一步步把Loss壓下去、采樣溫度怎么改變生成風(fēng)格。微型模型的價值在于“可控”。幾十萬參數(shù)的小模型跑一次完整訓(xùn)練只要幾分鐘到幾十分鐘你可以像做實驗一樣反復(fù)調(diào)參、看不同超參數(shù)下的曲線變化。換成大型模型一次訓(xùn)練的資源消耗足以讓你不敢亂試。就好比學(xué)開車先在模擬器上把油門剎車方向盤玩明白再上真車才不慌。理解微型模型的每個細(xì)節(jié)就是未來理解和駕馭大模型的模擬器。2. 環(huán)境與數(shù)據(jù)準(zhǔn)備動手前的三件小事2.1 硬件與運(yùn)行庫你的電腦可能已經(jīng)夠用先給個定心丸訓(xùn)練一個幾十萬參數(shù)、上下文長度128的微縮語言模型純CPU都能跑。我自己第一次跑通全程用的就是一臺普通辦公筆記本內(nèi)存8GB沒有獨(dú)立顯卡。訓(xùn)練10萬字符級別的語料大概幾分鐘能完成一輪基礎(chǔ)訓(xùn)練完全不耽誤邊訓(xùn)練邊刷劇。軟件層面東西不多Python環(huán)境建議直接用集成環(huán)境管理器避免手動裝包把系統(tǒng)搞亂。自動微分框架選主流的、支持CPU訓(xùn)練的那一款就行。裝庫的時候有個小坑——如果你有NVIDIA顯卡提前確認(rèn)好顯卡驅(qū)動版本再裝對應(yīng)版本的庫別直接裝默認(rèn)版否則很容易報CUDA不匹配的錯誤。沒有顯卡的直接裝CPU版省心。數(shù)值計算庫配合自動微分框架用的二維數(shù)組計算庫默認(rèn)裝最新版即可。2.2 語料選擇與清洗不要讓臟數(shù)據(jù)毀了第一次實驗第一次做實驗語料盡量選公開領(lǐng)域的、干凈的數(shù)據(jù)少踩數(shù)據(jù)清洗的坑。英文世界最經(jīng)典的選擇是莎士比亞全集內(nèi)容在公開領(lǐng)域長度適中風(fēng)格鮮明中文的話可以用公開的古詩文語料或者其他經(jīng)過整理的開源純文本數(shù)據(jù)集。拿到原始語料之后清洗這步千萬別跳過。我第一次用中文語料訓(xùn)練時數(shù)據(jù)里殘留了大量HTML標(biāo)簽和亂碼符號導(dǎo)致生成結(jié)果里頻繁出現(xiàn)半截標(biāo)簽看起來非?；＝ㄗh至少做三步統(tǒng)一編碼為UTF-8刪除所有非文本符號。按行或按段落過濾去掉長度小于10個字符的碎片。用正則把連續(xù)空白符壓縮成單個空格。清洗完的語料建議切成訓(xùn)練集和驗證集兩段比例差不多9:1。驗證集的作用后面訓(xùn)練章節(jié)會講它是你判斷模型有沒有過擬合的重要窗口。2.3 分詞方案為什么教學(xué)項目首選字符級常見的分詞方案有字符級、詞級和子詞級BPE等。正規(guī)的大模型項目基本都走子詞級但對于“從零構(gòu)建第一個LLM”這個目標(biāo)我強(qiáng)烈建議你先用字符級。原因很直白字符級的詞表大小通常只有幾十到一兩百代碼簡單到可以手寫而且你不需要引入任何外部分詞工具。詞表小意味著模型的嵌入層和輸出層參數(shù)量小訓(xùn)練速度更快符合“微型實驗”的定位。更重要的是用字符級你能更清楚地看到模型在學(xué)習(xí)“音節(jié)”“詞根”“風(fēng)格”這些現(xiàn)象而不必懷疑是不是分詞工具替模型做了太多事情。字符級分詞的核心就三步收集文本里所有獨(dú)立字符形成詞匯表、建立字符到整數(shù)ID的映射、把整段文本序列化成ID數(shù)組。就這么簡單不涉及任何需要安裝的第三方分詞庫。3. 模型骨架從零實現(xiàn)一個極簡Transformer3.1 六個核心組件先認(rèn)識一遍一個極簡的Decoder-only Transformer核心組件可以拆成這么幾塊輸入嵌入層Token Embedding把每個字符ID映射成一個固定維度的向量。說白了就是給每個字符找一個“數(shù)學(xué)意義上的管家”負(fù)責(zé)把離散ID翻譯成模型能計算的連續(xù)向量。位置編碼Position Embedding注意力機(jī)制本身不關(guān)心順序所以必須額外告訴模型“哪個字符在前、哪個在后”。最簡單的方法是用一組可學(xué)習(xí)的位置向量學(xué)到第幾個位置大概長什么樣。多頭注意力Multi-Head Attention讓每個位置都能“回看”前面的位置并從不同子空間提取關(guān)聯(lián)信息。這是整個Transformer的引擎。前饋網(wǎng)絡(luò)Feed-Forward Network對每個位置單獨(dú)做非線性變換相當(dāng)于給模型加一組可學(xué)習(xí)的“思考層”增強(qiáng)表達(dá)能力。層歸一化LayerNorm 殘差連接訓(xùn)練深層模型時的穩(wěn)定器。殘差讓梯度能順暢回傳歸一化保證每層輸出尺度不失控。輸出投影層把最后一層的向量映射回“詞表大小”的分?jǐn)?shù)向量logits再配合Softmax得到每個字符的預(yù)測概率。以上這些組件每一個單獨(dú)拎出來都能寫上千字文章但第一次實驗階段你只需要理解它們的組合邏輯不需要逐行默寫公式。3.2 注意力機(jī)制Transformer真正的引擎注意力機(jī)制值得單獨(dú)說透一點。它的輸入是三份東西Query查詢、Key鍵、Value值?？梢赃@樣類比你在圖書館里找一本書Query是你想知道的問題Key是每本書的標(biāo)簽Value是書本內(nèi)容。系統(tǒng)先把你手里的問題跟每個標(biāo)簽做匹配算出相似度分?jǐn)?shù)再按相似度從高到低加權(quán)提取對應(yīng)的內(nèi)容。微型Transformer里的實現(xiàn)會用到因果掩碼Causal Mask。因為語言模型只能看當(dāng)前時間步之前的內(nèi)容不能偷看未來的字符。實現(xiàn)方式很簡單在計算注意力分?jǐn)?shù)之后把“未來位置”的分?jǐn)?shù)設(shè)置成一個極大的負(fù)數(shù)Softmax之后那些位置的權(quán)重就變成0。這一步就是Decoder和Encoder最本質(zhì)的區(qū)別之一——Encoder允許雙向互相看而Decoder強(qiáng)制單向?？s放因子也值得提一嘴。注意力分?jǐn)?shù)除以頭維度的平方根是為了防止向量維度過大時點積結(jié)果太大導(dǎo)致Softmax進(jìn)入梯度飽和區(qū)。這不是調(diào)參玄學(xué)是有數(shù)學(xué)依據(jù)的穩(wěn)定化操作。3.3 把子層拼成解碼器初始Loss檢查是救命的把上面幾塊按順序拼接一個微型Transformer解碼器就成型了輸入ID → 嵌入向量 → 位置編碼 → N個Transformer層每層都是“注意力殘差歸一化前饋殘差歸一化”→ 輸出投影層 → logits。拼完之后在開始正式訓(xùn)練前一定要先做一件事打印初始Loss。這里有一個非常實用的經(jīng)驗值初始Loss應(yīng)該接近 log(vocab_size)。比如你的詞表大小是65那么 log(65) ≈ 4.17。如果初始Loss是這個數(shù)附近說明前向傳播、數(shù)據(jù)切批、標(biāo)簽構(gòu)造都基本正確如果差得離譜說明某個環(huán)節(jié)肯定有bug這時候修比訓(xùn)練半天之后才發(fā)現(xiàn)loss不降要劃算得多。為什么初始Loss必然接近這個值因為模型參數(shù)剛隨機(jī)初始化它還沒有學(xué)到任何規(guī)律對每個字符的預(yù)測概率基本均勻。均勻分布的交叉熵就是詞表大小的自然對數(shù)。這個小小的檢查點能幫你把訓(xùn)練前的隱性問題一次性暴露。4. 訓(xùn)練循環(huán)如何讓Loss曲線替你說話4.1 一套可直接復(fù)用的超參數(shù)起點第一次訓(xùn)練微型LLM超參數(shù)不需要搞得很復(fù)雜。我經(jīng)常給新手的起點是一組已知能穩(wěn)定跑通的配置優(yōu)化器AdamWbeta10.9beta20.95epsilon1e-8。學(xué)習(xí)率1e-3到3e-3之間微型模型可以承受相對高一點的學(xué)習(xí)率。權(quán)重衰減0.1配合AdamW使用。批大小64個樣本每個樣本是一段定長文本塊。上下文長度128個字符。字符級模型對序列長度本來就敏感128是個不錯的起步值。訓(xùn)練步數(shù)先定在2000到5000步之間根據(jù)Loss曲線再動態(tài)調(diào)整。這些參數(shù)不是我拍腦袋給的它們背后的邏輯是模型參數(shù)少、數(shù)據(jù)規(guī)模不大優(yōu)化器不需要太重的穩(wěn)定性約束學(xué)習(xí)率拿中等偏上的值更容易在有限步數(shù)內(nèi)看到明顯收斂。訓(xùn)練循環(huán)本身很標(biāo)準(zhǔn)每個批次把輸入序列丟進(jìn)模型算出預(yù)測logits和真實目標(biāo)序列計算交叉熵?fù)p失反向傳播拿到梯度裁剪一下梯度范數(shù)推薦限制在1.0以內(nèi)然后用優(yōu)化器更新參數(shù)。梯度裁剪這一步別省它能在學(xué)習(xí)率偏高或遇到異常批次時防止Loss爆炸。4.2 訓(xùn)練中一定要盯的幾個信號訓(xùn)練期間別把Loss數(shù)字當(dāng)成唯一指標(biāo)有幾個信號值得同時關(guān)注初始Loss是否落在理論值附近前面說過了先驗證再開跑。Loss的下降速度正常情況前500步會掉得很快后面慢慢變慢。如果訓(xùn)練了1000步Loss還在原地晃大概率是學(xué)習(xí)率太小或數(shù)據(jù)有問題。訓(xùn)練Loss與驗證Loss的距離訓(xùn)練Loss持續(xù)下降、驗證Loss也開始下降但更慢這是正常一旦訓(xùn)練Loss還在降但驗證Loss開始回升就是過擬合的警鐘。梯度范數(shù)如果出現(xiàn)NaN或異常大值先看數(shù)據(jù)里有沒有臟字符再看學(xué)習(xí)率是不是太高。我自己第一次訓(xùn)練時就遇到過“Loss掉到2附近就再也不動”的情況。后來檢查發(fā)現(xiàn)是驗證集和訓(xùn)練集數(shù)據(jù)切分時用了同一個隨機(jī)種子導(dǎo)致兩邊數(shù)據(jù)重疊嚴(yán)重。這個問題不看驗證Loss根本發(fā)現(xiàn)不了所以強(qiáng)烈建議你養(yǎng)成“邊訓(xùn)練邊看驗證曲線”的習(xí)慣。4.3 微型模型的過擬合問題微型模型很容易在小型語料上過擬合——因為它參數(shù)量雖然小但語料量更小。我訓(xùn)練10萬字語料時大概兩三千步之后驗證Loss就開始反彈訓(xùn)練Loss卻還在穩(wěn)步下降。這個時候模型并不是“學(xué)會得更好”而是在“背誦訓(xùn)練集”生成出來的文本開始機(jī)械重復(fù)原文片段。應(yīng)對辦法其實不多選一個就夠提前停止盯著驗證Loss最低點那個checkpoint就是最佳模型。增加數(shù)據(jù)量語料從5萬字?jǐn)U到20萬字過擬合出現(xiàn)的時間會明顯推遲。增大權(quán)重衰減把weight_decay從0.1調(diào)到0.3一定程度上抑制參數(shù)過度膨脹。做輕量化的丟失增強(qiáng)對某些層隨機(jī)移除部分連接增強(qiáng)泛化。對于第一次實驗我最推薦先試提前停止簡單直接不用改任何訓(xùn)練邏輯。訓(xùn)練完保存驗證Loss最低點的模型文件后續(xù)推理都用它。5. 文本生成把概率變成句子5.1 自回歸生成的基本流程模型訓(xùn)練好之后生成文本就是把它當(dāng)成一個“自動續(xù)寫機(jī)”來用。流程非常直觀給模型一個起始提示詞比如“The”轉(zhuǎn)成ID序列。前向計算拿到下一個字符的概率分布。從分布里按照某種策略采樣一個字符ID。把采樣出的字符追加到序列末尾同時滑動窗口丟掉最前面的老內(nèi)容保持長度和訓(xùn)練時一致。重復(fù)2到4步直到生成足夠長的文本或遇到終止條件。注意第4步的窗口滑動。訓(xùn)練時上下文長度是固定值推理時序列也不能無限變長所以每步都要保證末尾新字符能被“看見”。這個細(xì)節(jié)第一次寫很容易漏漏了會出現(xiàn)“預(yù)測越來越瞎”的情況。5.2 溫度與Top-k一冷一熱兩種采樣概率分布出來之后直接每次都選概率最大的字符得到的結(jié)果會非常機(jī)械而且特別容易陷入重復(fù)循環(huán)。這時候就需要采樣策略來“注入隨機(jī)性”。溫度Temperature是最常用的旋鈕。簡單說把預(yù)測分?jǐn)?shù)除以一個溫度值再進(jìn)Softmax。溫度小于1分布變得更尖銳輸出更保守溫度大于1分布變得更平坦輸出更隨機(jī)溫度等于1就是原始分布。我自己常用的組合復(fù)現(xiàn)式寫作溫度0.4到0.7之間輸出穩(wěn)定且有點變化。創(chuàng)意式續(xù)寫溫度0.8到1.2之間變化更多但有失控風(fēng)險。玩梗式隨機(jī)溫度1.5以上基本就是亂說適合娛樂。Top-k采樣是另一道保險只從概率最高的前k個字符里按歸一化后的概率做選擇避免低概率的奇怪字符突然冒出來。經(jīng)典搭配是k40。溫度負(fù)責(zé)調(diào)節(jié)“膽量”Top-k負(fù)責(zé)過濾“雜質(zhì)”兩者配合效果最好。采樣策略效果表現(xiàn)適用場景貪心解碼字面復(fù)讀機(jī)重復(fù)嚴(yán)重調(diào)試模型是否工作溫度0.7相對通順偶用新詞日常生成基礎(chǔ)推薦溫度1.2 Top-k40變化豐富但有翻車概率創(chuàng)意生成、測試模型邊界5.3 讓生成結(jié)果更穩(wěn)定的幾個小技巧生成時的重復(fù)問題是新手最常遇到的生成50個字符可能就開始無意義循環(huán)。幾個親測有效的辦法限制上下文窗口不要把所有歷史都喂進(jìn)去只保留最后64到128個字符減輕模型陷入局部循環(huán)。啟用重復(fù)懲罰當(dāng)檢測到某個字符已經(jīng)在最近N個位置里高頻出現(xiàn)直接壓低它的采樣概率這是最簡單粗暴但有效的方式。先生成短片段再拼接不要指望一次生成上千字每次生成100到200字手動挑選滿意的片段拼接體驗會好很多。字面上看這些技巧不復(fù)雜但微小型模型尤其容易暴雷每次生成前想一下“哪段歷史可能在誤導(dǎo)模型”基本就能解決大半問題。6. 評估與改進(jìn)路線從“會說話”到“說得像話”6.1 用困惑度校準(zhǔn)你的體感評估語言模型最經(jīng)典的指標(biāo)是困惑度Perplexity它的定義是交叉熵?fù)p失的指數(shù)。困惑度越低說明模型對驗證集的預(yù)測越“意外驚喜少”也就是越擬合數(shù)據(jù)分布。訓(xùn)練完一個模型用驗證集算出最終Loss然后做一次 exp(Loss)就能得到困惑度。字符級模型配合字符集65困惑度在10到30之間算是“能看出點語言結(jié)構(gòu)”的水平如果困惑度還在50以上說明模型基本是在瞎猜。不過老實說困惑度只能作為客觀參考它不考慮“語義是否合理”。一個照抄訓(xùn)練集片段的模型可以有很低的困惑度但生成的文本毫無新鮮感。所以評估一定要過“肉眼”這關(guān)。6.2 生成樣本的縱向?qū)Ρ确ㄎ伊?xí)慣的訓(xùn)練完第一件事是做一組“縱向?qū)Ρ取薄潭ㄍ粋€起始提示詞分別用不同訓(xùn)練步數(shù)的checkpoint生成同樣長度的文本并排放在一起看。訓(xùn)練500步的模型可能只會拼出幾個高頻詞訓(xùn)練1500步的模型能拼出看起來像單詞的東西訓(xùn)練3000步的模型開始模仿語料的節(jié)奏和風(fēng)格。這種對比比任何指標(biāo)都直觀能讓你清晰地看到訓(xùn)練過程到底給模型帶來了什么。6.3 最有效的三種升級方向跑通第一版之后如果想繼續(xù)深入建議按順序走三條路線第一條是換分詞方案。從字符級換到BPE或Unigram子詞方案詞表從幾十跳到幾千甚至幾萬模型能更高效地利用上下文信息生成質(zhì)量通常會有一次質(zhì)的飛躍。代價是需要引入分詞庫以及注意力計算的內(nèi)存會上升。第二條是放大模型。參數(shù)從幾十萬提到幾百萬同時把上下文長度從128拉到256甚至512驗證集困惑度會明顯改善。放大模型的同時記得同步擴(kuò)大數(shù)據(jù)量否則過擬合會提前到來。第三條是微調(diào)路線。預(yù)訓(xùn)練完成的模型只是“續(xù)寫機(jī)器”如果希望它像助手一樣回答問題需要用指令數(shù)據(jù)做監(jiān)督微調(diào)SFT。這一步會用到提示詞模板和問答對數(shù)據(jù)能直觀體會到“基礎(chǔ)模型”與“助手模型”之間的差異。這三條路不是互斥的可以先后組合。但每走一步都建議保留舊checkpoint方便對比。大部分人在這個階段容易犯的毛病是同時改好幾個變量結(jié)果出了問題根本定位不到原因。記住一次只改一個變量這是所有實驗?zāi)茏屇阏嬲龑W(xué)到東西的前提。