據(jù)——BPE 分詞、滑動窗口數(shù)據(jù)加載與嵌入層)
示例工程大模型人工智能【免費下載鏈接】LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step項目地址https://gitcode.com/GitHub_Trending/ll/LLMs-from-scratch點擊查看免費下載本文以 ch02/README.md 為骨架系統(tǒng)梳理《Build a Large Language Model From Scratch》第 2 章Working with Text Data在 LLMs-from-scratch 倉庫中的全部代碼資產(chǎn)主章節(jié)的 BPE 分詞與數(shù)據(jù)加載流水線以及 5 份補充材料BPE 編碼器基準(zhǔn)對比、Embedding 與 MatMul 等價性、直覺化數(shù)據(jù)加載器、從零訓(xùn)練 BPE tokenizer 等。讀完本文你將掌握如何把任意原始文本轉(zhuǎn)換為 LLM 可消費的 token ID 序列、如何構(gòu)造帶輸入/目標(biāo)對的滑動窗口數(shù)據(jù)集并理解 token 嵌入與位置嵌入的底層原理。章節(jié)定位為什么訓(xùn)練 LLM 要先處理文本數(shù)據(jù)第 2 章是整本書從零構(gòu)建 GPT 式 LLM 的數(shù)據(jù)地基。在進(jìn)入多頭注意力、Transformer 塊等模型結(jié)構(gòu)第 3、4 章之前必須先解決一個根本問題模型只能處理數(shù)字無法直接讀取字符。因此本章圍繞三條主線展開分詞Tokenization把原始文本切分成 token再映射為整數(shù) ID數(shù)據(jù)加載Data Loading把 token 序列組織成帶輸入-目標(biāo)配對、可批量訓(xùn)練的樣本嵌入Embedding把 token ID 變成模型可計算的稠密向量并疊加位置信息。倉庫中 ch02/README.md 將全部內(nèi)容劃分為主章節(jié)代碼與補充材料兩部分下文逐一展開。主章節(jié)代碼完整實現(xiàn)與最小流水線主章節(jié)代碼位于 ch02/01_main-chapter-code 目錄包含三份文件ch02.ipynb包含章節(jié)正文出現(xiàn)的全部代碼是本章的權(quán)威實現(xiàn)exercise-solutions.ipynb章節(jié)練習(xí)的參考解答dataloader.ipynb跳過中間推導(dǎo)步驟、只保留核心數(shù)據(jù)加載流水線的最小化 Notebook適合快速回顧主線配套語料the-verdict.txt章節(jié)用來做實驗的短篇英文文本Edith Wharton 的《The Verdict》全書前幾章均以它為演示語料。分詞用 tiktoken 加載 GPT-2 的 BPE 詞表章節(jié)采用 OpenAI 的tiktoken庫直接加載 GPT-2 的 BPE 編碼核心調(diào)用只有一行import tiktoken tokenizer tiktoken.get_encoding(gpt2)該編碼的詞表大小為50257tokenizer.n_vocab即返回此值見 test_ch02.py其中包含 256 個原始字節(jié) token、約 5 萬個合并后的子詞 token 以及 1 個特殊 token|endoftext|。編碼/解碼示例如下輸出與 compare-bpe-tiktoken.ipynb 中的運行結(jié)果一致text Hello, world. Is this-- a test? integers tokenizer.encode(text, allowed_special{|endoftext|}) print(integers) # [15496, 11, 995, 13, 1148, 428, 438, 257, 1332, 30] print(tokenizer.decode(integers)) # Hello, world. Is this-- a test?注意allowed_special{|endoftext|}默認(rèn)情況下tiktoken遇到特殊 token 會報錯此參數(shù)顯式聲明該文本允許出現(xiàn)|endoftext|分隔符訓(xùn)練時可用于拼接多篇文檔。數(shù)據(jù)集構(gòu)造滑動窗口生成輸入/目標(biāo)對分詞之后章節(jié)用自定義Dataset類把整本書切分為重疊的定長序列。倉庫中的可執(zhí)行實現(xiàn)位于 pkg/llms_from_scratch/ch02.py與 Notebook 完全一致核心邏輯如下class GPTDatasetV1(Dataset): def __init__(self, txt, tokenizer, max_length, stride): self.tokenizer tokenizer self.input_ids [] self.target_ids [] # Tokenize the entire text token_ids tokenizer.encode(txt, allowed_special{|endoftext|}) # Use a sliding window to chunk the book into overlapping sequences for i in range(0, len(token_ids) - max_length, stride): input_chunk token_ids[i:i max_length] target_chunk token_ids[i 1: i max_length 1] self.input_ids.append(torch.tensor(input_chunk)) self.target_ids.append(torch.tensor(target_chunk)) def __len__(self): return len(self.input_ids) def __getitem__(self, idx): return self.input_ids[idx], self.target_ids[idx]關(guān)鍵設(shè)計是目標(biāo)序列相對輸入序列右移一個 tokeninput_chunk取[i, imax_length)target_chunk取[i1, imax_length1)。這樣每個樣本都天然構(gòu)成預(yù)測下一個 token的訓(xùn)練對是自回歸語言模型監(jiān)督信號的來源也解釋了為什么必須用stride步長小于max_length的滑動窗口——讓相鄰窗口重疊使每個位置都有機(jī)會作為被預(yù)測的目標(biāo)出現(xiàn)。數(shù)據(jù)加載器create_dataloader_v1 參數(shù)全解def create_dataloader_v1(txt, batch_size4, max_length256, stride128, shuffleTrue, drop_lastTrue, num_workers0): tokenizer tiktoken.get_encoding(gpt2) dataset GPTDatasetV1(txt, tokenizer, max_length, stride) dataloader DataLoader( dataset, batch_sizebatch_size, shuffleshuffle, drop_lastdrop_last, num_workersnum_workers) return dataloader各參數(shù)含義與默認(rèn)值如下參數(shù)默認(rèn)值作用txt必填原始文本字符串通常由open(the-verdict.txt).read()讀入batch_size4每個 batch 的樣本數(shù)決定梯度更新粒度與顯存占用max_length256每個樣本的 token 長度上下文窗口對應(yīng)后續(xù)模型的context_lengthstride128滑動窗口步長小于max_length時窗口重疊樣本量增加shuffleTrue訓(xùn)練時打亂樣本順序避免模型學(xué)到文檔順序偏差drop_lastTrue丟棄無法湊滿一個 batch 的末尾樣本保證張量形狀整齊num_workers0DataLoader 子進(jìn)程數(shù)0 表示在主進(jìn)程加載簡單場景推薦嵌入層token 嵌入 位置嵌入數(shù)據(jù)準(zhǔn)備好之后章節(jié)用兩個nn.Embedding層把整數(shù) ID 變成向量見 dataloader.ipynb 與測試 test_ch02.pyvocab_size 50257 output_dim 256 context_length 1024 token_embedding_layer torch.nn.Embedding(vocab_size, output_dim) # token - 向量 pos_embedding_layer torch.nn.Embedding(context_length, output_dim) # 位置 - 向量 batch_size 8 max_length 4 dataloader create_dataloader_v1(raw_text, batch_sizebatch_size, max_lengthmax_length, stridemax_length) for x, y in dataloader: token_embeddings token_embedding_layer(x) pos_embeddings pos_embedding_layer(torch.arange(max_length)) input_embeddings token_embeddings pos_embeddings break print(input_embeddings.shape) # torch.Size([8, 4, 256])token 嵌入層nn.Embedding(50257, 256)維護(hù)一張 50257×256 的可學(xué)習(xí)查表把每個 token ID 映射為 256 維向量位置嵌入層nn.Embedding(1024, 256)為序列中每個絕對位置提供 256 維向量。位置向量由torch.arange(max_length)一次性生成對所有 batch 共享二者逐元素相加后得到形狀[8, 4, 256]batch × 序列長度 × 嵌入維度的模型輸入這是后續(xù) Transformer 各層的標(biāo)準(zhǔn)入口張量。這一token 嵌入 位置嵌入疊加的輸入構(gòu)造方式與 pkg/llms_from_scratch/ch04.py 中 GPT 模型接收的輸入格式一脈相承是第 4 章搭建完整 GPT 架構(gòu)的直接前置。補充材料一BPE 編碼器實現(xiàn)基準(zhǔn)對比ch02/02_bonus_bytepair-encoder 提供了一份對三種 BPE 實現(xiàn)逐一 benchmark 的 Notebookcompare-bpe-tiktoken.ipynb核心對比腳本依次演示并計時三種實現(xiàn)tiktokentiktoken.get_encoding(gpt2)OpenAI 官方維護(hù)的高性能 BPE 實現(xiàn)OpenAI 原始實現(xiàn)導(dǎo)入 bpe_openai_gpt2.py 中的get_encoder先執(zhí)行download_vocab()下載詞表再以get_encoder(model_namegpt2_model, models_dir.)加載Hugging Face transformersGPT2Tokenizer.from_pretrained(gpt2)需transformers4.33.2。bpe_openai_gpt2.pyOpenAI GPT-2 倉庫原版encoder.py的完整移植含bytes_to_unicode()、get_pairs()、Encoder類等核心邏輯是理解 BPE 算法細(xì)節(jié)的權(quán)威參考gpt2_model預(yù)下載的 GPT-2 詞表文件包含encoder.jsontoken 到 ID 的映射與vocab.bpeBPE 合并規(guī)則使原始實現(xiàn)無需聯(lián)網(wǎng)即可加載requirements-extra.txtrequests、tqdm、transformers4.33.2運行對比 Notebook 前執(zhí)行pip install -r requirements-extra.txt安裝。三種實現(xiàn)對同一文本的編碼結(jié)果完全一致[15496, 11, 995, 13, 1148, 428, 438, 257, 1332, 30]證明它們等價差異主要體現(xiàn)在代碼復(fù)雜度和運行速度上這正是 benchmark 的目的所在。補充材料二Embedding 層與全連接層的等價性ch02/03_bonus_embedding-vs-matmul/embeddings-and-linear-layers.ipynb 用實驗證明一個常被忽略的數(shù)學(xué)事實嵌入層等價于作用在一熱編碼one-hot向量上的全連接層。具體而言nn.Embedding相當(dāng)于一個權(quán)重矩陣為嵌入表的線性層輸入經(jīng)過 one-hot 編碼后做矩陣乘法結(jié)果只是挑出權(quán)重矩陣中對應(yīng)的一行。由于 one-hot 向量中只有一個 1全連接層的輸出恰好等于嵌入表對應(yīng)行的復(fù)制。該 Notebook 用簡單數(shù)值演示了這種等價性幫助讀者理解為什么實際實現(xiàn)都采用查表式的nn.Embedding而非顯式的 one-hot 線性層——后者在詞表規(guī)模如 50257下會浪費大量內(nèi)存與算力。補充材料三用數(shù)字直覺理解數(shù)據(jù)加載器ch02/04_bonus_dataloader-intuition/dataloader-intuition.ipynb 把主章節(jié)的文本數(shù)據(jù)加載邏輯降維到最簡單的場景用一組普通數(shù)字而非文本演示滑動窗口、輸入/目標(biāo)偏移和 batch 組裝過程。通過觀察數(shù)字序列如何被切分為x輸入與y目標(biāo)讀者可以脫離 tokenizer 的干擾直觀理解max_length與stride如何決定樣本數(shù)量與重疊程度從而真正吃透GPTDatasetV1的切片邏輯。這是主章節(jié)數(shù)據(jù)流水線的最佳入門補充。補充材料四從零實現(xiàn)并訓(xùn)練 GPT-2 BPE tokenizerch02/05_bpe-from-scratch 是本章最有深度的補充材料包含兩套從零實現(xiàn) BPE 的 Notebookbpe-from-scratch-simple.ipynb為可讀性優(yōu)先設(shè)計的簡化版。它逐步展示 BPE 的核心流程——從統(tǒng)計相鄰字符對頻次、迭代合并最高頻對到把合并規(guī)則應(yīng)用于新文本讓讀者在幾十行代碼內(nèi)看清 BPE 的完整機(jī)制bpe-from-scratch.ipynb功能完備的進(jìn)階版行為上與tiktoken高度一致覆蓋各類邊界情況如 Unicode 字節(jié)映射、特殊 token 處理等并額外支持加載官方 GPT-2 詞表encoder.jsonvocab.bpetests.py配套測試驗證自研 tokenizer 與參考實現(xiàn)的行為一致性。從訓(xùn)練一個 tokenizer的角度這兩份 Notebook 完整覆蓋了 BPE 的兩個階段訓(xùn)練階段統(tǒng)計語料、學(xué)習(xí)合并規(guī)則與推理階段用學(xué)到的規(guī)則編碼新文本是對主章節(jié)直接使用 tiktoken做法的底層拆解。補充材料五Simple Tokenizer v3ch02/06_bonus_simple-tokenizer-v3/simple-tokenizer-v3.ipynb 提供了一個自研的輕量 tokenizer 第三版。與依賴tiktoken的主章節(jié)實現(xiàn)不同它完全基于 Python 標(biāo)準(zhǔn)庫實現(xiàn)分詞邏輯不依賴 OpenAI 的 BPE 詞表適合在無法安裝第三方庫的環(huán)境中使用或作為理解tokenizer 內(nèi)部到底做了什么的教學(xué)工具。倉庫中的可運行版本pkg 包與測試驗證除 Notebook 外倉庫把第 2 章核心代碼抽離為可直接導(dǎo)入的 Python 模塊方便在腳本與測試中復(fù)用pkg/llms_from_scratch/ch02.pyGPTDatasetV1與create_dataloader_v1的獨立可執(zhí)行版本簽名與 Notebook 完全一致pkg/llms_from_scratch/tests/test_ch02.py端到端測試用the-verdict.txt構(gòu)建 DataLoader驗證 token/位置嵌入疊加后張量形狀為[8, 4, 256]并確認(rèn)vocab_size50257、context_length1024等關(guān)鍵超參。該測試同時演示了標(biāo)準(zhǔn)使用流程create_dataloader_v1(raw_text, batch_size8, max_length4, stride4)遍歷得到(x, y)批次后分別過 token 與位置嵌入層求和。若從源碼克隆本倉庫可直接在pkg/目錄下運行測試驗證本章實現(xiàn)。小結(jié)第 2 章處理文本數(shù)據(jù)打通了從原始文本到模型輸入張量的完整鏈路tiktoken負(fù)責(zé) BPE 分詞50257 詞表GPTDatasetV1create_dataloader_v1用滑動窗口生成輸入/目標(biāo)對nn.Embedding完成 token 與位置的向量化。五份補充材料則從不同維度深化理解BPE 三種實現(xiàn)基準(zhǔn)對比、Embedding 與 MatMul 的數(shù)學(xué)等價、數(shù)字版數(shù)據(jù)加載器直覺、從零訓(xùn)練 BPE tokenizer以及輕量自研 tokenizer。掌握本章后你便擁有了訓(xùn)練自建 LLM 的第一塊基石可以無縫進(jìn)入第 3 章的多頭注意力機(jī)制與第 4 章的完整 GPT 架構(gòu)搭建。贊分享示例工程大模型人工智能【免費下載鏈接】LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step項目地址https://gitcode.com/GitHub_Trending/ll/LLMs-from-scratch點擊查看免費下載相關(guān)推薦如何快速上手 BrewUI Discover搜索、瀏覽與安裝 Homebrew 包全流程指南如何快速上手 BrewUI Discover搜索、瀏覽與安裝 Homebrew 包全流程指南 BrewUIHomebrew 官方 macOS 圖形界面應(yīng)用桌面應(yīng)用開發(fā)工具用數(shù)字?jǐn)?shù)據(jù)直觀理解 LLM 數(shù)據(jù)加載器LLMs-from-scratch 滑動窗口采樣實戰(zhàn)指南用數(shù)字?jǐn)?shù)據(jù)直觀理解 LLM 數(shù)據(jù)加載器LLMs from scratch 滑動窗口采樣實戰(zhàn)指南 導(dǎo)讀 本篇技術(shù)指南聚焦于 LLMs from scratch示例工程大模型人工智能LLMs-from-scratch數(shù)據(jù)加載器實現(xiàn)高效文本數(shù)據(jù)處理技巧LLMs from scratch數(shù)據(jù)加載器實現(xiàn)高效文本數(shù)據(jù)處理技巧 痛點與解決方案 你是否在訓(xùn)練大型語言模型LLM時遇到過文本數(shù)據(jù)處理效率低下的問題是示例工程大模型人工智能上一篇Impeccable Finish Reviewer讀懂 Impeccable 終審機(jī)制——從證據(jù)校驗、保真度矩陣到四詞裁決的設(shè)計交付門禁下一篇3DS游戲文件處理神器輕松解密與下載CIA文件創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 LLMs-from-scratch 第 2 章精講：處理文本數(shù)據(jù)——BPE 分詞、滑動窗口數(shù)據(jù)加載與嵌入層
示例工程大模型人工智能【免費下載鏈接】LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step項目地址https://gitcode.com/GitHub_Trending/ll/LLMs-from-scratch點擊查看免費下載本文以 ch02/README.md 為骨架系統(tǒng)梳理《Build a Large Language Model From Scratch》第 2 章Working with Text Data在 LLMs-from-scratch 倉庫中的全部代碼資產(chǎn)主章節(jié)的 BPE 分詞與數(shù)據(jù)加載流水線以及 5 份補充材料BPE 編碼器基準(zhǔn)對比、Embedding 與 MatMul 等價性、直覺化數(shù)據(jù)加載器、從零訓(xùn)練 BPE tokenizer 等。讀完本文你將掌握如何把任意原始文本轉(zhuǎn)換為 LLM 可消費的 token ID 序列、如何構(gòu)造帶輸入/目標(biāo)對的滑動窗口數(shù)據(jù)集并理解 token 嵌入與位置嵌入的底層原理。章節(jié)定位為什么訓(xùn)練 LLM 要先處理文本數(shù)據(jù)第 2 章是整本書從零構(gòu)建 GPT 式 LLM 的數(shù)據(jù)地基。在進(jìn)入多頭注意力、Transformer 塊等模型結(jié)構(gòu)第 3、4 章之前必須先解決一個根本問題模型只能處理數(shù)字無法直接讀取字符。因此本章圍繞三條主線展開分詞Tokenization把原始文本切分成 token再映射為整數(shù) ID數(shù)據(jù)加載Data Loading把 token 序列組織成帶輸入-目標(biāo)配對、可批量訓(xùn)練的樣本嵌入Embedding把 token ID 變成模型可計算的稠密向量并疊加位置信息。倉庫中 ch02/README.md 將全部內(nèi)容劃分為主章節(jié)代碼與補充材料兩部分下文逐一展開。主章節(jié)代碼完整實現(xiàn)與最小流水線主章節(jié)代碼位于 ch02/01_main-chapter-code 目錄包含三份文件ch02.ipynb包含章節(jié)正文出現(xiàn)的全部代碼是本章的權(quán)威實現(xiàn)exercise-solutions.ipynb章節(jié)練習(xí)的參考解答dataloader.ipynb跳過中間推導(dǎo)步驟、只保留核心數(shù)據(jù)加載流水線的最小化 Notebook適合快速回顧主線配套語料the-verdict.txt章節(jié)用來做實驗的短篇英文文本Edith Wharton 的《The Verdict》全書前幾章均以它為演示語料。分詞用 tiktoken 加載 GPT-2 的 BPE 詞表章節(jié)采用 OpenAI 的tiktoken庫直接加載 GPT-2 的 BPE 編碼核心調(diào)用只有一行import tiktoken tokenizer tiktoken.get_encoding(gpt2)該編碼的詞表大小為50257tokenizer.n_vocab即返回此值見 test_ch02.py其中包含 256 個原始字節(jié) token、約 5 萬個合并后的子詞 token 以及 1 個特殊 token|endoftext|。編碼/解碼示例如下輸出與 compare-bpe-tiktoken.ipynb 中的運行結(jié)果一致text Hello, world. Is this-- a test? integers tokenizer.encode(text, allowed_special{|endoftext|}) print(integers) # [15496, 11, 995, 13, 1148, 428, 438, 257, 1332, 30] print(tokenizer.decode(integers)) # Hello, world. Is this-- a test?注意allowed_special{|endoftext|}默認(rèn)情況下tiktoken遇到特殊 token 會報錯此參數(shù)顯式聲明該文本允許出現(xiàn)|endoftext|分隔符訓(xùn)練時可用于拼接多篇文檔。數(shù)據(jù)集構(gòu)造滑動窗口生成輸入/目標(biāo)對分詞之后章節(jié)用自定義Dataset類把整本書切分為重疊的定長序列。倉庫中的可執(zhí)行實現(xiàn)位于 pkg/llms_from_scratch/ch02.py與 Notebook 完全一致核心邏輯如下class GPTDatasetV1(Dataset): def __init__(self, txt, tokenizer, max_length, stride): self.tokenizer tokenizer self.input_ids [] self.target_ids [] # Tokenize the entire text token_ids tokenizer.encode(txt, allowed_special{|endoftext|}) # Use a sliding window to chunk the book into overlapping sequences for i in range(0, len(token_ids) - max_length, stride): input_chunk token_ids[i:i max_length] target_chunk token_ids[i 1: i max_length 1] self.input_ids.append(torch.tensor(input_chunk)) self.target_ids.append(torch.tensor(target_chunk)) def __len__(self): return len(self.input_ids) def __getitem__(self, idx): return self.input_ids[idx], self.target_ids[idx]關(guān)鍵設(shè)計是目標(biāo)序列相對輸入序列右移一個 tokeninput_chunk取[i, imax_length)target_chunk取[i1, imax_length1)。這樣每個樣本都天然構(gòu)成預(yù)測下一個 token的訓(xùn)練對是自回歸語言模型監(jiān)督信號的來源也解釋了為什么必須用stride步長小于max_length的滑動窗口——讓相鄰窗口重疊使每個位置都有機(jī)會作為被預(yù)測的目標(biāo)出現(xiàn)。數(shù)據(jù)加載器create_dataloader_v1 參數(shù)全解def create_dataloader_v1(txt, batch_size4, max_length256, stride128, shuffleTrue, drop_lastTrue, num_workers0): tokenizer tiktoken.get_encoding(gpt2) dataset GPTDatasetV1(txt, tokenizer, max_length, stride) dataloader DataLoader( dataset, batch_sizebatch_size, shuffleshuffle, drop_lastdrop_last, num_workersnum_workers) return dataloader各參數(shù)含義與默認(rèn)值如下參數(shù)默認(rèn)值作用txt必填原始文本字符串通常由open(the-verdict.txt).read()讀入batch_size4每個 batch 的樣本數(shù)決定梯度更新粒度與顯存占用max_length256每個樣本的 token 長度上下文窗口對應(yīng)后續(xù)模型的context_lengthstride128滑動窗口步長小于max_length時窗口重疊樣本量增加shuffleTrue訓(xùn)練時打亂樣本順序避免模型學(xué)到文檔順序偏差drop_lastTrue丟棄無法湊滿一個 batch 的末尾樣本保證張量形狀整齊num_workers0DataLoader 子進(jìn)程數(shù)0 表示在主進(jìn)程加載簡單場景推薦嵌入層token 嵌入 位置嵌入數(shù)據(jù)準(zhǔn)備好之后章節(jié)用兩個nn.Embedding層把整數(shù) ID 變成向量見 dataloader.ipynb 與測試 test_ch02.pyvocab_size 50257 output_dim 256 context_length 1024 token_embedding_layer torch.nn.Embedding(vocab_size, output_dim) # token - 向量 pos_embedding_layer torch.nn.Embedding(context_length, output_dim) # 位置 - 向量 batch_size 8 max_length 4 dataloader create_dataloader_v1(raw_text, batch_sizebatch_size, max_lengthmax_length, stridemax_length) for x, y in dataloader: token_embeddings token_embedding_layer(x) pos_embeddings pos_embedding_layer(torch.arange(max_length)) input_embeddings token_embeddings pos_embeddings break print(input_embeddings.shape) # torch.Size([8, 4, 256])token 嵌入層nn.Embedding(50257, 256)維護(hù)一張 50257×256 的可學(xué)習(xí)查表把每個 token ID 映射為 256 維向量位置嵌入層nn.Embedding(1024, 256)為序列中每個絕對位置提供 256 維向量。位置向量由torch.arange(max_length)一次性生成對所有 batch 共享二者逐元素相加后得到形狀[8, 4, 256]batch × 序列長度 × 嵌入維度的模型輸入這是后續(xù) Transformer 各層的標(biāo)準(zhǔn)入口張量。這一token 嵌入 位置嵌入疊加的輸入構(gòu)造方式與 pkg/llms_from_scratch/ch04.py 中 GPT 模型接收的輸入格式一脈相承是第 4 章搭建完整 GPT 架構(gòu)的直接前置。補充材料一BPE 編碼器實現(xiàn)基準(zhǔn)對比ch02/02_bonus_bytepair-encoder 提供了一份對三種 BPE 實現(xiàn)逐一 benchmark 的 Notebookcompare-bpe-tiktoken.ipynb核心對比腳本依次演示并計時三種實現(xiàn)tiktokentiktoken.get_encoding(gpt2)OpenAI 官方維護(hù)的高性能 BPE 實現(xiàn)OpenAI 原始實現(xiàn)導(dǎo)入 bpe_openai_gpt2.py 中的get_encoder先執(zhí)行download_vocab()下載詞表再以get_encoder(model_namegpt2_model, models_dir.)加載Hugging Face transformersGPT2Tokenizer.from_pretrained(gpt2)需transformers4.33.2。bpe_openai_gpt2.pyOpenAI GPT-2 倉庫原版encoder.py的完整移植含bytes_to_unicode()、get_pairs()、Encoder類等核心邏輯是理解 BPE 算法細(xì)節(jié)的權(quán)威參考gpt2_model預(yù)下載的 GPT-2 詞表文件包含encoder.jsontoken 到 ID 的映射與vocab.bpeBPE 合并規(guī)則使原始實現(xiàn)無需聯(lián)網(wǎng)即可加載requirements-extra.txtrequests、tqdm、transformers4.33.2運行對比 Notebook 前執(zhí)行pip install -r requirements-extra.txt安裝。三種實現(xiàn)對同一文本的編碼結(jié)果完全一致[15496, 11, 995, 13, 1148, 428, 438, 257, 1332, 30]證明它們等價差異主要體現(xiàn)在代碼復(fù)雜度和運行速度上這正是 benchmark 的目的所在。補充材料二Embedding 層與全連接層的等價性ch02/03_bonus_embedding-vs-matmul/embeddings-and-linear-layers.ipynb 用實驗證明一個常被忽略的數(shù)學(xué)事實嵌入層等價于作用在一熱編碼one-hot向量上的全連接層。具體而言nn.Embedding相當(dāng)于一個權(quán)重矩陣為嵌入表的線性層輸入經(jīng)過 one-hot 編碼后做矩陣乘法結(jié)果只是挑出權(quán)重矩陣中對應(yīng)的一行。由于 one-hot 向量中只有一個 1全連接層的輸出恰好等于嵌入表對應(yīng)行的復(fù)制。該 Notebook 用簡單數(shù)值演示了這種等價性幫助讀者理解為什么實際實現(xiàn)都采用查表式的nn.Embedding而非顯式的 one-hot 線性層——后者在詞表規(guī)模如 50257下會浪費大量內(nèi)存與算力。補充材料三用數(shù)字直覺理解數(shù)據(jù)加載器ch02/04_bonus_dataloader-intuition/dataloader-intuition.ipynb 把主章節(jié)的文本數(shù)據(jù)加載邏輯降維到最簡單的場景用一組普通數(shù)字而非文本演示滑動窗口、輸入/目標(biāo)偏移和 batch 組裝過程。通過觀察數(shù)字序列如何被切分為x輸入與y目標(biāo)讀者可以脫離 tokenizer 的干擾直觀理解max_length與stride如何決定樣本數(shù)量與重疊程度從而真正吃透GPTDatasetV1的切片邏輯。這是主章節(jié)數(shù)據(jù)流水線的最佳入門補充。補充材料四從零實現(xiàn)并訓(xùn)練 GPT-2 BPE tokenizerch02/05_bpe-from-scratch 是本章最有深度的補充材料包含兩套從零實現(xiàn) BPE 的 Notebookbpe-from-scratch-simple.ipynb為可讀性優(yōu)先設(shè)計的簡化版。它逐步展示 BPE 的核心流程——從統(tǒng)計相鄰字符對頻次、迭代合并最高頻對到把合并規(guī)則應(yīng)用于新文本讓讀者在幾十行代碼內(nèi)看清 BPE 的完整機(jī)制bpe-from-scratch.ipynb功能完備的進(jìn)階版行為上與tiktoken高度一致覆蓋各類邊界情況如 Unicode 字節(jié)映射、特殊 token 處理等并額外支持加載官方 GPT-2 詞表encoder.jsonvocab.bpetests.py配套測試驗證自研 tokenizer 與參考實現(xiàn)的行為一致性。從訓(xùn)練一個 tokenizer的角度這兩份 Notebook 完整覆蓋了 BPE 的兩個階段訓(xùn)練階段統(tǒng)計語料、學(xué)習(xí)合并規(guī)則與推理階段用學(xué)到的規(guī)則編碼新文本是對主章節(jié)直接使用 tiktoken做法的底層拆解。補充材料五Simple Tokenizer v3ch02/06_bonus_simple-tokenizer-v3/simple-tokenizer-v3.ipynb 提供了一個自研的輕量 tokenizer 第三版。與依賴tiktoken的主章節(jié)實現(xiàn)不同它完全基于 Python 標(biāo)準(zhǔn)庫實現(xiàn)分詞邏輯不依賴 OpenAI 的 BPE 詞表適合在無法安裝第三方庫的環(huán)境中使用或作為理解tokenizer 內(nèi)部到底做了什么的教學(xué)工具。倉庫中的可運行版本pkg 包與測試驗證除 Notebook 外倉庫把第 2 章核心代碼抽離為可直接導(dǎo)入的 Python 模塊方便在腳本與測試中復(fù)用pkg/llms_from_scratch/ch02.pyGPTDatasetV1與create_dataloader_v1的獨立可執(zhí)行版本簽名與 Notebook 完全一致pkg/llms_from_scratch/tests/test_ch02.py端到端測試用the-verdict.txt構(gòu)建 DataLoader驗證 token/位置嵌入疊加后張量形狀為[8, 4, 256]并確認(rèn)vocab_size50257、context_length1024等關(guān)鍵超參。該測試同時演示了標(biāo)準(zhǔn)使用流程create_dataloader_v1(raw_text, batch_size8, max_length4, stride4)遍歷得到(x, y)批次后分別過 token 與位置嵌入層求和。若從源碼克隆本倉庫可直接在pkg/目錄下運行測試驗證本章實現(xiàn)。小結(jié)第 2 章處理文本數(shù)據(jù)打通了從原始文本到模型輸入張量的完整鏈路tiktoken負(fù)責(zé) BPE 分詞50257 詞表GPTDatasetV1create_dataloader_v1用滑動窗口生成輸入/目標(biāo)對nn.Embedding完成 token 與位置的向量化。五份補充材料則從不同維度深化理解BPE 三種實現(xiàn)基準(zhǔn)對比、Embedding 與 MatMul 的數(shù)學(xué)等價、數(shù)字版數(shù)據(jù)加載器直覺、從零訓(xùn)練 BPE tokenizer以及輕量自研 tokenizer。掌握本章后你便擁有了訓(xùn)練自建 LLM 的第一塊基石可以無縫進(jìn)入第 3 章的多頭注意力機(jī)制與第 4 章的完整 GPT 架構(gòu)搭建。贊分享示例工程大模型人工智能【免費下載鏈接】LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step項目地址https://gitcode.com/GitHub_Trending/ll/LLMs-from-scratch點擊查看免費下載相關(guān)推薦如何快速上手 BrewUI Discover搜索、瀏覽與安裝 Homebrew 包全流程指南如何快速上手 BrewUI Discover搜索、瀏覽與安裝 Homebrew 包全流程指南 BrewUIHomebrew 官方 macOS 圖形界面應(yīng)用桌面應(yīng)用開發(fā)工具用數(shù)字?jǐn)?shù)據(jù)直觀理解 LLM 數(shù)據(jù)加載器LLMs-from-scratch 滑動窗口采樣實戰(zhàn)指南用數(shù)字?jǐn)?shù)據(jù)直觀理解 LLM 數(shù)據(jù)加載器LLMs from scratch 滑動窗口采樣實戰(zhàn)指南 導(dǎo)讀 本篇技術(shù)指南聚焦于 LLMs from scratch示例工程大模型人工智能LLMs-from-scratch數(shù)據(jù)加載器實現(xiàn)高效文本數(shù)據(jù)處理技巧LLMs from scratch數(shù)據(jù)加載器實現(xiàn)高效文本數(shù)據(jù)處理技巧 痛點與解決方案 你是否在訓(xùn)練大型語言模型LLM時遇到過文本數(shù)據(jù)處理效率低下的問題是示例工程大模型人工智能上一篇Impeccable Finish Reviewer讀懂 Impeccable 終審機(jī)制——從證據(jù)校驗、保真度矩陣到四詞裁決的設(shè)計交付門禁下一篇3DS游戲文件處理神器輕松解密與下載CIA文件創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考