簡介《2024大模型訓練數(shù)據(jù)白皮書》由阿里云智能集團與數(shù)字中國研究院福建聯(lián)合撰寫面向大模型算法工程師、AI產(chǎn)品經(jīng)理及數(shù)據(jù)治理相關從業(yè)者系統(tǒng)梳理訓練數(shù)據(jù)對大模型發(fā)展的基礎性作用并解答中文語料短缺、用戶信息依賴等常見誤區(qū)。資源以單個PDF文檔形式收錄全文壓縮包約15.19MB便于離線研讀與團隊分享目前已有252人學習使用。白皮書重點解析高質(zhì)量數(shù)據(jù)的標準與三類不確定性提出合成數(shù)據(jù)作為緩解訓練數(shù)據(jù)供給不足的新方案同時涵蓋數(shù)據(jù)合規(guī)治理、政府與社會力量協(xié)同構(gòu)建數(shù)據(jù)生態(tài)等章節(jié)。讀者可從中掌握大模型訓練數(shù)據(jù)的科學定義、評估維度與治理框架為數(shù)據(jù)選型、語料工程和合規(guī)實踐提供直接參考。1. 訓練數(shù)據(jù)白皮書大模型的上限不在算力在數(shù)據(jù)讀大模型訓練數(shù)據(jù)白皮書最容易得到的一個反直覺結(jié)論是模型能力的上限往往不是參數(shù)量或算力卡數(shù)決定的而是訓練數(shù)據(jù)的質(zhì)量與配比決定的。同樣一套基座架構(gòu)喂不同來源、不同清洗深度、不同配比的語料最后的評測分數(shù)能拉開好幾個點。這份白皮書的價值就是把數(shù)據(jù)從“黑匣子”變成了一張可執(zhí)行的地圖——數(shù)據(jù)從哪來、清洗到什么程度、各語料怎么配比、重復數(shù)據(jù)如何懲罰全都有量化建議。適合正在做預訓練、領域微調(diào)、RAG知識庫構(gòu)建的工程師也適合想弄明白“為什么我的模型總在某個領域犯傻”的算法同學。2. 數(shù)據(jù)全景與構(gòu)成邏輯規(guī)模、來源、配比三件事2.1 數(shù)據(jù)規(guī)模不是越大越好有效Token密度才關鍵白皮書里對數(shù)據(jù)規(guī)模的分析核心觀點非常務實大模型訓練數(shù)據(jù)的規(guī)模首先由參數(shù)量和訓練預算決定其次才談得上“有多少刷多少”。業(yè)界常見的做法是參考Chinchilla法則的工程化版本——在算力有限的前提下訓練Token數(shù)大約為模型參數(shù)量的20倍左右。也就是說一個70億參數(shù)的模型訓練數(shù)據(jù)規(guī)模落在1400億Token附近是一個合理的起點如果數(shù)據(jù)質(zhì)量足夠高、領域足夠聚焦這個倍數(shù)還可以往下降但不能無腦堆量。我一般會在實際項目里做一次“數(shù)據(jù)規(guī)模壓測”先用1%的數(shù)據(jù)切片訓一個小規(guī)模模型觀察loss下降曲線與評測集表現(xiàn)再決定全量數(shù)據(jù)是否按比例擴展。單純把數(shù)據(jù)量翻倍但清洗不達標模型學到的反而更多是噪聲模式。數(shù)據(jù)規(guī)模不是“多多益善”有效Token密度的含義是——每一條語料經(jīng)過清洗、去重、質(zhì)量打分之后還剩下多少信息量能被模型穩(wěn)定吸收。低質(zhì)量數(shù)據(jù)會把平均信息密度拉低模型需要更多步數(shù)才能擬合到同等水平等于變相消耗算力。白皮書里給了一個重要的操作視角把數(shù)據(jù)規(guī)模分為“原始采集量”和“訓練用量”兩者之間差一個數(shù)量級是常態(tài)。原始數(shù)據(jù)里混雜著大量重復頁面、機器生成的垃圾文本、低質(zhì)量翻譯語料經(jīng)過過濾后真正進入訓練管線的往往只占兩到三成。因此評估數(shù)據(jù)工作做得好不好不是看采集了多少TB而是看最終形成訓練集之后每條數(shù)據(jù)的質(zhì)量分布長什么樣。2.2 數(shù)據(jù)源構(gòu)成網(wǎng)頁、圖書、代碼、多語種各自承擔什么角色大模型訓練白皮書里最值得反復看的部分是數(shù)據(jù)源構(gòu)成的拆解表格。不同數(shù)據(jù)源承擔的信息功能完全不同網(wǎng)頁語料提供常識與表達多樣性圖書語料提供深度敘事與長程依賴代碼語料提供邏輯推理與結(jié)構(gòu)化能力學術(shù)論文語料貢獻嚴謹表達與領域術(shù)語。比例一旦失衡模型的能力輪廓就會偏——比如代碼語料占比過高模型的自然語言生成會帶上“過度結(jié)構(gòu)化”的味道圖書語料過多對話風格又會顯得過于書面。一個常見的基線配比大致如下數(shù)據(jù)源類型典型占比主要貢獻風險點網(wǎng)頁語料55% - 65%常識、表達多樣性、開放話題覆蓋噪聲多重復率高事實錯誤多圖書與長文10% - 15%長程邏輯、敘事連貫性、深度推理版權(quán)敏感風格單一臟格式多代碼語料10% - 20%邏輯鏈、結(jié)構(gòu)化表達、函數(shù)級理解注釋與代碼混雜語言分布偏英語學術(shù)論文與技術(shù)文檔5% - 10%專業(yè)術(shù)語、嚴謹表達、科學推理公式符號清洗難領域偏向多語種平行語料2% - 5%跨語言遷移、翻譯一致性對齊質(zhì)量參差低資源語種稀疏白皮書強調(diào)的關鍵點在于這些比例不是拍腦袋定的而是通過小規(guī)模對照實驗調(diào)出來的。常見的做法是固定模型結(jié)構(gòu)和訓練步數(shù)只改動數(shù)據(jù)配比觀察評測集上的分項能力變化。比如把代碼語料比例從10%提到15%如果推理類任務提升明顯但對話流暢度下降就說明配比偏離了目標能力畫像要回調(diào)。不同公司、不同產(chǎn)品方向最優(yōu)配比差異很大——對話產(chǎn)品的圖書與多語種占比通常高一些代碼助手類產(chǎn)品的代碼語料占比可能要到25%以上。數(shù)據(jù)源的選擇還會影響整個管線的清洗策略。網(wǎng)頁語料要做的HTML解析、正文抽取、機器生成文本識別與圖書語料的目錄剝離、OCR殘留清洗、版權(quán)過濾完全是兩套邏輯。白皮書把數(shù)據(jù)源和清洗策略綁定在一起分析比單純列一個“清洗步驟清單”要實用得多——因為每條清洗規(guī)則的背后都對應著某個數(shù)據(jù)源特有的臟數(shù)據(jù)形態(tài)。2.3 數(shù)據(jù)版本管理與語料溯源白皮書里另外一個容易被忽略但工程上極為重要的內(nèi)容是數(shù)據(jù)版本管理。很多團隊把數(shù)據(jù)當作一次性中間產(chǎn)物做完一版就扔到存儲里等到訓練效果不理想時根本說不清楚模型吃的是哪一份數(shù)據(jù)、清洗參數(shù)是什么、配比經(jīng)過了哪些調(diào)整。理想的做法是把數(shù)據(jù)管線做成“數(shù)據(jù)即代碼”的管理方式——每一份訓練集都對應一個數(shù)據(jù)包配置記錄數(shù)據(jù)源地址、清洗規(guī)則版本、去重閾值、配比權(quán)重、生成時間。實際操作中我會為每個數(shù)據(jù)包維護一份元數(shù)據(jù)清單至少包含以下字段數(shù)據(jù)源名稱與采集時間、清洗管線版本號、質(zhì)量過濾閾值、去重參數(shù)、最終Token總量、各語料占比。數(shù)據(jù)包的命名帶上版本號和時間戳訓練任務引用的數(shù)據(jù)包ID也一并記錄。這樣當某次實驗效果異常時可以快速反查是哪一步改動引入的問題而不是靠記憶或者翻聊天記錄。白皮書雖然沒有直接給出數(shù)據(jù)版本管理的完整方案但多次暗示了“數(shù)據(jù)版本可回溯”是數(shù)據(jù)工程質(zhì)量的核心指標。3. 數(shù)據(jù)清洗與質(zhì)量紅線從原始語料到可訓練語料3.1 清洗管線里的五個關鍵節(jié)點數(shù)據(jù)清洗是整個大模型訓練數(shù)據(jù)工程里投入時間最多、也最容易翻車的環(huán)節(jié)。白皮書里拆解的清洗管線可以歸納為五個關鍵節(jié)點格式規(guī)范化、語言與內(nèi)容過濾、質(zhì)量打分、去重、隱私與安全過濾。每個節(jié)點處理的問題不同但因為它們是串聯(lián)在管線里的順序錯了會影響后續(xù)的過濾效果。格式規(guī)范化處理的是“文本能否被模型正常讀取”的問題。網(wǎng)頁數(shù)據(jù)先要做HTML標簽剝離和正文抽取把廣告、導航、腳本殘留清掉PDF來源的圖書語料要處理OCR誤差、頁眉頁腳、亂碼字符代碼語料要做編碼檢測與統(tǒng)一避免UTF-8與GBK混存的亂象。常見做法是用一套統(tǒng)一的文本規(guī)范化流程Unicode標準化、全角半角統(tǒng)一、多余空白壓縮、控制字符移除。這一步不復雜但遺漏了會導致下游質(zhì)量打分的特征計算不準確。語言與內(nèi)容過濾是清理“不該出現(xiàn)的內(nèi)容”。白皮書強調(diào)過濾不能只靠黑名單關鍵詞而是要結(jié)合語言檢測模型、分類器、困惑度過濾三個手段。語言檢測模型判斷文本是否屬于目標語種分類器識別色情、暴力、賭博等高危內(nèi)容困惑度過濾則捕獲那些“看起來是自然語言但結(jié)構(gòu)崩潰”的機器生成文本。三步配合才能在污染率和誤殺率之間取一個平衡。質(zhì)量打分是通往高質(zhì)量訓練數(shù)據(jù)的關鍵一步。用一個輕量級的打分模型給每條候選數(shù)據(jù)打一個質(zhì)量分再設置一個閾值做二分類取舍。常見的打分特征包括文本長度、標點分布、句子結(jié)構(gòu)、信息密度、與已知高質(zhì)量語料的相似度等。分數(shù)閾值需要用小規(guī)模模型驗證來標定閾值設太高會把長尾知識過濾掉設太低又等于沒有過濾。白皮書在這個環(huán)節(jié)給的建議是可以同時保留兩個質(zhì)量檔位高質(zhì)量檔用于預訓練早期中質(zhì)量檔用于后期微調(diào)或與低質(zhì)量數(shù)據(jù)混合這種分層使用的方式比單一切一刀更靈活。去重和隱私與安全過濾會在避坑章節(jié)細講這里先明確一個觀念清洗管線跑完并不等于數(shù)據(jù)可用了還需要一組抽樣人工審計來校驗管線的運行狀態(tài)。常見做法是從每個數(shù)據(jù)源、每個質(zhì)量分區(qū)里隨機抽幾十條樣本人工檢查是否還有明顯垃圾內(nèi)容。這個步驟花不了多少時間但能提前發(fā)現(xiàn)清洗規(guī)則的適配問題。3.2 去重的三個層面精確去重、近似去重、語義去重白皮書把去重分成三個遞進的層面這個分類對大模型訓練數(shù)據(jù)的處理非常實用。精確去重是最基礎的一層利用文本哈?；蛭募Ｖ苯觿h除完全相同的樣本。常見做法是計算每篇文本的SHA-256哈希建立哈希表做查重刪除。這個方法的優(yōu)點是速度快、實現(xiàn)簡單缺點是只能處理逐字相同的數(shù)據(jù)網(wǎng)頁語料里常見的“同一篇文章加了不同的標簽或頁腳”就躲過去了。近似去重解決的是“不完全相同但大段重復”的數(shù)據(jù)。業(yè)界用得最多的方案是MinHash加LSH局部敏感哈希。思路是先把文本切分成shingle連續(xù)詞元序列對每個shingle做哈希取一個窗口內(nèi)的最小哈希值作為該文本的簽名再用LSH把相似度高的文本分到同一個桶里進行比較。Google發(fā)布的SimHash方案在實踐中也很常見重點在于把長文本壓縮成固定長度的指紋通過指紋間的漢明距離來判斷相似度。這些算法的核心是參數(shù)調(diào)節(jié)shingle長度、哈希函數(shù)個數(shù)、相似度閾值。語義去重是質(zhì)量要求更高的項目里才會做的層面。它的作用是識別“用詞不同但語義高度重復”的數(shù)據(jù)——比如同一事件的多篇新聞報道或者同一個技術(shù)問題的多種改寫版本。這套方案的成本比較高通常用輕量嵌入模型把文本向量化再對向量做聚類或近鄰檢索設置一個相似度閾值做重復判斷。實際操作中我一般只對高質(zhì)量數(shù)據(jù)源圖書、學術(shù)論文做語義去重因為網(wǎng)頁數(shù)據(jù)量太大語義向量化的計算成本不可接受。去重的邊界要從信息冗余和知識覆蓋兩個角度看去重太激進模型更容易過擬合到高頻模式去重不徹底訓練成本大量消耗在重復信息上。平衡點需要用實驗來標定。3.3 隱私過濾與安全底線的前置處理隱私過濾在大模型數(shù)據(jù)白皮書里占的篇幅不小原因是訓練語料一旦混入個人信息模型可能在生成時把電話號碼、郵箱、家庭住址這類內(nèi)容直接復述出來。白皮書給出的方案是“識別-脫敏-復核”三步走。識別階段用命名實體識別加正則規(guī)則找出疑似手機號、身份證號、銀行卡號、郵箱地址等信息脫敏階段把這些信息替換成占位符或合成的假數(shù)據(jù)復核階段再抽樣檢查脫敏效果。涉及多語種數(shù)據(jù)時要注意不同國家地區(qū)的個人信息格式差異很大正則規(guī)則要本地化適配。需要明確的是隱私過濾和上一輪提到的內(nèi)容分類過濾不能合并成一個步驟。隱私過濾的目標是保護個人信息內(nèi)容分類過濾的目標是剔除違規(guī)內(nèi)容兩類規(guī)則各自獨立在同一數(shù)據(jù)包上需要依次執(zhí)行。合規(guī)紅線還得強調(diào)一點涉及真實機構(gòu)、真實人物的敏感信息過濾之外還要做人工審計不能完全依賴自動規(guī)則。我的習慣是每處理完一個數(shù)據(jù)包都會跑一遍抽樣驗證確認過濾后的語料里沒有明顯的個人信息殘留再進入下一步流程。4. 數(shù)據(jù)配比與課程學習訓練配方的調(diào)參思路4.1 配比為什么重要同樣的數(shù)據(jù)不同順序模型表現(xiàn)不同很多剛接觸大模型訓練的開發(fā)者會有一個固定思維數(shù)據(jù)配比只是決定模型學到什么而不影響學得好不好。白皮書里的大量實驗結(jié)果表明這個觀點是錯的。同樣一批數(shù)據(jù)以不同的比例混合、以不同的順序進入訓練模型在評測集上的表現(xiàn)差異可能是決定性的。數(shù)據(jù)配比直接影響模型的“能力畫像”——偏重代碼的配比讓推理變強但對話變?nèi)跗鼐W(wǎng)頁的配比讓知識面變寬但長程邏輯變?nèi)?。配比調(diào)整的工程化做法是先把數(shù)據(jù)分成幾個基礎板塊網(wǎng)頁、圖書、代碼、學術(shù)、多語種給每個板塊設定一個初始權(quán)重然后通過“配比消融實驗”逐步逼近最優(yōu)組合。常見做法是固定訓練步數(shù)和batch size每次只調(diào)整一個板塊的權(quán)重觀察評測分項的變化。這個過程耗時但不復雜真正需要經(jīng)驗的是判斷該動哪個板塊模型角色扮演能力弱優(yōu)先調(diào)圖書與對話數(shù)據(jù)占比代碼解釋能力差優(yōu)先調(diào)代碼數(shù)據(jù)占比知識問答總答錯優(yōu)先查知識類語料本身的質(zhì)量而不是急著調(diào)配比。4.2 數(shù)據(jù)采樣策略溫度系數(shù)、課程學習、重復懲罰數(shù)據(jù)配比除了靜態(tài)的權(quán)重設置還有動態(tài)的采樣策略。白皮書里重點提到了訓練過程中的采樣控制核心參數(shù)有三個采樣溫度、課程學習策略、重復數(shù)據(jù)懲罰系數(shù)。采樣溫度控制的是“不同板塊的數(shù)據(jù)被抽到的概率分布”。溫度值越高低權(quán)重板塊的數(shù)據(jù)越有可能被抽到數(shù)據(jù)分布越平滑溫度值越低高權(quán)重板塊的數(shù)據(jù)越占優(yōu)勢。我在實踐中會把溫度初始值設為1.0訓練中期根據(jù)評測曲線決定是否調(diào)低到0.8或者升高到1.2。這個參數(shù)直接影響模型在長尾話題上的知識覆蓋溫度太低模型容易“知識窄化”。課程學習策略解決的是“先學什么、后學什么”的問題。白皮書里建議的基本思路是訓練前期用高質(zhì)量、結(jié)構(gòu)化程度高的數(shù)據(jù)圖書、代碼、學術(shù)論文打底訓練后期引入網(wǎng)頁噪聲較強的數(shù)據(jù)。這個順序背后的邏輯是讓模型先建立穩(wěn)定的語言模式和推理能力再接觸多樣化的表達。實際項目中還有個常見選擇是先混合訓練還是分階段訓練。分階段訓練的效果控制更精細但工程復雜度翻倍需要維護多個數(shù)據(jù)集的切換邏輯。我一般建議在預訓練階段用混合訓練加動態(tài)權(quán)重在領域微調(diào)階段再切換為分階段訓練。重復數(shù)據(jù)懲罰系數(shù)適用于“高質(zhì)量數(shù)據(jù)量不足”的項目尤其是中文語料和垂直領域語料。如果某類數(shù)據(jù)只有幾十億Token但又需要模型對它有足夠的熟悉度可以在采樣時對重復出現(xiàn)的樣本降低懲罰權(quán)重讓模型多看幾遍。常見的做法是在數(shù)據(jù)加載器里維護每個樣本的出現(xiàn)統(tǒng)計出現(xiàn)次數(shù)越多采樣權(quán)重越低系數(shù)設太大容易過擬合太小則高質(zhì)量數(shù)據(jù)吃不透。白皮書里給了一個經(jīng)驗參考區(qū)間但不同數(shù)據(jù)質(zhì)量下的最優(yōu)值差異很大必須通過小組實驗來定。4.3 從配比到配方記錄每一版數(shù)據(jù)的“實驗日志”數(shù)據(jù)配比的調(diào)參過程非常容易讓人陷入玄學——改了一版配比訓練了幾天發(fā)現(xiàn)效果變好了但說不清到底是哪個改動起的作用。白皮書里反復強調(diào)數(shù)據(jù)配比的工程化管理實操上我會為每一次配比調(diào)整建立一份“配方記錄”里面至少包含基礎數(shù)據(jù)包的版本號、各板塊的可訓練Token量、采樣溫度的初始值、學習率調(diào)度的對應策略、訓練步數(shù)和batch size。這些參數(shù)的組合就是一份“數(shù)據(jù)配方”和訓練代碼一樣需要版本管理。做過幾輪配比實驗之后你手里就有了一張小型的“配比-效果對照表”。哪個方向的項目用哪個配方可以直接查表復用而不是每一輪都從頭開始試。數(shù)據(jù)配比調(diào)整的最終產(chǎn)物不是一組靜態(tài)比例而是一套“數(shù)據(jù)配方庫”——里面包含若干個經(jīng)過驗證的配比組合以及它們各自適合的任務類型。5. 數(shù)據(jù)工程的常見避坑四個最容易翻車的場景5.1 現(xiàn)象模型loss正常但生成內(nèi)容空洞排在第一位的訓練數(shù)據(jù)翻車現(xiàn)場loss曲線一路下行評測分數(shù)看起來挺好但生成出來的內(nèi)容又空又泛缺少具體信息量。原因通常是數(shù)據(jù)清洗時質(zhì)量打分器過于偏好“通順”的文本把那些信息密度高但表達不那么流暢的長尾知識給過濾掉了。解決的辦法是調(diào)整質(zhì)量打分器的特征權(quán)重加入句子的名詞密度、實體數(shù)量、數(shù)字出現(xiàn)頻率作為正向特征同時人工檢查低分段數(shù)據(jù)確認過濾不是誤殺。5.2 現(xiàn)象模型在某個領域頻繁重復相同表述另一個高頻問題是模型在特定領域輸出雷同句子缺乏多樣性。原因排查后通常指向去重過度——語義去重的閾值設得太高大量保留下來的是同一主題的高相似樣本模型學到的是那條“最優(yōu)路徑”而不是知識本身。解決方向是把語義去重的相似度閾值下調(diào)比如從0.85放寬到0.95保留更多同主題差異化表述。5.3 現(xiàn)象加入更多數(shù)據(jù)后效果反而下降增量的數(shù)據(jù)沒有帶來增益反而拉低了原有水平。最常見的原因是新增數(shù)據(jù)包里存在大量與已有語料重復的內(nèi)容或者新增語料的領域分布與目標能力錯位。解決方法是接入自動化的“新增數(shù)據(jù)沖突檢測”——新數(shù)據(jù)進入前先和已在訓練集里的數(shù)據(jù)做一輪相似度評估超過閾值的樣本直接丟棄或降權(quán)。5.4 現(xiàn)象中文語料評估波動大中文大模型訓練項目里經(jīng)常出現(xiàn)一個詭異現(xiàn)象同一個數(shù)據(jù)配比跑兩次實驗中文評測分數(shù)可以有明顯波動。白皮書里的分析指出中文語料集通常含有大量來源于機器翻譯和洗稿站的文本這部分數(shù)據(jù)質(zhì)量極不穩(wěn)定且重復率很高。解決策略是加入一輪專門的“中文機器生成文本過濾”利用困惑度分布和n-gram重復率把這類數(shù)據(jù)標記出來單獨設置低采樣權(quán)重。6. 白皮書之外的實踐搭一個輕量數(shù)據(jù)質(zhì)量評估閉環(huán)數(shù)據(jù)白皮書講了很多理論和參數(shù)但落到自己的項目里最實用的是一個能持續(xù)運轉(zhuǎn)的數(shù)據(jù)質(zhì)量評估閉環(huán)。我的做法是搭建三個層次采樣看板、小規(guī)模驗證、數(shù)據(jù)消融。采樣看板用隨機抽樣的方式每天從新增數(shù)據(jù)里抽取幾十條樣本人工打分并記錄質(zhì)量分布曲線小規(guī)模驗證則用一個小模型跑短步數(shù)訓練觀察loss曲線的收斂形態(tài)數(shù)據(jù)消融是針對每次配比調(diào)整做的對照實驗并在組間做橫向?qū)Ρ?。三件套跑熟之后?shù)據(jù)質(zhì)量變化會變成可視化信號而不是等訓練完才發(fā)現(xiàn)問題。搭建這個閉環(huán)最需要注意的是控制驗證成本和時間節(jié)奏。通常我每次采樣看板控制在10分鐘內(nèi)完成小規(guī)模驗證只用幾百萬Token數(shù)據(jù)跑一兩千步數(shù)據(jù)消融每組只改一個變量且保持訓練參數(shù)完全一致。節(jié)奏穩(wěn)定比追求完備更重要——數(shù)據(jù)質(zhì)量是持續(xù)變化的只有長期穩(wěn)定運轉(zhuǎn)的評估體系才能在源頭上防住臟數(shù)據(jù)混進訓練集。另外數(shù)據(jù)質(zhì)量的提升往往不是革命而是微修。每調(diào)整一次樣本生成邏輯、修改一個清洗參數(shù)、放寬一個去重閾值之后都要讓看板和消融實驗重新跑一遍用數(shù)據(jù)說話而不是憑感覺判斷。從那以后我每次拿到一批新數(shù)據(jù)都會強制自己走完“采樣看板→小規(guī)模驗證→消融對比”全流程確認沒問題了再放量進入正式訓練管線。這樣的習慣幫我避掉了至少三次臟數(shù)據(jù)引發(fā)的訓練事故也希望這些白皮書里的讀法與實操經(jīng)驗對你也有幫助。本文還有配套的精品資源點擊獲取