訓(xùn)練實(shí)驗(yàn)結(jié)果完整解讀：1B模型、10大基準(zhǔn)、34/50項(xiàng)SOTA)
UltraX預(yù)訓(xùn)練實(shí)驗(yàn)結(jié)果完整解讀1B模型、10大基準(zhǔn)、34/50項(xiàng)SOTA【免費(fèi)下載鏈接】UltraX-Preview項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/UltraX-Preview這篇文章帶你完整解讀UltraX官方預(yù)訓(xùn)練實(shí)驗(yàn)結(jié)果OpenBMB 推出的大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)精煉框架在 5 個(gè)英文語料上用1B 參數(shù)模型從零預(yù)訓(xùn)練 20B tokens在10 大基準(zhǔn)上全部拿下最高平均分50 項(xiàng)任務(wù)-語料組合中贏得34 項(xiàng) SOTA 實(shí)驗(yàn)設(shè)置1B 模型是怎么考出來的先看實(shí)驗(yàn)條件這是讀懂全部數(shù)字的前提項(xiàng)目設(shè)置模型1B 參數(shù) MiniCPM從零預(yù)訓(xùn)練不是微調(diào)訓(xùn)練量每個(gè)語料20B tokens語料5 個(gè)經(jīng) UltraX 精煉的英文語料每個(gè)約 20B tokens評測LightEval 零樣本zero-shot設(shè)定對比基線Raw原始語料與 ProX-C文檔級精煉基線也就是說這不是給好模型喂好數(shù)據(jù)的加分操作而是同等條件下比數(shù)據(jù)質(zhì)量同樣的 1B 模型、同樣的訓(xùn)練 token 數(shù)只換訓(xùn)練語料看誰的成績更好。這種控制變量設(shè)計(jì)正是結(jié)論可信的關(guān)鍵 ? 10 大基準(zhǔn)每個(gè)在考什么評測覆蓋 10 個(gè)主流常識與知識基準(zhǔn)兼顧知識廣度和推理深度基準(zhǔn)考察內(nèi)容ARC-C小學(xué)三年級科學(xué)推理挑戰(zhàn)版ARC-E小學(xué)五年級科學(xué)推理簡易版CSQA大學(xué)水平常識科學(xué)問答HellaSwag日常情境常識推理MMLU57 個(gè)學(xué)科的多任務(wù)知識大考OBQA物理常識問答PIQA物理交互常識SIQA社交意圖常識推理WinoGrande代詞消解與語言常識SciQ小學(xué)科學(xué)四選一5 個(gè)語料 × 10 個(gè)基準(zhǔn) 50 個(gè)任務(wù)-語料組合這就是34/50的分母來源。 核心結(jié)論一34/50 項(xiàng) SOTA 意味著什么UltraX 精煉語料在全部 5 個(gè)語料上的平均性能都是第一名并在 50 項(xiàng)組合中贏得34 項(xiàng)最佳68% 勝率。對新手來說平均第一比單項(xiàng)第一更重要它說明 UltraX 的精煉是全面提純而不是在個(gè)別簡單基準(zhǔn)上刷分。5 個(gè)語料來源差異很大Common Crawl 網(wǎng)頁、多源網(wǎng)頁、HTML 高保真解析、質(zhì)量過濾版、文檔級精煉版全部奪冠說明方法具有泛化性而非只對某一類數(shù)據(jù)有效 核心結(jié)論二平均相對提升 2.00% 與 1.53%論文的關(guān)鍵數(shù)字相比Raw未精煉原始語料UltraX 平均相對提升約 2.00%相比ProX-C已相當(dāng)強(qiáng)的文檔級精煉基線UltraX 平均相對提升約 1.53%在預(yù)訓(xùn)練領(lǐng)域2% 的平均相對提升是重量級成果——通常這意味著同等算力下模型變聰明了或同等效果下訓(xùn)練成本更低。更值得注意的是 UltraX 還要和 ProX-C 比它贏過的不是一個(gè)弱基線而是業(yè)界公認(rèn)優(yōu)秀的精煉方法。? 核心結(jié)論三數(shù)據(jù)效率——16B tokens 追平并反超 20B 基線這可能是最有說服力的一個(gè)發(fā)現(xiàn)在 FineWeb 語料上UltraX 僅訓(xùn)練16B tokens平均 45.49 分就已超過 Raw45.08 分和 ProX-C45.05 分訓(xùn)練滿20B tokens的最終成績。翻譯成人話少喂 20% 的數(shù)據(jù)成績反而更高—— UltraX 的每個(gè) token 都更值錢對工程團(tuán)隊(duì)意味著真金白銀的算力節(jié)省更早達(dá)到目標(biāo)性能更短的訓(xùn)練周期說明精煉帶來的不是噪聲減少這么簡單的效果而是有效信息密度的提升。數(shù)據(jù)質(zhì)量優(yōu)化的價(jià)值在這條曲線上體現(xiàn)得淋漓盡致 ?? 數(shù)據(jù)在哪里5 大語料文件速查本倉庫直接包含 5 個(gè)精煉語料的全部分片文件共 479 個(gè) parquet 分片數(shù)據(jù)集源語料分片數(shù)數(shù)據(jù)目錄UltraX-FineWebFineWebCommon Crawl 網(wǎng)頁104data/UltraX-FineWeb/UltraX-RedPajama-V2RedPajama-v2多源網(wǎng)頁110data/UltraX-RedPajama-V2/UltraX-AICCAICCHTML 高保真網(wǎng)頁61data/UltraX-AICC/UltraX-Ultra-FineWebUltra-FineWeb質(zhì)量過濾104data/UltraX-Ultra-FineWeb/UltraX-FineWeb-ProX-DocFineWeb-ProX-Doc文檔級精煉100data/UltraX-FineWeb-ProX-Doc/每個(gè) parquet 文件固定 5 列方便你做前后對比列名含義uid唯一標(biāo)識raw_content 的 MD5 哈希raw_content精煉前的原始文本cleaned_contentUltraX 精煉后的文本processed_functions實(shí)際執(zhí)行的編輯操作記錄source源語料名稱raw_content與cleaned_content并排存放是個(gè)貼心設(shè)計(jì)——你可以直接對比同一條樣本的編輯前后差異理解精煉到底改了什么。示例文件可參考 data/UltraX-FineWeb/UltraX-FineWeb-en-part-0001-of-0104.parquet 為什么 UltraX 能贏方法速覽看完結(jié)果用一分鐘理解它背后的核心設(shè)計(jì)詳見 README.md函數(shù)調(diào)用式精煉而非端到端改寫傳統(tǒng)方法要么靠人工規(guī)則要么讓大模型整篇重寫。UltraX 訓(xùn)練一個(gè)輕量精煉模型預(yù)測 5 種結(jié)構(gòu)化編輯操作——keep_all無需修改、remove_all整篇無價(jià)值如錯(cuò)誤頁/登錄墻、remove_lines刪行、replace_str行內(nèi)替換、add_line插入新行再在原文上確定性執(zhí)行可控且可審計(jì)LAM DCR 流水線行級對齊映射LAM把原文與精煉文本逐行對齊動(dòng)態(tài)上下文替換DCR把字符級編輯轉(zhuǎn)成帶唯一上下文錨定的可靠替換操作為大規(guī)模而生滑動(dòng)窗口推理、重疊感知聚合、歧義過濾、同行操作合并、重復(fù)模式檢測保障數(shù)億級文檔的可靠執(zhí)行。一句話總結(jié)不是重寫內(nèi)容而是精準(zhǔn)手術(shù)——這正是它能同時(shí)保證質(zhì)量與效率的原因 快速上手3 步開始使用第 1 步按配置名加載對應(yīng)語料5 個(gè)配置與數(shù)據(jù)集一一對應(yīng)UltraX-FineWeb、UltraX-RedPajama-V2、UltraX-AICC、UltraX-Ultra-FineWeb、UltraX-FineWeb-ProX-Doc第 2 步訓(xùn)練時(shí)直接使用cleaned_content列作為輸入文本raw_content留作對照與復(fù)現(xiàn)第 3 步若資源有限可優(yōu)先從 FineWeb 語料入手——它的 16B tokens 反超實(shí)驗(yàn)就是數(shù)據(jù)效率的最佳例證。 新手常見疑問Q為什么不直接看單項(xiàng)分?jǐn)?shù)要看平均分A單項(xiàng)可能有波動(dòng)平均分反映整體能力水位。而 UltraX 是平均分全第一 單項(xiàng) 34/50 第一兩個(gè)口徑同時(shí)成立結(jié)論才站得住。Q20B tokens 對 1B 模型夠嗎A這是學(xué)界常見的小模型大語料驗(yàn)證設(shè)置——參數(shù)小、訓(xùn)練快但足以暴露數(shù)據(jù)質(zhì)量差異是性價(jià)比極高的對比實(shí)驗(yàn)方案。QUltraX 適合我用嗎A如果你的預(yù)訓(xùn)練語料來自網(wǎng)頁抓取Common Crawl 類UltraX 的逐例精煉思路與這套現(xiàn)成精煉語料都值得直接借鑒或試用如果是代碼/數(shù)學(xué)等垂域語料可參考其函數(shù)調(diào)用式精煉思路自建精煉管線。 結(jié)語回到文章開頭的那組數(shù)字1B 模型、10 大基準(zhǔn)、34/50 項(xiàng) SOTA、2% 平均相對提升、16B tokens 反超 20B 基線——它們共同指向一個(gè)結(jié)論在預(yù)訓(xùn)練時(shí)代數(shù)據(jù)精煉就是免費(fèi)的算力。UltraX 用函數(shù)調(diào)用式編輯把這種免費(fèi)算力做成了可復(fù)現(xiàn)的工程方法而這 5 套精煉語料就放在倉庫里隨時(shí)可以驗(yàn)證。【免費(fèi)下載鏈接】UltraX-Preview項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/UltraX-Preview創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 UltraX預(yù)訓(xùn)練實(shí)驗(yàn)結(jié)果完整解讀：1B模型、10大基準(zhǔn)、34/50項(xiàng)SOTA
UltraX預(yù)訓(xùn)練實(shí)驗(yàn)結(jié)果完整解讀1B模型、10大基準(zhǔn)、34/50項(xiàng)SOTA【免費(fèi)下載鏈接】UltraX-Preview項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/UltraX-Preview這篇文章帶你完整解讀UltraX官方預(yù)訓(xùn)練實(shí)驗(yàn)結(jié)果OpenBMB 推出的大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)精煉框架在 5 個(gè)英文語料上用1B 參數(shù)模型從零預(yù)訓(xùn)練 20B tokens在10 大基準(zhǔn)上全部拿下最高平均分50 項(xiàng)任務(wù)-語料組合中贏得34 項(xiàng) SOTA 實(shí)驗(yàn)設(shè)置1B 模型是怎么考出來的先看實(shí)驗(yàn)條件這是讀懂全部數(shù)字的前提項(xiàng)目設(shè)置模型1B 參數(shù) MiniCPM從零預(yù)訓(xùn)練不是微調(diào)訓(xùn)練量每個(gè)語料20B tokens語料5 個(gè)經(jīng) UltraX 精煉的英文語料每個(gè)約 20B tokens評測LightEval 零樣本zero-shot設(shè)定對比基線Raw原始語料與 ProX-C文檔級精煉基線也就是說這不是給好模型喂好數(shù)據(jù)的加分操作而是同等條件下比數(shù)據(jù)質(zhì)量同樣的 1B 模型、同樣的訓(xùn)練 token 數(shù)只換訓(xùn)練語料看誰的成績更好。這種控制變量設(shè)計(jì)正是結(jié)論可信的關(guān)鍵 ? 10 大基準(zhǔn)每個(gè)在考什么評測覆蓋 10 個(gè)主流常識與知識基準(zhǔn)兼顧知識廣度和推理深度基準(zhǔn)考察內(nèi)容ARC-C小學(xué)三年級科學(xué)推理挑戰(zhàn)版ARC-E小學(xué)五年級科學(xué)推理簡易版CSQA大學(xué)水平常識科學(xué)問答HellaSwag日常情境常識推理MMLU57 個(gè)學(xué)科的多任務(wù)知識大考OBQA物理常識問答PIQA物理交互常識SIQA社交意圖常識推理WinoGrande代詞消解與語言常識SciQ小學(xué)科學(xué)四選一5 個(gè)語料 × 10 個(gè)基準(zhǔn) 50 個(gè)任務(wù)-語料組合這就是34/50的分母來源。 核心結(jié)論一34/50 項(xiàng) SOTA 意味著什么UltraX 精煉語料在全部 5 個(gè)語料上的平均性能都是第一名并在 50 項(xiàng)組合中贏得34 項(xiàng)最佳68% 勝率。對新手來說平均第一比單項(xiàng)第一更重要它說明 UltraX 的精煉是全面提純而不是在個(gè)別簡單基準(zhǔn)上刷分。5 個(gè)語料來源差異很大Common Crawl 網(wǎng)頁、多源網(wǎng)頁、HTML 高保真解析、質(zhì)量過濾版、文檔級精煉版全部奪冠說明方法具有泛化性而非只對某一類數(shù)據(jù)有效 核心結(jié)論二平均相對提升 2.00% 與 1.53%論文的關(guān)鍵數(shù)字相比Raw未精煉原始語料UltraX 平均相對提升約 2.00%相比ProX-C已相當(dāng)強(qiáng)的文檔級精煉基線UltraX 平均相對提升約 1.53%在預(yù)訓(xùn)練領(lǐng)域2% 的平均相對提升是重量級成果——通常這意味著同等算力下模型變聰明了或同等效果下訓(xùn)練成本更低。更值得注意的是 UltraX 還要和 ProX-C 比它贏過的不是一個(gè)弱基線而是業(yè)界公認(rèn)優(yōu)秀的精煉方法。? 核心結(jié)論三數(shù)據(jù)效率——16B tokens 追平并反超 20B 基線這可能是最有說服力的一個(gè)發(fā)現(xiàn)在 FineWeb 語料上UltraX 僅訓(xùn)練16B tokens平均 45.49 分就已超過 Raw45.08 分和 ProX-C45.05 分訓(xùn)練滿20B tokens的最終成績。翻譯成人話少喂 20% 的數(shù)據(jù)成績反而更高—— UltraX 的每個(gè) token 都更值錢對工程團(tuán)隊(duì)意味著真金白銀的算力節(jié)省更早達(dá)到目標(biāo)性能更短的訓(xùn)練周期說明精煉帶來的不是噪聲減少這么簡單的效果而是有效信息密度的提升。數(shù)據(jù)質(zhì)量優(yōu)化的價(jià)值在這條曲線上體現(xiàn)得淋漓盡致 ?? 數(shù)據(jù)在哪里5 大語料文件速查本倉庫直接包含 5 個(gè)精煉語料的全部分片文件共 479 個(gè) parquet 分片數(shù)據(jù)集源語料分片數(shù)數(shù)據(jù)目錄UltraX-FineWebFineWebCommon Crawl 網(wǎng)頁104data/UltraX-FineWeb/UltraX-RedPajama-V2RedPajama-v2多源網(wǎng)頁110data/UltraX-RedPajama-V2/UltraX-AICCAICCHTML 高保真網(wǎng)頁61data/UltraX-AICC/UltraX-Ultra-FineWebUltra-FineWeb質(zhì)量過濾104data/UltraX-Ultra-FineWeb/UltraX-FineWeb-ProX-DocFineWeb-ProX-Doc文檔級精煉100data/UltraX-FineWeb-ProX-Doc/每個(gè) parquet 文件固定 5 列方便你做前后對比列名含義uid唯一標(biāo)識raw_content 的 MD5 哈希raw_content精煉前的原始文本cleaned_contentUltraX 精煉后的文本processed_functions實(shí)際執(zhí)行的編輯操作記錄source源語料名稱raw_content與cleaned_content并排存放是個(gè)貼心設(shè)計(jì)——你可以直接對比同一條樣本的編輯前后差異理解精煉到底改了什么。示例文件可參考 data/UltraX-FineWeb/UltraX-FineWeb-en-part-0001-of-0104.parquet 為什么 UltraX 能贏方法速覽看完結(jié)果用一分鐘理解它背后的核心設(shè)計(jì)詳見 README.md函數(shù)調(diào)用式精煉而非端到端改寫傳統(tǒng)方法要么靠人工規(guī)則要么讓大模型整篇重寫。UltraX 訓(xùn)練一個(gè)輕量精煉模型預(yù)測 5 種結(jié)構(gòu)化編輯操作——keep_all無需修改、remove_all整篇無價(jià)值如錯(cuò)誤頁/登錄墻、remove_lines刪行、replace_str行內(nèi)替換、add_line插入新行再在原文上確定性執(zhí)行可控且可審計(jì)LAM DCR 流水線行級對齊映射LAM把原文與精煉文本逐行對齊動(dòng)態(tài)上下文替換DCR把字符級編輯轉(zhuǎn)成帶唯一上下文錨定的可靠替換操作為大規(guī)模而生滑動(dòng)窗口推理、重疊感知聚合、歧義過濾、同行操作合并、重復(fù)模式檢測保障數(shù)億級文檔的可靠執(zhí)行。一句話總結(jié)不是重寫內(nèi)容而是精準(zhǔn)手術(shù)——這正是它能同時(shí)保證質(zhì)量與效率的原因 快速上手3 步開始使用第 1 步按配置名加載對應(yīng)語料5 個(gè)配置與數(shù)據(jù)集一一對應(yīng)UltraX-FineWeb、UltraX-RedPajama-V2、UltraX-AICC、UltraX-Ultra-FineWeb、UltraX-FineWeb-ProX-Doc第 2 步訓(xùn)練時(shí)直接使用cleaned_content列作為輸入文本raw_content留作對照與復(fù)現(xiàn)第 3 步若資源有限可優(yōu)先從 FineWeb 語料入手——它的 16B tokens 反超實(shí)驗(yàn)就是數(shù)據(jù)效率的最佳例證。 新手常見疑問Q為什么不直接看單項(xiàng)分?jǐn)?shù)要看平均分A單項(xiàng)可能有波動(dòng)平均分反映整體能力水位。而 UltraX 是平均分全第一 單項(xiàng) 34/50 第一兩個(gè)口徑同時(shí)成立結(jié)論才站得住。Q20B tokens 對 1B 模型夠嗎A這是學(xué)界常見的小模型大語料驗(yàn)證設(shè)置——參數(shù)小、訓(xùn)練快但足以暴露數(shù)據(jù)質(zhì)量差異是性價(jià)比極高的對比實(shí)驗(yàn)方案。QUltraX 適合我用嗎A如果你的預(yù)訓(xùn)練語料來自網(wǎng)頁抓取Common Crawl 類UltraX 的逐例精煉思路與這套現(xiàn)成精煉語料都值得直接借鑒或試用如果是代碼/數(shù)學(xué)等垂域語料可參考其函數(shù)調(diào)用式精煉思路自建精煉管線。 結(jié)語回到文章開頭的那組數(shù)字1B 模型、10 大基準(zhǔn)、34/50 項(xiàng) SOTA、2% 平均相對提升、16B tokens 反超 20B 基線——它們共同指向一個(gè)結(jié)論在預(yù)訓(xùn)練時(shí)代數(shù)據(jù)精煉就是免費(fèi)的算力。UltraX 用函數(shù)調(diào)用式編輯把這種免費(fèi)算力做成了可復(fù)現(xiàn)的工程方法而這 5 套精煉語料就放在倉庫里隨時(shí)可以驗(yàn)證。【免費(fèi)下載鏈接】UltraX-Preview項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/UltraX-Preview創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考