數(shù)據(jù)集【免費下載鏈接】Nemotron-Personas-UK項目地址https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK點擊查看免費下載Nemotron-Personas-UK 是由 NVIDIA 基于英國真實人口普查分布生成的開源合成人物Synthetic Personas數(shù)據(jù)集包含 100 萬條記錄、600 萬個合成人物總計約 6.18 億 tokensCC BY 4.0 協(xié)議可自由商用。本文帶你快速掌握三大核心用法訓(xùn)練 LLM、構(gòu)建 AI Agent 用戶模擬、防止 model collapse。1. 數(shù)據(jù)集一覽100 萬條有血有肉的合成人物 Nemotron-Personas-UK 由 NVIDIA 與倫敦 Locai Labs 合作構(gòu)建使用 NeMo Data Designer 框架 概率圖模型PGM gemma-4-31B-it 模型生成嚴(yán)格錨定英格蘭及威爾士 Census 2021、蘇格蘭 Census 2022、北愛爾蘭 Census 2021 的真實人口結(jié)構(gòu) 覆蓋4 個國家、12 個地區(qū)、372 個地方行政區(qū)104 個職業(yè)組SOC 2020× 86 個行業(yè)SIC 2007全部對齊官方勞動力統(tǒng)計 每條記錄包含 6 類自然語言人物畫像專業(yè)、運動、藝術(shù)、旅行、烹飪外加一個精煉的通用persona字段 附帶age、municipality、education_level、occupation等 10 個結(jié)構(gòu)化上下文字段可精準(zhǔn)篩選目標(biāo)人群下方的專業(yè)人物畫像聚類圖HDBSCAN UMAP直觀展示了數(shù)據(jù)多樣性不同職業(yè)、地域、背景的人物描述自然聚成大量簇而不是千篇一律的模板文本。2. 數(shù)據(jù)快速上手三步拿到 150 萬 personas方式一clone 倉庫7 個 Parquet 分片共 1.5 GBgit clone https://gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK方式二通過 datasets 庫加載from datasets import load_dataset nemotron_personas load_dataset(nvidia/Nemotron-Personas-UK, splittrain)數(shù)據(jù)結(jié)構(gòu)每條記錄 23 個字段核心字段如下完整定義見 README.md 的 Schema 章節(jié)字段說明persona精煉的通用人物畫像professional_persona/sports_persona/ …5 類主題人物畫像cultural_background/hobbies_and_interests自然語言背景描述skills_and_expertise_list技能列表JSON 編碼age/sex/marital_status/household_type人口屬性字段occupation/industrySOC 2020 職業(yè) / SIC 2007 行業(yè)代碼municipality/region地方行政區(qū) / 地區(qū)數(shù)據(jù)文件位于 data/ 目錄例如 data/train-00000-of-00007.parquet共train-00000至train-00006七個分片。3. 訓(xùn)練 LLM用真實分布的人物畫像做 SFT 語料最典型的用法是基于 persona 的指令微調(diào)SFT——讓模型學(xué)會在不同用戶畫像下生成自然的對話、推薦和內(nèi)容篩選用結(jié)構(gòu)化字段圈定目標(biāo)人群如region Scotland或education_level為學(xué)位級構(gòu)造 prompt將professional_personaskills_and_expertise注入 system prompt 作為用戶設(shè)定生成訓(xùn)練數(shù)據(jù)以 persona 為種子生成多輪對話再與真實數(shù)據(jù)混合用于 SFT上圖的年齡分布與真實英國人口高度一致中位年齡 48 歲25–64 歲每個十年區(qū)間均勻分布 16%–17%18–24 歲占 10.6%——有效避免了常見合成數(shù)據(jù)年輕化偏置的問題。4. 構(gòu)建 AI Agent 用戶模擬給 Agent 造一批虛擬真人這是 Agent 開發(fā)者最常用的場景評估 AI 客服、助手類 Agent 時需要大量虛擬真實用戶來做壓力測試。按occupationage抽樣目標(biāo)用戶群用persona作為測試用戶的背景設(shè)定用cultural_background、hobbies_and_interests控制其話題偏好與表達(dá)風(fēng)格讓模擬用戶與 Agent 進(jìn)行多輪對話評估不同人群上的表現(xiàn)差異由于數(shù)據(jù)覆蓋全部 4 國 372 個行政區(qū)你還可以評估 Agent 在不同地區(qū)文化語境下的表現(xiàn)——這是普通合成數(shù)據(jù)集很難做到的?；橐鰻顟B(tài) × 年齡的分布與真實人口吻合65–74 歲已婚率 64.4%、85 歲喪偶率 59.3%意味著模擬出的用戶人生階段真實可信。5. 防 model collapse把統(tǒng)計上像真實的合成數(shù)據(jù)回灌訓(xùn)練Model collapse模型坍縮指反復(fù)用模型自身輸出去訓(xùn)練模型時質(zhì)量逐代退化。預(yù)防關(guān)鍵在于回灌統(tǒng)計分布貼近真實數(shù)據(jù)的合成語料。Nemotron-Personas-UK 正是為此設(shè)計每個國家獨立建立 PGM保證年齡 × 性別 × 地區(qū) × 職業(yè)等聯(lián)合分布與普查一致通過迭代比例擬合IPF恢復(fù)被隱私抑制的長尾分布46.7 萬組合全名2.7 萬名字 2.5 萬姓氏防止人名同質(zhì)化家庭類型分布隨年齡呈現(xiàn)真實的生活形態(tài)變化——年輕人合租、中年有子女家庭、85 歲 50.2% 獨居——正是這種細(xì)粒度多樣性在對抗坍縮。6. 許可與注意事項 ??? 協(xié)議為CC BY 4.0可用于任何模型的訓(xùn)練商用或非商用均可?? 僅覆蓋 18 歲以上成人?? 民族、宗教、姓名、地址等敏感字段未發(fā)布僅用于人物文本的條件生成?? 所有數(shù)據(jù)均為完全合成的虛構(gòu)人物不代表任何真實個體 完整的字段統(tǒng)計、數(shù)據(jù)來源與質(zhì)量評估參見 README.md把 Nemotron-Personas-UK 加入你的合成數(shù)據(jù)工作流一次獲取訓(xùn)練語料 評測用戶 抗坍縮數(shù)據(jù)源三合一能力從 100 萬條真實分布的英國人物畫像開始你的下一次模型迭代吧 贊分享數(shù)據(jù)集【免費下載鏈接】Nemotron-Personas-UK項目地址https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-Personas-UK點擊查看免費下載相關(guān)推薦5個實戰(zhàn)用例如何用Nemotron-Personas-Korea做合成數(shù)據(jù)生成、模型去偏與LLM訓(xùn)練5個實戰(zhàn)用例如何用Nemotron Personas Korea做合成數(shù)據(jù)生成、模型去偏與LLM訓(xùn)練 Nemotron Personas Korea 是 NVMatrAIx_Persona_1M應(yīng)用實戰(zhàn)用它為LLM做用戶模擬、評估與Prompt工程MatrAIx_Persona_1M應(yīng)用實戰(zhàn)用它為LLM做用戶模擬、評估與Prompt工程 MatrAIx_Persona_1M 是一個開源的百萬級 PersTRADES防御機(jī)制從理論到實踐的魯棒性革命TRADES防御機(jī)制從理論到實踐的魯棒性革命 技術(shù)原理深度剖析 在對抗性機(jī)器學(xué)習(xí)領(lǐng)域TRADES框架通過創(chuàng)新的替代損失函數(shù)設(shè)計重新定義了模型魯棒性的優(yōu)化范創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考