重文件怎么讀？safetensors三分片結(jié)構(gòu)與index索引完全解析)
【免費(fèi)下載鏈接】DeepSeek-V3-W4A8-Pruing項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing點(diǎn)擊查看免費(fèi)下載初次接觸 DeepSeek-V3-W4A8-Pruing 模型倉庫時(shí)面對 3 個(gè) safetensors 分片文件、一個(gè) 578KB 的 index 索引 JSON新手最容易發(fā)懵為什么權(quán)重要拆成 3 片index 文件里的 weight_map 到底在索引什么這篇文章帶你逐層拆解 safetensors 三分片結(jié)構(gòu)與 index 索引的完整對應(yīng)關(guān)系看完你就能獨(dú)立讀懂任意量化模型的權(quán)重布局。倉庫文件全景先看目錄里有什么整個(gè)倉庫可以分成三類文件各司其職類別文件作用權(quán)重?cái)?shù)據(jù)quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors等 3 個(gè)分片存放模型全部張量數(shù)據(jù)權(quán)重索引quant_model_weight_w8a8_dynamic.safetensors.index.json記錄哪個(gè)張量在哪個(gè)分片量化說明quant_model_description.json記錄每個(gè)參數(shù)的量化類型模型配置config.json、configuration_deepseek.py定義模型結(jié)構(gòu)與加載入口詞表tokenizer.json、tokenizer_config.json分詞與對話模板 記住一條主線index 索引管位置description 管精度safetensors 分片管數(shù)據(jù)。safetensors 三分片各自裝了什么大模型權(quán)重通常按大小上限切成多個(gè) shard分片。本模型共 4810 個(gè)張量鍵key被均勻地分配到 3 個(gè)分片中分布并不均勻分片張量鍵數(shù)量占比內(nèi)容00001496約 10.3%詞嵌入model.embed_tokens、第 0~2 層全部參數(shù)、第 3 層 MoE 專家 0~16000023132約 65.1%第 3 層 MoE 專家 17~190 的量化權(quán)重000031182約 24.6%第 3 層 MoE 專家 191~255、路由 gate、shared_experts、model.norm、lm_head 為什么第 2 片特別大因?yàn)?config.json 中n_routed_experts為 256、num_hidden_layers為 4第 3 層是 MoE 層256 個(gè)專家的權(quán)重占了全模型的大頭而 MoE 層被切分在 3 個(gè)分片里。分片 1從詞嵌入到 MoE 專家 16打開索引文件開頭第一個(gè)鍵就是詞嵌入model.embed_tokens.weight: quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors隨后按層順序排布第 0~2 層的self_attnq_a_proj、q_b_proj、kv_a_proj_with_mqa、o_proj 等 MLA 投影與mlp參數(shù)直到model.layers.3.mlp.experts.17.gate_proj.scale_bias為止。分片 2MoE 專家權(quán)重的主戰(zhàn)場第 2 片幾乎全部是model.layers.3.mlp.experts.17到experts.190的鍵每個(gè)專家都帶有 gate_proj / up_proj / down_proj 三組矩陣及其量化伴隨張量model.layers.3.mlp.experts.17.up_proj.weight model.layers.3.mlp.experts.17.up_proj.weight_scale model.layers.3.mlp.experts.17.up_proj.weight_offset model.layers.3.mlp.experts.17.up_proj.weight_scale_second model.layers.3.mlp.experts.17.up_proj.scale_bias這正是 W4A8 量化的典型特征——每個(gè)weight都配套 scale / offset / scale_bias 等伴隨參數(shù)鍵數(shù)量是普通模型的 5~6 倍。分片 3專家尾部 歸一化 輸出頭第 3 片從experts.191.up_proj.weight開始收在模型的最后三件套model.norm.weight: ...-00003-of-00003.safetensors, model.norm.bias: ...-00003-of-00003.safetensors, lm_head.weight: ...-00003-of-00003.safetensorslm_head是輸出詞表投影詞表大小 129280永遠(yuǎn)位于權(quán)重文件的末尾這是判斷一個(gè)分片是否為末片的最快標(biāo)志。index 索引的完整解析metadata weight_map索引文件結(jié)構(gòu)非常簡潔只有兩個(gè)頂層字段{ metadata: { total_size: 12073335872 }, weight_map: { 張量名: 分片文件名, ... } }metadata.total_size全模型張量總字節(jié)數(shù)12073335872約11.25 GB。加載器用它校驗(yàn)分片是否完整是判斷下載齊沒齊的第一依據(jù)。weight_map4810 條張量名 → 分片名映射。推理框架如 vLLM / MindIE加載時(shí)只讀這個(gè)索引按需打開對應(yīng)分片并做零拷貝內(nèi)存映射而不是把整個(gè)模型讀進(jìn)內(nèi)存。 實(shí)用技巧想確認(rèn)某個(gè)參數(shù)在哪個(gè)分片直接搜索weight_map中的鍵名即可例如查model.layers.3.mlp.gate.weight會(huì)指向 00003 分片——這就是 MoE 路由表所在位置。用 quant_model_description.json 看懂每個(gè)參數(shù)的精度如果說 index 回答在哪那么 quant_model_description.json 回答的是以什么精度存儲。文件頭部聲明version: 1.0.0, model_quant_type: W8A8_DYNAMIC, group_size: 256其中g(shù)roup_size: 256表示量化按 256 個(gè)元素一組做分組縮放。全文檔按參數(shù)統(tǒng)計(jì)精度類型分布如下量化類型參數(shù)數(shù)量分布位置W4A8_DYNAMIC4608第 3 層 MoE 路由專家的 gate/up/down_projW8A8112各層 MLA 注意力投影q_a/q_b/kv_a/o_projFLOAT54詞嵌入、layernorm、bias 等保持高精度W8A8_DYNAMIC36第 0~2 層 dense MLP 的 gate/up/down_proj這與 config.json 中的三個(gè)字段一一對應(yīng)mla_quantize: w8a8, quantize: w8a8_dynamic, moe_quantize: w4a8_dynamic 項(xiàng)目名里的 W4A8 指的就是 MoE 專家部分權(quán)重 4-bit、激活 8-bit 的動(dòng)態(tài)量化這也是整個(gè)模型最省顯存的功臣。新手上手 3 步下載、校驗(yàn)、加載第 1 步獲取完整權(quán)重在模型倉庫頁面下載全部文件或執(zhí)行g(shù)it clone https://gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing第 2 步校驗(yàn)完整性三個(gè)分片文件 index 文件必須齊全缺一不可index 中metadata.total_size約 11.25 GB應(yīng)與各分片實(shí)際大小之和一致。第 3 步交給推理框架加載配置 configuration.json 聲明了framework: pytorch、task: text-generationconfig.json 的auto_map字段把AutoConfig/AutoModel指向 configuration_deepseek.py 與 modeling_deepseek.py因此框架會(huì)自動(dòng)識別DeepseekV3ForCausalLM架構(gòu)通過 index 按需讀取分片無需手工指定分片順序?？偨Y(jié)一張圖記住權(quán)重讀取鏈路config.json ── 決定架構(gòu)與量化方案 │ ▼ .safetensors.index.json ── weight_map張量名 → 分片文件位置索引 │ ▼ 00001 / 00002 / 00003 分片 ── 實(shí)際張量數(shù)據(jù)safetensors 零拷貝讀取 │ ▼ quant_model_description.json ── 每個(gè)張量的精度類型W4A8 / W8A8 / FLOAT核心結(jié)論只有一句話index 索引是目錄分片是章節(jié)description 是書脊上的標(biāo)注。掌握weight_map的鍵名 → 分片名映射規(guī)律按層順序排布、MoE 專家體量大導(dǎo)致分片 2 最厚、lm_head收尾于分片 3你面對任何 safetensors 多分片量化模型都能快速建立全局認(rèn)知。贊分享【免費(fèi)下載鏈接】DeepSeek-V3-W4A8-Pruing項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Qwen3-235B-A22B-W4A8權(quán)重文件解碼讀懂30個(gè)safetensors分片與量化索引文件Qwen3 235B A22B W4A8權(quán)重文件解碼讀懂30個(gè)safetensors分片與量化索引文件 Qwen3 235B A22B W4A8 是 Qwen為什么叫PruingDeepSeek-V3-W4A8-Pruing剪枝版與完整模型的區(qū)別一文看懂為什么叫PruingDeepSeek V3 W4A8 Pruing剪枝版與完整模型的區(qū)別一文看懂 如果你想在單卡昇騰 NPU 上體驗(yàn) DeepSeek V3Qwen3-8B-W4A8 模型文件結(jié)構(gòu)全解析safetensors 分片與 index.json 到底長什么樣Qwen3 8B W4A8 模型文件結(jié)構(gòu)全解析safetensors 分片與 index.json 到底長什么樣 Qwen3 8B W4A8 是 vllm創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 DeepSeek-V3-W4A8-Pruing權(quán)重文件怎么讀？safetensors三分片結(jié)構(gòu)與index索引完全解析
【免費(fèi)下載鏈接】DeepSeek-V3-W4A8-Pruing項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing點(diǎn)擊查看免費(fèi)下載初次接觸 DeepSeek-V3-W4A8-Pruing 模型倉庫時(shí)面對 3 個(gè) safetensors 分片文件、一個(gè) 578KB 的 index 索引 JSON新手最容易發(fā)懵為什么權(quán)重要拆成 3 片index 文件里的 weight_map 到底在索引什么這篇文章帶你逐層拆解 safetensors 三分片結(jié)構(gòu)與 index 索引的完整對應(yīng)關(guān)系看完你就能獨(dú)立讀懂任意量化模型的權(quán)重布局。倉庫文件全景先看目錄里有什么整個(gè)倉庫可以分成三類文件各司其職類別文件作用權(quán)重?cái)?shù)據(jù)quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors等 3 個(gè)分片存放模型全部張量數(shù)據(jù)權(quán)重索引quant_model_weight_w8a8_dynamic.safetensors.index.json記錄哪個(gè)張量在哪個(gè)分片量化說明quant_model_description.json記錄每個(gè)參數(shù)的量化類型模型配置config.json、configuration_deepseek.py定義模型結(jié)構(gòu)與加載入口詞表tokenizer.json、tokenizer_config.json分詞與對話模板 記住一條主線index 索引管位置description 管精度safetensors 分片管數(shù)據(jù)。safetensors 三分片各自裝了什么大模型權(quán)重通常按大小上限切成多個(gè) shard分片。本模型共 4810 個(gè)張量鍵key被均勻地分配到 3 個(gè)分片中分布并不均勻分片張量鍵數(shù)量占比內(nèi)容00001496約 10.3%詞嵌入model.embed_tokens、第 0~2 層全部參數(shù)、第 3 層 MoE 專家 0~16000023132約 65.1%第 3 層 MoE 專家 17~190 的量化權(quán)重000031182約 24.6%第 3 層 MoE 專家 191~255、路由 gate、shared_experts、model.norm、lm_head 為什么第 2 片特別大因?yàn)?config.json 中n_routed_experts為 256、num_hidden_layers為 4第 3 層是 MoE 層256 個(gè)專家的權(quán)重占了全模型的大頭而 MoE 層被切分在 3 個(gè)分片里。分片 1從詞嵌入到 MoE 專家 16打開索引文件開頭第一個(gè)鍵就是詞嵌入model.embed_tokens.weight: quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors隨后按層順序排布第 0~2 層的self_attnq_a_proj、q_b_proj、kv_a_proj_with_mqa、o_proj 等 MLA 投影與mlp參數(shù)直到model.layers.3.mlp.experts.17.gate_proj.scale_bias為止。分片 2MoE 專家權(quán)重的主戰(zhàn)場第 2 片幾乎全部是model.layers.3.mlp.experts.17到experts.190的鍵每個(gè)專家都帶有 gate_proj / up_proj / down_proj 三組矩陣及其量化伴隨張量model.layers.3.mlp.experts.17.up_proj.weight model.layers.3.mlp.experts.17.up_proj.weight_scale model.layers.3.mlp.experts.17.up_proj.weight_offset model.layers.3.mlp.experts.17.up_proj.weight_scale_second model.layers.3.mlp.experts.17.up_proj.scale_bias這正是 W4A8 量化的典型特征——每個(gè)weight都配套 scale / offset / scale_bias 等伴隨參數(shù)鍵數(shù)量是普通模型的 5~6 倍。分片 3專家尾部 歸一化 輸出頭第 3 片從experts.191.up_proj.weight開始收在模型的最后三件套model.norm.weight: ...-00003-of-00003.safetensors, model.norm.bias: ...-00003-of-00003.safetensors, lm_head.weight: ...-00003-of-00003.safetensorslm_head是輸出詞表投影詞表大小 129280永遠(yuǎn)位于權(quán)重文件的末尾這是判斷一個(gè)分片是否為末片的最快標(biāo)志。index 索引的完整解析metadata weight_map索引文件結(jié)構(gòu)非常簡潔只有兩個(gè)頂層字段{ metadata: { total_size: 12073335872 }, weight_map: { 張量名: 分片文件名, ... } }metadata.total_size全模型張量總字節(jié)數(shù)12073335872約11.25 GB。加載器用它校驗(yàn)分片是否完整是判斷下載齊沒齊的第一依據(jù)。weight_map4810 條張量名 → 分片名映射。推理框架如 vLLM / MindIE加載時(shí)只讀這個(gè)索引按需打開對應(yīng)分片并做零拷貝內(nèi)存映射而不是把整個(gè)模型讀進(jìn)內(nèi)存。 實(shí)用技巧想確認(rèn)某個(gè)參數(shù)在哪個(gè)分片直接搜索weight_map中的鍵名即可例如查model.layers.3.mlp.gate.weight會(huì)指向 00003 分片——這就是 MoE 路由表所在位置。用 quant_model_description.json 看懂每個(gè)參數(shù)的精度如果說 index 回答在哪那么 quant_model_description.json 回答的是以什么精度存儲。文件頭部聲明version: 1.0.0, model_quant_type: W8A8_DYNAMIC, group_size: 256其中g(shù)roup_size: 256表示量化按 256 個(gè)元素一組做分組縮放。全文檔按參數(shù)統(tǒng)計(jì)精度類型分布如下量化類型參數(shù)數(shù)量分布位置W4A8_DYNAMIC4608第 3 層 MoE 路由專家的 gate/up/down_projW8A8112各層 MLA 注意力投影q_a/q_b/kv_a/o_projFLOAT54詞嵌入、layernorm、bias 等保持高精度W8A8_DYNAMIC36第 0~2 層 dense MLP 的 gate/up/down_proj這與 config.json 中的三個(gè)字段一一對應(yīng)mla_quantize: w8a8, quantize: w8a8_dynamic, moe_quantize: w4a8_dynamic 項(xiàng)目名里的 W4A8 指的就是 MoE 專家部分權(quán)重 4-bit、激活 8-bit 的動(dòng)態(tài)量化這也是整個(gè)模型最省顯存的功臣。新手上手 3 步下載、校驗(yàn)、加載第 1 步獲取完整權(quán)重在模型倉庫頁面下載全部文件或執(zhí)行g(shù)it clone https://gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing第 2 步校驗(yàn)完整性三個(gè)分片文件 index 文件必須齊全缺一不可index 中metadata.total_size約 11.25 GB應(yīng)與各分片實(shí)際大小之和一致。第 3 步交給推理框架加載配置 configuration.json 聲明了framework: pytorch、task: text-generationconfig.json 的auto_map字段把AutoConfig/AutoModel指向 configuration_deepseek.py 與 modeling_deepseek.py因此框架會(huì)自動(dòng)識別DeepseekV3ForCausalLM架構(gòu)通過 index 按需讀取分片無需手工指定分片順序?？偨Y(jié)一張圖記住權(quán)重讀取鏈路config.json ── 決定架構(gòu)與量化方案 │ ▼ .safetensors.index.json ── weight_map張量名 → 分片文件位置索引 │ ▼ 00001 / 00002 / 00003 分片 ── 實(shí)際張量數(shù)據(jù)safetensors 零拷貝讀取 │ ▼ quant_model_description.json ── 每個(gè)張量的精度類型W4A8 / W8A8 / FLOAT核心結(jié)論只有一句話index 索引是目錄分片是章節(jié)description 是書脊上的標(biāo)注。掌握weight_map的鍵名 → 分片名映射規(guī)律按層順序排布、MoE 專家體量大導(dǎo)致分片 2 最厚、lm_head收尾于分片 3你面對任何 safetensors 多分片量化模型都能快速建立全局認(rèn)知。贊分享【免費(fèi)下載鏈接】DeepSeek-V3-W4A8-Pruing項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Qwen3-235B-A22B-W4A8權(quán)重文件解碼讀懂30個(gè)safetensors分片與量化索引文件Qwen3 235B A22B W4A8權(quán)重文件解碼讀懂30個(gè)safetensors分片與量化索引文件 Qwen3 235B A22B W4A8 是 Qwen為什么叫PruingDeepSeek-V3-W4A8-Pruing剪枝版與完整模型的區(qū)別一文看懂為什么叫PruingDeepSeek V3 W4A8 Pruing剪枝版與完整模型的區(qū)別一文看懂 如果你想在單卡昇騰 NPU 上體驗(yàn) DeepSeek V3Qwen3-8B-W4A8 模型文件結(jié)構(gòu)全解析safetensors 分片與 index.json 到底長什么樣Qwen3 8B W4A8 模型文件結(jié)構(gòu)全解析safetensors 分片與 index.json 到底長什么樣 Qwen3 8B W4A8 是 vllm創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考