構(gòu)全解：safetensors、kv_config與optiq_metadata完全清單)
人工智能大模型模型量化模型優(yōu)化本地部署【免費(fèi)下載鏈接】Agents-A1-OptiQ-4bit-REAP-19B項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B點(diǎn)擊查看免費(fèi)下載更正標(biāo)題筆誤# Agents-A1-OptiQ-4bit-REAP-19B文件結(jié)構(gòu)全解safetensors、kv_config與optiq_metadata完全清單Agents-A1-OptiQ-4bit-REAP-19B是運(yùn)行在 Apple SiliconMLX上的 19B 級(jí) MoE 多模態(tài)模型它把父模型的 35.1B 參數(shù)剪枝到 18.8B磁盤占用從 21.5 GB 降到12.3 GB運(yùn)行僅需約 14.5 GB 內(nèi)存。本文帶你逐個(gè)讀懂倉庫里的 11 個(gè)文件——從safetensors權(quán)重分片、model.safetensors.index.json索引到kv_config.json、optiq_metadata.json兩大量化元數(shù)據(jù)一次看清這套模型包的完整結(jié)構(gòu)。 一眼看懂這套模型文件是干什么的先記住這張身份卡后面每個(gè)文件都能對號(hào)入座屬性數(shù)值出處架構(gòu)Qwen3_5MoeForConditionalGenerationMoE 多模態(tài)config.json總參數(shù)量18.8B父模型 35.1B?47%README.md磁盤大小12.3 GB父模型 21.5 GB?43%README.md量化方案OptiQ 4bit 混合精度實(shí)際約 4.51 bpwoptiq_metadata.json專家剪枝REAP每層 256 → 128 個(gè)專家top-8 路由不變optiq_metadata.json 關(guān)鍵機(jī)制一句話剪掉的只是沒被路由選中的專家每個(gè) token 激活的專家數(shù)仍是 8 個(gè)——所以模型變小了速度卻不變慢。? 文件完全清單11 個(gè)文件各管一攤文件角色一句話說明model-00001-of-00003.safetensors 等 3 個(gè)分片權(quán)重本體語言模型 1757 個(gè)張量約 12.3 GBmodel.safetensors.index.json權(quán)重索引2090 個(gè)張量 → 分片位置的對照表optiq/optiq_vision.safetensors視覺側(cè)車權(quán)重333 個(gè)張量bfloat16 原精度保留config.json架構(gòu) 量化配置40 層、128 專家、逐層混合位寬kv_config.jsonKV Cache 量化清單10 個(gè)全注意力層的 4/8bit 配置optiq_metadata.json量化/剪枝元數(shù)據(jù)混合精度位圖 REAP 剪枝全過程記錄tokenizer.json、tokenizer_config.json分詞器Qwen2Tokenizer支持 262144 上下文chat_template.jinja對話模板定義消息如何拼進(jìn)模型README.md模型卡片壓縮比、剪枝方法與使用示例.gitattributesLFS 規(guī)則聲明大文件走 Git LFS 下載 safetensors 權(quán)重分片12.3 GB 如何切成 3 塊三個(gè)model-000XX-of-00003.safetensors分片按張量切分存放語言模型權(quán)重分布并不均勻第 1 分片553 個(gè)張量含embed_tokens、前部網(wǎng)絡(luò)層第 2 分片712 個(gè)張量最重的中間層段第 3 分片492 個(gè)張量含lm_head等尾部權(quán)重三個(gè)分片合計(jì)1757 個(gè)張量總字節(jié)數(shù)12,355,664,128約 12.3 GB這個(gè)數(shù)字就寫在 model.safetensors.index.json 的metadata.total_size里。另外注意*.safetensors和tokenizer.json都在 .gitattributes 中被聲明為Git LFS文件。如果你在本地 mirror 里看到它們只有 100 多字節(jié)那是 LFS 指針文件——用git lfs pull或git lfs install后重新 clone 即可拉到真實(shí)權(quán)重。optiq_vision.safetensors視覺塔為何單獨(dú)存放optiq/optiq_vision.safetensors 是一個(gè)側(cè)車sidecar文件存放視覺編碼器vision tower的全部333 個(gè)張量以bfloat16 原精度保留、不參與 4bit 量化。索引表中它們同樣登記在冊例如vision_tower.blocks.0.attn.qkv.weight→optiq/optiq_vision.safetensorsvision_tower.blocks.27.attn.proj.bias→optiq/optiq_vision.safetensors這種語言側(cè)量化、視覺側(cè)保精度的拆分正是 OptiQ 多模態(tài)模型的典型做法配置入口在 config.json 的optiq_vision字段sidecar: optiq/optiq_vision.safetensors。? model.safetensors.index.json張量分布速查表這個(gè) 206 KB 的 JSON 是整個(gè)權(quán)重包的目錄頁兩大塊內(nèi)容{ metadata: { total_size: 12355664128 }, weight_map: { language_model.model.embed_tokens.weight: model-00001-of-00003.safetensors, ...共 2090 個(gè)張量條目... } }張量名本身也透露了量化細(xì)節(jié)每個(gè)量化矩陣都拆成三份——張量后綴含義.weight4bit/8bit 量化后的主權(quán)重.scales每組 64 個(gè)元素的縮放因子affine 模式.biases偏置項(xiàng)注意力投影層才有比如language_model.model.layers.0.linear_attn.in_proj_a.weight / .scales / .biases三個(gè)張量同屬第 0 層的線性注意力輸入投影。?? config.json架構(gòu)與混合精度配置config.json約 116 KB大部分篇幅是逐層量化位寬頂層關(guān)鍵字段architecturesQwen3_5MoeForConditionalGeneration——帶視覺/視頻 token 的 MoE 生成模型image_token_id: 248056、video_token_id: 248057text_config40 層num_hidden_layers: 40、隱藏維度 2048、詞表 248320剪枝后num_experts: 128num_experts_per_tok: 8注意力混合layer_types中 30 層是linear_attention每 4 層插一層full_attention即第 3、7、11…39 層quantization默認(rèn)bits: 4, group_size: 64, mode: affine再用 500 多條逐層覆寫把敏感層提到 8bit 剪枝痕跡就藏在num_experts父模型每層 256 個(gè)專家這里只剩 128——-19B這個(gè)名字由此而來。 kv_config.jsonKV Cache 量化清單僅 10 行配置kv_config.json 很小卻直接決定長上下文的內(nèi)存開銷。它只列出全注意力層線性注意力層不需要 KV Cache的緩存量化位寬layer_idxbitslayer_idxbits3423474274118314158354194394規(guī)律一目了然8 個(gè)層用 4bit KV僅第 11、15 層用 8bit 保精度全部group_size: 64。推理框架讀到這個(gè)文件就會(huì)對相應(yīng)層的 K/V 緩存按位寬壓縮顯著降低長對話的顯存壓力。 optiq_metadata.json量化與剪枝的完整檔案optiq_metadata.json約 122 KB是理解這個(gè)模型為什么是現(xiàn)在這個(gè)樣子的核心檔案分四塊1?? 混合精度總覽字段值說明methodoptiq_mixed_precision_transferred位寬圖從同架構(gòu)模型遷移而來base_modelInternScience/Agents-A1原始基礎(chǔ)模型target_bpw/achieved_bpw4.5 /4.513目標(biāo)與實(shí)際比特?cái)?shù)bits per weightn_high_bits/n_low_bits397 / 1138bit 層 397 個(gè)4bit 層 113 個(gè)threshold0.0敏感度判定閾值即絕大多數(shù)張量壓到 4bit397 個(gè)對精度敏感的張量如各層注意力投影、共享專家、lm_head保留 8bit最終平均4.513 bpw。2?? per_layer510 條逐張量位寬表per_layer按層號(hào).模塊名給出每個(gè)張量的bits與group_size與 config.json 的quantization一一對應(yīng)例如language_model.model.layers.39.mlp.shared_expert_gate: { bits: 8, group_size: 64 }3?? expert_pruningREAP 剪枝全程記錄方法reap路由器權(quán)重 × 專家輸出范數(shù)的條件均值排序保留排名靠前的專家規(guī)模每層256 → 128uniform_retention: truetop_k: 8路由不變體積專家權(quán)重從19.6 GB 砍到 9.8 GBexpert_bytes_before/after校準(zhǔn)optiq 六領(lǐng)域混合 8 個(gè)樣本seed: 42專家覆蓋率下限 0.9766retained_experts逐層列出被保留的 128 個(gè)專家編號(hào)可復(fù)現(xiàn)驗(yàn)證參考同架構(gòu)的驗(yàn)證結(jié)論50% 保留率下 KL 散度僅0.077明顯退化的剪枝模型 1.0生成質(zhì)量在人工評(píng)審中難以區(qū)分。詳見 README.md。4?? 與 config.json 的對應(yīng)關(guān)系optiq_metadata.json是制作過程檔案誰做的、怎么選的config.json的quantization是運(yùn)行時(shí)配置加載時(shí)真正讀取的位寬。兩者數(shù)值一致修改模型行為時(shí)以config.json為準(zhǔn)。? 推理三件套tokenizer、模板與加載方式文件要點(diǎn)tokenizer.jsonQwen2Tokenizer 詞表本體LFS 大文件含圖像/視頻/音頻特殊 tokentokenizer_config.jsonmodel_max_length: 262144256K 上下文、tool_parser_type: qwen3_coderchat_template.jinjaJinja 對話模板定義 system/user/assistant 的拼裝格式在裝有mlx-lm的環(huán)境里兩條命令即可跑起來pip install mlx-optiq optiq serve --model mlx-community/Agents-A1-OptiQ-4bit-REAP-19B或直接用mlx_lm加載權(quán)重、分詞器、kv_config.json都會(huì)按上文結(jié)構(gòu)自動(dòng)解析。? 文件結(jié)構(gòu)檢查清單下載后核對model.safetensors.index.json的total_size12355664128字節(jié) ?3 個(gè) safetensors 分片共1757張量 側(cè)車333張量 2090?config.json 中num_experts為128而非 256?kv_config.json 恰好10條全注意力層記錄 ?optiq_metadata.json 的achieved_bpw ≈ 4.513?全部對上說明權(quán)重包完整無損可以安心部署到 Apple Silicon 上體驗(yàn)這個(gè)更小不更慢的 19B 專家剪枝模型了。贊分享人工智能大模型模型量化模型優(yōu)化本地部署【免費(fèi)下載鏈接】Agents-A1-OptiQ-4bit-REAP-19B項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B點(diǎn)擊查看免費(fèi)下載相關(guān)推薦為什么Agents-A1-OptiQ-4bit-REAP-19B變小卻不更慢MoE專家剪枝技術(shù)REAP完整解析為什么Agents A1 OptiQ 4bit REAP 19B變小卻不更慢MoE專家剪枝技術(shù)REAP完整解析 Agents A1 OptiQ 4bit RE人工智能大模型模型量化模型優(yōu)化本地部署如何 3 步用 abogen 把 EPUB 變有聲書開源文本轉(zhuǎn)語音工具上手指南如何 3 步用 abogen 把 EPUB 變有聲書開源文本轉(zhuǎn)語音工具上手指南 abogen 是一款開源的文本轉(zhuǎn)語音工具能把 EPUB、PDF 和純文本變成人工智能大模型模型量化模型優(yōu)化本地部署14.5GB內(nèi)存跑大模型Agents-A1-OptiQ-4bit-REAP-19B部署與內(nèi)存優(yōu)化終極指南14.5GB內(nèi)存跑大模型Agents A1 OptiQ 4bit REAP 19B部署與內(nèi)存優(yōu)化終極指南 Agents A1 OptiQ 4bit REAP人工智能大模型模型量化模型優(yōu)化本地部署上一篇G6 力導(dǎo)向拖拽元素交互 DragElementForce 完全指南d3-force 布局下的實(shí)時(shí)重排與節(jié)點(diǎn)固定下一篇DLSS Swapper終極指南3分鐘學(xué)會(huì)智能切換DLSS版本免費(fèi)提升游戲性能創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Agents-A1-OptiQ-4bit-4bit-REAP-19B文件結(jié)構(gòu)全解：safetensors、kv_config與optiq_metadata完全清單
人工智能大模型模型量化模型優(yōu)化本地部署【免費(fèi)下載鏈接】Agents-A1-OptiQ-4bit-REAP-19B項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B點(diǎn)擊查看免費(fèi)下載更正標(biāo)題筆誤# Agents-A1-OptiQ-4bit-REAP-19B文件結(jié)構(gòu)全解safetensors、kv_config與optiq_metadata完全清單Agents-A1-OptiQ-4bit-REAP-19B是運(yùn)行在 Apple SiliconMLX上的 19B 級(jí) MoE 多模態(tài)模型它把父模型的 35.1B 參數(shù)剪枝到 18.8B磁盤占用從 21.5 GB 降到12.3 GB運(yùn)行僅需約 14.5 GB 內(nèi)存。本文帶你逐個(gè)讀懂倉庫里的 11 個(gè)文件——從safetensors權(quán)重分片、model.safetensors.index.json索引到kv_config.json、optiq_metadata.json兩大量化元數(shù)據(jù)一次看清這套模型包的完整結(jié)構(gòu)。 一眼看懂這套模型文件是干什么的先記住這張身份卡后面每個(gè)文件都能對號(hào)入座屬性數(shù)值出處架構(gòu)Qwen3_5MoeForConditionalGenerationMoE 多模態(tài)config.json總參數(shù)量18.8B父模型 35.1B?47%README.md磁盤大小12.3 GB父模型 21.5 GB?43%README.md量化方案OptiQ 4bit 混合精度實(shí)際約 4.51 bpwoptiq_metadata.json專家剪枝REAP每層 256 → 128 個(gè)專家top-8 路由不變optiq_metadata.json 關(guān)鍵機(jī)制一句話剪掉的只是沒被路由選中的專家每個(gè) token 激活的專家數(shù)仍是 8 個(gè)——所以模型變小了速度卻不變慢。? 文件完全清單11 個(gè)文件各管一攤文件角色一句話說明model-00001-of-00003.safetensors 等 3 個(gè)分片權(quán)重本體語言模型 1757 個(gè)張量約 12.3 GBmodel.safetensors.index.json權(quán)重索引2090 個(gè)張量 → 分片位置的對照表optiq/optiq_vision.safetensors視覺側(cè)車權(quán)重333 個(gè)張量bfloat16 原精度保留config.json架構(gòu) 量化配置40 層、128 專家、逐層混合位寬kv_config.jsonKV Cache 量化清單10 個(gè)全注意力層的 4/8bit 配置optiq_metadata.json量化/剪枝元數(shù)據(jù)混合精度位圖 REAP 剪枝全過程記錄tokenizer.json、tokenizer_config.json分詞器Qwen2Tokenizer支持 262144 上下文chat_template.jinja對話模板定義消息如何拼進(jìn)模型README.md模型卡片壓縮比、剪枝方法與使用示例.gitattributesLFS 規(guī)則聲明大文件走 Git LFS 下載 safetensors 權(quán)重分片12.3 GB 如何切成 3 塊三個(gè)model-000XX-of-00003.safetensors分片按張量切分存放語言模型權(quán)重分布并不均勻第 1 分片553 個(gè)張量含embed_tokens、前部網(wǎng)絡(luò)層第 2 分片712 個(gè)張量最重的中間層段第 3 分片492 個(gè)張量含lm_head等尾部權(quán)重三個(gè)分片合計(jì)1757 個(gè)張量總字節(jié)數(shù)12,355,664,128約 12.3 GB這個(gè)數(shù)字就寫在 model.safetensors.index.json 的metadata.total_size里。另外注意*.safetensors和tokenizer.json都在 .gitattributes 中被聲明為Git LFS文件。如果你在本地 mirror 里看到它們只有 100 多字節(jié)那是 LFS 指針文件——用git lfs pull或git lfs install后重新 clone 即可拉到真實(shí)權(quán)重。optiq_vision.safetensors視覺塔為何單獨(dú)存放optiq/optiq_vision.safetensors 是一個(gè)側(cè)車sidecar文件存放視覺編碼器vision tower的全部333 個(gè)張量以bfloat16 原精度保留、不參與 4bit 量化。索引表中它們同樣登記在冊例如vision_tower.blocks.0.attn.qkv.weight→optiq/optiq_vision.safetensorsvision_tower.blocks.27.attn.proj.bias→optiq/optiq_vision.safetensors這種語言側(cè)量化、視覺側(cè)保精度的拆分正是 OptiQ 多模態(tài)模型的典型做法配置入口在 config.json 的optiq_vision字段sidecar: optiq/optiq_vision.safetensors。? model.safetensors.index.json張量分布速查表這個(gè) 206 KB 的 JSON 是整個(gè)權(quán)重包的目錄頁兩大塊內(nèi)容{ metadata: { total_size: 12355664128 }, weight_map: { language_model.model.embed_tokens.weight: model-00001-of-00003.safetensors, ...共 2090 個(gè)張量條目... } }張量名本身也透露了量化細(xì)節(jié)每個(gè)量化矩陣都拆成三份——張量后綴含義.weight4bit/8bit 量化后的主權(quán)重.scales每組 64 個(gè)元素的縮放因子affine 模式.biases偏置項(xiàng)注意力投影層才有比如language_model.model.layers.0.linear_attn.in_proj_a.weight / .scales / .biases三個(gè)張量同屬第 0 層的線性注意力輸入投影。?? config.json架構(gòu)與混合精度配置config.json約 116 KB大部分篇幅是逐層量化位寬頂層關(guān)鍵字段architecturesQwen3_5MoeForConditionalGeneration——帶視覺/視頻 token 的 MoE 生成模型image_token_id: 248056、video_token_id: 248057text_config40 層num_hidden_layers: 40、隱藏維度 2048、詞表 248320剪枝后num_experts: 128num_experts_per_tok: 8注意力混合layer_types中 30 層是linear_attention每 4 層插一層full_attention即第 3、7、11…39 層quantization默認(rèn)bits: 4, group_size: 64, mode: affine再用 500 多條逐層覆寫把敏感層提到 8bit 剪枝痕跡就藏在num_experts父模型每層 256 個(gè)專家這里只剩 128——-19B這個(gè)名字由此而來。 kv_config.jsonKV Cache 量化清單僅 10 行配置kv_config.json 很小卻直接決定長上下文的內(nèi)存開銷。它只列出全注意力層線性注意力層不需要 KV Cache的緩存量化位寬layer_idxbitslayer_idxbits3423474274118314158354194394規(guī)律一目了然8 個(gè)層用 4bit KV僅第 11、15 層用 8bit 保精度全部group_size: 64。推理框架讀到這個(gè)文件就會(huì)對相應(yīng)層的 K/V 緩存按位寬壓縮顯著降低長對話的顯存壓力。 optiq_metadata.json量化與剪枝的完整檔案optiq_metadata.json約 122 KB是理解這個(gè)模型為什么是現(xiàn)在這個(gè)樣子的核心檔案分四塊1?? 混合精度總覽字段值說明methodoptiq_mixed_precision_transferred位寬圖從同架構(gòu)模型遷移而來base_modelInternScience/Agents-A1原始基礎(chǔ)模型target_bpw/achieved_bpw4.5 /4.513目標(biāo)與實(shí)際比特?cái)?shù)bits per weightn_high_bits/n_low_bits397 / 1138bit 層 397 個(gè)4bit 層 113 個(gè)threshold0.0敏感度判定閾值即絕大多數(shù)張量壓到 4bit397 個(gè)對精度敏感的張量如各層注意力投影、共享專家、lm_head保留 8bit最終平均4.513 bpw。2?? per_layer510 條逐張量位寬表per_layer按層號(hào).模塊名給出每個(gè)張量的bits與group_size與 config.json 的quantization一一對應(yīng)例如language_model.model.layers.39.mlp.shared_expert_gate: { bits: 8, group_size: 64 }3?? expert_pruningREAP 剪枝全程記錄方法reap路由器權(quán)重 × 專家輸出范數(shù)的條件均值排序保留排名靠前的專家規(guī)模每層256 → 128uniform_retention: truetop_k: 8路由不變體積專家權(quán)重從19.6 GB 砍到 9.8 GBexpert_bytes_before/after校準(zhǔn)optiq 六領(lǐng)域混合 8 個(gè)樣本seed: 42專家覆蓋率下限 0.9766retained_experts逐層列出被保留的 128 個(gè)專家編號(hào)可復(fù)現(xiàn)驗(yàn)證參考同架構(gòu)的驗(yàn)證結(jié)論50% 保留率下 KL 散度僅0.077明顯退化的剪枝模型 1.0生成質(zhì)量在人工評(píng)審中難以區(qū)分。詳見 README.md。4?? 與 config.json 的對應(yīng)關(guān)系optiq_metadata.json是制作過程檔案誰做的、怎么選的config.json的quantization是運(yùn)行時(shí)配置加載時(shí)真正讀取的位寬。兩者數(shù)值一致修改模型行為時(shí)以config.json為準(zhǔn)。? 推理三件套tokenizer、模板與加載方式文件要點(diǎn)tokenizer.jsonQwen2Tokenizer 詞表本體LFS 大文件含圖像/視頻/音頻特殊 tokentokenizer_config.jsonmodel_max_length: 262144256K 上下文、tool_parser_type: qwen3_coderchat_template.jinjaJinja 對話模板定義 system/user/assistant 的拼裝格式在裝有mlx-lm的環(huán)境里兩條命令即可跑起來pip install mlx-optiq optiq serve --model mlx-community/Agents-A1-OptiQ-4bit-REAP-19B或直接用mlx_lm加載權(quán)重、分詞器、kv_config.json都會(huì)按上文結(jié)構(gòu)自動(dòng)解析。? 文件結(jié)構(gòu)檢查清單下載后核對model.safetensors.index.json的total_size12355664128字節(jié) ?3 個(gè) safetensors 分片共1757張量 側(cè)車333張量 2090?config.json 中num_experts為128而非 256?kv_config.json 恰好10條全注意力層記錄 ?optiq_metadata.json 的achieved_bpw ≈ 4.513?全部對上說明權(quán)重包完整無損可以安心部署到 Apple Silicon 上體驗(yàn)這個(gè)更小不更慢的 19B 專家剪枝模型了。贊分享人工智能大模型模型量化模型優(yōu)化本地部署【免費(fèi)下載鏈接】Agents-A1-OptiQ-4bit-REAP-19B項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B點(diǎn)擊查看免費(fèi)下載相關(guān)推薦為什么Agents-A1-OptiQ-4bit-REAP-19B變小卻不更慢MoE專家剪枝技術(shù)REAP完整解析為什么Agents A1 OptiQ 4bit REAP 19B變小卻不更慢MoE專家剪枝技術(shù)REAP完整解析 Agents A1 OptiQ 4bit RE人工智能大模型模型量化模型優(yōu)化本地部署如何 3 步用 abogen 把 EPUB 變有聲書開源文本轉(zhuǎn)語音工具上手指南如何 3 步用 abogen 把 EPUB 變有聲書開源文本轉(zhuǎn)語音工具上手指南 abogen 是一款開源的文本轉(zhuǎn)語音工具能把 EPUB、PDF 和純文本變成人工智能大模型模型量化模型優(yōu)化本地部署14.5GB內(nèi)存跑大模型Agents-A1-OptiQ-4bit-REAP-19B部署與內(nèi)存優(yōu)化終極指南14.5GB內(nèi)存跑大模型Agents A1 OptiQ 4bit REAP 19B部署與內(nèi)存優(yōu)化終極指南 Agents A1 OptiQ 4bit REAP人工智能大模型模型量化模型優(yōu)化本地部署上一篇G6 力導(dǎo)向拖拽元素交互 DragElementForce 完全指南d3-force 布局下的實(shí)時(shí)重排與節(jié)點(diǎn)固定下一篇DLSS Swapper終極指南3分鐘學(xué)會(huì)智能切換DLSS版本免費(fèi)提升游戲性能創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考