驗收詳解)
【免費下載鏈接】Qwen3.8-27B-NVFP4-BF16-LMHead項目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead點擊查看免費下載Qwen3.8-27B-NVFP4-BF16-LMHead 是 27B 參數(shù)多模態(tài)大模型 Qwen3.8-27B 的 NVFP4 量化版本MLP 權(quán)重壓到 4-bit、注意力壓到 8-bit唯獨保留 BF16 精度的 lm_head。它在 GSM8K 數(shù)學(xué)基準(zhǔn)上跑出96.13%在 Terminal-Bench 2.1 上跑出69.4%并隨模型發(fā)布了一套完整的資質(zhì)驗收檔案。這篇文章把這兩個數(shù)字的完整測試鏈路和驗收閘門一次性講清楚。一、 先認(rèn)識這個模型27B 參數(shù)體積瘦身約 60%Qwen3.8-27B 原生支持文本、圖像、視頻輸入上下文長度最高 262,144 token見 config.json。量化后的檢查點只保留 3 個權(quán)重分片model-00001-of-00003.safetensors 等總體積21.9 GB而源模型 18 個分片共55.5 GB——瘦身約 60%源與輸出清單對比記錄在 conversion-manifest.json 中?；旌暇确桨窶IXED_PRECISION讓不同模塊各司其職模塊精度覆蓋范圍MLPgate_proj / up_proj / down_projNVFP4 W4A4group size 16193 個基張量注意力linear_attn / self_attn 各投影FP8208 個基張量lm_head、MTP 層、視覺塔BF16與源模型逐字節(jié)一致798 個張量、4.37 GB這套分工在 hf_quant_config.json 中逐層列出量化校準(zhǔn)使用 1,024 條 cnn_dailymail 訓(xùn)練集樣本、序列長 512、隨機種子 1234見 conversion-manifest.json 的 calibration 段。整個制作與驗證流程基于 NVIDIA Model Optimizermodelopt 0.47.0.dev0運行在 4×NVIDIA GB300Blackwell 架構(gòu)上。二、 GSM8K 96.13%一條完整的數(shù)學(xué)推理測試鏈GSM8K 是小學(xué)數(shù)學(xué)應(yīng)用題基準(zhǔn)測試集共 1,319 題。這次評測的協(xié)議完整記錄在 README.md硬件與引擎4×NVIDIA GB300SGLang 張量并行 TP4開啟 NEXTN 3/1/4 投機解碼用 MTP 層做草稿模型數(shù)據(jù)完整 1,319 題全量評測不做抽樣模式thinking 模式開啟思考鏈采樣模型默認(rèn)參數(shù)——temperature 1.0、top_k 20、top_p 0.95即 generation_config.json 中那份配置seed 0結(jié)果96.13%1,268/1,319且 1,319 題全部以正常 stop 結(jié)束——零截斷、零報錯、零空輸出。作為參照把 lm_head 也量化的源 NVFP4 檢查點在同樣協(xié)議下得到 96.36%1,271/1,319。兩者差距不到 0.3 個百分點處于 temperature 1.0 單次采樣的噪聲范圍內(nèi)說明保留 BF16 lm_head 既沒有明顯加分也沒有掉分。三、 Terminal-Bench 69.4%Agent 能力的另一面Terminal-Bench 2.1 考察模型在終端里干活的能力讀文件、執(zhí)行命令、調(diào)試腳本屬于典型的 AI Agent 場景。評測協(xié)議README.mdClaude Code 2.1.228 作為 Agent 外殼 DFlash2 drafterpass1 計分。88 個任務(wù) × 4 輪重復(fù)通過 247/356即69.4%單輪口徑為 68.18%60/88。兩個基準(zhǔn)合起來看GSM8K 驗證推理底子扎實Terminal-Bench 驗證能動手干活覆蓋了量化后模型能力驗收最關(guān)心的兩條主線。需要說明的是兩項評測均為純文本口徑盡管模型本身支持圖像/視頻輸入。四、? 資質(zhì)驗收詳解7 道閘門與一份 pass 報告這個倉庫最有意思的地方是它隨模型一起發(fā)布了兩份驗收檔案qualification-criteria.json驗收標(biāo)準(zhǔn)相當(dāng)于考綱——事先約定數(shù)據(jù)集、運行時參數(shù)、采樣參數(shù)與各項閾值qualification.json實測結(jié)果相當(dāng)于成績單最終verdict字段為pass 驗收閘門與實測對照閘門gates閾值實測最低準(zhǔn)確率 minimum_accuracy≥ 96.5%97.27%1,283/1,319停止率 required_stop_rate 100%1,319/1,319 全部正常 stop截斷 maximum_truncations00請求錯誤 maximum_request_errors00空輸出 maximum_empty_generations00OOM 次數(shù) target_oom_kills0啟動前/加載后/評測后/關(guān)閉后 4 個時點全為 0MTP 接受長度 minimum_mtp_acceptance_length≥ 1.02.775注驗收跑記錄的 GSM8K 成績?yōu)?97.27%qualification.json略高于對外公布的 96.13%兩次均為 temperature 1.0 單次采樣屬正常波動。幾個值得注意的細節(jié)MTP 投機解碼實測有效最終接受長度 2.775即平均每次草稿能接受約 2.8 個 token顯著高于 1.0 的底線說明 NEXTN 3/1/4 配置下投機解碼確實在提速而不是空轉(zhuǎn)。FP8 KV Cache 的誠實備注運行時啟用了 fp8_e4m3 KV cache但未提供校準(zhǔn)的縮放因子默認(rèn)按 1.0 處理。報告在 qualification.json 中如實記錄了這條 warning——把坑也寫進檔案正是資質(zhì)驗收的價值所在。張量審計獨立復(fù)核tensor-audit.json 對輸出逐張量核驗——2,194 個張量、401 個 input-scale 張量、約 11.5 億個 scale 值798 個未改動張量與源模型逐字節(jié)一致verdict 同為 pass。五、 證據(jù)鏈8 個 SHA-256 讓結(jié)果可復(fù)核qualification.json 的evidence_sha256段為 8 份證據(jù)材料逐一計算了 SHA-256轉(zhuǎn)換清單、評測日志、評測指標(biāo)、逐題預(yù)測、張量審計、驗收標(biāo)準(zhǔn)、運行時指標(biāo)、服務(wù)日志。這套機制意味著任何人拿到同一份檢查點后都能對照哈希值確認(rèn)我復(fù)現(xiàn)評測所依據(jù)的材料與發(fā)布方是否一致。再配合 conversion-manifest.json 中源模型 99 個文件的逐文件哈希清單整個源模型 → 量化 → 評測 → 驗收鏈條可追溯、可復(fù)核而不僅是 README 里的兩個百分比。六、? SGLang 一鍵部署與文件核對官方推薦用 SGLang 起服務(wù)4×Blackwell 配置來自 README.mdsglang serve \ --trust-remote-code \ --model-path RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead \ --tp-size 4 \ --mem-fraction-static 0.75 \ --speculative-algorithm NEXTN \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --host 0.0.0.0 \ --port 30000拿到倉庫后建議先做兩件事用 model.safetensors.index.json 核對 3 個分片的張量索引是否完整對照 LICENSE 確認(rèn) Apache License 2.0 條款本模型為 Qwen3.8-27B 的量化衍生版能力與限制以上游模型卡為準(zhǔn)。七、 小結(jié)這份驗收檔案為什么值得參考成績可復(fù)現(xiàn)96.13% 的 GSM8K 與 69.4% 的 Terminal-Bench 都綁定了明確的硬件4×GB300、引擎版本、采樣參數(shù)與數(shù)據(jù)集切分閘門先于成績驗收標(biāo)準(zhǔn)寫在 criteria 文件里成績單逐項對照pass不是一句口號檔案完整轉(zhuǎn)換、審計、評測、證據(jù)哈希四類文件互相印證瘦身 60% 后能力沒打折扣這一結(jié)論有據(jù)可查對于需要在 Agent、對話或 RAG 系統(tǒng)里部署 4-bit 量化大模型的開發(fā)者來說這套量化配方 完整驗收文檔的范式本身就是最有價值的一課。贊分享【免費下載鏈接】Qwen3.8-27B-NVFP4-BF16-LMHead項目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead點擊查看免費下載相關(guān)推薦為什么4bit量化模型還保留BF16輸出層揭秘Qwen3.8-27B-NVFP4-BF16-LMHead的精度取舍為什么4bit量化模型還保留BF16輸出層揭秘Qwen3.8 27B NVFP4 BF16 LMHead的精度取舍 Qwen3.8 27B NVFP4 BF1一個22GB量化檢查點該長什么樣Qwen3.8-27B-NVFP4-BF16-LMHead文件構(gòu)成清單詳解一個22GB量化檢查點該長什么樣Qwen3.8 27B NVFP4 BF16 LMHead文件構(gòu)成清單詳解 Qwen3.8 27B NVFP4 BF16 LMQwen3.8-27B-NVFP4-BF16-LMHead完全指南1分鐘看懂這款NVFP4量化27B多模態(tài)模型Qwen3.8 27B NVFP4 BF16 LMHead完全指南1分鐘看懂這款NVFP4量化27B多模態(tài)模型 Qwen3.8 27B NVFP4 BF16上一篇DiffableDataSources在macOS和tvOS上的應(yīng)用跨平臺數(shù)據(jù)源管理解決方案下一篇零代碼到可視化Aurelia 1集成D3.js構(gòu)建動態(tài)數(shù)據(jù)圖表創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 GSM8K 96.13%、Terminal-Bench 69.4% 是怎么測出來的？Qwen3.8-27B-NVFP4-BF16-LMHead 評測與資質(zhì)驗收詳解
【免費下載鏈接】Qwen3.8-27B-NVFP4-BF16-LMHead項目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead點擊查看免費下載Qwen3.8-27B-NVFP4-BF16-LMHead 是 27B 參數(shù)多模態(tài)大模型 Qwen3.8-27B 的 NVFP4 量化版本MLP 權(quán)重壓到 4-bit、注意力壓到 8-bit唯獨保留 BF16 精度的 lm_head。它在 GSM8K 數(shù)學(xué)基準(zhǔn)上跑出96.13%在 Terminal-Bench 2.1 上跑出69.4%并隨模型發(fā)布了一套完整的資質(zhì)驗收檔案。這篇文章把這兩個數(shù)字的完整測試鏈路和驗收閘門一次性講清楚。一、 先認(rèn)識這個模型27B 參數(shù)體積瘦身約 60%Qwen3.8-27B 原生支持文本、圖像、視頻輸入上下文長度最高 262,144 token見 config.json。量化后的檢查點只保留 3 個權(quán)重分片model-00001-of-00003.safetensors 等總體積21.9 GB而源模型 18 個分片共55.5 GB——瘦身約 60%源與輸出清單對比記錄在 conversion-manifest.json 中?；旌暇确桨窶IXED_PRECISION讓不同模塊各司其職模塊精度覆蓋范圍MLPgate_proj / up_proj / down_projNVFP4 W4A4group size 16193 個基張量注意力linear_attn / self_attn 各投影FP8208 個基張量lm_head、MTP 層、視覺塔BF16與源模型逐字節(jié)一致798 個張量、4.37 GB這套分工在 hf_quant_config.json 中逐層列出量化校準(zhǔn)使用 1,024 條 cnn_dailymail 訓(xùn)練集樣本、序列長 512、隨機種子 1234見 conversion-manifest.json 的 calibration 段。整個制作與驗證流程基于 NVIDIA Model Optimizermodelopt 0.47.0.dev0運行在 4×NVIDIA GB300Blackwell 架構(gòu)上。二、 GSM8K 96.13%一條完整的數(shù)學(xué)推理測試鏈GSM8K 是小學(xué)數(shù)學(xué)應(yīng)用題基準(zhǔn)測試集共 1,319 題。這次評測的協(xié)議完整記錄在 README.md硬件與引擎4×NVIDIA GB300SGLang 張量并行 TP4開啟 NEXTN 3/1/4 投機解碼用 MTP 層做草稿模型數(shù)據(jù)完整 1,319 題全量評測不做抽樣模式thinking 模式開啟思考鏈采樣模型默認(rèn)參數(shù)——temperature 1.0、top_k 20、top_p 0.95即 generation_config.json 中那份配置seed 0結(jié)果96.13%1,268/1,319且 1,319 題全部以正常 stop 結(jié)束——零截斷、零報錯、零空輸出。作為參照把 lm_head 也量化的源 NVFP4 檢查點在同樣協(xié)議下得到 96.36%1,271/1,319。兩者差距不到 0.3 個百分點處于 temperature 1.0 單次采樣的噪聲范圍內(nèi)說明保留 BF16 lm_head 既沒有明顯加分也沒有掉分。三、 Terminal-Bench 69.4%Agent 能力的另一面Terminal-Bench 2.1 考察模型在終端里干活的能力讀文件、執(zhí)行命令、調(diào)試腳本屬于典型的 AI Agent 場景。評測協(xié)議README.mdClaude Code 2.1.228 作為 Agent 外殼 DFlash2 drafterpass1 計分。88 個任務(wù) × 4 輪重復(fù)通過 247/356即69.4%單輪口徑為 68.18%60/88。兩個基準(zhǔn)合起來看GSM8K 驗證推理底子扎實Terminal-Bench 驗證能動手干活覆蓋了量化后模型能力驗收最關(guān)心的兩條主線。需要說明的是兩項評測均為純文本口徑盡管模型本身支持圖像/視頻輸入。四、? 資質(zhì)驗收詳解7 道閘門與一份 pass 報告這個倉庫最有意思的地方是它隨模型一起發(fā)布了兩份驗收檔案qualification-criteria.json驗收標(biāo)準(zhǔn)相當(dāng)于考綱——事先約定數(shù)據(jù)集、運行時參數(shù)、采樣參數(shù)與各項閾值qualification.json實測結(jié)果相當(dāng)于成績單最終verdict字段為pass 驗收閘門與實測對照閘門gates閾值實測最低準(zhǔn)確率 minimum_accuracy≥ 96.5%97.27%1,283/1,319停止率 required_stop_rate 100%1,319/1,319 全部正常 stop截斷 maximum_truncations00請求錯誤 maximum_request_errors00空輸出 maximum_empty_generations00OOM 次數(shù) target_oom_kills0啟動前/加載后/評測后/關(guān)閉后 4 個時點全為 0MTP 接受長度 minimum_mtp_acceptance_length≥ 1.02.775注驗收跑記錄的 GSM8K 成績?yōu)?97.27%qualification.json略高于對外公布的 96.13%兩次均為 temperature 1.0 單次采樣屬正常波動。幾個值得注意的細節(jié)MTP 投機解碼實測有效最終接受長度 2.775即平均每次草稿能接受約 2.8 個 token顯著高于 1.0 的底線說明 NEXTN 3/1/4 配置下投機解碼確實在提速而不是空轉(zhuǎn)。FP8 KV Cache 的誠實備注運行時啟用了 fp8_e4m3 KV cache但未提供校準(zhǔn)的縮放因子默認(rèn)按 1.0 處理。報告在 qualification.json 中如實記錄了這條 warning——把坑也寫進檔案正是資質(zhì)驗收的價值所在。張量審計獨立復(fù)核tensor-audit.json 對輸出逐張量核驗——2,194 個張量、401 個 input-scale 張量、約 11.5 億個 scale 值798 個未改動張量與源模型逐字節(jié)一致verdict 同為 pass。五、 證據(jù)鏈8 個 SHA-256 讓結(jié)果可復(fù)核qualification.json 的evidence_sha256段為 8 份證據(jù)材料逐一計算了 SHA-256轉(zhuǎn)換清單、評測日志、評測指標(biāo)、逐題預(yù)測、張量審計、驗收標(biāo)準(zhǔn)、運行時指標(biāo)、服務(wù)日志。這套機制意味著任何人拿到同一份檢查點后都能對照哈希值確認(rèn)我復(fù)現(xiàn)評測所依據(jù)的材料與發(fā)布方是否一致。再配合 conversion-manifest.json 中源模型 99 個文件的逐文件哈希清單整個源模型 → 量化 → 評測 → 驗收鏈條可追溯、可復(fù)核而不僅是 README 里的兩個百分比。六、? SGLang 一鍵部署與文件核對官方推薦用 SGLang 起服務(wù)4×Blackwell 配置來自 README.mdsglang serve \ --trust-remote-code \ --model-path RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead \ --tp-size 4 \ --mem-fraction-static 0.75 \ --speculative-algorithm NEXTN \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --host 0.0.0.0 \ --port 30000拿到倉庫后建議先做兩件事用 model.safetensors.index.json 核對 3 個分片的張量索引是否完整對照 LICENSE 確認(rèn) Apache License 2.0 條款本模型為 Qwen3.8-27B 的量化衍生版能力與限制以上游模型卡為準(zhǔn)。七、 小結(jié)這份驗收檔案為什么值得參考成績可復(fù)現(xiàn)96.13% 的 GSM8K 與 69.4% 的 Terminal-Bench 都綁定了明確的硬件4×GB300、引擎版本、采樣參數(shù)與數(shù)據(jù)集切分閘門先于成績驗收標(biāo)準(zhǔn)寫在 criteria 文件里成績單逐項對照pass不是一句口號檔案完整轉(zhuǎn)換、審計、評測、證據(jù)哈希四類文件互相印證瘦身 60% 后能力沒打折扣這一結(jié)論有據(jù)可查對于需要在 Agent、對話或 RAG 系統(tǒng)里部署 4-bit 量化大模型的開發(fā)者來說這套量化配方 完整驗收文檔的范式本身就是最有價值的一課。贊分享【免費下載鏈接】Qwen3.8-27B-NVFP4-BF16-LMHead項目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead點擊查看免費下載相關(guān)推薦為什么4bit量化模型還保留BF16輸出層揭秘Qwen3.8-27B-NVFP4-BF16-LMHead的精度取舍為什么4bit量化模型還保留BF16輸出層揭秘Qwen3.8 27B NVFP4 BF16 LMHead的精度取舍 Qwen3.8 27B NVFP4 BF1一個22GB量化檢查點該長什么樣Qwen3.8-27B-NVFP4-BF16-LMHead文件構(gòu)成清單詳解一個22GB量化檢查點該長什么樣Qwen3.8 27B NVFP4 BF16 LMHead文件構(gòu)成清單詳解 Qwen3.8 27B NVFP4 BF16 LMQwen3.8-27B-NVFP4-BF16-LMHead完全指南1分鐘看懂這款NVFP4量化27B多模態(tài)模型Qwen3.8 27B NVFP4 BF16 LMHead完全指南1分鐘看懂這款NVFP4量化27B多模態(tài)模型 Qwen3.8 27B NVFP4 BF16上一篇DiffableDataSources在macOS和tvOS上的應(yīng)用跨平臺數(shù)據(jù)源管理解決方案下一篇零代碼到可視化Aurelia 1集成D3.js構(gòu)建動態(tài)數(shù)據(jù)圖表創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考