如何減半壓縮？Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K的AWQ+UINT4量化原理)
【免費(fèi)下載鏈接】Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K點(diǎn)擊查看免費(fèi)下載Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K 是 AMD 面向 Ryzen AI 硬件發(fā)布的 Llama-3.2-1B 量化模型采用AWQ UINT4 量化方案把約 2.5GB 的 BF16 權(quán)重壓縮到 1GB 量級(jí)并針對(duì) NPU 完成 16K 上下文的后處理讓 1B 小模型能直接在筆記本 NPU 上流暢跑起來。這篇文章帶你用大白話看懂它瘦身的全過程。 這個(gè)模型到底是什么一句話概括它是一個(gè)為 NPU 量身打造的減肥版 Llama。從 README.md 可以看到它的生產(chǎn)流水線分三步階段工具做了什么① 量化Quark QuantizationAWQ / Group 128 / 非對(duì)稱 / BFP16 激活 / UINT4 權(quán)重② 構(gòu)圖OGA Model Builder生成 ONNX 優(yōu)化圖③ 后處理NPU DeploymentToken Fusion 16K 上下文適配源模型為 Meta 的 Llama-3.2-1B-Instruct約 1.2B 參數(shù)16 層 Transformer、隱藏層 2048、詞表 128256結(jié)構(gòu)參數(shù)見 params.json。量化后依然保留全部語言能力只是存得更省、跑得更輕。 量化參數(shù)全解config.json 里的 AWQ UINT4 是什么打開 config.jsonquantization_config字段把減肥配方寫得明明白白參數(shù)取值通俗解釋nameawq采用 AWQ激活感知加權(quán)量化算法dtypeuint4權(quán)重只存 4 個(gè)比特1 個(gè)數(shù)字 0~15group_size128每 128 個(gè)權(quán)重共享一組縮放系數(shù)qschemeper_group按小組而非整層標(biāo)定精度symmetricfalse非對(duì)稱量化多存一個(gè)偏移量換更準(zhǔn)round_methodhalf_even銀行家舍入減少累積偏差observer_clsPerGroupMinMaxObserver用每組最大/最小值確定量化范圍 AWQ不是所有權(quán)重都值得一刀切AWQActivation-aware Weight Quantization的核心思想很簡單有些權(quán)重通道很重要不能粗暴壓到 4-bit。普通量化對(duì)所有權(quán)重一視同仁而 AWQ 會(huì)先用校準(zhǔn)數(shù)據(jù)觀察激活值的大小——激活越大的通道對(duì)輸出影響越大。于是它給這些重要通道乘一個(gè)略大于 1 的補(bǔ)償系數(shù)再量化把誤差壓回去。config.json中的scaling_layers就是這套機(jī)制的清單按 Transformer 子模塊成組保護(hù)input_layernorm→ 保護(hù)q_proj / k_proj / v_projself_attn.v_proj→ 保護(hù)o_projpost_attention_layernorm→ 保護(hù)gate_proj / up_projmlp.up_proj→ 保護(hù)down_proj也就是說AWQ 把該重點(diǎn)保護(hù)的地方全部圈了出來這也是為什么 4-bit 量化后模型質(zhì)量依然可用的關(guān)鍵。?? UINT4 Group 128小步快跑換高精度UINT4一個(gè)權(quán)重從 16 個(gè)比特BF16壓到 4 個(gè)比特單參數(shù)體積直接降到 1/4Group 128每 128 個(gè)權(quán)重配 1 個(gè)float縮放系數(shù) 1 個(gè)非對(duì)稱零點(diǎn)相當(dāng)于每 128 個(gè)人一組組內(nèi)用統(tǒng)一標(biāo)尺既省內(nèi)存又把范圍切得很細(xì)BFP16 激活推理時(shí)激活值仍按 16 位浮點(diǎn)計(jì)算只壓權(quán)重、不壓計(jì)算精度損失最小化。三招組合下來誤差被限制在每個(gè)小組內(nèi)部整體質(zhì)量幾乎無損。 到底省了多少算一筆賬Llama-3.2-1B 總參數(shù)約 1.27B16 層 × 每層約 63M 嵌入 263M形態(tài)權(quán)重體積估算說明BF16 原版≈ 2.5 GB每參數(shù) 2 字節(jié)UINT4 量化后≈ 0.65 GB每參數(shù) 0.5 字節(jié) 組內(nèi)縮放系數(shù)實(shí)際模型包約 1.2 GB含 ONNX 圖、NPU 元數(shù)據(jù)等純權(quán)重縮小到約 1/4整個(gè)模型包體積減半——這就是標(biāo)題里1B 參數(shù)減半壓縮的由來。省下的空間換來了兩個(gè)實(shí)際好處NPU 內(nèi)存占用更小可以和 16K 上下文的 KV Cache 共存讀取帶寬減半生成速度更快LLM 解碼是典型的訪存瓶頸。另外模型使用了 GQA32 個(gè) Q 頭 / 僅 8 個(gè) KV 頭見 genai_config.jsonKV Cache 再省 1/4是能跑長上下文的另一塊拼圖。 NPU 部署內(nèi)幕這些文件各管一攤量化只是上半場真正讓它跑在 Ryzen AI 上的是下半場的文件布局文件作用model.onnx model.onnx.dataOGA 構(gòu)圖產(chǎn)物模型圖 量化權(quán)重?cái)?shù)據(jù)model.pb.binNPU 編譯后的外部權(quán)重?cái)?shù)據(jù)genai_config.json中指定dd_metastate_*系列如 dd_metastate_...stateNPU 動(dòng)態(tài)數(shù)據(jù)Dynamic Data緩存融合的 RMSNorm、256~16384 各檔 attention mask 元信息rai_config.jsonRyzen AI 各版本 SDK 支持的max_prompt_length1.7.1 最高 4096genai_config.json解碼參數(shù)16K 最大生成長度、NPU 后端、4096 分塊其中attention_mask_padded_16384這類文件正好對(duì)應(yīng)模型名里的npu_16K預(yù)計(jì)算好 16K 上下文的注意力掩碼元信息解碼時(shí)零開銷取用?？焖偕鲜直镜伢w驗(yàn)可通過 Ryzen AI SDK 拉取該模型倉庫git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K隨后按 Ryzen AI 的 Hybrid OGA 文檔用onnxruntime-genai加載model.onnx即可在 CPUNPU 混合后端上運(yùn)行推理。? 常見問題FAQQ1量化后會(huì)掉智商嗎AWQ 保護(hù)了關(guān)鍵通道、Group 128 控制了誤差范圍、激活保持 16 位計(jì)算三者疊加使 1B 級(jí)別模型的質(zhì)量損失通常在可接受范圍內(nèi)日常問答、摘要、改寫幾乎無感。Q2為什么是 4-bit 而不是 8-bit8-bit 體積只省一半且 NPU 上收益有限4-bit 直接把權(quán)重帶寬需求降到 1/4配合 AWQ 校準(zhǔn)是端側(cè)部署的甜點(diǎn)精度。Q3只能在 AMD NPU 上用嗎model.pb.bin與dd_metastate_*是 NPU 專用產(chǎn)物ONNX 部分理論上可被支持 Quark 量化格式的 CPU 后端讀取但完整 16K NPU 體驗(yàn)依賴 Ryzen AI 硬件與 SDK。? 小結(jié)AWQ看激活定權(quán)重重點(diǎn)通道重點(diǎn)保護(hù)4-bit 量化不掉鏈子UINT4 Group 128 非對(duì)稱小步長標(biāo)尺 偏移補(bǔ)償誤差關(guān)在小組里BFP16 激活只壓權(quán)重不壓計(jì)算精度幾乎無損NPU 后處理ONNX 圖 16K 注意力元信息讓 1B 模型真正跑進(jìn)筆記本。從 2.5GB 到 1GB 量級(jí)一套 AWQUINT4 組合拳就完成了。想在本地跑起 Llama 又內(nèi)存緊張這種量化方案值得成為你第一個(gè)研究對(duì)象。贊分享【免費(fèi)下載鏈接】Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K點(diǎn)擊查看免費(fèi)下載相關(guān)推薦4位量化原理深度解析Llama-3.2-1B-Instruct_rai_1.8.0_hybrid如何用AWQUINT4讓1B模型瘦身又保智力4位量化原理深度解析Llama 3.2 1B Instruct_rai_1.8.0_hybrid如何用AWQUINT4讓1B模型瘦身又保智力 Llama 3為什么又小又快Llama-3.2-3B-Instruct_rai_1.8.0_npu_16K的AWQUINT4量化策略詳解為什么又小又快Llama 3.2 3B Instruct_rai_1.8.0_npu_16K的AWQUINT4量化策略詳解 Llama 3.2 3B InsNPU上的16K長上下文Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K的Token Fusion機(jī)制解讀NPU上的16K長上下文Llama 3.2 1B Instruct_rai_1.8.0_npu_16K的Token Fusion機(jī)制解讀 Llama 3.2創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 1B參數(shù)如何減半壓縮？Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K的AWQ+UINT4量化原理
【免費(fèi)下載鏈接】Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K點(diǎn)擊查看免費(fèi)下載Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K 是 AMD 面向 Ryzen AI 硬件發(fā)布的 Llama-3.2-1B 量化模型采用AWQ UINT4 量化方案把約 2.5GB 的 BF16 權(quán)重壓縮到 1GB 量級(jí)并針對(duì) NPU 完成 16K 上下文的后處理讓 1B 小模型能直接在筆記本 NPU 上流暢跑起來。這篇文章帶你用大白話看懂它瘦身的全過程。 這個(gè)模型到底是什么一句話概括它是一個(gè)為 NPU 量身打造的減肥版 Llama。從 README.md 可以看到它的生產(chǎn)流水線分三步階段工具做了什么① 量化Quark QuantizationAWQ / Group 128 / 非對(duì)稱 / BFP16 激活 / UINT4 權(quán)重② 構(gòu)圖OGA Model Builder生成 ONNX 優(yōu)化圖③ 后處理NPU DeploymentToken Fusion 16K 上下文適配源模型為 Meta 的 Llama-3.2-1B-Instruct約 1.2B 參數(shù)16 層 Transformer、隱藏層 2048、詞表 128256結(jié)構(gòu)參數(shù)見 params.json。量化后依然保留全部語言能力只是存得更省、跑得更輕。 量化參數(shù)全解config.json 里的 AWQ UINT4 是什么打開 config.jsonquantization_config字段把減肥配方寫得明明白白參數(shù)取值通俗解釋nameawq采用 AWQ激活感知加權(quán)量化算法dtypeuint4權(quán)重只存 4 個(gè)比特1 個(gè)數(shù)字 0~15group_size128每 128 個(gè)權(quán)重共享一組縮放系數(shù)qschemeper_group按小組而非整層標(biāo)定精度symmetricfalse非對(duì)稱量化多存一個(gè)偏移量換更準(zhǔn)round_methodhalf_even銀行家舍入減少累積偏差observer_clsPerGroupMinMaxObserver用每組最大/最小值確定量化范圍 AWQ不是所有權(quán)重都值得一刀切AWQActivation-aware Weight Quantization的核心思想很簡單有些權(quán)重通道很重要不能粗暴壓到 4-bit。普通量化對(duì)所有權(quán)重一視同仁而 AWQ 會(huì)先用校準(zhǔn)數(shù)據(jù)觀察激活值的大小——激活越大的通道對(duì)輸出影響越大。于是它給這些重要通道乘一個(gè)略大于 1 的補(bǔ)償系數(shù)再量化把誤差壓回去。config.json中的scaling_layers就是這套機(jī)制的清單按 Transformer 子模塊成組保護(hù)input_layernorm→ 保護(hù)q_proj / k_proj / v_projself_attn.v_proj→ 保護(hù)o_projpost_attention_layernorm→ 保護(hù)gate_proj / up_projmlp.up_proj→ 保護(hù)down_proj也就是說AWQ 把該重點(diǎn)保護(hù)的地方全部圈了出來這也是為什么 4-bit 量化后模型質(zhì)量依然可用的關(guān)鍵。?? UINT4 Group 128小步快跑換高精度UINT4一個(gè)權(quán)重從 16 個(gè)比特BF16壓到 4 個(gè)比特單參數(shù)體積直接降到 1/4Group 128每 128 個(gè)權(quán)重配 1 個(gè)float縮放系數(shù) 1 個(gè)非對(duì)稱零點(diǎn)相當(dāng)于每 128 個(gè)人一組組內(nèi)用統(tǒng)一標(biāo)尺既省內(nèi)存又把范圍切得很細(xì)BFP16 激活推理時(shí)激活值仍按 16 位浮點(diǎn)計(jì)算只壓權(quán)重、不壓計(jì)算精度損失最小化。三招組合下來誤差被限制在每個(gè)小組內(nèi)部整體質(zhì)量幾乎無損。 到底省了多少算一筆賬Llama-3.2-1B 總參數(shù)約 1.27B16 層 × 每層約 63M 嵌入 263M形態(tài)權(quán)重體積估算說明BF16 原版≈ 2.5 GB每參數(shù) 2 字節(jié)UINT4 量化后≈ 0.65 GB每參數(shù) 0.5 字節(jié) 組內(nèi)縮放系數(shù)實(shí)際模型包約 1.2 GB含 ONNX 圖、NPU 元數(shù)據(jù)等純權(quán)重縮小到約 1/4整個(gè)模型包體積減半——這就是標(biāo)題里1B 參數(shù)減半壓縮的由來。省下的空間換來了兩個(gè)實(shí)際好處NPU 內(nèi)存占用更小可以和 16K 上下文的 KV Cache 共存讀取帶寬減半生成速度更快LLM 解碼是典型的訪存瓶頸。另外模型使用了 GQA32 個(gè) Q 頭 / 僅 8 個(gè) KV 頭見 genai_config.jsonKV Cache 再省 1/4是能跑長上下文的另一塊拼圖。 NPU 部署內(nèi)幕這些文件各管一攤量化只是上半場真正讓它跑在 Ryzen AI 上的是下半場的文件布局文件作用model.onnx model.onnx.dataOGA 構(gòu)圖產(chǎn)物模型圖 量化權(quán)重?cái)?shù)據(jù)model.pb.binNPU 編譯后的外部權(quán)重?cái)?shù)據(jù)genai_config.json中指定dd_metastate_*系列如 dd_metastate_...stateNPU 動(dòng)態(tài)數(shù)據(jù)Dynamic Data緩存融合的 RMSNorm、256~16384 各檔 attention mask 元信息rai_config.jsonRyzen AI 各版本 SDK 支持的max_prompt_length1.7.1 最高 4096genai_config.json解碼參數(shù)16K 最大生成長度、NPU 后端、4096 分塊其中attention_mask_padded_16384這類文件正好對(duì)應(yīng)模型名里的npu_16K預(yù)計(jì)算好 16K 上下文的注意力掩碼元信息解碼時(shí)零開銷取用?？焖偕鲜直镜伢w驗(yàn)可通過 Ryzen AI SDK 拉取該模型倉庫git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K隨后按 Ryzen AI 的 Hybrid OGA 文檔用onnxruntime-genai加載model.onnx即可在 CPUNPU 混合后端上運(yùn)行推理。? 常見問題FAQQ1量化后會(huì)掉智商嗎AWQ 保護(hù)了關(guān)鍵通道、Group 128 控制了誤差范圍、激活保持 16 位計(jì)算三者疊加使 1B 級(jí)別模型的質(zhì)量損失通常在可接受范圍內(nèi)日常問答、摘要、改寫幾乎無感。Q2為什么是 4-bit 而不是 8-bit8-bit 體積只省一半且 NPU 上收益有限4-bit 直接把權(quán)重帶寬需求降到 1/4配合 AWQ 校準(zhǔn)是端側(cè)部署的甜點(diǎn)精度。Q3只能在 AMD NPU 上用嗎model.pb.bin與dd_metastate_*是 NPU 專用產(chǎn)物ONNX 部分理論上可被支持 Quark 量化格式的 CPU 后端讀取但完整 16K NPU 體驗(yàn)依賴 Ryzen AI 硬件與 SDK。? 小結(jié)AWQ看激活定權(quán)重重點(diǎn)通道重點(diǎn)保護(hù)4-bit 量化不掉鏈子UINT4 Group 128 非對(duì)稱小步長標(biāo)尺 偏移補(bǔ)償誤差關(guān)在小組里BFP16 激活只壓權(quán)重不壓計(jì)算精度幾乎無損NPU 后處理ONNX 圖 16K 注意力元信息讓 1B 模型真正跑進(jìn)筆記本。從 2.5GB 到 1GB 量級(jí)一套 AWQUINT4 組合拳就完成了。想在本地跑起 Llama 又內(nèi)存緊張這種量化方案值得成為你第一個(gè)研究對(duì)象。贊分享【免費(fèi)下載鏈接】Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K點(diǎn)擊查看免費(fèi)下載相關(guān)推薦4位量化原理深度解析Llama-3.2-1B-Instruct_rai_1.8.0_hybrid如何用AWQUINT4讓1B模型瘦身又保智力4位量化原理深度解析Llama 3.2 1B Instruct_rai_1.8.0_hybrid如何用AWQUINT4讓1B模型瘦身又保智力 Llama 3為什么又小又快Llama-3.2-3B-Instruct_rai_1.8.0_npu_16K的AWQUINT4量化策略詳解為什么又小又快Llama 3.2 3B Instruct_rai_1.8.0_npu_16K的AWQUINT4量化策略詳解 Llama 3.2 3B InsNPU上的16K長上下文Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K的Token Fusion機(jī)制解讀NPU上的16K長上下文Llama 3.2 1B Instruct_rai_1.8.0_npu_16K的Token Fusion機(jī)制解讀 Llama 3.2創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考