布：下一代混合架構(gòu)大模型完全指南)
【免費(fèi)下載鏈接】Qwen3-Next-80B-A3B-Instruct項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct點(diǎn)擊查看免費(fèi)下載Qwen3-Next-80B-A3B-Instruct 是 Qwen3-Next 系列首發(fā)的下一代混合架構(gòu)大模型總參數(shù) 800 億每 token 僅激活 30 億原生支持 256K 上下文可擴(kuò)展至 100 萬 token以 10% 的訓(xùn)練成本超越了 Qwen3-32B 基座在 32K 以上長上下文中推理吞吐提升 10 倍。本指南將帶新手快速看懂它的四大架構(gòu)創(chuàng)新、核心規(guī)格、倉庫文件結(jié)構(gòu)并給出一鍵部署與超長上下文擴(kuò)展的完整方法。 四大核心亮點(diǎn)混合架構(gòu)到底強(qiáng)在哪Qwen3-Next-80B-A3B 通過架構(gòu)創(chuàng)新實(shí)現(xiàn)了更強(qiáng)的模型、更低的成本、更快的推理核心升級有四點(diǎn)混合注意力Hybrid Attention用 Gated DeltaNet線性注意力 Gated Attention門控注意力的組合替代標(biāo)準(zhǔn)注意力48 層中每 4 層才用 1 層全注意力使超長上下文建模既高效又精準(zhǔn)高稀疏 MoE混合專家每層 512 個(gè)專家每個(gè) token 僅激活 10 個(gè)專家加 1 個(gè)共享專家大幅降低單 token 計(jì)算量同時(shí)保留完整模型容量穩(wěn)定性優(yōu)化引入零中心化、帶權(quán)重衰減的 LayerNorm 等技術(shù)讓預(yù)訓(xùn)練與后訓(xùn)練更加穩(wěn)健多 Token 預(yù)測MTP提升預(yù)訓(xùn)練質(zhì)量并可直接加速推理生成。性能表現(xiàn)來自 README.md 官方數(shù)據(jù)對比維度Qwen3-Next-80B-A3B 表現(xiàn)與 Qwen3-235B-A22B-Instruct 對比多項(xiàng)基準(zhǔn)打平256K 超長上下文任務(wù)優(yōu)勢顯著編程 LiveCodeBench v656.6超越 235B 版51.8對齊 Arena-Hard v282.7全場最高數(shù)學(xué)推理 AIME2569.5逼近 235B 版的 70.3訓(xùn)練成本僅為同級基座模型的10% 注意該模型僅支持 instruct非思考模式輸出中不會出現(xiàn) 思考塊適合追求響應(yīng)速度的在線服務(wù)場景。 模型核心規(guī)格一覽完整參數(shù)定義見 config.json關(guān)鍵規(guī)格如下規(guī)格項(xiàng)數(shù)值模型類型因果語言模型Qwen3NextForCausalLM總參數(shù) / 激活參數(shù)80B / 3B非嵌入?yún)?shù) 79B隱藏層維度2048層數(shù)與布局48 層 12 × (3 組 Gated DeltaNet→MoE 1 組 Gated Attention→MoE)MoE 專家數(shù)512 個(gè)激活 10 個(gè) 1 個(gè)共享專家上下文長度原生 262,144 tokens可擴(kuò)展至約 1,010,000 tokens精度bfloat16詞表大小151,936訓(xùn)練數(shù)據(jù)15T tokens 預(yù)訓(xùn)練 后訓(xùn)練 倉庫文件結(jié)構(gòu)說明本倉庫是一個(gè)標(biāo)準(zhǔn)的 Hugging Face 模型倉庫41 個(gè)model-XXXXX-of-00041.safetensors分片構(gòu)成完整權(quán)重。各配置文件的作用如下文件作用README.md完整官方文檔架構(gòu)、基準(zhǔn)、部署與最佳實(shí)踐config.json模型架構(gòu)配置層數(shù)、專家數(shù)、注意力頭等generation_config.json推薦采樣參數(shù)temperature0.7、top_p0.8、top_k20model.safetensors.index.json41 個(gè)權(quán)重分片的加載索引tokenizer.json / vocab.json / merges.txt分詞器三件套含內(nèi)置工具調(diào)用聊天模板LICENSEApache-2.0 開源協(xié)議可商用 快速上手3 步在本地跑通模型第 1 步安裝依賴。Qwen3-Next 的代碼已合并進(jìn)transformers主分支舊版本會報(bào)KeyError: qwen3_next務(wù)必使用最新開發(fā)版pip install githttps://github.com/huggingface/transformers.gitmain第 2 步下載模型權(quán)重。git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct第 3 步加載并生成。80B 參數(shù)建議使用多卡自動(dòng)分配from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen3-Next-80B-A3B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, dtypeauto, device_mapauto ) messages [{role: user, content: Give me a short introduction to large language model.}] text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) model_inputs tokenizer([text], return_tensorspt).to(model.device) generated_ids model.generate(**model_inputs, max_new_tokens16384) print(tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokensTrue))?? MTP 加速在 Hugging Face Transformers 中暫不可用對吞吐有要求時(shí)建議改用下方的專用推理框架。? 生產(chǎn)部署SGLang 與 vLLM 一鍵啟動(dòng)命令部署推薦使用 SGLang 或 vLLM兩者都能啟動(dòng) OpenAI 兼容 API并支持 MTP 推測解碼加速。SGLang 部署步驟要求sglang0.5.2pip install sglang[all]0.5.2 python -m sglang.launch_server --model-path Qwen/Qwen3-Next-80B-A3B-Instruct \ --port 30000 --tp-size 4 --context-length 262144 --mem-fraction-static 0.8啟用 MTP 加速時(shí)追加參數(shù)--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4vLLM 部署步驟要求vllm0.10.2pip install vllm0.10.2 vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct --port 8000 \ --tensor-parallel-size 4 --max-model-len 262144啟用 MTP 加速時(shí)追加參數(shù)--speculative-config {method:qwen3_next_mtp,num_speculative_tokens:2} 默認(rèn)上下文為 256K若服務(wù)器啟動(dòng)失敗可先把--context-length/--max-model-len降到32768再逐步調(diào)高。 256K 超長上下文如何擴(kuò)展到 1M tokens官方已用 YaRN 方法驗(yàn)證了 100 萬 token 上下文下的效果RULER 1M 基準(zhǔn)平均分 91.8384K 處仍保持 86.9。兩種啟用方式方式一修改 config.json 增加字段rope_scaling: { rope_type: yarn, factor: 4.0, original_max_position_embeddings: 262144 }方式二啟動(dòng)時(shí)傳參vLLM 示例VLLM_ALLOW_LONG_MAX_MODEL_LEN1 vllm serve ... \ --rope-scaling {rope_type:yarn,factor:4.0,original_max_position_embeddings:262144} \ --max-model-len 1010000 靜態(tài) YaRN 的縮放因子恒定可能對短文本性能有輕微影響僅在確需長上下文時(shí)再添加rope_scaling配置。若業(yè)務(wù)典型長度為 524K建議把factor調(diào)為 2.0。?? 最佳實(shí)踐推薦采樣參數(shù)與輸出長度官方推薦的生成參數(shù)已內(nèi)置于 generation_config.json手動(dòng)設(shè)置時(shí)建議保持一致采樣參數(shù)Temperature0.7、TopP0.8、TopK20、MinP0可用presence_penalty0~2抑制重復(fù)但過高可能導(dǎo)致語言混雜輸出長度多數(shù)問題預(yù)留16,384 tokens輸出即可Agent 場景模型工具調(diào)用能力突出可結(jié)合 Qwen-Agent 框架通過 MCP 配置文件接入自定義工具評測規(guī)范數(shù)學(xué)題在 prompt 中加入 put your final answer within \boxed{}選擇題要求以answer: C的 JSON 格式輸出選項(xiàng)。? 常見問題 FAQQ1加載時(shí)報(bào)KeyError: qwen3_nexttransformers版本過舊升級到主分支最新開發(fā)版即可解決。Q2服務(wù)器啟動(dòng)失敗、顯存不足先把上下文長度從 262144 降到 32768確認(rèn)能啟動(dòng)后再按需調(diào)高多卡時(shí)確保--tp-size與 GPU 數(shù)量匹配。Q3為什么不輸出 思考內(nèi)容Instruct 版僅支持非思考模式這是設(shè)計(jì)如此可獲得更快的首 token 響應(yīng)。Q4MTP 能用在 transformers 里嗎目前暫不支持需通過 SGLang / vLLM 的推測解碼參數(shù)啟用。Qwen3-Next-80B-A3B-Instruct 用混合注意力 高稀疏 MoE MTP 的組合展示了小激活、大容量、長上下文的下一代大模型路線。無論是本地實(shí)驗(yàn)還是生產(chǎn)部署從上面的快速上手到一鍵啟動(dòng)命令你都已經(jīng)具備了把它跑起來的完整知識。贊分享【免費(fèi)下載鏈接】Qwen3-Next-80B-A3B-Instruct項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Qwen3-Next-80B-A3B-FP8混合架構(gòu)重塑大模型效率邊界Qwen3 Next 80B A3B FP8混合架構(gòu)重塑大模型效率邊界 導(dǎo)語 阿里達(dá)摩院推出的Qwen3 Next 80B A3B FP8大模型通過融合混合大模型人工智能深度學(xué)習(xí)Rover UI界面詳解交互式基礎(chǔ)設(shè)施圖譜的使用技巧Rover UI界面詳解交互式基礎(chǔ)設(shè)施圖譜的使用技巧 Rover是一款功能強(qiáng)大的Terraform可視化工具它通過交互式圖譜幫助用戶直觀地理解和管理基礎(chǔ)設(shè)施開發(fā)工具運(yùn)維CANN Ascend C批量張量C獲取APIGetBatchTensorCa nameZH CN_TOPIC_0000002061229326 /a 產(chǎn)品支持情況a namesection人工智能深度學(xué)習(xí)高性能計(jì)算CANN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Qwen3-Next-80B-A3B-Instruct重磅發(fā)布：下一代混合架構(gòu)大模型完全指南
【免費(fèi)下載鏈接】Qwen3-Next-80B-A3B-Instruct項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct點(diǎn)擊查看免費(fèi)下載Qwen3-Next-80B-A3B-Instruct 是 Qwen3-Next 系列首發(fā)的下一代混合架構(gòu)大模型總參數(shù) 800 億每 token 僅激活 30 億原生支持 256K 上下文可擴(kuò)展至 100 萬 token以 10% 的訓(xùn)練成本超越了 Qwen3-32B 基座在 32K 以上長上下文中推理吞吐提升 10 倍。本指南將帶新手快速看懂它的四大架構(gòu)創(chuàng)新、核心規(guī)格、倉庫文件結(jié)構(gòu)并給出一鍵部署與超長上下文擴(kuò)展的完整方法。 四大核心亮點(diǎn)混合架構(gòu)到底強(qiáng)在哪Qwen3-Next-80B-A3B 通過架構(gòu)創(chuàng)新實(shí)現(xiàn)了更強(qiáng)的模型、更低的成本、更快的推理核心升級有四點(diǎn)混合注意力Hybrid Attention用 Gated DeltaNet線性注意力 Gated Attention門控注意力的組合替代標(biāo)準(zhǔn)注意力48 層中每 4 層才用 1 層全注意力使超長上下文建模既高效又精準(zhǔn)高稀疏 MoE混合專家每層 512 個(gè)專家每個(gè) token 僅激活 10 個(gè)專家加 1 個(gè)共享專家大幅降低單 token 計(jì)算量同時(shí)保留完整模型容量穩(wěn)定性優(yōu)化引入零中心化、帶權(quán)重衰減的 LayerNorm 等技術(shù)讓預(yù)訓(xùn)練與后訓(xùn)練更加穩(wěn)健多 Token 預(yù)測MTP提升預(yù)訓(xùn)練質(zhì)量并可直接加速推理生成。性能表現(xiàn)來自 README.md 官方數(shù)據(jù)對比維度Qwen3-Next-80B-A3B 表現(xiàn)與 Qwen3-235B-A22B-Instruct 對比多項(xiàng)基準(zhǔn)打平256K 超長上下文任務(wù)優(yōu)勢顯著編程 LiveCodeBench v656.6超越 235B 版51.8對齊 Arena-Hard v282.7全場最高數(shù)學(xué)推理 AIME2569.5逼近 235B 版的 70.3訓(xùn)練成本僅為同級基座模型的10% 注意該模型僅支持 instruct非思考模式輸出中不會出現(xiàn) 思考塊適合追求響應(yīng)速度的在線服務(wù)場景。 模型核心規(guī)格一覽完整參數(shù)定義見 config.json關(guān)鍵規(guī)格如下規(guī)格項(xiàng)數(shù)值模型類型因果語言模型Qwen3NextForCausalLM總參數(shù) / 激活參數(shù)80B / 3B非嵌入?yún)?shù) 79B隱藏層維度2048層數(shù)與布局48 層 12 × (3 組 Gated DeltaNet→MoE 1 組 Gated Attention→MoE)MoE 專家數(shù)512 個(gè)激活 10 個(gè) 1 個(gè)共享專家上下文長度原生 262,144 tokens可擴(kuò)展至約 1,010,000 tokens精度bfloat16詞表大小151,936訓(xùn)練數(shù)據(jù)15T tokens 預(yù)訓(xùn)練 后訓(xùn)練 倉庫文件結(jié)構(gòu)說明本倉庫是一個(gè)標(biāo)準(zhǔn)的 Hugging Face 模型倉庫41 個(gè)model-XXXXX-of-00041.safetensors分片構(gòu)成完整權(quán)重。各配置文件的作用如下文件作用README.md完整官方文檔架構(gòu)、基準(zhǔn)、部署與最佳實(shí)踐config.json模型架構(gòu)配置層數(shù)、專家數(shù)、注意力頭等generation_config.json推薦采樣參數(shù)temperature0.7、top_p0.8、top_k20model.safetensors.index.json41 個(gè)權(quán)重分片的加載索引tokenizer.json / vocab.json / merges.txt分詞器三件套含內(nèi)置工具調(diào)用聊天模板LICENSEApache-2.0 開源協(xié)議可商用 快速上手3 步在本地跑通模型第 1 步安裝依賴。Qwen3-Next 的代碼已合并進(jìn)transformers主分支舊版本會報(bào)KeyError: qwen3_next務(wù)必使用最新開發(fā)版pip install githttps://github.com/huggingface/transformers.gitmain第 2 步下載模型權(quán)重。git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct第 3 步加載并生成。80B 參數(shù)建議使用多卡自動(dòng)分配from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen3-Next-80B-A3B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, dtypeauto, device_mapauto ) messages [{role: user, content: Give me a short introduction to large language model.}] text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) model_inputs tokenizer([text], return_tensorspt).to(model.device) generated_ids model.generate(**model_inputs, max_new_tokens16384) print(tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokensTrue))?? MTP 加速在 Hugging Face Transformers 中暫不可用對吞吐有要求時(shí)建議改用下方的專用推理框架。? 生產(chǎn)部署SGLang 與 vLLM 一鍵啟動(dòng)命令部署推薦使用 SGLang 或 vLLM兩者都能啟動(dòng) OpenAI 兼容 API并支持 MTP 推測解碼加速。SGLang 部署步驟要求sglang0.5.2pip install sglang[all]0.5.2 python -m sglang.launch_server --model-path Qwen/Qwen3-Next-80B-A3B-Instruct \ --port 30000 --tp-size 4 --context-length 262144 --mem-fraction-static 0.8啟用 MTP 加速時(shí)追加參數(shù)--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4vLLM 部署步驟要求vllm0.10.2pip install vllm0.10.2 vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct --port 8000 \ --tensor-parallel-size 4 --max-model-len 262144啟用 MTP 加速時(shí)追加參數(shù)--speculative-config {method:qwen3_next_mtp,num_speculative_tokens:2} 默認(rèn)上下文為 256K若服務(wù)器啟動(dòng)失敗可先把--context-length/--max-model-len降到32768再逐步調(diào)高。 256K 超長上下文如何擴(kuò)展到 1M tokens官方已用 YaRN 方法驗(yàn)證了 100 萬 token 上下文下的效果RULER 1M 基準(zhǔn)平均分 91.8384K 處仍保持 86.9。兩種啟用方式方式一修改 config.json 增加字段rope_scaling: { rope_type: yarn, factor: 4.0, original_max_position_embeddings: 262144 }方式二啟動(dòng)時(shí)傳參vLLM 示例VLLM_ALLOW_LONG_MAX_MODEL_LEN1 vllm serve ... \ --rope-scaling {rope_type:yarn,factor:4.0,original_max_position_embeddings:262144} \ --max-model-len 1010000 靜態(tài) YaRN 的縮放因子恒定可能對短文本性能有輕微影響僅在確需長上下文時(shí)再添加rope_scaling配置。若業(yè)務(wù)典型長度為 524K建議把factor調(diào)為 2.0。?? 最佳實(shí)踐推薦采樣參數(shù)與輸出長度官方推薦的生成參數(shù)已內(nèi)置于 generation_config.json手動(dòng)設(shè)置時(shí)建議保持一致采樣參數(shù)Temperature0.7、TopP0.8、TopK20、MinP0可用presence_penalty0~2抑制重復(fù)但過高可能導(dǎo)致語言混雜輸出長度多數(shù)問題預(yù)留16,384 tokens輸出即可Agent 場景模型工具調(diào)用能力突出可結(jié)合 Qwen-Agent 框架通過 MCP 配置文件接入自定義工具評測規(guī)范數(shù)學(xué)題在 prompt 中加入 put your final answer within \boxed{}選擇題要求以answer: C的 JSON 格式輸出選項(xiàng)。? 常見問題 FAQQ1加載時(shí)報(bào)KeyError: qwen3_nexttransformers版本過舊升級到主分支最新開發(fā)版即可解決。Q2服務(wù)器啟動(dòng)失敗、顯存不足先把上下文長度從 262144 降到 32768確認(rèn)能啟動(dòng)后再按需調(diào)高多卡時(shí)確保--tp-size與 GPU 數(shù)量匹配。Q3為什么不輸出 思考內(nèi)容Instruct 版僅支持非思考模式這是設(shè)計(jì)如此可獲得更快的首 token 響應(yīng)。Q4MTP 能用在 transformers 里嗎目前暫不支持需通過 SGLang / vLLM 的推測解碼參數(shù)啟用。Qwen3-Next-80B-A3B-Instruct 用混合注意力 高稀疏 MoE MTP 的組合展示了小激活、大容量、長上下文的下一代大模型路線。無論是本地實(shí)驗(yàn)還是生產(chǎn)部署從上面的快速上手到一鍵啟動(dòng)命令你都已經(jīng)具備了把它跑起來的完整知識。贊分享【免費(fèi)下載鏈接】Qwen3-Next-80B-A3B-Instruct項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Qwen3-Next-80B-A3B-FP8混合架構(gòu)重塑大模型效率邊界Qwen3 Next 80B A3B FP8混合架構(gòu)重塑大模型效率邊界 導(dǎo)語 阿里達(dá)摩院推出的Qwen3 Next 80B A3B FP8大模型通過融合混合大模型人工智能深度學(xué)習(xí)Rover UI界面詳解交互式基礎(chǔ)設(shè)施圖譜的使用技巧Rover UI界面詳解交互式基礎(chǔ)設(shè)施圖譜的使用技巧 Rover是一款功能強(qiáng)大的Terraform可視化工具它通過交互式圖譜幫助用戶直觀地理解和管理基礎(chǔ)設(shè)施開發(fā)工具運(yùn)維CANN Ascend C批量張量C獲取APIGetBatchTensorCa nameZH CN_TOPIC_0000002061229326 /a 產(chǎn)品支持情況a namesection人工智能深度學(xué)習(xí)高性能計(jì)算CANN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考