【免費下載鏈接】Ministral-3-14B-Base-2512-6bit項目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ministral-3-14B-Base-2512-6bit點擊查看免費下載Ministral-3-14B-Base-2512-6bit 是 mlx-community 提供的 MLX 格式視覺語言基礎(chǔ)模型語言主干經(jīng) 6-bit 量化支持 262K262144 tokens超長上下文。它的長上下文魔法全部來自一套YaRN 位置編碼配置只需在 config.json 中查看十幾行參數(shù)就能看懂 16K 上下文是如何被 16 倍擴展到 262K 的。本文將帶你逐一拆解這些參數(shù)無需數(shù)學(xué)背景也能讀懂。一、模型速覽Ministral-3-14B-Base-2512-6bit 是什么先花 30 秒了解主角。根據(jù) README.md 的說明類型視覺語言模型vision-language文本主干 視覺編碼器支持圖文理解定位Base 預(yù)訓(xùn)練版不是指令微調(diào)版適合自定義后訓(xùn)練/微調(diào)量化語言層 6-bit affine 量化group_size64視覺塔保持 bf16 全精度體積落盤約 12.68GB由 3 個分片組成如 model-00001-of-00003.safetensors架構(gòu)40 層、hidden_size 5120、32 個注意力頭KV 頭僅 8 個GQA 結(jié)構(gòu) 注意區(qū)分想做聊天/指令跟隨應(yīng)選 Instruct 變體這個 Base 版本輸出的是裸補全行為。二、一分鐘定位 YaRN 參數(shù)在 config.json 里找什么超長上下文的秘密不在權(quán)重文件里而在配置文件里。打開 config.json重點看text_config下的兩處第 36 行上下文上限max_position_embeddings: 262144第 42–53 行YaRN 位置編碼參數(shù)rope_parametersrope_parameters: { beta_fast: 32.0, beta_slow: 1.0, factor: 16.0, llama_4_scaling_beta: 0.1, original_max_position_embeddings: 16384, rope_theta: 1000000000.0, rope_type: yarn }另外generation_config.json 中max_length: 262144與之一致說明生成器也按 262K 上限配置。params.json 里還有另一份等價的yarn段factor16、beta32、alpha1是同一套配置的不同表述。三、6個關(guān)鍵參數(shù)逐個拆262K上下文是怎么煉成的下面用一張表把 YaRN 參數(shù)講透這是全文核心參數(shù)取值通俗理解original_max_position_embeddings16384模型原生訓(xùn)練的上下文長度16K tokensfactor16擴展倍數(shù)16K × 16 262K煉成的關(guān)鍵rope_typeyarn位置編碼采用 YaRN長上下文外推方案而非原生 RoPErope_theta1000000000.0RoPE 基頻10 億比常見的 10000 大 10 萬倍讓位置信號在長序列中轉(zhuǎn)得更慢不容易混淆beta_fast/beta_slow32 / 1YaRN 的 NTK 插值邊界高頻維度按 32 倍插值、低頻維度按 1 倍中間平滑過渡llama_4_scaling_beta0.1附加的位置縮放系數(shù)進一步修正超長位置的注意力分布為什么是 16 倍而不是直接改數(shù)字原生 RoPE 只見過 16384 以內(nèi)的位置直接把max_position_embeddings改成 262144 會導(dǎo)致模型對沒見過的位置編號完全懵。YaRN 的思路是對旋轉(zhuǎn)角度做插值重標(biāo)定高頻維度對位置敏感、轉(zhuǎn)得快按beta_fast32的比例壓縮角度變化避免外推時震蕩低頻維度轉(zhuǎn)得慢、本來就穩(wěn)定按beta_slow1幾乎不動超大的rope_theta10 億再整體放緩旋轉(zhuǎn)給 262K 長度留出余量。三者疊加模型在 16K 到 262K 的位置區(qū)間內(nèi)都能輸出平滑、可區(qū)分的位置信號——這就是262K 超長上下文煉成的完整配方。視覺塔用的是另一套默認(rèn)RoPE順帶一提config.json 中vision_config的rope_theta只有 10000rope_type為default——圖像 patch 序列短沒必要用 YaRN。YaRN 只加在文本主干上。四、快速上手最快運行方式倉庫已準(zhǔn)備好用 mlx-vlm 即可加載。按 README.md 的操作pip install -U mlx-vlm python -m mlx_vlm.generate --model mlx-community/Ministral-3-14B-Base-2512-6bit --max-tokens 100 --temperature 0.0 --prompt ...純文本輸入可省略--image參數(shù)YaRN 配置會自動生效無需額外設(shè)置。五、總結(jié)262K 超長上下文不是玄學(xué)就藏在 config.json 的rope_parameters里核心公式16384原生× 16factor 262144 tokensYaRN 通過beta_fast32/beta_slow1的頻率插值 rope_theta1e9的大基頻把位置編碼平滑拉長該模型 6-bit 量化、視覺塔全精度12.68GB 即可本地跑起來理解這套參數(shù)后你在任何 Hugging Face 模型卡片里看到rope_type: yarn都能 30 秒內(nèi)算出它的真實上下文上限。贊分享【免費下載鏈接】Ministral-3-14B-Base-2512-6bit項目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ministral-3-14B-Base-2512-6bit點擊查看免費下載相關(guān)推薦如何解鎖 262K 超長上下文Ministral-3-14B-Base-2512-8bit 的 YaRN 外推技術(shù)與 RoPE 配置詳解如何解鎖 262K 超長上下文Ministral 3 14B Base 2512 8bit 的 YaRN 外推技術(shù)與 RoPE 配置詳解 Ministral揭秘262K超長上下文Ministral-3-14B-Base-2512-bf16的YARN外推與GQA注意力實現(xiàn)原理揭秘262K超長上下文Ministral 3 14B Base 2512 bf16的YARN外推與GQA注意力實現(xiàn)原理 Ministral 3 14B Bas256K長上下文如何做到Ministral-3-3B-Base-2512-6bit的YaRN縮放與Pixtral視覺架構(gòu)深度解析256K長上下文如何做到Ministral 3 3B Base 2512 6bit的YaRN縮放與Pixtral視覺架構(gòu)深度解析 Ministral 3 3B上一篇kohya_ss跨平臺AI繪畫模型訓(xùn)練框架的技術(shù)架構(gòu)革新與實戰(zhàn)指南下一篇探索Aerich一款現(xiàn)代化的數(shù)據(jù)遷移工具創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考