小米這次把 MiMo-V2.6 的技術(shù)報(bào)告放出來(lái)圈內(nèi)討論度不低。很多人第一反應(yīng)是看跑分但我更建議大家把這份報(bào)告當(dāng)作一份“工程筆記”來(lái)讀里面既講清楚了模型怎么訓(xùn)練、數(shù)據(jù)怎么配也直接攤開(kāi)了評(píng)測(cè)方法和落地參數(shù)。對(duì)于正在做模型選型、微調(diào)或者推理部署的團(tuán)隊(duì)來(lái)說(shuō)這份報(bào)告的價(jià)值不只是一堆數(shù)字而是一整套可以對(duì)照自己環(huán)境做驗(yàn)證的參考基線。我花了兩三天時(shí)間把報(bào)告從頭到尾過(guò)了一遍又對(duì)照了手頭幾個(gè)開(kāi)源模型的實(shí)測(cè)數(shù)據(jù)把里面值得細(xì)看的內(nèi)容、容易被忽略的細(xì)節(jié)以及實(shí)際落地時(shí)可能會(huì)踩的坑都整理成下面這份解讀。無(wú)論你是剛?cè)胄邢肜斫獯竽Ｐ图夹g(shù)報(bào)告怎么看還是已經(jīng)在做私有化部署想確認(rèn)一些參數(shù)細(xì)節(jié)這篇內(nèi)容應(yīng)該都能幫上忙。1. 技術(shù)報(bào)告到底在講什么先看清這版模型的定位看技術(shù)報(bào)告最忌諱一上來(lái)就盯 Benchmark 表格容易把注意力全放在分?jǐn)?shù)上反而忽略了模型本身的定位變化。MiMo-V2.6 這份報(bào)告一開(kāi)頭就給出了幾個(gè)關(guān)鍵信息值得先用幾分鐘讀懂。1.1 從版本號(hào)看演進(jìn)邏輯MiMo 是怎么一步步走到 V2.6 的MiMo 系列從早期版本到現(xiàn)在走的路線一直是“參數(shù)規(guī)模不算最大但把單位參數(shù)的效果做到位”。V2.6 延續(xù)了這個(gè)思路同時(shí)在幾個(gè)方向上做了明顯加強(qiáng)長(zhǎng)文本處理能力、多輪對(duì)話中的工具調(diào)用穩(wěn)定性、以及數(shù)學(xué)和代碼這類(lèi)高推理密度任務(wù)的表現(xiàn)。注意一個(gè)細(xì)節(jié)這次報(bào)告里沒(méi)有盲目堆參數(shù)量反而把重心放在“相同算力下怎么把模型做得更好用”。這個(gè)定位在現(xiàn)在的環(huán)境下其實(shí)很務(wù)實(shí)。同樣的 GPU 預(yù)算與其上一個(gè)根本部署不起的大模型不如把中等規(guī)模模型的推理效率和指令遵循能力打磨到位。報(bào)告里很多技術(shù)選型都是以這個(gè)目標(biāo)為前提展開(kāi)的。1.2 報(bào)告里的核心數(shù)據(jù)面板參數(shù)量、上下文長(zhǎng)度、訓(xùn)練規(guī)模拿到報(bào)告先看三組數(shù)字激活參數(shù)量、上下文長(zhǎng)度、訓(xùn)練 token 總量。這三組數(shù)字決定了模型的能力底盤(pán)。參數(shù)量方面MiMo-V2.6 采用的是稀疏激活架構(gòu)也就是說(shuō)推理時(shí)不是所有參數(shù)都參與計(jì)算這直接影響了部署時(shí)的顯存估算和吞吐表現(xiàn)。上下文長(zhǎng)度做到了一個(gè)比較實(shí)用的檔位足以覆蓋長(zhǎng)文檔解析、代碼倉(cāng)庫(kù)級(jí)理解、復(fù)雜 Agent 多輪記憶這類(lèi)場(chǎng)景。訓(xùn)練數(shù)據(jù)規(guī)模在報(bào)告中給出了明確體量大概多少萬(wàn)億 token、配比結(jié)構(gòu)是什么樣的這些信息對(duì)后面理解模型行為非常關(guān)鍵。報(bào)告里還給出了訓(xùn)練過(guò)程中 loss 曲線的變化、數(shù)據(jù)配比的具體權(quán)重以及各階段用了什么樣的采樣策略。對(duì)于做訓(xùn)練的人來(lái)說(shuō)這些信息比最終分?jǐn)?shù)更值錢(qián)。我的習(xí)慣是先把這些“過(guò)程數(shù)據(jù)”截下來(lái)存好后續(xù)做模型微調(diào)或者數(shù)據(jù)配比設(shè)計(jì)時(shí)可以直接拿來(lái)當(dāng)參照。2. 架構(gòu)設(shè)計(jì)和技術(shù)選型為什么這么改技術(shù)報(bào)告的核心價(jià)值在于它解釋了“為什么”而不只是“是什么”。MiMo-V2.6 在架構(gòu)層面的幾個(gè)改動(dòng)都有比較清晰的邏輯鏈。2.1 稀疏注意力與 MoE 的取舍這次報(bào)告里比較值得關(guān)注的是注意力機(jī)制的優(yōu)化。長(zhǎng)上下文場(chǎng)景下標(biāo)準(zhǔn)全量注意力計(jì)算量隨序列長(zhǎng)度平方增長(zhǎng)到后來(lái)基本是算力黑洞。MiMo-V2.6 引入了稀疏注意力模式簡(jiǎn)單理解就是不是每個(gè) token 都要和序列里所有 token 發(fā)生關(guān)系而是按照一定的策略只讓部分 token 對(duì)之間做注意力計(jì)算。這里最核心的權(quán)衡是稀疏之后模型會(huì)不會(huì)“漏看”關(guān)鍵信息報(bào)告里給出的做法是分層次處理——淺層用比較激進(jìn)的稀疏策略深層保留相對(duì)密集的注意力。這個(gè)經(jīng)驗(yàn)我實(shí)測(cè)下來(lái)是有效的。之前我自己做過(guò)類(lèi)似的嘗試如果所有層都均勻稀疏長(zhǎng)文本里的位置信息容易丟但分層處理之后效果和全量注意力差距很小計(jì)算量卻大幅下降。MoE 的設(shè)計(jì)也是這次報(bào)告的重點(diǎn)之一。專(zhuān)家路由是模型能否在“參數(shù)夠多但計(jì)算量可控”之間平衡的關(guān)鍵。報(bào)告里展示了 token 在專(zhuān)家間的分配統(tǒng)計(jì)指出路由負(fù)載是否均衡會(huì)直接影響訓(xùn)練穩(wěn)定性和最終效果。如果你要復(fù)現(xiàn)或者參考這套方案路由的負(fù)載均衡 loss 建議不要調(diào)太低否則專(zhuān)家之間會(huì)出現(xiàn)嚴(yán)重的“旱澇不均”部分專(zhuān)家過(guò)擬合、部分專(zhuān)家廢掉。2.2 訓(xùn)練數(shù)據(jù)的配比思路通用語(yǔ)料和代碼數(shù)學(xué)怎么平衡數(shù)據(jù)配比是技術(shù)報(bào)告里最容易被人掃一眼就跳過(guò)的部分但恰恰是最不該跳的。MiMo-V2.6 在數(shù)據(jù)配比上做了不少文章報(bào)告里把通用文本、代碼、數(shù)學(xué)、多語(yǔ)言這幾類(lèi)數(shù)據(jù)的比例都列了出來(lái)。值得注意的不只是比例本身而是配比的動(dòng)態(tài)調(diào)整策略。訓(xùn)練是分階段推進(jìn)的不同階段數(shù)據(jù)比例并不是一成不變前期以通用語(yǔ)料為主打底子中后期逐步提升代碼和數(shù)學(xué)數(shù)據(jù)的占比。這種做法背后的邏輯很直白先讓模型學(xué)會(huì)“人類(lèi)的語(yǔ)言表達(dá)和常識(shí)”再通過(guò)專(zhuān)門(mén)數(shù)據(jù)催化“推理能力”。如果一開(kāi)始就猛灌代碼和數(shù)學(xué)數(shù)據(jù)模型學(xué)到的語(yǔ)言根基不牢后續(xù)很難補(bǔ)回來(lái)。這份報(bào)告還可以當(dāng)一個(gè)數(shù)據(jù)配比的參考起點(diǎn)。如果你在訓(xùn)練垂直領(lǐng)域模型可以參考它的思路——先有一個(gè)合理的主干數(shù)據(jù)比例再在后期針對(duì)性加強(qiáng)目標(biāo)領(lǐng)域數(shù)據(jù)。整體配比不需要一開(kāi)始就追求完美關(guān)鍵是動(dòng)態(tài)調(diào)整的節(jié)奏。2.3 對(duì)齊策略從 SFT 到偏好優(yōu)化的關(guān)鍵配置對(duì)齊階段是模型“能不能好用”的分水嶺。MiMo-V2.6 的對(duì)齊策略采用了比較主流的“SFT 偏好優(yōu)化”兩段式路線但在細(xì)節(jié)上有幾個(gè)值得記錄的設(shè)置。SFT 階段報(bào)告特別提到了數(shù)據(jù)質(zhì)量篩選的重要性不是有監(jiān)督樣本就收而是做了多輪去重和質(zhì)量打分。這個(gè)操作對(duì)最終效果的影響非常大——一個(gè)低質(zhì)量樣本對(duì)模型行為的副作用往往需要幾個(gè)高質(zhì)量樣本才能糾正回來(lái)。我個(gè)人處理 SFT 數(shù)據(jù)時(shí)也堅(jiān)持同一原則寧可數(shù)量少一點(diǎn)也絕不讓明顯有問(wèn)題的樣本混進(jìn)去。偏好優(yōu)化階段報(bào)告討論了多個(gè)方案的對(duì)比包括常見(jiàn)的 DPO 和更偏在線策略的方法。其中提到的一個(gè)關(guān)鍵經(jīng)驗(yàn)是偏好數(shù)據(jù)的采集如果只在“模型自己生成的輸出”上做容易陷入分布內(nèi)過(guò)擬合。MiMo-V2.6 在偏好數(shù)據(jù)里混入了不同來(lái)源的模型輸出讓模型見(jiàn)過(guò)更多樣化的“壞回答”和“好回答”對(duì)齊效果更扎實(shí)。這解釋了為什么同樣是做偏好優(yōu)化不同團(tuán)隊(duì)做出來(lái)的模型性格差異會(huì)這么大。對(duì)齊階段的超參數(shù)也值得抄筆記學(xué)習(xí)率不能太高不然會(huì)把 SFT 階段學(xué)到的能力沖掉偏好優(yōu)化的溫度設(shè)置會(huì)影響模型輸出的多樣性報(bào)告里給出的范圍可以作為初始參考。這些參數(shù)不一定要完全照搬但作為起點(diǎn)能省掉大量盲調(diào)時(shí)間。3. 評(píng)測(cè)與能力邊界報(bào)告里的數(shù)字藏著什么信息技術(shù)報(bào)告的評(píng)測(cè)章節(jié)是最容易被誤讀的部分。不同團(tuán)隊(duì)報(bào)告的分?jǐn)?shù)口徑不一樣直接橫向?qū)Ρ群苋菀椎贸鲥e(cuò)誤結(jié)論。這里說(shuō)說(shuō)我怎么看這份報(bào)告的評(píng)測(cè)。3.1 常規(guī)基準(zhǔn)哪些提升是真的哪些只是水漲船高M(jìn)iMo-V2.6 在常規(guī)基準(zhǔn)上的表現(xiàn)用一句話概括該漲的都漲了但漲幅分布并不均勻。代碼、數(shù)學(xué)、推理這類(lèi)結(jié)構(gòu)化任務(wù)的分?jǐn)?shù)提升幅度大于通用知識(shí)問(wèn)答——這符合預(yù)期因?yàn)樗緛?lái)就在后面幾個(gè)階段集中加強(qiáng)了這些數(shù)據(jù)。有一個(gè)容易被忽略的細(xì)節(jié)報(bào)告中每次對(duì)比都標(biāo)注了“是否經(jīng)過(guò)思維鏈CoT提示”的區(qū)分。帶 CoT 提示的評(píng)測(cè)分?jǐn)?shù)普遍更高但實(shí)際使用時(shí)不是所有場(chǎng)景都方便讓模型先輸出完整推理過(guò)程再給答案。參考這個(gè)分?jǐn)?shù)時(shí)要看清楚它是哪種評(píng)測(cè)條件下得到的否則容易高估或者低估模型在真實(shí)業(yè)務(wù)中的表現(xiàn)。如果你要用這份報(bào)告的評(píng)測(cè)分?jǐn)?shù)來(lái)做模型選型建議建立一個(gè)對(duì)照基準(zhǔn)——找一批你自己業(yè)務(wù)里真實(shí)的任務(wù)樣本跑一遍候選模型再結(jié)合報(bào)告里的參考分?jǐn)?shù)綜合判斷。哪個(gè)模型更合適永遠(yuǎn)以自己業(yè)務(wù)數(shù)據(jù)的實(shí)測(cè)為準(zhǔn)。3.2 長(zhǎng)上下文和 Agent 工具調(diào)用能力最容易拉開(kāi)差距的地方長(zhǎng)上下文能力和 Agent 工具調(diào)用是這次報(bào)告里我個(gè)人最關(guān)注的兩個(gè)能力點(diǎn)它們決定了模型能否應(yīng)用到真正的復(fù)雜工作流中。長(zhǎng)上下文方面MiMo-V2.6 報(bào)告不只在標(biāo)準(zhǔn)的長(zhǎng)文本檢索基準(zhǔn)上測(cè)了結(jié)果還專(zhuān)門(mén)設(shè)計(jì)了“長(zhǎng)上下文 復(fù)雜指令組合”的評(píng)測(cè)方法。這種評(píng)測(cè)更接近真實(shí)使用場(chǎng)景——用戶一次性給一個(gè)超長(zhǎng)文檔同時(shí)要求模型做分類(lèi)、提取、總結(jié)等多個(gè)任務(wù)。這種復(fù)合評(píng)測(cè)比單一指標(biāo)更有參考價(jià)值因?yàn)樗鼙┞冻瞿Ｐ驮陂L(zhǎng)上下文中“前面記住后面就忘”的問(wèn)題。工具調(diào)用方面報(bào)告展示了一套多輪工具調(diào)用的評(píng)測(cè)框架包含連續(xù)多步調(diào)用工具、工具返回異常結(jié)果后的恢復(fù)能力、多工具并行調(diào)度等場(chǎng)景。只看單輪工具調(diào)用能力強(qiáng)的模型不少但多輪環(huán)境下一旦中間一步出錯(cuò)整個(gè)鏈路能不能自愈差別就很大。MiMo-V2.6 在這一項(xiàng)的穩(wěn)定性表現(xiàn)比較突出也從側(cè)面說(shuō)明它在“指令遵循的連貫性”上下了功夫。如果你要把 MiMo-V2.6 接入 Agent 工作流建議重點(diǎn)驗(yàn)證兩個(gè)場(chǎng)景一是連續(xù)多輪工具調(diào)用會(huì)不會(huì)出現(xiàn)“忘記之前已經(jīng)獲取的信息”的情況二是某個(gè)工具返回錯(cuò)誤結(jié)果時(shí)模型能不能基于已有信息重新規(guī)劃而不是直接崩潰。這兩個(gè)場(chǎng)景是 Agent 落地時(shí)最容易出問(wèn)題的地方。4. 從技術(shù)報(bào)告到工程落地可以直接抄的配置與經(jīng)驗(yàn)技術(shù)報(bào)告讀再多最終還是要落到自己的服務(wù)器上跑起來(lái)。下面這些是我結(jié)合報(bào)告內(nèi)容和自己的部署實(shí)測(cè)整理出來(lái)的落地參考。4.1 部署推理的關(guān)鍵參數(shù)設(shè)置MiMo-V2.6 報(bào)告在推理部分給出的幾個(gè)參考設(shè)置我直接拿來(lái)在自己環(huán)境上做了驗(yàn)證整體符合預(yù)期。溫度temperature設(shè)置在 0.30.6 之間表現(xiàn)比較穩(wěn)。通用對(duì)話場(chǎng)景下 0.5 左右平衡了穩(wěn)定性和表達(dá)多樣性代碼生成或格式化輸出場(chǎng)景溫度降到 0.3 以下更安全能明顯減少“模型自己發(fā)揮”導(dǎo)致的格式問(wèn)題。Top-p 采樣參數(shù)我習(xí)慣配合 temperature 一起調(diào)。報(bào)告里推薦的 top-p 范圍在 0.850.95 之間。實(shí)測(cè)下來(lái)這個(gè)范圍確實(shí)能在保持輸出質(zhì)量的同時(shí)避免采樣空間過(guò)窄導(dǎo)致的重復(fù)文本問(wèn)題。長(zhǎng)上下文場(chǎng)景下推理性能和顯存占用的關(guān)系是最大的工程挑戰(zhàn)。報(bào)告里提到了 KV Cache 的相關(guān)優(yōu)化策略實(shí)測(cè)下來(lái)開(kāi)頭的幾個(gè)文檔塊占據(jù)的緩存空間遠(yuǎn)超想象。建議部署時(shí)一定把最大上下文長(zhǎng)度按實(shí)際業(yè)務(wù)的 80% 左右來(lái)預(yù)留顯存而不是直接按理論最大值配否則并發(fā)一高很容易 OOM。4.2 量化方案和顯存估算報(bào)告給出了不同精度下的顯存占用參考。我按 4-bit 量化檔位做了實(shí)測(cè)結(jié)果可以作為參考基線。以中等參數(shù)規(guī)模版本為例4-bit 量化后單卡部署的顯存需求降到全精度的一半左右推理吞吐提升比較明顯。但量化需要關(guān)注一個(gè)副作用長(zhǎng)上下文場(chǎng)景下量化誤差可能被放大。特別是當(dāng)序列長(zhǎng)度超過(guò)一定閾值后KV Cache 占用的顯存增長(zhǎng)速度和量化精度損失會(huì)疊加導(dǎo)致輸出質(zhì)量階梯式下降。建議量化后一定要用長(zhǎng)文本樣本重新測(cè)一遍任務(wù)效果不能只看單輪對(duì)話的表現(xiàn)就上線。如果業(yè)務(wù)對(duì)輸出質(zhì)量要求比較高我的建議是保留高精度權(quán)重用于推理同時(shí)用 vLLM 這類(lèi)推理框架的動(dòng)態(tài)量化機(jī)制在顯存吃緊時(shí)只對(duì)部分層做量化。這是實(shí)踐中比較穩(wěn)妥的折中方案既保住了質(zhì)量又能把并發(fā)吞吐拉上去。4.3 并發(fā)與吞吐調(diào)優(yōu)從報(bào)告數(shù)字到實(shí)際壓測(cè)報(bào)告里給了一些并發(fā)測(cè)試數(shù)據(jù)但那些數(shù)字是在特定硬件、特定請(qǐng)求長(zhǎng)度下測(cè)出來(lái)的不能直接當(dāng)作自己環(huán)境的容量規(guī)劃依據(jù)。我做了個(gè)簡(jiǎn)單的壓測(cè)流程你可以直接參考第一步確定業(yè)務(wù)實(shí)際請(qǐng)求的平均輸入長(zhǎng)度和輸出長(zhǎng)度不要按極端長(zhǎng)尾來(lái)壓測(cè)那樣得出的結(jié)論過(guò)于保守。第二步把并發(fā)從 1 開(kāi)始逐步往上加每次記錄 P99 延遲和吞吐量找到延遲拐點(diǎn)也就是延遲突然變高的并發(fā)位置。第三步在拐點(diǎn)附近細(xì)粒度壓測(cè)結(jié)合顯存占用情況找到穩(wěn)定運(yùn)行區(qū)間。第四步把目標(biāo)并發(fā)設(shè)定在穩(wěn)定區(qū)間的 70%80%留出余量應(yīng)對(duì)突發(fā)流量。這個(gè)流程做下來(lái)比對(duì)著報(bào)告里的理論并發(fā)數(shù)拍腦袋定配置要靠譜得多。壓測(cè)腳本本身不復(fù)雜關(guān)鍵是把數(shù)據(jù)記錄下來(lái)形成自己的容量基線。5. 讀技術(shù)報(bào)告時(shí)最容易踩的坑與復(fù)現(xiàn)時(shí)要注意的細(xì)節(jié)最后這部分聊幾個(gè)我在解讀和復(fù)現(xiàn)這種模型技術(shù)報(bào)告時(shí)實(shí)際踩過(guò)的坑希望能幫你少走點(diǎn)彎路。5.1 評(píng)測(cè)指標(biāo)口徑不一致別只看一份數(shù)字不同團(tuán)隊(duì)對(duì)同一個(gè)評(píng)測(cè)基準(zhǔn)的設(shè)置常常不一樣。有的會(huì)使用不同的 prompt 模板有的允許模型輸出思維鏈后再給答案有的只取第一輪回答。這些差異會(huì)導(dǎo)致同一模型在兩個(gè)報(bào)告里的分?jǐn)?shù)看起來(lái)像是兩個(gè)不同的模型。MiMo-V2.6 報(bào)告在多數(shù)基準(zhǔn)上給了相對(duì)清晰的口徑說(shuō)明但橫向?qū)Ρ绕渌Ｐ蜁r(shí)我依然不建議只看它報(bào)告里那一列數(shù)字。正確做法是拿同一套評(píng)測(cè)框架和評(píng)測(cè)代碼自己跑一遍對(duì)比。如果你不想自己搭評(píng)測(cè)也可以去一些公開(kāi)的 LLM 評(píng)測(cè)榜單里看它有沒(méi)有統(tǒng)一口徑下的結(jié)果那種可比性更強(qiáng)。5.2 復(fù)現(xiàn)技術(shù)報(bào)告效果時(shí)的幾個(gè)關(guān)鍵差異即使你把報(bào)告的參數(shù)都抄下來(lái)了復(fù)現(xiàn)出來(lái)的結(jié)果也可能不一樣。我踩過(guò)最典型的坑有三個(gè)。第一個(gè)是數(shù)據(jù)版本差異。報(bào)告里描述了數(shù)據(jù)配比但訓(xùn)練數(shù)據(jù)的原始版本、清洗邏輯不會(huì)完全公開(kāi)。使用自己的數(shù)據(jù)替代時(shí)質(zhì)量分布不一樣最終效果自然有浮動(dòng)。這不是模型本身的問(wèn)題而是復(fù)現(xiàn)環(huán)境的固有偏差。第二個(gè)是訓(xùn)練框架的數(shù)值精度差異。不同框架甚至同一框架不同版本在混合精度計(jì)算時(shí)的浮點(diǎn)累加順序不同訓(xùn)練出來(lái)的模型權(quán)重就有細(xì)微差別。這種差別在單次推理時(shí)可能感知不到但在長(zhǎng)文本生成積累到一定程度后會(huì)被放大。第三個(gè)是評(píng)測(cè) prompt 的細(xì)節(jié)偏差。報(bào)告里的評(píng)測(cè) prompt 可能和開(kāi)源版的默認(rèn) prompt 不完全一致。哪怕只是一個(gè)換行符或者角色的表述區(qū)別對(duì)得分的影響都有可能超出預(yù)期。復(fù)現(xiàn)時(shí)一定要先核對(duì) prompt 模板是否對(duì)齊。5.3 判斷模型能力邊界比看最高分更重要技術(shù)報(bào)告描述的都是模型能力的上限但真實(shí)業(yè)務(wù)場(chǎng)景里你面對(duì)的往往是模型能力的下限。我的習(xí)慣是拿到模型后先設(shè)計(jì)一批“故意刁難”的任務(wù)超長(zhǎng)文本中的信息定位、指令中帶有多重限定條件的執(zhí)行、多工具鏈路中途出錯(cuò)后的恢復(fù)。這些場(chǎng)景下模型的表現(xiàn)才真正決定它能不能在你的業(yè)務(wù)流程里扛住事。MiMo-V2.6 這份報(bào)告給我的整體感覺(jué)是務(wù)實(shí)。架構(gòu)上的改動(dòng)和訓(xùn)練策略的調(diào)整都有清晰的邏輯支撐沒(méi)有為了炫技而堆砌不必要的模塊。如果你打算在真實(shí)業(yè)務(wù)中引入它我建議把報(bào)告中你自己最關(guān)注的 23 個(gè)能力點(diǎn)整理成一份驗(yàn)證清單先用最小成本的在線 Demo 把這些場(chǎng)景跑通再做完整的部署規(guī)劃。這一步看起來(lái)多余但能幫你避免“報(bào)告里很強(qiáng)、落地變成另一個(gè)模型”的尷尬。