很多人聊大模型架構(gòu)的時候總喜歡從Transformer開始鋪開但真正把架構(gòu)演進講透的恰恰要看國內(nèi)開源模型這幾年的實操路線。我自己的感受是2024年初那會兒大家還在卷榜單到了年底風(fēng)向就變了變成卷單次推理成本、卷訓(xùn)練效率、卷上下文長度。而貫穿這條線最典型、也最值得拆解的樣本非DeepSeek系列莫屬。這個東西是什么簡單說DeepSeek系列是一套從通用大模型底座到推理增強模型的開源體系覆蓋了Dense模型、MoE模型、純強化學(xué)習(xí)推理模型以及蒸餾小模型。它能解決什么問題往大了說是“用更低的算力門檻跑出可用的模型效果”往小了說是“給研究者和業(yè)務(wù)方一套能直接用、能二次開發(fā)的權(quán)重和架構(gòu)參考”。適合誰看如果你在選開源底座、準備做長上下文應(yīng)用、想搞清楚MLA和DeepSeekMoE到底怎么省顯存或者單純想了解國內(nèi)開源模型這幾代架構(gòu)是怎么一步步走到今天的這篇梳理應(yīng)該對你有用。1. 起點為什么開源大模型的架構(gòu)史繞不開DeepSeek系列先說個背景。早期國內(nèi)開源模型的做法多數(shù)是沿著公開論文的路線把已有結(jié)構(gòu)復(fù)現(xiàn)一遍加上更大數(shù)據(jù)量、更多訓(xùn)練步驟效果是有的但架構(gòu)維度的原創(chuàng)貢獻不多。DeepSeek系列打破這個局面的方式不是靠一次性堆出多大的參數(shù)而是連續(xù)幾代都在關(guān)鍵結(jié)構(gòu)上做了“減法”和“針對性加法”尤其是2024年之后幾乎每代版本都會在某個工程環(huán)節(jié)上給出可驗證的改進這就讓它的演變史天然具備很高的學(xué)習(xí)價值。1.1 從“能用”到“好用”DeepSeek版圖的三個階段我把這一整個系列大致分三個階段來看。第一階段是早期Dense基線階段。這個階段的模型結(jié)構(gòu)本身沒有太多反常規(guī)設(shè)計主要價值在于驗證了團隊的數(shù)據(jù)配方和訓(xùn)練穩(wěn)定性讓后續(xù)做架構(gòu)改動時有一個靠譜的對照基線。如果你去翻那個時期的開源信息會發(fā)現(xiàn)模型的發(fā)布節(jié)奏、推理部署的友好程度、開放的協(xié)議范圍已經(jīng)比同期很多項目要規(guī)范這為后來開發(fā)者愿意跟進打下了基礎(chǔ)。第二階段是MoE與注意力重構(gòu)階段。這里出現(xiàn)了兩個關(guān)鍵的架構(gòu)創(chuàng)新一個是把KV Cache壓縮進低秩潛空間的MLA另一個是細粒度專家加共享專家的DeepSeekMoE。這兩個結(jié)構(gòu)同時上線直接改變了同等參數(shù)規(guī)模下推理速度和顯存占用之間的權(quán)衡關(guān)系。你可以理解為同樣一個模型別人推理時要帶全量的長上下文記憶它只用帶一小包壓縮后的記憶推理效率和成本自然就拉開了。第三階段是推理增強與RL路線階段。模型從“會生成”進化到“會先想后答”。這一階段的重心不在底座結(jié)構(gòu)而在訓(xùn)練范式。R1系列把強化學(xué)習(xí)直接應(yīng)用到基礎(chǔ)模型上甚至嘗試了完全去掉監(jiān)督微調(diào)、只靠規(guī)則獎勵驅(qū)動推理能力涌現(xiàn)的極端路線。這部分和之前架構(gòu)改進疊加起來形成了完整的能力閉環(huán)。1.2 先建立整體坐標關(guān)鍵版本與架構(gòu)節(jié)點速覽在深入逐層拆解前我習(xí)慣先拉一張時間線幫助大家把每個版本對應(yīng)到具體的架構(gòu)變化上。下面這張表匯總了幾個關(guān)鍵節(jié)點后面每個小節(jié)都會圍繞表格里的具體改動展開。階段核心模型版本總參數(shù)量激活參數(shù)量注意力結(jié)構(gòu)前饋網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練/推理亮點早期基線DeepSeek 67B67B67B標準MHADense開源權(quán)重、穩(wěn)定訓(xùn)練基線架構(gòu)突破DeepSeek-V2236B21BMLADeepSeekMoE推理速度提升、訓(xùn)練成本下降規(guī)模與效能DeepSeek-V3671B37BMLADeepSeekMoE升級版FP8訓(xùn)練、無輔助損失負載均衡推理范式DeepSeek-R1系列671B推理、多個蒸餾尺寸隨版本變化MLADeepSeekMoE純強化學(xué)習(xí)路線、蒸餾小模型持續(xù)演進V3.1/V3.2系列等保持/擴大隨版本變化MLA持續(xù)優(yōu)化MoE微調(diào)MTP集成、多模態(tài)擴展、開放協(xié)議調(diào)整這張表的信息密度已經(jīng)不小了但真正有意思的是每一個格子里藏著的“為什么”。下面我拆開講。2. 第一把刀MLA如何重構(gòu)Attention的緩存與訓(xùn)練MLA的全稱是Multi-head Latent Attention這個名字乍一看有點學(xué)術(shù)但它的核心動機特別樸素Transformer推理的時候KV Cache太占顯存了。長上下文場景下顯存基本都被緩存吃掉了留給計算和Batch的空間越來越少導(dǎo)致單卡能服務(wù)的并發(fā)請求數(shù)量上不去。2.1 標準MHA的KV Cache瓶頸到底有多大先算一筆賬。標準多頭注意力中每個Token對應(yīng)K和V兩組向量假設(shè)隱藏層維度是5120頭數(shù)是40每個頭的維度是128那么在推理時每存一個Token的KV就要占用2乘5120個float16參數(shù)也就是約20KB。聽起來不多但如果上下文長度推到1萬Token單條請求的KV Cache就是200MB再乘上并發(fā)Batch是32就是6.4GB。這還只是一個請求批次模型本身的權(quán)重還要占一大塊顯存。我實際部署長上下文模型時最直觀的感受就是顯存不是被模型吃掉的是被Token緩存吃掉的。有人會說把精度從FP16降到INT8不就行了嗎這能緩解但緩存體積的增速問題還在序列越長緩存線性膨脹Batch一大直接爆顯存。所以要真正解決問題得從結(jié)構(gòu)上把“每個Token要存多少KV”這個基數(shù)降下來MLA做的事情就是這個。2.2 潛空間壓縮把KV投影到一個低秩空間里MLA的思路是對KV做聯(lián)合低秩壓縮。它不是把每個Token的完整K和V都存下來而是先學(xué)習(xí)一個小投影矩陣把原始的K和V壓縮到一個維度低得多的潛向量里。推理時只需要緩存這個潛向量到實際計算注意力分數(shù)的時候再通過投影矩陣恢復(fù)出對應(yīng)的K和V。這里有一個細節(jié)值得注意直接壓縮K和V之后RoPE位置編碼的注入方式會變得麻煩。RoPE是通過旋轉(zhuǎn)矩陣對K和Q作用來編碼位置的如果K已經(jīng)被壓縮成潛向量再對它做旋轉(zhuǎn)操作數(shù)學(xué)上就不等價了。MLA的解法是在壓縮后的潛空間里先不注入位置信息只針對最終恢復(fù)出的K做位置編碼相關(guān)的變化同時Q側(cè)也做相應(yīng)的配合。這樣既保住了RoPE的表現(xiàn)力又避免了對壓縮向量直接做旋轉(zhuǎn)帶來的維度不匹配問題。實際效果就是位置信息保住了但緩存量大幅下降。2.3 長上下文和并發(fā)吞吐的實際提升從實踐角度看MLA帶來的收益在長上下文場景最明顯。DeepSeek-V2發(fā)布時的測試數(shù)據(jù)顯示因為KV Cache小了推理時顯存占用顯著降低相同的顯存預(yù)算下能容納更大的Batch單位時間能處理的Token數(shù)量隨之上升。這還沒有算上訓(xùn)練階段的收益訓(xùn)練時同樣要存儲反向傳播需要的中間變量壓縮KV之后這部分顯存開銷也能降下來意味著可以在同樣規(guī)模集群上跑更大的模型或者把訓(xùn)練序列長度拉得更長。我在自己的部署實驗中的體會是MLA這類結(jié)構(gòu)的價值不在于刷分而是在于讓“長上下文”從可演示變成可商用。如果你需要做幾萬字文檔的逐字分析或是在同一會話里反復(fù)讓模型翻找一段代碼傳統(tǒng)MHA結(jié)構(gòu)很容易在上下文拉長后出現(xiàn)顯存和速度雙降的問題MLA模型在線上的表現(xiàn)會穩(wěn)不少。注意MLA壓縮的是KV緩存維度但如果你用了量化推理框架要確認框架是否對MLA做了針對性優(yōu)化。早期有些優(yōu)化庫直接按標準MHA的緩存格式來寫算子跑MLA模型時反而會有兼容性問題甚至無法推理或速度下降。部署前最好先用目標推理框架實測一遍緩存尺寸。3. 第二把刀DeepSeekMoE把稀疏專家做到極致MLA解決的是緩存和注意力開銷但模型規(guī)模能不能繼續(xù)往上擴還得看前饋網(wǎng)絡(luò)這塊怎么設(shè)計。傳統(tǒng)Dense模型每個Token都要過所有參數(shù)參數(shù)量大了計算量跟著線性增長。MoE的思路是讓每個Token只激活一小部分專家用稀疏激活換取超大參數(shù)量。3.1 細粒度專家與共享專家的設(shè)計邏輯DeepSeekMoE相比早期MoE方案有兩個核心變化。第一個是專家切得更細。過去常見的做法是把FFN切分成8個或16個同等大小的專家每個Token經(jīng)過路由選2個左右。DeepSeekMoE把專家數(shù)量做得更多、單個專家做得更小然后在同樣的激活預(yù)算下選更多專家。這樣做的好處是專家組合的靈活性更高Token可以同時從更多不同方向的“專業(yè)小組”中獲取信息而不是被限制在少數(shù)大專家之間做硬選擇。這個邏輯很像團隊協(xié)作與其讓每個成員都是大而全的通才不如培養(yǎng)一大批更細分的小組任務(wù)來了之后按需組合出最合適的小分隊。第二個是設(shè)置了共享專家。所謂共享專家就是每個Token都會無條件經(jīng)過的那部分專家可以理解為通用常識和通用語法的處理器。這部分參數(shù)不參與路由競爭保證了模型即便在專業(yè)化分工很強的情況下仍然有一個穩(wěn)定的通用處理通道。共享專家和細粒度路由專家結(jié)合起來等于在“通用能力”和“專業(yè)化能力”之間做了顯式的結(jié)構(gòu)分工。3.2 負載均衡從輔助損失到無輔助損失MoE模型最讓人頭疼的問題之一是負載不均衡訓(xùn)練時如果路由總是偏愛某幾個專家其他專家就變成了擺設(shè)參數(shù)量雖大實際利用率卻不高。早期方案通常在損失函數(shù)里加一個輔助損失通過懲罰負載不均衡來約束路由。但輔助損失會影響主任務(wù)的梯度方向加多了模型質(zhì)量下降加少了專家利用率又上不去。DeepSeek-V3在負載均衡策略上做了一個很巧妙的調(diào)整。它放棄了傳統(tǒng)輔助損失改用專家級bias——每個專家維護一個可學(xué)習(xí)的偏移量路由計算時對每個專家的分數(shù)加上這個偏移量推理時不加。訓(xùn)練中根據(jù)每個專家的負載反饋動態(tài)調(diào)整這些bias負載高的專家下一次就先少路由一些負載低的專家則多給一點機會。這樣做的好處是訓(xùn)練時的主任務(wù)梯度不受額外損失項干擾同時通過bias的自動調(diào)節(jié)來兜底負載均衡。我在實際訓(xùn)練MoE模型時也復(fù)現(xiàn)過類似的思路確實比輔助損失那種“綁著手腳跳舞”的感覺要順暢。3.3 V2到V3的參數(shù)量進化對比把V2和V3放在一起看三個數(shù)字變化最能說明問題總參數(shù)量從236B漲到671B激活參數(shù)量從21B漲到37B而推理時實際需要的顯存和算力并沒有按總參數(shù)量的比例去漲。這就是稀疏激活的威力?？倕?shù)量給足模型記憶容量激活參數(shù)量控制單Token計算成本。對開發(fā)者來說這意味著可以在單機多卡甚至單卡量化后運行一個參數(shù)總量很大的模型而體驗卻接近一個比它小得多的Dense模型。配置項DeepSeek-V2參數(shù)設(shè)計DeepSeek-V3參數(shù)設(shè)計總參數(shù)量236B671B激活參數(shù)量21B37B專家總數(shù)160含共享專家256含共享專家路由范圍更廣每Token路由專家數(shù)68共享專家數(shù)21顯式共享專家 更精細的細粒度分配這個表格來自我對公開技術(shù)信息的整理個別數(shù)字可能隨后續(xù)版本更新有微調(diào)但核心趨勢很清楚DeepSeek系MoE走的是“更多更小的專家 更靈活的路由組合”的路子而不是簡單堆大專家。提示如果你要基于DeepSeekMoE做二次開發(fā)建議先確認自己的部署框架是否完整支持細粒度專家路由。很多框架早期只適配了8個或16個專家的固定拓撲遇到160/256個專家、每Token路由6/8個的配置要么加載慢要么路由邏輯被強行簡化影響效果。選框架前多看幾個issue比跑起來再排錯省心得多。4. 訓(xùn)練工程與優(yōu)化組合拳FP8、DualPipe、MTP模型結(jié)構(gòu)很重要但同等結(jié)構(gòu)下能不能把集群效率跑上去才是決定項目是否可行的關(guān)鍵。DeepSeek系列在訓(xùn)練工程上的幾個選擇是很多人容易忽略、但實際分量非常重的部分。4.1 FP8混合精度從訓(xùn)練到推理的算力釋放FP8是一種8位浮點格式相比傳統(tǒng)的FP16/BF16數(shù)據(jù)位寬減半計算單元在同樣芯片面積上可以獲得更高吞吐。但FP8的難點是動態(tài)范圍有限容易溢出或損失精度。DeepSeek-V3的做法是全流程關(guān)鍵地方采用FP8混合精度同時在具體算子層面做了精細處理哪些層、哪些矩陣乘法用FP8哪些主梯度累加過程保留更高精度這些都有明確的策略。我看到的實際效果是訓(xùn)練成本比傳統(tǒng)混合精度方案有明顯下降同時模型最終效果并沒有因低精度訓(xùn)練而縮水。這種工程層面的細微取舍比模型結(jié)構(gòu)創(chuàng)新更考驗團隊的工程積累。4.2 DualPipe雙向流水線怎么壓縮空閑等待大規(guī)模訓(xùn)練里流水線并行常出現(xiàn)一個問題GPU在計算當(dāng)前微批次的同時還得等待前一層的通信和計算完成導(dǎo)致大量空閑氣泡。DualPipe的思路是設(shè)置兩條方向相反的流水線一條從前向后計算另一條從后向前計算把一個設(shè)備上的計算和通信重疊起來。用大白話講就是原來只有一個方向的車流現(xiàn)在雙向都有車單個時間片里排隊等待的空白被另一方向的計算填充了整個集群的利用率自然更高。這項技術(shù)和FP8是配套的DualPipe減少了空閑等待FP8降低了單次計算和通信的數(shù)據(jù)量兩者疊在一起才能在有限帶寬的集群上把671B參數(shù)規(guī)模的訓(xùn)練任務(wù)壓進可接受的成本區(qū)間。4.3 MTP多Token預(yù)測讓模型一次學(xué)會多走一步MTP模塊是我個人覺得最有意思的架構(gòu)附加項。標準訓(xùn)練方式是一個Token一個Token地做預(yù)測也就是給定前文預(yù)測下一個Token。MTP做的事情是讓Transformer主模型在每一層不僅參與預(yù)測下一個Token還額外疊加一個小模塊去預(yù)測再下一個Token相當(dāng)于讓模型每一層都帶著“多往前看一步”的任務(wù)意識。這個設(shè)計的直接收益是訓(xùn)練效率提升同一個樣本在訓(xùn)練時貢獻了更多的監(jiān)督信號模型能更快地學(xué)到長程依賴。同時MTP模塊還可以在推理時當(dāng)作一個草稿模型來配合投機解碼讓生成速度進一步提升。到了V3.2版本這部分結(jié)構(gòu)又被進一步整合優(yōu)化整體上仍然延續(xù)了“低成本多產(chǎn)出”的工程哲學(xué)。4.4 為什么工程組合拳比單項技術(shù)更有參考價值單獨看FP8或DualPipe都不是全新概念但把它們組合起來并且在超大規(guī)模模型上驗證有效的完整方案這個參考價值是稀缺的。以前開源生態(tài)里最缺的就是這種“從理論到數(shù)千卡集群落地的全套recipe”DeepSeek系列等于把這份recipe公開出來了。雖然我們大多數(shù)開發(fā)者沒有上千卡集群去復(fù)現(xiàn)全套但可以從中提取出適合自身規(guī)模的單項改進比如長序列訓(xùn)練時怎么調(diào)流水線并行和通信重疊比如用FP8量化時哪些模塊可以激進、哪些必須保守。這些經(jīng)驗放到中小規(guī)模場景里一樣能發(fā)揮作用。5. R1與推理范式重構(gòu)純強化學(xué)習(xí)路線帶來的連鎖反應(yīng)如果說V系列的MLA和MoE是在“節(jié)省資源”這條路上做文章那R1系列解決的則是“推理能力從哪來”的問題。這一波的影響范圍其實已經(jīng)超出了DeepSeek系列本身對整個開源模型社區(qū)的訓(xùn)練方法論都產(chǎn)生了沖擊。5.1 R1-Zero去掉SFT直接上RL的激進實驗傳統(tǒng)訓(xùn)練大模型的推理能力通常走“預(yù)訓(xùn)練—監(jiān)督微調(diào)—強化學(xué)習(xí)”的鏈路監(jiān)督微調(diào)用人工標注的推理步驟來教模型一步一步思考。R1-Zero做了一個大膽的實驗完全跳過監(jiān)督微調(diào)階段用基礎(chǔ)模型直接進入強化學(xué)習(xí)只通過規(guī)則獎勵來引導(dǎo)。規(guī)則獎勵就是可以寫程序判斷的客觀標準比如答案數(shù)學(xué)上是否正確、代碼能不能通過編譯和測試而不是靠獎勵模型打分。結(jié)果很有意思模型確實“涌現(xiàn)”出了長鏈思考、自我修正、反復(fù)驗證等推理行為而且有些思考過程比人工標注的還復(fù)雜。這說明監(jiān)督微調(diào)不是推理能力涌現(xiàn)的必要條件強化學(xué)習(xí)本身就能驅(qū)動模型發(fā)展出推理策略。當(dāng)然純RL階段也暴露出可讀性差、輸出格式混亂、語言混雜等問題所以R1正式版本選擇在純RL之前加入一個冷啟動階段用少量高質(zhì)量數(shù)據(jù)把模型帶到一個相對穩(wěn)定的起點再交給RL去大踏步優(yōu)化。5.2 GRPO把策略優(yōu)化的算力開銷打下來R1系列訓(xùn)練用的強化學(xué)習(xí)算法是GRPO它的全稱是Group Relative Policy Optimization。傳統(tǒng)PPO算法訓(xùn)練時為了讓策略更新有依據(jù)需要額外用一個Critic模型去估計狀態(tài)價值函數(shù)這個估計過程非常耗資源。GRPO的替代思路是對于同一個問題讓當(dāng)前策略模型生成一組多個回答直接用這一組回答內(nèi)部的相對優(yōu)劣來計算收益而不需要單獨的Critic模型來估計絕對價值。這個思路的樸素之處在于我們不需要知道一個回答“絕對有多好”只要知道它在同一批樣本里面“相對有多好”就夠了。數(shù)學(xué)上GRPO對一組輸出做歸一化得到一個baseline然后用這個baseline去計算策略梯度。省掉一個和主模型規(guī)模相當(dāng)?shù)腃ritic等于把訓(xùn)練顯存和算力預(yù)算直接壓縮了一大截。這是R1系列能在有限資源下做大規(guī)模RL的關(guān)鍵因素之一。5.3 蒸餾與開源生態(tài)的連鎖反應(yīng)R1系列另一個帶火的動作是蒸餾。蒸餾的含義是讓一個小模型去模仿大模型的輸出分布或推理軌跡從而把推理能力壓縮到更小的參數(shù)量里。DeepSeek系列開源了多個蒸餾尺寸模型這些模型把671B大模型推理“悟”出來的思考過程教給了小模型。社區(qū)隨后也出現(xiàn)了各種基于蒸餾數(shù)據(jù)再訓(xùn)練或直接微調(diào)的衍生模型。這個動作的生態(tài)意義大于單純的技術(shù)意義。它讓很多只有消費級顯卡的個人開發(fā)者也能本地運行一個具有初步長鏈推理能力的模型直接改變了開源模型“只能玩、不能用”的刻板印象。我自己在16G顯存的環(huán)境下測試過蒸餾小尺寸模型處理邏輯推理和代碼糾錯類任務(wù)體驗已經(jīng)比同體量的通用模型好不少雖然比不了完整版本但日常輔助寫代碼已經(jīng)夠用。6. 架構(gòu)迭代背后的開源哲學(xué)與普通開發(fā)者的應(yīng)對前面幾節(jié)基本是按時間線和技術(shù)線來梳理的但如果只看到結(jié)構(gòu)和算法容易忽略一個更重要的事實這些架構(gòu)能快速傳播、快速被驗證開源協(xié)議和開放策略起了很大作用。6.1 開放權(quán)重帶來的生態(tài)擴散與同行壓力DeepSeek系列不是第一個開放權(quán)重的但它把“開放權(quán)重”推向了新的競爭高度。過去開放權(quán)重通常意味著給一個可加載的模型文件配套的細節(jié)——數(shù)據(jù)配方、訓(xùn)練梯度、RL獎勵設(shè)計、工程調(diào)優(yōu)記錄——往往不在開放范圍。DeepSeek系列的做法是連技術(shù)報告里的細節(jié)都盡量寫得可復(fù)現(xiàn)像FP8、DualPipe、MLA的實現(xiàn)要點社區(qū)里很快就能找到第三方復(fù)現(xiàn)和討論。這種透明度讓同行面臨的壓力不再是“你比我差多少”而是“你什么時候跟上”。這種生態(tài)擴散的一個直接后果是Open-R1這類社區(qū)復(fù)現(xiàn)項目出現(xiàn)了。社區(qū)不再滿足于直接使用別人訓(xùn)好的模型而是希望把R1的整個訓(xùn)練鏈路——包括數(shù)據(jù)、獎勵、RL流程——在開放環(huán)境下重新跑一遍。這比單純下載權(quán)重更進一步等于把之前只屬于少數(shù)研究團隊的RL聯(lián)邦訓(xùn)練經(jīng)驗也公共化了。6.2 從純研究到可復(fù)現(xiàn)路線的遷移我以前也困惑過為什么很多論文里的模型效果很好自己復(fù)現(xiàn)卻很拉胯。后來我發(fā)現(xiàn)大多數(shù)問題出在“論文隱藏了大量工程細節(jié)”。DeepSeek系列在這個問題上的處理方式很有參考性每個關(guān)鍵結(jié)構(gòu)改變都給出足夠清晰的動機和效果對比關(guān)鍵工程環(huán)節(jié)盡量公開配置和實現(xiàn)思路讓后來者能踩在自己的肩膀上而不是重新踩坑。這個“可復(fù)現(xiàn)優(yōu)先”的路線讓它的架構(gòu)演變史不僅是一份技術(shù)記錄更成為一份可以照著學(xué)習(xí)的課程大綱。6.3 部署與選型時的個人經(jīng)驗與避坑參考最后分享一些我用DeepSeek系列模型時的選型經(jīng)驗免得大家在實際部署時來回折騰。如果你的核心場景是長上下文文檔理解、超長代碼庫問答優(yōu)先選帶MLA的版本因為長序列下顯存占用和并發(fā)能力差別很大。如果你拿來做在線服務(wù)、對成本敏感優(yōu)先考慮蒸餾小尺寸版本再根據(jù)效果決定是否升級到更大版本。如果你要做二次微調(diào)建議先搞清楚你的訓(xùn)練框架對DeepSeekMoE的路由邏輯支持到哪一步很多框架對256專家支持并不好。如果只是做實驗驗證想法不需要完整復(fù)現(xiàn)訓(xùn)練直接用官方公開的模型權(quán)重和推薦推理參數(shù)就行沒必要重訓(xùn)。注意量化部署時如果模型用到了MLA和細粒度專家路由建議先驗證量化后的輸出與BF16版本的關(guān)鍵case是否一致。MoE結(jié)構(gòu)下注意力模塊和路由模塊都比較敏感有的量化方案在主模型上沒問題但一碰到MoE就出現(xiàn)專家選擇漂移導(dǎo)致輸出質(zhì)量明顯下滑。別急著上線先跑一批針對性測試再決定。7. 后續(xù)演進方向與我的觀察到了這一步整個DeepSeek系列的架構(gòu)演變邏輯已經(jīng)比較清晰了。剩下的問題是這個系列下一步還會往哪里走以及這些方向?qū)ζ胀◤臉I(yè)者有什么啟示。從已經(jīng)能看到的信息來看方向大約有三個。一是結(jié)構(gòu)本身的繼續(xù)瘦身和優(yōu)化MLA和MoE的組合還有不少可調(diào)空間比如更激進的KV壓縮策略、更靈活的路由歷史依賴。二是訓(xùn)練范式進一步往RL和多階段遞進方向發(fā)展R1-Zero的純RL實驗證明了強化學(xué)習(xí)的潛力后續(xù)大概率會出現(xiàn)更多關(guān)于獎勵設(shè)計、自博弈、多智能體協(xié)作的訓(xùn)練嘗試。三是多模態(tài)化文本之外還有圖像、代碼、音頻等輸入輸出形式如何把MLA這種高效注意力結(jié)構(gòu)復(fù)用到多模態(tài)任務(wù)中是一個值得跟進的觀察點。對我個人來說這套演變史最值得借鑒的地方不是某一次具體的結(jié)構(gòu)改動而是每一代版本都清晰回答了同一個問題在計算資源有限的前提下我做哪個改動受益最大早期答案是省緩存中期答案是省激活計算再往后是省訓(xùn)練顯存最后是省RL的額外模型開銷。每一次“省”都踩在了當(dāng)時最痛的資源瓶頸上。把這個邏輯用到自己的項目里也會很有啟發(fā)不要先問“該不該上最新結(jié)構(gòu)”而要問“我現(xiàn)在最缺的是顯存、算力、數(shù)據(jù)還是推理穩(wěn)定性”然后去找對應(yīng)那一步已經(jīng)驗證過的架構(gòu)或方法用最小代價做驗證。這種帶著資源約束去選擇架構(gòu)的工作方式可能才是這個系列給從業(yè)者最大的參考價值。