如果你正打算在2026年沖刺大模型方向的崗位不管是算法崗、推理優(yōu)化崗還是Agent應用崗架構題幾乎都是繞不開的必考題。我過去一年帶過不少模擬面試發(fā)現(xiàn)一個特別普遍的現(xiàn)象簡歷上的項目都寫得挺漂亮一旦被追問到“GPT、LLaMA、DeepSeek、Qwen這四類主流大模型的架構到底差在哪各自做了什么取舍”大多數(shù)人就只會背參數(shù)表說不清任何設計背后的理由。這篇文章把我自己在準備和復盤面試時反復用的那套架構拆解框架完整整理出來從Transformer這個共同祖先出發(fā)把四類模型各自的代表性設計掰開揉碎講清楚再給出一套可以直接套用的答題模板和避坑清單。適合正在沖刺2026年大模型崗位的同學也適合想系統(tǒng)梳理架構知識、又不想硬啃原始論文的工程師。1. 面試官考架構到底在考什么1.1 架構問題是“偽裝成知識題的能力題”很多人以為架構題就是背知識點實際上面試官根本不關心你能不能背出GPT-3有96層、12288維這種數(shù)字。他們真正想驗證的是三件事第一你有沒有形成完整的系統(tǒng)認知而不是只停留在調API第二你能不能把一個模型的某個設計調整講清楚它帶來的收益和代價第三面對一個從來沒見過的模型你有沒有能力快速拆解它的架構。這三件事對應的恰好多是面試中追問環(huán)節(jié)的深挖方向。比如你提到LLaMA用了GQA面試官馬上會問為什么不用MQA為什么不直接上MHA——如果答不上來前面背得再熟也白搭。所以我建議你把架構題當成一道開放性的系統(tǒng)設計題來準備而不是死記硬背。1.2 所有主流大模型都源自同一個祖先Decoder-only Transformer在聊GPT、LLaMA、DeepSeek、Qwen之前有一點必須先說清楚這四類模型沒有本質上的代差它們都是Decoder-only 自回歸路線的產(chǎn)物共同祖先是2017年提出的Transformer。Transformer最初的形態(tài)是Encoder-Decoder結構編碼器負責理解輸入解碼器負責生成輸出。翻譯任務很適合這種結構但到了大語言模型時代大家逐漸發(fā)現(xiàn)只用解碼器也能做得很好。原因其實很樸素LLM的核心目標是根據(jù)前文預測下一個Token這個目標本身就是自回歸式的天然對應解碼器的因果注意力機制。編碼器那套雙向注意力主要用于理解任務但理解最終也得轉化為生成繞一圈反而增加了訓練和推理的復雜度。于是從GPT系列開始業(yè)界逐步收斂到了一個通用配方一個只有Decoder的Transformer內部結構由Token嵌入層、若干Decoder層每層包含注意力子層和前饋子層、輸出層組成。所有后續(xù)模型的優(yōu)化本質上都是在這些子層上做文章注意力怎么算、歸一化怎么做、激活函數(shù)用哪個、位置信息怎么編碼、參數(shù)要不要稀疏化。掌握了這個通用配方任何新模型出來你都能快速拆解。1.3 我一直在用的架構拆解分析框架每次看到一個新的開源大模型我都會按固定的七個模塊去拆面試時回答問題也按這個順序組織輸入表示詞表大小、Embedding維度、是否綁定輸出層權重。位置編碼絕對位置、相對位置、RoPE還是AliBi。注意力機制MHA、MQA還是GQA有沒有特殊的KV壓縮策略。歸一化層LayerNorm還是RMSNormPre-Norm還是Post-Norm。前饋網(wǎng)絡普通MLP還是帶門控的SwiGLU中間維度擴張幾倍。稀疏化策略是Dense模型還是MoE專家數(shù)量、激活參數(shù)占比。訓練與推理細節(jié)上下文長度、是否多Token預測、混合精度、KV Cache策略。這套框架在面試中特別實用因為它能幫你在信息不全的情況下也能有條理地分析。哪怕你不了解某個新模型按這個順序推斷大概率能蒙中一半以上的設計選擇。后面四類模型的對比我也嚴格按這個框架展開。2. GPT系列Decoder-only的開創(chuàng)者至今仍是標準基線2.1 GPT核心設計自回歸、因果掩碼、單方向信息流GPT系列是Decoder-only路線的提出者和堅持者它的核心思想簡單到只有一句話預測下一個Token。為了實現(xiàn)這個目標模型在注意力計算時使用因果掩碼Causal Mask也就是在計算第i個位置的表示時只能看到第1到第i個位置的Token未來信息全部屏蔽。很多人在面試時會把因果掩碼和Padding Mask搞混這是一個特別容易失分的細節(jié)。Padding Mask處理的是Batch內不同長度樣本的對齊問題把填充位置置為一個極小值讓注意力不會分配到無意義的位置上而因果掩碼是每個樣本內部的操作保證當前位置不能偷看未來信息。前者是工程問題后者是模型定義問題兩者可以同時存在比如一個Batch里每個樣本既要做Padding Mask又要在注意力矩陣上疊加因果掩碼的下三角遮蔽。GPT系列另一個容易被忽略的設計是無編碼器。它沒有單獨的編碼器分支也沒有交叉注意力所有信息都靠Decoder內部的因果自注意力自己攫取。這個設計讓模型訓練和推理高度一致訓練你是預測下一個詞部署你也是預測下一個詞沒有Transformer翻譯時代那種訓練和推理行為不一致的別扭感。這也是為什么Decoder-only逐漸在生成任務上壓制了Encoder-Decoder方案。2.2 GPT系列演進路線中的關鍵變化GPT系列的演進幾乎是這幾年大模型發(fā)展史的一個縮影。初代GPT參數(shù)量只有約1.1億基本驗證了預訓練微調這條路走得通。GPT-2把參數(shù)量拉到15億展示了零樣本也能干活的能力。真正引爆行業(yè)的是GPT-3參數(shù)量到達1750億96層Transformer層隱層維度12288上下文窗口2048詞表大小約5萬——這是大力出奇跡的巔峰之作。到GPT-4時公開信息不再完整但從各種披露和側面信息看它大概率引入了稀疏注意力機制內部是一個或多個MoE混合專家結構總參數(shù)量遠大于暴露出來的數(shù)字。這條路線說明一個趨勢在Dense模型上繼續(xù)暴力堆參數(shù)邊際收益在下降廠商開始轉向稀疏激活來提升單位參數(shù)的效果。GPT系列對面試的啟發(fā)主要有兩點一是要理解Scale Law參數(shù)規(guī)模、數(shù)據(jù)規(guī)模、訓練計算量之間存在冪律關系模型性能大致隨三者同比例提升二是要理解對齊Alignment的價值GPT-3的基座能力已經(jīng)很強但真正讓它變成合格對話助手的是后續(xù)的監(jiān)督微調和基于人類反饋的強化學習階段。面試官如果問為什么GPT效果好你光說模型大是不夠的架構、數(shù)據(jù)、對齊三者缺一不可。2.3 聊GPT時哪些細節(jié)能明顯加分面試中講到GPT最容易出彩的細節(jié)是訓練目標和生成目標的一致性。Transformer最初用于翻譯時訓練階段把金標準輸出一次性喂進去生成階段卻只能一步一步輸出行為差異會積累錯誤。而GPT只做自回歸預測訓練和推理都是基于已生成的內容預測下一步這個一致性就是Decoder-only路線能勝出的底層原因。另外一個加分點是追問為什么GPT不做雙向注意力。答案不只是為了生成任務還在于雙向信息流會讓每個位置的表示都包含全局信息做生成時必須強行因果化導致訓練推理不一致。單向注意力看似損失了能看到整句話的能力但換來了嚴格的自回歸語義這正是語言模型作為概率分布估計器最自然的形式。3. LLaMA系列開源模型的“架構樣板間”3.1 LLaMA的四個關鍵設計RMSNorm、SwiGLU、RoPE、GQA如果說GPT系列是閉源模型里的參考標桿那LLaMA系列就是開源社區(qū)名副其實的架構樣板間?，F(xiàn)在市面上能見到的開源模型絕大多數(shù)都能在LLaMA身上找到源頭原因就是LLaMA把一整套被驗證有效的設計組合在了一起而且參數(shù)完全開放復現(xiàn)成本低。第一個關鍵設計是RMSNorm取代LayerNorm。傳統(tǒng)的LayerNorm要對輸入做均值和方差歸一化RMSNorm把均值中心化這步直接去掉只按均方根做縮放再乘一個可學習的縮放系數(shù)。這么做把歸一化的計算量明顯降了下來而實驗證明去掉均值中心化對最終效果影響很小。對動輒幾十億參數(shù)的大模型來說每一層少做一次均值計算都是可觀的訓練收益。第二個是SwiGLU激活函數(shù)替代ReLU或GeLU。SwiGLU本質是門控線性單元它把輸入分成兩路一路經(jīng)過SiLU激活另一路作為門控信號兩者逐元素相乘。相比于簡單的ReLUSwiGLU給前饋網(wǎng)絡帶來了更強的非線性表達能力在相同參數(shù)預算下效果更好。代價是前饋層需要三個權重矩陣而不是兩個參數(shù)總量會上升但業(yè)界普遍認為這個交換劃算。第三個是RoPE旋轉位置編碼。位置編碼是大模型的空間坐標系統(tǒng)Transformer原始方案用正余弦絕對位置編碼但絕對位置信息不便于模型感知兩個Token之間的距離這種相對關系。RoPE的核心思路是在做Attention之前通過旋轉矩陣把位置信息編碼進查詢和鍵向量讓兩個向量的內積天然包含相對位置信息。它不僅效果好而且對外推長文本很友好后來的NTK、YaRN等長度外推方案都建立在RoPE基礎之上。第四個是GQA分組查詢注意力。標準的MHA讓每個注意力頭都維護獨立的鍵值對推理時要為每個Token保存所有頭的KV Cache內存開銷巨大。MQA多查詢注意力把鍵值頭壓縮成一組大幅節(jié)省內存但信息表達能力下降。GQA是兩者折中把注意力頭分成若干組組內共享鍵值頭。LLaMA-2的70B版本采用GQA后KV Cache約為同參數(shù)MHA模型的十分之一長序列推理時優(yōu)勢極其明顯。3.2 Pre-Norm還是Post-Norm一個影響訓練的底層抉擇LLaMA不是第一個用Pre-Norm預歸一化的模型但它把這個設計推向了主流。Transformer最初用的是Post-Norm也就是注意力/前饋計算之后再歸一化訓練深層的Transformer時梯度很容易爆炸或消失需要非常精細的初始化策略和學習率控制。Pre-Norm則把歸一化放到子層之前讓每層輸入保持穩(wěn)定的尺度梯度路徑更平滑深層網(wǎng)絡更容易訓練。用生活化的類比來理解Post-Norm像先做飯再清理灶臺每做完一道菜灶臺上可能已經(jīng)堆滿油漬下一道菜越做越危險Pre-Norm則是開工前就把灶臺清理干凈每道菜在干凈的臺面上操作。LLaMA選擇Pre-Norm換來了穩(wěn)定的訓練代價是理論上限略低于完美調參的Post-Norm但實操中這個差距幾乎可以忽略因為穩(wěn)定性的收益遠大于理論精度上那一點差異。3.3 為什么開源社區(qū)幾乎都選擇在LLaMA上做二次創(chuàng)新面試中經(jīng)常被問到一個工程類問題給你一個基座模型做微調你會選哪個這個問題背后想考察的其實是你的架構理解和生態(tài)判斷力。LLaMA系列之所以成為默認選項首先是因為它把上述幾個設計組合成了一個效果與參數(shù)比例很平衡的方案底子足夠好其次它的權重開放社區(qū)圍繞它衍生出了海量的微調框架、量化工具和部署方案。還有一點容易被忽視LLaMA系列展現(xiàn)了無對齊基座模型的通用遷移能力。它本身沒有做太多指令微調就是一個純預訓練模型但你拿它繼續(xù)訓練做垂直領域效果往往比很多看似什么都會的通用助手模型更好。因為基座模型沒有因為對齊階段被馴化得過于保守反而保留了對數(shù)據(jù)分布更強的擬合彈性。面試時如果能說出這一層會明顯區(qū)別于只會說LLaMA效果好的候選人。4. DeepSeek系列把“省”做到極致的推理效率派4.1 從MLA說起把KV Cache壓縮成低秩表示DeepSeek系列在架構上最出圈的一個創(chuàng)新是MLA多頭潛在注意力Multi-head Latent Attention它解決了大模型推理中一個很現(xiàn)實的瓶頸KV Cache太大。Transformer推理時每個Token都要把它的Key和Value向量緩存下來供后續(xù)Token做注意力計算用。上下文越長、Token越多KV Cache占用顯存就越大甚至超過模型權重本身。GQA已經(jīng)通過共享KV頭減少了緩存但DeepSeek的思路更激進與其共享不如壓縮。MLA對Key和Value做一個低秩投影把它們映射到一個低維的潛在空間存儲計算注意力的時候再從潛在空間投影回去。我可以用一個比喻來解釋MHA是每個人都完整記錄自己見過的一切資料全但倉庫巨大GQA是一組人共享一套檔案省了空間但稍顯粗糙MLA則是一套檔案編碼系統(tǒng)先把所有信息編碼成摘要入庫需要用的時候再解碼還原。MLA讓KV Cache開銷降到傳統(tǒng)MHA方案的極小比例在長上下文推理場景下優(yōu)勢幾乎是壓倒性的。面試中一旦提到DeepSeekMLA是必須主動展開的核心亮點。4.2 DeepSeek-V3的MoE架構671B總參數(shù)、37B激活參數(shù)是怎么算出來的DeepSeek-V3在面試題里出現(xiàn)頻率極高因為它的參數(shù)量分布特別適合出計算題。它的總參數(shù)是671B但每次推理只激活37B參數(shù)這里面的關鍵是MoE結構。MoE混合專家的思路是不要用一個巨大的稠密網(wǎng)絡處理所有輸入而是訓練一組專家子網(wǎng)絡每個Token通過一個路由網(wǎng)絡Router動態(tài)選擇最合適的少量專家來計算。DeepSeek-V3一共有256個專家每個Token在注意力層之后會被路由到Top-8個專家上這8個專家各自做一次前饋計算再加權合并?？倕?shù)量來自256個專家的全部參數(shù)激活參數(shù)量只和路由選中的8個專家以及注意力層的共享參數(shù)有關。把賬算細一點一個專家是約1.2B參數(shù)規(guī)模8個專家激活約9.6B再加上共享專家部分和注意力、嵌入等公共參數(shù)湊出37B左右的激活量。MoE的核心收益是用總參數(shù)換容量、用激活參數(shù)換算力——模型的知識容量由671B支撐而單次推理的算力成本只按37B支付。這就是為什么DeepSeek能以相對低的訓練成本拿到接近頂尖閉源模型的能力。4.3 無輔助損失負載均衡MoE最容易翻車的點MoE模型最頭疼的問題是負載不均如果所有Token都偏好某幾個萬能專家其他專家就閑置了稀疏化的收益直接清零。傳統(tǒng)做法是給路由損失加一個輔助Loss懲罰不均勻路由但輔助Loss會和主Loss競爭反而損害模型最終效果。DeepSeek-V3的做法是無輔助損失負載均衡訓練時為每個專家維護一個偏置系數(shù)如果一個專家被選中的頻率偏高就在它的路由分數(shù)里扣掉一個固定偏置被選得少的專家則加上偏置。這樣讓路由過程自適應地向冷門專家傾斜卻不會在Loss計算中引入額外優(yōu)化目標。這個細節(jié)是DeepSeek架構題里公認的深水區(qū)能說清楚為什么不用輔助Loss基本就能和普通候選人拉開差距。4.4 DeepSeek還值得記住的三個工程配套設計DeepSeek-V3不只是架構新它的訓練和推理工程方案同樣是面試考點。第一個是多Token預測MTP讓模型在預測下一個Token的同時還要預測后續(xù)第二個、第三個Token。不要小看這個改動它在訓練階段相當于把每個位置榨出更多學習信號而且推理時可被用來做推測解碼加速一魚兩吃。第二個是FP8混合精度訓練。DeepSeek-V3在訓練中大規(guī)模使用FP8精度明顯降低了顯存占用和通信量這也是它訓練成本能壓下來的重要原因。第三個是它對長上下文推理的支持結合MLA的低KV Cache開銷長文本場景的性價比很突出。面試時提到這些點其實是向面試官傳遞一個信號你不僅看模型結構還關注成本和工程落地。5. Qwen系列實用主義與Agent時代的均衡派5.1 Qwen的架構底子大詞表、GQA與長上下文Qwen系列的定位和LLaMA不太一樣它更像一個工程落地優(yōu)先的實用主義選手在設計上非常舍得為實際應用做配置。比如它的詞表普遍比較大達到十五萬級別甚至更高。大詞表意味著同樣一段中文文本會被切成更少的Token訓練和推理時的序列長度更短對中文用戶來說就是實打實的成本節(jié)省和速度提升。在注意力層面Qwen主力型號用了GQA分組查詢注意力。它吸取了MHA和MQA兩邊的優(yōu)點在保證表示能力的同時顯著壓縮KV Cache占用。對Agent或長上下文場景來說這個選擇可以說非常關鍵KV Cache變小同樣一塊顯卡就能塞下更長的上下文或者更大的并發(fā)。上下文長度也是Qwen系列反復迭代的重點。早期版本已經(jīng)支持數(shù)千Token的上下文后續(xù)版本通過YaRN等RoPE擴展方法把長文本能力進一步提升到很高的水平。這里有個值得學習的套路不更換模型主體架構只通過修改位置編碼的外推方式來拉長上下文成本遠低于重新訓練一個大模型。這是工程上的典型四兩撥千斤。5.2 同族多尺寸與MoE版本的“統(tǒng)一架構”策略Qwen系列有一個明顯特征在一個大旗號下發(fā)布從零點幾B到70B級別的一整條尺寸線。面試官很喜歡借這個現(xiàn)象考察你對Dense vs MoE的理解。小尺寸模型如0.5B、1.5B、7B用Dense結構性價比更高因為參數(shù)量本來就不大引入MoE反而增加路由開銷和部署復雜度。中到大尺寸模型如14B、72B則可以使用MoE版本來擴大知識容量、控制激活成本。這種多尺寸統(tǒng)一架構策略的工程價值在于用戶可以根據(jù)機器資源選不同尺寸的模型微調后蒸餾到小模型或者把大模型的結果作為小模型的訓練數(shù)據(jù)源形成一套完整的模型矩陣。面試中如果被問如何設計一個模型家族你可以直接引用這樣一套思路基座統(tǒng)一、尺寸分層、稀疏化從大到小逐步引入。5.3 Qwen在Agent與工具調用場景的架構配合近幾年Agent應用爆發(fā)Qwen系列在工具調用、函數(shù)調用場景的表現(xiàn)被頻繁提及。很多人以為這是純粹的指令微調數(shù)據(jù)功勞其實架構也在其中起了配合作用。Agent場景要求模型在對話中準確輸出結構化的調用意圖比如我要根據(jù)用戶的意圖調用某個工具填入這幾個參數(shù)。這意味著模型內部要建立起意圖理解到參數(shù)映射的穩(wěn)固通路。Qwen系列的詞表設計和預訓練數(shù)據(jù)安排使它對結構化指令更敏感加上對齊階段大量使用真實工具調用數(shù)據(jù)進行微調才形成我們看到的效果。面試時若被問為什么同一個模型微調前后工具調用能力差別這么大標準答法是架構決定了模型的上限數(shù)據(jù)決定了下限附近的實際表現(xiàn)二者是乘數(shù)關系而不是加法關系。5.4 比較視角Qwen在長文本與多語言場景的平衡取舍Qwen和LLaMA放在一起對比是個很經(jīng)典的面試問題。LLaMA在英文生態(tài)和通用學術評測上積累深厚但詞表對中文和多語言并不友好Qwen的大詞表天然覆蓋更多的中文Token在中文長文本、多語言混合場景下序列更短、效率更高。代價是詞表變大會讓Embedding層參數(shù)顯著增加模型體積變大小顯存設備部署時需要額外處理。這里可以延伸到Unsliced Tokenizer的思考大詞表并不是免費午餐它把更多負擔轉嫁到最終用戶端模型文件更大、內存占用更高。面試官如果問為什么很多國產(chǎn)模型詞表大你可以從中文漢字數(shù)量多、常用詞組合豐富這個角度回答同時主動說出詞表增大的副作用體現(xiàn)權衡思維。6. 一張表看清四家主流架構以及如何回答“設計一個新模型”6.1 四類模型核心架構維度橫向對比對比維度GPT系列LLaMA系列DeepSeek系列Qwen系列基礎路線Decoder-only 自回歸Decoder-only 自回歸Decoder-only 自回歸Decoder-only 自回歸代表結構Dense為主后期疑似引入MoEDense70B級別MoE為主MLA注意力Dense與MoE并存按尺寸分層注意力機制MHA早期GQA后期MHA→GQAMLA低秩KV壓縮GQA位置編碼絕對位置早期RoPE后期RoPERoPERoPE YaRN外推歸一化Pre-Norm LayerNorm演變Pre-Norm RMSNormPre-Norm RMSNormPre-Norm RMSNorm激活函數(shù)GeLU早期SwiGLU后期SwiGLUSwiGLUSwiGLU詞表大小較小5萬左右起步較小3.2萬左右中等很大15萬級核心特色開創(chuàng)性、Scale Law、對齊開源樣板、生態(tài)完善、訓練穩(wěn)定推理效率極強、成本控制極致中英文場景友好、Agent適配強典型應用啟示通用對話、閉源API微調基座、學術研究長上下文、高并發(fā)推理中文應用、工具調用、端側部署這張表不用死記硬背關鍵是要能解釋每一行的為什么。真正優(yōu)秀的面試回答是我給你這個格子你能說出這個選擇的收益和代價。6.2 “如果讓你從零設計一個新LLM”的萬能答題框架這幾乎是架構類面試的壓軸題也是最能拉開分差的題目。我給出一套經(jīng)過實戰(zhàn)驗證的答題框架你按順序說面試官會明顯感覺到你腦子里有體系。第一步先定大方向選Decoder-only不做Encoder-Decoder。理由說清楚訓練推理一致、生成任務天然匹配、生態(tài)工具鏈成熟。第二步定基礎組件歸一化選RMSNorm激活函數(shù)選SwiGLU位置編碼選RoPE。這三個幾乎是當前業(yè)界共識選它們不用過多解釋但你要主動說出RMSNorm省去了均值歸一化、SwiGLU帶來更強非線性、RoPE對長文本友好這三點理由。第三步定注意力方案根據(jù)部署場景選GQA或MLA。如果做長上下文、需要控制KV CacheMLA是更優(yōu)解如果追求兼容主流推理框架GQA更穩(wěn)妥。面試官問為什么少用MHA時就從顯存和長序列推理兩個角度答。第四步定稀疏化策略回答要點是想清楚Dense和MoE的分界線。小模型用Dense大模型引入MoE并給出總參數(shù)決定知識容量、激活參數(shù)決定推理成本這句關鍵判斷。第五步定上下文與訓練策略把詞表大小、上下文長度、是否做多Token預測、是否用FP8訓練一并說清楚。到這里你已經(jīng)把架構、成本、部署、訓練四方面都覆蓋到了面試官很難再從追問里找到明顯漏洞。7. 高頻真題演練與易踩坑清單7.1 五道高頻架構題及答題要點第一道為什么現(xiàn)在主流大模型都用Decoder-only而不是Encoder-Decoder核心答三點自回歸生成任務天然匹配Decoder訓練推理行為一致Encoder的交叉注意力增加了復雜度和推理開銷而收益在語言建模上沒有明顯體現(xiàn)。第二道MHA、MQA、GQA、MLA有什么區(qū)別先定義MHA每頭獨立KVMQA所有Q頭共享一組KVGQA分組共享KVMLA對KV做低秩壓縮存儲。然后落到KV Cache和推理速度上展開最好舉一個數(shù)值例子比如70B模型用GQA后KV Cache縮小為MHA的約十分之一。第三道MoE為什么能省算力總參數(shù)和激活參數(shù)什么關系用DeepSeek-V3做例子671B總參數(shù)、37B激活參數(shù)、256個專家Top-8路由。說明稀疏激活的核心是把容量和算力解耦。第四道RoPE為什么能擴展長文本解釋RoPE把相對位置編碼進內積配合NTK/YaRN這些頻率調整手段可以對沒見過的更長位置進行外推。再補充一句外推不是無限度的超過訓練長度太多質量仍會下降。第五道訓練一個大模型你會怎么降低顯存開銷從訓練和推理兩個階段分別答訓練階段用混合精度、梯度檢查點、ZeRO等分布式策略推理階段用KV Cache優(yōu)化GQA/MLA、量化FP8/INT8、投機解碼等。7.2 三個最容易在現(xiàn)場被問崩的細節(jié)第一個是Q、K、V三個投影矩陣的維度關系。很多人講不清楚GQA里每個共享KV頭對應多少Q(mào)頭或者說不清注意力分數(shù)的scale為什么是除以根號d。要記住d是每個頭的維度除以根號d是為了防止點積過大導致Softmax進入飽和區(qū)。第二個是Embedding層要不要參與參數(shù)統(tǒng)計。當面試官問7B模型里Embedding占多少參數(shù)時很多人直接傻掉。計算方法是詞表大小乘以隱藏維度假設詞表5萬、隱藏維度4096那Embedding就是5萬×4096約2億參數(shù)占總參數(shù)比重不小。這也是大詞表模型體積變大的原因。第三個是推理時KV Cache為什么不能提前算好。Transformer推理需要每生成一個Token就把它的K和V追加到緩存里下一輪計算時使用。如果你回答KV Cache只在生成階段出現(xiàn)、訓練階段沒有這就是送分題訓練階段每個Token同時可見不需要增量緩存而推理是增量式的KV Cache正是為此服務的。7.3 一條從背教材到真懂架構的實操路徑如果看完全文還是覺得心里沒底我給你一條不需要GPU的實操路徑。去開源模型倉庫把一個中等尺寸模型的配置文件打開對照本文的七個模塊逐一找到對應字段詞表大小在config.json里一般是vocab_size隱藏層維度叫hidden_size層數(shù)是num_hidden_layers注意力頭是num_attention_heads是否分組查詢看num_key_value_heads是不是小于前者歸一化類型在norm_type或model_type字段激活函數(shù)在hidden_act里位置編碼看rope_scaling之類的參數(shù)。看完一個大模型再隨便換另一個模型的配置文件對比一遍就會發(fā)現(xiàn)同一個選擇反復出現(xiàn)RMSNorm、SwiGLU、RoPE、GQA幾乎是標配。此時你就能真正理解所謂主流大模型架構全景并不是四家各玩各的而是在同一套共同祖先模板上各自在效率、成本、應用場景上做權衡。架構題的答案從來不是唯一的只要你把為什么選擇這個而不是那個的邏輯講清楚就已經(jīng)達到面試官對架構能力的基本預期了。我個人在實際帶模擬面試時有個很深的體會能把LLaMA和DeepSeek的差異講到GQA是共享KV、MLA是壓縮KV一個靠共享省顯存、一個靠壓縮省顯存這個粒度的人后面聊到任何新出的模型都不會怵場。因為你掌握的已經(jīng)不是一個模型的參數(shù)表而是一套看模型的坐標軸。下次再遇到一個新開源的架構試著先不看官方技術報告自己按這套框架推理一遍它大概長什么樣再回去對照驗證。練過三輪之后你會回來感謝這套框架的。