先把算子這個(gè)詞說清楚很多人第一次聽到算子是在學(xué)數(shù)學(xué)分析或者泛函的時(shí)候那時(shí)候它指的是從一個(gè)函數(shù)空間到另一個(gè)函數(shù)空間的映射比如微分算子、積分算子。但今天在 AI 圈子里說的算子含義要樸素得多基本就是一次具體的運(yùn)算操作。你打開 PyTorch 寫一行y torch.matmul(a, b)這就是一次矩陣乘法算子寫torch.relu(x)這是激活函數(shù)算子寫F.softmax(scores, dim-1)這是 softmax 算子。一個(gè)神經(jīng)網(wǎng)絡(luò)不管是卷積網(wǎng)絡(luò)還是 Transformer本質(zhì)上就是一張算子組成的計(jì)算圖輸入張量沿著這張圖流動(dòng)每經(jīng)過一個(gè)節(jié)點(diǎn)就被做一次變換最后輸出結(jié)果。訓(xùn)練時(shí)反向傳播也是沿著這張圖把梯度一個(gè)個(gè)算子地傳回去。所以你可以把算子理解成深度學(xué)習(xí)框架里的原子操作。框架和編譯器的工作就是把這些高層的算子翻譯成 GPU 上真正執(zhí)行的 CUDA 內(nèi)核kernel。一個(gè)算子在 GPU 上跑得快不快取決于很多底層細(xì)節(jié)訪存是不是連續(xù)、有沒有把數(shù)據(jù)盡量留在高速緩存里、計(jì)算和訪存的比例也就是常說的算術(shù)強(qiáng)度夠不夠高、有沒有被啟動(dòng)開銷和同步開銷拖慢。為什么這玩意兒值得專門拿出來說因?yàn)榇竽Ｐ偷囊?guī)模把這些問題放大到了極致。一個(gè)千億參數(shù)的模型前向一次要做海量的矩陣乘法和注意力計(jì)算任何一個(gè)高頻算子的效率差一點(diǎn)乘以幾十層、乘以每個(gè) token、乘以萬億級(jí)的訓(xùn)練步數(shù)最后就是電費(fèi)、顯卡租用費(fèi)、訓(xùn)練周期上的巨大差別。反過來能把顯存占用降下來就意味著同樣的卡能塞更大的 batch、更長的上下文訓(xùn)練和推理的經(jīng)濟(jì)賬完全不一樣。這就是為什么訓(xùn)練大模型的團(tuán)隊(duì)幾乎都會(huì)在算子層面投入大量工程資源——這不是什么獨(dú)家秘方而是這行的基本功。理解了這一層再來看 DeepSeek 做的事情就能更準(zhǔn)確地判斷哪些是真創(chuàng)新、哪些是把基本功做得比較狠。DeepSeek 在算子層面做的幾件事混合專家MoE里的路由與調(diào)度DeepSeek-V3 是一個(gè)混合專家模型里面有大量專家子網(wǎng)絡(luò)但每個(gè) token 每次只激活其中很小的一部分。MoE 這個(gè)架構(gòu)本身不是 DeepSeek 發(fā)明的早年的 Switch Transformer、GShard 都是這個(gè)路子。MoE 真正的難點(diǎn)恰恰就落在算子和調(diào)度層面。第一個(gè)難點(diǎn)是路由gating / router。路由器本身是一個(gè)小算子它給每個(gè) token 打分決定把它送給哪幾個(gè)專家。路由算子看起來簡(jiǎn)單但它的質(zhì)量直接決定了 MoE 的效率如果路由不準(zhǔn)token 被送去了不相關(guān)的專家等于白算如果路由太偏科某些專家被擠爆、某些專家閑著負(fù)載不均整個(gè)并行效率就垮了。DeepSeek 在路由上引入過帶負(fù)載均衡損失的輔助機(jī)制讓專家之間的負(fù)載盡量均勻這本質(zhì)上是在路由算子里加了一個(gè)約束項(xiàng)犧牲一點(diǎn)點(diǎn)單點(diǎn)最優(yōu)換整體吞吐。第二個(gè)難點(diǎn)是專家并行Expert Parallelism下的通信。當(dāng)專家分散在很多張卡上時(shí)一個(gè) token 要去找它的專家就得跨卡傳數(shù)據(jù)這就是 all-to-all 通信。all-to-all 是 MoE 訓(xùn)練里最容易被卡脖子的算子之一因?yàn)樗ㄐ帕看?、模式不?guī)則。DeepSeek 在 V3 里用了一種叫 DualPipe 的流水線并行方案核心思想是讓通信和計(jì)算盡量重疊——在等數(shù)據(jù)傳過來的時(shí)候GPU 別閑著去算下一段能算的東西。這個(gè)思路業(yè)界都有但 DeepSeek 把它做到了比較精細(xì)的程度配合它自己的流水線切分方式把氣泡bubble也就是 GPU 空轉(zhuǎn)的時(shí)間壓得比較小。所以 MoE 這塊DeepSeek 的貢獻(xiàn)更多是在超大規(guī)模下把路由、負(fù)載均衡、通信重疊這些算子和調(diào)度細(xì)節(jié)調(diào)到位而不是憑空造了一個(gè)新算子。多頭潛在注意力MLA這是 DeepSeek 在算子層面最常被提到的一項(xiàng)也確實(shí)是比較有原創(chuàng)性的改動(dòng)。先回憶標(biāo)準(zhǔn)的多頭注意力MHA和它的省顯存變體 GQA/MQA。注意力計(jì)算里每個(gè) token 會(huì)生成 Query、Key、Value 三組向量。訓(xùn)練時(shí)還好麻煩在推理為了自回歸地生成下一個(gè) token模型要把歷史上所有 token 的 Key 和 Value 都存下來這就是 KV 緩存。上下文一長、batch 一大KV 緩存能吃掉巨量顯存而且訪存帶寬會(huì)成為瓶頸——注意力算子很多時(shí)候不是算不過來是數(shù)據(jù)搬不過來。MLA 的思路是既然 KV 緩存這么占地方那我干脆把 Key 和 Value 先壓縮到一個(gè)低維的潛在向量里緩存只存這個(gè)壓縮后的低維表示算注意力時(shí)再把它解壓回高維去用。這樣緩存的體積就按壓縮比例降下來了。DeepSeek 還做了一個(gè)巧妙的設(shè)計(jì)叫解耦位置編碼——把跟位置有關(guān)的那部分單獨(dú)拿出來不塞進(jìn)壓縮的潛在向量里避免位置信息干擾壓縮效果。從算子角度看MLA 的代價(jià)是計(jì)算圖變復(fù)雜了多了一步壓縮、多了一步解壓矩陣乘法的形狀也變了。它省的是顯存和訪存但并沒有省掉計(jì)算量本身甚至因?yàn)槎嗔送队皢慰?FLOPs 可能還略增。這筆賬劃不劃算取決于你的瓶頸到底在顯存/帶寬還是在算力。對(duì)推理這種通?？ㄔ陲@存和帶寬上的場(chǎng)景MLA 是劃算的這也是為什么它主要服務(wù)于推理效率。值得說一句的是MLA 不是免費(fèi)午餐。它引入了額外的投影矩陣這些矩陣本身的訓(xùn)練和數(shù)值穩(wěn)定性需要調(diào)壓縮維度選多少也是個(gè) trade-off壓太狠會(huì)掉精度。DeepSeek 的貢獻(xiàn)在于把這套設(shè)計(jì)在大規(guī)模模型上驗(yàn)證跑通了并且給出了工程上可實(shí)現(xiàn)的算子寫法而不是停留在論文里。FP8 低精度訓(xùn)練傳統(tǒng)大模型訓(xùn)練主流用 BF16也有用 FP16 的。FP8 是更短的浮點(diǎn)數(shù)格式只有 8 位意味著同樣的顯存能存更多數(shù)、顯存帶寬要搬的數(shù)據(jù)更少、GPU 上 FP8 的矩陣乘法單元吞吐更高。聽起來很美但 8 位浮點(diǎn)數(shù)的動(dòng)態(tài)范圍和精度都非常有限直接拿來訓(xùn)練梯度、激活值很容易溢出或者下溢模型訓(xùn)著訓(xùn)著就崩了。DeepSeek 在 V3 上把 FP8 訓(xùn)練真正做到了大規(guī)?？捎眠@里面算子層面的功夫主要在兩塊。一塊是縮放scaling。FP8 表示范圍窄所以要在算之前給張量乘一個(gè)縮放因子把數(shù)值挪到 FP8 能表示的區(qū)間里算完再除回來。這個(gè)縮放因子怎么定、多久更新一次、是按張量整體縮放還是按更細(xì)的粒度比如按 block、按 channel縮放都是算子實(shí)現(xiàn)里的細(xì)節(jié)?？s放做得太粗精度丟得多做得太細(xì)開銷又上去了。另一塊是誤差補(bǔ)償和混合精度策略。不是所有算子都無腦上 FP8。DeepSeek 的做法是關(guān)鍵的、對(duì)精度敏感的環(huán)節(jié)比如某些累加、某些歸一化、損失計(jì)算保留更高精度把真正占大頭的矩陣乘法放到 FP8 上跑。同時(shí)配合一些數(shù)值穩(wěn)定的技巧讓訓(xùn)練不炸。這本質(zhì)上是在算子級(jí)別做精度的分區(qū)調(diào)度哪里能省、哪里不能省分得很細(xì)。FP8 這塊 DeepSeek 走得比較靠前是少數(shù)公開把 FP8 端到端訓(xùn)練跑通到前沿模型規(guī)模的案例之一。但也要客觀Hopper 架構(gòu)的 GPU 本身就支持 FP8 硬件加速DeepSeek 是第一個(gè)把這套硬件能力在超大規(guī)模訓(xùn)練里用出效果的團(tuán)隊(duì)之一而不是發(fā)明了 FP8 格式。底層工程手寫內(nèi)核、內(nèi)存復(fù)用、算子融合這部分最不性感但往往是效率差距的真正來源也最不像營銷話術(shù)能吹出來的——因?yàn)樗菍?shí)打?qū)嵉拇a。**算子融合kernel fusion**是常見手段把多個(gè)連續(xù)的算子合并成一個(gè) GPU 內(nèi)核減少中間結(jié)果寫回顯存再讀出來的開銷。比如把矩陣乘 加偏置 激活融成一個(gè)內(nèi)核中間結(jié)果就不用落地到顯存了。DeepSeek 在訓(xùn)練和推理?xiàng)＠锎罅坑眠@類融合。內(nèi)存復(fù)用和重計(jì)算activation recomputation / gradient checkpointing訓(xùn)練時(shí)為了省顯存不把所有中間激活都存著而是在反向傳播需要時(shí)重新算一遍。這是用計(jì)算換顯存DeepSeek 在超大規(guī)模下把這套策略和它的并行方案配合得很緊。手寫 CUDA 內(nèi)核框架自帶的通用算子往往不是針對(duì)某個(gè)特定形狀、特定硬件的最優(yōu)解。當(dāng)某個(gè)算子被調(diào)用了幾十億次手寫一個(gè)針對(duì)性的內(nèi)核把訪存模式、寄存器使用、線程塊劃分都調(diào)到貼合硬件收益就很可觀。DeepSeek 的開源代碼里能看到不少這類針對(duì)性實(shí)現(xiàn)。通信庫和并行策略的定制除了 DualPipeDeepSeek 還配合了它自己的流水線切分、張量并行、專家并行的組合方式讓不同并行維度之間的通信盡量不互相阻塞。這些都不是單個(gè)算子而是算子之上的調(diào)度層但它們最終都落到 GPU 上執(zhí)行的通信算子和計(jì)算算子的配合上。一個(gè)更冷靜的總結(jié)把上面這些串起來看DeepSeek 在算子層面的創(chuàng)新比較準(zhǔn)確的描述是它沒有發(fā)明一個(gè)橫空出世、別人完全沒想過的新算子而是把一堆業(yè)界已知的優(yōu)化方向——MoE 路由與負(fù)載均衡、注意力壓縮MLA 這一項(xiàng)原創(chuàng)性相對(duì)高、FP8 低精度訓(xùn)練、通信計(jì)算重疊、算子融合與手寫內(nèi)核——在超大規(guī)模、真實(shí)訓(xùn)練前沿模型的條件下做得比較扎實(shí)、比較省并且公開驗(yàn)證了可行性。它的成本優(yōu)勢(shì)是算法選型 工程細(xì)節(jié) 硬件適配三者一起堆出來的而不是靠某一個(gè)神奇算子一招制勝。MLA 是其中原創(chuàng)性最強(qiáng)的一個(gè)FP8 大規(guī)模訓(xùn)練是其中工程難度最高的一個(gè)DualPipe 和 MoE 調(diào)度是其中把已知思路做到極致的代表。所以與其把 DeepSeek 看成算子魔法不如把它看成一個(gè)把基本功練到極致的團(tuán)隊(duì)在別人覺得差不多就行了的底層細(xì)節(jié)上多摳了那么幾刀最后摳出了別人用不起的成本結(jié)構(gòu)。這既不神化它也不貶低它大概是描述這件事最合適的尺度。