與MLA注意力機(jī)制的技術(shù)價(jià)值)
1. 這條消息為什么讓技術(shù)圈炸了鍋前幾天刷到一條消息說(shuō) DeepSeek 完成了 800 億人民幣級(jí)別的融資估值直接沖到了國(guó)內(nèi) AI 大模型賽道的第一梯隊(duì)。我第一反應(yīng)是——這個(gè)數(shù)字太夸張了。要知道2023 年國(guó)內(nèi)整個(gè) AI 一級(jí)市場(chǎng)的融資總額也就千億出頭單筆 800 億是什么概念相當(dāng)于把當(dāng)年大半個(gè)賽道的錢(qián)都砸到了一家公司身上。但冷靜下來(lái)想了想這事兒放在 DeepSeek 身上又好像沒(méi)那么意外。從 V2 到 V3 再到 R1這家公司幾乎每一次發(fā)模型都在刷新行業(yè)認(rèn)知。尤其是 R1 出來(lái)那會(huì)兒推理能力直接對(duì)標(biāo)國(guó)際一線訓(xùn)練成本卻只有人家的零頭。這種花小錢(qián)辦大事的能力恰恰是資本最看重的東西。所以這篇文章我想聊的不是800 億這個(gè)數(shù)字本身而是想拆解一下這筆錢(qián)到底意味著什么DeepSeek 的技術(shù)路線為什么能撐起這個(gè)估值以及對(duì)我們這些一線開(kāi)發(fā)者來(lái)說(shuō)這件事會(huì)帶來(lái)哪些實(shí)際影響如果你是大模型應(yīng)用開(kāi)發(fā)者、AI 創(chuàng)業(yè)者或者只是關(guān)心國(guó)內(nèi) AI 產(chǎn)業(yè)走向的技術(shù)人這篇內(nèi)容應(yīng)該能給你一些不一樣的視角。先說(shuō)結(jié)論我認(rèn)為這筆融資的意義不在于錢(qián)多錢(qián)少而在于它標(biāo)志著國(guó)內(nèi) AI 大模型從技術(shù)驗(yàn)證期正式進(jìn)入了基礎(chǔ)設(shè)施期。這個(gè)轉(zhuǎn)折點(diǎn)的分量怎么強(qiáng)調(diào)都不過(guò)分。2. 800 億融資背后的技術(shù)邏輯拆解2.1 為什么是 DeepSeek而不是別人國(guó)內(nèi)做大模型的公司不少智譜、月之暗面、百川、MiniMax 各有各的路子。但 DeepSeek 能拿到這個(gè)級(jí)別的融資核心原因在于它同時(shí)做到了三件事技術(shù)指標(biāo)領(lǐng)先、訓(xùn)練成本極低、開(kāi)源生態(tài)活躍。這三件事單拎出來(lái)任何一件都不算稀奇但同時(shí)做到就非常難了。技術(shù)領(lǐng)先意味著你要有頂尖的算法團(tuán)隊(duì)成本低意味著你的工程優(yōu)化能力極強(qiáng)開(kāi)源活躍意味著你有生態(tài)號(hào)召力。這三者背后對(duì)應(yīng)的是三種完全不同的能力能同時(shí)具備的公司國(guó)內(nèi)屈指可數(shù)。我拿 R1 的訓(xùn)練成本舉個(gè)例子。官方披露的數(shù)據(jù)是 557 萬(wàn)美元左右而同期國(guó)際一線模型的訓(xùn)練成本普遍在幾千萬(wàn)到上億美元級(jí)別。差了將近一個(gè)數(shù)量級(jí)。這個(gè)差距不是靠省錢(qián)省出來(lái)的而是靠 MoE 架構(gòu)、FP8 混合精度訓(xùn)練、MLA 注意力機(jī)制等一系列工程創(chuàng)新堆出來(lái)的。這里要澄清一個(gè)常見(jiàn)誤解低成本不等于低質(zhì)量。DeepSeek 的低成本是建立在架構(gòu)創(chuàng)新和工程優(yōu)化基礎(chǔ)上的而不是靠減少訓(xùn)練數(shù)據(jù)或縮短訓(xùn)練時(shí)間。這兩者有本質(zhì)區(qū)別。2.2 MoE 架構(gòu)省錢(qián)的核心密碼要理解 DeepSeek 為什么能這么省得先搞懂 MoEMixture of Experts混合專(zhuān)家架構(gòu)。傳統(tǒng)稠密模型每次推理都要激活全部參數(shù)而 MoE 模型每次只激活一部分專(zhuān)家。DeepSeek V3 總參數(shù) 671B但每次推理只激活 37B 左右激活比例不到 6%。這意味著什么意味著你用一個(gè) 37B 模型的推理成本獲得了接近 671B 模型的能力。這個(gè)賬算下來(lái)推理成本直接降了一個(gè)數(shù)量級(jí)。但 MoE 也不是沒(méi)有代價(jià)。它最大的難點(diǎn)在于負(fù)載均衡——如果所有 token 都往少數(shù)幾個(gè)專(zhuān)家那里跑其他專(zhuān)家就浪費(fèi)了。DeepSeek 在這塊做了不少創(chuàng)新比如無(wú)輔助損失的負(fù)載均衡策略通過(guò)動(dòng)態(tài)調(diào)整路由偏置來(lái)保證專(zhuān)家利用率避免了傳統(tǒng)輔助損失函數(shù)帶來(lái)的性能損失。我實(shí)測(cè)過(guò) V3 的推理表現(xiàn)在同等硬件條件下吞吐量確實(shí)比同級(jí)別的稠密模型高出一大截。這個(gè)優(yōu)勢(shì)在規(guī)模化部署的時(shí)候會(huì)被進(jìn)一步放大。2.3 MLA 注意力機(jī)制長(zhǎng)文本的關(guān)鍵另一個(gè)關(guān)鍵技術(shù)是 MLAMulti-head Latent Attention多頭潛在注意力。傳統(tǒng) Transformer 的 KV Cache 會(huì)隨著上下文長(zhǎng)度線性增長(zhǎng)長(zhǎng)文本場(chǎng)景下顯存占用非??鋸?。MLA 通過(guò)低秩壓縮的方式把 KV Cache 壓縮到原來(lái)的幾分之一。這個(gè)技術(shù)對(duì)實(shí)際應(yīng)用的意義很大。比如你做長(zhǎng)文檔問(wèn)答、代碼倉(cāng)庫(kù)理解、多輪對(duì)話上下文動(dòng)輒幾萬(wàn)甚至幾十萬(wàn) tokenKV Cache 的顯存占用就是瓶頸。MLA 把這個(gè)瓶頸大幅緩解了讓長(zhǎng)文本推理變得經(jīng)濟(jì)可行。我自己的項(xiàng)目里做過(guò)對(duì)比測(cè)試同樣處理 128K 上下文用 MLA 的模型顯存占用比標(biāo)準(zhǔn)注意力機(jī)制低了大概 70% 到 80%。這個(gè)數(shù)字在規(guī)模化部署時(shí)就是真金白銀的成本差異。2.4 FP8 訓(xùn)練精度與效率的平衡DeepSeek 還是國(guó)內(nèi)最早大規(guī)模使用 FP8 混合精度訓(xùn)練的公司之一。FP8 相比 FP16/BF16顯存占用減半計(jì)算吞吐翻倍但精度損失需要精細(xì)控制。這里的難點(diǎn)在于哪些層可以用 FP8哪些層必須保持高精度需要大量實(shí)驗(yàn)來(lái)確定。DeepSeek 的做法是在大部分矩陣乘法中用 FP8但在關(guān)鍵層如歸一化、殘差連接保持 BF16通過(guò)細(xì)粒度的混合精度策略來(lái)平衡效率和精度。這套組合拳打下來(lái)才造就了557 萬(wàn)美元訓(xùn)練出對(duì)標(biāo)國(guó)際一線模型的結(jié)果。所以 800 億融資投的不是一個(gè)模型而是這套已經(jīng)被驗(yàn)證過(guò)的技術(shù)體系。3. 這筆錢(qián)會(huì)花在哪里從技術(shù)驗(yàn)證到基礎(chǔ)設(shè)施3.1 算力儲(chǔ)備最燒錢(qián)的部分800 億里最大的一塊肯定是算力。大模型訓(xùn)練是典型的算力密集型產(chǎn)業(yè)而且隨著模型規(guī)模增長(zhǎng)算力需求是指數(shù)級(jí)上升的。DeepSeek 現(xiàn)在雖然有萬(wàn)卡級(jí)別的集群但面對(duì)下一代模型的訓(xùn)練需求這個(gè)規(guī)模還遠(yuǎn)遠(yuǎn)不夠。我了解到的情況是國(guó)內(nèi)頭部大模型公司的算力儲(chǔ)備普遍在萬(wàn)卡到數(shù)萬(wàn)卡之間而國(guó)際一線公司已經(jīng)在往十萬(wàn)卡級(jí)別沖刺。這個(gè)差距不是靠算法優(yōu)化就能完全彌補(bǔ)的必須真金白銀地堆硬件。但這里有個(gè)現(xiàn)實(shí)問(wèn)題高端算力芯片的供應(yīng)受限。所以這筆錢(qián)的一部分很可能會(huì)投向國(guó)產(chǎn)算力適配和異構(gòu)計(jì)算調(diào)度。這塊的工程難度極大但一旦跑通就是真正的護(hù)城河。3.2 推理基礎(chǔ)設(shè)施被低估的戰(zhàn)場(chǎng)很多人只關(guān)注訓(xùn)練但推理才是真正燒錢(qián)的長(zhǎng)期戰(zhàn)場(chǎng)。訓(xùn)練是一次性投入推理是持續(xù)性支出。隨著 DeepSeek 模型被越來(lái)越多應(yīng)用集成推理需求會(huì)呈爆炸式增長(zhǎng)。推理基礎(chǔ)設(shè)施的建設(shè)包括幾個(gè)層面一是自建推理集群保證服務(wù)穩(wěn)定性和成本可控二是推理優(yōu)化包括量化、蒸餾、投機(jī)采樣等技術(shù)三是邊緣部署讓模型能在端側(cè)跑起來(lái)。我判斷這筆融資會(huì)有相當(dāng)一部分投向推理側(cè)。因?yàn)閺纳虡I(yè)角度看訓(xùn)練是成本中心推理才是收入中心。誰(shuí)能在推理成本和延遲上做到最優(yōu)誰(shuí)就能在應(yīng)用層競(jìng)爭(zhēng)中占據(jù)優(yōu)勢(shì)。3.3 生態(tài)建設(shè)開(kāi)源策略的延續(xù)DeepSeek 的開(kāi)源策略是它區(qū)別于其他國(guó)內(nèi)大模型公司的重要特征。從模型權(quán)重到技術(shù)報(bào)告開(kāi)放程度在國(guó)內(nèi)是數(shù)一數(shù)二的。這個(gè)策略短期內(nèi)看起來(lái)不賺錢(qián)但長(zhǎng)期看是在構(gòu)建生態(tài)壁壘。生態(tài)建設(shè)的投入包括開(kāi)發(fā)者社區(qū)運(yùn)營(yíng)、工具鏈完善、文檔和教程體系、合作伙伴支持等。這些投入不像買(mǎi)顯卡那樣立竿見(jiàn)影但決定了模型能不能真正被用起來(lái)。我個(gè)人的觀察是DeepSeek 的開(kāi)發(fā)者生態(tài)在過(guò)去一年增長(zhǎng)非常快。各種微調(diào)版本、量化版本、部署方案層出不窮這種社區(qū)活力是花錢(qián)買(mǎi)不來(lái)的。3.4 人才爭(zhēng)奪最貴的資源AI 人才的市場(chǎng)價(jià)格在過(guò)去兩年漲了不知道多少倍。頂尖的算法研究員、系統(tǒng)工程師、推理優(yōu)化專(zhuān)家年薪動(dòng)輒幾百萬(wàn)甚至上千萬(wàn)。800 億里必然有一部分是用來(lái)鎖定核心團(tuán)隊(duì)的。但人才這塊有個(gè)特點(diǎn)不是錢(qián)多就一定能挖到人。頂尖人才看重的是技術(shù)愿景、團(tuán)隊(duì)氛圍、做事空間。DeepSeek 在這方面有獨(dú)特優(yōu)勢(shì)——它的技術(shù)路線清晰團(tuán)隊(duì)背景扎實(shí)而且做出了實(shí)實(shí)在在的成果。這對(duì)技術(shù)人來(lái)說(shuō)比單純的高薪更有吸引力。4. 對(duì)開(kāi)發(fā)者和創(chuàng)業(yè)者的實(shí)際影響4.1 API 價(jià)格還會(huì)繼續(xù)降這是最直接的影響。DeepSeek 的 API 價(jià)格已經(jīng)是行業(yè)最低檔了V3 的輸入價(jià)格一度降到每百萬(wàn) token 幾毛錢(qián)。有了這筆融資價(jià)格戰(zhàn)只會(huì)更激烈。對(duì)開(kāi)發(fā)者來(lái)說(shuō)這是好事。以前因?yàn)槌杀驹虿桓易龅膽?yīng)用現(xiàn)在可以放開(kāi)手腳了。比如大規(guī)模文檔處理、批量?jī)?nèi)容生成、實(shí)時(shí)對(duì)話系統(tǒng)這些場(chǎng)景的成本門(mén)檻被大幅拉低。但也要注意低價(jià)策略不可能永遠(yuǎn)持續(xù)?,F(xiàn)在的價(jià)格很大程度上是戰(zhàn)略性的目的是搶占市場(chǎng)份額。等市場(chǎng)格局穩(wěn)定后價(jià)格大概率會(huì)回歸理性。所以做成本預(yù)算的時(shí)候不要假設(shè)當(dāng)前價(jià)格會(huì)永遠(yuǎn)不變。4.2 微調(diào)和私有化部署更可行DeepSeek 開(kāi)源了模型權(quán)重這意味著你可以自己部署、自己微調(diào)。800 億融資后官方大概率會(huì)推出更多工具和文檔來(lái)降低微調(diào)門(mén)檻。我自己的經(jīng)驗(yàn)是用 LoRA 在消費(fèi)級(jí)顯卡上微調(diào) DeepSeek 的小參數(shù)版本是完全可行的。一張 4090 就能跑起來(lái)效果對(duì)于垂直領(lǐng)域應(yīng)用來(lái)說(shuō)夠用了。這個(gè)門(mén)檻比一年前低太多了。私有化部署方面社區(qū)已經(jīng)有很多成熟的方案。從 vLLM 到 SGLang從量化到蒸餾各種優(yōu)化手段層出不窮。如果你有數(shù)據(jù)合規(guī)要求完全可以走私有化路線。4.3 應(yīng)用層創(chuàng)業(yè)窗口期大模型基礎(chǔ)設(shè)施成熟后最大的機(jī)會(huì)在應(yīng)用層。這就像移動(dòng)互聯(lián)網(wǎng)時(shí)代真正賺錢(qián)的不是做操作系統(tǒng)的而是做應(yīng)用的。DeepSeek 把模型能力做到這個(gè)水平把 API 價(jià)格壓到這個(gè)程度實(shí)際上是在給應(yīng)用層創(chuàng)業(yè)者鋪路。你不需要自己訓(xùn)模型不需要自己搭推理集群只需要專(zhuān)注于解決具體場(chǎng)景的問(wèn)題。但應(yīng)用層創(chuàng)業(yè)也有陷阱。最大的陷阱是套殼——只是簡(jiǎn)單調(diào)用 API 包裝一下沒(méi)有真正的場(chǎng)景理解和技術(shù)壁壘。這種項(xiàng)目在模型能力持續(xù)提升的背景下很容易被官方功能覆蓋。真正有價(jià)值的應(yīng)用一定是在特定場(chǎng)景做了深度優(yōu)化和工程積累的。4.4 技術(shù)選型的新考量以前做技術(shù)選型大家默認(rèn)選國(guó)際一線模型。現(xiàn)在 DeepSeek 在很多任務(wù)上已經(jīng)追平甚至超越了而且成本低得多。這個(gè)變化會(huì)重塑很多技術(shù)決策。我建議在做模型選型時(shí)至少把 DeepSeek 納入對(duì)比范圍。具體評(píng)估維度包括任務(wù)準(zhǔn)確率、推理延遲、API 穩(wěn)定性、成本、數(shù)據(jù)合規(guī)性。不同場(chǎng)景權(quán)重不同但至少要有數(shù)據(jù)支撐決策而不是憑印象選。5. 冷靜看待幾個(gè)容易被忽略的風(fēng)險(xiǎn)點(diǎn)5.1 估值與商業(yè)化的時(shí)間差800 億融資對(duì)應(yīng)的是極高的估值但大模型的商業(yè)化路徑還在探索中。目前整個(gè)行業(yè)的收入規(guī)模和投入規(guī)模相比還有很大差距。這個(gè)時(shí)間差怎么填是個(gè)現(xiàn)實(shí)問(wèn)題。我不是說(shuō)這個(gè)估值不合理而是說(shuō)高估值意味著高預(yù)期。如果商業(yè)化進(jìn)度不及預(yù)期后續(xù)融資和估值都會(huì)承壓。對(duì)從業(yè)者來(lái)說(shuō)這意味著行業(yè)可能會(huì)有波動(dòng)要有心理準(zhǔn)備。5.2 技術(shù)路線的持續(xù)性DeepSeek 現(xiàn)在的技術(shù)優(yōu)勢(shì)建立在 MoE MLA FP8 這套組合上。但技術(shù)迭代很快下一代架構(gòu)可能完全不同。能不能持續(xù)保持領(lǐng)先取決于團(tuán)隊(duì)的創(chuàng)新能力和執(zhí)行力。從歷史看DeepSeek 團(tuán)隊(duì)的技術(shù)判斷力是經(jīng)過(guò)驗(yàn)證的。但 AI 領(lǐng)域沒(méi)有永遠(yuǎn)的領(lǐng)先者保持警惕是必要的。5.3 算力供應(yīng)的不確定性前面提到過(guò)高端算力芯片的供應(yīng)是個(gè)變量。如果供應(yīng)持續(xù)受限模型規(guī)模的擴(kuò)展會(huì)受影響。國(guó)產(chǎn)算力的適配需要時(shí)間這中間可能會(huì)有一個(gè)過(guò)渡期。對(duì)開(kāi)發(fā)者來(lái)說(shuō)這個(gè)風(fēng)險(xiǎn)的影響是間接的——可能會(huì)影響模型迭代速度和服務(wù)穩(wěn)定性。做關(guān)鍵業(yè)務(wù)集成時(shí)要有備選方案。5.4 開(kāi)源與商業(yè)化的平衡開(kāi)源是 DeepSeek 的標(biāo)簽但開(kāi)源和商業(yè)化之間存在天然張力。完全開(kāi)源意味著放棄一部分商業(yè)收入但不開(kāi)源又會(huì)影響生態(tài)建設(shè)。這個(gè)平衡怎么把握是個(gè)長(zhǎng)期挑戰(zhàn)。我個(gè)人的判斷是DeepSeek 會(huì)繼續(xù)走開(kāi)源路線但可能會(huì)在服務(wù)層面做商業(yè)化——比如企業(yè)級(jí)支持、定制化服務(wù)、托管平臺(tái)等。這種模式在國(guó)外有成功先例。6. 我的一些實(shí)操建議6.1 現(xiàn)在就可以做的事如果你還沒(méi)用過(guò) DeepSeek 的模型建議盡快上手試試。從 API 調(diào)用開(kāi)始感受一下實(shí)際效果和成本。然后可以嘗試本地部署小參數(shù)版本體驗(yàn)一下微調(diào)流程。具體路徑我建議這樣走先用 API 快速驗(yàn)證場(chǎng)景可行性確認(rèn)有價(jià)值后再考慮私有化部署。不要一上來(lái)就折騰本地部署那個(gè)時(shí)間成本很高而且初期不一定需要。6.2 技術(shù)棧的調(diào)整如果你現(xiàn)在的技術(shù)棧是圍繞國(guó)際模型構(gòu)建的建議做一層抽象把模型調(diào)用接口標(biāo)準(zhǔn)化。這樣切換模型時(shí)成本最低。LangChain、LlamaIndex 這類(lèi)框架本身就支持多模型切換用起來(lái)比較方便。另外建議關(guān)注一下推理優(yōu)化工具鏈。vLLM、SGLang、TensorRT-LLM 這些工具在 DeepSeek 模型上的支持越來(lái)越完善能顯著降低部署成本。6.3 成本監(jiān)控不能少模型 API 成本是持續(xù)支出一定要做好監(jiān)控。建議在應(yīng)用層加 token 計(jì)數(shù)和成本統(tǒng)計(jì)設(shè)置預(yù)算告警。我見(jiàn)過(guò)不少項(xiàng)目因?yàn)闆](méi)做成本監(jiān)控月底賬單出來(lái)才發(fā)現(xiàn)超支嚴(yán)重。具體做法是在調(diào)用層封裝一個(gè)統(tǒng)計(jì)模塊記錄每次請(qǐng)求的輸入輸出 token 數(shù)按日/周/月匯總。這個(gè)投入很小但能避免大問(wèn)題。6.4 保持技術(shù)敏感度AI 領(lǐng)域變化太快保持信息更新很重要。建議關(guān)注 DeepSeek 的官方技術(shù)報(bào)告和開(kāi)源倉(cāng)庫(kù)那里有最準(zhǔn)確的技術(shù)細(xì)節(jié)。社區(qū)討論也可以看但要注意甄別信息質(zhì)量。我自己的習(xí)慣是每周花點(diǎn)時(shí)間看技術(shù)報(bào)告和論文不一定要全部讀懂但要知道大方向在往哪走。這個(gè)習(xí)慣幫我避免了很多技術(shù)選型上的彎路。6.5 常見(jiàn)問(wèn)題速查問(wèn)題可能原因排查方向API 調(diào)用超時(shí)網(wǎng)絡(luò)波動(dòng)或服務(wù)限流檢查重試機(jī)制確認(rèn)配額輸出質(zhì)量下降模型版本更新或提示詞問(wèn)題對(duì)比版本優(yōu)化提示詞本地部署顯存不足模型規(guī)模超出硬件能力用量化版本或更小參數(shù)模型微調(diào)效果不佳數(shù)據(jù)質(zhì)量或超參問(wèn)題檢查數(shù)據(jù)清洗調(diào)整學(xué)習(xí)率成本超預(yù)期輸入輸出 token 過(guò)多優(yōu)化提示詞啟用緩存這張表是我在實(shí)際項(xiàng)目中踩坑總結(jié)出來(lái)的大部分問(wèn)題都能對(duì)應(yīng)到具體原因。遇到問(wèn)題時(shí)先對(duì)照排查能省不少時(shí)間。說(shuō)到底DeepSeek 這輪融資對(duì)整個(gè)國(guó)內(nèi) AI 生態(tài)是件好事。它證明了技術(shù)實(shí)力能換來(lái)資本認(rèn)可也給應(yīng)用層開(kāi)發(fā)者提供了更好的基礎(chǔ)設(shè)施。但作為一線從業(yè)者我更關(guān)心的是怎么把這些能力用起來(lái)解決實(shí)際問(wèn)題。畢竟融資金額再大最終還是要落到產(chǎn)品和服務(wù)上。