這兩年只要聊到 AI 基礎(chǔ)設(shè)施繞不開的一個議題就是“國產(chǎn)算力到底能不能頂上去”。我在不少客戶的機房和選型會里泡過從最開始大家拿著加速卡跑跑小模型試試水到后來滿世界找資源訓(xùn)練千億參數(shù)模型整條產(chǎn)業(yè)鏈的心態(tài)已經(jīng)發(fā)生了明顯變化。今天這篇就專門做一次競品分析不吹不黑從份額替代、供給瓶頸和生態(tài)競爭這三個最核心的維度把國產(chǎn) AI 算力芯片目前的真實格局拆開來講。如果你正在做技術(shù)選型、資源規(guī)劃或者單純想了解國產(chǎn)加速卡的底細這篇文章會給你一套可用的分析框架和排查思路。我會盡可能用從業(yè)者之間的語言把那些公開文檔里不會寫清楚的“暗坑”和實際經(jīng)驗一并放出來。1. 競爭格局表面百花齊放實際已經(jīng)分出三個梯隊1.1 市場參與者全景掃描國產(chǎn) AI 算力芯片這個賽道參與者數(shù)量在過去三年暴增但真正有規(guī)模落地案例的其實屈指可數(shù)。我們從產(chǎn)品形態(tài)和定位上可以分三類第一類是通用訓(xùn)練加速卡面向大模型預(yù)訓(xùn)練、微調(diào)這類重負載場景性能對標(biāo)主流國際產(chǎn)品但架構(gòu)完全自主。這類產(chǎn)品通常采用高帶寬顯存、先進封裝支持超大規(guī)模集群互聯(lián)是當(dāng)前政企大單的主力。第二類是推理加速卡專門服務(wù)大模型在線推理、AIGC 應(yīng)用、傳統(tǒng) CV/NLP 推理等場景不追求極限訓(xùn)練吞吐而是更關(guān)注單卡并發(fā)能力、時延、功耗和性價比。這類產(chǎn)品在互聯(lián)網(wǎng)公司內(nèi)部的推薦系統(tǒng)、智能客服、代碼助手等業(yè)務(wù)里滲透很快。第三類是邊緣/端側(cè) NPU通常部署在智算一體機、智能攝像頭、機器人等場景算力密度要求不高主打低功耗和軟硬一體。這類芯片技術(shù)門檻相對低但市場空間分散競爭最混亂。從公開信息和企業(yè)調(diào)研的交叉驗證來看國內(nèi)真正能量產(chǎn)供貨、支撐千卡級集群訓(xùn)練的芯片目前只有少數(shù)幾家。其他大量創(chuàng)業(yè)公司還停留在送測、適配階段無法形成有效供給。可以說市場已經(jīng)渡過了“講故事”的階段進入了“拼交付”的淘汰期。1.2 份額格局的分化信號我們看 2024 到 2025 年的公開招標(biāo)和中標(biāo)數(shù)據(jù)一個非常明顯的趨勢是推理芯片的國產(chǎn)化率已經(jīng)接近甚至超過五成而訓(xùn)練芯片的國產(chǎn)化率仍然不足兩成。這說明“份額替代”并不是同步發(fā)生的而是按“易到難”的路徑遞進。最容易替代的是那些生態(tài)依賴淺、模型規(guī)模小、框架耦合度低的應(yīng)用。例如圖像分類、目標(biāo)檢測、經(jīng)典 NLP 任務(wù)這些場景模型結(jié)構(gòu)固定算子相對標(biāo)準用國產(chǎn)芯片替換時只需要重新編譯和微調(diào)精度。而大模型訓(xùn)練場景因為涉及分布式并行策略、顯存管理、斷點續(xù)訓(xùn)、專家并行等復(fù)雜機制對芯片廠商的軟件棧和集群穩(wěn)定性要求極高替代成本明顯高一個量級。由此形成了很清晰的梯隊格局第一梯隊擁有自研軟件棧完整閉環(huán)、能夠交付千卡集群訓(xùn)練方案的頭部玩家。第二梯隊產(chǎn)品和落地案例具備一定規(guī)模但在高性能計算、集群互聯(lián)等關(guān)鍵能力上有明顯短板。第三梯隊仍以板卡或 IP 授權(quán)形式存在實際量產(chǎn)和生態(tài)整合能力存疑。我自己的判斷是未來兩年這個格局會繼續(xù)分化第一梯隊和第二梯隊的差距會拉大第三梯隊大部分會被并購或邊緣化。原因后面深入分析。2. 份額替代路徑從可用到好用替代順序有跡可循2.1 為什么替代不了一蹴而就很多不在一線的人對芯片替代有一個誤解覺得只要單卡跑分接近國際產(chǎn)品就能直接換上去。但實際部署中你會遇到一連串問題通信庫是否支持大規(guī)模集合通信框架補丁是否跟上了最新版本的 PyTorch混合精度下的數(shù)值對齊是否沒問題算子缺失時能不能及時補上這些問題決定了芯片是“能跑”還是“好用”。我在某個單位測過一款國產(chǎn)芯片單卡推理性能在當(dāng)時確實達到了國際主流產(chǎn)品的九成。但等到做 64 卡分布式推理服務(wù)時并行拆分的效率驟降最終整系統(tǒng)吞吐不到國際方案的七成。問題不在單卡算力而是芯片互聯(lián)的集合通信延遲和算子庫多卡擴展性沒有跟上。這給我們提了個醒評估替代潛力必須從“系統(tǒng)視角”看而不是只盯著芯片本身。所以替代實際是分層的第一層應(yīng)用層替代。程序按原樣跑在國產(chǎn)芯片上通常需要進行代碼級適配。第二層框架層替代。利用國產(chǎn)芯片廠商提供的框架補丁或定制版 PyTorch/TensorFlow。第三層引擎層替代。使用廠商自研的編譯器與運行時將計算圖自動調(diào)度到底層硬件。第四層系統(tǒng)層替代。從集群調(diào)度、通信庫、存儲、容錯機制全面一體化設(shè)計。現(xiàn)在能做到第四層的廠商極少大部分只是停留在第二層到第三層之間。這也是很多用戶抱怨“支持了但不絲滑”的根本原因。2.2 最佳實踐的替代切入點結(jié)合我們過去實操的多個遷移項目我總結(jié)了三條有效的替代路徑路徑一從在線推理切入。推理類任務(wù)模型結(jié)構(gòu)固定、交互邏輯清晰不需要龐大的分布式訓(xùn)練集群。而且推理業(yè)務(wù)通常有業(yè)務(wù)側(cè)降級預(yù)案即使芯片出問題也不會造成全局業(yè)務(wù)中斷。先把非核心推理業(yè)務(wù)遷過去攢運維經(jīng)驗是最穩(wěn)妥的做法。路徑二從中小模型微調(diào)切入。百億參數(shù)以下的模型微調(diào)對顯存、通信、框架擴展性的要求相對溫和。很多國產(chǎn)芯片支持 lora、qlora 這類參數(shù)高效微調(diào)算法遷移成本遠低于從頭預(yù)訓(xùn)練。把微調(diào)跑通了再逐步擴展到增量預(yù)訓(xùn)練最后再挑戰(zhàn)全量預(yù)訓(xùn)練。路徑三從“新業(yè)務(wù)場景”切入而不是存量替換。如果你在做一個全新的 AI 應(yīng)用沒有歷史包袱用國產(chǎn)芯片構(gòu)建整個技術(shù)棧反而比遷移舊系統(tǒng)更平滑。很多互聯(lián)網(wǎng)大廠和智算中心新建項目現(xiàn)在都是首選國產(chǎn)方案這也是份額替代最快的增長點。我再強調(diào)一個反面教訓(xùn)不要在沒有充分驗證前把核心訓(xùn)練任務(wù)“突襲式”遷移到國產(chǎn)平臺。一旦遇到隱性故障例如通信超時、顯存泄漏、浮點差異累積排查成本極高很可能會導(dǎo)致項目延期甚至整體失敗。替代應(yīng)該像切香腸一小塊一小塊穩(wěn)定落地。3. 供給瓶頸卡脖子的不只是光刻機3.1 產(chǎn)能與良率約束國產(chǎn) AI 芯片面臨的供給瓶頸很多人第一反應(yīng)是先進制程受限。這個確實存在但并不是唯一的限制。實際上在晶圓制造之外先進封裝和 HBM 存儲也是兩座大山。以當(dāng)前最強的國產(chǎn)訓(xùn)練芯片為例它們普遍采用較高規(guī)格的 CoWoS 2.5D 封裝技術(shù)需要將計算裸片和多個高帶寬顯存堆疊集成在同一基板上。這種封裝工藝產(chǎn)能原本就緊張國內(nèi)具備量產(chǎn)能力的封裝廠數(shù)量有限交期一度拉長到半年以上。再加上高帶寬顯存主要依賴少數(shù)幾個海外供應(yīng)商供需缺口非常明顯。這意味著即使設(shè)計端完全自主供應(yīng)鏈的任何一環(huán)波動比如某個基板材料缺貨或者某種高頻 PCB 型號停產(chǎn)都會直接影響整卡交付。我們在客戶項目中就遇到過因為封裝基板臨時缺料導(dǎo)致整批訂單延誤的情況那種等待的滋味非常難受。良率方面越大的計算核心良率挑戰(zhàn)越大。GPU 類芯片面積動輒 800 平方毫米以上在現(xiàn)有工藝條件下的良率本就不高設(shè)計上哪怕存在一個熱密度分布不均的模塊也會導(dǎo)致成品率進一步下滑。多數(shù)國產(chǎn)芯片廠商通過多芯片模塊化互聯(lián)來規(guī)避對大裸片的依賴但這又引入了額外的封裝復(fù)雜度和功耗開銷是另一個需要權(quán)衡的問題。3.2 供應(yīng)彈性和利潤悖論從產(chǎn)業(yè)經(jīng)濟學(xué)的角度來看芯片供給瓶頸還有一個無形的因素利潤與產(chǎn)能投資的剪刀差。訓(xùn)練芯片制造成本高企但客戶壓價能力很強尤其是大單集采時單價甚至可能被壓至成本線附近。如果單芯片毛利不夠廠商就很難持續(xù)在先進封裝和測試產(chǎn)線上加大投入供給彈性自然受限。這里存在一個動態(tài)循環(huán)量越小邊際成本越高價格難降又反過來限制放量。解決這個問題的關(guān)鍵一是靠大規(guī)模標(biāo)準化產(chǎn)品攤薄成本二是靠軟件和服務(wù)收入形成第二曲線。目前國內(nèi)還沒有哪個廠商真正跑通“硬件虧錢、軟件賺錢”的模式大家都在硬件毛利和生態(tài)投入之間艱難尋找平衡。我建議關(guān)注國產(chǎn)算力市場的朋友不要只盯芯片發(fā)布會上的峰值算力參數(shù)更應(yīng)該關(guān)注每個季度“真實出貨量”和“可持續(xù)現(xiàn)金流”。一個不能自我造血的芯片公司哪怕性能再亮眼也難支撐長期演進和售后技術(shù)團隊建設(shè)。4. 生態(tài)競爭決定勝負的“軟件護城河”4.1 從 CUDA 慣性到國產(chǎn)軟件棧的現(xiàn)狀做技術(shù)選型的人都清楚AI 芯片的硬件只是骨架軟件生態(tài)才是血肉。生態(tài)環(huán)境決定了開發(fā)者的遷移成本、運行效率、調(diào)試體驗和長期演進能力。然而對于國產(chǎn)芯片來說最大的競爭阻力不是性能而是用戶對成熟生態(tài)的舒適依賴。國際主流的 GPU 計算生態(tài)已經(jīng)非常成熟CUDA 加上其上層的各類算子庫、通信庫、深度學(xué)習(xí)框架擴展形成了硬性習(xí)慣。很多算法工程師寫代碼時根本不用刻意考慮底層算力默認所有算數(shù)都是開箱即用的。國產(chǎn)芯片如果只提供“兼容層”或“翻譯層”在性能和功能完整性上很容易打折扣。如果提供自研原生的編程模型又面臨開發(fā)者學(xué)習(xí)成本和工具鏈不全的問題。目前國產(chǎn)芯片廠商的軟件棧路線基本分為兩種一種是“兼容派”。盡量兼容現(xiàn)有生態(tài)讓原有程序少改甚至不改就能運行。優(yōu)點是遷移成本低缺點是性能往往落后于原生方案且對復(fù)雜新特性的支持滯后。這種路線適合快速搶占傳統(tǒng)推理和中小訓(xùn)練份額。另一種是“原生派”。構(gòu)建自有的編程語言、編譯器、算子庫和通信框架做深度優(yōu)化。優(yōu)點是能夠充分挖掘硬件潛力長期上限高但開發(fā)者需要重新學(xué)習(xí)和適配前期推廣困難。適合有平臺型大客戶、敢于做技術(shù)改造的關(guān)鍵領(lǐng)域。從我實際接觸到的項目來看市面上產(chǎn)品化程度高的幾款國產(chǎn)芯片都采用了混合策略對外盡可能兼容主流生態(tài)的接口對內(nèi)建立了自己的編譯優(yōu)化層。差異主要體現(xiàn)在兼容的徹底性、算子覆蓋率和集群調(diào)動能力上。4.2 生態(tài)競爭的核心指標(biāo)拆解如果要用一套可量化的指標(biāo)去評價芯片生態(tài)競爭力我會重點關(guān)注四件事算子覆蓋率和精度對齊度。給定一個常用的視覺/語言模型跑在國產(chǎn)芯片上是否能夠成功編譯有多少算子需要降級到自定義實現(xiàn)FP16/BF16 結(jié)果與參考實現(xiàn)之間的誤差是否在合理范圍。這個指標(biāo)直接決定了模型的“開箱即用”程度?？蚣苓m配的版本滯后度。當(dāng) PyTorch 發(fā)布新版本后國產(chǎn)芯片的適配補丁多久能跟上如果滯后超過一個季度就意味著開發(fā)者無法使用最新的模型結(jié)構(gòu)和訓(xùn)練技巧這在快速迭代的大模型時代幾乎是致命的。多卡互聯(lián)效率。千卡集群訓(xùn)練時集合通信的擴展效率是否隨卡數(shù)增加保持線性或近似線性增長。真實測試中很多國產(chǎn)芯片在 128 卡以內(nèi)表現(xiàn)不錯但擴展到 512 卡以上通信瓶頸就變得非常明顯。調(diào)試和診斷工具的完整度。包括性能分析器、顯存分析工具、算子耗時剖析、故障定位工具等。這些工具對生產(chǎn)級系統(tǒng)至關(guān)重要但又容易被忽視。沒有一套好用的性能分析工具開發(fā)者在排查性能問題時就像蒙眼開車效率極低。從我們實際評測的數(shù)據(jù)來看頭部國產(chǎn)芯片在算子覆蓋率上已經(jīng)可以達到常用模型需求覆蓋九成以上精度對齊也能控制在可接受的誤差范圍內(nèi)。但在多卡互聯(lián)效率和工具鏈完善度上與國際主流還有明顯差距。這也是當(dāng)前生態(tài)競爭中最值得發(fā)力的部分。4.3 平臺治理與生態(tài)撕裂風(fēng)險這里我還想提一個行業(yè)層面的隱憂不同國產(chǎn)芯片之間的生態(tài)是碎片化的。每家公司都有自己的底層工具鏈編程語言和加速接口互不相同導(dǎo)致同一個算法要維護多個版本。對于開發(fā)者而言如果每個國產(chǎn)平臺都得重寫一遍底層優(yōu)化代碼那么生態(tài)永遠做不大。真正的生態(tài)爆發(fā)點應(yīng)該是出現(xiàn)一個“公共抽象層”類似于 Linux 內(nèi)核為各種硬件架構(gòu)提供的統(tǒng)一接口?，F(xiàn)在已經(jīng)有一些開源項目試圖扮演這個角色例如通過編譯器層把深度學(xué)習(xí)模型統(tǒng)一表示再分發(fā)給不同后端。但由于各芯片廠商的商業(yè)利益和硬件差異推進速度并不理想。我認為未來的競爭一定會走向“平臺級”的較量。一家芯片公司如果只賣硬件沒有把開發(fā)者體驗、開源社區(qū)治理、ISV 合作體系做起來最終只會在政企定制單中打轉(zhuǎn)很難進入互聯(lián)網(wǎng)規(guī)?；逃玫闹鲬?zhàn)場。5. 常見問題與排查技巧實錄5.1 模型遷移后性能不達預(yù)期這是我在各種國產(chǎn)算力遷移項目中遇到最多的問題。模型能跑吞吐和時延卻遠不如預(yù)期用戶第一反應(yīng)往往是芯片算力不夠但實際排查下來大多數(shù)原因集中在三方面一是算子未融合。很多國產(chǎn)框架對計算圖的優(yōu)化不夠激進小算子逐個啟動內(nèi)核啟動開銷被過度放大尤其在卷積和注意力這類頻繁調(diào)用小算子的模型中表現(xiàn)很明顯。排查方法是用性能分析工具看內(nèi)核耗時占比如果空閑等待和調(diào)度耗時過高可以嘗試開啟算子融合策略或者手動將某些小算子替換為稀疏注意力融合調(diào)用。二是數(shù)據(jù)搬運瓶頸。模型反復(fù)在顯存和片外存儲間搬移中間數(shù)據(jù)計算核心長期空閑。這種情況在超大模型推理中很常見。解決思路是調(diào)整算子融合策略、使用持久化 kernel 進行在線計算或者減少中間結(jié)果的落盤頻率。三是多進程干擾。很多國產(chǎn)芯片在單機多卡場景下如果每個進程的 CPU 綁定、內(nèi)存分配、PCIe 通道沒有手工規(guī)劃很容易出現(xiàn)資源爭搶導(dǎo)致吞吐嚴重下降。建議先做單進程單卡基線測試再逐步增加進程數(shù)看性能曲線是否平滑。5.2 分布式訓(xùn)練出現(xiàn)卡死或掉卡另一個高頻現(xiàn)場是訓(xùn)練任務(wù)跑了幾個小時后突然卡死或者某些計算節(jié)點從集群中被標(biāo)記為“失聯(lián)”。這種情況在國產(chǎn)大集群中尤其常見原因是多方面的。一般排查第一步是檢查日志中的通信超時記錄確認是網(wǎng)絡(luò)問題還是節(jié)點僵死。如果是網(wǎng)絡(luò)問題常見原因是交換機的隊列緩存不足或者是網(wǎng)卡和交換機的自動協(xié)商異常。很多團隊在組網(wǎng)時使用了舊型號交換機和新型高速網(wǎng)卡混搭子網(wǎng) MTU 配置不一致就會觸發(fā)偶發(fā)性的丟包和重傳風(fēng)暴。如果是計算節(jié)點僵死則要注意是否為散熱和供電問題。AI 加速卡的功率密度極高若機房空調(diào)設(shè)計余量不足在夏季高溫時段節(jié)點容易溫度過高觸發(fā)保護性降頻甚至死機。機房運維監(jiān)測數(shù)據(jù)要和訓(xùn)練日志比對而不是單獨看某一項指標(biāo)。從我的經(jīng)驗來說國產(chǎn)芯片的驅(qū)動和固件線更新速度快偶爾會有未發(fā)版本的隱藏更新建議在訓(xùn)練前先做一次 24 小時壓力測試檢查穩(wěn)定性和溫度曲線確認沒有問題再跑長任務(wù)。有些問題在單卡測試中根本不會暴露只有在多卡滿負載持續(xù)運行后才顯現(xiàn)出來。5.3 算子缺失或精度不一致的處置策略算子庫覆蓋不全是所有國產(chǎn)替代中必然要面對的問題。我的建議是先區(qū)分是缺算子還是算子精度不對。缺算子時最簡單的方法是回退到通用實現(xiàn)。通?？蚣軙幸粋€開關(guān)允許使用參考實現(xiàn)或自動生成的低效內(nèi)核。這種方式可以保證功能完整但性能會明顯下降。這時候可以找廠商爭取定制內(nèi)核或者用組合算子去推導(dǎo)等價表達。比如某些激活函數(shù)和歸一化的組合可以通過修改計算圖融合成更底層運算既能避開缺失算子還可能獲得更好的并行效率。精度不一致的情況更微妙。有時模型訓(xùn)練結(jié)果會比國際平臺差并不是芯片硬件有問題而是默認的數(shù)值累加順序和近似算法有差異。遇到這種情況建議逐層比較激活值和梯度值定位差異的源頭。多數(shù)時候調(diào)整混合精度策略或者修改歸一化層的實現(xiàn)方式就能解決問題。如果差異一直無法控制就要檢查是否有非確定性算法參與比如某些原子操作在多線程下順序不可控這類問題可以通過固定隨機種子和確定性算子開關(guān)來規(guī)避。5.4 選型決策速查表評估維度優(yōu)先考察項注意事項單卡性能FLOPs、內(nèi)存帶寬、TDP、顯存容量峰值指標(biāo)需結(jié)合真實模型驗證不能只看紙面參數(shù)集群能力多卡通信帶寬、集合通信庫效率、千卡穩(wěn)定度要求廠商提供真實多卡測試報告并做現(xiàn)場壓測軟件生態(tài)算子覆蓋率、框架適配版本、調(diào)試工具完整性用目標(biāo)業(yè)務(wù)模型做遷移測試確認所有算子覆蓋供應(yīng)鏈穩(wěn)定性芯片交付周期、封裝產(chǎn)能、存儲資源供給情況關(guān)注供應(yīng)商的良率穩(wěn)定性和長期供貨承諾避免斷供風(fēng)險服務(wù)能力本地技術(shù)支持團隊規(guī)模、響應(yīng)時效、定制能力建議在本地部署環(huán)境中放入開發(fā)協(xié)作流程實習(xí)感受響應(yīng)速度長期演進芯片架構(gòu)代際規(guī)劃、軟件棧路線圖、社區(qū)活躍度看開源版本更新頻率和開發(fā)者反饋處理的公開記錄6. 格局分化之后我們該怎么選擇說回到最開始的那個問題國產(chǎn) AI 算力芯片能不能用我的答案是能但有邊界、有順序、有節(jié)奏。從我個人的實際部署經(jīng)驗看如果是推理型業(yè)務(wù)、中小模型微調(diào)、新興場景的技術(shù)棧建設(shè)現(xiàn)在國產(chǎn)芯片已經(jīng)具備較強的競爭力只要隊伍里有一兩個對底層工具鏈熟悉的人完全可以在數(shù)月內(nèi)完成平滑落地。如果是要沖擊大規(guī)模預(yù)訓(xùn)練、復(fù)雜多模態(tài)大模型集群則需要更加謹慎地評估軟件棧成熟度并做好雙軌并行一定時間的準備。最后再分享一個小技巧不管選擇哪一家國產(chǎn)方案一定要在合同里明確“持續(xù)集成保障”。要求廠商在新版本框架發(fā)布后的一定周期內(nèi)提供適配補丁并將算子覆蓋率指標(biāo)寫進 SLA。沒有這種契約層面的約束生態(tài)承諾很容易變成一紙空文到實際使用中就會吃大苦頭。芯片的競爭從來不是一瞬間的勝負而是長期耐心和工程能力的較量。當(dāng)前格局遠未終局生態(tài)分化的故事才剛剛開始。