GPU 是 AI 時代最不缺關注度的硬件但真正把它用在生產(chǎn)環(huán)境的人心里多少都有點別扭。它的渲染基因帶來了大量你根本用不到的邏輯數(shù)據(jù)必須從全局內(nèi)存搬到片上緩存再搬回內(nèi)存像一條單行道一樣只能按固定路線走。于是在這個路口上清微智能和 Groq 不約而同地選擇了另一條路數(shù)據(jù)流架構。這篇文章我不打算復述發(fā)布會上的 PPT而是把這兩家放在一起拆開看它們到底想怎么改變 GPU 這條單行道以及這事為什么不是簡單意義上“再做一塊更好的 GPU”。1. GPU 的“單行道”困局你的加速卡到底卡在哪1.1 從流水線說起為什么說 GPU 是單行道要理解“單行道”這個比喻得先回到 GPU 最基本的執(zhí)行模型。無論是渲染游戲畫面還是執(zhí)行深度學習算子GPU 本質上是一條超寬、超深的流水線取指、解碼、發(fā)射、執(zhí)行、寫回數(shù)據(jù)沿著這條固定的流水線方向向前移動。這條路設計得非常寬可以同時處理上千個線程但方向是固定的你得跟著它的規(guī)則走。我把這種架構叫做“單行道”是因為在 GPU 眼里所有數(shù)據(jù)都是一樣的“車”不管你是來算卷積的還是來算光照貼圖的都要從流水線的入口進入經(jīng)過調(diào)度器分配、共享內(nèi)存暫存、計算單元執(zhí)行再繞回寄存器或緩存層。問題在于AI 推理任務根本不需要這么復雜的“交通管理”。你給 GPU 一個已經(jīng)固定的計算圖數(shù)據(jù)從張量 A 和張量 B 進來結果是個確定性的矩陣運算沒有分支跳轉沒有亂序執(zhí)行可 GPU 依然要走這套完整的管控流程。這里就出現(xiàn)一個錯配一個為海量并發(fā)但充滿分支邏輯設計的引擎被用來執(zhí)行一種全天下最規(guī)律的重復計算。正如一條八車道的單行道上跑著一隊自動駕駛卡車所有的控制指令、交通調(diào)度、紅綠燈全是為隨機匯入的車流設計的但對于固定編隊行駛的卡車來說這些機制只會增加油耗不會帶來任何通行效率。1.2 三大瓶頸控制開銷、內(nèi)存墻和低利用率我把 GPU 在 AI 推理中真正難受的問題歸成三類這三類加起來就是“單行道”走不下去的核心原因。第一類叫控制開銷。GPU 的硬件資源里有一大批晶體管是拿來干“管事兒”的取指令、譯碼、分配寄存器、處理分支預測、維護緩存一致性。這些組件在游戲渲染里功不可沒因為像素著色器會遇到大量隨機的渲染分支需要靈活應對。但在深度學習推理里計算圖是編譯好并且固化的一行 if 都沒有指令序列完全可預測?？刂七壿嬙綇碗s浪費的電和面積就越多這就是控制開銷的由來。第二類叫內(nèi)存墻。這是最要命的一道墻。AI 算子的本質是“把權重搬過來和數(shù)據(jù)做乘加計算”搬運的速度主導了整個算子的執(zhí)行時間。你可以把 GPU 想象成一個巨大的收費站計算單元是收費窗口內(nèi)存系統(tǒng)是通向窗口的引道。GPU 的數(shù)據(jù)要穿過全局顯存、L2 緩存、共享內(nèi)存、寄存器才能到達計算單元。這一路上每一級存儲之間的帶寬都不一樣但最低的那一級決定了整體速度。實際算力再高只要數(shù)據(jù)搬不過來ALU 也是空轉的。第三類表現(xiàn)為低利用率。你可能在調(diào)優(yōu)時用軟件看過顯卡的占用率如果你跑的是實時語義分割或者大模型推理占用率常常只有三成到五成剩下的時間就是在等數(shù)據(jù)。你可以把計算單元看成出租車司機大多數(shù)時候車是空的但引擎還在怠速運轉油沒少燒乘客沒多拉。我見過不少同行在優(yōu)化 GPU 推理性能時把數(shù)據(jù)排布、算子和 CUDA 流都折騰到極致最終卡住的往往是某個內(nèi)存訪問沒對齊、某個合批太小、調(diào)度太頻繁這些都是控制開銷和內(nèi)存墻在應用層的具體表現(xiàn)。換個說法GPU 不是不能算而是在 AI 這件事上繞了太多路。2. 換一條路數(shù)據(jù)流架構如何繞過“單行道”2.1 指令驅動與數(shù)據(jù)驅動本質差別在哪里GPU 或者說 CPU本質上都屬于“指令驅動”的計算模型程序是一條一條指令處理器按照指令流的順序去取數(shù)據(jù)、做計算。而數(shù)據(jù)流架構完全是另一種玩法計算不是被指令拉起來的而是被數(shù)據(jù)到達這個動作直接推起來的。我?guī)湍愦騻€比方。傳統(tǒng)架構像一家餐廳顧客數(shù)據(jù)進門領位員調(diào)度器把他帶到桌位緩存服務生加載指令去后廚取菜內(nèi)存后廚做菜執(zhí)行單元。每一次接待都要走完整套流程。而數(shù)據(jù)流架構像一家自助分揀流水線傳送帶把食材推到第一站第一站自動處理立刻送到第二站第二站又自動處理食材在路上就是指令本身。指令化身為數(shù)據(jù)的流向沒有“取指令”這一步也沒有“分配線程”這一步。這個差別放到 AI 推理里就是降維打擊。因為 AI 推理天然是一個數(shù)據(jù)流程序卷積層把特征圖算出來直接喂給池化層池化層結果給激活函數(shù)激活函數(shù)再給全連接層。你為這個算子鏈預先鋪好一條物理通路互聯(lián)關系在編譯期就固定下來數(shù)據(jù)來了就直接從第一層流到最后一層全程不需要調(diào)度器插手。這比讓 GPU 一遍遍從指令緩存去拿“下一步干什么”要直接得多。2.2 清微智能的可重構數(shù)據(jù)流把算法直接“鋪”在硬件上清微智能走的是可重構計算路線核心思路是讓硬件的互聯(lián)和功能能在一定程度內(nèi)按需重組。如果只從現(xiàn)象看它是把 AI 算子映射成一張數(shù)據(jù)流圖然后把這張圖用硬件的方式“印”在計算陣列上。也就是說同一個芯片跑卷積神經(jīng)網(wǎng)絡時計算單元之間呈現(xiàn)一種連接方式跑到 Transformer 時計算單元又重組成另一種連接方式。這就是“可重構”三個字的意義。為什么不干脆搞成固定硬連線因為 AI 算法還在演進。固定一個算子比如只加速卷積那 Transformer 類模型來了就浪費一大半硬件?？芍貥嬯嚵械膬?yōu)勢是它保留了一條“重新布線的能力”讓計算單元按照當前模型的計算圖動態(tài)調(diào)整互聯(lián)關系。這在電路層面等價于一個可編程的數(shù)據(jù)交換網(wǎng)絡做通用點的表述就是你給它一張和芯片結構對應的數(shù)據(jù)流描述文件它就能在下一個周期變成適配新模型的機器。在實操層面清微智能把重點放在了邊緣 AI 場景。邊緣場景功耗預算非常有限往往只有一兩瓦甚至幾百毫瓦。GPU 那一套復雜調(diào)度和控制邏輯在這種功耗約束下幾乎無從發(fā)揮。數(shù)據(jù)流架構沒有取指開銷算力幾乎都花在刀刃上所以能效比非常突出。我觀察到的實際選型中很多做智能攝像頭、工業(yè)質檢、機器人控制的團隊都開始把可重構數(shù)據(jù)流芯片列為替代方案因為對時延和功耗的要求GPU 都很難填平。當然可重構也有它的代價。互聯(lián)網(wǎng)絡的晶體管占用率比固定互連更多配置切換本身需要耗時所以它不可能在所有算法上都做到單算子最強它的優(yōu)勢是指令級開銷低、能效均衡。一句話概括清微智能的方案更像一個“隨算法變形的高效流水線工廠”而不是一個固定流程的流水線。2.3 Groq 的 TSP把調(diào)度提前到編譯期的激進打法再來看 Groq它的打法比清微智能更極致。Groq 做了一個叫做張量流處理器Tensor Streaming ProcessorTSP的架構核心特點是運行時無所謂調(diào)度一切都在編譯期被安排得明明白白。你怎么理解這句話在 GPU 里調(diào)度器是根據(jù)當前時刻可用的計算資源動態(tài)決定哪個線程接著跑TSP 則完全不用“決定”。編譯器在生成代碼時就知道每一個 ALU 在哪個周期計算哪一筆數(shù)據(jù)、數(shù)據(jù)從哪個 SRAM 讀取、什么時候寫回相當于開一場事先完全彩排好的大型演出每個演員每一個節(jié)拍都知道自己該站哪。TSP 的另一張王牌是存儲策略。它不需要像 GPU 那樣依賴全局顯存做大規(guī)模數(shù)據(jù)中轉而是把數(shù)百 MB 的 SRAM 直接堆在芯片上計算單元之間通過極寬的片上網(wǎng)絡傳輸數(shù)據(jù)。SRAM 的帶寬比 DRAM 高好幾個數(shù)量級延遲也低得多這讓單芯片推理延遲能做到非常驚艷的水平。Groq 早期展示過很多低時延推理場景根本不是靠把 GPU 超頻超上去的也不是靠塞更多的核心堆出來的純粹就是從“數(shù)據(jù)在路上花的時間”這個根上砍掉了大半。但立硬幣都有正反面。TSP 的代價是“靜態(tài)調(diào)度”非常依賴編譯器的提前布局一旦運行時的模型有動態(tài)形狀、條件分支、稀疏計算比如 NLP 里按句子長度做 Padding、推薦系統(tǒng)里稀疏特征查詢編譯器的日子就會非常難過生成的調(diào)度可能遠不是最優(yōu)。而且 SRAM 雖然快但它單位面積貴TSP 很難把片上容量做到幾十 GB所以跑超大模型時要么把模型切成好幾塊放到多個芯片上要么就得跟外部高帶寬存儲做配合這時芯片與芯片之間的互聯(lián)帶寬又成了新的瓶頸。3. 為什么“打補丁”救不了 GPU 單行道3.1 硬件補丁的物理盡頭有人會說GPU 廠商不是一直在改嗎加 Tensor Core加更大的 L2 緩存提升 HBM 帶寬甚至搞出直接訪問存儲的方案。這些都在緩解內(nèi)存墻但為什么說解不了因為內(nèi)存墻的本質是物理布局和功耗問題。數(shù)據(jù)在片外 DRAM 和片上緩存之間每搬運一次要消耗遠超于算一次乘加的能量。你加寬 HBM 通道加多緩存容量本質上只是把單行道擴寬成雙車道、四車道但方向還是那條固定的路。數(shù)據(jù)從權重到執(zhí)行單元之間穿越的層級并沒有變少。GPU 的市場定位決定了它必須兼容大量工作負載所以它內(nèi)部的數(shù)據(jù)路徑必然是一個折中方案這個折中方案對 AI 推理來說就是繞遠路。我比較喜歡拿生活里的情況來類比GPU 的改良像把一條城市的城市快速路從四車道改成八車道但所有車仍然要經(jīng)過同一個高架出口去往同一個園區(qū)。你得在高峰期等紅綠燈因為所有數(shù)據(jù)仍然要在同一套調(diào)度邏輯的指揮下按順序前進。數(shù)據(jù)流芯片則是在隔壁直接修了一條高架直連園區(qū)繞開了整座城市的紅綠燈。前者再寬后者依然更短。3.2 生態(tài)是另一堵更硬的墻改硬件難改軟件生態(tài)難上加難。GPU 最核心的護城河其實不是硬件性能而是生態(tài)。全世界搞深度學習的開發(fā)者幾乎都在用某個深度學習框架寫模型框架底層又自動接好 GPU 廠商提供的算子庫推理優(yōu)化工具鏈也早已成熟。你訓練、調(diào)優(yōu)、部署一條龍都有配套的調(diào)試器和性能分析器遇到性能問題社區(qū)里隨手一搜就有前人踩過的坑。而數(shù)據(jù)流架構的芯片每做一個算子都得自己去寫編譯器規(guī)則、算子映射、量化支持、推理框架的對接。別人用 GPU跑一個動態(tài)尺寸的模型調(diào)一下庫里的一個參數(shù)就行用數(shù)據(jù)流芯片可能要改模型結構、改數(shù)據(jù)路徑、重寫優(yōu)化邏輯。這種用戶層面的割裂感很容易讓項目負責人放棄選擇。哪怕芯片性能再亮眼只要不能讓團隊在三天內(nèi)跑通一個現(xiàn)有模型采購價值就會大打折扣。這也是為什么我一直強調(diào)數(shù)據(jù)流芯片能不能生存下來不只看硬件參數(shù)更要看編譯器和一個足夠完善的算子庫能夠支撐多少業(yè)務實際要跑的模型。所謂“改變 GPU 單行道”不是你把一條路修得更窄更直就完了還要讓人愿意搬家過來。3.3 游戲基因對 AI 路線的拖累再往深一層看GPU 的晶體管預算里混進了太多游戲渲染專用的東西。光線追蹤單元、紋理單元、光柵化器、頂點著色器這些模塊在 AI 推理里基本屬于“睡大覺”的駐場員工。你會發(fā)現(xiàn)哪怕是最頂級的顯卡你把 AI 推理跑到滿血也是很難把每個晶體管都激活的因為那些渲染核心根本不在 AI 這條工作流里。數(shù)據(jù)流架構的晶體管規(guī)劃則是另一種邏輯它可以集中全部面積做乘加運算、片上存儲和互聯(lián)網(wǎng)絡。同一個工藝節(jié)點下數(shù)據(jù)流芯片的“有效算力密度”會有明顯優(yōu)勢。正因為 GPU 要考慮太多負載它才成為一條誰都能走的單行道數(shù)據(jù)流芯片卻可以為了 AI 這個“特定方向”把路修成專門的高架。但要公平補一句單行道也不是一無是處。GPU 在訓練任務上依然是統(tǒng)治級的存在因為訓練意味著大量動態(tài)分支、梯度回傳、稀疏激活、動態(tài)形狀所有這些都對數(shù)據(jù)流架構不友好。你不能拿推理的優(yōu)勢去否定訓練領域 GPU 的優(yōu)勢。所謂改變單行道準確說是“在 AI 推理這條具體道路上存在更直接的路徑”。4. 改變的可能性三條最可能的突破口4.1 推理部署數(shù)據(jù)流架構的主場推理任務有一個讓數(shù)據(jù)流架構極其舒服的特性計算圖固定、算子確定、沒有動態(tài)控制流。你在部署前已經(jīng)把模型結構全部定下來了數(shù)據(jù)流芯片完全可以提前把整個計算圖“焊”在硬件上。這個特性讓它能實現(xiàn)極低時延和極高的吞吐穩(wěn)定性而且部署時幾乎不需要考慮運行時調(diào)度抖動。云端推理供應商對“P99 時延”極度敏感。傳統(tǒng) GPU 因為線程調(diào)度的隨機性時延抖動是客觀存在的同一批請求某些請求可能會因為等緩存行而多走幾條彎道。數(shù)據(jù)流架構的靜態(tài)調(diào)度保證了每個 token 的處理路徑完全一致時延分布極其集中。我在接觸一些做 AI 推理服務架構的朋友時發(fā)現(xiàn)他們對時延方差的重視頻率遠高于平均時延因為這直接關系到花錢買計算力的用戶如何評估服務穩(wěn)定性。從這個角度說Groq 把靜態(tài)調(diào)度當作核心賣點方向是對的。4.2 邊緣與端側低功耗場景不需要 GPU 的復雜度邊緣智能設備的需求和云端很不一樣。它們沒有充足的電量去養(yǎng)一張功耗三百瓦的顯卡也不可能靠液冷散熱去壓住“性能怪獸”它們真正需要的是極低的功耗、可預測的延遲、以及“模型固定后長期穩(wěn)定運行”的可靠性。數(shù)據(jù)流架構在這方面天然友好因為它沒有取指開銷沒有復雜的分支預測和調(diào)度電路絕大多數(shù)能量都直接貢獻給有效計算。比如做工業(yè)質檢的攝像頭需在 50 毫秒內(nèi)完成缺陷判定整機功耗被限制在 5 瓦以內(nèi)。用傳統(tǒng) GPU 方案要費大力氣調(diào)優(yōu)才能實現(xiàn)還要犧牲攝像頭模組和散熱預算。換用可重構數(shù)據(jù)流的 AI 芯片把卷積模型映射成硬件數(shù)據(jù)流圖之后可以在更低功耗下跑完相同推理任務。清微智能選擇以這里為切入場景踩中的就是 GPU 在低功耗邊緣區(qū)間“使不上勁”的結構性空白。我還想多說一句邊緣市場的碎片化恰恰匹配“可重構”的特性。不同客戶的模型結構、傳感器輸入格式、算子組合差異極大固定硬件的 NPU 往往只能適配其中一部分而可重構陣列在同一款芯片上可以通過切換配置支持不同模型形態(tài)這對邊緣企業(yè)的供應鏈簡化是很有吸引力的。4.3 大模型推理從“單行道”變“多車道立交橋”大模型推理讓內(nèi)存墻的問題被推到聚光燈下。生成一個 token要快速拿到幾百 GB 的權重GPU 必須一遍遍從高帶寬顯存里搬數(shù)據(jù)。延遲大量消耗在搬運過程中而不是計算過程里。如果能把權重盡量放到離計算單元更近的地方就能成倍縮短“搬運時間”。Groq 的方式就是用巨型 SRAM 把權重裝進片上SRAM 的延遲比 DRAM 低一個數(shù)量級以上這讓單芯片的 token 生成時延非常好看。但大模型動輒幾百 GB你不可能全部塞進片上 SRAM于是只能做模型切分把不同層放到不同芯片上讓 token 在一塊塊 TSP 之間流動。這相當于立交橋的匝道設計問題從“內(nèi)存墻”轉化成了“芯片間互聯(lián)帶寬墻”。清微智能在近存計算路徑上也有自己的布局即把存儲和和計算陣列靠得更近減少數(shù)據(jù)搬運路徑。這些方案沒有一家是靈丹妙藥但每一家都在嘗試打破“數(shù)據(jù)必須路過大內(nèi)存體系”的單向路徑。如果你的業(yè)務是高頻調(diào)用大模型接口你會發(fā)現(xiàn)時延排序里GPU 不一定永遠贏數(shù)據(jù)流芯片在低時延場景往往會有更好的表現(xiàn)。前提是你能接受它的生態(tài)尚未完全成熟。5. 常見質疑與現(xiàn)實挑戰(zhàn)數(shù)據(jù)流不是萬能鑰匙5.1 是“只能做 AI”還是“暫時只做 AI”一個經(jīng)常被質疑的點數(shù)據(jù)流芯片是不是只能跑神經(jīng)網(wǎng)絡的固定計算流一碰通用計算就癱瘓我理解的更準確說法是數(shù)據(jù)流架構是一種通用計算模型而不是 AI 專用硬件。任何能被表示成數(shù)據(jù)依賴圖的計算理論上都可以映射上去。只是現(xiàn)階段各家的編譯器、工具鏈都優(yōu)先把算力能力提供給 AI 算子因為這是市場最疼的點。你讓一個數(shù)據(jù)流芯片去跑字符串處理這種不規(guī)則的控制邏輯密集型程序編譯器很難生成高效的調(diào)度圖所以從實際效果看短期內(nèi)確實“只能做 AI”。這就像一條新修的高架快速路當年設計時只開了到產(chǎn)業(yè)園區(qū)的出口不代表它不能修出口到市區(qū)只是眼下的車流需求決定了它先服務產(chǎn)業(yè)區(qū)。后續(xù)如果生態(tài)有精力數(shù)據(jù)流架構做通用計算的邊界會慢慢拓寬但那個過程會非常漫長。5.2 編譯器與工具鏈才是真正的硬骨頭我反復提到編譯器因為這個領域里硬件只占半壁江山。芯片廠商必須交付一個能讓開發(fā)者無縫使用的編譯工具鏈要把 PyTorch 和 ONNX 框架下的算子無縫映射到自己的數(shù)據(jù)流圖上。算子融合、內(nèi)存分配、并行調(diào)度、量化感知每一步的取舍都會直接反映在最終性能上。你說一個卷積映射到數(shù)據(jù)流陣列能跑出多高性能答案往往取決于編譯器有沒有把卷積拆成足夠合適的數(shù)據(jù)通路而不只是硬件本身。我觀察過的行業(yè)項目里芯片硬件團隊常常花一年半出芯片編譯器團隊可能還要花兩年才讓這張芯片的可用算子庫和調(diào)試體驗達到及格線。這個時間差會直接拖慢商業(yè)落地的節(jié)奏。清微智能和 Groq 都意識到了這個問題的嚴重性投入了大量工程資源在編譯鏈路上。但作為外部觀察者我依然會把“工具鏈成熟度”當成評估這兩家潛力的第一指標而不是光看極致的峰值指標。5.3 成本、制造、互聯(lián)與生態(tài)的漫長戰(zhàn)斗最后說點更現(xiàn)實的物理和商業(yè)約束。Groq 選擇大 SRAM 來換速度和可預測性但 SRAM 單元面積遠大于 DRAM同樣容量下芯片面積大、良率壓力大、成本高。跑大模型需要多卡拼起來卡間互聯(lián)成為新的性能窗口如果互聯(lián)總線和協(xié)議不夠高效所有優(yōu)勢都會被“跨芯片搬運”吞掉。清微智能的可重構陣列也面臨配置開關的尺寸和延時問題以及工具鏈映射不同網(wǎng)絡的復雜工程量。它瞄準邊緣市場目標功耗低單芯片成本控制要求高這要求芯片設計必須在“可重構靈活性”和“面積/成本”之間找到精準平衡。商業(yè)上兩家都不太可能直接“掀翻”GPU 這個龐然大物。更現(xiàn)實的路徑是在 AI 推理這個 GPU 相對不擅長或者功耗預算嚴苛的細分領域里先長出幾萬個裝機量的根據(jù)地再逐步擴展。生態(tài)的滾雪球效應也從來不是一蹴而就當年的 GPU 也是花了二十年才從圖形卡變成計算卡。我個人的體會是GPU 這條“單行道”短期內(nèi)不會消失但它已經(jīng)出現(xiàn)了越來越多可以被繞開的點。數(shù)據(jù)流架構不是要“推翻”誰而是在 AI 推理、邊緣計算和大模型低延遲服務這些場景里提供一條更直接、更高效的路徑。如果你正在做 AI 部署或者芯片選型我建議你把“編譯器成熟度”和“算子覆蓋度”當成比峰值算力更重要的指標多去實際跑一跑業(yè)務模型再決定是否要入局。畢竟真正決定單行道能否被改變的不是一兩個芯片跑分而是背后那套完整的工具鏈能不能讓更多人輕松走上這條新路。