你是不是也遇到過這種時刻抱著《計算機體系結構》啃完了流水線、緩存、虛擬內存覺得自己總算摸清了計算機的底細結果一翻手機芯片的規(guī)格表CPU、GPU、NPU三個詞并排躺著你發(fā)現除了CPU剩下倆只能算“認識字”。尤其NPU課本里幾乎沒有但現在的手機、服務器、汽車芯片里全在提。這東西到底是啥它憑什么能在AI時代和CPU平起平坐這篇就聊聊NPU盡量不帶廢話把體系結構視角下NPU的核心邏輯講清楚。這篇內容適合幾類人正在學體系結構但被“領域專用架構”搞暈的學生想搞懂AI芯片為什么不能只用CPU/GPU的開發(fā)者以及準備入手端側推理、模型部署方向需要快速建立NPU知識框架的工程師。我會從“為什么需要NPU”開始一路拆到它的硬件構成、指令集、軟件棧最后聊聊怎么看性能指標和那些容易踩的坑盡量讓你看完能有個整體坐標。1. 先搞清楚體系結構里為什么突然多出一個NPU1.1 CPU的“通用”代價CPU的設計目標從來都不是“算得快”而是“什么都跑得動”。為了實現這個目標CPU把大量晶體管花在了控制邏輯上分支預測、亂序執(zhí)行、寄存器重命名、多級緩存、TLB……這些硬件在跑操作系統(tǒng)、數據庫、普通應用時非常有用因為這類程序充滿了分支、跳轉、隨機訪問和不可預測的依賴。但神經網絡計算是另一種脾氣。一個卷積層說到底就是一堆乘加操作循環(huán)邊界是確定的數據訪問是規(guī)律的沒有復雜的分支也不需要猜未來要執(zhí)行哪條指令。你要是讓CPU去跑一個卷積它會把整整四層流水線、預測器、緩存系統(tǒng)都“空轉”著陪跑大部分晶體管根本沒在干正事。曾經有人用高端CPU算一個圖像分類模型的推理功耗拉滿但利用率慘不忍睹問題不在主頻而在架構根本不匹配。1.2 GPU的妥協GPU比CPU強很多因為它走了另一個極端堆大量簡單ALU用SIMT單指令多線程的方式并行執(zhí)行。圖形渲染天然是“一堆像素各算各的”GPU的調度模型正好契合。神經網絡也吃并行所以GPU在AI訓練時代幾乎成了標配。但GPU也有它的妥協。每個線程仍然需要獨立的寄存器、調度器和線程狀態(tài)控制開銷還在GPU的極其靈活的通用并行能力也意味著它要為“任意并行程序”做準備而這些準備在神經網絡這種高度規(guī)則的載荷里屬于冗余。GPU追求高精度浮點性能而神經網絡推理對精度的要求沒那么苛刻這是GPU“浪費”的第二個地方。最重要的是GPU的功耗密度太高你要在手機、耳機、攝像頭里放一個GPU來專門跑神經網絡散熱和電池都吃不消。1.3 NPU的本質領域專用架構這就是NPU出現的根本邏輯與其用一套通用的硬件去適配所有計算不如為神經網絡這個固定領域專門設計一種“極度偏科”的處理器。體系結構里管這叫DSADomain-Specific Architecture領域專用架構NPU就是DSA里最典型的代表。NPU不做分支預測因為神經網絡不需要NPU不做復雜的亂序執(zhí)行因為計算順序是編譯期就能定好的NPU把幾乎所有的面積和功耗都砸在乘法器和片上存儲上因為神經網絡最核心的操作就是乘加最貴的開銷就是數制搬運。你可以這么理解CPU是個全能選手跑馬拉松、游泳、自行車都會但單項都不是最快NPU是個只練舉重的選手你讓他去跑步他不行但如果比賽項目只有舉重他能把全能選手按在地上摩擦。神經網絡推理這個場景就是典型的“只考舉重”。2. NPU的三大命根子數據復用、片上存儲、低精度2.1 數據復用減少搬運才是硬道理學體系結構最容易被忽略的一個現實是計算早就不貴了搬數據才貴。芯片內部做一次乘加可能只要幾個皮秒但從DRAM里讀一個數據要經過總線、控制器、多級緩存耗時是計算的上百倍。神經網絡模型動輒幾MB到幾百MB如果每次計算都去內存里取數算力再高也白搭。NPU解決這個問題的核心思想是數據復用。拿卷積舉例一個3x3的卷積核會在輸入特征圖上滑動同一個權重會被反復用來和不同位置的輸入做乘加同一份輸入數據也會被不同的卷積核反復讀取。這種“一數多用”的特性給NPU提供了巨大的優(yōu)化空間。我記得有篇文章算過賬一個典型卷積層如果設計好數據流片上數據復用能把對外內存訪問量降低幾十倍。沒有這個前提NPU的“高算力”就是空中樓閣。所以你看NPU設計時最難的不是放多少個乘法器而是怎么設計數據流讓每個從DRAM搬到片上來的數據能被盡可能多地使用。這就像你做飯去一趟超市買一車菜如果只做一道菜就浪費了厲害的大廚會規(guī)劃好這一車的菜能連續(xù)出好幾道減少反復跑超市的時間。NPU里的“超市”就是DRAM“大廚”就是數據流調度器。2.2 片上存儲SRAM即一切既然數據復用這么重要那空間放不下也一樣白搭。NPU芯片里最貴的面積往往不是計算單元而是片上SRAM靜態(tài)隨機存儲器。SRAM比DRAM快得多帶寬也大得多能直接喂飽計算陣列。所以NPU內部通常是一個存儲層級最底層是DRAM主內存往上是較大的片上SRAM用來暫存特征圖分塊和權重的tile最靠近乘法器的是一小堆寄存器/累加器。這里有個關鍵設計點NPU不會一次性把整張?zhí)卣鲌D和所有權重塞進SRAM因為塞不下。它采用的是循環(huán)分塊loop tiling策略把大矩陣切成一個個小塊依次搬入片上算完一塊再搬下一塊。塊的大小怎么定搬入的時機怎么選這就是編譯器干的重活。整體來說NPU性能好不好一半看硬件陣列多大另一半看片上存儲能不能讓陣列時刻處于“有活可干”的狀態(tài)。我測試過不同NPU最大的差距往往不是峰值算力而是片上SRAM的容量和調度策略SRAM小的芯片碰到大模型會頻繁“斷糧”利用率直線下跌。2.3 低精度8位夠不夠用NPU普遍支持低精度運算int88位整數是最常見的推理精度很多端側NPU甚至開始支持int4。為什么敢用低精度因為神經網絡在訓練完成之后權重和激活值的分布相對穩(wěn)定對噪聲有很強的容忍度。把float32的權重量化到int8大多數任務精度損失可以控制在1%以內。但硬件收益非常巨大int8乘法器的面積大概只有fp32的幾分之一速度更快功耗更低同樣面積你能塞下更多的計算單元。這背后對應著體系結構里的經典權衡用精度換性能和功耗。做訓練時因為要反向傳播、要精確梯度需要fp32甚至fp16做推理時前向計算對誤差不敏感int8足夠了。量化方法一般有兩種訓練后量化PTQ和量化感知訓練QAT。PTQ是把訓練好的模型直接轉成int8省事但可能有點精度損失QAT是在訓練過程中就模擬量化誤差讓網絡適應低精度精度更高但要重訓模型。實際項目里我通常先試PTQ精度不達標再上QAT省時間。這里還有一個容易忽略的細節(jié)很多NPU標稱的TOPS算力是基于int8算的換成fp16這個數字可能直接腰斬理解精度和算力的掛鉤關系是看懂NPU規(guī)格表的第一步。3. 拆開NPU核心硬件模塊與數據流3.1 脈動陣列一個格子只算一招聊NPU硬件不得不提脈動陣列Systolic Array。簡單說它是一個二維的MAC乘加單元網格數據在相鄰的單元之間按節(jié)奏流動每個單元只做一次乘加然后把結果傳給下一個。這設計妙在哪妙在“沒有多余動作”。每個乘法器不需要從復雜的寄存器堆里取數數據會從陣列邊緣流入像流水線一樣流過去中間單元只需要專注算。脈動陣列有不同的數據流組織方式常見的有權重固定weight stationary、輸入固定input stationary、輸出固定output stationary。什么意思權重固定是指權重提前加載到各個單元里不動輸入數據流經陣列每個單元拿著自己存的權重和流過的輸入做乘加適合卷積這種權重復用的場景輸入固定則是把輸入留在片上反復使用權重流過去適合某些全連接場景。不同廠商的NPU風格差異很大程度就是選了不同的數據流策略。我早期看脈動陣列時總覺得復雜后來想通了一個類比它像一條流水線上的工人每個人只擰一個螺絲零部件從左傳到右最后出來一個完整產品。每個工人不需要知道整個產品長什么樣只需要等著零件到手熟練擰一下傳給下一個人。這種“顆粒度極細”的并行是傳統(tǒng)CPU完全無法做到的。3.2 激活函數、池化與歸一化單元脈動陣列算完的結果是線性累加和但神經網絡必須要有非線性否則層數再多也等價于一層線性變換。所以NPU里必須有激活函數單元比如ReLU整流線性單元、Sigmoid等。這部分一般掛在MAC陣列后面作為流水線的一站。池化層用來降采樣也是固定模式操作NPU可以用專門邏輯或復用MAC陣列來做。還有一個值得注意的細節(jié)推理階段批量歸一化BatchNorm通常會被“折疊”進卷積的權重和偏置里。折疊之后推理時不再需要單獨算歸一化卷積層直接輸出結果。這個優(yōu)化是編譯器干的但硬件設計時也會預留支持比如允許權重和偏置做特殊處理。這種“軟硬件協同”的例子在NPU里到處都是你要是不了解折疊機制可能還以為NPU缺了某個功能模塊。3.3 控制與調度NPU也有“程序計數器”嗎NPU的控制邏輯很簡單不像CPU有復雜指令流水線。絕大多數NPU的工作方式是“任務描述符”task descriptor驅動主機CPU把網絡每一層的計算任務打包成一個描述符里面包含輸入地址、權重地址、輸出地址、數據形狀、步長、操作類型等參數寫進NPU的命令隊列或者寄存器。NPU拿到描述符后自主完成數據搬運、計算、寫回完成后通過中斷或者狀態(tài)位告訴主機。我拿一個實際例子說明。部署一個圖像分類模型時你會看到系統(tǒng)里有幾百個這樣的任務描述符第一層卷積一個描述符ReLU可能也被融合進卷積了第二層卷積又一個描述符……主機CPU只需要把這一串描述符按順序提交給NPU然后就可以干別的去了NPU會異步地執(zhí)行完整個網絡。這個過程完美映射了體系結構里的“異步”和“DMA”概念也解釋了為什么NPU運行AI任務時CPU占用率可以很低。4. NPU指令集與軟件棧它到底是怎么被“編程”的4.1 從指令集看NPU它根本不是“通用處理器”很多剛接觸NPU的人會問NPU跑的是什么指令集能不能寫個C程序直接編譯上去跑答案是不能也沒必要。NPU的“指令”更像配置參數而不是傳統(tǒng)意義上的指令。比如“把輸入地址0x1000的數據按3x3卷積核處理輸出到0x2000”這是一個任務不是一條RISC風格的指令。有些NPU設計會引入類似RISC的指令風格用于控制流和同步但核心計算能力仍然靠特定算子的硬件執(zhí)行單元實現。你可以把NPU理解成一個“專用加速器”它只能執(zhí)行神經網絡這個領域內的操作不能跑操作系統(tǒng)不能執(zhí)行任意程序。這也帶出一個實用建議選型NPU時不要只看算力要看它“支持哪些算子”。有的NPU對標準卷積優(yōu)化得很好但碰到轉置卷積、動態(tài)形狀、循環(huán)依賴的算子可能直接退回CPU慢速執(zhí)行部署時踩坑。4.2 編譯器的真功夫圖優(yōu)化、內存規(guī)劃和算力映射NPU軟件棧的核心是編譯器。以某個常見開源深度學習框架為例流程大概是模型比如一個導出的計算圖輸入到NPU編譯器編譯器先做算子融合把卷積、ReLU、批歸一化合并成一個融合算子然后做內存規(guī)劃分析每個張量的生命周期盡量復用片上緩沖區(qū)最后把每個算子映射成NPU任務描述符并生成調度順序。算子融合帶來的收益非常大。舉個例子一個卷積層后面跟ReLU如果不融合卷積的輸出要完整寫到DRAMReLU再把它讀出來一來一回兩塊內存帶寬融合后卷積單元算出一個像素ReLU立刻處理結果直接留在片上甚至可以直接作為下一層的輸入。原始網絡有100個算子融合之后可能變成50個任務中間數據搬運量減少一大半。下面是一段偽代碼能幫你直觀理解tile搬移加計算的過程# NPU編譯器生成的核心調度邏輯偽代碼 for tile in plan.tiles: # 把輸入特征圖的一個分塊從DRAM搬到片上SRAM dma_load(input_addrtile.input_addr, sram_bufferinput_sram[tile.buffer_id]) # 把對應的權重分塊搬到片上SRAM dma_load(weight_addrtile.weight_addr, sram_bufferweight_sram[tile.buffer_id]) # 用MAC陣列計算數據流直接在片上完成 compute(engine_idtile.engine_id, input_bufferinput_sram[tile.buffer_id], weight_bufferweight_sram[tile.buffer_id], output_bufferoutput_sram[tile.buffer_id]) # 結果寫回DRAM dma_store(output_sram[tile.buffer_id], output_addrtile.output_addr)這段邏輯看著簡單實際編譯器要考慮的東西多得多哪個tile先算能最大化復用已經搬進來的數據SRAM分給輸入還是權重多核NPU怎么分工這些優(yōu)化直接決定NPU能不能跑出接近峰值的水準。我自己調試性能時最常做的事就是看編譯器生成的“內存分配報告”和“任務時間表”那里面的門道比硬件框圖要深得多。5. 整個系統(tǒng)視角NPU在主板上是怎么工作的5.1 異構架構CPU、GPU、NPU怎么分工真實的SoC片上系統(tǒng)里CPU、GPU、NPU不是各干各的而是協同工作。CPU負責控制流和任務調度GPU負責圖形或部分并行計算NPU專職神經網絡推理。它們共享一塊DRAM通過總線互連。運行一個AI應用時CPU先把圖片數據準備好在內存里布局好然后通知NPU開始處理NPU算完CPU再接過結果去做后續(xù)的邏輯判斷。這中間涉及一個體系結構老話題緩存一致性。NPU有自己的片上SRAM但主機CPU和NPU共享DRAM時誰改動數據、誰看到最新數據需要明確規(guī)則。有的NPU設計直接不走CPU緩存要求主機在提交任務前顯式flush緩存有的則參與系統(tǒng)一致性協議硬件幫你搞定。前一種軟件上容易踩坑我碰到過“NPU老是讀到舊數據”的問題最后就是漏了緩存同步。5.2 藏在背后的最大瓶頸內存帶寬很多人看NPU性能只盯TOPS實際上大多數真實場景的瓶頸是內存帶寬。一個100 TOPS的int8 NPU工作頻率按1GHz算意味著每個周期要執(zhí)行約10萬次int8乘加。如果每次乘加都要從DRAM讀一個輸入和一個權重每個周期要讀200KB這遠超任何DRAM的帶寬能力。所以NPU必須靠數據復用把實際訪存需求降下來但即便如此像全連接層這種“權重巨大、復用有限”的算子仍然會牢牢卡在帶寬上。怎么判斷一個模型在NPU上是算力受限還是帶寬受限有個簡單的估算方法算一下模型的總計算量MACs和總內存訪問量bytes用計算量除以帶寬峰值和用計算量除以算力峰值哪個大哪個就是瓶頸。端側部署時很多模型是帶寬受限的優(yōu)化手段重點就放在模型壓縮、算子融合、減少中間張量上。工程師如果能建立“算力-帶寬-存儲容量”這三個維度的性能心智模型調試NPU時會順手很多。6. 怎么看懂NPU性能指標別被算力數字騙了6.1 TOPS到底怎么算的TOPS是Tera Operations Per Second即每秒萬億次操作。但這里有個容易混淆的點一次MAC乘加通常被算作2次操作因為乘法和加法是兩件事。所以一個擁有M個MAC單元、主頻為F的NPU理論峰值算力 2 × M × F單位視M和F的量級調整。很多廠商宣傳時的“AI算力XX TOPS”默認都是int8精度并且按2次操作計算。如果你把這個數當成fp32算力會大錯特錯?？匆?guī)格表時我一般建議盯著三欄精度int8還是fp16、算力TOPS、內存帶寬GB/s。光看一個TOPS沒有任何意義。最新的一些經驗是端側中高端NPU普遍在10-30 TOPS區(qū)間云端的卡級別NPU能到幾百上千TOPS但后者功耗和散熱要求完全不是一個量級。6.2 實際性能為什么利用率只有一半理論峰值是理想情況實際跑模型利用率通常只有30%-50%常見的蠶食因素有三個一是數據搬運開銷哪怕有緩存DRAM的延遲和帶寬限制依舊存在二是算子映射效率有些算子硬件支持不好編譯器生成的調度效率低三是小算子調度開銷比如一個很小的激活函數或reshape算子如果單獨成為一個任務任務提交和同步的固定開銷會占大頭。所以評估NPU最靠譜的方法是端到端跑真實模型用延遲和吞吐說話而不是信規(guī)格表。同一款NPU跑MobileNet和跑ResNet的“實際表現/理論峰值”比例完全不同跑單幀和跑連續(xù)幀流也完全不同。我個人現在評測NPU一定是拿自己業(yè)務里最典型的三五個模型固定輸入尺寸、固定精度、固定batch跑出來的數據才有參考價值。7. 常見問題與經驗總結這些坑我?guī)湍悴冗^了7.1 關于NPU的四個常見誤區(qū)先給你列一個我平時回答咨詢時反復糾正的誤區(qū)速查表誤區(qū)實際情況算力高性能好帶寬、緩存、算子支持和編譯器都會拖后腿NPU什么模型都能跑算子支持有限復雜控制流效率極低int8一定掉精度大多數任務量化損失很小QAT之后幾乎無損NPU會取代CPU異構架構里兩者是協作關系各干各的這四個誤區(qū)我都在真實項目里見過。有一回優(yōu)化一個檢測模型廠商說NPU算力特高結果一跑發(fā)現在一個動態(tài)形狀的算子上直接退回CPU執(zhí)行整個延遲翻了三倍。還有一次模型量化后精度掉了2個點我們沒細想就全盤改用QAT重訓成本很高后來才發(fā)現只是某個激活層沒有做量化敏感處理補上就好了。多試、多測、多看編譯器日志比迷信任何宣傳都管用。7.2 給新人的學習建議從軟件棧切入別一上來啃RTL如果你想把NPU學明白我給的建議是先別急著看寄存器傳輸級RTL代碼而是從軟件棧切入。大致的順序是先在一個成熟的深度學習框架里把一個模型部署到某個NPU上跑通感受整個工具鏈流程再去看編譯器生成的任務日志理解模型被切成了多少個算子、內存是怎么規(guī)劃的然后回頭研究NPU的架構文檔重點看脈動陣列的尺寸、SRAM容量、數據流方向最后才考慮寫個小算子比如手寫一個3x3卷積的映射代碼在模擬器上跑一跑。這種倒著學的方式能讓你在短時間內建立“模型—算子—硬件”三層映射的心智模型而不是陷在晶體管細節(jié)里出不來。我在學習早期犯過一個錯誤拿了一堆RTL代碼盯著看越看越糊涂后來發(fā)現只要先把“數據從哪來、到哪去、在哪計算”這三件事理清楚NPU的大局就明白了。7.3 最后分享一個實用技巧怎么快速估算一個模型在NPU上會不會快拿到一個模型先別急著部署花十分鐘在紙上做一個估算。第一步統(tǒng)計模型總MACs很多框架工具能直接輸出第二步估算模型權重總大小和最大中間特征圖大小第三步看看目標NPU的算力、帶寬和片上SRAM容量第四步算算推理一遍需要多少次數據搬運是否超過片上容量是否會被帶寬卡住。這套方法雖然粗糙但能讓你在動手前就對方案的可行性有個判斷避免盲目調優(yōu)。我自己每次換NPU平臺都會先拿這套估算過一遍再決定要不要投入時間做深度適配。