這個(gè)月有一條發(fā)布消息可能很多人掃一眼就過(guò)去了一家專(zhuān)注終端AI的芯片廠(chǎng)商把低功耗AI處理器IP做成了一套完整的產(chǎn)品矩陣最低一檔的典型推理功耗不到5毫瓦。做邊緣計(jì)算和嵌入式AI的朋友看到“5毫瓦”這個(gè)數(shù)字應(yīng)該會(huì)停下來(lái)——因?yàn)檫@個(gè)量級(jí)意味著AI推理不再只是手機(jī)大核或云端GPU的專(zhuān)屬它可以被塞進(jìn)耳機(jī)、門(mén)鎖、遙控器、傳感器節(jié)點(diǎn)這些用紐扣電池供電的小設(shè)備里?？赡苡腥擞X(jué)得AI IP離普通開(kāi)發(fā)者很遙遠(yuǎn)那是芯片公司才關(guān)心的事。其實(shí)不是。如果你在做TWS耳機(jī)、智能門(mén)鎖、低功耗攝像頭、可穿戴健康監(jiān)測(cè)或者任何需要“低功耗本地AI”的產(chǎn)品這條消息直接決定了你下一款產(chǎn)品的硬件架構(gòu)是用現(xiàn)有MCU硬扛還是外掛一顆NPU又或是從SoC設(shè)計(jì)階段就直接集成AI IP。這篇文章我想把這條消息拆開(kāi)揉碎聊聊毫瓦級(jí)AI IP為什么重要、5毫瓦到底能跑什么、架構(gòu)上做了哪些妥協(xié)以及真正落地時(shí)容易踩的坑。1. 功耗數(shù)據(jù)之外這次發(fā)布真正值得關(guān)注的三個(gè)點(diǎn)1.1 不是“一顆芯片”而是一整套可授權(quán)的IP矩陣先糾正一個(gè)容易誤解的地方這家公司發(fā)布的不是一顆現(xiàn)成的AI芯片而是可授權(quán)的半導(dǎo)體知識(shí)產(chǎn)權(quán)IPIntellectual Property。你可以把IP理解成芯片設(shè)計(jì)的“預(yù)制模塊”——就像蓋樓時(shí)用的預(yù)制墻體你不需要從磚頭開(kāi)始砌而是直接拿別人的墻體模塊放進(jìn)自己的建筑圖紙里。全系列的意思是它提供了不同算力檔位的AI加速器內(nèi)核從極低功耗的微型神經(jīng)網(wǎng)絡(luò)核到能夠處理視覺(jué)和多模態(tài)任務(wù)的高性能核覆蓋從MCU級(jí)設(shè)備到應(yīng)用處理器的完整跨度。這個(gè)策略和過(guò)去“一顆芯片打天下”的思路完全不同更像是直接告訴下游芯片設(shè)計(jì)公司你想做智能耳機(jī)、智能門(mén)鎖還是端側(cè)攝像頭我這里都有對(duì)應(yīng)的AI算力模塊拿回去集成到你的SoC里就行。這意味著什么意味著低功耗AI的能力門(mén)檻會(huì)從“只有大廠(chǎng)能自研NPU”變成“有SoC設(shè)計(jì)能力的中小團(tuán)隊(duì)也能拿到”。芯片公司買(mǎi)下這套IP后不需要自己從零做算法調(diào)度、卷積加速、功耗管理只需做好周邊接口和產(chǎn)品定義就能快速推出一顆帶本地AI能力的芯片。1.2 最低檔5毫瓦指的是什么功耗口徑做功耗相關(guān)的工作第一件事就是統(tǒng)一口徑?！安坏?毫瓦”這個(gè)數(shù)字聽(tīng)起來(lái)很厲害但它到底是整顆SoC的功耗還是只有NPU那部分IP的功耗根據(jù)行業(yè)慣例和發(fā)布材料里的表述來(lái)看這大概率是指AI加速器子系統(tǒng)的典型推理功耗包含計(jì)算陣列、激活內(nèi)存、控制邏輯和數(shù)據(jù)通路但不包含外部的DDR、傳感器、無(wú)線(xiàn)射頻等部分。這個(gè)區(qū)分非常重要。因?yàn)檎鎸?shí)產(chǎn)品里一顆智能門(mén)鎖的AI人臉識(shí)別算上圖像傳感器、主控、Wi-Fi模塊系統(tǒng)整機(jī)功耗可能是幾百毫瓦甚至更高但其中真正用于跑神經(jīng)網(wǎng)絡(luò)的那部分可能只有幾十毫瓦甚至更低。所以“5毫瓦”代表的是AI計(jì)算本身的“單價(jià)”而不是整個(gè)設(shè)備的賬單。我個(gè)人的理解是5毫瓦檔位真正瞄準(zhǔn)的場(chǎng)景是設(shè)備大部分時(shí)間處于極低功耗狀態(tài)偶爾被喚醒詞或傳感器觸發(fā)執(zhí)行一次幾毫秒到幾十毫秒的推理然后又回去睡覺(jué)。這種“突發(fā)性AI”的工作模式對(duì)平均功耗的要求極其苛刻也正是毫瓦級(jí)AI IP的用武之地。1.3 終端側(cè)AI的競(jìng)爭(zhēng)邏輯變了過(guò)去幾年端側(cè)AI的故事大多圍繞“算力越來(lái)越強(qiáng)”展開(kāi)誰(shuí)家的NPU能有幾十TOPS誰(shuí)就能跑更大的模型。但到了真正的IoT和可穿戴市場(chǎng)大家發(fā)現(xiàn)堆算力不是萬(wàn)能的電池只有幾十毫瓦時(shí)散熱條件就那么差功耗做不下來(lái)再?gòu)?qiáng)的TOPS也只能待在規(guī)格書(shū)里。這次發(fā)布的信號(hào)是競(jìng)爭(zhēng)邏輯正在從“誰(shuí)算得更快”轉(zhuǎn)向“誰(shuí)算得更省”。在同等精度和延遲下功耗低一倍就意味著設(shè)備續(xù)航長(zhǎng)一倍或者可以把電池做小一半。這種維度上的領(lǐng)先對(duì)產(chǎn)品經(jīng)理和結(jié)構(gòu)設(shè)計(jì)師來(lái)說(shuō)往往比那些帶電感的峰值算力數(shù)字更有說(shuō)服力。低功耗AI IP本質(zhì)上是在回答一個(gè)問(wèn)題當(dāng)設(shè)備只能擠出幾毫瓦預(yù)算時(shí)你還能不能擁有AI能力。2. 從5毫瓦到幾十毫瓦算力檔位是怎么切分的2.1 三檔IP的典型定位從公開(kāi)信息和行業(yè)常見(jiàn)做法來(lái)看這套低功耗AI IP系列大致可以分成三檔分別對(duì)應(yīng)三類(lèi)典型應(yīng)用。我按自己的理解畫(huà)了一張表方便對(duì)照規(guī)格檔位典型推理功耗目標(biāo)場(chǎng)景典型任務(wù)入門(mén)檔不到5mWTWS耳機(jī)、助聽(tīng)器、傳感器節(jié)點(diǎn)喚醒詞檢測(cè)、關(guān)鍵詞識(shí)別、異常聲音檢測(cè)均衡檔10~30mW智能門(mén)鎖、可穿戴設(shè)備、低功耗攝像頭人臉識(shí)別、人體存在檢測(cè)、手勢(shì)識(shí)別、簡(jiǎn)單行為識(shí)別高性能檔50~100mW以上端側(cè)多模態(tài)設(shè)備、智能家居中樞、邊緣網(wǎng)關(guān)實(shí)時(shí)視覺(jué)識(shí)別、多人檢測(cè)、小型語(yǔ)音交互、基礎(chǔ)多模態(tài)模型這三檔之間不是簡(jiǎn)單地把算力翻倍而是針對(duì)不同任務(wù)做了不同的架構(gòu)取舍。入門(mén)檔關(guān)注的是極低功耗下的連續(xù)監(jiān)聽(tīng)能力所以它的核心設(shè)計(jì)目標(biāo)是“在幾乎不耗電的前提下讓神經(jīng)網(wǎng)絡(luò)一直在線(xiàn)”。均衡檔則需要吞吐量和能效的平衡既要能跑幾分鐘的連續(xù)視頻流又不能讓發(fā)熱影響到用戶(hù)體驗(yàn)。高性能檔才真正開(kāi)始拼峰值TOPS可以承載更復(fù)雜的模型。2.2 和既有MCUNPU方案的邊界在哪很多嵌入式工程師會(huì)有疑問(wèn)現(xiàn)在不少M(fèi)CU廠(chǎng)商已經(jīng)在推帶NPU的型號(hào)了比如Cortex-M級(jí)別的芯片里集成一個(gè)小型加速器這和授權(quán)IP路線(xiàn)有什么區(qū)別區(qū)別其實(shí)在“自由度”上。MCU廠(chǎng)商幫你把AI加速器、CPU、存儲(chǔ)、接口全部封裝成一顆固定芯片你拿到手就是一個(gè)黑盒子性能邊界、內(nèi)存大小、功耗模式都是定死的。對(duì)絕大多數(shù)應(yīng)用開(kāi)發(fā)者來(lái)說(shuō)這個(gè)方案足夠。但如果你本身是芯片設(shè)計(jì)公司或者產(chǎn)品量級(jí)大到需要定制SoC來(lái)優(yōu)化成本與功耗你需要的是把AI加速器作為IP集成到自己的芯片里這樣CPU選什么核、內(nèi)存堆多大、外設(shè)怎么配都由自己決定。這種自由度直接決定了終端產(chǎn)品的差異化空間——比如你可以把AI IP和一顆超低功耗MCU核放在同一個(gè)裸片上省掉外部NPU的通信開(kāi)銷(xiāo)。2.3 給選型帶來(lái)的直接影響對(duì)做模組或終端產(chǎn)品的團(tuán)隊(duì)來(lái)說(shuō)這套IP發(fā)布最直接的影響是未來(lái)你會(huì)看到更多“同樣功能但功耗低一截”的AI芯片出現(xiàn)在市場(chǎng)上。因?yàn)橄掠涡酒灸玫竭@套IP后可以基于它做大量細(xì)分產(chǎn)品的SoC而不再需要為每個(gè)產(chǎn)品單獨(dú)設(shè)計(jì)和驗(yàn)證AI加速器。這意味著你在選型時(shí)需要關(guān)心的指標(biāo)會(huì)發(fā)生變化以前你可能只看“芯片AI算力多少TOPS”以后你得問(wèn)“跑這個(gè)模型時(shí)實(shí)際功耗是多少”“空閑和待機(jī)功耗是多少”“NPU和CPU之間的數(shù)據(jù)搬運(yùn)由誰(shuí)負(fù)責(zé)”。選型往深里走就繞不開(kāi)對(duì)這些底層設(shè)計(jì)取舍的理解。接下來(lái)這部分我想具體聊聊5毫瓦這個(gè)數(shù)字背后的“物理賬”。3. 把毫瓦級(jí)的賬算清楚5毫瓦到底能跑什么模型3.1 一次典型推理的功耗構(gòu)成要知道5毫瓦能做什么得先知道一次AI推理的功耗是怎么花掉的。神經(jīng)網(wǎng)絡(luò)推理主要開(kāi)銷(xiāo)在兩部分計(jì)算和內(nèi)存訪(fǎng)問(wèn)。計(jì)算就是成千上萬(wàn)次乘加運(yùn)算內(nèi)存訪(fǎng)問(wèn)則是反復(fù)讀寫(xiě)權(quán)重和中間結(jié)果。很多人的直覺(jué)是計(jì)算最耗電但實(shí)際上數(shù)據(jù)搬移的功耗在低功耗設(shè)計(jì)中往往占大頭——因?yàn)樵L(fǎng)問(wèn)一次片上SRAM的能耗比做一次MAC運(yùn)算高一個(gè)數(shù)量級(jí)。如果用更直觀(guān)的方式理解你把模型權(quán)重從Flash讀到SRAM再?gòu)腟RAM搬進(jìn)計(jì)算單元這個(gè)過(guò)程消耗的能量可能比卷積計(jì)算本身還多。這也是為什么低功耗AI IP在設(shè)計(jì)時(shí)會(huì)把“減少數(shù)據(jù)搬移”放在比“提高計(jì)算吞吐”更高的優(yōu)先級(jí)上。一個(gè)經(jīng)典的優(yōu)化思路是“數(shù)據(jù)復(fù)用”——讓同一份權(quán)重在多個(gè)輸入上重復(fù)使用而不是反復(fù)從內(nèi)存里取。3.2 能算出來(lái)的續(xù)航紐扣電池也能撐很久嗎把5毫瓦放進(jìn)實(shí)際產(chǎn)品里看會(huì)是怎樣的續(xù)航水平我們來(lái)做一個(gè)非常粗略的估算。以一顆常見(jiàn)的CR2032紐扣電池為例標(biāo)稱(chēng)容量大約為220mAh對(duì)應(yīng)能量按3V電壓算是約660mWh。假設(shè)一臺(tái)傳感器設(shè)備需要持續(xù)進(jìn)行AI推理平均功耗為5毫瓦理論運(yùn)行時(shí)間約為660 ÷ 5 132小時(shí)也就是大約5.5天如果AI推理不是連續(xù)運(yùn)行而是每小時(shí)觸發(fā)一次每次30毫秒那么AI部分占空比非常低計(jì)算出的平均功耗可能只有零點(diǎn)零幾毫瓦續(xù)航幾乎可以忽略不計(jì)。所以真正聰明的做法不是讓AI一直以5毫瓦跑著而是讓設(shè)備在99%的時(shí)間里處于微安級(jí)待機(jī)狀態(tài)只在需要時(shí)喚醒AI內(nèi)核完成推理后又迅速斷電。5毫瓦解決的核心問(wèn)題是“AI推理本身足夠便宜便宜到可以頻繁喚醒”。3.3 實(shí)際場(chǎng)景里的模型規(guī)模上限功耗和模型規(guī)模的關(guān)系不像想象中那么線(xiàn)性但可以參考經(jīng)驗(yàn)值在入門(mén)檔5毫瓦功耗約束下能流暢運(yùn)行的模型通常在幾十KB到幾百KB的權(quán)重規(guī)模之間典型的是語(yǔ)音喚醒詞模型幾百KB、關(guān)鍵詞識(shí)別模型幾十到幾百KB、簡(jiǎn)單異常聲音分類(lèi)器。這些模型參數(shù)少、計(jì)算量低非常適合用極低精度量化后部署。均衡檔10~30毫瓦范圍就能承載2D人臉檢測(cè)、人體感應(yīng)、手勢(shì)識(shí)別這類(lèi)視覺(jué)模型模型規(guī)模一般在1MB到幾MB可能需要用到更精細(xì)的量化策略或小型CNN結(jié)構(gòu)。到了高性能檔才有可能跑實(shí)時(shí)視頻流處理、多人檢測(cè)、甚至輕量級(jí)Transformer。給想上車(chē)的開(kāi)發(fā)者一個(gè)建議先別急著追求大模型。低功耗AI產(chǎn)品成功的關(guān)鍵是先找到“夠用的模型”然后用網(wǎng)絡(luò)剪枝、量化和蒸餾把它壓到目標(biāo)功耗以?xún)?nèi)。模型不是越大越好而是“在功耗預(yù)算內(nèi)精度越高越好”。4. 毫瓦級(jí)AI核心背后的省電設(shè)計(jì)4.1 數(shù)據(jù)搬移才是頭號(hào)敵人低功耗AI芯片設(shè)計(jì)圈有句老話(huà)功耗即數(shù)據(jù)流。如果只看計(jì)算單元一毫瓦都能做很多MAC操作真正把功耗推上去的是權(quán)重和特征圖的搬運(yùn)。為了讓數(shù)據(jù)搬移最小化常見(jiàn)的做法是在架構(gòu)里設(shè)計(jì)多層級(jí)的存儲(chǔ)結(jié)構(gòu)寄存器陣列、小容量的片上SRAM、大容量Flash逐級(jí)緩存讓數(shù)據(jù)在“最熱”的時(shí)候留在離計(jì)算單元最近的地方。第二個(gè)常用的手段是稀疏化支持。現(xiàn)實(shí)中的神經(jīng)網(wǎng)絡(luò)剪枝之后很多權(quán)重是零值。如果硬件能跳過(guò)為零的權(quán)重和激活那么實(shí)際計(jì)算量和等效內(nèi)存訪(fǎng)問(wèn)都能大幅下降。當(dāng)然這需要硬件調(diào)度支持稀疏矩陣的壓縮和跳躍不是每個(gè)NPU都做得好做得好和做得差的在真實(shí)稀疏模型上的功耗差距能到兩倍以上。4.2 低電壓與工藝的平衡數(shù)字電路功耗的理論公式是功耗與電壓的平方成正比所以最直接的省電手段是把電壓往低拉。但電壓降低之后電路時(shí)序裕量變小芯片良率可能受影響最高運(yùn)行頻率也會(huì)下降。為了在低電壓下維持能效芯片設(shè)計(jì)公司通常會(huì)在架構(gòu)上做更多流水線(xiàn)權(quán)衡或者引入近閾值/亞閾值電路設(shè)計(jì)技術(shù)。這帶來(lái)一個(gè)結(jié)果這類(lèi)低功耗IP對(duì)工作電壓范圍的標(biāo)定特別講究你在集成時(shí)不能拿它當(dāng)普通邏輯IP隨意跑電壓。供電電壓、時(shí)鐘頻率、溫度這三個(gè)因素直接影響IP能否穩(wěn)定工作在廠(chǎng)商標(biāo)稱(chēng)的功耗水平。很多項(xiàng)目做到后來(lái)發(fā)現(xiàn)實(shí)測(cè)功耗比規(guī)格書(shū)高不是因?yàn)镮P本身有問(wèn)題而是供電方案設(shè)計(jì)得不夠干凈導(dǎo)致電壓跌落或漏電增加。4.3 稀疏化、量化和自適應(yīng)精度除了架構(gòu)級(jí)優(yōu)化毫瓦級(jí)IP通常還會(huì)把精度伸縮性做成硬件能力。也就是說(shuō)同一個(gè)內(nèi)核既支持INT8也可以跑INT4甚至更低比特還支持選擇性地跳過(guò)不重要的計(jì)算通道。模型在部署時(shí)可以根據(jù)精度和功耗需求做動(dòng)態(tài)調(diào)整工作模式要求高精度時(shí)切INT8低功耗待命模式切INT4用一點(diǎn)點(diǎn)精度損失換回接近一半的功耗下降。這種“精度可伸縮”的硬件特性在實(shí)際產(chǎn)品里很有價(jià)值。比如一個(gè)智能門(mén)鎖在白天光照良好時(shí)可以用高精度模式做精確的人臉識(shí)別到了晚上或者低電量時(shí)切換到低精度模式做快速的人員存在檢測(cè)功耗明顯下降核心體驗(yàn)不受太大影響。把選擇權(quán)交給上層軟件這是低功耗AI IP和固定功能ASIC之間一個(gè)很大的區(qū)別。5. AI IP不是買(mǎi)回來(lái)裝上就行集成時(shí)會(huì)踩的坑5.1 先想清楚“功耗歸誰(shuí)管”集成AI IP最常被低估的問(wèn)題是功耗管理域的劃分。AI內(nèi)核不能簡(jiǎn)單地永遠(yuǎn)上電待命它需要有自己的電源門(mén)控、時(shí)鐘門(mén)控和喚醒機(jī)制。你的SoC里其他模塊可能跑在1.8V或3.3V域而AI內(nèi)核通常在更低的核心電壓域需要通過(guò)電平轉(zhuǎn)換接口連接。如果電源域設(shè)計(jì)得不合理AI內(nèi)核即使沒(méi)在推理漏電也可能達(dá)到毫瓦級(jí)直接把“5毫瓦”變成“20毫瓦”。所以集成時(shí)第一件事就是要定義清楚AI IP一共有幾種工作狀態(tài)深度睡眠、待機(jī)、喚醒、推理、高速推理。每種狀態(tài)對(duì)應(yīng)什么功耗、從一種狀態(tài)切換到另一種需要多少時(shí)間多少能量這些參數(shù)直接決定了整機(jī)功耗能不能做得下來(lái)。我就見(jiàn)過(guò)不少項(xiàng)目硬件設(shè)計(jì)時(shí)沒(méi)留夠喚醒信號(hào)通路導(dǎo)致AI內(nèi)核需要被CPU頻繁喚醒結(jié)果功耗預(yù)算全浪費(fèi)在來(lái)回切換上。5.2 工具鏈與模型轉(zhuǎn)換的成熟度拿到再好的IP最后還是要落地到“把PyTorch/TensorFlow模型轉(zhuǎn)成能在NPU上跑的格式”這件事上。低功耗AI IP的軟件棧成熟度差不多決定了你的產(chǎn)品上線(xiàn)速度。要關(guān)注幾個(gè)核心點(diǎn)支持哪些訓(xùn)練框架、支持哪些算子、量化工具是自動(dòng)還是有大量手工介入、有沒(méi)有可用的模型庫(kù)參考。我的建議是在正式選定IP之前先拿自己要跑的模型跑一遍完整的工具鏈流程從訓(xùn)練后量化到推理輸出。不要只在模擬器上跑要有真實(shí)仿真環(huán)境或FPGA驗(yàn)證平臺(tái)。我見(jiàn)過(guò)不少團(tuán)隊(duì)在宣傳材料里看中了算力和功耗結(jié)果模型轉(zhuǎn)過(guò)去之后有一半算子不支持只能改寫(xiě)網(wǎng)絡(luò)結(jié)構(gòu)硬生生把項(xiàng)目拖了兩三個(gè)月。5.3 評(píng)估板永遠(yuǎn)替代不了真實(shí)場(chǎng)景廠(chǎng)商提供的評(píng)估板和參考設(shè)計(jì)是在理想條件下調(diào)好的供電干凈、環(huán)境溫度適宜、驅(qū)動(dòng)配置都是最佳狀態(tài)。到了你的真實(shí)產(chǎn)品里天線(xiàn)輻射、電源噪聲、傳感器接口、結(jié)構(gòu)散熱每一環(huán)都會(huì)影響AI內(nèi)核的實(shí)際工作狀態(tài)。比如語(yǔ)音喚醒設(shè)備真實(shí)環(huán)境中的背景噪聲、說(shuō)話(huà)人距離、麥克風(fēng)陣列的拾音質(zhì)量都會(huì)影響模型需要多高的算力才能穩(wěn)定喚醒而功耗又是隨算力使用率波動(dòng)的。這導(dǎo)致一個(gè)現(xiàn)象評(píng)測(cè)室里測(cè)出的平均功耗很漂亮放到用戶(hù)家里因?yàn)檎`喚醒率變高、重試次數(shù)增加實(shí)際功耗可能直接翻倍。所以做整機(jī)驗(yàn)證時(shí)一定要把“真實(shí)觸發(fā)率”納入功耗模型不能只看單次推理功耗。6. 我對(duì)這類(lèi)低功耗AI IP的選型建議6.1 先定義清楚“最低功耗”的約束條件如果你正在評(píng)估類(lèi)似方案我的第一個(gè)建議是不要被“最低5毫瓦”這種數(shù)字帶節(jié)奏而要先把約束條件寫(xiě)清楚。你的設(shè)備需要AI持續(xù)在線(xiàn)還是突發(fā)喚醒每次推理的最長(zhǎng)延遲是多少模型精度底線(xiàn)是多少電池容量和產(chǎn)品壽命目標(biāo)是多少把這些數(shù)字寫(xiě)下來(lái)再換算成功耗預(yù)算。舉例來(lái)說(shuō)如果你的產(chǎn)品是TWS耳機(jī)需要連續(xù)監(jiān)聽(tīng)喚醒詞那么真正關(guān)鍵的指標(biāo)是“監(jiān)聽(tīng)狀態(tài)下的持續(xù)功耗”可能是幾百微瓦級(jí)別而不是5毫瓦。這時(shí)候入門(mén)檔IP可能還不夠得配合更高級(jí)的低功耗監(jiān)聽(tīng)邏輯。相反如果產(chǎn)品是智能門(mén)鎖一天只觸發(fā)十幾次人臉識(shí)別那5毫瓦甚至更低的功耗都完全夠用沒(méi)必要為更高算力買(mǎi)單。6.2 別被峰值TOPS帶偏很多IP規(guī)格書(shū)喜歡把峰值TOPS標(biāo)得很高但真實(shí)場(chǎng)景中能持續(xù)維持的算力通常遠(yuǎn)低于峰值受限于散熱、供電和內(nèi)存帶寬。對(duì)低功耗產(chǎn)品來(lái)說(shuō)更要關(guān)注的指標(biāo)是能效比也就是每瓦能提供多少有效算力TOPS/W以及在目標(biāo)功耗包絡(luò)下能穩(wěn)定跑到的算力水平。舉個(gè)例子兩顆IP峰值算力相同但一顆在30毫瓦時(shí)能跑出80%的峰值性能另一顆要到80毫瓦才能跑出同樣性能。后者在規(guī)格書(shū)里可能看起來(lái)參數(shù)更好但在電池設(shè)備里連完整的性能都用不出來(lái)。選IP不是選最強(qiáng)的心臟而是選能與你產(chǎn)品的電源、散熱和價(jià)格匹配的心臟。6.3 我們真正缺的不是算力是“用得起”的算力這幾天我反復(fù)回看這條發(fā)布消息越想越覺(jué)得“最低不到5毫瓦”這件事真正改變的是產(chǎn)品定義的空間。以前做低功耗AI產(chǎn)品硬件工程師被功耗壓得喘不過(guò)氣很多功能只能忍痛砍掉現(xiàn)在AI推理本身變得足夠便宜產(chǎn)品經(jīng)理可以更大膽地把AI能力放進(jìn)過(guò)去被認(rèn)為“不可能”的設(shè)備里。同時(shí)也要清醒看到低功耗AI IP只是給了一個(gè)好的起點(diǎn)產(chǎn)品能不能成還取決于模型優(yōu)化能力、工具鏈成熟度和系統(tǒng)級(jí)功耗管理水平。芯片端的“用得起”不等于產(chǎn)品端的“用得好”。但對(duì)整個(gè)行業(yè)來(lái)說(shuō)有人愿意把AI功耗做到毫瓦級(jí)并把它打包成可以反復(fù)使用的IP這本身就是一次值得記錄的進(jìn)步。說(shuō)點(diǎn)我自己的體會(huì)我評(píng)估過(guò)不少邊緣AI方案踩過(guò)工具鏈的坑也見(jiàn)過(guò)被功耗實(shí)測(cè)數(shù)據(jù)打臉的宣傳。如果你正在做低功耗AI產(chǎn)品建議在今年內(nèi)多留意幾家IP廠(chǎng)商的路線(xiàn)圖和評(píng)測(cè)數(shù)據(jù)并且拿自己的真實(shí)模型去跑一輪完整的工具鏈驗(yàn)證。省電這件事光看發(fā)布會(huì)沒(méi)有用還是要自己動(dòng)手把每一毫瓦的賬算明白。