1. 為什么參數(shù)競(jìng)賽會(huì)退潮三個(gè)硬約束我大概從五年前開始接觸大模型項(xiàng)目那會(huì)兒圈子里聊技術(shù)開口閉口都是參數(shù)規(guī)模。某頭部實(shí)驗(yàn)室出了一個(gè)千億參數(shù)模型另一個(gè)廠子就趕緊跟一個(gè)萬(wàn)億參數(shù)的好像誰(shuí)參數(shù)大誰(shuí)就站在了技術(shù)之巔。到了2025年風(fēng)向明顯變了。我身邊做產(chǎn)品的同事開始追問你的模型在我的業(yè)務(wù)腳手架里到底多快、多省、多穩(wěn)那串“參數(shù)競(jìng)賽”的PPT越來越難打動(dòng)審批人了。不是大家突然不愛大模型了而是三個(gè)硬約束把“堆參數(shù)”這條路堵得越來越窄。這三個(gè)約束幾乎決定了2026年技術(shù)方向的轉(zhuǎn)向效率優(yōu)先、物理世界理解、端側(cè)智能。1.1 算力賬單先算不過來了先算一筆實(shí)在賬。模型參數(shù)增加四倍訓(xùn)練所需的算力往往不是一個(gè)線性增長(zhǎng)而是接近一個(gè)數(shù)量級(jí)的放大。因?yàn)槲易鑫⒄{(diào)項(xiàng)目時(shí)算過某個(gè)模型從幾億參數(shù)加到幾十億參數(shù)訓(xùn)練的顯存、時(shí)間、電力全部翻跟頭一樣漲而評(píng)測(cè)分?jǐn)?shù)只漲了幾個(gè)點(diǎn)。老板問“能不能把效果再提一提”我看了賬單只能搖頭。推理側(cè)的壓力更明顯。參數(shù)大了每個(gè)請(qǐng)求都要過更多的計(jì)算單元響應(yīng)時(shí)間變慢單次調(diào)用的成本變高。過去大家接受“效果優(yōu)先、成本無所謂”是因?yàn)槟Ｐ湍茏龅氖绿僖粌蓚€(gè)驚艷的demo就能掩蓋運(yùn)營(yíng)成本。但當(dāng)模型開始進(jìn)入真實(shí)業(yè)務(wù)流程、每天要被調(diào)用幾百萬(wàn)次的時(shí)候參數(shù)的每一分膨脹都會(huì)變成賬單上的真金白銀。你做一個(gè)客服機(jī)器人的成本核算表再對(duì)比榜單上的千億參數(shù)大概率第一輪就會(huì)被砍掉。更致命的是邊際收益遞減。模型參數(shù)乘了十倍能力并沒有翻十倍。很多研究者公開測(cè)試過參數(shù)量差距在兩個(gè)數(shù)量級(jí)以內(nèi)的模型在真實(shí)任務(wù)上的表現(xiàn)差距可能只有三五個(gè)百分點(diǎn)。這樣的收益撐不起算力投入。2026年的模型選型不再看誰(shuí)嗓門大而是看誰(shuí)能在等量算力里榨出更多智能。1.2 數(shù)據(jù)墻就在眼前第二個(gè)約束是數(shù)據(jù)。高質(zhì)量語(yǔ)言數(shù)據(jù)快被讀完了。網(wǎng)絡(luò)上的文本確實(shí)還在增長(zhǎng)但真正干凈、有邏輯、能用來訓(xùn)練的高質(zhì)量語(yǔ)料已經(jīng)被各大實(shí)驗(yàn)室來回掃了很多遍。剩下的大量文本充滿了重復(fù)、噪音和無意義的拼接。用這些數(shù)據(jù)訓(xùn)練模型學(xué)不到新東西反而容易吸收壞習(xí)慣。合成數(shù)據(jù)是個(gè)解法但也不是萬(wàn)能藥。用模型生成數(shù)據(jù)再訓(xùn)練模型本質(zhì)上是在原有知識(shí)分布里轉(zhuǎn)圈它很難引入真正的新信息。更關(guān)鍵的轉(zhuǎn)折點(diǎn)是物理世界的數(shù)據(jù)——比如攝像頭畫面、傳感器讀數(shù)、機(jī)器人關(guān)節(jié)的角度變化——這些數(shù)據(jù)的獲取成本比文本數(shù)據(jù)貴出好幾個(gè)數(shù)量級(jí)。但恰恰是這個(gè)“貴”把行業(yè)推向了另一個(gè)方向既然文本數(shù)據(jù)靠不住了那就讓模型去接觸真實(shí)世界的數(shù)據(jù)。這正好和“物理世界理解”掛上了鉤。2026年的數(shù)據(jù)競(jìng)賽會(huì)比誰(shuí)的傳感器布點(diǎn)多、誰(shuí)的真實(shí)交互數(shù)據(jù)采集效率高而不是誰(shuí)爬的語(yǔ)料庫(kù)更大。1.3 評(píng)測(cè)分?jǐn)?shù)飽和用戶體感沒跟上第三個(gè)約束是評(píng)測(cè)體系失效。前兩年大模型賽道卷通用榜單分?jǐn)?shù)已經(jīng)卷到了小數(shù)點(diǎn)后兩位。你要是只看榜單會(huì)覺得AI已經(jīng)快要無所不能了?？涩F(xiàn)實(shí)里打開產(chǎn)品遇到稍微復(fù)雜的業(yè)務(wù)文本還是得靠人工兜底。我做過一個(gè)合同信息抽取項(xiàng)目甲方給的驗(yàn)收標(biāo)準(zhǔn)不是什么公開榜單而是具體到條款抽取的準(zhǔn)確率和漏檢率。我們換了好幾個(gè)開源模型榜單分?jǐn)?shù)一個(gè)比一個(gè)高但放到那批真實(shí)合同上表現(xiàn)最好的反而是一個(gè)中等規(guī)模的模型——因?yàn)樗鼘?duì)特定句式的魯棒性更好噪音環(huán)境下更穩(wěn)定。這就是用戶體感和評(píng)測(cè)分?jǐn)?shù)的錯(cuò)位。真實(shí)世界不會(huì)按榜單出題它只問你的模型在光線昏暗的倉(cāng)庫(kù)里能不能認(rèn)出貨箱條碼在嘈雜的車間里能不能聽清語(yǔ)音指令在電梯里信號(hào)差的時(shí)候能不能正常響應(yīng)這些問題的答案和參數(shù)數(shù)量沒有直接關(guān)系和模型對(duì)真實(shí)物理環(huán)境的理解方式卻有直接關(guān)系。評(píng)審市場(chǎng)被這類“現(xiàn)實(shí)題”主導(dǎo)之后參數(shù)堆疊的價(jià)值自然縮水。2. 2026年三大進(jìn)化方向先在心里畫一張圖2.1 三個(gè)方向分別解決什么問題拋開抽象概念我給2026年的AI技術(shù)畫了個(gè)三角效率優(yōu)先、世界模型、端側(cè)智能。這三個(gè)方向并不是并列的三個(gè)熱點(diǎn)而是互相關(guān)聯(lián)的解題思路。進(jìn)化方向要解決的問題關(guān)鍵能力典型的落地形態(tài)效率優(yōu)先算力成本和數(shù)據(jù)邊際收益遞減稀疏計(jì)算、量化、蒸餾、推理優(yōu)化小算力跑大模型私有化部署物理世界理解語(yǔ)言理解夠用了但物理因果不夠多維感知、空間表示、狀態(tài)預(yù)測(cè)、因果推理世界模型、具身智能、機(jī)器人決策端側(cè)智能云端響應(yīng)太慢、隱私成本高、離線場(chǎng)景多模型壓縮、NPU適配、多傳感器融合邊緣盒子、手機(jī)端助手、機(jī)器人本體效率優(yōu)先解決的是“錢和電的問題”這是所有后續(xù)落地的前提。物理世界理解解決的是“智能深度的問題”它讓AI不再只是會(huì)聊天而是能理解“杯子掉下去會(huì)碎”“車拐彎時(shí)貨物會(huì)滑動(dòng)”。端側(cè)智能解決的是“最后一公里問題”它讓AI帶著理解能力走進(jìn)真實(shí)設(shè)備而不是永遠(yuǎn)待在云端機(jī)房里。2.2 為什么是這三個(gè)方向而不是別的很多朋友問為什么不是“多模態(tài)”“智能體”“AI編程”這些熱門詞我的判斷是那些更像具體產(chǎn)品形態(tài)而這三個(gè)方向才是底層的技術(shù)進(jìn)化動(dòng)因。多模態(tài)其實(shí)是物理世界理解的子集。當(dāng)模型要把視覺、聽覺、觸覺甚至深度信息融合進(jìn)同一個(gè)理解框架多模態(tài)是繞不開的工程手段。智能體是效率問題和端側(cè)問題的交叉產(chǎn)物——一個(gè)真正能自動(dòng)完成任務(wù)的智能體必須在有限算力內(nèi)快速?zèng)Q策必須能讀懂環(huán)境反饋。AI編程這類應(yīng)用本質(zhì)上也只是“效率優(yōu)先”大背景下模型對(duì)任務(wù)理解得更深之后的副產(chǎn)品。換句話說把三大進(jìn)化方向看清楚了那些應(yīng)用層面的熱點(diǎn)會(huì)自己找到位置。反過來只追產(chǎn)品熱點(diǎn)很容易在技術(shù)換擋期踩空。2.3 三個(gè)方向怎么咬合到一起單獨(dú)看每個(gè)方向都容易犯偏。只講效率優(yōu)化會(huì)做成單純壓縮模型只講世界模型會(huì)做成PPT里的科幻概念只講端側(cè)智能會(huì)做成嵌入式板卡的硬件測(cè)評(píng)。真正要理解2026年的AI得看三個(gè)方向怎么配合。效率優(yōu)化是底座世界模型要跑在機(jī)器人身上得先把百億參數(shù)的架構(gòu)壓到設(shè)備能背得動(dòng)端側(cè)智能要實(shí)時(shí)響應(yīng)得先把單次推理的時(shí)間打下來。物理世界理解是大腦沒有狀態(tài)預(yù)測(cè)和因果推理端側(cè)設(shè)備再快也只是個(gè)自動(dòng)化器械不理解環(huán)境和后果。端側(cè)設(shè)備是觸手模型只有在真實(shí)世界部署過、被真實(shí)數(shù)據(jù)喂過世界模型才有條件學(xué)到“現(xiàn)實(shí)物理約束”比如摩擦力、光照變化、傳感器漂移。我做過一個(gè)機(jī)器人的路徑規(guī)劃預(yù)研項(xiàng)目剛開始覺得算法是核心后來發(fā)現(xiàn)真正卡進(jìn)度的是推理耗時(shí)和傳感器同步。一個(gè)十幾毫秒的決策延遲機(jī)器人已經(jīng)撞上了貨架。你看這三個(gè)方向根本拆不開。3. 方向一效率優(yōu)先算力賬逼出來的進(jìn)化3.1 稀疏激活和MoE架構(gòu)成了標(biāo)配先看第一個(gè)方向效率優(yōu)先。2026年最明顯的變化會(huì)是模型不再追求所有參數(shù)都參與計(jì)算而是只激活必要的那部分。這就是專家混合結(jié)構(gòu)的基本思想一個(gè)模型里有幾十個(gè)“專家子網(wǎng)絡(luò)”輸入進(jìn)來時(shí)路由網(wǎng)絡(luò)根據(jù)內(nèi)容只挑選最相關(guān)的幾位專家干活。打個(gè)粗糙的比方就像一個(gè)學(xué)校聘請(qǐng)了好幾百位各科骨干教師但一堂課只叫兩三位上臺(tái)講。師資總數(shù)看起來很大實(shí)際的人力開銷卻沒想象中高。放到模型上一個(gè)總參數(shù)五千億的模型前向計(jì)算可能只激活五百億參數(shù)推理成本降低一大截。這在2026年不會(huì)是什么尖端技術(shù)而是基礎(chǔ)設(shè)施的標(biāo)配。但MoE落地也有坑。最典型的是路由不均衡如果路由網(wǎng)絡(luò)總是偏愛某幾個(gè)專家其他專家就得不到訓(xùn)練整體退化成一個(gè)稠密模型。工程上一般會(huì)加負(fù)載均衡的輔助損失或者對(duì)路由器做額外的約束。我試過用不設(shè)限的路由去訓(xùn)練一個(gè)中層MoE模型三萬(wàn)個(gè)step之后發(fā)現(xiàn)有幾個(gè)專家基本沒被選中過損失曲線開始震蕩加上均衡約束才穩(wěn)下來。這類問題在公開討論里經(jīng)常被忽略實(shí)際踩坑了才知道代價(jià)。3.2 蒸餾和量化把一個(gè)聰明模型變成剩下的模型模型太大最實(shí)用的辦法就是把它的“能力”轉(zhuǎn)到更小的模型上去這就是知識(shí)蒸餾。操作并不復(fù)雜用一個(gè)能力強(qiáng)的老師模型在任務(wù)數(shù)據(jù)上跑出軟標(biāo)簽——也就是各類別的概率分布——然后讓學(xué)生模型學(xué)著匹配這個(gè)分布而不只是匹配硬標(biāo)簽。我常給朋友演示一個(gè)最小可用的蒸餾流程。老師模型在文本上算出每個(gè)類別的概率別直接取argmax而是保留完整分布訓(xùn)練學(xué)生模型時(shí)除了正常的交叉熵?fù)p失還要加一個(gè)KL散度損失讓學(xué)生模型的概率分布貼近老師模型的分布。這里有個(gè)重要的超參叫溫度系數(shù)。溫度設(shè)得高輸出的分布更平滑學(xué)生能學(xué)到類別之間的相似關(guān)系溫度太高也不行我試過T調(diào)到8以上學(xué)生模型的輸出變得過度平滑在關(guān)鍵類別上猶豫不決把很多樣本都判成模棱兩可。常用做法是從4起步跑幾個(gè)小實(shí)驗(yàn)再定。量化是另一條路。把模型權(quán)重從FP16壓縮到INT8直觀收益是顯存占用直接降到四分之一左右推理速度在一些硬件上能提升兩倍以上。實(shí)際做的時(shí)候我需要提醒一個(gè)細(xì)節(jié)不是所有層都適合一刀切量化。模型的某些層對(duì)數(shù)值精度異常敏感量化之后掉點(diǎn)特別明顯。我們當(dāng)時(shí)的方案是先全模型INT8量化跑一輪評(píng)測(cè)找出掉點(diǎn)最重的幾層把它們留在FP16做混合精度推理。3.3 我的實(shí)操經(jīng)歷一個(gè)蒸餾項(xiàng)目的真實(shí)記錄我前陣子帶了個(gè)模擬項(xiàng)目X任務(wù)是把一個(gè)效果不錯(cuò)但體積巨大的老師模型移植到一個(gè)小型稠密模型里用作文本結(jié)構(gòu)化抽取。項(xiàng)目開始時(shí)團(tuán)隊(duì)其他人的第一反應(yīng)是“我們干脆直接用老師模型做服務(wù)反正機(jī)器夠多”但運(yùn)維同事算了一筆賬按業(yè)務(wù)量估算全天候跑老師模型的成本夠再雇好幾個(gè)外包標(biāo)注團(tuán)隊(duì)了。我們最終采用了“任務(wù)蒸餾樣本清洗”的組合。先把老師模型在十萬(wàn)條業(yè)務(wù)數(shù)據(jù)上的預(yù)測(cè)結(jié)果跑出來僅保留置信度高的樣本做學(xué)生模型的訓(xùn)練集蒸餾時(shí)用溫度T3的軟標(biāo)簽約束學(xué)生模型。兩周訓(xùn)練下來學(xué)生模型在測(cè)試集上拿到了老師模型約96%的效果推理延遲卻降了兩個(gè)數(shù)量級(jí)還發(fā)現(xiàn)了一個(gè)有趣的副作用因?yàn)檐洏?biāo)簽帶上了類別間的相似結(jié)構(gòu)學(xué)生模型在某些邊緣樣本上比老師模型更“謹(jǐn)慎”誤報(bào)率反而低了。那次實(shí)操給我的最大感受是效率優(yōu)化不是把大模型變笨而是把大模型學(xué)到的東西重新編排成適應(yīng)業(yè)務(wù)的形態(tài)。2026年的大多數(shù)“神級(jí)模型”等真正部署到客戶機(jī)房時(shí)大概率都是某個(gè)經(jīng)過蒸餾、量化和剪枝組合拳打過的“瘦身版”。4. 方向二物理世界理解從語(yǔ)言符號(hào)到時(shí)空因果4.1 世界模型到底在“理解”什么第二個(gè)方向是我認(rèn)為2026年最有想象空間的進(jìn)化物理世界理解。先厘清一個(gè)容易混淆的概念。語(yǔ)言模型說它會(huì)“理解”世界那是在文本統(tǒng)計(jì)意義上的理解。你問它“把一個(gè)玻璃杯從桌上推下去會(huì)怎么樣”它能答出“會(huì)摔碎”但那是從語(yǔ)料里背出來的答案它并沒有在物理層面預(yù)測(cè)過杯子的運(yùn)動(dòng)軌跡。世界模型要補(bǔ)上的正是這個(gè)缺口——對(duì)物理世界做狀態(tài)表達(dá)和演化預(yù)測(cè)。簡(jiǎn)單拆解一下世界模型至少要包含三個(gè)能力。第一是空間感知能感知物體在三維空間中的位置、形狀、朝向第二是時(shí)間預(yù)測(cè)能根據(jù)當(dāng)前狀態(tài)推演下一時(shí)刻的狀態(tài)比如杯子下落時(shí)預(yù)測(cè)它落地后的形變第三是交互反饋能理解動(dòng)作施加到世界上之后世界會(huì)如何回饋比如機(jī)器人用力抓杯子杯子會(huì)發(fā)生位移還是破碎?？梢灶惐瘸蓺庀箢A(yù)報(bào)系統(tǒng)你給它當(dāng)前的溫度、氣壓、風(fēng)速、濕度它推演出未來幾小時(shí)的天氣變化。世界模型做的事情就是把這種“狀態(tài)演算”的邏輯從氣象搬到泛化的現(xiàn)實(shí)場(chǎng)景里。4.2 技術(shù)棧已經(jīng)不是空想了多模態(tài)對(duì)齊、3D表示、隱空間動(dòng)力學(xué)世界模型這種聽起來很科幻的方向在2026年其實(shí)已經(jīng)有了一套可以落地的技術(shù)棧。第一步是多模態(tài)對(duì)齊。過去模型理解一張圖是靠圖片和文本標(biāo)簽的匹配本質(zhì)上是“看圖識(shí)字”。物理世界理解需要的是把不同模態(tài)映射到同一套表示空間里——圖像里的杯子和深度傳感器點(diǎn)云里的杯子以及機(jī)械臂觸覺反饋里那個(gè)“光滑且易碎”的杯子應(yīng)該對(duì)應(yīng)到同一個(gè)內(nèi)部實(shí)體。這需要通過對(duì)比學(xué)習(xí)、跨模態(tài)注意力這些手段一點(diǎn)點(diǎn)磨出來。第二步是三維空間表示。語(yǔ)言模型天生只有一維序列概念哪怕訓(xùn)練數(shù)據(jù)里有一萬(wàn)張圖它也不知道物體的厚度和遮擋關(guān)系。所以物理世界理解需要接上三維重建技術(shù)不管是體素、網(wǎng)格還是神經(jīng)輻射場(chǎng)這類隱式表示先把場(chǎng)景建出來。有了三維結(jié)構(gòu)模型才算有了空間感的底子。第三步是狀態(tài)轉(zhuǎn)移預(yù)測(cè)。這一步往往用隱空間動(dòng)力學(xué)模型來做。通俗說就是把場(chǎng)景壓縮成一個(gè)低維的狀態(tài)向量——比如杯子的坐標(biāo)、速度、受力方向——然后訓(xùn)練一個(gè)網(wǎng)絡(luò)讓這個(gè)狀態(tài)向量按物理規(guī)律“滾動(dòng)”到下一時(shí)刻。用到機(jī)器人上時(shí)就是滾動(dòng)預(yù)測(cè)若干幀之后的狀態(tài)再?zèng)Q定怎么行動(dòng)。4.3 具身智能把理解變成“會(huì)做事的模型”物理世界理解最典型的應(yīng)用場(chǎng)景就是具身智能。傳統(tǒng)機(jī)器人抓取物體流程基本是“攝像頭識(shí)別物體位置—機(jī)械臂按預(yù)編程軌跡去抓—靠末端力傳感器容錯(cuò)”。這套流程在結(jié)構(gòu)化的工廠里很好用但環(huán)境一變比如物體的擺放角度不在學(xué)習(xí)樣本里或者表面材質(zhì)是反光的、半透明的系統(tǒng)就很容易抓空。具身智能要做的是在“識(shí)別”和“抓取”之間加一層理解考慮物體的材質(zhì)、重心、摩擦系數(shù)、以及被抓取時(shí)可能產(chǎn)生的滑動(dòng)。這不是把視覺模型換一個(gè)更強(qiáng)的而是要把整條決策鏈路升級(jí)。我在某個(gè)模擬項(xiàng)目X里做過倉(cāng)儲(chǔ)料箱抓取。最初方案是純視覺引導(dǎo)單目相機(jī)加一個(gè)抓取點(diǎn)回歸網(wǎng)絡(luò)效果在貨箱碼放整齊時(shí)不錯(cuò)但一旦料箱歪斜或者堆疊不規(guī)范抓取成功率就掉到六成以下。后來我們加了一層輕量級(jí)的物理狀態(tài)預(yù)測(cè)先用多視角深度圖像重建料箱的三維包圍盒和姿態(tài)再通過一個(gè)小規(guī)模動(dòng)力學(xué)模型預(yù)測(cè)“如果我在這個(gè)點(diǎn)施加抓取力料箱會(huì)不會(huì)滑脫”。這是一個(gè)非常樸素的“世界模型”雛形但它把抓取成功率從六成多拉到了九成以上。物理世界理解的現(xiàn)實(shí)價(jià)值就是這么直接。4.4 真機(jī)數(shù)據(jù)太貴仿真到現(xiàn)實(shí)的鴻溝怎么跨物理世界理解面臨的最大瓶頸是真實(shí)數(shù)據(jù)太貴。一個(gè)語(yǔ)言模型訓(xùn)練用的文本語(yǔ)料爬幾個(gè)月幾十T不成問題一條機(jī)器人的真實(shí)抓取數(shù)據(jù)卻得一臺(tái)實(shí)物機(jī)器人一臺(tái)一臺(tái)地執(zhí)行、記錄動(dòng)作一次就耗時(shí)幾秒還需要人工標(biāo)注狀態(tài)變化。想讓一個(gè)機(jī)器人學(xué)會(huì)在真實(shí)廚房里端盤子需要的數(shù)據(jù)量足以讓成本壓垮任何一個(gè)中等團(tuán)隊(duì)。所以實(shí)踐中幾乎都走“仿真為主、真實(shí)校準(zhǔn)”的路線。先在模擬環(huán)境里大量生成數(shù)據(jù)讓模型練出一個(gè)相對(duì)通用的策略再到真實(shí)設(shè)備上做小范圍微調(diào)。這里的關(guān)鍵技術(shù)是域隨機(jī)化在仿真里隨機(jī)化物體的外觀、顏色、光照、物理參數(shù)比如摩擦系數(shù)從一個(gè)區(qū)間里隨機(jī)采樣讓模型見過足夠多“不太一樣”的世界它才不至于在真實(shí)世界面前水土不服。但仿真和現(xiàn)實(shí)之間的差距永遠(yuǎn)存在。真實(shí)世界里的傳感器噪聲、執(zhí)行器的機(jī)械延遲、甚至電機(jī)發(fā)熱導(dǎo)致的響應(yīng)變慢都是很難仿真的。我做倉(cāng)儲(chǔ)項(xiàng)目時(shí)就發(fā)現(xiàn)仿真里成功率很高的抓取策略真機(jī)上總差著一截。后來花了一周時(shí)間做“系統(tǒng)識(shí)別”把真實(shí)執(zhí)行器的延遲用統(tǒng)計(jì)模型標(biāo)定出來把位置控制改成速度和力矩混合控制情況才明顯好轉(zhuǎn)。所以2026年做物理世界理解比拼的不僅是模型能力還有“離線和在線之間反復(fù)打磨”的工程耐心。5. 方向三端側(cè)智能把模型從數(shù)據(jù)中心搬到設(shè)備邊上5.1 云端很強(qiáng)大但物理世界不等你第三個(gè)方向端側(cè)智能。這個(gè)方向看似沒有前兩個(gè)那么“性感”但它才是AI真正大規(guī)模進(jìn)物理世界的前提。為什么一定要端側(cè)最核心的原因是物理世界不等你。一個(gè)工業(yè)安全檢測(cè)系統(tǒng)要求從攝像頭捕捉到危險(xiǎn)動(dòng)作到發(fā)出停機(jī)指令必須在幾十毫秒內(nèi)完成。這個(gè)延遲如果走云端即使你的云端推理只花二十毫秒網(wǎng)絡(luò)往返加調(diào)度也可能再消耗上百毫秒。生產(chǎn)線上的安全事故就是這幾百毫秒的事。隱私和責(zé)任也是硬約束。醫(yī)療影像、家居語(yǔ)音、生產(chǎn)車間的視頻數(shù)據(jù)很多根本不允許離開設(shè)備?？蛻舨粫?huì)因?yàn)槟愕脑贫四Ｐ托Ч镁屯獍鸦颊邤?shù)據(jù)傳到外部去處理。我接觸到的一些政企項(xiàng)目數(shù)據(jù)本地化是第一條紅線什么技術(shù)指標(biāo)都得往后排。另外是離線可用性。工地、礦井、海上平臺(tái)這類環(huán)境網(wǎng)絡(luò)條件遠(yuǎn)沒有城市里那么穩(wěn)定。設(shè)備端沒有AI一旦斷網(wǎng)就退回“鐵疙瘩”狀態(tài)這是很多現(xiàn)場(chǎng)工作人員無法接受的。5.2 端側(cè)部署的真實(shí)工程不只是把模型變小很多朋友以為端側(cè)智能就是把模型文件壓縮一下塞進(jìn)設(shè)備里。這個(gè)理解不完整。模型壓縮只是第一關(guān)真正讓你掉頭發(fā)的是后面一連串工程適配。我做過一個(gè)邊緣視覺檢測(cè)項(xiàng)目模型本身已經(jīng)量化到INT8理論計(jì)算量看起來不大可部署到某款帶NPU的邊緣設(shè)備上幀率居然只有兩幀遠(yuǎn)低于預(yù)期。排查到最后問題不在模型計(jì)算而在于圖像預(yù)處理和后處理沒有走NPU加速全在CPU上跑成了瓶頸。我們把顏色空間轉(zhuǎn)換、縮放、NMS這些操作全部調(diào)整成NPU友好的算子又加上三級(jí)流水線讓圖像采集、推理、結(jié)果輸出同時(shí)進(jìn)行幀率才拉到了十五幀以上。這個(gè)經(jīng)歷說明端側(cè)優(yōu)化的關(guān)鍵詞是“系統(tǒng)意識(shí)”。只看模型指標(biāo)遠(yuǎn)遠(yuǎn)不夠要通盤考慮數(shù)據(jù)加載、預(yù)處理、推理引擎、內(nèi)存復(fù)用、結(jié)果后處理、外設(shè)同步的全鏈路。NPU的算力峰值只是一個(gè)數(shù)字實(shí)際能跑出多少取決于你的算子實(shí)現(xiàn)有多貼近硬件特性。我在項(xiàng)目里學(xué)到一個(gè)比較土但很有效的策略先把整條鏈路里每個(gè)環(huán)節(jié)的耗時(shí)打點(diǎn)打出來你會(huì)震驚地發(fā)現(xiàn)模型推理往往只占一半的時(shí)間另一半都耗在了排隊(duì)的細(xì)節(jié)上。5.3 多傳感器融合讓模型同時(shí)看、聽、感知端側(cè)智能在真實(shí)世界里不是單打獨(dú)斗的。一個(gè)機(jī)器人要正常工作要同時(shí)處理攝像頭畫面、麥克風(fēng)語(yǔ)音、慣性測(cè)量單元的姿態(tài)數(shù)據(jù)、激光雷達(dá)的距離信息。多傳感器的數(shù)據(jù)融合是端側(cè)智能真正發(fā)揮威力的控制點(diǎn)。融合的第一步是時(shí)間同步。不同傳感器的采樣頻率不一樣攝像頭每秒三十幀慣性測(cè)量單元每秒兩百次如果它們的時(shí)鐘基準(zhǔn)對(duì)不齊數(shù)據(jù)到了模型那里就是錯(cuò)位的。我在一個(gè)移動(dòng)機(jī)器人項(xiàng)目里體驗(yàn)過輪子已經(jīng)因?yàn)榍胺秸系K物觸發(fā)了剎車信號(hào)但視覺模型還在一幀一幀顯示無障礙就是因?yàn)閮蓚€(gè)傳感器的信息在一百毫秒的時(shí)間誤差內(nèi)被拼在了一起。后來我們統(tǒng)一用同一個(gè)主時(shí)鐘源給傳感器打時(shí)間戳在軟件層面做時(shí)間對(duì)齊問題才消失。融合的第二步是空間對(duì)齊。攝像頭在車體左手邊激光雷達(dá)在車頂同一個(gè)物體的畫面坐標(biāo)和點(diǎn)云坐標(biāo)不會(huì)天然重合需要標(biāo)定外參。這個(gè)步驟做不仔細(xì)后面所有融合算法都白搭。很多工程師喜歡往模型里塞各種花哨的注意力模塊我對(duì)團(tuán)隊(duì)說的第一句話永遠(yuǎn)是先把傳感器標(biāo)定做好再談模型。5.4 別忘了降級(jí)策略端側(cè)不夠聰明但絕不能宕機(jī)端側(cè)模型做的再好能力上限也追不上云端大模型。因此產(chǎn)品設(shè)計(jì)里必須預(yù)留一個(gè)降級(jí)路徑端側(cè)模型先快速處理遇到置信度低的輸入再請(qǐng)求云端云端也不通時(shí)就降級(jí)到最保守的規(guī)則模式。這套邏輯聽起來簡(jiǎn)單實(shí)際很考驗(yàn)工程上的兜底設(shè)計(jì)。我踩過一個(gè)具體的坑。某設(shè)備要求斷網(wǎng)時(shí)繼續(xù)運(yùn)行我們做了端側(cè)模型兜底結(jié)果遇到一個(gè)極端場(chǎng)景斷電后重新上電端側(cè)模型的加載時(shí)間比預(yù)期的長(zhǎng)程序不知道此時(shí)該干什么直接進(jìn)入了阻塞狀態(tài)相當(dāng)于設(shè)備在“有意識(shí)但沒響應(yīng)”之間卡住了。后來給加載流程加了異步狀態(tài)機(jī)和超時(shí)降級(jí)才保證設(shè)備在模型還沒就緒的時(shí)候也能先按預(yù)設(shè)安全策略行動(dòng)。端側(cè)智能的價(jià)值不在于和云端模型比聰明而在于“在最惡劣的條件下依然提供基本可靠的服務(wù)”。這個(gè)定位在2026年會(huì)越來越清楚。5.5 端側(cè)部署檢查清單檢查項(xiàng)重點(diǎn)關(guān)注常見翻車點(diǎn)模型壓縮量化精度、蒸餾質(zhì)量只量化不評(píng)測(cè)上線就掉點(diǎn)算子適配NPU支持度、算子融合總有部分算子跑在CPU上數(shù)據(jù)鏈路圖像采集、編解碼、內(nèi)存拷貝預(yù)處理吃掉大量延時(shí)時(shí)間同步多傳感器時(shí)鐘對(duì)齊錯(cuò)位導(dǎo)致感知結(jié)果互相矛盾降級(jí)策略加載失敗、斷網(wǎng)、超時(shí)設(shè)備陷入“無響應(yīng)”狀態(tài)散熱功耗持續(xù)推理時(shí)的溫升熱降頻導(dǎo)致推理速度波動(dòng)6. 實(shí)操者視角2026年的技術(shù)選型建議6.1 先做“技術(shù)體檢”再談追不追新方向每次技術(shù)風(fēng)向一變最容易沖動(dòng)的就是團(tuán)隊(duì)負(fù)責(zé)人。其實(shí)在決定追哪個(gè)方向之前先冷靜做一次技術(shù)體檢比什么都有用。體檢的第一個(gè)問題是任務(wù)的輸入輸出基本形態(tài)。你做的是文本對(duì)話還是視覺檢測(cè)還是機(jī)器人的運(yùn)動(dòng)控制不同任務(wù)對(duì)三個(gè)進(jìn)化方向的依賴差別很大。純文本業(yè)務(wù)效率優(yōu)化對(duì)你最直接世界模型暫時(shí)用不上。機(jī)器人控制世界模型和端側(cè)推理就是命根子。第二個(gè)問題是時(shí)延和功耗預(yù)算。你的設(shè)備能接受五百毫秒的響應(yīng)還是必須在五十毫秒內(nèi)完成功耗預(yù)算是一瓦還是三十瓦這會(huì)直接決定你選擇多大的模型、甚至是否考慮云端協(xié)同。第三個(gè)問題是數(shù)據(jù)源。你的項(xiàng)目能接觸到真實(shí)物理世界的數(shù)據(jù)嗎如果能拿到傳感器流、機(jī)器人軌跡、工業(yè)現(xiàn)場(chǎng)的圖片那就值得往世界模型傾斜。如果數(shù)據(jù)只有文本那物理世界理解暫時(shí)是遠(yuǎn)方先把文本場(chǎng)景做扎實(shí)。第四個(gè)問題是失敗的后果。一個(gè)推薦系統(tǒng)推薦錯(cuò)了一個(gè)商品用戶頂多不開心一個(gè)機(jī)械臂判斷錯(cuò)了一個(gè)承重位置可能直接損壞設(shè)備。后果越嚴(yán)重越要在方案里保留保守兜底。6.2 不同角色怎么調(diào)整技術(shù)路線如果你是模型訓(xùn)練工程師2026年最值得花時(shí)間補(bǔ)的技能是模型壓縮尤其是蒸餾和量化。因?yàn)槲磥泶竽Ｐ偷慕桓缎螒B(tài)大概率是一個(gè)能跑在用戶機(jī)器上的“小模型”。你如果只會(huì)訓(xùn)大模型在上線環(huán)節(jié)會(huì)非常被動(dòng)。我面試過一些候選人訓(xùn)練模型一套一套問他INT8量化時(shí)校準(zhǔn)集怎么選一下就答不上來。如果你做的是AI應(yīng)用開發(fā)建議學(xué)一點(diǎn)基礎(chǔ)的空間感知知識(shí)比如三維點(diǎn)云的基礎(chǔ)處理、相機(jī)內(nèi)外參標(biāo)定、傳感器坐標(biāo)系變換。物理世界理解不是純模型問題工程上大量時(shí)間花在這些“笨功夫”上。如果你是產(chǎn)品經(jīng)理或者研發(fā)負(fù)責(zé)人應(yīng)該開始關(guān)注設(shè)備形態(tài)和成本約束。同一種算法能力決策控制放在云端和放在設(shè)備端給產(chǎn)品帶來的體驗(yàn)差異非常大。建議你下次和技術(shù)團(tuán)隊(duì)開會(huì)時(shí)多問一句“這個(gè)能力在用戶設(shè)備上跑得動(dòng)嗎”6.3 一條不算激進(jìn)的學(xué)習(xí)路線有不少朋友問我轉(zhuǎn)型路線我一般給出一個(gè)十二周的操作建議不保證你能成專家但足夠把方向摸清楚。前兩周把手頭一個(gè)現(xiàn)成模型跑通量化部署流程。挑一個(gè)開源模型按文檔完成INT8量化部署到一個(gè)普通的邊緣設(shè)備或者手機(jī)開發(fā)板上測(cè)量并記錄真實(shí)的推理時(shí)延和顯存占用。中間兩周實(shí)現(xiàn)一次知識(shí)蒸餾。用一個(gè)大模型當(dāng)老師在很小的任務(wù)集上訓(xùn)一個(gè)學(xué)生模型感受軟標(biāo)簽、溫度、蒸餾損失的調(diào)試過程。第五到第八周做一個(gè)小型世界模型Demo?？梢阅靡粋€(gè)物理模擬環(huán)境比如彈球或者小車訓(xùn)練一個(gè)模型根據(jù)當(dāng)前狀態(tài)預(yù)測(cè)下一幀狀態(tài)。不要追求復(fù)雜重點(diǎn)是理解“狀態(tài)表示轉(zhuǎn)移預(yù)測(cè)”這句話到底在說什么。第九到第十二周做一個(gè)端側(cè)多傳感器的小項(xiàng)目比如用攝像頭加慣性測(cè)量單元做相對(duì)穩(wěn)定的姿態(tài)估計(jì)。這套項(xiàng)目做完你再看2026年的技術(shù)報(bào)道基本不會(huì)覺得飄。6.4 我的個(gè)人原則先跑通閉環(huán)再談優(yōu)化最后說一個(gè)我自己的做事原則。我不太喜歡一開始就奔著最前沿的論文算法去。面對(duì)一個(gè)新方向我傾向于先用最簡(jiǎn)單的方案把一個(gè)端到端的閉環(huán)跑起來哪怕是效果很差、速度很慢的閉環(huán)。因?yàn)樵陂]環(huán)之前你對(duì)問題的理解都是紙面的閉環(huán)之后你才知道瓶頸到底在數(shù)據(jù)、模型還是工程。拿物理世界理解來說很多團(tuán)隊(duì)上來就用大規(guī)模三維重建在云端服務(wù)器上搭影響網(wǎng)絡(luò)模型算法漂亮極了可一接到機(jī)器人上就卡成幻燈片。但如果你先用一個(gè)最小系統(tǒng)——老掉牙的算法加一個(gè)很小的網(wǎng)絡(luò)——把“看到障礙物—預(yù)測(cè)碰撞—減速剎車”串起來你對(duì)這個(gè)問題的理解會(huì)完全不同。效率優(yōu)化、世界模型、端側(cè)智能這三個(gè)方向本質(zhì)上都不是你看了多少論文決定的而是你在閉環(huán)實(shí)踐中踩了多少坑決定的。7. 常見誤區(qū)與排查技巧實(shí)錄7.1 誤區(qū)一端側(cè)部署就是給模型減肥我見過太多次這種翻車。團(tuán)隊(duì)把模型算是壓縮好了端側(cè)部署一測(cè)速度依然很慢。原因往往不是模型本身而是整個(gè)推理鏈路沒有跟著優(yōu)化。你省下來的計(jì)算時(shí)間全被低效的預(yù)處理、沒有復(fù)用內(nèi)存的顯存分配、非必要的日志打印給吃回去了。排查建議先給鏈路的每個(gè)環(huán)節(jié)逐一打點(diǎn)。把圖像讀取、預(yù)處理、模型推理、后處理、輸出反饋的時(shí)間分別打印出來。你會(huì)發(fā)現(xiàn)真正的長(zhǎng)尾延遲會(huì)藏在你想不到的地方比如一次不必要的內(nèi)存拷貝或者一個(gè)等待鎖的線程。7.2 誤區(qū)二世界模型就是視頻生成這是兩個(gè)完全不同的方向。視頻生成追求的是像素和內(nèi)容的真實(shí)性它不需要真正理解物理規(guī)律。世界模型追求的是狀態(tài)和因果的正確性它允許畫面像素簡(jiǎn)陋但狀態(tài)演化必須符合物理規(guī)律。一個(gè)簡(jiǎn)單的驗(yàn)證方法你讓一個(gè)模型看完一段杯子從桌子上摔落的視頻再問它“把杯子放在桌子邊緣它接下來會(huì)怎么動(dòng)”。視頻生成模型大概率只能給你一段模糊的片段真正有世界理解能力的模型會(huì)告訴你杯子會(huì)沿邊緣旋轉(zhuǎn)下落先撞擊地面邊緣再?gòu)椞?026年評(píng)測(cè)一個(gè)“世界模型”時(shí)核心指標(biāo)不是畫面質(zhì)量而是“預(yù)測(cè)未來狀態(tài)”的準(zhǔn)確率。7.3 誤區(qū)三蒸餾完直接上線不做數(shù)據(jù)覆蓋驗(yàn)證蒸餾有一個(gè)比較隱蔽的風(fēng)險(xiǎn)老師模型在某個(gè)低頻子類上的錯(cuò)誤模式可能會(huì)被學(xué)生模型放大學(xué)習(xí)。因?yàn)閷W(xué)生模型不僅學(xué)到了老師模型的正確分布也可能把老師模型的偏見當(dāng)成真理記了下來。如果上線前只測(cè)了整體準(zhǔn)確率沒做細(xì)分的覆蓋驗(yàn)證很容易出問題。我的習(xí)慣是蒸餾之后專門做一輪“長(zhǎng)尾樣本回放”把數(shù)據(jù)集中錯(cuò)誤率高的子類、不常見的表達(dá)方式、邊界模糊的樣本都挑出來逐一人工判斷學(xué)生模型的行為是否可接受。這輪驗(yàn)證不能直接用模型自帶的置信度衡量要人看。上完線之后再定期做抽樣回歸防止長(zhǎng)期運(yùn)行中數(shù)據(jù)漂移導(dǎo)致能力退化。7.4 問題排查速查表癥狀優(yōu)先排查方向常見根因量化后準(zhǔn)確率大幅下降逐層檢查量化敏感性敏感層被無差別量化需要混合精度蒸餾后模型過度平滑調(diào)節(jié)溫度系數(shù)溫度太高硬標(biāo)簽權(quán)重太低端側(cè)推理時(shí)延波動(dòng)大檢查散熱降頻和內(nèi)存分配設(shè)備過熱觸發(fā)降頻或內(nèi)存碎片化世界模型預(yù)測(cè)發(fā)散檢查狀態(tài)表示的拓?fù)浣Y(jié)構(gòu)隱空間沒有約束數(shù)值溢出正?；Ф藗?cè)和云端切換崩潰檢查降級(jí)超時(shí)和狀態(tài)同步云端請(qǐng)求沒設(shè)超時(shí)狀態(tài)機(jī)遺漏分支多傳感器結(jié)果互相矛盾檢查時(shí)間戳對(duì)齊和坐標(biāo)系標(biāo)定傳感器沒同步外參標(biāo)定不準(zhǔn)確7.5 一次現(xiàn)場(chǎng)復(fù)盤光鮮的結(jié)果脆弱的邊界最后分享一次具體的復(fù)盤。某個(gè)視覺質(zhì)檢Demo預(yù)研階段效果非常好實(shí)驗(yàn)室里各種人臉檢測(cè)、缺陷識(shí)別的指標(biāo)都很漂亮團(tuán)隊(duì)信心十足。結(jié)果到了用戶現(xiàn)場(chǎng)試用問題立刻暴露產(chǎn)品在暗光下的漏檢率遠(yuǎn)高于實(shí)驗(yàn)室測(cè)試。我們沒有馬上改模型而是先回頭看了數(shù)據(jù)集構(gòu)成發(fā)現(xiàn)采集時(shí)所有樣本都是用高亮棚光拍的現(xiàn)場(chǎng)的實(shí)際光照條件完全不同。模型在“亮光、高對(duì)比度”的分布上學(xué)得很好稍微換一個(gè)光照分布就崩了。這就是典型的“物理世界分布偏移”案例。后來我們只補(bǔ)了一批暗光、逆光、低對(duì)比度樣本重新做了數(shù)據(jù)增強(qiáng)和二次訓(xùn)練漏檢率就壓下來了。這件事教會(huì)我的不是“要多采數(shù)據(jù)”這種正確的廢話而是物理世界理解的模型效果永遠(yuǎn)取決于它見過的世界有多寬。你以為模型在理解物理其實(shí)它只是記住了你喂給它的那個(gè)采樣過的環(huán)境。2026年做物理世界理解最重要的不是“把模型做得更深刻”而是“讓模型更多面地接觸真實(shí)世界”。寫在最后一個(gè)關(guān)于考卷變化的體會(huì)我做了幾年AI項(xiàng)目最大的感受是考題變了。過去大家比的是模型“記住”了多少知識(shí)現(xiàn)在比的是模型在多大程度上理解面前這個(gè)真實(shí)世界、多大程度上能在算力有限、環(huán)境嘈雜、條件惡劣時(shí)依然可靠。參數(shù)競(jìng)賽退潮不是技術(shù)停滯而是技術(shù)正在走向成熟——就像多年以前的手機(jī)市場(chǎng)廠商們不再比誰(shuí)的屏幕尺寸大開始比影像調(diào)校、續(xù)航控制和系統(tǒng)體驗(yàn)。物理世界理解也不會(huì)是一場(chǎng)轟轟烈烈的技術(shù)替代它會(huì)像水一樣慢慢滲進(jìn)機(jī)器人、安防、工業(yè)質(zhì)檢、倉(cāng)儲(chǔ)物流、智能座艙這些具體場(chǎng)景里。效率優(yōu)先讓我們不浪費(fèi)每一分算力世界模型讓我們把算法從“答對(duì)題”推進(jìn)到“辦成事”端側(cè)智能讓這些能力真正站到車間和街角。三個(gè)方向合在一起就是2026年AI技術(shù)的一條清晰主線。如果你想為這條主線做準(zhǔn)備我的建議非常樸素給手頭的項(xiàng)目增加一個(gè)“物理世界指標(biāo)”——比如端到端延遲、傳感器噪聲下的召回率、單位任務(wù)能耗。長(zhǎng)期來看這些指標(biāo)比任何榜單上的分?jǐn)?shù)都更有說服力。另外多下幾次現(xiàn)場(chǎng)看看你的模型在真實(shí)設(shè)備上是怎么被接線、散熱、供電的。你會(huì)發(fā)現(xiàn)很多AI問題其實(shí)不是模型問題是工程問題。把工程問題處理順了技術(shù)方向自然就走得穩(wěn)了。