開了很多次項(xiàng)目會(huì)我聽到最多的一句話是視覺識(shí)別都這么準(zhǔn)了為什么機(jī)器人一上手干活還是翻車說真的目標(biāo)檢測跑到95%以上的mAP6D姿態(tài)估計(jì)也算得挺準(zhǔn)機(jī)械臂就是抓不住、推不倒、放不穩(wěn)。以前我以為是手眼標(biāo)定不夠精細(xì)后來才意識(shí)到真正的問題根本不是看得不夠清楚而是從「看」到「做」之間缺了一整層?xùn)|西。最近行業(yè)內(nèi)高頻出現(xiàn)的三個(gè)詞——WMWorld Model、WAMWorld Action Model和VLAVision-Language-Action Model本質(zhì)上都在補(bǔ)這個(gè)東西。只是它們的補(bǔ)法完全不同一個(gè)側(cè)重想一個(gè)側(cè)重想完再做還有一個(gè)干脆把看和做直接縫在一起。這篇文章我會(huì)圍繞這三種機(jī)器人模型把原理、網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練方式、評測方法和落地選型全部拉通講一遍。不管你是剛進(jìn)具身智能方向的研究生還是已經(jīng)在做機(jī)器人系統(tǒng)集成、準(zhǔn)備從經(jīng)典方案切向端到端模型的工程師這篇文章應(yīng)該都能幫你把路線理清楚。1. 從「看」到「做」的最后一公里為什么卡了這么多年1.1 傳統(tǒng)機(jī)器人技術(shù)棧的三層割裂經(jīng)典機(jī)器人系統(tǒng)的路線非常清晰感知模塊負(fù)責(zé)看規(guī)劃模塊負(fù)責(zé)想路線控制模塊負(fù)責(zé)動(dòng)手。拿最簡單的抓取桌上的紅色杯子這個(gè)任務(wù)來說感知模塊輸出杯子的類別和6D位姿規(guī)劃模塊根據(jù)當(dāng)前機(jī)械臂位姿和杯子位姿算出一條無碰撞軌跡控制模塊用PID或者M(jìn)PC去跟蹤這條軌跡。聽起來嚴(yán)絲合縫真正跑起來問題一個(gè)接一個(gè)。我見過最多的翻車現(xiàn)場是這樣的感知模塊說杯子在某個(gè)坐標(biāo)但那個(gè)坐標(biāo)本身帶3毫米誤差、1度左右的姿態(tài)誤差規(guī)劃模塊拿著這個(gè)坐標(biāo)按剛體假設(shè)規(guī)劃軌跡底層控制再因?yàn)槟Σ?、重力補(bǔ)償不準(zhǔn)產(chǎn)生一點(diǎn)跟蹤殘差。三者誤差沒有互相抵消而是層層疊加。最后機(jī)械臂到地方一看夾爪開口尺寸就比杯子寬一兩厘米直接撞過去把杯子懟飛。這種問題的根源是模塊之間用非常窄的接口傳遞信息。感知模塊不知道下一步是抓取還是推開規(guī)劃模塊不知道杯子是玻璃的還是塑料的控制模塊更不知道任務(wù)目標(biāo)是穩(wěn)穩(wěn)端起來還是把水倒掉。信息在每一層都發(fā)生了丟失。這是傳統(tǒng)系統(tǒng)架構(gòu)的天花板不是調(diào)參能解決的。1.2 感知-規(guī)劃-控制之間到底丟掉了什么往深了說傳統(tǒng)三層架構(gòu)丟掉的是三類關(guān)鍵信息。第一類是物理常識(shí)。杯子放在桌子邊緣旁邊就是垃圾桶機(jī)器人能不能判斷我這一推可能導(dǎo)致杯子掉下去傳統(tǒng)感知模塊給不了這個(gè)信息規(guī)劃模塊也不會(huì)主動(dòng)去模擬這個(gè)后果。第二類是上下文意圖。同樣的視覺畫面把杯子遞給我和把杯子放回柜子對應(yīng)的動(dòng)作軌跡完全不同。傳統(tǒng)架構(gòu)里任務(wù)指令只被當(dāng)成一個(gè)字符串傳給任務(wù)調(diào)度器視覺模塊和規(guī)劃模塊都不真正理解它語言和動(dòng)作之間沒有形成共享表征。第三類是時(shí)序一致性。真實(shí)世界是連續(xù)的物體不是靜止不動(dòng)的。傳統(tǒng)感知模塊通常做單幀檢測規(guī)劃模塊輸出開環(huán)軌跡一旦環(huán)境發(fā)生變化整個(gè)鏈路就斷掉了。缺少一個(gè)未來的世界會(huì)怎樣演化的內(nèi)部預(yù)測能力機(jī)器人就只能在問題發(fā)生以后作反應(yīng)沒辦法提前預(yù)判。1.3 三個(gè)縮寫詞三種解題思路WM、WAM、VLA這三類模型分別對應(yīng)了三條不同的解題路線。WMWorld Model世界模型解決的核心問題是給定當(dāng)前狀態(tài)和動(dòng)作模型能否預(yù)測未來狀態(tài)它讓機(jī)器人具備想象能力能在內(nèi)部模擬環(huán)境的動(dòng)態(tài)變化。它的輸出不是動(dòng)作而是世界下一步會(huì)怎樣。WAMWorld Action Model世界動(dòng)作模型是在世界模型基礎(chǔ)上往前走了一步不僅預(yù)測環(huán)境狀態(tài)的變化還把智能體自身的動(dòng)作也納入顯式建模。你可以把它理解成世界動(dòng)力學(xué)模型策略模型的合體模型內(nèi)部同時(shí)處理環(huán)境會(huì)怎樣變和我該怎么做。VLAVision-Language-Action Model視覺-語言-動(dòng)作模型則走了另一條路用自然語言作為中間變量把視覺觀測直接映射到動(dòng)作輸出。語言在這里不僅是任務(wù)指令更是連接視覺特征和動(dòng)作語義的橋梁。它不再受限于感知模塊輸出什么結(jié)構(gòu)給規(guī)劃模塊而是端到端地學(xué)習(xí)看到什么、接到什么指令、輸出什么動(dòng)作。這三者不是互相競爭的關(guān)系而是對應(yīng)機(jī)器人內(nèi)部不同的抽象層次。能把它們徹底搞清楚再去讀具身智能方向的論文、選型落地思路會(huì)清晰很多。2. WM世界模型與其說預(yù)測下一幀不如說在學(xué)物理直覺2.1 世界模型回答的本質(zhì)問題世界模型的本質(zhì)就是狀態(tài)轉(zhuǎn)移模型給定當(dāng)前系統(tǒng)狀態(tài)、智能體動(dòng)作預(yù)測下一個(gè)時(shí)間步的狀態(tài)。放到機(jī)器人場景里狀態(tài)可能是關(guān)節(jié)角度、末端位姿、物體的坐標(biāo)也可能是從視覺觀測里編碼出來的隱變量動(dòng)作可能是機(jī)械臂的關(guān)節(jié)力矩也有可能是夾爪的開合指令。很多入門者會(huì)把世界模型理解成視頻預(yù)測模型認(rèn)為只要學(xué)會(huì)了預(yù)測下一幀畫面就算建好了世界模型。這是一個(gè)常見的誤區(qū)。像素級(jí)預(yù)測只是世界模型的一種監(jiān)督信號(hào)不是目的本身。我們真正想要的是模型能夠把握環(huán)境內(nèi)部的因果規(guī)律比如手推杯子杯子會(huì)沿推動(dòng)方向滑行、杯子到桌子邊緣以后繼續(xù)推會(huì)先產(chǎn)生傾斜然后掉下去。我在實(shí)際項(xiàng)目里更傾向于把世界模型拆成三個(gè)能力來看狀態(tài)預(yù)測能力給定當(dāng)前狀態(tài)和動(dòng)作序列預(yù)測未來狀態(tài)軌跡。代價(jià)/獎(jiǎng)勵(lì)預(yù)測能力預(yù)測某個(gè)動(dòng)作序列會(huì)帶來什么樣的后果、獲得多少獎(jiǎng)勵(lì)、產(chǎn)生多大碰撞風(fēng)險(xiǎn)。反事實(shí)想象能力在腦海里推演如果我不抓這個(gè)杯子而是推開它會(huì)發(fā)生什么。2.2 內(nèi)部表征從像素到隱空間中的物理規(guī)律早年間做世界模型大家特別喜歡直接預(yù)測視頻幀。但像素級(jí)預(yù)測的問題很明顯第一是計(jì)算量巨大一張256乘256的RGB圖像已經(jīng)夠訓(xùn)練吃力的了更別說連續(xù)預(yù)測幾十幀第二是像素里大量細(xì)節(jié)根本不影響下游決策比如背景紋理、物體表面的花紋預(yù)測得再準(zhǔn)也沒有意義?，F(xiàn)在主流做法是在**隱空間latent space**里做預(yù)測。視覺編碼器把高維圖像壓縮成一個(gè)緊湊的隱狀態(tài)世界模型在這個(gè)隱空間里學(xué)習(xí)狀態(tài)轉(zhuǎn)移最后用解碼器把預(yù)測結(jié)果映射回像素或者狀態(tài)空間。這個(gè)思路很大程度上來自強(qiáng)化學(xué)習(xí)領(lǐng)域的Dreamer系列模型。Dreamer的訓(xùn)練方式非常典型先用一個(gè)編碼器把歷史觀測編碼成隱狀態(tài)再用一個(gè)序列模型去預(yù)測未來隱狀態(tài)同時(shí)訓(xùn)練動(dòng)作模型去最大化想象中的獎(jiǎng)勵(lì)。整個(gè)過程中模型真正學(xué)到的不是下一幀畫面長什么樣而是在什么狀態(tài)下采取什么動(dòng)作會(huì)導(dǎo)致什么樣的狀態(tài)變化。這就是一種物理直覺的雛形。打個(gè)比方你閉上眼睛把手機(jī)拋起來再接住你能完成這個(gè)動(dòng)作不是因?yàn)槟銓?shí)時(shí)看到了手機(jī)在哪而是大腦里有一個(gè)簡化的物理模型在高速推演拋物線。機(jī)器人有了世界模型就相當(dāng)于擁有了這種閉眼推演的能力。2.3 世界模型在機(jī)器人里的三個(gè)常見用法第一個(gè)用法是模型預(yù)測控制MPC。模型預(yù)測控制本身不依賴學(xué)習(xí)得到的模型也可以做比如可以基于解析動(dòng)力學(xué)方程來做但真實(shí)機(jī)器人往往存在摩擦、間隙、柔性變形等難以建模的部分。學(xué)習(xí)型世界模型的價(jià)值在于它能從數(shù)據(jù)里補(bǔ)償這些動(dòng)力學(xué)偏差滾動(dòng)預(yù)測未來狀態(tài)軌跡再選擇一條代價(jià)最小的軌跡執(zhí)行。第二個(gè)用法是離線強(qiáng)化學(xué)習(xí)的數(shù)據(jù)增強(qiáng)。強(qiáng)化學(xué)習(xí)樣本效率低很大一部分原因是在真實(shí)環(huán)境里試錯(cuò)成本太高。有了世界模型智能體可以在想象的軌跡里做策略更新在同一個(gè)批次數(shù)據(jù)上反復(fù)腦補(bǔ)各種可能。Dreamer系列就是用這種方式在多個(gè)連續(xù)控制任務(wù)上大幅提升樣本效率的。第三個(gè)用法是Sim2Real遷移的誤差補(bǔ)償。仿真環(huán)境里訓(xùn)練好的策略搬到真實(shí)機(jī)器人上往往會(huì)因?yàn)閯?dòng)力學(xué)差異而表現(xiàn)下降。一個(gè)常見做法是用真實(shí)機(jī)器人上采集到的少量軌跡數(shù)據(jù)微調(diào)世界模型再基于微調(diào)后的世界模型做進(jìn)一步規(guī)劃或策略學(xué)習(xí)相當(dāng)于把仿真模型校準(zhǔn)到真實(shí)世界。部署世界模型時(shí)有一個(gè)經(jīng)驗(yàn)訓(xùn)練數(shù)據(jù)里一定要包含足夠的非典型狀態(tài)。我見過很多團(tuán)隊(duì)只讓世界模型學(xué)成功軌跡上的數(shù)據(jù)結(jié)果模型對手碰到杯子邊緣導(dǎo)致杯子歪了這類意外場景完全沒有預(yù)測能力。用得好的世界模型必須見過足夠多的失敗樣例才能真正理解物理邊界在哪。3. WAM世界動(dòng)作模型從環(huán)境會(huì)怎樣變到我該怎么做3.1 WAM對WM的擴(kuò)展WAM這個(gè)縮寫不像WM和VLA那么普及但它的思路在最近一年里出現(xiàn)得越來越頻繁。世界動(dòng)作模型的核心主張是純粹的世界模型只負(fù)責(zé)預(yù)測環(huán)境演化不負(fù)責(zé)做決策這在很多場景下不夠用。真實(shí)機(jī)器人任務(wù)里環(huán)境和智能體是耦合在一起的機(jī)械臂推杯子杯子動(dòng)了這個(gè)動(dòng)既包含環(huán)境狀態(tài)變化也包含了智能體動(dòng)作施加的效果。把二者割裂開建模信息和效率都會(huì)打折扣。WAM把世界模型和動(dòng)作策略放在同一個(gè)模型里聯(lián)合建?！容敵鰧ο乱粻顟B(tài)的預(yù)測也輸出當(dāng)前策略推薦的動(dòng)作。你可以理解成世界模型負(fù)責(zé)提供想象空間動(dòng)作預(yù)測頭負(fù)責(zé)在這個(gè)想象空間里尋找最優(yōu)應(yīng)對方式。3.2 顯式動(dòng)作建模與閉環(huán)WAM和WM最核心的差別在顯式動(dòng)作建模這個(gè)點(diǎn)上。世界模型內(nèi)部通常不關(guān)心智能體動(dòng)作的語義動(dòng)作對于它只是一個(gè)輸入變量WAM則把動(dòng)作當(dāng)作模型需要生成的核心目標(biāo)和狀態(tài)預(yù)測目標(biāo)一起聯(lián)合訓(xùn)練。這樣一來模型內(nèi)部天然形成了一個(gè)閉環(huán)輸入歷史狀態(tài)序列模型預(yù)測未來狀態(tài)分布和動(dòng)作概率執(zhí)行機(jī)構(gòu)按動(dòng)作執(zhí)行后新的觀測再反饋進(jìn)模型。這種設(shè)計(jì)帶來的直接好處是響應(yīng)速度。VLA這類端到端模型如果做得不夠輕量推理頻率可能只有10赫茲、20赫茲這對高速動(dòng)態(tài)任務(wù)來說遠(yuǎn)遠(yuǎn)不夠。WAM因?yàn)榘循h(huán)境動(dòng)態(tài)和策略耦合得很緊在許多連續(xù)控制任務(wù)上可以做到更高頻率的動(dòng)作輸出同時(shí)用世界模型部分做短時(shí)預(yù)測來填補(bǔ)控制間隙。不過要潑一盆冷水目前在公開論文里WAM并沒有一個(gè)像VLA里RT-2或者OpenVLA那樣公認(rèn)的標(biāo)準(zhǔn)實(shí)現(xiàn)。它更多是一種架構(gòu)思想不同工作里會(huì)演化出世界模型策略頭世界動(dòng)作聯(lián)合預(yù)測器等多種變形。讀文獻(xiàn)的時(shí)候看到World Action Model這個(gè)詞一定要去確認(rèn)它內(nèi)部到底預(yù)測什么、怎么訓(xùn)練不要默認(rèn)所有WAM都是同一種結(jié)構(gòu)。3.3 WAM的典型網(wǎng)絡(luò)結(jié)構(gòu)我結(jié)合自己做過的原型項(xiàng)目說一下比較典型的WAM結(jié)構(gòu)長什么樣大致可以拆成四個(gè)部分觀測編碼器把RGB圖像、深度圖、本體關(guān)節(jié)角度編碼為一個(gè)緊湊的觀測特征。世界動(dòng)力學(xué)模塊接收當(dāng)前隱狀態(tài)和動(dòng)作預(yù)測下一個(gè)隱狀態(tài)設(shè)計(jì)上比較接近WM里的序列模型。動(dòng)作預(yù)測頭根據(jù)當(dāng)前的隱狀態(tài)和目標(biāo)輸出動(dòng)作分布。動(dòng)作空間是連續(xù)關(guān)節(jié)坐標(biāo)或力矩一般用高斯分布或混合高斯分布建模。狀態(tài)預(yù)測輔助頭額外預(yù)測未來的關(guān)鍵狀態(tài)比如目標(biāo)物體的6D位姿用來在訓(xùn)練時(shí)給模型提供更強(qiáng)的狀態(tài)監(jiān)督。訓(xùn)練時(shí)損失函數(shù)一般有三項(xiàng)第一項(xiàng)是狀態(tài)重建損失要求模型生成的未來隱狀態(tài)能被解碼回接近真實(shí)的狀態(tài)第二項(xiàng)是動(dòng)作模仿?lián)p失讓動(dòng)作預(yù)測頭對齊專家軌跡里的動(dòng)作標(biāo)簽第三項(xiàng)是一致性損失確保同一個(gè)狀態(tài)的不同觀測視角編碼得到的隱狀態(tài)一致。我在訓(xùn)練WAM時(shí)踩過一個(gè)大坑如果狀態(tài)重建損失權(quán)重設(shè)得太低模型會(huì)快速塌縮成一個(gè)純行為克隆模型完全忽略對世界動(dòng)態(tài)的建模但如果權(quán)重設(shè)得太高動(dòng)作預(yù)測頭又學(xué)不到東西策略表現(xiàn)很差。我最后是用課程學(xué)習(xí)的方式先讓世界動(dòng)力學(xué)模塊單獨(dú)學(xué)幾百個(gè)epoch再把動(dòng)作預(yù)測頭打開聯(lián)合訓(xùn)練效果比一開始就端到端硬訓(xùn)穩(wěn)定很多。4. VLA視覺-語言-動(dòng)作模型一句話讓機(jī)器人上手干活4.1 VLA的核心思想語言作為中間變量VLA是當(dāng)前具身智能領(lǐng)域最出圈的一個(gè)方向原因是它把多模態(tài)大模型的成熟技術(shù)直接搬到了機(jī)器人控制上。一個(gè)典型的VLA網(wǎng)絡(luò)由三個(gè)部分構(gòu)成視覺編碼器負(fù)責(zé)把圖像變成視覺token大語言模型負(fù)責(zé)理解指令并融合視覺信息動(dòng)作頭負(fù)責(zé)把推理結(jié)果映射成動(dòng)作輸出。語言在VLA里承擔(dān)的作用非常特殊。它不只是指令輸入更是一種共享語義空間。舉個(gè)例子把紅色杯子放到托盤上這句話里紅色杯子讓模型把視覺注意力放到目標(biāo)物體上放到托盤上讓模型激活過去在類似指令下學(xué)到的動(dòng)作模式。哪怕模型沒有見過當(dāng)前這張桌子的具體布局只要語言指令里的語義與訓(xùn)練數(shù)據(jù)里的任務(wù)有重合它就能做一定程度的遷移。這也是VLA相比傳統(tǒng)機(jī)器人系統(tǒng)的最大優(yōu)勢指令泛化和跨任務(wù)復(fù)用。傳統(tǒng)系統(tǒng)每加一個(gè)新任務(wù)基本要重寫任務(wù)邏輯和約束VLA只需要換一句自然語言指令模型就能嘗試在已有經(jīng)驗(yàn)里組合出對應(yīng)的行為。4.2 從RT-2到OpenVLA再到π0VLA在怎么演進(jìn)如果只看2023年之后的VLA發(fā)展可以拉一條很清晰的線。RT-2是Google的經(jīng)典工作做法是把機(jī)器人動(dòng)作離散成token和圖像token一起送入視覺語言模型把下一動(dòng)作token當(dāng)作下一句詞來生成。RT-2證明了用大規(guī)?；ヂ?lián)網(wǎng)圖文數(shù)據(jù)預(yù)訓(xùn)練的模型可以直接遷移到機(jī)器人控制上但離散化動(dòng)作空間帶來的問題也很明顯動(dòng)作精度不足高頻執(zhí)行時(shí)會(huì)抖動(dòng)。OpenVLA是開源社區(qū)最重要的里程碑之一7B參數(shù)規(guī)模視覺部分用預(yù)訓(xùn)練的視覺編碼器語言部分用LLaMA-2在Open X-Embodiment等大規(guī)?？缇呱頂?shù)據(jù)集上訓(xùn)練。它的最大價(jià)值不是性能而是把VLA訓(xùn)練的門檻從大公司專屬拉到了普通實(shí)驗(yàn)室也能跑的水平。很多個(gè)人開發(fā)者就是靠OpenVLA進(jìn)入這個(gè)領(lǐng)域的。π0也就是業(yè)界常說的Pi系列由Physical Intelligence提出動(dòng)作頭不再走離散token而是引入了Flow Matching技術(shù)直接生成連續(xù)的動(dòng)作分布。這個(gè)改動(dòng)的意義很實(shí)際連續(xù)動(dòng)作生成的頻率更高、控制更平穩(wěn)更適合真實(shí)機(jī)械臂高頻控制。π0同時(shí)也在模型架構(gòu)上吸收了更多機(jī)器人狀態(tài)的輸入比如關(guān)節(jié)角度、夾爪開度實(shí)用性比第一代VLA強(qiáng)不少。另外值得提一句的是VLA已經(jīng)不局限于機(jī)械臂操作。最近NVIDIA開源的Alpamayo就是面向輔助駕駛場景的VLA推理模型把視覺語言動(dòng)作的框架用到了車輛控制上。這說明VLA作為一種通用范式正在從桌面操作走向更廣闊的物理世界交互場景。4.3 訓(xùn)練VLA離不開的真實(shí)步驟與Libero測試很多朋友拿到一個(gè)VLA模型以后第一反應(yīng)是趕緊部署到真機(jī)。我強(qiáng)烈建議先別這么干先在仿真環(huán)境里把模型跑熟、把評測流程建立起來再上真機(jī)。在LiBero上做VLA測試是目前比較標(biāo)準(zhǔn)的一條路徑。LiBero是一個(gè)基于MuJoCo物理引擎的桌面操作benchmark包含了多個(gè)長程任務(wù)比如把黑色碗放進(jìn)柜子把左邊盤子放到洗碗架上。它特別適合用來衡量VLA在長期任務(wù)上的表現(xiàn)因?yàn)槿蝿?wù)里往往有多個(gè)物體、多步操作模型光學(xué)會(huì)單步動(dòng)作是不夠的。具體操作步驟大致如下下載LiBero數(shù)據(jù)集和對應(yīng)的benchmark代碼倉庫里面包含HDF5格式的軌跡數(shù)據(jù)字段主要有觀測圖像、關(guān)節(jié)狀態(tài)、語言指令和動(dòng)作真值。創(chuàng)建conda環(huán)境安裝依賴重點(diǎn)確認(rèn)PyTorch版本和MuJoCo版本的兼容性。加載一個(gè)預(yù)訓(xùn)練好的VLA模型先用LiBero自帶的評估腳本跑一遍確認(rèn)模型能正常加載和推理。針對某一個(gè)大類任務(wù)做微調(diào)把訓(xùn)練集換成LiBero對應(yīng)子任務(wù)的軌跡數(shù)據(jù)訓(xùn)練幾個(gè)epoch后再回到評測腳本上測成功率。評測時(shí)不要只盯著一個(gè)指標(biāo)。LiBero的官方評估腳本里除了任務(wù)成功率還有平均完成步數(shù)、單步動(dòng)作誤差、不同初始位姿下的穩(wěn)定性等維度。我自己測試的時(shí)候發(fā)現(xiàn)一個(gè)模型可能在固定初始位姿下成功率接近滿分但把物體初始位置稍微挪一下成功率立刻掉一半。這說明模型過擬合了初始布局并沒有真正學(xué)會(huì)任務(wù)的語義目標(biāo)。訓(xùn)練VLA的數(shù)據(jù)組裝也是個(gè)關(guān)鍵活。一份可用的VLA訓(xùn)練樣本通常包括當(dāng)前視覺觀測、語言指令、機(jī)器人狀態(tài)和動(dòng)作標(biāo)簽。訓(xùn)練流程一般分兩段先在圖文數(shù)據(jù)和視頻數(shù)據(jù)上做視覺語言預(yù)訓(xùn)練讓模型具備視覺理解和語言對齊能力再在大規(guī)模機(jī)器人軌跡數(shù)據(jù)上做微調(diào)讓模型學(xué)會(huì)把語義理解映射成動(dòng)作。開源數(shù)據(jù)集里Open X-Embodiment是目前覆蓋面最廣的跨機(jī)器人數(shù)據(jù)集幾乎所有開源VLA都會(huì)在它上面訓(xùn)練。但要注意跨數(shù)據(jù)集的機(jī)器人構(gòu)型差異很大如果不做統(tǒng)一的動(dòng)作空間歸一化訓(xùn)練會(huì)非常不穩(wěn)定。5. WM/WAM/VLA橫向?qū)Ρ炔皇峭毁惖朗擎湕l的三段5.1 核心維度對比表很多人在選模型時(shí)容易把WM、WAM、VLA放在一個(gè)擂臺(tái)上比誰強(qiáng)誰弱這個(gè)視角本身就是錯(cuò)的。它們解決的不是同一個(gè)問題更像是從看到想再到做這條鏈條上的三段。我用一張表把核心維度拉通對比維度WM世界模型WAM世界動(dòng)作模型VLA視覺-語言-動(dòng)作模型核心問題世界下一步會(huì)怎樣基于世界變化我該怎么做接到這條指令我該執(zhí)行什么動(dòng)作主要輸入歷史狀態(tài)序列、動(dòng)作序列歷史狀態(tài)序列、動(dòng)作、任務(wù)目標(biāo)視覺觀測、語言指令、機(jī)器人狀態(tài)主要輸出未來狀態(tài)預(yù)測/隱表征未來狀態(tài)預(yù)測動(dòng)作分布動(dòng)作序列離散token或連續(xù)動(dòng)作訓(xùn)練數(shù)據(jù)視頻、傳感器流、部分狀態(tài)數(shù)據(jù)視頻動(dòng)作軌跡狀態(tài)標(biāo)簽跨具身機(jī)器人數(shù)據(jù)圖文語料語言能力一般沒有視具體設(shè)計(jì)而定核心能力必不可少推理頻率高隱空間預(yù)測很快較高動(dòng)作輸出可與狀態(tài)預(yù)測耦合通常偏低大模型推理開銷大典型代表Dreamer系列、各類latent world model文獻(xiàn)中暫無統(tǒng)一頭部實(shí)現(xiàn)多為架構(gòu)模塊RT-2、OpenVLA、π0、Alpamayo最擅長場景規(guī)劃、想象、模型預(yù)測控制動(dòng)態(tài)環(huán)境下閉環(huán)決策跨任務(wù)語義泛化、指令操作這張表里最值得關(guān)注的是推理頻率這一行。很多人只看成功率忽略了控制頻率結(jié)果模型推一次動(dòng)作要100毫秒機(jī)械臂已經(jīng)走出一大截了。VLA里面的7B大模型版本不做量化推理速度很難上去WM一般只要跑一個(gè)小型序列模型推理開銷低很多WAM介于兩者之間。5.2 典型適用場景與選型建議選型判斷在我看來可以按三條路徑走。如果你主要做運(yùn)動(dòng)規(guī)劃、軌跡優(yōu)化、Sim2Real遷移這類任務(wù)你更需要的是環(huán)境動(dòng)態(tài)的精確描述這時(shí)候應(yīng)該選WM。它能幫你做MPC的前向預(yù)測也能在離線強(qiáng)化學(xué)習(xí)里當(dāng)數(shù)據(jù)增強(qiáng)器用世界模型來擴(kuò)充經(jīng)驗(yàn)池。如果你做的是動(dòng)態(tài)環(huán)境里的實(shí)時(shí)決策比如機(jī)械臂要避開移動(dòng)的障礙物、抓取緩慢運(yùn)動(dòng)的目標(biāo)那WAM這種世界動(dòng)態(tài)動(dòng)作預(yù)測聯(lián)合建模的思路會(huì)更匹配。它比純WM多了動(dòng)作生成能力比VLA更容易做到實(shí)時(shí)閉環(huán)。如果你做的是多任務(wù)、多指令的泛化操作例如把抽屜里的螺絲刀拿出來把綠色杯子放到柜子第二層那不要糾結(jié)直接上VLA。語言指令帶來的泛化能力是前兩類模型沒法比的。但前提是你得接受它的數(shù)據(jù)量需求和控制頻率限制。5.3 三種模型能否組合使用可能有人會(huì)問能不能把三種模型組合到同一個(gè)系統(tǒng)里我的答案是可以而且這可能是工程上最現(xiàn)實(shí)的方案。一個(gè)實(shí)際可行的組合方式是用VLA作為高層任務(wù)規(guī)劃器它根據(jù)自然語言指令輸出一系列高層動(dòng)作意圖比如先接近杯子再抓取然后移動(dòng)到托盤上方同時(shí)用WM作為環(huán)境預(yù)測器在VLA每個(gè)動(dòng)作意圖執(zhí)行之前推演這個(gè)動(dòng)作可能會(huì)導(dǎo)致什么后果提前規(guī)避碰撞風(fēng)險(xiǎn)底層控制器用MPC或傳統(tǒng)控制方法去執(zhí)行具體軌跡。如果系統(tǒng)控制頻率還滿足不了動(dòng)態(tài)環(huán)境下修正要求再加上一層輕量WAM做短時(shí)閉環(huán)糾偏。我有一個(gè)親測有效的經(jīng)驗(yàn)VLA模型的輸出不要直接作為底層目標(biāo)位置而是先經(jīng)過一個(gè)安全過濾層。安全過濾層可以用規(guī)則實(shí)現(xiàn)也可以用輕量WM實(shí)現(xiàn)目標(biāo)是判斷VLA輸出的動(dòng)作是否會(huì)導(dǎo)致碰撞、超出關(guān)節(jié)限位等危險(xiǎn)情況。這樣既能保住VLA的泛化能力又能避免端到端模型偶爾犯低級(jí)錯(cuò)誤帶來的安全問題。6. 落地上手之前先避開這些坑6.1 數(shù)據(jù)閉環(huán)是最大瓶頸很多團(tuán)隊(duì)買來機(jī)械臂以后第一反應(yīng)是找開源模型下載一個(gè)OpenVLA拿真機(jī)跑跑完發(fā)現(xiàn)效果遠(yuǎn)不如論文里展示的那么好。原因很簡單開源VLA訓(xùn)練時(shí)所用的機(jī)器人構(gòu)型和你的不一定一致數(shù)據(jù)分布也不一樣。想讓模型在你的機(jī)器人上表現(xiàn)好幾乎必然要在自有數(shù)據(jù)上做微調(diào)。數(shù)據(jù)閉環(huán)難在哪里首先是采集成本。真實(shí)機(jī)器人遙操作采集軌跡一個(gè)人熟練操作一天可能只能采幾百條有效軌跡對于需要上萬乃至幾十萬條樣本的VLA微調(diào)來說遠(yuǎn)遠(yuǎn)不夠。其次是數(shù)據(jù)一致性。不同操作員操作習(xí)慣不同動(dòng)作分布差異很大模型學(xué)到的策略會(huì)被操作員風(fēng)格帶偏。我的建議是先用開源數(shù)據(jù)把模型跑起來確認(rèn)基礎(chǔ)設(shè)施沒有問題再開始采集自有數(shù)據(jù)。采集時(shí)盡量固定操作員、固定場景光照、固定目標(biāo)物體等到模型能穩(wěn)定復(fù)現(xiàn)基本任務(wù)以后再逐步增加場景多樣性。不要一上來就追求多樣化數(shù)據(jù)和環(huán)境噪聲太大后期排查問題會(huì)非常痛苦。6.2 評測指標(biāo)別只看任務(wù)成功率評測VLA模型時(shí)只報(bào)一個(gè)任務(wù)成功率是最常見的誤區(qū)。我在LiBero上一開始也是這么干的后面發(fā)現(xiàn)成功率波動(dòng)極大換一個(gè)隨機(jī)種子、把物體初始位置平移幾厘米成功率能差十幾個(gè)百分點(diǎn)。后來我形成了一套固定的評測習(xí)慣每個(gè)任務(wù)至少跑50個(gè)episode覆蓋5組以上的隨機(jī)初始位姿不能只跑固定初始條件。除了成功率額外記錄平均完成步數(shù)、干預(yù)率人類需要介入糾正模型的頻率和單步動(dòng)作誤差。分階段統(tǒng)計(jì)而不是只報(bào)最終成功率。比如一個(gè)長程任務(wù)里模型到底是第一步拿物體就失敗還是最后放置階段失敗這決定了后續(xù)優(yōu)化方向完全不一樣。評測這一塊真的值得多花時(shí)間。我在不止一個(gè)項(xiàng)目里見過大家為了趕節(jié)點(diǎn)只測了十幾個(gè)episode看著成功率挺高一上真機(jī)或者換場景就露餡。評測流程本身也是項(xiàng)目資產(chǎn)可以沉淀成一套腳本每次模型迭代后自動(dòng)跑回歸這是一筆非常劃算的投資。6.3 個(gè)人/小團(tuán)隊(duì)從哪個(gè)模型入門給想入門的個(gè)人開發(fā)者或者小團(tuán)隊(duì)一個(gè)直接的建議第一個(gè)接觸的模型優(yōu)先選OpenVLA。原因很現(xiàn)實(shí)它開源徹底、社區(qū)活躍、資料齊全而且7B參數(shù)正好是個(gè)人GPU服務(wù)器能扛住的量級(jí)。你可以先跑通LiBero上的評測再采集少量自有數(shù)據(jù)微調(diào)完整走一遍數(shù)據(jù)處理-微調(diào)-評測-部署的流程。這個(gè)流程的價(jià)值比模型本身更大。如果你對強(qiáng)化學(xué)習(xí)和連續(xù)控制更感興趣可以考慮從DreamerV3這類世界模型入手。它不需要語言數(shù)據(jù)在仿真環(huán)境里就能跑適合理解世界模型隱空間預(yù)測這套核心機(jī)制。項(xiàng)目周期短實(shí)驗(yàn)反饋快對建立直覺非常有幫助。WAM目前不建議作為第一個(gè)項(xiàng)目原因我說過它沒有標(biāo)準(zhǔn)實(shí)現(xiàn)不同論文里結(jié)構(gòu)差異很大需要具備足夠的模型設(shè)計(jì)和調(diào)試能力才能駕馭。等你把WM和VLA都跑熟了再去看WAM相關(guān)的文獻(xiàn)會(huì)輕松很多。我自己的體會(huì)是模型選型永遠(yuǎn)服務(wù)于你真正要解決的問題。如果你的機(jī)器人大部分時(shí)間在一個(gè)相對固定的環(huán)境里做重復(fù)任務(wù)傳統(tǒng)方案加一個(gè)輕量WM做預(yù)測補(bǔ)償性價(jià)比可能比上VLA要高得多如果你的目標(biāo)是讓機(jī)器人能聽懂人話、應(yīng)對各種口味的任務(wù)那VLA這一條路是繞不開的只是要做好吃數(shù)據(jù)、調(diào)模型的長期準(zhǔn)備。最后再分享一個(gè)實(shí)操小技巧不管用哪種模型第一版上線前先給機(jī)器人加一個(gè)急停邏輯和動(dòng)作范圍的硬約束VLA這種端到端模型偶爾會(huì)給你“驚喜”沒有兜底的系統(tǒng)再好的模型也不敢放手用。