具身視頻生成這個詞最近在搞多模態(tài)和機器人方向的圈子里熱度漲得非?？?。很多人一開始覺得它無非就是“視頻生成”加了點機器人動作控制真正上手之后才會發(fā)現(xiàn)它把感知、控制、生成、評測這些東西全部揉在了一起是一個全新的交叉課題。國內(nèi)某家頂尖高校的研究團隊跟某家頭部科技公司聯(lián)手放出了一個新基準代號RBench我拿到資料之后斷斷續(xù)續(xù)跟了挺長時間今天想把里面的評測邏輯、任務(wù)設(shè)計、復(fù)現(xiàn)心得一次性寫清楚給正在做具身智能、視頻生成或者多模態(tài)評測的同行一個參考。RBench這個基準最吸引我的地方不是它又多了多少評測指標而是它終于把“視頻生成得好看”和“任務(wù)能不能落地”這兩件事分開看了。過去大家比的是誰生成的視頻更像真實世界現(xiàn)在比的是誰生成的視頻能真正指導一個智能體完成任務(wù)。這個轉(zhuǎn)變看著不大實際影響卻非常深從數(shù)據(jù)集設(shè)計到模型架構(gòu)再到評測結(jié)果怎么解讀每一層都要重新想一遍。1. 具身視頻生成賽道從“看得見”到“做得了”的躍遷1.1 視頻生成的第三次轉(zhuǎn)向我習慣把視頻生成的發(fā)展分成三個階段。第一階段是“長得像”模型能把靜態(tài)圖動起來生成幾秒連貫的畫面大家關(guān)注的是清晰度和流暢度。第二階段是“語義對”模型開始理解文本指令你讓它“一個人從箱子左側(cè)走過”它能按語義去生成評測時用CLIP相似度、文本對齊這類指標看語義匹配度。這兩個階段的成果很漂亮但跟真實世界里的物理規(guī)則、動作執(zhí)行基本沒什么強綁定。第三階段就是現(xiàn)在正在發(fā)生的視頻生成被當作一種預(yù)測工具甚至規(guī)劃工具來用。模型輸入的不再只是一句描述而是一段初始狀態(tài)、一個明確任務(wù)、一個可執(zhí)行的動作序列它生成的視頻要能“接得住”后續(xù)的控制指令。這個方向圈內(nèi)有一個慣用叫法具身視頻生成。它跟普通視頻生成最大的區(qū)別在于生成的單位不是“一段好看的畫面”而是“一個能在真實或仿真環(huán)境里落地執(zhí)行的動作軌跡的可視化”。RBench正是沖著第三階段去的。它把任務(wù)定義成一個個帶動作條件、帶執(zhí)行結(jié)果的視頻生成任務(wù)。模型生成完不是直接看視頻主觀質(zhì)量打分而是要放到模擬環(huán)境里驗證看它預(yù)測出來的畫面是否真的對應(yīng)了一條可行的動作路徑。這一步的轉(zhuǎn)變等于把視頻生成從“內(nèi)容創(chuàng)作工具”這類身份往“世界模型”的方向硬推了一把。1.2 為什么是現(xiàn)在多模態(tài)強化與World Model合流為什么具身視頻生成這個方向偏偏是現(xiàn)在火起來我自己總結(jié)下來有三個原因缺一個都推不動。第一可控視頻生成的能力到臨界點了。擴散模型和自回歸模型這兩條技術(shù)路線在生成質(zhì)量、可控性、長范圍穩(wěn)定性上都取得過階段性突破大家發(fā)現(xiàn)“生成”這個動作本身已經(jīng)不是瓶頸瓶頸轉(zhuǎn)移到了“生成之后怎么用”。第二仿真平臺和物理引擎的成熟度到了一個可以“半信半疑”的狀態(tài)。早幾年前想在仿真環(huán)境里評測具身任務(wù)動作碰撞、物理穩(wěn)定性、多傳感器同步這些問題夠你調(diào)試一兩個月?，F(xiàn)在主流引擎配合標準化的機器人模型雖然談不上完全真實但足夠支撐一個統(tǒng)一評測基準的穩(wěn)定運行。RBench選擇走仿真評測這條路而不是直接上真機在我看來是非常務(wù)實的決定。第三World Model的思路在加速成為共識。如果視頻生成本質(zhì)上是在學一個環(huán)境動態(tài)模型——給定當前狀態(tài)和動作預(yù)測下一個狀態(tài)——那它天然就能跟強化學習、模型預(yù)測控制結(jié)合起來。具身視頻生成恰好站在這個結(jié)合點上。RBench把視頻生成模型放到具身任務(wù)里去評測實際評測的就不只是畫質(zhì)而是模型對環(huán)境動態(tài)的理解能力、對動作關(guān)系的建模能力以及長時預(yù)測的穩(wěn)定性。這三點合流之后行業(yè)里就出現(xiàn)了一個很強烈的需求需要有人站出來給具身視頻生成定一個跟傳統(tǒng)視頻生成完全不同的評測坐標。RBench就是在這個背景下出現(xiàn)的。2. RBench評測框架任務(wù)域、數(shù)據(jù)管線與核心評分機制2.1 任務(wù)域劃分操作、導航與交互敘事我看過不少具身評測基準容易犯的一個毛病是任務(wù)域過于狹窄或者說任務(wù)類型之間沒有拉開差距。RBench在任務(wù)域設(shè)計上做得比較聰明它沒有只圍繞“機械臂抓取”這一個經(jīng)典場景而是分了三大類。第一類是操作類任務(wù)包括抓取、放取、推拉、插接這類物理交互。這一類任務(wù)的關(guān)鍵能力是對接觸點、力反饋、遮擋關(guān)系進行建模。視頻生成模型要能預(yù)測出物體在接觸前后的狀態(tài)變化手和物體接觸的位置不能飄這是最容易暴露問題的地方。第二類是導航類任務(wù)包括點導航、目標導航、條件導航以及一些需要多段路徑規(guī)劃才能到達目標的場景。導航類任務(wù)里視頻模型要處理的關(guān)鍵信息是空間一致性畫面里的走廊、門、家具的相對位置不能隨著視角移動而漂移否則就是典型的世界模型崩潰。第三類是交互敘事類任務(wù)可以理解成把多個子步驟串在一起完成一個復(fù)合目標比如“把杯子放到托盤上再把托盤端到桌角”。這類任務(wù)連基準里的真實機器人都需要較長時間來完成視頻模型想要預(yù)測得準必須建模步驟之間的因果依賴而不是單純靠視覺相似性去蒙。三類任務(wù)放在同一個框架下既覆蓋了控制層級里的操作和規(guī)劃又覆蓋了語義層級里的任務(wù)理解評測出來的結(jié)果才不會被單一能力短板帶偏。2.2 數(shù)據(jù)與標注協(xié)議多大程度上貼近真實數(shù)據(jù)這塊RBench最核心的原則是“統(tǒng)一格式、分層標注”。統(tǒng)一格式指的是不管任務(wù)是抓取還是導航都會被表示成一個標準的結(jié)構(gòu)化指令片段包含初始觀測、目標狀態(tài)描述、可行動作序列、環(huán)境反饋四部分。這種格式的好處在于評測方可以很容易地把不同任務(wù)的難度統(tǒng)一量化模型側(cè)也可以把不同任務(wù)抽象成同一種輸入輸出結(jié)構(gòu)。分層標注說的是每一個任務(wù)樣本都會被貼上三個維度的標簽語義難度、動作復(fù)雜度和環(huán)境動態(tài)等級。語義難度衡量的是“人類理解這個指令有難度”動作復(fù)雜度衡量的是“這個動作序列含多少步、對精度要求多高”環(huán)境動態(tài)等級衡量的是“場景里的物體有沒有運動、光照有沒有變化”。這三個維度互不耦合評測結(jié)果出來之后你能夠非常清楚地定位某個模型到底是被語義理解難住了還是被動作精度卡住了。這種數(shù)據(jù)設(shè)計有一個隱蔽的優(yōu)點它允許研究者按自己的需求對評測集做子集劃分。比如說我想單獨驗證模型在“高動態(tài)環(huán)境復(fù)雜動作”下的表現(xiàn)我只需要去組合對應(yīng)的標注子集不需要重新造數(shù)據(jù)。這種靈活性在之前的很多視覺基準里是不具備的。2.3 評分機制比“圖/視頻像不像”更狠的一刀RBench里最讓我印象深刻的是它的評分機制不再把“生成質(zhì)量”作為唯一主角。傳統(tǒng)視頻生成評測看的是FVD、LPIPS、CLIP Score這些指標它們衡量的是畫面分布接近程度和語義匹配程度。RBench把這條線往后推了一大步提出了三層評分結(jié)構(gòu)。第一層叫視覺保真層仍然會計算基本的生成質(zhì)量分包括畫面穩(wěn)定性、紋理真實度、幀間一致性。第二層叫行為合理性層由一個可學習的打分子網(wǎng)絡(luò)對生成視頻里的動作軌跡進行顯式評估判斷物體運動是否符合物理規(guī)律比如杯子被拿起之后不能懸空、門不能突然穿模。打到這一層很多傳統(tǒng)視頻生成模型就已經(jīng)開始掉分了。第三層才是最核心的執(zhí)行成功率層會把生成的視頻輸入給一個模擬器里的執(zhí)行器讓執(zhí)行器來算這條視頻對應(yīng)的動作序列能不能實際完成任務(wù)。這個三層結(jié)構(gòu)形成了一條完整的評價鏈條從畫面好看到動作合理再到任務(wù)可行。每一層都過濾掉一批模型。只靠“畫面剪得漂亮”的模型在第二層和第三層會暴露原形。這也解釋了為什么RBench的結(jié)果報告里排名靠前的往往不是那些傳統(tǒng)視頻生成榜單的常見面孔因為評測的底層邏輯變了模型真正要比的東西也變了。3. 評測口徑之爭通用指標為什么管不住具身任務(wù)3.1 FVD、CLIP相似度在想什么要理解為什么RBench要另起爐灶我得先攤開說說傳統(tǒng)指標在想什么。FVD的全稱是Fréchet Video Distance它的思路是把生成的視頻和真實視頻分別編碼成特征向量然后比較兩個特征分布之間的距離。說白了就是我這個分布跟你那個分布像不像。CLIP Score更直接把視頻幀和文本編碼到同一個語義空間里測量兩者的余弦相似度。這兩個指標在現(xiàn)代視頻生成技術(shù)里非常有價值但它們都有一個隱含前提假設(shè)畫面質(zhì)量高就等于數(shù)據(jù)分布準語義空間對齊就等于任務(wù)可執(zhí)行。這個前提在生成“貓在草地上打滾”這種開放域內(nèi)容時基本成立因為作者意圖就是畫面本身。但放到具身任務(wù)里前提立刻就崩了。一段視頻可以每一幀都非常真實但物體在沒有外力的情況下突然移位一段視頻可以和文本指令在CLIP空間里高度匹配但動作執(zhí)行到一半就出現(xiàn)物理矛盾。所以傳統(tǒng)指標在具身視頻生成這條賽道上能提供的有效信號非常有限。3.2 具身結(jié)果評審執(zhí)行閉環(huán)、約束滿足與多視角一致性RBench采用的具身結(jié)果評審邏輯我覺得可以用三個關(guān)鍵詞來歸納。第一個是執(zhí)行閉環(huán)。模型生成的視頻不只是一個產(chǎn)出物它會被折算成一條可執(zhí)行策略再去模擬器里跑一遍。跑成功了才是真正的有效生成。這就把視頻生成評測從“打分制”變成了“過關(guān)制”。第二個是約束滿足。具身視頻生成模型必須在生成過程中同時滿足物理約束、場景語義約束和任務(wù)指令約束。RBench的三層評分結(jié)構(gòu)里每一層都在對應(yīng)檢查一類約束。物理約束不滿足行為合理性分就低任務(wù)指令約束不滿足執(zhí)行成功率就低。這種顯式的約束檢查是傳統(tǒng)指標里幾乎不存在的。第三個是多視角一致性。具身任務(wù)的觀測視角非常關(guān)鍵很多模型生成的視頻在單一視角下看著沒問題一旦換個視角物體的相對位置就亂了動作的空間關(guān)系也跟著錯亂。RBench在評測時會從多個視角采樣觀測要求模型在所有這些視角下保持一致的空間結(jié)構(gòu)。這個度量非常狠因為它對模型學到的三維結(jié)構(gòu)有硬性要求不是二維層面的視覺一致性就能糊弄過去的。3.3 指標組合的價值遠比單個SOTA重要還有一個我想特別強調(diào)的點RBench這套評測體系里單個指標的絕對值排名遠不如指標組合之后形成的“能力輪廓”重要。舉個例子一個模型在三層評分結(jié)構(gòu)里都排中游看起來哪一項都不突出但如果把它的視覺保真分和行為合理分放在一起看你會發(fā)現(xiàn)它可能在“畫面真實但行為邏輯弱”這個象限里。這說明它的問題不在生成質(zhì)量而在物理建模下一步優(yōu)化方向應(yīng)該往物理約束那邊偏。另一個模型可能在執(zhí)行成功率上特別高但視覺保真分一般這說明它靠合成技術(shù)把畫面預(yù)測得“能用”但距離真實畫面還有距離適合往專有任務(wù)上走而不是直接做開放域生成。這種把多個指標放在一起讀的能力我覺得是RBench比單一指標榜單更有價值的地方。它不只是告訴你誰強誰弱而是告訴你強在哪里、弱在哪里、下一步該往哪修。作為研發(fā)參考這比一個冷冰冰的SOTA名次有用得多。4. 一個從業(yè)者的復(fù)現(xiàn)記錄跑通RBench的基本盤與意外4.1 環(huán)境準備模擬器、動作空間與相機參數(shù)對不上怎么辦任何基準真正跑起來都會遇到一些跟算法無關(guān)但讓你磨掉半條命的工程問題。RBench這套環(huán)境我在復(fù)現(xiàn)首日就撞上了“動作空間和相機參數(shù)不一致”的坑。原因不復(fù)雜。RBench的任務(wù)樣本采集自不同的模擬場景動作路徑本身是在統(tǒng)一的機器人控制框架下記錄的但不同場景的相機內(nèi)參不是完全一樣的。我一開始圖省事直接加載了統(tǒng)一默認相機參數(shù)結(jié)果所有任務(wù)的前幾幀畫面全是歪的。后來檢查任務(wù)元數(shù)據(jù)才發(fā)現(xiàn)每個樣本里都已經(jīng)嵌入了對應(yīng)的相機初始化參數(shù)只是需要顯式讀出來并覆蓋全局默認值。處理辦法也很簡單在加載任務(wù)時強制用樣本級camera config覆蓋環(huán)境級config并且在跑首幀之前先做一次渲染對齊檢查確認觀察空間沒有發(fā)生裁剪。這個步驟看起來微不足道但如果不做后面的所有評測數(shù)據(jù)都會帶著空間偏差。強烈建議所有打算復(fù)現(xiàn)RBench工具鏈的同行把這個檢查寫進初始化流程別信默認值。4.2 訓練與評估schema里最容易被忽略的版本問題第二個讓我折騰了一晚上的問題是評估腳本和任務(wù)schema的版本匹配。RBench這種還在快速迭代的基準會存在一個任務(wù)定義schema的多個小版本同時在外流通的時期。某個評估腳本可能是按照舊版本的輸出格式設(shè)計的但你加載的評測數(shù)據(jù)已經(jīng)升級到新格式最典型的變化就是動作序列里面的力矩字段被重命名了或者導航類任務(wù)的目標點從絕對坐標改成了相對觀測坐標。我一開始沒注意跑完一批導航任務(wù)之后發(fā)現(xiàn)成功率全是零逐個檢查才定位到是目標點的坐標歸一化方式變了。這種問題不會報錯因為沒有語法錯誤只在結(jié)果層面表現(xiàn)為“表現(xiàn)異常低”。我的經(jīng)驗是在跑批量評測之前先挑一個最小任務(wù)樣本做單條診斷打印出動作樣本和指令文本跟schema文檔人工比對一遍。這一步十分鐘之內(nèi)能做完能省掉后面整輪無效實驗的時間。4.3 采樣不穩(wěn)定的根因確定性、隨機性與長程一致性真正讓我在復(fù)現(xiàn)過程中卡最久的是視頻生成模型在評測時的隨機性問題注意它不是“結(jié)果時好時壞”的小波動而是同樣的初始化條件、同樣的種子兩次生成的結(jié)果會有肉眼可見的差異尤其是到了視頻的后半段。我排查了一圈定位出三個主要因素。第一個是采樣器本身帶了隨機性擴散模型在逐步去噪時如果沒有鎖定噪聲種子那不管你輸入是否一致輸出都會漂移。第二個是任務(wù)里可能存在多智能體或環(huán)境動態(tài)因素機器人動作在仿真環(huán)境里被物理引擎推進時會有微小差異這種差異在長序列里會被逐步放大。第三個是評測框架默認沒有指定生成器和環(huán)境是否共享隨機流兩者各自使用自己的隨機源逆來順受就導致結(jié)果看起來“不收斂”。解決方式也并不高大上就是在運行配置里顯式鎖好三層隨機種子模型推理層的噪聲種子、模擬器物理層的隨機種子、任務(wù)采樣的樣本種子。鎖完之后長序列的一致性肉眼可見地提升評測結(jié)果也穩(wěn)定多了。這件事讓我再次意識到在具身視頻生成這種多系統(tǒng)耦合的評測里隨機源的管理本身就是一項核心實驗技能。5. 評測倒逼模型架構(gòu)設(shè)計里的三組取舍5.1 動作條件是輸入拼接還是交叉注意力RBench的評測設(shè)計決定了一件事一個視頻生成模型如果想拿高分必須認真思考動作條件到底該往網(wǎng)絡(luò)哪里灌。目前實踐中常見的有兩種路徑。一種是把動作信息拼到文本嵌入向量后面跟文本一起做條件注入。這種做法實現(xiàn)簡單在短動作序列上也能用但缺點是動作和視覺特征的交互太淺模型只能學到“動作是某種全局偏好”很難學到“動作發(fā)生在哪個空間位置”。另一種是交叉注意力注入讓動作條件以注意力機制的方式作用到每一層特征上這相當于在每一個生成步驟上都強制做一次動作-視覺對齊。效果通常更好但訓練時的顯存開銷和計算量會明顯上漲。我的傾向是如果任務(wù)偏操作類一定要設(shè)計成交叉注意力機制因為操作類任務(wù)對空間位置的敏感性非常高全局拼接會損失空間信息。如果任務(wù)偏導航類動作本身對畫面的影響相對弱全局拼接在精度上也能湊合性價比更高。RBench這樣一個同時包含操作、導航、復(fù)合任務(wù)的基準實際上是在逼著模型架構(gòu)不能一招吃遍天下。5.2 自回歸視頻生成與擴散模型在指令速度上的差異評測跑多了之后我發(fā)現(xiàn)一個有意思的現(xiàn)象擴散類模型在RBench的視覺保真層表現(xiàn)普遍更穩(wěn)自回歸模型在行為合理層和執(zhí)行成功率層的相對差距會小一些。這個結(jié)果其實跟兩類模型的結(jié)構(gòu)特性高度相關(guān)。擴散模型是在一個固定步數(shù)里逐步去除噪聲它的生成過程更像“從模糊到清晰的修正”所以在幀內(nèi)視覺質(zhì)量上有天然優(yōu)勢短期空間細節(jié)漂亮。自回歸模型是一幀幀預(yù)測每一步都是在前一步的基礎(chǔ)上追加信息它對長期依賴的處理能力更強因為每一步都強制依賴前序輸出。具身任務(wù)里動作序列的長期正確性恰恰比單幀細節(jié)更重要。所以在RBench這種同時要求畫質(zhì)和長程可執(zhí)行性的場景里只靠單一生成范式是有上限的?，F(xiàn)在圈里討論比較多的混合方案比如用自回歸模型做軌跡主干預(yù)測、用擴散模型做局部圖像精修我覺得會更符合RBench的評測偏好。這個思路未來可能會越來越主流。5.3 策略化世界模型視頻生成不是終點最后提一個模型側(cè)的方向我認為RBench真正想推的是“策略化世界模型”這個概念。純視頻生成模型的目標是生成一個盡可能真實的視頻策略化世界模型的目標是生成一個能輔助決策的預(yù)測結(jié)果。這兩者的差異在評測結(jié)果里能直接反映出來。一個純視頻生成模型可能在RBench的視覺保真層拿高分但當它生成的視頻被折算成策略、送進模擬器去執(zhí)行時成功率會斷崖式下降。問題就在于模型的損失函數(shù)里根本沒有“任務(wù)能不能完成”這一項。如果往這個方向想你會發(fā)現(xiàn)評測基準的損失函數(shù)設(shè)計邏輯會影響訓練時的優(yōu)化目標。以后的主流做法可能不再是先訓視頻生成模型、再單獨接策略網(wǎng)絡(luò)而是直接把任務(wù)成功率作為一項可微目標嵌入到生成模型訓練里。RBench的出現(xiàn)某種意義上就是在催生這種端到端訓練方式的規(guī)范化。至少我自己已經(jīng)在用它來驗證各類混合訓練方案而不是單純把它當做一個“跑分榜”。6. 筆記里能直接用的經(jīng)驗以及下一步怎么玩6.1 先離線后在線評測序列該怎么安排才省算力RBench的評測成本不低尤其是執(zhí)行成功率那一層每次都要把生成結(jié)果送進模擬器跑真實交互。我一開始踩過坑不管模型強不強直接全量評測集跑。結(jié)果效率極低還會因為模型版本差異產(chǎn)生大量無效對比。后來總結(jié)出一套順序效果不錯先用三分之一的評測子集做離線篩選只比較視覺保真和行為合理性兩個輕量層分數(shù)。通過這個篩選的模型再進入完整評測集跑三次重復(fù)實驗取均值。最后對排名前五的模型配置再加做一遍長序列導航和復(fù)合交互任務(wù)的重負載測試。這種“先輕后重、逐層篩選”的順序至少幫我把評測總耗時壓掉了一半。算力緊張的小組真的建議走這個流程。6.2 失敗樣本比成功樣本更值錢在分析RBench結(jié)果時別只盯著成功率。每一個執(zhí)行失敗的樣本如果仔細拆解幾乎都能定位出明確的原因模塊是在視覺預(yù)測階段就已經(jīng)錯了還是在行為合理性層沒攔住錯誤軌跡又或者是環(huán)境動態(tài)相近但生成結(jié)果完全偏移。我每次跑完一批實驗都會把失敗樣本按這三類原因打標簽然后單獨統(tǒng)計它們在不同任務(wù)域里的占比。這么做幾次之后我基本能判斷一個模型的短板藏在語義理解、物理建模還是空間穩(wěn)定性。相比之下只看成功率這張匯總表大概率會被“整體分數(shù)還行”這種表面結(jié)果誤導忽略了具體能力缺陷。6.3 從基準到產(chǎn)品RBench的邊界與擴展思路最后說一句公道話RBench不是一個萬能標尺。它目前評測的仿真場景相對可控真機環(huán)境里的光照變化、物體材質(zhì)差異、隨機擾動這些都比仿真里更惡劣。把一個模型從RBench高分直接部署到真機中間還要經(jīng)歷從sim-to-real的分項驗證。我的玩法是把RBench當作一個可控的“室內(nèi)測試場”先把基礎(chǔ)能力模型跑明白再結(jié)合自己的仿真環(huán)境做擴展。比如給它增加動態(tài)障礙物、改變天氣光照參數(shù)、或者在指令里加入更模糊的意圖表達。這些擴展做起來成本不高但能幫你在真實硬件上少踩很多坑?；鶞适瞧鹋芫€不是終點線這個心態(tài)我覺得挺重要。自我總結(jié)一句話RBench最讓我受益的地方是它把“視頻生成得好不好”徹底從“任務(wù)做沒做成”里剝了出來然后又用一套坐標把它們重新綁在了一起。每個研究視頻生成或者具身智能的人都值得拿它當一面鏡子照一照自己的模型到底是在“畫視頻”還是在“懂世界”。