這周的論文速遞我拖到周四才寫。每年到11月底Robotics、Embodied AI、LLM這幾個標簽下都會冒出一批趕在年底前掛出來的工作2025年第48周11月23日至29日尤其明顯。我按關鍵詞掃了三天的更新篩掉純刷榜的、只改prompt的剩下22篇值得細看。這些論文大多不是顛覆式突破但有幾個共同點大家開始把大模型放下神壇認真處理真機部署中的臟活累活仿真數據和真實數據的關系也被重新討論評估重心明顯從“能不能完成任務”轉向“能不能穩(wěn)定、低成本地完成長程任務”。如果你正在做機器人畢設、找具身智能方向的研究切入點或者在公司里做機器人落地方案選型這期內容應該能幫你省下不少掃arXiv的時間。1. 本周論文全景Robotics/Embodied AI/LLM到底在熱什么1.1 選題分布大家不約而同在做同一件事我把這一周值得看的22篇論文粗分了一下分布大概是這樣方向數量我比較關注的點靈巧操作與抓取6從端到端學習回到“先驗引導閉環(huán)微調”仿真到現實遷移Sim2Real5動態(tài)隨機化、基礎模型輔助域適應世界模型與規(guī)劃3不再預測像素改預測隱狀態(tài)視覺-語言-動作模型VLA4動作分塊、推理開銷、實時性LLM做任務規(guī)劃與錯誤恢復4記憶模塊、反饋閉環(huán)、工具調用整體看下來純端到端“圖像進、動作出”的論文少了更多工作開始把系統(tǒng)拆成幾段感知用開放詞匯模型規(guī)劃用LLM底層控制用擴散策略或者強化學習策略再用一個輕量級的閉環(huán)模塊兜底。這個轉變背后其實是工程邏輯端到端模型在實驗室里好看但一旦換相機、換光照、換桌面紋理性能掉得讓人懷疑人生。分段式架構雖然不酷但每個模塊都更容易單獨調試、單獨部署、單獨更換出問題時也能快速定位。還有一個明顯信號是評估基準的變化。以前大家喜歡在單一任務上刷成功率這周好幾篇工作直接上長程任務打開抽屜、拿起螺絲刀、擰螺絲、再把工具放回工具箱中間還要處理工具掉落、目標被遮擋這類意外。長程任務一上原來很多“偽魯棒”的方案立刻現原形。1.2 三個不能忽視的行業(yè)信號信號一大模型開始進控制環(huán)而不是只當調度器。前兩年常見的做法是LLM根據指令生成一組子任務然后調底層寫死的技能庫技能執(zhí)行完再把結果返回給LLM。這周好幾篇工作把這個結構往前推了一步LLM或VLM不再滿足于“指揮”而是直接輸出可供底層執(zhí)行的動作參數比如末端目標位置、夾爪張開寬度、力控閾值。這意味著對模型輸出格式的要求從“一段自然語言”變成“嚴格結構化的動作參數”反而逼著大家去規(guī)范數據接口和推理格式。我的感覺是這一步比模型參數變大更能推動落地。信號二合成數據從輔助變成主角。以前仿真數據只是預訓練用真機數據才是“黃金”。但這周有幾個工作直接用純合成數據訓練抓取策略再靠一個基礎模型做域適應真實環(huán)境成功率能做到和真機數據訓練差不多。原因是現在域隨機化做得越來越精細紋理、光照、相機內外參、物體物理屬性全部隨機策略被迫學到更本質的幾何線索而不是顏色和紋理這類表面特征。合成數據的成本比真機采數據低一個數量級這對學校實驗室和小團隊來說是個好消息。信號三長程任務評估開始考察“錯誤恢復能力”。單純的成功率指標已經不夠看了。這周多篇論文引入“干預次數”“人類糾正反饋后的再學習能力”“失敗后重試是否還保有已完成子任務進度”等指標。這個變化非常實在真實機器人不可能一次成功能不能從失敗中恢復往往決定了項目能不能從demo走向產品。2. 具身智能與機器人操作幾個值得細讀的工作2.1 靈巧操作中的“先驗微調”玩法抓取不再靠純學習這周在靈巧操作方向讓我眼前一亮的是一個“先驗引導抓取”的工作。它不直接讓神經網絡從原始點云回歸一個抓取姿態(tài)而是先用一個輕量級先驗網絡從點云里提出幾十個候選抓取位姿再由一個閉環(huán)策略根據當前深度圖和力覺信號從中挑選并微調。結構和很多物體檢測里的“區(qū)域提議精修”很像好處是抓取成功率的方差明顯變小。為什么做端到端抓取的人現在開始回頭用“先驗微調”因為純端到端的網絡在仿真里可以做到95%以上成功率但拿到真實環(huán)境里經常會出現一種詭異現象訓練時見過的物體形狀能抓稍微換個角度、換個背景抓取姿態(tài)就開始亂飄。先驗網絡等于給策略劃了一個“操作空間”策略只在一個相對靠譜的局部區(qū)域里做微調泛化邊界清晰很多。真機部署時光這一點就能省掉大量調試時間。我印象比較深的是他們實驗里的一個細節(jié)在先驗網絡給出的候選位姿中哪怕排名第30的位姿經過閉環(huán)微調后也能達到不錯成功率。這說明靈巧操作的瓶頸未必是“生成位姿”本身而是“驗證與修正”這一步不夠穩(wěn)。這給做抓取的同學一個很實際的啟發(fā)別再死磕端到端一個大模型你不如把“提議-評估-微調”拆成三個小模型各自調穩(wěn)整體效果會好很多。2.2 仿真到現實遷移動態(tài)隨機化為什么會成為剛需Sim2Real方向這周沒有讓人眼一亮的“劃時代工作”但有幾篇工程做得非常扎實。它們不約而同用了同一個套路在GPU仿真器里做大規(guī)模域隨機化再用視覺基礎模型提取語義特征最后讓策略在“語義特征空間”里學習。這個套路值得展開說一下。傳統(tǒng)域隨機化是把顏色、光照、紋理全部隨機期望策略學到跟顏色無關的幾何特征。但純幾何特征對語義理解不夠比如“打開一個有把手的抽屜”模型需要先知道哪個區(qū)域是把手。如果直接用原始RGB訓練換一個沒見過的柜子就廢。把視覺基礎模型比如開放詞匯分割模型拿到仿真圖片上做離線標注相當于給仿真數據自動加了一層“語義標簽”策略學習的是“把手位置、抽屜滑動方向、末端接近角度”這些抽象信息真機上自然更穩(wěn)。我實測過類似方案最大的坑是標注速度。開放詞匯分割模型在單張圖上的推理時間是毫秒級但一整個仿真數據集幾十萬張圖累計起來非常可觀。好在這幾篇工作都把標注過程做成離線流水線先把訓練數據全部預處理完再進策略訓練。這也提醒我們做好仿真資產庫的標準化比臨時抱佛腳寫腳本重要得多。2.3 世界模型預測隱狀態(tài)而不是預測下一幀圖像世界模型不是新概念但過去兩年“預測下一幀圖像”的路線很流行確實酷訓練和推理成本也高得嚇人。這周看到的幾篇世界模型工作幾乎都轉向了“預測隱狀態(tài)”讓模型在低維特征空間里預測下一時刻的關鍵狀態(tài)比如末端位置、物體相對位姿、接觸力是否變化而不是重建整張圖像。這個轉向本質上是把“想象”壓縮到決策需要的最小信息量。我舉個類比你開車時不需要記住路邊每一棵樹的樣子只需要關心前車距離、車道線位置、自己車速。世界模型如果預測完整畫面相當于把每一棵樹都記住浪費算力不說還容易學出和決策無關的虛假相關性。但這幾篇工作也有一個共同問題隱狀態(tài)的定義依賴大量人工設定。你讓模型預測什么模型才能學什么。如果漏掉某個關鍵物理量比如“物體是否處于滑動狀態(tài)”后面規(guī)劃就會瞎。所以世界模型離真正通用還差很遠但作為“仿真器里的低成本規(guī)劃器”已經是值得跟進的趨勢。3. LLM與機器人結合的典型工程架構3.1 任務分解、技能調用、閉環(huán)執(zhí)行的三層結構這周LLM做機器人規(guī)劃的論文絕大多數還是三層架構LLM負責任務分解技能庫負責具體動作閉環(huán)模塊負責確認每一步是否完成。我用偽代碼描述一下最常見的實現方式def run_task(instruction): plan llm_planner.decompose(instruction) for step in plan: if check_done(step, current_obs): continue skill skill_lib.retrieve(step) success skill.execute(current_obs) if not success: feedback analyze_failure(step, current_obs) plan llm_planner.replan(feedback)這里最關鍵的其實是兩個細節(jié)。第一個是“check_done”不能只靠LLM嘴硬判斷必須有一個基于規(guī)則的低層驗證模塊比如檢測夾爪里是否真有物體。第二個是“analyze_failure”的輸出必須對LLM友好最好給它喂“當前子任務是什么、期望狀態(tài)是什么、實際狀態(tài)是什么、可能原因是什么”的結構化描述而不是丟一張模糊的圖片讓它猜。這周看到的一個反例特別典型某個系統(tǒng)讓LLM負責判斷“是否完成”結果物體沒抓起來但夾爪開合狀態(tài)恰好符合“抓取姿勢”LLM就誤判成功。后來他們把驗證模塊換成物體檢測網絡再用VLM做二次確認成功率才上去。這說明在工程系統(tǒng)里LLM的“泛化”不能替代確定性判斷該用規(guī)則的時候別偷懶。3.2 記憶模塊與錯誤恢復真正決定系統(tǒng)好不好用長程任務里LLM最大的問題不是“第一步規(guī)劃不對”而是“做完第三步忘了第一步出錯之后不知道回退到哪”。本周好幾篇工作都在搞記憶模塊做法大同小異不存原始日志而是讓VLM把關鍵歷史步驟壓縮成自然語言摘要存入向量庫每次規(guī)劃時檢索當前相關經歷。這里有個細節(jié)非常影響效果摘要的質量。比如“把螺絲刀拿起”和“移動機械臂到桌面右側約20厘米處夾爪閉合成功拿起螺絲刀”對后續(xù)錯誤恢復的幫助完全不同。前一種是任務級描述后一種是物理級描述帶著空間位置和狀態(tài)變化。好的摘要系統(tǒng)會用VLM把每次動作的“前置狀態(tài)-動作-后置狀態(tài)-結果”完整記錄下來這比讓模型憑記憶復盤靠譜得多。錯誤恢復的另一個實用技巧是“降級重試”。很多系統(tǒng)在失敗后直接讓LLM重新規(guī)劃整個任務成本高且容易丟掉進度。這周有篇論文做得比較聰明失敗后先檢查當前技能庫有沒有替代技能沒有的話再做局部重規(guī)劃只改失敗子任務及其后續(xù)步驟不碰已完成的前序任務。實驗里這種局部重規(guī)劃能把任務完成時間縮短接近一半。這個思路放到工程里就是“控制回路分級”越底層的兜底越重要LLM只是最上層的大腦不該干所有臟活。3.3 端側VLM選型不是越大約好這周有幾篇論文在討論VLA模型的部署問題核心矛盾是7B級以上的視覺語言模型推理延遲太高真機控制頻率根本跟不上。其實目前很多落地場景根本用不著復雜推理需要的是“看到螺絲刀在哪里”“抽屜是否打開”“夾爪有沒有抓穩(wěn)”這類細粒度感知任務。參數量級內存占用適用場景主要問題1B以下小于2GB簡單分類、目標檢測、狀態(tài)判斷對復雜指代理解差3B-4B4GB左右指代分割、物料識別、失敗原因粗判復雜指令跟隨一般7B-9B8GB-12GB視覺問答、長程任務復盤、錯誤恢復單幀推理延遲偏高需要工程優(yōu)化13B以上16GB以上復雜空間推理、精細規(guī)劃真機實時性很難保證我這一周看到最有意思的部署方案是“大小模型協(xié)同”真機上跑一個3B級別的小VLM做實時狀態(tài)判斷每到一個關鍵節(jié)點才把當前幀和記憶摘要發(fā)給云端9B模型做一次深度校驗。這樣既保證了控制頻率又保留了復雜推理能力。別看邏輯簡單真正把通信中斷、結果超時、模型返回格式錯誤都處理好并不容易。4. 復現實驗記錄從環(huán)境配置到真機落地的坑4.1 依賴沖突與仿真版本花掉我兩天時間為了復現其中一篇操作策略我專門建了一個干凈環(huán)境結果還是被依賴問題卡了兩天。問題最初出現在torch、CUDA和仿真器版本三者不匹配上。更煩人的是某個仿真器必須用特定版本編譯器編譯換一個Python版本都會在物理引擎初始化時報“段錯誤”。后來我學乖了第一步先查項目的requirements和鎖文件不要直接pip install最新版。第二步用conda創(chuàng)建獨立環(huán)境時把Python版本、CUDA版本、torch版本全部鎖死。第三步仿真器帶自定義算子的直接在Docker里構建避免污染宿主機環(huán)境。這些經驗看起來基礎但真能省下大把時間。如果再遇到類似問題我建議先把環(huán)境變量打開調試模式看崩潰發(fā)生在哪個共享庫調用上。很多時候是pybind版本和新的編譯器不兼容換回老版本gcc就好。論文代碼里如果寫了“tested on xxx”盡量分毫不差地復現那個組合別自作聰明升級。4.2 數據集與真機之間的“最后一米”仿真訓練效果好、真機上線就拉胯的案例我這周復現了一個典型的“最后一米”問題。同樣的策略仿真成功率90%以上真機第一次跑就瘋狂抖。查到最后發(fā)現是相機標定問題仿真里相機內參和外參都是理想值真機鏡頭畸變導致深度圖邊緣誤差超過2厘米機械臂在靠近物體時控制指令來回震蕩。這個坑的核心是“仿真里的完美觀測”到“真機里的有噪觀測”之間的gap。解決辦法是前向標定、視覺伺服、觀測濾波三步一起做。先對每臺相機做內參標定再用標定板確認機械臂基座到相機的坐標變換最后在深度圖上做時間維濾波。真機落地時這三個步驟一個都不能少否則策略再強也是空中樓閣。4.3 避坑清單速查坑表現解決辦法訓練Loss突然變成NaN反饋網絡梯度爆炸降低學習率、增加梯度裁剪、檢查動作歸一化范圍仿真器物理穿透夾爪穿過物體提高接觸求解迭代次數、減小仿真步長真機動作抖動到達目標點附近來回震蕩調低末端速度增益、增加阻尼、檢查是否發(fā)生位姿奇異LLM輸出格式不穩(wěn)定返回多余文字導致解析失敗用few-shot約束輸出JSON并加規(guī)則解析兜底相機與機械臂坐標對不上明明看到物體但抓偏重新標定外參驗證標定板精度真機復現成功率低第一次能跑第二三次掉一半記錄每次真機運行日志排查隨機初始位姿差異我個人覺得記錄真機日志是一件極其重要但很容易被忽略的事。復現論文時大家總把注意力放在模型結構上卻忘了每一次真機運行都是一次隨機實驗物體位姿、光照、機械臂零點漂移都會影響結果。沒有完整日志你連“這次失敗是我改出來的還是環(huán)境隨機性本來就有的”都分不清。5. 下周值得繼續(xù)關注的方向5.1 多機協(xié)作和跨場景泛化會成為新熱點這周已經有幾篇工作在做“同一技能遷移到多個機器人平臺”的實驗思路是先學習一個與機械臂型號無關的動作表示再在具體平臺映射到關節(jié)空間。下周我預測會有更多類似工作出現因為大家漸漸發(fā)現與其在每個平臺上各訓一套策略不如先做一個“平臺無關層”。這個方向的門檻不低但一旦跑通價值會非常大。5.2 機器人數據標準化值得早入場最后想聊一個不一定像“論文”但同樣重要的話題機器人數據標準化。這周多篇論文的實驗規(guī)模很大但數據集之間格式差異極大導致對比和復現異常痛苦。有人在自研統(tǒng)一數據格式把動作、觀測、語言指令、獎勵信號都塞進同一個容器再用統(tǒng)一API讀取。我判斷未來半年會有越來越多工作選擇直接使用這種標準化數據格式提前把這塊基礎設施鋪好后面做實驗會順手很多。我在實際跑完這周的工作后最深的體會是機器人這個方向論文里最值錢的往往不是那個“新模型”而是那些“讓模型在真實世界里轉起來”的細節(jié)。老師們常說看論文要看方法但我現在覺得看實驗設置、看失敗分析、看評價指標同樣重要。哪怕你手里沒有真機只要能把仿真環(huán)境搭好把這些細節(jié)跑通就已經比很多只在PPT上做機器人的人強了。