創(chuàng)王尊玄 | 不卷大模型卷系統(tǒng)能力)
機(jī)器人一定要長得像人嗎Genesis AI 的回答是不一定。Genesis AI 這家base在法國和硅谷的具身新星今年6月推出了首款具身機(jī)器人Eno沒有頭和臉只保留靈巧操作必要的部分流暢簡潔的設(shè)計(jì)被稱為機(jī)器人界的iPhone今年四季度上市。圖Genesis AI的機(jī)器人EnoEno搭載機(jī)器人基礎(chǔ)模型GENE-26.5可以理解高層任務(wù)目標(biāo)根據(jù)環(huán)境變化進(jìn)行推理和規(guī)劃并完成長程、多步驟任務(wù)。并且配置與中國舞肌科技聯(lián)合研發(fā)的仿人靈巧手20個(gè)主動(dòng)可反驅(qū)自由度尺寸與人手一一對(duì)應(yīng)能夠以毫米級(jí)精度完成復(fù)雜操作。Genesis AI還開發(fā)了帶觸覺電子皮膚的數(shù)據(jù)手套實(shí)現(xiàn)“人手—手套—機(jī)器人手”1∶1∶1映射采集精細(xì)動(dòng)作和接觸信息。Genesis AI把機(jī)器人的“大腦、雙手、數(shù)據(jù)和訓(xùn)練環(huán)境”做成了一套完整的系統(tǒng)。在智元機(jī)器人與覓蜂科技聯(lián)合舉辦的“智啟具身論壇2026——迎接物理AI智能涌現(xiàn)”論壇上Genesis AI 聯(lián)合創(chuàng)始人王尊玄講解了Genesis完整的的系統(tǒng)觀、數(shù)據(jù)觀、仿真觀和模型觀。王尊玄麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室MIT CSAIL 博士 Genesis AI 聯(lián)合創(chuàng)始人曾兼任Liquid AI研究員 。其研究方向聚焦于構(gòu)建能夠與物理世界交互的智能體。01Genesis的系統(tǒng)觀機(jī)器人是系統(tǒng)性問題王尊玄開篇定調(diào)機(jī)器人是一個(gè)系統(tǒng)性問題與LLM不一樣不僅僅是模型的問題。過去幾年大語言模型已經(jīng)證明了Scaling的價(jià)值。隨著數(shù)據(jù)量、算力和模型規(guī)模不斷增加模型能力也在持續(xù)提升。盡管機(jī)器人不能完全照搬大語言模型的發(fā)展路線但其訓(xùn)練范式仍然值得借鑒。圖LLM與Robotics的訓(xùn)練階段對(duì)比大語言模型的訓(xùn)練大致可以分為三個(gè)階段。第一階段是大規(guī)模預(yù)訓(xùn)練。模型利用海量互聯(lián)網(wǎng)數(shù)據(jù)學(xué)習(xí)語言規(guī)律以及對(duì)世界的基礎(chǔ)認(rèn)知。第二階段是對(duì)齊。通過監(jiān)督微調(diào)、人類反饋等方式模型逐漸理解用戶的意圖知道人類希望它完成什么任務(wù)。第三階段是基于強(qiáng)化學(xué)習(xí)的后訓(xùn)練。模型進(jìn)入代碼、數(shù)學(xué)等具備明確反饋機(jī)制的環(huán)境通過大量交互獲得獎(jiǎng)勵(lì)信號(hào)并逐步發(fā)展出推理和自我改進(jìn)能力。Genesis AI希望為機(jī)器人構(gòu)建一條相似的路徑。在預(yù)訓(xùn)練階段機(jī)器人可以利用第一人稱視頻和手套采集的人類操作數(shù)據(jù)學(xué)習(xí)人類如何與物理世界交互在對(duì)齊階段加入少量手套數(shù)據(jù)和機(jī)器人真機(jī)數(shù)據(jù)明確模型需要完成的具體任務(wù)在后訓(xùn)練階段則構(gòu)建大規(guī)模仿真環(huán)境讓機(jī)器人在其中反復(fù)嘗試、獲得反饋并更新策略。但與大語言模型相比機(jī)器人系統(tǒng)更加復(fù)雜。語言模型主要處理數(shù)字世界中的信息而機(jī)器人必須面對(duì)真實(shí)世界中的物體、接觸、摩擦、力、形變和安全約束。模型輸出的也不只是文字而是必須轉(zhuǎn)化成機(jī)械手、機(jī)械臂或機(jī)器人身體可以執(zhí)行的動(dòng)作。因此機(jī)器人能力并不只取決于模型架構(gòu)。數(shù)據(jù)采集設(shè)備是否準(zhǔn)確、機(jī)器人硬件是否可靠、中間件是否穩(wěn)定、控制系統(tǒng)是否及時(shí)、數(shù)據(jù)處理是否規(guī)范、評(píng)測體系是否可信都會(huì)影響最終效果。Genesis AI由此提出了一套端到端的系統(tǒng)方法從數(shù)據(jù)采集、硬件、中間件、控制棧、數(shù)據(jù)管線、模型訓(xùn)練一直觀察到評(píng)測和真實(shí)部署再通過部署結(jié)果形成新的數(shù)據(jù)閉環(huán)。團(tuán)隊(duì)首先尋找整條鏈路中最關(guān)鍵的痛點(diǎn)再集中資源進(jìn)行優(yōu)化。這也意味著算法不一定是所有問題的答案。如果模型難以實(shí)現(xiàn)人類動(dòng)作與機(jī)器人動(dòng)作的遷移除了設(shè)計(jì)更復(fù)雜的表征學(xué)習(xí)和遷移算法也可以重新設(shè)計(jì)機(jī)械手、傳感器和數(shù)據(jù)采集設(shè)備從源頭降低數(shù)據(jù)與機(jī)器人本體之間的差異。02**Genesis的數(shù)據(jù)觀**從人類操作中獲取可擴(kuò)展的靈巧數(shù)據(jù)數(shù)據(jù)是機(jī)器人實(shí)現(xiàn)Scaling首先要解決的問題。目前常見的機(jī)器人數(shù)據(jù)采集方式包括遙操作、UMI等手持設(shè)備、第一人稱視頻、互聯(lián)網(wǎng)視頻以及機(jī)器人真機(jī)采集。不同數(shù)據(jù)各有優(yōu)勢但很難同時(shí)滿足規(guī)模、精度、物理信息和部署相關(guān)性等要求。遙操作采集的數(shù)據(jù)與目標(biāo)機(jī)器人最接近但很難大規(guī)模擴(kuò)展。一方面遙操作依賴機(jī)器人硬件采集成本較高另一方面操作者很難通過現(xiàn)有設(shè)備完整控制高自由度靈巧手。普通夾爪可能只需要控制開合但靈巧手涉及多根手指、多個(gè)關(guān)節(jié)以及復(fù)雜接觸遙操作難以達(dá)到人手的精細(xì)程度。UMI或其他手持式數(shù)據(jù)采集設(shè)備具有更好的擴(kuò)展性采集成本也通常低于遙操作。但它們會(huì)改變?nèi)嗽镜牟僮鞣绞?。在真?shí)工廠或商業(yè)場景中如果要求工人先學(xué)習(xí)如何使用一套特殊設(shè)備不僅會(huì)增加培訓(xùn)成本也會(huì)影響原有的工作效率部分精細(xì)任務(wù)甚至無法按照原來的方式完成。第一人稱視頻和互聯(lián)網(wǎng)視頻擁有更大的數(shù)據(jù)規(guī)模與任務(wù)多樣性。人只需要佩戴相機(jī)便可以記錄大量真實(shí)操作。但純視頻數(shù)據(jù)通常缺少準(zhǔn)確的動(dòng)作軌跡、接觸狀態(tài)、作用力和觸覺信息與機(jī)器人本體之間也存在較大差距。機(jī)器人真機(jī)數(shù)據(jù)與部署場景的相關(guān)性最高但采集成本同樣最高。真機(jī)運(yùn)行速度有限還會(huì)產(chǎn)生設(shè)備磨損、安全風(fēng)險(xiǎn)和人工維護(hù)成本因此很難獲得互聯(lián)網(wǎng)數(shù)據(jù)級(jí)別的規(guī)模。Genesis AI的選擇是設(shè)計(jì)一套盡可能讓人手、數(shù)據(jù)手套與機(jī)器人靈巧手相互一一對(duì)應(yīng)的采集系統(tǒng)。工人戴上手套后仍然可以按照原來的習(xí)慣完成工作不需要為了采集數(shù)據(jù)改變操作方式。系統(tǒng)則在不影響生產(chǎn)流程的前提下被動(dòng)記錄人手動(dòng)作、接觸和觸覺等信息。圖Emo的靈巧手這種設(shè)計(jì)需要滿足兩個(gè)要求。第一是非侵入式。數(shù)據(jù)采集設(shè)備不能顯著改變工人的動(dòng)作習(xí)慣商業(yè)上也不增加過多培訓(xùn)和部署成本。只有能夠進(jìn)入現(xiàn)有工作流程數(shù)據(jù)采集才能真正擴(kuò)展到工廠、廚房等真實(shí)場景。第二是數(shù)據(jù)與機(jī)器人硬件的對(duì)齊。手套、人手和最終部署的機(jī)械手需要在動(dòng)作自由度、關(guān)節(jié)映射和接觸信息等方面盡可能一致。手套還應(yīng)具備觸覺傳感能力記錄視覺之外的物理信息。在王尊玄看來判斷一種機(jī)器人數(shù)據(jù)是否有價(jià)值不能只看數(shù)據(jù)量而需要考慮至少五個(gè)維度。首先是可擴(kuò)展性即數(shù)據(jù)能否以較低成本進(jìn)行大規(guī)模采集其次是多樣性能否覆蓋不同人員、物體、場景和任務(wù)第三是動(dòng)作保真度采集到的動(dòng)作能否保留人手操作的精細(xì)程度第四是物理信息數(shù)據(jù)是否包含接觸、力、觸覺和動(dòng)力學(xué)狀態(tài)第五是部署相關(guān)性即數(shù)據(jù)與最終使用的機(jī)器人和真實(shí)工作環(huán)境是否足夠接近。第一人稱視頻在規(guī)模和多樣性方面具有優(yōu)勢機(jī)器人數(shù)據(jù)在部署相關(guān)性方面更強(qiáng)而手套數(shù)據(jù)試圖在規(guī)模、動(dòng)作精度和物理信息之間取得平衡。圖Genesis的數(shù)據(jù)組合Genesis AI希望把這些數(shù)據(jù)按照不同訓(xùn)練階段進(jìn)行組合利用第一人稱視頻和手套數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練再使用少量機(jī)器人數(shù)據(jù)完成對(duì)齊和任務(wù)微調(diào)。03Genesis的仿真觀從生成訓(xùn)練數(shù)據(jù)轉(zhuǎn)向高保真仿真評(píng)測除了數(shù)據(jù)仿真是Genesis AI系統(tǒng)路線中的另一個(gè)核心環(huán)節(jié)。機(jī)器人研發(fā)高度依賴評(píng)測。模型在哪些任務(wù)上失敗、失敗發(fā)生在哪個(gè)環(huán)節(jié)直接決定下一輪應(yīng)該優(yōu)化什么。但真機(jī)評(píng)測需要反復(fù)布置環(huán)境、重置物體、維護(hù)設(shè)備并組織人工操作不僅效率低也很難做到完全標(biāo)準(zhǔn)化。真實(shí)環(huán)境還存在覆蓋不足的問題。一個(gè)機(jī)器人可能在實(shí)驗(yàn)室中完成數(shù)十次測試卻無法覆蓋實(shí)際部署中的物體差異、環(huán)境變化和長尾情況。對(duì)于靈巧操作而言物體位置、摩擦系數(shù)、材料、接觸角度的細(xì)微變化都可能導(dǎo)致不同結(jié)果。強(qiáng)化學(xué)習(xí)對(duì)交互量的需求更大。如果把全部探索放在真機(jī)上完成訓(xùn)練速度、安全風(fēng)險(xiǎn)和硬件損耗都會(huì)成為限制。機(jī)器人不可能像語言模型生成文本一樣低成本地進(jìn)行數(shù)百萬次物理試錯(cuò)。因此Genesis AI希望把仿真的保真度推到足以服務(wù)機(jī)器人研發(fā)的程度。這里的“高保真”并不只是畫面逼真而是仿真中的物理過程和評(píng)測結(jié)果能夠?qū)?yīng)真實(shí)世界。模型在仿真中表現(xiàn)出的能力和缺陷應(yīng)當(dāng)能夠反映其在真機(jī)上的表現(xiàn)。Genesis AI最開始是做了一個(gè)物理引擎目標(biāo)是生成仿真數(shù)據(jù)去做模型訓(xùn)練。但在實(shí)踐過程中團(tuán)隊(duì)逐漸把重點(diǎn)轉(zhuǎn)向模型評(píng)測。因?yàn)榉抡鏀?shù)據(jù)最終是否有價(jià)值仍然要看訓(xùn)練后的模型能否在真實(shí)世界工作。與其一開始就同時(shí)解決數(shù)據(jù)生成、模型訓(xùn)練和Sim-to-Real遷移不如先建立可靠的仿真評(píng)測體系驗(yàn)證仿真結(jié)果與現(xiàn)實(shí)結(jié)果的相關(guān)性把fidelity做到極致。圖Genesis World 1.0 2026年5月27日發(fā)布 高保真評(píng)測一旦建立仿真便可以進(jìn)一步發(fā)展為機(jī)器人的自我學(xué)習(xí)環(huán)境。機(jī)器人模型能夠像Coding Agent在代碼環(huán)境中工作一樣與仿真環(huán)境持續(xù)交互執(zhí)行動(dòng)作、獲得評(píng)分、更新策略再進(jìn)入下一輪嘗試。這樣一來機(jī)器人學(xué)習(xí)就有機(jī)會(huì)從一個(gè)受制于真機(jī)數(shù)量和實(shí)驗(yàn)時(shí)間的問題轉(zhuǎn)化成一個(gè)能夠依靠算力擴(kuò)展的問題。更多算力可以支持更多并行環(huán)境、更大規(guī)模的實(shí)驗(yàn)以及更豐富的任務(wù)覆蓋。但仿真環(huán)境不能脫離真實(shí)需求。Genesis AI希望從工廠和商業(yè)部署中提取任務(wù)、設(shè)備、物體和操作流程再構(gòu)建對(duì)應(yīng)的仿真場景。真實(shí)部署定義問題仿真環(huán)境提供評(píng)測與訓(xùn)練模型能力提升后再回到真實(shí)世界驗(yàn)證由此形成完整閉環(huán)。04**Genesis的模型觀**淡化模型架構(gòu)之爭走向即時(shí)部署在模型層面Genesis AI并不過度強(qiáng)調(diào)某一種模型架構(gòu)也不把開源模型本身視為最終目標(biāo)。相比模型采用什么結(jié)構(gòu)團(tuán)隊(duì)更關(guān)注模型接收什么輸入、輸出什么信息以及如何吸收不同來源的數(shù)據(jù)。機(jī)器人訓(xùn)練面對(duì)的是異構(gòu)數(shù)據(jù)互聯(lián)網(wǎng)視頻提供視覺先驗(yàn)第一人稱數(shù)據(jù)記錄人類視角下的操作過程手套數(shù)據(jù)包含精細(xì)動(dòng)作和觸覺信息機(jī)器人數(shù)據(jù)對(duì)應(yīng)具體本體仿真數(shù)據(jù)則可以提供大規(guī)模交互與獎(jiǎng)勵(lì)信號(hào)。真正困難的是找到一套有效的訓(xùn)練配方將這些數(shù)據(jù)放在正確的訓(xùn)練階段并解決它們在信息形式、動(dòng)作空間和物理精度上的差異。從資源分配來看Genesis AI把更多精力放在數(shù)據(jù)采集、硬件對(duì)齊、數(shù)據(jù)轉(zhuǎn)換和仿真環(huán)境上模型架構(gòu)等純算法研究只占相對(duì)較小的一部分。其背后的判斷是機(jī)器人基礎(chǔ)模型的競爭力不只來自某個(gè)新網(wǎng)絡(luò)結(jié)構(gòu)更來自數(shù)據(jù)、訓(xùn)練配方和評(píng)測體系共同構(gòu)成的系統(tǒng)能力。Genesis AI最終追求的是“即時(shí)部署”。衡量模型價(jià)值時(shí)不能只看單項(xiàng)任務(wù)成功率還要看為了達(dá)到這一成功率付出了多少任務(wù)專項(xiàng)成本。圖Genesis靈巧操作能力同樣是一個(gè)小時(shí)的數(shù)據(jù)獲取方式可能完全不同。一個(gè)小時(shí)的手套數(shù)據(jù)可以由工人在正常工作過程中采集而一個(gè)小時(shí)的機(jī)器人專項(xiàng)數(shù)據(jù)可能需要遙操作、場景重置、設(shè)備維護(hù)和大量人工配合。因此評(píng)估機(jī)器人的部署成本既要看數(shù)據(jù)時(shí)長也要看這些數(shù)據(jù)是如何獲得的。Genesis AI希望通過擴(kuò)大預(yù)訓(xùn)練數(shù)據(jù)規(guī)模不斷減少新任務(wù)對(duì)專項(xiàng)數(shù)據(jù)和微調(diào)的依賴。當(dāng)機(jī)器人進(jìn)入一個(gè)新場景時(shí)不再需要為每項(xiàng)任務(wù)重新投入大量數(shù)據(jù)和工程資源而是能夠通過零樣本能力或少量數(shù)據(jù)快速適應(yīng)。結(jié)語演講的最后王尊玄再次讓大家思考這個(gè)決定資源分配方式的問題Robotics究竟是一個(gè)全局問題還是一個(gè)局部問題如果機(jī)器人必須從感知、語言、推理到控制全部重新學(xué)習(xí)那么它需要覆蓋完整智能體系的數(shù)據(jù)和算力。但另一種可能是機(jī)器人問題可以被分層處理。在上層任務(wù)理解、常識(shí)推理和高層規(guī)劃可以借用大語言模型、多模態(tài)大模型的能力在底層機(jī)器人的重點(diǎn)是身體控制、物理感知、接觸反饋和動(dòng)作反射在兩者之間則需要建立從高層意圖到物理動(dòng)作的映射。按照這一思路機(jī)器人公司沒有必要重復(fù)構(gòu)建所有通用認(rèn)知能力而應(yīng)把有限的數(shù)據(jù)和算力集中在物理世界特有的問題上如何控制機(jī)器人身體如何感知接觸和作用力如何完成高精度靈巧操作以及如何讓這些能力遷移到不同任務(wù)和場景。這也是Genesis AI系統(tǒng)路線的最終落點(diǎn)利用第一人稱視頻和手套數(shù)據(jù)擴(kuò)大預(yù)訓(xùn)練規(guī)模通過機(jī)器人數(shù)據(jù)完成本體對(duì)齊通過高保真仿真進(jìn)行評(píng)測與強(qiáng)化學(xué)習(xí)再把模型部署到工廠、廚房等真實(shí)環(huán)境中。部署中出現(xiàn)的問題繼續(xù)產(chǎn)生新數(shù)據(jù)反過來推動(dòng)硬件、模型和仿真迭代最終形成持續(xù)運(yùn)轉(zhuǎn)的數(shù)據(jù)飛輪。在機(jī)器人模型路線尚未收斂的階段Genesis AI給出的答案并不是死磕某一種模型架構(gòu)而是把數(shù)據(jù)、硬件、控制、模型、仿真、評(píng)測和部署連接成一個(gè)完整系統(tǒng)。機(jī)器人真正的Scaling或許不只來自更大的模型更來自這條鏈路中每一個(gè)環(huán)節(jié)的協(xié)同演進(jìn)。圖片資料來源GenesisAI官方智元機(jī)器人與覓蜂科技聯(lián)合舉辦的“迎接物理AI智能涌現(xiàn)”論壇