架構：System 2 看懂場景、System 1 毫秒出手，2.2B 參數與 63.9ms 背后的每一根管線（附官方源碼對照）)
拆解 GR00T N1 雙系統(tǒng)架構System 2 看懂場景、System 1 毫秒出手2.2B 參數與 63.9ms 背后的每一根管線附官方源碼對照本文把 GR00T N1 的架構從輸入到輸出完整走一遍。文中代碼段摘自 NVIDIA 開源的 Isaac-GR00T 官方倉庫Apache 2.0 協(xié)議——論文 N1 與倉庫當前主線 N1.7 在骨干網絡上迭代過但 Flow-Matching 動作生成的核心實現完全同構。對啟元 Q1 的架構啟發(fā)放在第六節(jié)。一、全局視角一張圖看懂數據流先把論文的研究背景釘在墻上一個模型要聽得懂語言、看得見場景還要在毫秒級節(jié)奏里輸出機器人動作而且最好跨機型通用。GR00T N1 給出的答案是雙系統(tǒng)理解交給 VLM行動交給 Flow-Matching DiT兩者以交叉注意力耦合、端到端聯合訓練。下面從輸入到輸出把整條管線拆開。先上整體管線。GR00T N1 的前向過程只有三步圖像觀測 語言指令 ──[System2: Eagle-2 VLM]──視覺語言特征 φ_t │ 機器人狀態(tài) q_t ──────[System1: DiT]── 交叉注意力 ──┘ │ │ 加噪動作塊 A_τ ──去噪4步 │v動作塊 A_t(16步)[Figure 2: GR00T N1 模型概覽——System 2 與 System 1 的耦合關系]兩個系統(tǒng)不是串聯的兩級流水線而是條件生成關系System 2 每 100ms 算一次 φ_tSystem 1 拿著 φ_t 當條件以 120Hz 的節(jié)奏持續(xù)生成動作。System 2 在兩次推理之間是凍結的——就像人眼掃一眼環(huán)境后手會連續(xù)執(zhí)行幾秒動作不需要每 8ms 重新看一次。二、System 2把 VLM 當特征提取器用2.1 Eagle-2 骨干的三個關鍵參數GR00T N1 的 VLM 骨干是 NVIDIA 自家的 Eagle-2由 SigLIP-2 視覺編碼器 SmolLM2 語言模型組成。GR00T-N1-2B 總參數 2.2B其中 VLM 占 1.34B。有三個設計細節(jié)值得摳細節(jié)一圖像 token 數量。輸入圖像統(tǒng)一縮放到 224×224經過 pixel shuffle 后每幀只產生 64 個圖像 token。這個數字很關鍵——多視角輸入比如左右腕三個相機時 token 數線性增長64/幀的控制直接決定了 VLM 的推理延遲。作為對比很多 VLA 工作單幀用 256 tokenVLM 一跑就是幾百毫秒。細節(jié)二取中間層特征。這是我認為整篇論文最反直覺但合理的一個選擇VLM 特征取 LLM 的第 12 層不是最后一層。官方倉庫的實現比取特征更徹底——直接把 12 層以上的所有層物理刪除# gr00t/model/modules/qwen3_backbone.py# needed since we dont use these layers. Also saves computewhilelen(self.model.language_model.layers)select_layer:self.model.language_model.layers.pop(-1)配合配置文件里的默認值 select_layer: int 12gr00t/configs/model/gr00t_n1d7.py這意味著加載 VLM 時上層的語言頭、未用到的 Transformer 層壓根不進顯存。中間層不是從 32 層里挑一層讀出來而是模型在結構上就只有 12 層。為什么不用最后一層論文的實驗結論是中間層特征推理更快不用跑完整個 LLM且下游策略成功率更高。直觀解釋最后一層特征過度語言化抽象成了語義概念而動作生成需要的是保留空間細節(jié)的視覺-語言混合表征。第 12 層剛好卡在看懂了但還沒說出口的位置。細節(jié)三聊天模板對齊。訓練策略時文本描述和圖像按 VLM 預訓練時的 chat 格式輸入。這個細節(jié)保證了策略訓練不破壞 VLM 的預訓練知識。2.2 Q1 視角這個設計能用嗎Q1 沒有條件在設備端跑 1.34B 的 VLM。但取中間層 壓縮圖像 token這兩個思路可以移植到任何輕量 VLM 上——如果 Q1 未來要做云端理解模塊這兩個選擇能直接把推理成本砍一半以上。三、System 1Flow-Matching 動作生成3.1 先講清楚 Flow-Matching 在干什么Diffusion Policy 用的是標準 DDPM 去噪GR00T N1 用的是 Flow-Matching流匹配。兩者都是從噪聲生成數據區(qū)別在于DDPM學習每一步去噪的噪聲殘差采樣幾十到上百步Flow-Matching學習一條從噪聲分布到數據分布的速度場向量場歐拉積分 4 步就能走完。對實時機器人控制來說4 步 vs 100 步就是能不能上機的區(qū)別。3.2 訓練目標源碼里只有三行核心論文公式 (1) 在官方倉庫里的樣子gr00t/model/gr00t_n1d7/gr00t_n1d7.py# 加噪與速度場目標actionsaction_input.action noisetorch.randn(actions.shape,deviceactions.device,dtypeactions.dtype)tself.sample_time(actions.shape[0],deviceactions.device,dtypeactions.dtype)tt[:,None,None]# shape (B,1,1) for broadcastnoisy_trajectory(1-t)*noiset*actions# A_τ τ·A_t (1-τ)·εvelocityactions-noise# 速度場回歸目標# ...... DiT 前向 ......hidden_states狀態(tài)加噪動作 token# encoder_hidden_statesVLM 第 12 層特征timesteptpredself.action_decoder(model_output,embodiment_id)pred_actionspred[:,-actions.shape[1]:]action_lossF.mse_loss(pred_actions,velocity,reductionnone)*action_mask lossaction_loss.sum()/(action_mask.sum()1e-6)# 按 action_mask 加權平均τ 的采樣邏輯同文件# __init__ 里構建 Beta 分布濃度參數直接來自模型配置self.beta_distBeta(torch.tensor(float(config.noise_beta_alpha),dtypetorch.float32,devicecpu),torch.tensor(float(config.noise_beta_beta),dtypetorch.float32,devicecpu),)defsample_time(self,batch_size,device,dtype):sampleself.beta_dist.sample([batch_size]).to(device,dtypedtype)sample(1-sample)*self.config.noise_s# 截斷到 s0.999 以內returnsample配置文件 gr00t/configs/model/gr00t_n1d7.py 里的默認值noise_beta_alpha: float 1.5、noise_beta_beta: float 1.0、noise_s: float 0.999——與論文 Sec 2.1 寫的 Beta(1.5, 1)、s0.999 逐位一致可以逐字對上。三個值得注意的實現細節(jié)時間步分布不是均勻的。τ 從 Beta(1.5, 1) 采樣且截斷在 0.999 以內——Beta(1.5,1) 的概率質量偏向大 τ意味著訓練時模型更多見到接近真實動作的樣本。這是從 π0Black et al., 2024繼承的技巧對收斂速度影響很大。τ 要一起編碼進網絡。擴散時間步通過 adaptive layer normalization 注入 DiT而不是簡單拼接倉庫里還能看到一個細節(jié)連續(xù) τ 會被離散化成桶num_timestep_buckets: int 1000后作為條件輸入。動作塊整體加噪。整個動作塊作為一個整體加噪、去噪保證塊內時序一致性損失計算乘了 action_mask 并做歸一化意味著機型可以屏蔽自己不存在的動作維度——這是多機型共用一個 DiT 的工程前提之一。3.3 推理4 步歐拉積分倉庫里的去噪主循環(huán)gr00t_n1d7.py# 推理去噪主循環(huán)# Run denoising steps.fortinrange(self.num_inference_timesteps):t_contt/float(self.num_inference_timesteps)# e.g. goes 0, 1/N, 2/N, ...t_discretizedint(t_cont*self.num_timestep_buckets)# Embed noised action trajectory.timesteps_tensortorch.full(size(batch_size,),fill_valuet_discretized,devicedevice)action_featuresself.action_encoder(actions,timesteps_tensor,embodiment_id)# ...... 狀態(tài)/動作 token 拼接與訓練時完全一致 ......。model_outputself.model(hidden_statessa_embs,encoder_hidden_statesvl_embeds,timesteptimesteps_tensor,)predself.action_decoder(model_output,embodiment_id)pred_velocitypred[:,-self.action_horizon:]# Update actions using euler integration.actionsactionsdt*pred_velocity從純噪聲開始每步讓網絡預測速度場然后歐拉積分往前走一小步——論文說的 K4 步去噪落到代碼里就是一個 range(4) 的 for 循環(huán)。num_inference_timesteps: int 4 也寫在配置默認值里。16 步動作塊H16在 120Hz 控制頻率下覆蓋約 133ms。System 1 每 63.9ms 推理一次L40 GPU, bf16配合動作塊滑動執(zhí)行整體等效 120Hz 輸出。推理快、動作平滑這兩件事在 Flow-Matching 這里是同一件事。3.4 機型適配編碼器/解碼器的外掛設計GR00T N1 支持單臂、雙臂、人形 靈巧手等多種機型靠的不是多個模型而是機型特定的薄編碼器 共享的 DiT 主體倉庫里的證據是兩部分。先是配置gr00t/configs/model/gr00t_n1d7.pymax_state_dim:int132# 所有機型統(tǒng)一填充到這個維度max_action_dim:int132max_num_embodiments:int32# 支持注冊的機型數上限input_embedding_dim:int1536所有機型的狀態(tài)/動作向量都填充padding到統(tǒng)一維度每個機型分配一個獨立的編碼器槽位DiT 主體參數完全共享。再看機型標簽的注冊表gr00t/data/embodiment_tags.pyclassEmbodimentTag(Enum):Embodiment tags supported by the GR00T N1.7 checkpoint.REAL_G1real_g1_relative_eef_relative_joints# 宇樹 G1 真機UNITREE_G1unitree_g1_full_body_with_waist_height_nav_cmdLIBERO_PANDAlibero_sim# 仿真 Panda# ...... 預訓練/后訓練機型各若干 ......。# New embodiment during post-trainingNEW_EMBODIMENTnew_embodiment# 自定義機型的統(tǒng)一注冊位 Any new embodiment. 預訓練機型各自一個標簽而所有自定義機型共用 NEW_EMBODIMENT 這一個注冊位——新增一個機型本質上只是新增一對 MLP 編碼器/解碼器加一個標簽百萬級參數DiT 主體億級參數原封不動。這個設計對多機型產品線比如啟元未來若同時有 Q1 和其他形態(tài)產品是直接的參考。四、DiT 內部自注意力管動作交叉注意力管理解DiT 塊的結構是 Flamingo/VIMA 式的交替設計。倉庫里的真實實現gr00t/model/modules/dit.py# 交替自注意力/交叉注意力assertself.config.interleave_self_attention,Interleave self attention must be enabledforidx,blockinenumerate(self.transformer_blocks):ifidx%21:# Self-attention blocks —— 動作 token 之間交互時序連貫性hidden_statesblock(hidden_states,...,tembtemb)else:# Cross-attention blocks - alternate between non-image and image tokensifidx%(2*self.attend_text_every_n_blocks)0:curr_encoder_attention_masknon_image_attention_maskelse:curr_encoder_attention_maskimage_attention_mask# Q動作, K/VVLM 特征且圖像 token 與文本 token 交替作為條件hidden_statesblock(hidden_states,encoder_hidden_statesencoder_hidden_states,encoder_attention_maskcurr_encoder_attention_mask,tembtemb,)這里有個論文正文沒有展開、但代碼寫得明明白白的細節(jié)交叉注意力不是把 VLM 特征一鍋端進來而是 attend_text_every_n_blocks2 的節(jié)奏——隔一個交叉注意力塊換一類條件一層只看圖像 token下一層只看文本 token。配置默認值 use_alternate_vl_dit: bool True 說明這是主線模型的實際形態(tài)。擴散時間步 τ 則通過 AdaLayerNorm 注入每層。這個分工非常清晰注意力類型輸入學到什么自注意力加噪動作 token 狀態(tài) token動作塊內部的時序結構交叉注意力Q動作, K/VVLM 特征“現在該做什么任務”adaLN擴散時間步 τ當前處于去噪哪個階段對比一下 RT-2 的做法——把動作離散成 token 塞進 LLM 的詞表里用自回歸方式說出動作。兩條路線的本質區(qū)別RT-2 讓動作遷就語言模型的接口GR00T N1 讓語言模型的輸出遷就動作生成的接口。后者對高頻控制明顯更友好。五、模型規(guī)格速查把 GR00T-N1-2B 的關鍵數字匯總成一張表右列是官方倉庫當前主線N1.7配置文件 gr00t_n1d7.py的對照值項目論文 N1-2B倉庫主線 N1.7總參數量2.2BVLM 1.34B DiT 約 0.86B3BVLM 骨干換為 Cosmos-Reason2-2B視覺編碼224×224 → 64 token/幀230×230 裁剪 → 256×256image_crop_size 配置VLM 特征層第 12 層第 12 層select_layer 12未變動作塊長度 H16 步40 步action_horizon 40狀態(tài)/動作維度29 維GR-1統(tǒng)一填充到 132 維max_state_dim去噪步數 K44num_inference_timesteps 4未變時間步分布Beta(1.5, 1), s0.999Beta(1.5, 1), s0.999未變推理延遲63.9 ms / 動作塊L40, bf16倉庫另提供 TensorRT 部署鏈路進一步壓縮可以看到骨干網絡和動作塊長度在迭代但 Flow-Matching 的核心機制4 步去噪、Beta 采樣、雙系統(tǒng)解耦從論文到倉庫主線一直沒動——這正是本篇值得精讀的原因這些是經過驗證的穩(wěn)定設計。這套架構的實驗回報論文給得毫不含糊三個仿真基準后訓練平均成功率 45.0%比從零訓練的 Diffusion Policy33.4%高 11.6 個百分點且機型越復雜優(yōu)勢越大人形基準領先 17.3 個百分點真機 13 個任務平均 76.8%對 Diffusion Policy 的 46.4%System 1 單次推理 63.9msL40, bf164 步去噪就能實時出動作塊。架構設計的每一處取舍最后都兌現成了延遲表和成功率表上的數字。六、Q1 的架構路線圖三步走把上面的技術點翻譯成 Q1 視角的行動項第一步復用預設動作體系的動作原語思路。Q1 現在的 set_preset_motion(3008) 這套預設動作本質上就是動作空間離散化。在引入學習式策略之前可以把每個預設動作當作一個動作 token用一個小型序列模型學什么場景下按什么順序組合預設動作——這是最低成本的數據驅動化改造且完全兼容現有 PrimeConsole 校驗體系。第二步輕量化 System 1。Q1 的交互動作招手、比心、舞蹈都是上肢短程運動動作維度遠低于 GR-1 的全身靈巧手。一個 distilled 到 100M 參數的 Flow-Matching 頭配合 Q1 現有動作接口理論上有機會跑在設備端或邊緣盒子。第三步云端 System 2 端側 System 1。語言理解、場景識別放云端走 Q1 現有的網絡能力動作生成放本地。這個分工和 Q1 現有配置在云端管理、動作在本地執(zhí)行的架構是同構的改造成本相對可控。一句話總結GR00T N1 真正可遷移的不是它的模型權重而是理解與行動解耦、動作生成用流匹配、機型差異用外掛編碼器吸收這三個設計決策。論文信息GR00T N1: An Open Foundation Model for Generalist Humanoid RobotsNVIDIA2025 年 3 月arXiv2503.14734開源項目信息項目地址https://github.com/NVIDIA/Isaac-GR00T項目定位GR00T N1 系列基礎模型的官方實現Apache 2.0 協(xié)議當前主線為 N1.7本文引用代碼均出自該主線源碼地圖gr00t/model/模型實現本文的 ActionHead 與 DiT 源碼分別在 gr00t_n1d7/gr00t_n1d7.py 與 modules/dit.py、gr00t/configs/全部超參默認值、gr00t/data/數據處理與機型標簽注冊與論文對照Flow-Matching 動作頭、雙系統(tǒng)耦合、4 步去噪、機型外掛編碼器等核心機制與論文 N1 完全同構骨干網絡與動作塊長度按 N1.7 演進訪問啟元機器人開發(fā)者社區(qū)獲取 SDK、仿真工具、開發(fā)文檔完成從代碼仿真到真機落地的全流程開發(fā)https://dev.primebot.com/ 拆解 GR00T N1 雙系統(tǒng)架構：System 2 看懂場景、System 1 毫秒出手，2.2B 參數與 63.9ms 背后的每一根管線（附官方源碼對照）
拆解 GR00T N1 雙系統(tǒng)架構System 2 看懂場景、System 1 毫秒出手2.2B 參數與 63.9ms 背后的每一根管線附官方源碼對照本文把 GR00T N1 的架構從輸入到輸出完整走一遍。文中代碼段摘自 NVIDIA 開源的 Isaac-GR00T 官方倉庫Apache 2.0 協(xié)議——論文 N1 與倉庫當前主線 N1.7 在骨干網絡上迭代過但 Flow-Matching 動作生成的核心實現完全同構。對啟元 Q1 的架構啟發(fā)放在第六節(jié)。一、全局視角一張圖看懂數據流先把論文的研究背景釘在墻上一個模型要聽得懂語言、看得見場景還要在毫秒級節(jié)奏里輸出機器人動作而且最好跨機型通用。GR00T N1 給出的答案是雙系統(tǒng)理解交給 VLM行動交給 Flow-Matching DiT兩者以交叉注意力耦合、端到端聯合訓練。下面從輸入到輸出把整條管線拆開。先上整體管線。GR00T N1 的前向過程只有三步圖像觀測 語言指令 ──[System2: Eagle-2 VLM]──視覺語言特征 φ_t │ 機器人狀態(tài) q_t ──────[System1: DiT]── 交叉注意力 ──┘ │ │ 加噪動作塊 A_τ ──去噪4步 │v動作塊 A_t(16步)[Figure 2: GR00T N1 模型概覽——System 2 與 System 1 的耦合關系]兩個系統(tǒng)不是串聯的兩級流水線而是條件生成關系System 2 每 100ms 算一次 φ_tSystem 1 拿著 φ_t 當條件以 120Hz 的節(jié)奏持續(xù)生成動作。System 2 在兩次推理之間是凍結的——就像人眼掃一眼環(huán)境后手會連續(xù)執(zhí)行幾秒動作不需要每 8ms 重新看一次。二、System 2把 VLM 當特征提取器用2.1 Eagle-2 骨干的三個關鍵參數GR00T N1 的 VLM 骨干是 NVIDIA 自家的 Eagle-2由 SigLIP-2 視覺編碼器 SmolLM2 語言模型組成。GR00T-N1-2B 總參數 2.2B其中 VLM 占 1.34B。有三個設計細節(jié)值得摳細節(jié)一圖像 token 數量。輸入圖像統(tǒng)一縮放到 224×224經過 pixel shuffle 后每幀只產生 64 個圖像 token。這個數字很關鍵——多視角輸入比如左右腕三個相機時 token 數線性增長64/幀的控制直接決定了 VLM 的推理延遲。作為對比很多 VLA 工作單幀用 256 tokenVLM 一跑就是幾百毫秒。細節(jié)二取中間層特征。這是我認為整篇論文最反直覺但合理的一個選擇VLM 特征取 LLM 的第 12 層不是最后一層。官方倉庫的實現比取特征更徹底——直接把 12 層以上的所有層物理刪除# gr00t/model/modules/qwen3_backbone.py# needed since we dont use these layers. Also saves computewhilelen(self.model.language_model.layers)select_layer:self.model.language_model.layers.pop(-1)配合配置文件里的默認值 select_layer: int 12gr00t/configs/model/gr00t_n1d7.py這意味著加載 VLM 時上層的語言頭、未用到的 Transformer 層壓根不進顯存。中間層不是從 32 層里挑一層讀出來而是模型在結構上就只有 12 層。為什么不用最后一層論文的實驗結論是中間層特征推理更快不用跑完整個 LLM且下游策略成功率更高。直觀解釋最后一層特征過度語言化抽象成了語義概念而動作生成需要的是保留空間細節(jié)的視覺-語言混合表征。第 12 層剛好卡在看懂了但還沒說出口的位置。細節(jié)三聊天模板對齊。訓練策略時文本描述和圖像按 VLM 預訓練時的 chat 格式輸入。這個細節(jié)保證了策略訓練不破壞 VLM 的預訓練知識。2.2 Q1 視角這個設計能用嗎Q1 沒有條件在設備端跑 1.34B 的 VLM。但取中間層 壓縮圖像 token這兩個思路可以移植到任何輕量 VLM 上——如果 Q1 未來要做云端理解模塊這兩個選擇能直接把推理成本砍一半以上。三、System 1Flow-Matching 動作生成3.1 先講清楚 Flow-Matching 在干什么Diffusion Policy 用的是標準 DDPM 去噪GR00T N1 用的是 Flow-Matching流匹配。兩者都是從噪聲生成數據區(qū)別在于DDPM學習每一步去噪的噪聲殘差采樣幾十到上百步Flow-Matching學習一條從噪聲分布到數據分布的速度場向量場歐拉積分 4 步就能走完。對實時機器人控制來說4 步 vs 100 步就是能不能上機的區(qū)別。3.2 訓練目標源碼里只有三行核心論文公式 (1) 在官方倉庫里的樣子gr00t/model/gr00t_n1d7/gr00t_n1d7.py# 加噪與速度場目標actionsaction_input.action noisetorch.randn(actions.shape,deviceactions.device,dtypeactions.dtype)tself.sample_time(actions.shape[0],deviceactions.device,dtypeactions.dtype)tt[:,None,None]# shape (B,1,1) for broadcastnoisy_trajectory(1-t)*noiset*actions# A_τ τ·A_t (1-τ)·εvelocityactions-noise# 速度場回歸目標# ...... DiT 前向 ......hidden_states狀態(tài)加噪動作 token# encoder_hidden_statesVLM 第 12 層特征timesteptpredself.action_decoder(model_output,embodiment_id)pred_actionspred[:,-actions.shape[1]:]action_lossF.mse_loss(pred_actions,velocity,reductionnone)*action_mask lossaction_loss.sum()/(action_mask.sum()1e-6)# 按 action_mask 加權平均τ 的采樣邏輯同文件# __init__ 里構建 Beta 分布濃度參數直接來自模型配置self.beta_distBeta(torch.tensor(float(config.noise_beta_alpha),dtypetorch.float32,devicecpu),torch.tensor(float(config.noise_beta_beta),dtypetorch.float32,devicecpu),)defsample_time(self,batch_size,device,dtype):sampleself.beta_dist.sample([batch_size]).to(device,dtypedtype)sample(1-sample)*self.config.noise_s# 截斷到 s0.999 以內returnsample配置文件 gr00t/configs/model/gr00t_n1d7.py 里的默認值noise_beta_alpha: float 1.5、noise_beta_beta: float 1.0、noise_s: float 0.999——與論文 Sec 2.1 寫的 Beta(1.5, 1)、s0.999 逐位一致可以逐字對上。三個值得注意的實現細節(jié)時間步分布不是均勻的。τ 從 Beta(1.5, 1) 采樣且截斷在 0.999 以內——Beta(1.5,1) 的概率質量偏向大 τ意味著訓練時模型更多見到接近真實動作的樣本。這是從 π0Black et al., 2024繼承的技巧對收斂速度影響很大。τ 要一起編碼進網絡。擴散時間步通過 adaptive layer normalization 注入 DiT而不是簡單拼接倉庫里還能看到一個細節(jié)連續(xù) τ 會被離散化成桶num_timestep_buckets: int 1000后作為條件輸入。動作塊整體加噪。整個動作塊作為一個整體加噪、去噪保證塊內時序一致性損失計算乘了 action_mask 并做歸一化意味著機型可以屏蔽自己不存在的動作維度——這是多機型共用一個 DiT 的工程前提之一。3.3 推理4 步歐拉積分倉庫里的去噪主循環(huán)gr00t_n1d7.py# 推理去噪主循環(huán)# Run denoising steps.fortinrange(self.num_inference_timesteps):t_contt/float(self.num_inference_timesteps)# e.g. goes 0, 1/N, 2/N, ...t_discretizedint(t_cont*self.num_timestep_buckets)# Embed noised action trajectory.timesteps_tensortorch.full(size(batch_size,),fill_valuet_discretized,devicedevice)action_featuresself.action_encoder(actions,timesteps_tensor,embodiment_id)# ...... 狀態(tài)/動作 token 拼接與訓練時完全一致 ......。model_outputself.model(hidden_statessa_embs,encoder_hidden_statesvl_embeds,timesteptimesteps_tensor,)predself.action_decoder(model_output,embodiment_id)pred_velocitypred[:,-self.action_horizon:]# Update actions using euler integration.actionsactionsdt*pred_velocity從純噪聲開始每步讓網絡預測速度場然后歐拉積分往前走一小步——論文說的 K4 步去噪落到代碼里就是一個 range(4) 的 for 循環(huán)。num_inference_timesteps: int 4 也寫在配置默認值里。16 步動作塊H16在 120Hz 控制頻率下覆蓋約 133ms。System 1 每 63.9ms 推理一次L40 GPU, bf16配合動作塊滑動執(zhí)行整體等效 120Hz 輸出。推理快、動作平滑這兩件事在 Flow-Matching 這里是同一件事。3.4 機型適配編碼器/解碼器的外掛設計GR00T N1 支持單臂、雙臂、人形 靈巧手等多種機型靠的不是多個模型而是機型特定的薄編碼器 共享的 DiT 主體倉庫里的證據是兩部分。先是配置gr00t/configs/model/gr00t_n1d7.pymax_state_dim:int132# 所有機型統(tǒng)一填充到這個維度max_action_dim:int132max_num_embodiments:int32# 支持注冊的機型數上限input_embedding_dim:int1536所有機型的狀態(tài)/動作向量都填充padding到統(tǒng)一維度每個機型分配一個獨立的編碼器槽位DiT 主體參數完全共享。再看機型標簽的注冊表gr00t/data/embodiment_tags.pyclassEmbodimentTag(Enum):Embodiment tags supported by the GR00T N1.7 checkpoint.REAL_G1real_g1_relative_eef_relative_joints# 宇樹 G1 真機UNITREE_G1unitree_g1_full_body_with_waist_height_nav_cmdLIBERO_PANDAlibero_sim# 仿真 Panda# ...... 預訓練/后訓練機型各若干 ......。# New embodiment during post-trainingNEW_EMBODIMENTnew_embodiment# 自定義機型的統(tǒng)一注冊位 Any new embodiment. 預訓練機型各自一個標簽而所有自定義機型共用 NEW_EMBODIMENT 這一個注冊位——新增一個機型本質上只是新增一對 MLP 編碼器/解碼器加一個標簽百萬級參數DiT 主體億級參數原封不動。這個設計對多機型產品線比如啟元未來若同時有 Q1 和其他形態(tài)產品是直接的參考。四、DiT 內部自注意力管動作交叉注意力管理解DiT 塊的結構是 Flamingo/VIMA 式的交替設計。倉庫里的真實實現gr00t/model/modules/dit.py# 交替自注意力/交叉注意力assertself.config.interleave_self_attention,Interleave self attention must be enabledforidx,blockinenumerate(self.transformer_blocks):ifidx%21:# Self-attention blocks —— 動作 token 之間交互時序連貫性hidden_statesblock(hidden_states,...,tembtemb)else:# Cross-attention blocks - alternate between non-image and image tokensifidx%(2*self.attend_text_every_n_blocks)0:curr_encoder_attention_masknon_image_attention_maskelse:curr_encoder_attention_maskimage_attention_mask# Q動作, K/VVLM 特征且圖像 token 與文本 token 交替作為條件hidden_statesblock(hidden_states,encoder_hidden_statesencoder_hidden_states,encoder_attention_maskcurr_encoder_attention_mask,tembtemb,)這里有個論文正文沒有展開、但代碼寫得明明白白的細節(jié)交叉注意力不是把 VLM 特征一鍋端進來而是 attend_text_every_n_blocks2 的節(jié)奏——隔一個交叉注意力塊換一類條件一層只看圖像 token下一層只看文本 token。配置默認值 use_alternate_vl_dit: bool True 說明這是主線模型的實際形態(tài)。擴散時間步 τ 則通過 AdaLayerNorm 注入每層。這個分工非常清晰注意力類型輸入學到什么自注意力加噪動作 token 狀態(tài) token動作塊內部的時序結構交叉注意力Q動作, K/VVLM 特征“現在該做什么任務”adaLN擴散時間步 τ當前處于去噪哪個階段對比一下 RT-2 的做法——把動作離散成 token 塞進 LLM 的詞表里用自回歸方式說出動作。兩條路線的本質區(qū)別RT-2 讓動作遷就語言模型的接口GR00T N1 讓語言模型的輸出遷就動作生成的接口。后者對高頻控制明顯更友好。五、模型規(guī)格速查把 GR00T-N1-2B 的關鍵數字匯總成一張表右列是官方倉庫當前主線N1.7配置文件 gr00t_n1d7.py的對照值項目論文 N1-2B倉庫主線 N1.7總參數量2.2BVLM 1.34B DiT 約 0.86B3BVLM 骨干換為 Cosmos-Reason2-2B視覺編碼224×224 → 64 token/幀230×230 裁剪 → 256×256image_crop_size 配置VLM 特征層第 12 層第 12 層select_layer 12未變動作塊長度 H16 步40 步action_horizon 40狀態(tài)/動作維度29 維GR-1統(tǒng)一填充到 132 維max_state_dim去噪步數 K44num_inference_timesteps 4未變時間步分布Beta(1.5, 1), s0.999Beta(1.5, 1), s0.999未變推理延遲63.9 ms / 動作塊L40, bf16倉庫另提供 TensorRT 部署鏈路進一步壓縮可以看到骨干網絡和動作塊長度在迭代但 Flow-Matching 的核心機制4 步去噪、Beta 采樣、雙系統(tǒng)解耦從論文到倉庫主線一直沒動——這正是本篇值得精讀的原因這些是經過驗證的穩(wěn)定設計。這套架構的實驗回報論文給得毫不含糊三個仿真基準后訓練平均成功率 45.0%比從零訓練的 Diffusion Policy33.4%高 11.6 個百分點且機型越復雜優(yōu)勢越大人形基準領先 17.3 個百分點真機 13 個任務平均 76.8%對 Diffusion Policy 的 46.4%System 1 單次推理 63.9msL40, bf164 步去噪就能實時出動作塊。架構設計的每一處取舍最后都兌現成了延遲表和成功率表上的數字。六、Q1 的架構路線圖三步走把上面的技術點翻譯成 Q1 視角的行動項第一步復用預設動作體系的動作原語思路。Q1 現在的 set_preset_motion(3008) 這套預設動作本質上就是動作空間離散化。在引入學習式策略之前可以把每個預設動作當作一個動作 token用一個小型序列模型學什么場景下按什么順序組合預設動作——這是最低成本的數據驅動化改造且完全兼容現有 PrimeConsole 校驗體系。第二步輕量化 System 1。Q1 的交互動作招手、比心、舞蹈都是上肢短程運動動作維度遠低于 GR-1 的全身靈巧手。一個 distilled 到 100M 參數的 Flow-Matching 頭配合 Q1 現有動作接口理論上有機會跑在設備端或邊緣盒子。第三步云端 System 2 端側 System 1。語言理解、場景識別放云端走 Q1 現有的網絡能力動作生成放本地。這個分工和 Q1 現有配置在云端管理、動作在本地執(zhí)行的架構是同構的改造成本相對可控。一句話總結GR00T N1 真正可遷移的不是它的模型權重而是理解與行動解耦、動作生成用流匹配、機型差異用外掛編碼器吸收這三個設計決策。論文信息GR00T N1: An Open Foundation Model for Generalist Humanoid RobotsNVIDIA2025 年 3 月arXiv2503.14734開源項目信息項目地址https://github.com/NVIDIA/Isaac-GR00T項目定位GR00T N1 系列基礎模型的官方實現Apache 2.0 協(xié)議當前主線為 N1.7本文引用代碼均出自該主線源碼地圖gr00t/model/模型實現本文的 ActionHead 與 DiT 源碼分別在 gr00t_n1d7/gr00t_n1d7.py 與 modules/dit.py、gr00t/configs/全部超參默認值、gr00t/data/數據處理與機型標簽注冊與論文對照Flow-Matching 動作頭、雙系統(tǒng)耦合、4 步去噪、機型外掛編碼器等核心機制與論文 N1 完全同構骨干網絡與動作塊長度按 N1.7 演進訪問啟元機器人開發(fā)者社區(qū)獲取 SDK、仿真工具、開發(fā)文檔完成從代碼仿真到真機落地的全流程開發(fā)https://dev.primebot.com/