量人形機器人示教數(shù)據(jù)：Psi0的PICO遙操作+RealSense相機完整工作流)
如何采集高質(zhì)量人形機器人示教數(shù)據(jù)Psi0的PICO遙操作RealSense相機完整工作流【免費下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項目地址: https://gitcode.com/gh_mirrors/ps/Psi0Ψ?Psi0是面向通用人形智能的開源視覺-語言-動作VLA基礎(chǔ)模型專為 Unitree G1 人形機器人設(shè)計。本文手把手教你用PICO VR 頭顯遙操作 RealSense 相機實時回傳的完整工作流在真實機器人上錄制高質(zhì)量示教數(shù)據(jù)——無需編程基礎(chǔ)跟著步驟走即可完成從環(huán)境搭建到數(shù)據(jù)入庫的全過程。一、工作流全景三臺設(shè)備各司其職Psi0 的數(shù)據(jù)采集系統(tǒng)由三個角色協(xié)同完成理解分工是上手的第一步設(shè)備角色負責的工作G1 機器人板載 PC圖像服務(wù)器采集 RealSense 相機畫面RGB紅外深度通過 ZMQ 實時推送主機/工作站遙操作大腦運行遙操作主控進程接收 PICO 追蹤數(shù)據(jù)驅(qū)動機器人并寫入數(shù)據(jù)PICO 頭顯操作輸入可視化頭部位姿、控制器、手部追蹤輸入同時看到機器人的第一視角畫面整個鏈路的核心邏輯操作員佩戴 PICO 進行人在回路示教機器人頭戴的 RealSense 相機把畫面回傳給 PICO你看到的視角與模型訓(xùn)練時的視角完全一致保證數(shù)據(jù)所見即所得。二、環(huán)境搭建一次配好不再折騰2.1 主機部署環(huán)境在主機上創(chuàng)建 conda 環(huán)境包含逆運動學庫和 CUDA 綁定等全部依賴conda env create -f real/psi_deploy_env.yaml conda activate psi_deploy環(huán)境定義文件見 psi_deploy_env.yaml。完整安裝說明含 Unitree SDK2 與本地包安裝在 real/README.md。2.2 PICO 串流服務(wù)主機需安裝 PICO 官方 XRoboToolkit PC Service 與 pybind SDKPICO 頭顯內(nèi)安裝對應(yīng)的 Robotics 客戶端確保兩者連接同一個 WiFi。具體命令步驟參見 real/README.md 中 PICO Only Setup 章節(jié)。2.3 RealSense 圖像服務(wù)器部署在機器人上這是工作流的眼睛。在 G1 板載 PC 上安裝依賴并啟動服務(wù)pip install pyrealsense2 opencv-python zmq numpy python realsense_server.py服務(wù)腳本 realsense_server.py 會以640×480 30fps同時采集 RGB、雙目紅外和深度流并通過 ZMQ端口 5556向主機推送最新幀。啟動后終端會提示RealSense: RGB IR Depth active.看到即可。 提示圖像服務(wù)器只在機器人 PC 上運行主機和 PICO 都不需要裝相機驅(qū)動。三、PICO 連接與參數(shù)配置照著界面三步走PICO 客戶端界面分為三大面板按以下順序配置① Tracking追蹤面板勾選Head、Controller、Hand三個追蹤項打開Send開關(guān)讓主機收到頭部位姿、手柄與手部數(shù)據(jù)。② Remote Vision遠程視覺面板選擇ZEDMINI點擊Listen再在彈窗中輸入主機的 IP 地址并 Confirm——這一步是把機器人相機畫面接回到 PICO 的關(guān)鍵。③ Data Collection數(shù)據(jù)采集面板保持默認即可狀態(tài)欄顯示W(wǎng)ORKING表示串流鏈路已建立。??最后一步很關(guān)鍵把 PICO 手柄放在一旁等待頭顯自動激活手部追蹤模式你眼前會出現(xiàn)虛擬手掌。Psi0 的靈巧手控制就依賴這套手部追蹤而不是手柄。四、任務(wù)元數(shù)據(jù)準備讓每條數(shù)據(jù)都有標簽高質(zhì)量數(shù)據(jù)的前提是任務(wù)定義清晰。在real/teleop/task_defs/目錄下新建一個 JSON 文件描述任務(wù)格式參考 example.json{ tasks: [ { title: Walk towards the desk and use an air pump on the desk, category: Locomotion, objects: air pump, desk, description: Walk to the desk, locate the air pump, and operate it by pressing or squeezing. } ] }四個字段都有用title是任務(wù)名、category是任務(wù)大類、objects列出涉及的物體、description是詳細的自然語言指令——后者正是 VLA 模型的語言輸入寫具體、寫動作細節(jié)按下/擠壓而非籠統(tǒng)的操作能顯著提升微調(diào)效果。然后在real/teleop/目錄下運行python taskcreator.py腳本 taskcreator.py 會自動為每個任務(wù)生成data/任務(wù)名/大類/標題/metadata/metadata.json的目錄結(jié)構(gòu)后續(xù)錄制的 episode 都會歸檔到對應(yīng)目錄訓(xùn)練時直接按目錄讀取。五、開機到錄制標準操作流程 SOP??安全警告所有人員必須與機器人保持足夠安全距離按順序執(zhí)行以下 8 步這是 Psi0 官方推薦的遙操作標準流程詳見 real/README.md網(wǎng)絡(luò)打通主機直連 G1把主機對應(yīng)網(wǎng)卡 IP 設(shè)為192.168.123.123掩碼 255.255.255.0。機器人進開發(fā)模式用遙控器按L2 B再L2 R2低版本固件為L1 A再L2 R2。吊起機器人用吊帶把 G1 懸空腳尖輕觸地面即可防止晃動摔倒。啟動圖像服務(wù)器G1 PC 上運行python realsense_server.py。啟動遙操作主控主機上進入real/teleop/運行export CYCLONEDDS_URICycloneDDSDomainGeneralNetworkInterfaceAddress192.168.123.123/NetworkInterfaceAddress/General/Domain/CycloneDDS python main.py --robot g1 --pico_streamer --pico_ip 192.168.0.128入口腳本 main.py 會拉起master運動控制和worker數(shù)據(jù)寫入兩個進程等待兩者都進入 waiting 狀態(tài)。PICO 進入會話按 Remote Vision 配置好的地址連接點擊Enter VR和Allow。循環(huán)錄制 episode用下面的快捷鍵控制整個采集過程主控以30Hz頻率寫入數(shù)據(jù)見 manager.py按鍵作用s開始錄制一條新 episodeq成功完成保存當前 episoded失敗丟棄當前 episodeexit結(jié)束程序收尾官方建議每個任務(wù)至少錄制 40 條 episode用q/d嚴格篩選失敗的軌跡堅決丟棄。 數(shù)據(jù)寫入采用異步隊列設(shè)計writers.py 中的AsyncWriter/AsyncImageWriter圖像和關(guān)節(jié)狀態(tài)各自落盤互不阻塞不會拖累 30Hz 的控制回路。六、SONIC 全身體控路線一條命令啟動采集如果使用 Ψ? 配套的 SONIC 全身控制棧G1 Dex1 靈巧夾爪采集入口被封裝成單條命令自動管理 tmux 會話和多進程生命周期bash real/SONIC/scripts/collect_psi0-sonic-data.sh \ --camera-host 192.168.123.164 \ --network enp4s0 \ --task-prompt Pick up the object and place it in the container. \ --dataset-name sonic_dex1 \ --root-output-dir $HOME/data啟動腳本 collect_psi0-sonic-data.sh 會委托 SONIC 官方 launcher 完成相機服務(wù)器、PICO 管理器、數(shù)據(jù)導(dǎo)出器與 RTC 客戶端的完整編排并復(fù)用 SIMPLE 的 Remote Vision 通道把機器人ego_view畫面回傳給 PICO實現(xiàn)見 pico_camera_view.py。PICO 手柄快捷鍵對照real/SONIC/README.md按鍵組合功能長按右搖桿按下 0.6 秒策略模型 開/關(guān)左握把 A開始/停止一條 episode左握把 Y丟棄當前 episodeA XPlanner 與全身 POSE 模式切換按Ctrl\可終止整個采集會話。七、從原始數(shù)據(jù)到可訓(xùn)練格式三步入庫錄好的原始數(shù)據(jù)不能直接訓(xùn)練需要轉(zhuǎn)換為 LeRobot 格式并計算歸一化統(tǒng)計量以 SONIC 路線為例scripts/data/ 下有現(xiàn)成工具python scripts/data/raw_sonic_to_psi_lerobot.py \ --data-root $HOME/data/sonic_dex1 \ --work-dir $PWD/data/sonic/lerobot \ --repo-id sonic_dex1 --robot-type g1 --end-effector dex1_virtual14 python scripts/data/calc_modality_stats.py \ --task-dir $PWD/data/sonic/lerobot/sonic_dex1raw_sonic_to_psi_lerobot.py把原始遙操作記錄轉(zhuǎn)成 LeRobot 數(shù)據(jù)集保留稠密的手部關(guān)節(jié)目標calc_modality_stats.py計算各模態(tài)的均值/范圍等統(tǒng)計量生成meta/stats.json訓(xùn)練時用于動作歸一化。之后直接用 Psi0 官方 SONIC 訓(xùn)練配置如 finetune-real-sonic-psi0.sh開始微調(diào)無需改動任何模型或訓(xùn)練器代碼。八、新手避坑清單質(zhì)量到底差在哪常見問題正確做法任務(wù)描述寫得含糊description中寫清路徑動作物體如走到桌前按壓氣泵失敗 episode 隨手混入一律按d丟棄寧缺毋濫每條任務(wù)只錄幾條每任務(wù) ≥ 40 條覆蓋不同初始位姿與物體擺放相機畫面被手臂遮擋示范時保持頭部相機朝向任務(wù)區(qū)域別低頭過猛手部追蹤丟失手部在 PICO 視野內(nèi)、光線充足丟失后重新擺正雙手再繼續(xù)數(shù)據(jù)與視角不一致務(wù)必通過 Remote Vision 看機器人第一視角操作而不是看場地大屏訓(xùn)練報歸一化錯誤轉(zhuǎn)換后漏跑calc_modality_stats.py補跑并復(fù)制為stats_psi0.json寫在最后整套工作流的設(shè)計哲學可以總結(jié)為一句話操作員戴 PICO成為機器人RealSense 就是它的眼睛30Hz 異步落盤保證控制與寫入互不干擾。按本文流程走一遍你就有了一份標簽清晰、視角一致、質(zhì)量可控的 G1 示教數(shù)據(jù)集——這正是 Ψ? 用少量遙操作數(shù)據(jù)就能微調(diào)出新技能的關(guān)鍵所在。【免費下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項目地址: https://gitcode.com/gh_mirrors/ps/Psi0創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何采集高質(zhì)量人形機器人示教數(shù)據(jù)：Psi0的PICO遙操作+RealSense相機完整工作流
如何采集高質(zhì)量人形機器人示教數(shù)據(jù)Psi0的PICO遙操作RealSense相機完整工作流【免費下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項目地址: https://gitcode.com/gh_mirrors/ps/Psi0Ψ?Psi0是面向通用人形智能的開源視覺-語言-動作VLA基礎(chǔ)模型專為 Unitree G1 人形機器人設(shè)計。本文手把手教你用PICO VR 頭顯遙操作 RealSense 相機實時回傳的完整工作流在真實機器人上錄制高質(zhì)量示教數(shù)據(jù)——無需編程基礎(chǔ)跟著步驟走即可完成從環(huán)境搭建到數(shù)據(jù)入庫的全過程。一、工作流全景三臺設(shè)備各司其職Psi0 的數(shù)據(jù)采集系統(tǒng)由三個角色協(xié)同完成理解分工是上手的第一步設(shè)備角色負責的工作G1 機器人板載 PC圖像服務(wù)器采集 RealSense 相機畫面RGB紅外深度通過 ZMQ 實時推送主機/工作站遙操作大腦運行遙操作主控進程接收 PICO 追蹤數(shù)據(jù)驅(qū)動機器人并寫入數(shù)據(jù)PICO 頭顯操作輸入可視化頭部位姿、控制器、手部追蹤輸入同時看到機器人的第一視角畫面整個鏈路的核心邏輯操作員佩戴 PICO 進行人在回路示教機器人頭戴的 RealSense 相機把畫面回傳給 PICO你看到的視角與模型訓(xùn)練時的視角完全一致保證數(shù)據(jù)所見即所得。二、環(huán)境搭建一次配好不再折騰2.1 主機部署環(huán)境在主機上創(chuàng)建 conda 環(huán)境包含逆運動學庫和 CUDA 綁定等全部依賴conda env create -f real/psi_deploy_env.yaml conda activate psi_deploy環(huán)境定義文件見 psi_deploy_env.yaml。完整安裝說明含 Unitree SDK2 與本地包安裝在 real/README.md。2.2 PICO 串流服務(wù)主機需安裝 PICO 官方 XRoboToolkit PC Service 與 pybind SDKPICO 頭顯內(nèi)安裝對應(yīng)的 Robotics 客戶端確保兩者連接同一個 WiFi。具體命令步驟參見 real/README.md 中 PICO Only Setup 章節(jié)。2.3 RealSense 圖像服務(wù)器部署在機器人上這是工作流的眼睛。在 G1 板載 PC 上安裝依賴并啟動服務(wù)pip install pyrealsense2 opencv-python zmq numpy python realsense_server.py服務(wù)腳本 realsense_server.py 會以640×480 30fps同時采集 RGB、雙目紅外和深度流并通過 ZMQ端口 5556向主機推送最新幀。啟動后終端會提示RealSense: RGB IR Depth active.看到即可。 提示圖像服務(wù)器只在機器人 PC 上運行主機和 PICO 都不需要裝相機驅(qū)動。三、PICO 連接與參數(shù)配置照著界面三步走PICO 客戶端界面分為三大面板按以下順序配置① Tracking追蹤面板勾選Head、Controller、Hand三個追蹤項打開Send開關(guān)讓主機收到頭部位姿、手柄與手部數(shù)據(jù)。② Remote Vision遠程視覺面板選擇ZEDMINI點擊Listen再在彈窗中輸入主機的 IP 地址并 Confirm——這一步是把機器人相機畫面接回到 PICO 的關(guān)鍵。③ Data Collection數(shù)據(jù)采集面板保持默認即可狀態(tài)欄顯示W(wǎng)ORKING表示串流鏈路已建立。??最后一步很關(guān)鍵把 PICO 手柄放在一旁等待頭顯自動激活手部追蹤模式你眼前會出現(xiàn)虛擬手掌。Psi0 的靈巧手控制就依賴這套手部追蹤而不是手柄。四、任務(wù)元數(shù)據(jù)準備讓每條數(shù)據(jù)都有標簽高質(zhì)量數(shù)據(jù)的前提是任務(wù)定義清晰。在real/teleop/task_defs/目錄下新建一個 JSON 文件描述任務(wù)格式參考 example.json{ tasks: [ { title: Walk towards the desk and use an air pump on the desk, category: Locomotion, objects: air pump, desk, description: Walk to the desk, locate the air pump, and operate it by pressing or squeezing. } ] }四個字段都有用title是任務(wù)名、category是任務(wù)大類、objects列出涉及的物體、description是詳細的自然語言指令——后者正是 VLA 模型的語言輸入寫具體、寫動作細節(jié)按下/擠壓而非籠統(tǒng)的操作能顯著提升微調(diào)效果。然后在real/teleop/目錄下運行python taskcreator.py腳本 taskcreator.py 會自動為每個任務(wù)生成data/任務(wù)名/大類/標題/metadata/metadata.json的目錄結(jié)構(gòu)后續(xù)錄制的 episode 都會歸檔到對應(yīng)目錄訓(xùn)練時直接按目錄讀取。五、開機到錄制標準操作流程 SOP??安全警告所有人員必須與機器人保持足夠安全距離按順序執(zhí)行以下 8 步這是 Psi0 官方推薦的遙操作標準流程詳見 real/README.md網(wǎng)絡(luò)打通主機直連 G1把主機對應(yīng)網(wǎng)卡 IP 設(shè)為192.168.123.123掩碼 255.255.255.0。機器人進開發(fā)模式用遙控器按L2 B再L2 R2低版本固件為L1 A再L2 R2。吊起機器人用吊帶把 G1 懸空腳尖輕觸地面即可防止晃動摔倒。啟動圖像服務(wù)器G1 PC 上運行python realsense_server.py。啟動遙操作主控主機上進入real/teleop/運行export CYCLONEDDS_URICycloneDDSDomainGeneralNetworkInterfaceAddress192.168.123.123/NetworkInterfaceAddress/General/Domain/CycloneDDS python main.py --robot g1 --pico_streamer --pico_ip 192.168.0.128入口腳本 main.py 會拉起master運動控制和worker數(shù)據(jù)寫入兩個進程等待兩者都進入 waiting 狀態(tài)。PICO 進入會話按 Remote Vision 配置好的地址連接點擊Enter VR和Allow。循環(huán)錄制 episode用下面的快捷鍵控制整個采集過程主控以30Hz頻率寫入數(shù)據(jù)見 manager.py按鍵作用s開始錄制一條新 episodeq成功完成保存當前 episoded失敗丟棄當前 episodeexit結(jié)束程序收尾官方建議每個任務(wù)至少錄制 40 條 episode用q/d嚴格篩選失敗的軌跡堅決丟棄。 數(shù)據(jù)寫入采用異步隊列設(shè)計writers.py 中的AsyncWriter/AsyncImageWriter圖像和關(guān)節(jié)狀態(tài)各自落盤互不阻塞不會拖累 30Hz 的控制回路。六、SONIC 全身體控路線一條命令啟動采集如果使用 Ψ? 配套的 SONIC 全身控制棧G1 Dex1 靈巧夾爪采集入口被封裝成單條命令自動管理 tmux 會話和多進程生命周期bash real/SONIC/scripts/collect_psi0-sonic-data.sh \ --camera-host 192.168.123.164 \ --network enp4s0 \ --task-prompt Pick up the object and place it in the container. \ --dataset-name sonic_dex1 \ --root-output-dir $HOME/data啟動腳本 collect_psi0-sonic-data.sh 會委托 SONIC 官方 launcher 完成相機服務(wù)器、PICO 管理器、數(shù)據(jù)導(dǎo)出器與 RTC 客戶端的完整編排并復(fù)用 SIMPLE 的 Remote Vision 通道把機器人ego_view畫面回傳給 PICO實現(xiàn)見 pico_camera_view.py。PICO 手柄快捷鍵對照real/SONIC/README.md按鍵組合功能長按右搖桿按下 0.6 秒策略模型 開/關(guān)左握把 A開始/停止一條 episode左握把 Y丟棄當前 episodeA XPlanner 與全身 POSE 模式切換按Ctrl\可終止整個采集會話。七、從原始數(shù)據(jù)到可訓(xùn)練格式三步入庫錄好的原始數(shù)據(jù)不能直接訓(xùn)練需要轉(zhuǎn)換為 LeRobot 格式并計算歸一化統(tǒng)計量以 SONIC 路線為例scripts/data/ 下有現(xiàn)成工具python scripts/data/raw_sonic_to_psi_lerobot.py \ --data-root $HOME/data/sonic_dex1 \ --work-dir $PWD/data/sonic/lerobot \ --repo-id sonic_dex1 --robot-type g1 --end-effector dex1_virtual14 python scripts/data/calc_modality_stats.py \ --task-dir $PWD/data/sonic/lerobot/sonic_dex1raw_sonic_to_psi_lerobot.py把原始遙操作記錄轉(zhuǎn)成 LeRobot 數(shù)據(jù)集保留稠密的手部關(guān)節(jié)目標calc_modality_stats.py計算各模態(tài)的均值/范圍等統(tǒng)計量生成meta/stats.json訓(xùn)練時用于動作歸一化。之后直接用 Psi0 官方 SONIC 訓(xùn)練配置如 finetune-real-sonic-psi0.sh開始微調(diào)無需改動任何模型或訓(xùn)練器代碼。八、新手避坑清單質(zhì)量到底差在哪常見問題正確做法任務(wù)描述寫得含糊description中寫清路徑動作物體如走到桌前按壓氣泵失敗 episode 隨手混入一律按d丟棄寧缺毋濫每條任務(wù)只錄幾條每任務(wù) ≥ 40 條覆蓋不同初始位姿與物體擺放相機畫面被手臂遮擋示范時保持頭部相機朝向任務(wù)區(qū)域別低頭過猛手部追蹤丟失手部在 PICO 視野內(nèi)、光線充足丟失后重新擺正雙手再繼續(xù)數(shù)據(jù)與視角不一致務(wù)必通過 Remote Vision 看機器人第一視角操作而不是看場地大屏訓(xùn)練報歸一化錯誤轉(zhuǎn)換后漏跑calc_modality_stats.py補跑并復(fù)制為stats_psi0.json寫在最后整套工作流的設(shè)計哲學可以總結(jié)為一句話操作員戴 PICO成為機器人RealSense 就是它的眼睛30Hz 異步落盤保證控制與寫入互不干擾。按本文流程走一遍你就有了一份標簽清晰、視角一致、質(zhì)量可控的 G1 示教數(shù)據(jù)集——這正是 Ψ? 用少量遙操作數(shù)據(jù)就能微調(diào)出新技能的關(guān)鍵所在。【免費下載鏈接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.項目地址: https://gitcode.com/gh_mirrors/ps/Psi0創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考