EGO 双目管线技术演示

L0→L6 全自动管线:双目同步校验、ORB-SLAM3 位姿恢复、手-物交互检测、GPT-4o 语义标注、24 项跨层质检,最终输出 LeRobot v3.0 标准数据集。以下为实际采集数据的完整管线输出。

Recordings

stereo pair
+ EXO

Recording #184614

2026-08-17 · Orbbec EGO 双目 + iPhone EXO
EGO 双目(1600×1300 @30fps)+ iPhone 外部视角(1920×1080)三摄录制。完整 L0-L6 管线 + GPT-4o 语义标注 + WiLoR 手部骨架 + HaWoR 世界轨迹。
L0-L6 完整 EXO iPhone GPT-4o L4 LeRobot v3.0 19 特征
2,114
帧对
70.4s
时长
90.8%
接触率
stereo pair

Recording #145222 & #150808

2026-08-06 · Orbbec EGO 双目
两段桌面操作录制的完整管线输出。包含 ORB-SLAM3 轨迹、Hands23 交互检测、HaWoR 手腕世界坐标与指尖轨迹的 Three.js 3D 可视化。
L1-L6 完整 GPT-4o L4 LeRobot v3.0 双录制合页
2,184
帧对 (合计)
72.7s
总时长
95.5%
接触率 (均)
L0 → L1

采集与同步

EGO 双目原始数据导入、左右帧时间戳配对、IMU 同步校验、EXO 外部相机对齐。

L2

相机位姿

ORB-SLAM3 立体惯导模式恢复6DoF相机轨迹,输出位姿序列与3D地图点。

L3 / L3b / L3c

手-物交互

Hands23 手-物检测 → WiLoR-mini MANO手部骨架 → HaWoR 世界坐标系手腕轨迹。

L4

语义标注

GPT-4o Vision 关键帧标注:场景描述、物体识别、动作阶段、子活动分类。

L5

质量验证

24 项跨层一致性检查,覆盖时间同步、轨迹连续性、标注覆盖率等关键指标。

L6

LeRobot v3.0

结构化数据集封装:Parquet + MP4 + meta JSON,兼容 HuggingFace 生态。