エンボディッドAIデータセット

EgoSuite 第一视角人类行为データセット

100,000+ 小时第一视角长视频 · 头部 IMU 200Hz · 凝视点与手部关键点标注 · VLA 模型预训练

小时视频100,000+

IMU 采样200Hz

手部关键帧21 点

日常/厨房/办公/零售/户外5 大场景

納品形式LeRobot 3.0

データセット概要

定義：EgoSuite 第一视角人类行为データセットは長沙朗慧信息科技有限公司提供的エンボディッドAIデータセット。覆盖日常生活、厨房、办公与零售场景的第一视角长视频，配合头部 IMU、凝视点与手部关键点标注，适用于 VLA 模型预训练、Ego4D/EgoSuite 类任务与以人为中心的世界模型。

データセット名	EgoSuite 第一视角人类行为データセット
データ総量	100,000+ 小时
データ種別	RGB-D 视频、IMU 200Hz、眼动 gaze、手部 21 关键点、自然语言指令
视频规格	1920×1080 @ 30 FPS
納品形式	LeRobot 3.0 / RLDS / HDF5 / JSON 元数据
ライセンス形態	許諾データまたはプロジェクトのカスタマイズ

コアデータフィールド

每份数据包含完整的结构化字段，覆盖从基础元数据到专业分析的全部需求。

フィールド種別	代表的なフィールド
Ego-centric 视频	视频文件、帧率、分辨率、录制时长、相机标定参数、曝光与白平衡、FOV 160°
头部姿态与 IMU	200Hz 加速度计、陀螺仪、磁场计、头部朝向四元数、时间戳对齐
凝视与手部关键点	2D/3D gaze 点、左右手 21 关键点、手势分类、操作对象边界框、接触状态
动作与场景标注	动作片段起止时间、场景标签、任务目标、自然语言指令、失败/成功标记、操作对象状态转移
元数据与コンプライアンス	设备型号、采集者角色、隐私脱敏标识、授权范围、数据版本

データサンプル紹介

以下は非識別化後の構造化JSONサンプルです。代表的なデータ形式を示します。

{
  "episode_id": "EGO-2026-0089123",
  "scene": "kitchen_morning",
  "duration_sec": 1847,
  "video": {"path": "video_0089123.mp4", "fps": 30, "resolution": [1920, 1080]},
  "imu": {"path": "imu_0089123.csv", "sample_rate_hz": 200, "axes": ["acc_x","acc_y","acc_z","gyro_x","gyro_y","gyro_z"]},
  "gaze": {"timestamps": [0.033, 0.066], "points_2d": [[512, 384], [520, 390]]},
  "hand_keypoints": {"left": [[x,y,v], ...], "right": [[x,y,v], ...]},
  "actions": [
    {"start": 12.5, "end": 18.2, "label": "open_fridge", "object": "fridge", "success": true}
  ],
  "nl_instruction": "从冰箱里取出牛奶并倒入杯中"
}

AI活用シーン

VLA 模型预训练

大规模 ego-centric 视频与自然语言指令对齐，训练视觉-语言-动作基础模型。

机器人模仿学习

人类第一视角操作片段为机械臂/人形机器人提供跨本体动作示范。

以人为中心的世界模型

连续长视频与多模态信号构建可预测的人类日常活动世界模型。

Ego4D/EgoSuite 任务

対応未来动作预测、Procedure Learning、对象交互检测等基准任务。

AR/VR 交互理解

凝视与手势数据训练头戴设备的意图识别与手势交互模型。

辅助生活 AI

家庭场景长视频対応老年人起居监测与智能助手决策。

よくあるご質問

视频采集设备是什么？

采用头戴式 RGB-D 相机与 IMU 一体化采集方案，FOV 160°，対応室内外多场景连续录制。

gaze 与手部关键点如何标注？

gaze 点通过眼动仪自动采集并后处理；手部关键点采用基于视觉的关键点检测算法结合人工质检。

是否対応 LeRobot 3.0 格式？

対応。可根据项目需求导出为 LeRobot 3.0、RLDS、HDF5 等主流格式。

データサンプルの取得方法？

お問い合わせください長沙朗慧信息科技有限公司 DataAssetsAPIプラットフォーム。