跳至正文
朗慧科技

DATASET RESEARCH / EMBODIED

从第一视角采集到可验收数据:Ego硬件规格如何落成训练样本

从立体RGB、200Hz级IMU和共享时钟出发,拆解Ego具身数据的同步标定、MCAP交付、episode标签、质检、隐私治理与试采验收方法。

具身智能数据AI辅助整理 · 研发交流

第一视角具身数据项目最容易被误解成“买一台相机,把视频交出来”。真正影响训练和评测的,往往不是镜头数量,而是相机、IMU、时钟、坐标系、样本边界和交付格式能不能被另一套工具独立读懂。一个面向机器人学习的硬件需求,只有同时写清传感器、同步标定、episode、元数据和退回条件,才不是产品参数表,而是一份可以试采、复判和扩量的数据规格。

这里讨论一类真实的Ego采集需求:头戴式立体RGB相机作为主视角,配合不低于约定下限的IMU,以低畸变的1080p级视频和不少于30 FPS的帧率记录自然操作;优选多相机、60 FPS和更高的IMU频率;数据进入带有明确schema的MCAP容器,并附带相机内外参与设备坐标信息。它不是某个具体型号的购买建议,也不意味着任何设备已经通过验收。重点是把这类规格转成数据团队可以执行的检查点。

先把“硬件够不够”改写为“数据能不能复现”

头戴相机的价值在于接近操作者自然视线,能观察双手、工具和工作台之间的关系。但“接近视线”不等于已经得到机器人可用的观测。单目视频缺少立体约束,手机随手拍摄通常没有稳定的设备姿态和传感器时基;即便是双目设备,如果镜头有明显鱼眼畸变、左右相机没有外参、帧时间戳来自不同系统时钟,下游也只能把它当作待整理的素材,而不是可计算的轨迹记录。

因此,采集目标应先写成一个episode级任务。一个episode从任务开始前的准备动作或明确指令开始,到任务完成、失败、放弃或需要重来时结束。每段至少有唯一编号、开始和结束时间、设备标识、任务语句、场景标签以及有效、无效或部分有效状态。若一次操作中发生遮挡、停顿、离开工作区、重新佩戴设备或网络中断,也要保留事件记录。这样做不是为了增加文档,而是为了防止把半段动作、重复录制和设备故障混在同一个训练单元里。

公开数据集的经验说明,规模并不能替代结构化记录。Open X-Embodiment把来自22种机器人、527项技能和160266项任务的数据放到统一格式与跨机器人学习语境中讨论,展示的是标准化和多样性如何支持迁移研究,而不是任何供应商的榜单成绩或商业交付承诺。4 DROID则报告了跨564个场景、84项任务、50名采集者的76,000条示范轨迹,作者同时强调大规模真实机器人数据采集需要硬件、人员、场景和安全投入。5 对Ego项目而言,这意味着“录了多少小时”应当和“覆盖了哪些任务、操作者、设备、环境以及可复现的质量记录”一起统计。

Ego数据从传感器到可验收交付的结构化流程图查看完整技术图(可放大)

图1:Ego数据从传感器到可验收交付的技术示意,不代表任何设备已经通过所列验收,也不代表既成项目或已验证性能。

传感器规格:最低线和优选项要分开写

主视角应采用朝向自然视线、略向下的立体RGB配置,让双手和操作对象尽量同时进入画面。最低规格可以规定分辨率、帧率、水平和垂直视场角,优选项再写更高分辨率、更高帧率或头部侧向相机。侧向相机的作用不是简单增加“路数”,而是减少手掌遮挡和视野边缘丢失;它必须注明大致安装方向、与主相机的重叠范围,以及是否需要回看操作者背后。没有这些语义,六路相机只会变成六个无法互相解释的视频流。

镜头投影也要写成可测要求。原生鱼眼图像如果没有经过标定和矫正,会把直线、角度和物体尺度变成依赖视场位置的量。可交付的方案应当是直线型低畸变投影,或者明确提供畸变模型、内参和矫正映射。交付原始图和矫正图时,两者必须有一对一的文件或帧映射。不能只给一段播放器看起来更“平”的预览,就把它当作可用于几何计算的原片。

快门类型不是单独的优劣标签。全局快门能减少快速运动时各行曝光时刻不同造成的形变,滚动快门也可能在低运动速度或经过建模时可用。关键是把快门类型作为设备和episode元数据,并在动态质检里针对运动模糊、倾斜和重复帧设置退回原因。否则,训练集会混合两类成像误差,模型可能把相机伪影当成动作规律。

视频编码应服从可回放和可审计,而不是只看文件大小。MCAP是面向多模态日志的开放容器,可以在同一文件中保存带时间戳的多通道预序列化数据、schema和可选索引,也支持压缩、分块和校验等权衡。1 对这种采集需求,视频、IMU、标定、设备状态和会话元数据应各自成为可识别的通道或附件。若使用Foxglove的CompressedVideo消息,消息需要有帧时间戳、参考坐标、压缩数据和格式字段;其文档还明确说明视频帧要能独立解码,并不支持需要前视的B帧。2 所以规格中写“无B帧、GOP不超过约定上限、原始编码不重复压缩”并非格式洁癖,而是为了让抽帧、回放和错误定位都有确定语义。

同步不是一个数字:要区分时钟、采样和接收时间

多传感器同步至少包含三层。第一层是硬件时钟关系:不同相机的曝光触发和IMU采样是否来自共享时钟,或无线同步的延迟是否被测量。第二层是采样频率:视频帧率、IMU频率、音频采样率不能互相代替。第三层是记录时间:消息何时被录制进中央进程,是否在排队、编码或网络传输前完成时间标记。只写“微秒级同步”而不说明测量点、时钟源和统计口径,无法形成验收证据。

这类需求把头戴IMU的最低采样率写在硬件规格中,并要求保留原始陀螺仪与加速度计。对于视频,除了平均FPS,还应检查每个episode的帧间隔分布,至少记录名义间隔、缺帧、重复时间戳、开始偏移和结束偏移。若有音频,语音数据要单独检查采样率和相对视频的偏移。一个平均值很漂亮的文件,仍可能在关键接触瞬间丢掉数帧;关键事件处的局部失效不能用全段平均掩盖。

时间戳字段建议在会话说明中明确三件事:单位是Unix纳秒、设备启动时间还是其他纪元;字段表示传感器产生、发布、中央进程接收还是写盘时刻;不同通道是否使用同一时钟域。MCAP本身允许记录log_time和publish_time,时间戳是用户理解的纪元下的纳秒值,具体语义仍需要项目说明和实现保持一致。1 工程验收时,应随机打开原始MCAP,读取通道schema和若干消息,而不是只看目录文件名或播放器时间轴。

同步质量的测试可以拆成自动检查与运动回放。自动检查统计相机帧间隔、IMU包间隔、时间单调性和通道覆盖率;运动回放则选取快速转头、抓取、放置和短暂停顿等片段,在画面与IMU曲线之间查找明显错位。对于不能直接测量的硬件触发精度,应把“设备声称值”“试采测量值”和“最终放行阈值”分成三列,避免把产品页指标误写成数据集性能。

标定与坐标:没有变换矩阵,立体就只是双路视频

每个相机都需要内参和投影模型。内参至少要能表达焦距、主点和畸变;双目相机还要有左右相机的基线和相对姿态。相机与IMU之间要提供外参,且应说明标定日期、标定工具或版本、适用设备配置以及是否在重新装配后失效。若相机被拆下、镜架受力或设备固件改变,旧标定不能自动视为继续有效。

外参文件不应只给一张“设备示意图”。交付应包含机器可读的坐标树或等价变换表示,并注明父坐标系、子坐标系、平移单位、旋转表示和坐标轴方向。Foxglove的视频消息把光学中心作为参考原点,并约定视频坐标中x向右、y向下、z指向成像平面内;若项目采用不同约定,必须在schema或会话元数据中显式说明。2 这类约定看似细小,却直接决定左右手、深度方向和重投影结果是否反转。

VIO或SLAM轨迹还要写清参考系的性质。ROS REP-105把odom描述为连续但会随时间漂移的世界固定坐标,把map描述为长期定位参考但可能出现离散跳变的坐标,并要求坐标树关系和发布职责保持清楚。3 采集需求若只写“提供轨迹”,下游无法判断轨迹是否适合短时动作分析、跨episode对齐或长期场景比较。更稳妥的交付方式是同时提供设备坐标、局部连续参考系和必要的世界参考说明,不把VIO的ATE数字直接当作所有场景中的真实误差保证。

标定验收可以设置三个层次。第一层检查字段齐全:每台相机、IMU和设备参考系都有记录。第二层检查数学一致性:坐标树无环、变换可组合、左右相机基线方向和单位正确。第三层做几何回放:使用同步帧把同一物体或手部特征投影到相邻视角,观察视野重叠和运动轨迹是否合理。只要无法确认失败来自标定、同步还是遮挡,就应退回最小复现episode,而不是把整批数据标成“基本可用”。

同步、标定与验收三条证据链示意图查看完整技术图(可放大)

图2:时间、空间与数据证据链的技术示意,不代表任何设备达到图中阈值,也不构成安全认证或交付保证。

样本、标签与质检:把“自然操作”变成可复判记录

一条Ego样本至少包含视频、IMU、设备标定、VIO或姿态信息、会话元数据和质量状态。任务标签应区分“做什么”和“做得怎样”。例如,任务可以是整理货架、拿起工具或把零件放入容器;动作标签可以进一步描述接近、抓取、移动、放置、失败和重试。不要只用一个“成功/失败”字段替代动作过程,也不要把标注员根据画面猜测的接触时刻写成传感器事实。

有效性标签建议采用有效、无效、部分有效三态,并附原因码。常见原因包括主视角被遮挡、关键帧缺失、同步异常、运动模糊、曝光失衡、IMU饱和、VIO短时断裂、设备松动和操作未完成。部分有效样本可以保留可用时间窗,但必须给出起止位置,不能让下游默认整段都适合训练。标注员还应能把不确定事件标为未知,避免为了提高完成率而制造伪精确标签。

质检需要同时测静态和动态。静态检查负责分辨率、FPS、编码、schema、topic、时间单调性、标定字段、文件大小和校验和;动态检查负责画面可见性、抖动、模糊、光照、遮挡、IMU连续性和跨通道同步。对头戴设备,还要检查设备是否系统性遮挡双手、工具或任务区域。若使用侧向相机,不能因为画面“看起来丰富”就忽略它自身的畸变、曝光和与主视角的外参。

人为偏差需要单独治理。操作者知道自己在被拍摄时,可能改变速度、头部姿态和手的轨迹;设备重量、线缆和电池位置也会改变自然动作。采集协议应允许熟悉设备的适应期,记录操作者是否经过培训,并按操作者、任务、场地和设备分层抽样。公开的Ego-Exo4D研究采用同步第一人称与多路第三人称视频,并结合音频、注视、点云、相机姿态和IMU等信息,覆盖740名参与者、13个城市和123种自然场景,说明多视角和多模态记录对理解技能行为有价值,但它的研究设置不等于某个项目可以直接复制的商业验收阈值。6

训练、验证和测试集不能按文件名顺序简单切分。相同操作者、同一物理场景、连续录制的相邻片段以及同一设备故障窗口,都可能造成泄漏。应先以操作者、环境、任务和设备为分组单位,再决定哪些组进入评测。若目标是检验跨场景或跨操作者泛化,就要在验收前冻结分组策略;否则模型分数很容易只是记住场地布置、手部外观或设备噪声。

试采与验收:先让买方的读取器读通

实际项目宜从最小试采包开始,而不是先承诺大批量时长。一个合格试采包可以包含一段原始episode、一份完整标定、一条有效性记录、一份VIO或姿态说明、一个可查询的索引以及一份通过或退回报告。买方应使用自己的读取器检查:能否按topic读出视频和IMU,能否从时间戳找到关键帧,能否用外参完成重投影,能否根据任务和场景标签找回原片。

放行表应把每个条目写成“样例编号—检查方法—结果—退回理由—责任角色”。目录、时间、频率、有效性、编码、索引、校验和版本差异都应分别占一行。公开交付实践也强调原片、标定、估计和质控报告分开管理,并要求对丢帧、重复时间戳、转码对应关系和版本改标保留可追溯记录。8 这类清单的意义不在于形式完整,而在于当数据失败时,双方能定位是采集、封装、传输、处理还是标注环节出了问题。

验收阈值要和测量方法绑定。例如,帧率要求应说明按设备声明值、全段平均还是99分位帧间隔判断;同步要求应说明从硬件触发、消息时间戳还是事件对齐测量;标定要求应说明比较重投影误差、基线重复性还是字段完整性。没有测试oracle的“达到标准”不能执行,也不能在争议时临时修改口径。

版本管理同样属于数据质量。每次改标、转码、去除隐私区域或修复时间戳,都应生成新版本,并列出新增、删除、修改和不可逆处理。保留原始版本不等于允许无限制公开;原始数据、去标识版本和研究派生版本要有不同权限。若发现一段数据中的关键字段无法回溯,就按资料缺失处理,而不是用人工记忆补齐。

算法路线可以帮助验收,但不能替代验收

在解析层,可以先用MCAP reader按时间索引读取视频、IMU和标定,再将消息转换到统一的内部episode对象。视频解码器应逐帧核对帧序号、时间戳和编码格式;IMU管线应检查单位、轴向、偏置和饱和;标定管线应验证坐标树和变换矩阵。需要机器人软件集成时,可以使用ROS兼容消息或转换器,但要保留源schema和版本,避免转换后只剩一个不可追溯的二进制缓存。

在定位层,可以用VIO、SLAM或视觉—惯性融合方法生成轨迹,再把轨迹与设备坐标、场景参考系关联。算法输出只能作为估计,不能自动变成“真实位姿”。纯视觉方法会受到纹理不足、动态遮挡、曝光变化和快速运动影响;IMU积分会积累漂移;两者的融合还依赖正确的时间同步、内外参和噪声模型。若需要绝对精度,应另行设计外部测量基准或任务级对照实验,并报告场景、设备、轨迹长度和统计方式。

在学习层,可以用动作分段、手部关键点、语义任务标签或视觉语言模型辅助标注。但预标注不是事实本身,模型置信度也不能代替人工复核。研究论文里的迁移效果、公开基准分或某个模型的成功率,只说明论文设置下的结果。Open X-Embodiment的跨机器人结果支持探索统一格式和迁移学习价值,4 但不意味着任何Ego视频都能无条件转换为所有机器人动作,也不意味着一套头戴设备已经实现跨本体泛化。

隐私、声音与空间安全要和数据结构一起设计

第一视角视频通常会拍到脸部、声音、工位、店铺布局、屏幕内容和地理线索。采集前要明确参与者同意、撤回机制、用途、保存期限、访问角色和二次使用边界;非住宅场景也不能被理解为无需授权。若必须记录业务场地,应优先使用稳定的去标识环境编号,减少精确地址、内部工位和可识别客户信息进入训练集。NIST隐私框架把隐私风险管理作为组织治理工具,强调在创新和服务目标下识别、管理并保护个人隐私;它不是某一辖区的法律结论,但适合作为需求评审的治理起点。7

声音和画面应分别评估。语音可能暴露姓名、电话、会议内容或生物识别线索;麦克风并非“可选字段”就意味着可以随意采集。需要声音时,应写明采样率、通道、用途和脱敏方式;不需要声音时,应在设备或后处理中关闭、删除或单独隔离。人脸、工牌、屏幕和敏感区域可以遮挡,但要记录遮挡版本和不可逆处理,避免买方误把处理后视频当作原始观测。

机器人安全也不能被数据文章偷换成执行指令。数据采集应先在不接管机器人控制的条件下完成回放、标定和质量验证;任何动作空间映射、在线控制或真实设备试验,都需要由有权限的工程团队在风险评估、急停、限位和现场规程下另行批准。数据通过验收,只说明文件结构、观测质量或标签符合约定,不等于机器人在现实环境中安全,也不等于模型拥有无条件泛化能力。

从数据规格到可交付服务

对于需要落地的团队,服务商的价值不应被描述为“有某一款设备就能解决所有问题”。更可核验的表述是:可围绕项目书面约定提供设备选型、试采组织、同步与标定记录、数据入库、标注质检和版本化交付协同;设备型号、数量、交付周期、场地授权和数据出境安排,均以项目文件和合同确认。平台化的设备台账、素材索引、质量记录和返工闭环,可以降低多供应商协作中的信息丢失,但它不能替代买方对任务目标、标签定义和训练评测的决定。

业务价值也应从“可用数据单元”计算,而不是从摄像头数量或总小时数计算。一个可用episode应能被读取、定位、解释、复判和重新分组;它还应让研究人员知道哪些内容是传感器直接测得的,哪些是算法估计的,哪些是人工标签,哪些仍然未知。这样的交付能支撑视觉—惯性建模、场景理解、动作分段、策略学习和仿真回放,但每种下游任务都需要重新确认输入模态、动作空间、训练/评测隔离和安全边界。

最小可行路线可以分三步。第一步冻结任务字典、设备配置、episode边界、schema和授权说明;第二步用少量不同操作者、不同场景和不同动作完成试采,让买方读取器独立回放;第三步根据通过和退回样例修订采集SOP、质量规则与版本清单,再决定是否扩量。若关键规格缺失、标定无法追溯、授权尚未明确或测试oracle没有写清,应停在样例评估,而不是用更多数据掩盖不确定性。

第一视角硬件真正要交付的,不是“看起来很清晰的录像”,而是一条带有时间、空间、语义和权限边界的可计算记录。把相机、IMU、共享时钟、坐标树、MCAP通道、episode标签和质量报告放进同一验收链,才能让数据从一次采集变成可复用的研发基础设施。研究建议不等于实际交付,论文结果不等于榜单性能,数据通过验收也不等于司法、监管或生产安全结论。

AI辅助整理,供研发与数据工程交流;不构成个体法律意见、生产安全认证或资质审批。

参考来源

  1. MCAP官方介绍
  2. Foxglove CompressedVideo消息规范
  3. ROS REP-105:移动平台坐标系
  4. Open X-Embodiment: Robotic Learning Datasets and RT-X Models
  5. DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
  6. Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives
  7. NIST Privacy Framework
  8. Ego数据试采:先确定采集与交付格式

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:从第一视角采集到可验收数据:Ego硬件规格如何落成训练样本

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。