跳至正文
朗慧科技

DATASET RESEARCH / EMBODIED

第一视角机器人数据采集怎么验收:从双目视频到手部状态的同步标定与 MCAP 交付

围绕真实具身数据任务,拆解第一视角双目RGB、IMU、手套或手持设备的同步标定、元数据、隐私治理、失败标签和MCAP/Protobuf验收闭环。

具身智能数据AI辅助整理 · 研发交流

第一视角采集不是“戴一台相机录视频”。它要回答的是:操作者在什么环境中、为完成什么任务、以怎样的手部和身体运动与物体交互;这些观测是否拥有可解释的时间戳、坐标系、标定版本和失败记录;另一名工程师能否在不猜测的情况下把原始数据读入训练或评测流程。只要其中一层缺失,画面再清晰,也可能只是无法复核的演示素材。

本文面向需要在真实工作场所采集人类操作数据的研发和数据工程团队,给出一套可落地的规格拆解。它把头戴式双目 RGB、头部 IMU、可选手套或手持操作设备以及 MCAP/Protobuf 交付放在同一条验收链路上。文中的阈值是项目规格的组织方式,不是某个设备已经达到的性能,也不是对任何机器人策略、榜单成绩或生产安全的承诺。

先定义“一个样本”而不是先挑设备

建议把最小交付单元定义为一个连续 episode:一个明确任务、一个稳定的操作者和一套冻结的设备配置。录制中途停止后重新开始、时间线上出现真实断档、操作者换了任务、设备或固件发生变化,都应形成新的 episode。不能把几段看起来相似的视频拼接为一段,也不能用固定帧率把断档前后的画面首尾相接。这样做会让模型误以为不存在的连续动作,后续也无法解释失败发生在何时。

在试采阶段,可以把 30 秒作为最短片段、30 分钟作为最长片段,并尽量把单段控制在 10 分钟以内。这个边界服务于文件恢复、人工复核和任务切分,而不是追求时长本身。每段还要有 task-id、task description、skill group 和难度字段。相同语义的指令应复用稳定的任务标识,例如“开门”和“把门打开”不应因为文字不同就被统计成两个任务。

采集范围也要先写清楚。第一视角数据可以覆盖零售、维修、装配、餐饮后厨、物流等非住宅真实环境,但“在野外”不等于随意拍摄。需要先列出可采集的任务、允许出现的物体、参与者角色和排除场景,再决定硬件和采集班次。EgoVerse 的公开数据说明显示,人类示范只有在任务目标与机器人学习目标对齐时,规模扩展才更有意义;它同时强调标准化格式、相机位姿和语言标注对跨机构复现的重要性。1 这说明样本数不能替代任务定义。

双目视频的最低可用线

头戴相机应从操作者自然视线附近向下覆盖手部和工作区。对需要立体重建或相机位姿估计的任务,优先选择直线型或经过校准的低畸变透视投影。明显桶形畸变的原生鱼眼画面不能只因为视场大就直接视为合格;如果必须使用广角镜头,应交付与镜头模型匹配的内参、畸变系数和校正说明。

一个可执行的基线是每路至少 1080p、至少 30 FPS,推荐 1920×1200 和 60 FPS;水平视场可按不低于 110°、垂直视场不低于 80°组织验收。这里的“推荐”不能写成“已验证”:必须在双路同时开启、连续写盘和目标光照条件下测实际帧率、丢帧和温升。单路规格书的数字不能替代双路实测。

编码和容器要拆开记录。视频可以使用 AV1 或 H.265;若使用 H.264,应保留原始源编码并避免额外一代压缩。连续序列不应出现 B 帧,关键帧间隔也要写入设备配置,因为解码顺序和显示顺序不一致会破坏逐帧对齐。音频若被采集,至少记录采样率、位深、声道、编码方式和是否与视频共享录制时钟。没有采集的模态就留空并标为“未采集”,不能用零值假装存在。

验收时不要只看平均帧率。每个相机应导出 frame index、容器显示时间和真实采集时间;以真实时间戳统计相邻帧间隔的 P99,并保留丢帧计数和重复帧识别结果。重复上一帧填充会使文件看起来连续,却不能代表真实运动。低照度、LED 频闪、顶灯入镜、运动模糊和自动曝光突变也应作为动态质量项,而不是留给标注员在后期凭感觉剔除。

同步与标定:把“看起来同时”变成可检验量

多设备采集至少有三种时间:传感器事件发生的时间、录制器收到消息的时间,以及容器写入或显示的时间。它们不能相互冒充。若项目使用 MCAP,可将录制器在收到消息时分配的 log time 作为可检索时间线,但仍应在元数据中说明它是曝光开始、曝光中点、读出结束,还是录制器接收时刻。MCAP 的设计支持把异构、带时间戳的多路消息和 schema 放在同一个自包含文件中,也支持追加写入和部分文件恢复;这能减少格式拼接,却不能替项目解决错误时钟。5

双目之间以及相机与 IMU 之间,应明确是共用硬件时钟、硬件触发,还是各自计时后软件对齐。对共享时钟不可得的系统,试点应把残余误差写成实测值,而不是把设备内部的同步宣传语转成全链路精度。一个可操作的项目门槛是:可接受的无线方案需要先证明链路延迟;帧间隔中至少 99% 的偏差应落在标称 FPS 的 ±10 毫秒内。这个数字是验收规则,不代表所有应用都适用。

空间标定需要形成闭环。每个相机应提供内参和畸变参数;每个传感器应提供相对设备参考坐标系的外参,并至少说明双目基线和相机到 IMU 的变换。静态变换树应列出相机、IMU、手套或操作设备的 frame name、父子关系、平移单位和旋转表示。坐标轴约定必须写进 data card,不能假定读者会按某个机器人框架的默认方向解释。

如果同时使用手持或 UMI 类设备,可把绝对轨迹误差和相对位姿误差列为独立质量项,例如分别记录位置、旋转、时间窗口和参考轨迹。不要把厂家位置精度、相机重投影误差和机器人末端误差放进同一列。研究系统中也存在这种严格拆分:DexViTac++ 的公开说明将不同设备先注册到共同标定板,再按头部时间戳重采样手部位姿,并明确指出插值不能修复缺失测量或未知时钟偏移。3 这正是工程验收需要保留原始时间线的原因。

现场测试可先做十个可见事件:拍手、对指、拿起、放下、双手交接、走到标记点、返回、一次预设遮挡、重做标定和结束。每个事件都要在视觉流和对应传感器流留下记录,统计时间差的中位数、最大值、缺失次数和异常原因。阈值由项目在试采前写定,超差段降级或拒收;不能在结果出来后调整阈值以保住样本量。

手套和手持设备是附加数据流,不是动作标签捷径

只采第一视角视频时,手部可以通过视频标注、关键点模型或人工复核获得派生标签;一旦加入手套或手持设备,就要把本体状态、设备状态和任务标签分开。手套数据可包括 21 自由度关节角、MANO 兼容的 21 点骨架、五个指尖位置、手套 IMU、原始磁跟踪点以及可选的触觉区域。项目如果要求手套跟踪,建议把名义采样率、实际到达率和缺失标记同时交付,例如将 90 Hz 作为最低线、120 Hz 作为推荐线,而不是只在宣传页写一个峰值。

手持夹爪或类似设备应提供六自由度位姿、钳口状态和设备运动学描述。钳口开合量可以归一化到 [0,1],但必须说明 0 和 1 的物理含义。URDF 或等效描述要固定连杆、关节、参考坐标和传感器安装位置。触觉、力矩、接触状态和速度属于可选流时,也要记录采样率、传感器类型、校准状态和缺失原因。

最容易发生的概念错误,是把人手传感器读数直接命名为机器人 action。人手关节、手部骨架、指尖位姿和机器人关节目标不是同一对象。若需要重映射,至少要保存目标本体、自由度、关节顺序、限位、坐标变换、映射版本和安全停机策略。映射后的目标关节应另存一列,不能覆盖原始人手观测。EgoVerse 的研究结果也把“数据规模”和“与机器人学习目标的对齐”分开讨论;人类数据能否迁移取决于任务、标签和目标本体,而不由采样率单独决定。1

接触结果也不能由手套曲线凭空推断。只记录运动的系统可能知道手指弯曲,却不知道是否抓空、是否滑移或物体是否已经插到位。DexViTac 采用视觉、触觉、末端位姿和手部运动学的组合,并将高频缓冲与触觉锚定的同步策略作为系统的一部分。3 TactiDex 的公开框架进一步把触觉、手部运动学、物体六维状态、语言和层级任务阶段放入同一评测范式。4 这些研究说明了怎样设计数据结构,不代表任何普通手套默认具有触觉,也不代表研究中的策略成功率可以搬到企业项目。

元数据既是检索入口,也是隐私边界

每个 episode 至少应有稳定的 episode-uuid、匿名 operator-id、同意状态、工作角色、开始和结束时间、task-id、自由文本任务描述、技能组、难度和快门类型。所有跨设备时间戳统一使用 UTC 或明确的设备时钟原点。环境字段可使用 L1/L2/L3 层级描述行业、设施类型和具体工作区,再用稳定的 environment-id 连接同一场地的多个场景。环境和操作者的多样性统计必须能追溯到这些字段,但不等于要把真实姓名、精确住址或公开可识别的企业资料放入训练包。

位置和商业环境字段应分层保存。城市、省州和国家可以作为基础统计粒度;更细的 geohash、企业标识、场地地址和行业分类码,应按访问权限单独管理,并在公开样例中使用假名或脱敏值。操作者年龄段、性别、惯用手、工作经验和手部尺寸只有在有明确必要性、告知和授权时才采集。元数据越丰富,越需要一个数据字典说明用途、保留期限、访问角色和删除流程。

头戴相机具有移动性,容易在操作者无意间拍到路人、证件、收银屏、工位文件、密码和客户机密。带麦克风后还会采集不必要的谈话。爱尔兰数据保护委员会的可穿戴相机指导指出,身体佩戴设备可能把佩戴者变成移动监控系统,麦克风或人脸识别会进一步增加数据保护风险。7 因此,采集前要有参与者同意、场地方许可和现场告知;采集中要有可见提示、禁拍区和暂停开关;交付前要进行人脸、声音、文字、地理和商业信息筛查。

隐私流程不能只写一句“已脱敏”。应记录原始数据是否在本地处理、上传前是否审核、哪些区域被遮挡或删除、遮挡算法的版本、审核人和无法判断的样本。NIST Privacy Framework 把隐私风险放在企业风险管理中处理,强调组织应识别和管理风险,而不是把隐私当成某一个模型的附加功能。6 对具身数据而言,操作者肖像、声音、手部生物特征、室内布局和作业流程可能同时具有个人和商业敏感性,训练用途、再分发范围和保存期限都要书面确认。

让标签和质量检查互相独立

静态检查应验证分辨率、FPS、编码、文件可读性、schema 版本、时间戳单调性、内外参完整性和清单校验值。动态检查应观察遮挡、运动模糊、过曝欠曝、相机抖动、同步失败、传感器损坏、磁干扰、无线重连和佩戴滑移。对手套或夹爪,还要检查位姿流连续性、钳口范围、外参树、运动学文件和操作相机是否遮挡关键工作区。

标签应至少区分任务、阶段、动作或语言指令、成功/失败、失败原因、接触状态和人工复核状态。失败段、近失败段和恢复动作不能因为让统计更好看就删除。建议把“遮挡、断连、标定过期、抓空、映射错误、其他”做成有限词表,并保留原始事件时间。自动标注可以给出候选边界,但任务起止和关键接触点应有人工复核或任务结果证据。AoE 的公开系统也把自动切分、相机标定、手部重建和人工抽查放在同一流水线中,同时将异常样本保留为需要再标注的困难样本。2

训练、验证和测试的划分不能只按随机帧切开。相邻帧高度相关,如果同一操作者、同一场地和同一次任务的相邻片段跨越训练和测试,指标会被数据泄漏抬高。更稳妥的做法是按操作者、环境、任务实例和时间段分组,并在 data card 中写明排除规则。对于真实交付,验收应同时报告原始时长、有效时长、拒收时长和缺失原因,不能只报告“采集了多少小时”。

用 MCAP/Protobuf 把交付做成可复查的包

MCAP 适合承载多路带时间戳消息,但“支持 MCAP”不是完整交付定义。一个可复查的包至少应有视频流、相机内参、头戴 IMU、静态变换树、可选 VIO 位姿、手部关节和骨架、指尖位姿、操作设备位姿、任务标注、环境元数据以及质量诊断。每个 channel 要有稳定的名称、消息类型和 schema 版本;schema 中应写单位、frame_id、坐标约定、缺失值和时间戳意义。

可以采用“原始层 + 标准化层”的交付结构。原始层保留设备导出的编码视频、原始 IMU、原始手套流、标定文件和固件信息;标准化层将它们转换为项目约定的 MCAP/Protobuf 主题;manifest 记录每个文件的路径、大小、校验值和生成工具版本;data card 说明采集范围、授权、字段、质量阈值、失败比例、训练测试划分和已知缺口。任何转换都不能覆盖原始值,尤其不能用平滑、插值或补零消除丢帧和断连。

工程上应为每个数据包保留四类版本:采集设备和固件版本、标定版本、schema 版本、转换与标注流水线版本。若未来更新字段,旧批次仍应能由旧 schema 读取,新 schema 要提供迁移说明。MCAP 能通过自包含 schema 和索引提高可读性,但它不会自动证明时间同步、相机标定或授权成立。5 因此,文件能被播放器打开只能算格式检查通过,不能算数据验收通过。

一套可执行的分阶段验收

第一阶段是设备和协议确认。冻结相机数量、分辨率、帧率、视场、快门、编码、音频、IMU、深度、手套或夹爪配置,明确每个数字的口径。同步写清时钟源、事件时间、录制器时间和允许的残余误差。标定写清内参、外参、基线、坐标系、校准日期和重标条件。隐私写清同意、场地许可、禁拍区、音频和公开范围。

第二阶段是小批量实采。不要先追求大量小时数,先用不同操作者和至少两个真实环境录制成功、失败、遮挡、重连、重新标定和暂停恢复。现场记录实际帧率、P99 帧间隔、丢帧、断连、温升、标定变化、有效分钟、佩戴中止和标注返工。若有手套或手持设备,再记录手部流采样率、位姿连续性、磁避让、钳口范围和运动学文件完整性。

第三阶段是全链路回放。将原始数据转成标准包,在独立机器上从 manifest 读入,验证每个 schema、时间戳、frame_id、单位和校验值。用真实采集时间而不是容器 PTS 统计帧率;用事件或参考轨迹验证同步;用抽样回放核对画面、骨架、触觉或夹爪状态是否指向同一时刻。缺少原始字段时,输出“缺失”并进入问题清单,不得在转换层伪造。

第四阶段是扩大或停止。只有当字段完整率、同步抽检、失败标签、隐私筛查和回放结果达到书面门槛,才进入批量采集。任何一个关键项未定义,就应暂停扩量而修订协议。研究建议不等于交付结果;论文中的演示、数据集规模或成功率不能替代本项目的样例、测试 oracle 和责任边界。对于需要机器人执行的项目,还应另行完成目标本体映射、碰撞检查、人工接管和安全审批,不能把人类第一视角观测直接当成可执行动作。

可围绕这类项目约定任务定义、设备匹配、试采、标注、质量记录和版本交付,也可以将现有目录、样例字段和授权范围纳入评估。实际可交付的设备、数据量、周期、授权和性能必须以当期书面项目书、样例检查记录和合同为准。本文提供的是研发交流用的验收框架,不构成任何设备供货承诺、模型性能保证或生产安全认证。

第一视角采集的数据结构从任务边界、传感器流到可复查交付包逐层固化的技术示意图查看完整技术图(可放大)

图 1|从 episode 到 MCAP 交付的结构关系。技术示意,不代表已验证性能或既成项目;每个字段、阈值和责任应在项目中书面确认。

第一视角多传感器采集从协议冻结、同步标定、实采质检到独立回放验收的流程图查看完整技术图(可放大)

图 2|分阶段验收流程。虚线表示需要用记录和抽检证明的关系,不表示设备出厂即具备全链路硬件同步;技术示意不代表已验证性能或既成项目。

参考来源

  1. EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World
  2. AoE: Always-on Egocentric Human Video Collection for Embodied AI
  3. DexViTac: Collecting Human Visuo-Tactile-Kinematic Demonstrations
  4. TactiDex: A Real-World Tactile-Guided Benchmark for Human-Like Dexterous Manipulation
  5. MCAP Introduction and Guide
  6. NIST Privacy Framework
  7. Guidance on Body Worn Cameras or Action Cameras

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:第一视角机器人数据采集怎么验收:从双目视频到手部状态的同步标定与 MCAP 交付

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。