跳至正文
朗慧科技

DATASET RESEARCH / EMBODIED

从双目同开到可验收交付:第一视角具身数据采集设备的工程拆解

从双路RGB、IMU硬件同步和逐帧时间戳出发,拆解第一视角具身数据采集设备的标定、MCAP转换、episode设计、质控、隐私与样机验收闭环。

具身智能数据AI辅助整理 · 研发交流

先把“能录视频”改写成“能交付数据”

第一视角(Ego)采集设备的选型,表面上像是在比较分辨率、帧率、视场角和重量,真正决定数据能否进入训练与评测流程的,却是同步、标定、时间线、原始字段和失败证据是否完整。一套头戴双目设备可以同时拍到左右画面,并不自动等于它能产出可靠的立体观测;设备宣称“硬件同步”,也不等于每帧时间戳的物理含义、IMU采样时刻、曝光时间和长时漂移都已经被验证。

本次需求的技术核心很明确:头戴式第一视角、两路彩色 RGB、全局快门、双目与 IMU 共用硬件时基,能够导出左右目原始数据、逐帧时间戳、IMU 和相机内外参,并在连续录制、真实走动和复杂光照下接受样机验收。候选设备答复给出了 1080p、最高 60 FPS、全局快门、约 800 Hz IMU、硬件同步和 CSV/MP4 输出等规格;同时也明确没有原生 MCAP,而是由采集方离线转换。这些信息足以建立试采入口,但仍只是供应商答复,不是独立测试报告,更不是已经完成的数据集交付或模型效果证明。

工程上应把采购问题拆成四层:第一层是传感器是否真的采到了要求的信号,第二层是信号是否在同一时间与坐标系中可比,第三层是长时采集是否稳定且失败可识别,第四层是导出后的数据能否被脚本化检查、重放和追责。只要其中一层缺失,“双路同开”的宣传就可能在下游变成不能训练的文件堆。图 1 将这条链路画成从采集到交付的字段流,强调原始流、质量证据和转换产物不能互相替代。

双目Ego采集从传感器到可验收数据包的字段与流程示意查看完整技术图(可放大)

图1|双目Ego采集的数据字段与交付流程。技术示意,不代表任何设备已经通过验证或形成既成项目。

设备规格要按“数据任务”解释,而不是按参数表背诵

两路彩色 RGB 是硬门槛,因为第一视角任务需要左右视差、物体纹理和手部运动同时可见。全局快门对快速移动的手、头部转动和近距离物体尤其重要:它减少逐行曝光造成的几何错位,但不会自动消除运动模糊、低照度噪声、自动曝光变化或左右目亮度差异。因此验收不能只拍静态标定板,还要加入快速摆动、伸手、转身和进出阴影区的实拍。

候选答复中给出的水平和垂直视场角,若用于手部操作,应进一步换算为有效重叠视场和 25—70 厘米工作距离内的可用区域。广角镜头边缘往往有明显畸变,鱼眼或大视场模型需要与标定文件中的投影模型一致。不能拿“视场角大”替代“手部边缘像素仍然可以稳定重投影”,也不能把双目视差推导出的相对深度写成设备原生输出的 metric depth。本需求的答复明确“不支持深度输出”,所以交付时应将深度视为后处理结果,并把基线、内参、畸变、外参、左右目同步和深度算法版本一起记录。

IMU 采样率高于 200 Hz 有助于捕捉快速旋转和短时视觉退化,但采样率本身不是精度。应同时拿到芯片型号、实际输出频率、采样间隔分布、丢包计数、量程、单位、坐标轴方向、温度信息和噪声参数。一个“800 Hz”字段可能是传感器内部输出速率,也可能只是读取请求速率;如果数据在 FIFO 中成批到达,主控读取时刻不能冒充传感器采样时刻。对视觉惯性融合来说,时间戳必须能回答“这是曝光开始、曝光中点、读出结束,还是消息到达主机的时刻”。

这也是公开视觉惯性基准给出的重要启示。TUM VI 将立体相机与 IMU 做硬件同步,同时记录曝光相关信息,并对相机—IMU 的时间偏移和相对变换进行校准;论文还把原始数据与校准数据区分开来。4 这说明“有同步线”只是采集系统的起点,真正可复用的数据还需要知道坐标系、曝光、偏移和校准版本。对于现场设备,建议至少保留三类时间:设备单调时钟、可选的绝对时间锚点、每条消息的采样或曝光时刻。不要只依赖 MP4 容器的恒定帧率 PTS 来重建真实采集时间。

同步不是一个数字,而是三种误差的分解

第一种是双目之间的相对同步误差。可以让一个带明显边缘的物体在镜头前快速横向摆动,逐帧检测左右图像中的相同边缘,并统计帧号是否严格成对、位置是否出现系统性偏移。第二种是相机与 IMU 的时间偏移。可在采集前后做包含旋转和加速度变化的动作,用图像运动与陀螺曲线进行对齐;也可以在可控条件下使用外部触发或可见光事件作锚点。第三种是长时漂移,即开始时看起来对齐,录制 1 小时后两个时钟逐渐分离。三者不能用一个“微秒级”标签包办。

Kalibr 官方工具明确支持多相机内外参、相机—IMU 空间和时间参数估计,并提醒要检查 IMU 时间戳是否存在成批发送和间隙异常。3 它的相机—IMU流程还要求先处理 IMU 固有参数、噪声密度和偏置,并通过充分激励各个运动轴获得可观测标定。这个工具可以帮助研发和样机验证,但使用开源标定工具不等于设备已经符合项目的时间精度,也不等于下游一定能获得稳定轨迹。

本需求答复给出的“共用硬件时钟、同步误差为微秒级”和帧间隔 P99 数值,应被记为待复核字段,而不是直接写入数据卡的通过结论。样机验收建议采用固定协议:双目同时开启,在室内外光照切换和持续走动下连续录制 60 分钟;分别统计前 10 分钟和后 10 分钟的实际帧率、重复帧、空洞帧和丢帧;用同一时间源或同一可见事件锚定首尾,测出累计漂移;将快速摆动物体的左右目位置差与帧号配对;最后检查 1 小时前后相机—IMU 的标定结果是否发生超出声明范围的变化。每项都要保存原始日志、脚本版本和失败片段,不能只保存一个“通过”截图。

标定文件要能让第三方重建,而不是只证明设备出厂过

一份可交付的标定包至少应包含左右相机的内参、畸变模型、图像尺寸和模式,双目外参与基线,相机—IMU 外参、时间偏移、IMU 坐标轴方向和单位,以及设备固件、采集软件、标定工具和标定日期。若不同分辨率、帧率或裁剪模式对应不同内参,必须按模式分开存储,不能用一份“通用参数”覆盖所有视频。

标定质量也应有数值证据。对相机,应报告重投影误差、左右目极线误差和有效重叠区域;对 IMU,应记录静止噪声、偏置和温度条件;对长时录制,应在设备发热后再次检查。头戴设备还要做摘戴、装包、轻微碰撞和佩戴角度变化测试,因为实际数据采集不是一次性实验室固定安装。若设备结构允许相机或头带产生相对位移,标定文件必须绑定设备序列与会话,而不是只绑定型号。

Kalibr 文档给出的输入输出结构值得借鉴:原始图像与 IMU 应进入同一可重放的数据容器,标定结果要有报告和结构化文件,并对时间戳抖动、运动模糊和目标板照明提出前置要求。3 TUM VI 也展示了为什么要把原始、校准和真值对齐过程分层保存:原始数据便于追溯,校准数据便于算法使用,真值或外部参考只在确实采集到时提供。4 对普通第一视角业务而言,通常没有动捕真值,不能把视觉惯性里程计轨迹写成绝对位置真值,更不能把某个轨迹精度数字泛化到所有场景。

如果设备不原生输出深度,数据字典还应明确“深度缺失”与“深度待生成”的区别。前者说明传感器没有直接提供 metric depth;后者说明可在左右目原始流、标定和算法版本齐全的前提下离线计算。算法生成的视差图、点云或位姿应作为派生字段,并保留生成时间、依赖版本、失败原因和置信度。这样下游才能知道哪些字段是采集事实,哪些字段是模型或几何处理的推断。

从视频文件转到 MCAP,关键是保留可验证的原料

候选答复采用 CSV/MP4,再由采集方离线转换为 MCAP,这在工程上可以接受,前提是转换前的原料足够完整。MCAP 是用于带时间戳发布/订阅消息的模块化容器,拥有 Schema、Channel 和 Message 等记录;每条消息同时区分 log_time 与 publish_time,时间戳是“自定义纪元以来的纳秒数”,因此项目必须在元数据中说明时钟起点和语义。1 这正是为什么不能只交付一个视频:MP4 可供人观看,却不能独立表达 IMU 的每个采样时刻、标定版本、丢帧空洞和质量事件。

建议把每个 episode 组织成可追溯的多通道记录:左 RGB、右 RGB、IMU 原始流、可见开始/结束事件、设备健康状态、标定附件、采集元数据和质量结果。元数据至少包括匿名参与者编号、场景类型、任务编号、开始结束时间、设备模式、固件和软件版本、镜头模式、照度条件、是否发生遮挡/断连/重启,以及数据许可状态。参与者身份、原始声音、室内布局、屏幕内容、地理位置和商业空间标识不应因为进入 MCAP 附件就被默认公开;需要单独的同意、脱敏和访问控制。

ROS 2 的 MCAP 存储插件支持用 ros2 bag record 与 ros2 bag play 录制和回放,并提供压缩、CRC、索引和写入性能配置。2 这意味着转换链路可以脚本化,但也意味着要明确“高速写入”和“长期交付”的区别。资源受限时关闭索引或校验可能提高写入吞吐,却可能削弱随机读取和损坏发现能力;正式交付前应进行二次整理,补齐可用索引、校验和压缩策略。每次转换都应输出输入文件哈希、转换工具版本、配置文件、通道清单、消息计数、首尾时间和错误日志。

验收脚本不应只检查文件能否打开。至少要自动验证:左右目文件能解码且帧号连续;逐帧时间戳单调、无异常回退;实际帧间隔的 P99 在项目预设范围内;重复帧和空洞帧可被识别;IMU 采样间隔、单位和坐标轴字段存在;内外参与时间偏移字段齐全;MCAP 的 Schema/Channel 与原始流一一对应;附件可读;CRC 或独立哈希一致;异常段被标记而不是悄悄删除。只有这样,CSV/MP4 到 MCAP 的转换才是可审计的工程步骤,而不是一次不可逆的格式改写。

观测数据不等于动作数据,episode 要有明确边界

这类双目加 IMU 设备主要记录人的视角和头部运动。它可以支持场景理解、手部可见性分析、视觉惯性估计、操作阶段标注和后续多模态研究,但不应被写成已经包含机器人关节动作、末端位姿或控制指令。动作空间必须在数据字典中单独声明:如果没有手部追踪或机器人本体接口,动作字段可以为空;如果通过视觉估计出手部关键点或阶段标签,应标注为派生观测;只有接入明确的遥操作、手套或机器人控制器,才可以定义相应的关节、末端或离散动作空间。

每条 episode 应由可见的开始标记、任务说明、结束标记和状态字段组成。开始标记可以是现场主持人执行的统一动作、LED 事件或设备按钮事件,但它只用于建立时间线,不代表自动完成了空间标定。任务边界应区分准备、有效操作、失败、重试、遮挡、暂停和结束;对于无法从视觉判断的接触或意图,使用“未知”比强行补标签更安全。训练、验证和测试划分要按参与者、地点、任务变体或时间段隔离,防止同一操作者、同一室内布局和同一物体纹理泄漏到不同集合。

Open X-Embodiment 的公开项目把来自多机构、多机器人本体的轨迹整理到标准化格式,并明确说明动作相对于夹爪坐标系的表示方式。5 这个案例说明,跨本体可用性来自数据字典、动作定义和任务边界的一致,而不是来自某个摄像头型号。对于只有人类第一视角观测的采集任务,更应诚实地声明它与机器人轨迹之间的缺口,后续可通过配对示范、手部追踪、遥操作或映射模型补齐,但不能把研究建议写成已经交付的机器人动作数据。

质量控制要同时覆盖人、环境和机器

具身采集的隐私边界比单纯图像采集更复杂。双目画面可能包含肖像、手部特征、声音、工位布局、屏幕内容、地理线索和商业流程;IMU 还可能暴露活动节律与佩戴者行为模式。采集前应取得参与者对影像、声音、运动和空间环境的明确同意,定义用途、保存期限、撤回方式和访问角色;进入公开数据集前应对人脸、声音、证件、显示器、门牌、定位线索及未授权第三方做脱敏或删除。商业场地的拍摄还要有场地授权,不能因为设备在本地存储就默认拥有公开或商用权利。

安全方面,设备应优先作为观察记录器使用。采集员在工业、仓储、医疗或户外环境中仍须遵守现场安全规程,不能为了让手部进入视场而改变危险操作,也不应在运动、攀爬、靠近旋转设备或需要双手保持防护时强行佩戴和调整设备。温升、线缆牵扯、电池状态、佩戴稳定性、低照度和频闪都应作为停止条件;录制失败要及时可见地提示,避免采集员在设备已经卡死时继续工作一小时。

数据质控建议分为采集前、采集中、采集后和交付前四道门。采集前核对设备与标定版本、存储空间、电池、时间源、镜头清洁、佩戴方式和同意状态;采集中监控帧率、IMU 心跳、温度、磁盘写入、断连、重启和可见错误灯;采集后跑解码、帧间隔、同步、校准、元数据和哈希检查;交付前进行 MCAP 重放、抽样回看、异常段清单和数据卡审阅。任何一项失败都应保留失败原因与样本,而不是简单删除后声称“全量通过”。图 2 把这四道门与具体证据对应起来。

双目Ego设备样机验收的四道质量门与证据链查看完整技术图(可放大)

图2|样机验收从前置检查、长时录制到交付重放的证据链。技术示意,不代表任何实际性能、榜单成绩或项目验收结果。

研发建议、交付能力和性能证明必须分开写

对于本需求,研发路线可以围绕三件事推进:第一,优先建立原始流和独立时间戳的可回放管线;第二,用统一标定文件、版本绑定和长时测试建立设备间一致性;第三,将失败事件、隐私状态和转换哈希纳入数据卡。候选设备已给出 SDK、标定工具、原始导出和后续格式转换脚本方向,这些可以作为试点讨论的输入,但不能直接表述为已经完成的自动化交付能力。是否能在目标照度、持续走动、发热和批量设备条件下稳定运行,应以样机实测和书面验收为准。

研究界也在强调这种边界。2026 年公开的 Ego-OSCAR 预印本将开放硬件、同步立体视频、IMU、监控看门狗和部署规模作为系统设计目标,同时明确把轨迹稳定性、手部检测覆盖与真实位姿精度区分开,并承认缺少动捕真值时不能宣称绝对轨迹准确度。6 这对业务数据采集很有参考价值:可以交付“有同步证据的原始数据包”,但不能因为使用了双目和 IMU 就承诺无条件泛化、固定成功率或跨机器人通用。

最终验收最好形成一份不依赖口头解释的数据卡:设备与模式、采集条件、时钟与时间戳语义、标定字段、已知缺陷、剔除规则、隐私处理、原始与派生字段、脚本版本、哈希和重放结果全部列出。对外可以说“可围绕具体本体、场景和动作空间约定试采与验收”;不能把设备规格写成现货库存、把供应商自报数值写成公司实测、把公开论文中的数据量或模型结果写成项目交付表现。对机器人训练而言,真正的业务价值不是参数表上的某个最高数值,而是每条有效 episode 都能解释从何处来、怎样对齐、哪些字段可信、哪里失败以及能否被下一位工程师重放。

本文为 AI 辅助整理,供具身数据研发、采集工程与质量工程交流;设备指标、隐私授权、项目合同与生产安全仍需由相应责任方复核,不构成个体法律意见、生产安全认证或既成交付承诺。

参考来源

  1. MCAP Format Specification
  2. rosbag2_storage_mcap
  3. Camera IMU calibration
  4. The TUM VI Benchmark for Evaluating Visual-Inertial Odometry
  5. Open X-Embodiment: Robotic Learning Datasets and RT-X Models
  6. Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:从双目同开到可验收交付:第一视角具身数据采集设备的工程拆解

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。