DATASET RESEARCH / EMBODIED
从“能拍视频”到“可训练、可复核”:全球住宅与商业场景的第一视角具身数据设计
拆解全球住宅与商业场景第一视角具身数据需求,覆盖episode、IMU与姿态、时间同步、空间标定、动作空间、语言标签、质量验收和肖像声音空间隐私治理。
一份面向全球住宅与商业环境的具身数据需求,真正要采购的不是一台头戴相机,而是一条能把任务、场景、传感器、动作、语言、质量和使用授权连起来的数据生产链。需求中同时出现了住宅与商业环境、2—5分钟样片、视频与元数据、IMU或软件姿态、参与者同意、脱敏、数据真实性、质检、产能与高级同步能力。若只用“有设备”“能拍摄”来回答,样片可以通过,训练数据却可能在时间轴、动作语义或隐私审查处失效。
第一视角数据的价值也不能被简单说成“更接近机器人”。Ego4D用3,670小时、931名佩戴者、74个地点和9个国家的日常活动视频展示了第一视角数据的多样性,同时把同意、去标识和多种同步模态纳入采集设计。1 但人类视角仍然不是某一台机器人的动作空间。要把自然操作转为可用于策略学习的样本,必须单独定义 episode 边界、动作或手部状态、场景语义、失败事件和坐标系,并对可见性、同步、标定和授权逐项验收。
先把需求拆成三种数据产品
这类RFI的第一层是供应商和组织能力调查,例如人员规模、区域、产能、合规体系和安全流程。这些字段决定能否进入试采,但本身不是训练样本。第二层才是独立的数据要求:住宅或商业场景中的头戴式第一视角视频,配套每个片段的元数据、IMU或姿态文件、样片清单、参与者授权、质量记录和交付格式。第三层是可选的高级能力,包括头部、腕部和工作区三路以上同步视频,手部姿态,与语言指令及动作状态对齐的VLA数据,以及多相机或可穿戴设备的规格说明。
三层不能互相替代。企业有安全制度,并不说明它交付了有效的动作标签;相机能输出高分辨率画面,也不说明帧时间戳与IMU同一时基;有了手部关键点,还不等于得到了目标机器人可执行的动作。建议把每个项目先写成一张数据产品卡:目标任务、场景范围、参与者角色、输入模态、输出字段、授权用途、无效条件、验收指标和版本号。采购方应先冻结这张卡,再让供应商提交样片和小批试采。
样本单位也需要提前冻结。“一条视频”太模糊,可以拆成 session、episode、clip 和有效时长四层。session 是一次设备运行和授权上下文;episode 是一个任务从开始到结束的完整记录;clip 是便于审阅或训练的连续片段;有效时长则扣除遮挡、严重抖动、无效同步、越权拍摄和设备故障。多相机对同一时段的时长不能重复相加,原始时长、通过质检的时长和带完整标签的时长应分别统计。这样,报价中的小时数才不会与训练端实际可用小时数混在一起。
图1 技术示意:任务、采集、对齐、标注和交付形成闭环;不代表已验证性能、现货规模或任何具体项目已经完成。
数据模式:视频之外还要保存什么
最小可用的 episode 至少应包含唯一标识、任务描述、环境类别、采集者匿名编号、设备与固件版本、时区、开始和结束时间、视频流、帧时间戳、相机内参、相机与IMU外参、IMU原始读数、质量标记以及授权状态。住宅场景还应记录是否出现未授权人员、儿童、私人文件、门牌、屏幕、语音或室内布局;商业场景则要额外标记工位、订单、条码、工艺文件和其他商业机密的遮挡或删除状态。
对动作和语言,推荐同时保留原始层、派生层和审阅层。原始层保存原始视频、音频是否存在、IMU、设备时钟和必要的传感器包;派生层保存手部关键点、腕部或物体位姿、动作片段边界、目标物和工具;审阅层保存自然语言指令、任务阶段、成功、失败、暂停、恢复、人工干预和“不确定”标签。语言指令必须有自己的时间范围,不能把整段视频标题当成每一帧动作的真值。动作也要明确是人类手部运动、夹爪状态、机器人关节命令,还是仅供学习的语义动作类别。
如果采用LeRobot等训练生态,格式适配应落到字段级,而不是只写“兼容”。LeRobotDataset v3把高频状态、动作和时间戳放在Parquet,把多相机视频放在MP4,并用元数据表达帧率、任务、episode起止偏移和特征形状。2 这对本需求的启示是:每个片段都要能从元数据恢复边界,不能依赖文件名猜 episode;每个状态字段要写单位、坐标系、采样频率、缺失值和是否插值;视频和状态要能按时间窗口重放。若需要兼容ROS或多类型传感器,MCAP可以作为原始记录容器:它支持多个带时间戳的通道、伴随存储的消息模式以及索引和校验能力。3 但容器选择不等于质量合格,仍需在导出前检查时间、模式和校验和。
数据卡应把“用于什么”与“不能用于什么”同时写出。Datasheets for Datasets提出,数据集应记录动机、组成、收集过程、推荐用途等信息,以便生产者和使用者理解边界。4 对第一视角具身数据,至少要补充真实场景与脚本场景的比例、住宅与商业的比例、参与者招募方式、手部可见率、音视频是否完整、授权范围、跨地域限制、已知遮挡和不适用机器人本体。只交一个压缩包和一张“通过率”截图,无法支持复盘。
同步和标定必须能被独立复测
多模态采集最容易出现的错误,是把“设备标称同步精度”写成“数据已经对齐”。真正应验收的是采集记录中的共同时间基准、时间戳含义、时钟漂移、网络延迟、帧间隔、丢帧和重启事件。摄像头的曝光时间、帧生成时间和文件写入时间不是同一个时刻;IMU的采样时间也可能是采样点、缓冲包或传输到主控的时间。数据卡必须明确采用哪一个时间语义。
建议在每次采集开始、结束和设备重连时记录同步状态,并在试采中加入可见或可测的共同事件,例如闪光与振动触发、LED与音频脉冲、或多设备同时变化的安全动作。验收时计算跨流时间偏差的分布,而不是只报一个平均值;至少要给出中位数、95或99分位、最大连续漂移和无效窗口比例。若采购要求“毫秒级”,应同时规定测量方法和测试夹具。没有测量方法的“亚毫秒”只是规格句,不是验收结果。
空间标定同样不能只提供一份静态文件。相机内参要包含分辨率、畸变模型和有效裁剪;外参要说明相对于哪个设备坐标系、采用何种单位和右手或左手约定;IMU要有零偏、噪声参数和初始化时间;若使用手套、腕部相机或夹爪,还要提供关节、传感器安装点和运动学关系。每次更换支架、镜头、固件、佩戴方式或外接设备后,应有重新标定或复核记录。第一视角数据的“自然动作”不能成为忽略相机姿态变化的理由。
图2把这些检查分开表示。它强调同步、标定、动作空间和安全筛选是并列门槛,而不是拿一个漂亮的视频画面替代全部证据。
图2 技术示意:共同时间基准、几何标定、动作语义和安全隐私检查需分别留证;不代表任何设备的实测性能。
动作空间不能由视频自动推定
住宅中的做饭、清洁、整理和维修,商业环境中的理货、装配、仓储或服务操作,都包含大量未写明的动作选择。一个人把物体放到桌面上,可以对应“放下”“摆正”“完成收纳”或“为下一步准备”;同一段视频若没有任务目标,模型很难知道哪一个是训练信号。建议任务书为每个episode给出自然语言目标、起始状态、目标对象、允许的工具、结束条件和失败条件;对长任务再切成可复核的技能段。
动作空间应根据下游本体决定。若目标是手部运动建模,可记录MANO兼容的关节或关键点、指尖位置、腕部姿态和遮挡状态;若目标是夹爪控制,需要夹爪开合、速度、接触或力信号;若目标是机器人策略,则应明确关节位置、速度、末端位姿、离散动作或连续控制量,以及采样频率和参考坐标系。Open X-Embodiment把多种机器人数据放进统一格式,并以22种机器人、21个机构、527种技能和160,266项任务展示跨本体训练的研究路径。5 但该结果不能被解读成“任何人类第一视角视频都能直接控制任何机器人”。它反而说明本体差异、动作表示和统一字段必须被显式处理。
语言标签的质量也要单独管。录音中的口语、字幕、人工转写和任务书中的规范指令可能互不相同。建议保存原始转写、修订文本、语言代码、说话者角色和时间范围,并标记口令、描述、纠错和闲聊。若音频不需要进入训练,应在采集端关闭或尽早删除,而不是因为“设备有麦克风”就默认交付。动作标签出现争议时,保留初标、复核、仲裁理由和指南版本;不确定样本可以进入鲁棒性测试集,不应被强行改成硬真值。
质量控制:先拒绝不可判定,再谈模型效果
样片验收可以从三类检查开始。第一类是文件和格式:视频编码、分辨率、帧率、长度、可读性、音频存在性、元数据与文件一一对应、校验和和版本。第二类是采集质量:手部或操作对象是否在要求比例的时间内可见,是否有长时间遮挡、失焦、严重运动模糊、过曝、欠曝、镜头偏移、异常音频和设备重启。第三类是语义和时间质量:任务是否从开始到结束完整,动作边界能否复核,传感器是否覆盖同一时间段,失败与恢复是否被保留。
自动检查适合发现格式、帧率、时间戳、缺失字段和明显遮挡;人工复核适合判断任务完成、异常动作、隐私泄露和动作标签含义。若供应商宣传“AI预标注后人工抽检”,采购方应追问抽检框架、难例如何进入全检、人工如何看到模型置信度、返工是否计入通过率。通过率不能脱离样本定义:若把短片段、重复片段或没有失败事件的片段混在一起,数字会失去解释力。
训练、验证和测试不能随机按视频文件切分。来自同一个人、同一间房、同一工位或同一设备的相邻片段,可能共享背景、动作习惯和传感器噪声。建议按参与者、住宅或商业地点、设备组合、日期和任务族分组,并为跨地区或跨设备泛化保留外部集。每次划分都要写入数据卡,标明哪些身份和场景不能跨集合出现。研发建议不等于榜单性能,更不等于目标机器人在现实环境中的安全成功率。
专家分工应与错误类型对应。采集主管负责现场SOP、设备佩戴、任务自然性和安全停线;数据工程师负责时间轴、标定、文件完整性、版本和可回放性;具身或行业专家负责动作本体、任务阶段、失败与恢复标签;隐私与合规人员负责同意、旁人、住宅或商业信息、脱敏和删除索引。不同角色不能用同一张“总体准确率”互相替代。对争议片段,应保存两位初标者的意见、分歧原因、仲裁结论和规则版本,并把低共识样本单列为不确定集。这样既能避免把标注员的猜测写成真值,也能让模型训练和后续返工知道哪些片段需要人工复核。
偏差报告还要回答“谁没有被覆盖”。住宅任务可能偏向愿意长期佩戴设备、房间较整洁或网络稳定的人;商业任务可能只覆盖允许拍摄的工位,而遗漏夜班、狭窄空间、强反光、制服遮挡和多人协作。应按年龄段、惯用手、动作速度、场景面积、光照、设备型号、语言和网络条件统计缺失与拒收,不把敏感属性用于不必要的个体画像。若某类参与者或场景无法安全采集,应在数据卡中写成适用边界,而不是用少数样本推断全域能力。
住宅与商业环境的隐私不是后处理小功能
全球采集不能只勾选一个“符合GDPR”的复选框。住宅视频可能包含面孔、声音、儿童、家庭成员、房间布局、屏幕内容和地理线索;商业视频可能暴露员工身份、客户、订单、条码、工艺、门禁和安全流程。欧盟《通用数据保护条例》要求处理具有合法、公平、透明基础,遵守目的限制、数据最小化、存储限制和安全保密等原则;高风险、大规模监测或涉及敏感数据时,可能需要在处理前开展数据保护影响评估。6 这只是欧盟法域的治理示例,不替代采集地、参与者所在地和接收地的具体法律审查。
实践上应采用分层授权。采集前给参与者说明设备、模态、目的、训练用途、保存期限、撤回渠道、再使用和跨境范围;现场设置未授权人员退出和遮挡机制;对面部、车牌、屏幕和文档进行端侧或交付前脱敏;对语音和室内轨迹分别设开关和保留策略。脱敏版本不能覆盖原始版本的所有用途,原始数据应限制访问、加密、记录下载和删除。采集地点、GPS和商业场所名称应尽量降到完成任务所需的粒度。
“真实场景”也不是免除安全责任的理由。采集者不应为了让动作更清楚而夸张减速、重复或摆拍;现场不能要求人在运行中的设备、热源、车辆或高处进行没有安全评估的动作。失败和中止事件要留在数据里,但不应把人身风险转成训练样本。图像、声音和空间信息的采集目的应与项目范围一致,不能把一个操作任务的授权泛化成无限制的人像或环境监测授权。
从研究建议到可交付项目
在交付侧,公开能力可以作为路径而不是结果。官网的具身服务页把任务定义、试采、标注和版本交付放在同一协作路径,并要求先确认样例字段、授权、同步、标定、缺失值和验收条件。7 公开的E6页面也描述了双目视觉、IMU、硬件同步及与训练生态的接口方向。8 这些信息足以支持提出小批试采方案,但不能自动证明本次全球住宅与商业RFI的国家覆盖、人员容量、同意模板、脱敏效果或交付小时数。实际能力要以设备清单、采集记录、样片复读、质量报告和书面合同确认。
一个可操作的试采可以分四步。第一步冻结五到十个代表性任务,覆盖至少两类场景、正常与失败、单人和旁人干扰,并确定动作和语言标签。第二步用少量设备采集短片,现场记录时钟、标定、网络、佩戴和授权状态。第三步由数据工程师检查文件、同步、坐标和元数据,由具身或行业专家检查任务边界、失败语义和自然性,由隐私负责人检查人像、声音、地点与商业信息。第四步用冻结版本的检查表复跑,出具有效时长、拒收原因、返工项、授权范围和已知局限。
正式交付包至少应包含原始或约定级别的多模态数据、episode和任务清单、相机与IMU标定、时间同步报告、动作与语言标签、质量检查结果、数据卡、脱敏记录、授权与撤回索引、版本差分、校验和以及可读的回放示例。对于无法判断的片段,交付“不可判定”比默默删除更有价值,因为它能帮助模型学习拒答,也能让后续团队解释有效率下降的原因。
最终,第一视角数据项目的核心问题不是“能不能录到很多小时”,而是每一小时是否可追溯、可重放、可标注、可合法使用,且知道它不适合什么。研究中可以探索视觉—语言—动作模型、手部表示、跨本体迁移和仿真回放;工程交付必须以明确规格、试采记录和独立验收为准。公开网页所述能力、论文中的结果和采购方期望,都不能被改写成已经实现的泛化性能、榜单成绩或现场安全认证。
AI辅助整理,供研发与数据工程交流;不构成个体法律意见、生产安全认证或资质审批。
参考来源
- Ego4D: Around the World in 3,000 Hours of Egocentric Video
- LeRobotDataset v3.0
- MCAP: An open source container file format for multimodal log data
- Datasheets for Datasets
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models
- Regulation (EU) 2016/679 (General Data Protection Regulation)
- 具身智能数据服务:到可验收的训练数据
- 朗慧E6头戴采集设备:多模态配置与评估要点


