跳至正文
朗慧科技

DATASET RESEARCH / EMBODIED

第一视角具身操作数据如何做成可验收资产:从场景配额到同步、泛化与安全

拆解大规模第一视角具身操作数据的有效时长、episode边界、同步标定、泛化分组、版本交付、隐私安全与可复跑验收方法。

具身智能数据AI辅助整理 · 研发交流

具身智能项目最容易被误读的地方,是把“录到很多视频”当成“拥有可训练数据”。一个可用于策略学习、行为建模或跨本体研究的数据集,至少要同时回答四个问题:采集了什么任务,传感器在什么时间和坐标系下观察到什么,哪些片段可以被判定为有效,以及数据是否有明确的使用边界。对于需要大规模第一视角真实作业数据的项目,这四个问题还必须落到可以逐条复核的字段、日志、版本和拒收规则上。

下面以一个约三万有效小时、覆盖多类真实工作空间的定制采集需求为例,抽象一套可公开讨论的工程方法。这里的数量、阈值和任务比例是需求规格的拆解示例,不是任何公司已经交付的规模、现货能力或模型性能承诺。实际项目仍应通过试采、原始日志、授权文件和书面验收确认。

先把“有效小时”定义成可审计单位

总时长不是唯一的产能指标。第一视角数据的一个小时,可能包含设备启动、寻找任务、等待、走错路径、镜头被遮挡、严重丢帧或没有物理状态变化的空抓。如果这些片段被直接计入产量,模型得到的不是更多经验,而是更多无法解释的噪声。因此,采购或研发简报的第一行应写清计数单位:按有效小时、episode、任务条数还是帧数计数;多路视频是否只计一份时长;原始时长和通过质检的有效时长如何分别记录。

一个三万有效小时级任务可以把15个一级功能领域分别配置约两千有效小时,再在每个领域内按稳定物理空间划分二级环境,例如开放办公区、厨房、仓库、维修工位或实验准备间。这样的均衡不是为了制造漂亮的目录,而是为了避免某一个容易采集的场景占满数据。二级环境应使用真实场地,且同一任务若换了背景却没有改变对象、布局或约束,不应被当成新的泛化样本。EPIC-KITCHENS的官方页面把非脚本化、多日、原生环境记录和细粒度动作、对象、音频事件作为数据资源的一部分,说明“自然发生的操作”和“事后可检索的标注”必须同时设计,而不是只追求摄像机开机时长。4

配额还要有上下限和补救动作。建议在批次清单中同时保存目标值、允许浮动、已采集原始时长、有效时长、缺口和返工量;超出某个场景上限的小时不自动抵扣另一个场景的缺口。每个物理场地、操作者和任务组合都应有稳定的匿名标识,避免同一场地被不同名称重复计入。训练、验证和测试划分也应优先按操作者、场地、物体或任务变体隔离,而不是把同一段长视频随机切成三份,否则模型可能记住背景和动作模板,得到虚高的离线结果。

从真实任务到可审计episode的结构化流程示意查看完整技术图(可放大)

图1|从需求、采集、质检到版本交付的结构化流程。技术示意,不代表已验证性能或既成项目。

episode不是视频文件,而是带边界的任务证据

一个合格的episode应有可解释的开始、过程和终态。开始可以包含短暂的标准手部可见动作,结束也应留下同类标记,但标记本身不能占据任务主体;从开始录制到完成开始动作、从结束动作到停止录制的空窗,应设置上限并作为质量字段。正式任务区域还应满足足够的手部可见率,关键接触点不能长期被镜头边缘、身体或物体遮挡。采集员不应把双手僵硬地举到镜头前来凑“含手率”,因为这种表演会改变自然运动学。

任务类别可以分成组合任务和长程任务。组合任务由至少三个连续步骤组成,并包含工具使用或可观察状态变化,例如取物、核对、装箱、封箱;长程任务则应包含跨区域移动、双手协同、环境变化或有限的自然纠错。以一个任务100条episode为例,可将组合与长程按1:2配置,但比例只是样本设计要求,不代表任何模型必须采用同样采样策略。更重要的是,每条episode都要有任务文本、场景层级、起止帧、成功或失败、失败原因、关键步骤及证据帧。

“成功”不能被简化为操作者口头说完成。终态应当可从画面和传感器中判断:物体不再滑动或倾倒,连接、开关、装载、清洁度或位置变化达到任务定义,操作者的手已离开目标。失败段不宜一律删除;掉落、重新抓取、工具切换、短暂遮挡和合理纠错可以保留并打上事件标签,危险操作、伪造任务、视频拼接、变速、抽帧替代原始采样和没有状态变化的重复摆弄则应明确拒收。保留失败和恢复信息,有助于训练失败识别和评测鲁棒性,但必须把“失败可用”与“质量合格”分成两个字段。

传感器方案的核心是同步、标定和动作空间

第一视角方案至少要说明相机安装位置、视场、分辨率、帧率、快门类型、内参和畸变模型;有双目或多相机时,还要提供相机间外参。若采集需要深度,必须写清深度来自双目、ToF、结构光还是后处理估计,米制深度与可视化深度不可混称。一个采购规格可把水平视场、双目同开帧率、IMU实际输出频率、掉帧统计和标定误差列为门槛,但门槛应与目标动作速度和接触尺度对应,不能把厂商标称值直接写成训练质量。

时间同步要拆成四件事:固定偏移、时钟漂移、短时抖动和丢帧。设相机曝光中点或帧记录时刻为 (t_c),IMU样本时刻为 (t_i),可先统计 (\Delta t=t_c-t_i) 的中位数、P95、最大值和随时间的趋势;不要只报一个“同步误差”。如果时间戳是读出时刻而不是曝光时刻,自动曝光改变时,固定补偿值可能失效。长时间采集还要在开头、中段和末尾设置可见或硬件可观测事件,分别测量漂移,记录重新同步、设备重启、温度变化和链路断连。

空间标定同样不能用单一重投影数值代替完整证据。应保存各相机内参、畸变参数、相机间外参、相机—IMU变换、坐标系定义、标定时间和有效帧区间;用独立动作或标定板复核,不把某次重投影误差直接当成SLAM绝对定位精度。若下游采用MCAP,可将多路传感器消息与模式、时间戳、schema和校验信息放入同一个可索引容器;MCAP官方定位就是存储多通道带时间戳的多模态日志,并强调附带schema、追加写入和异常关机下的完整性取舍。6 但容器格式只解决记录和回放,不会自动修复曝光语义、时钟漂移或坐标系错误。

动作空间也必须单独定义。第一视角数据中的“手往前伸”“旋转物体”“双手交接”是人的观测或行为标签,不等于某一个机器人本体的关节命令。Open X-Embodiment将多种机器人数据统一到可消费的仓库和格式中,同时明确不同本体的相机属性、原始动作定义和坐标系仍然有差异;其论文甚至指出,同一粗粒度动作向量在不同本体上可能代表绝对位置、相对位移或速度,产生不同运动。1 因此,项目交付应把观测、人体动作、对象状态和潜在机器人动作分栏,只有在完成本体映射、运动学和控制频率验证后,才能讨论策略训练或遥操作。

泛化不是换桌布,而是改变约束

每个任务100条、拆成10组的设计,真正要防的是近重复。组级变化可以来自场地、背景、物料、工具、布局、容器或任务约束;组内10条则改变操作者姿态、站位、方向、手的进入角度、物体位置或操作顺序。若只是把同一批物品重新摆放,或把动作放慢来延长时长,不能算有效多样性。建议在元数据里显式记录变化维度和值,并为每个变化维度设定最小覆盖目标。

多样性也要与安全和可解释性兼容。比如厨房、零售、酒店、制造、仓储、建筑、维修、农业和公共设施可以呈现真实物理约束,但不应通过危险方式制造“困难样本”。涉及医疗与康养的部分应限定为经授权的非诊疗、非侵入性照护或物品整理任务,不能把采集建议包装成医疗训练认证。DROID项目公开资料显示,大规模真实机器人数据的价值与场景、任务、采集者和地理分布相关;其数据覆盖数百场景和多类任务,并把相机内外参与采集硬件一并记录。2 这类经验支持“按场景和操作者拆分”的方向,但不意味着另一个项目可以复制其规模或模型结果。

同步的第一视角与外部视角也可用于抽检动作边界。Ego-Exo4D的项目定位是同步的第一视角和多个第三视角,用于理解技能活动。3 对采购项目而言,不必因此默认增加外部相机;可以先用一小批带外部参考视角的片段核对手—物接触、终态和遮挡,再决定是否扩展。若没有外部视角,则应依靠第一视角、IMU、状态变化和人工复核的组合证据,并把“不可观察”标成不确定,而不是猜填成确定标签。

从原始证据层到版本化标签层

交付目录建议分成不可变的原始证据层、可迭代的标签层和批次清单。原始视频、深度、IMU、时间戳和设备日志入库后计算哈希,后续标签修订不得复制或覆盖它们。标签目录只保存新增或变更内容,manifest记录完整生效版本、父版本、文件大小、哈希和schema;一个CURRENT指针指向当前版本,读取程序不能把版本号硬编码。逐帧JSONL应明确行号、frame_id、时间戳和解码帧数关系,避免容器PTS与真实采样时刻混用。

元数据至少包含匿名episode、session、场地和操作者标识,任务文本、场景层级、物体实例、起止帧、成功/失败、失败原因、设备ID哈希、固件、相机配置、时区、时钟方法、有效时长、手部可见性、接触是否可观察、模糊/曝光/丢帧指标、质检状态、同意记录、场地授权、音频政策、脱敏状态、保存期限和许可范围。这样的字段设计不是行政负担,而是让采购方能回答“这条数据为何有效、谁能使用、出现争议时如何追溯”。Datasheets for Datasets提出的生命周期问题也覆盖动机、组成、采集、预处理/标注、用途、分发和维护,并要求说明样本、缺失、噪声、外部资源、个人识别和敏感信息等内容。5

质控应分静态、动态和语义三层。静态检查分辨率、编码、帧数、时间戳单调性、文件哈希和字段完整性;动态检查丢帧、画面闪烁、模糊、过暗、过曝、抖动、手部出画、接触点遮挡、动作速度和终态;语义检查场景标签是否与实际空间一致、任务步骤是否连续、物体状态是否有证据、失败原因是否可解释。自动检测可以筛掉明显异常,但不能证明“自然”“安全”或“授权”,这些仍需要抽检员、领域专家和现场负责人共同签字。

验收最好写成可复跑的测试,而不是一句“质量良好”。例如,对每个设备配置抽取固定数量的短片和长片,报告帧间隔分位数、丢帧率、同步偏移与漂移、标定残差分布、有效时长比例、手部可见率、关键接触可观察率、任务标签一致性、近重复率和失败/恢复比例。验收脚本应输出原始输入哈希、软件版本、阈值、通过/拒收原因和待复核清单。阈值由项目双方根据动作尺度和下游用途书面确认,不能把单次最好结果冒充所有工况,也不能把研究论文里的成功率当作本项目的榜单成绩。

人像、声音、空间和安全都要进入设计

第一视角视频即使不以“人”为任务对象,也可能拍到脸、声音、屏幕、门牌、住址、支付信息、工作文件、镜面反射或第三方身体。采集前要取得参与者同意和场地授权,明确是否收音、是否允许研究/商业训练、是否跨境、保存多久、谁可访问以及如何撤回或删除。采集时应采用视线范围限制、遮挡或实时提示,避免把路人和顾客当作背景数据;上线前还要做人脸、证件、屏幕和敏感区域检测与人工复核。

如果在中国境内处理个人信息,官方公布的《个人信息保护法》将生物识别、医疗健康和行踪等列为敏感个人信息,并要求在特定目的、必要性和严格保护措施下处理,处理敏感个人信息通常需要取得单独同意;向境外提供还涉及额外告知、单独同意和相应跨境条件。7 这不是一句“打码”就能替代的授权链。其他司法辖区还可能有不同的录音、肖像、劳动场所、儿童和跨境规则,项目应由当地法务或隐私负责人复核。本文只给工程治理建议,不构成法律意见或合规认证。

安全边界同样要前置。禁止裸露高压、无防护焊接、高处边缘、车辆行驶中拍摄、高速旋转设备伸手、刀具挥舞、危险拆解、明火和会伤及人的示范任务。采集员培训应包含设备佩戴、线缆防绊、急停、卫生和现场强制规范;任何“为了制造失败样本”而增加风险的做法都不应进入数据设计。机器人训练数据还要把危险示范、状态不确定和不可观察分别编码,避免下游把缺失证据当作安全动作。

算法路线要服务于证据,而不是替代证据

可采用“规则筛选—时空校正—多模态特征—人工复核—模型评测”的路线。第一步用元数据和信号完整性规则剔除明显坏段;第二步根据曝光语义、统一时钟和外参将图像、IMU、位姿及任务标签对齐;第三步生成手部关键点、接触候选、物体状态变化和动作分段等派生特征;第四步让受训复核员确认关键帧和失败原因;第五步以按操作者/场地隔离的测试集比较行为识别、阶段分割、状态预测或策略学习表现。

派生标注必须带来源、置信度、模型版本和人工修订记录。视觉模型的“检测到接触”不等于真实接触,姿态模型的低置信度点不能填成确定坐标,音频事件也可能受环境回声影响。若训练一个视觉—语言—动作模型,还要单独验证任务文本、观察序列、动作标签和终态之间的因果顺序;不能因为模型在同背景随机切分上准确率高,就宣称已实现跨场景、跨本体或现实部署的无条件泛化。Open X-Embodiment的研究结论显示,多本体数据可支持迁移研究,但论文同时指出其并未覆盖完全不同的感知与执行模态,也没有解决对新机器人泛化的全部问题。1

具身数据验收中的证据链与责任边界示意查看完整技术图(可放大)

图2|从时钟与标定,到任务标签、隐私授权和交付验收的证据链。技术示意,不代表任何设备已通过这些阈值。

交付与业务价值:把承诺拆成可确认的条件

对数据服务团队而言,真正可复用的能力不是某个宣传数字,而是能否把任务定义、设备评估、试采、标注、质量记录和版本交付串成闭环。公开的具身数据服务页也把“先定任务、目标本体、计数单位和验收方法,再用小批试采验证”作为协作路径,并提示原始视频、时间戳、IMU、标定、失败记录、参与者/场地授权和数据卡需要逐项确认。8 这类公开能力可以描述为“可围绕项目约定提供评估、试采和交付协同”,不能扩大成已经拥有某个固定设备库存、三万小时现货或某个机器人榜单成绩。

建议把业务价值分三层表达。第一层是数据基础设施价值:让研发团队获得可检索、可复现、可审计的真实操作轨迹。第二层是模型研发价值:支持动作分段、失败识别、跨视角学习、世界状态建模或策略微调,但实际提升需以目标模型和独立测试集验证。第三层才是交付价值:缩短返工、减少不可用时长、提高版本可追溯性和授权确定性。研究建议不等于实际交付,设备参数不等于数据质量,模型离线成功率不等于现场机器人成功率,更不等于安全认证或司法结果。

在进入扩量前,至少要通过一个小批闭环:真实场地、真实操作者、真实设备和正式标签流程同时运行;抽查同步与空间标定;跑一遍导出、哈希、版本、隐私和权限检查;用隔离的评测集验证任务标签是否能支撑目标算法;最后由研发、数据工程、现场安全和隐私负责人共同确认是否扩大规模。如果其中任一项只能靠口头说明,最稳妥的结论不是“先上量再补”,而是保留为试采或待补证据状态。

高质量的第一视角具身数据,最终不是一堆更长的视频,而是一组可解释的任务证据:它知道自己在什么地方、由谁在什么授权下采集;知道哪一个时间戳代表什么物理时刻;知道哪些手—物接触被看见、哪些没有;知道一条episode为何成功、为何失败、能否训练;也知道版本改变后谁可以追溯和撤回。只有把这些边界写进采集、标注、验收和交付,规模才不会掩盖不确定性,模型研究才有可能从“看起来能用”走向可复核的工程资产。

AI辅助整理,供研发与数据工程交流;不构成个体法律意见、生产安全认证、实际交付承诺或资质审批。

参考来源

  1. Open X-Embodiment: Robotic Learning Datasets and RT-X Models
  2. DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
  3. Ego-Exo4D
  4. EPIC-KITCHENS Dataset
  5. Datasheets for Datasets
  6. MCAP: Open Source Container File Format for Multimodal Log Data
  7. Personal Information Protection Law of the People's Republic of China
  8. 具身智能数据服务:到可验收的训练数据

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:第一视角具身操作数据如何做成可验收资产:从场景配额到同步、泛化与安全

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。