DATASET RESEARCH / EMBODIED
具身技能数据包怎么验收:从 episode 边界到同步标定的可回放数据契约
从具身 episode 边界、本体与动作空间、多传感器同步标定、失败事件、隐私安全到数量质量多样性格式标注五道验收门,拆解可回放、可复核的机器人技能数据包。
具身智能的数据难点,不是把摄像头、关节状态和一句任务指令放进同一个文件夹,而是让这些记录仍然指向同一次可解释的物理交互。一个“把物体放到目标位置”的样本,至少要能回答:哪一种机器人本体执行,处在什么场景,任务从哪一刻开始,观察和动作如何对齐,发生了接触、失败或人工接管没有,最后为什么被判为成功、失败或不可判定。没有这些关系,文件数量再大,也可能只是近重复视频、脱离坐标系的动作向量和无法复核的标签。
一份面向具身研发的数据服务材料,给出了一个值得独立拆解的方向:以场景、任务、版本和技能组织数据包,为每个 episode 保留质量评价、检查结果和可追溯源记录,并把数量、质量、多样性、格式和标注作为交付核验的不同维度。本文不把资料中的产品型号、产能、客户或宣传指标当成数据能力,也不把某个设备参数写成通用性能结论;只讨论如何把这类“技能数据包”转译成真实可执行的研发任务、数据模式和验收方案。阈值需书面冻结。
一、先把样本单位从“文件”改成 embodied episode
普通视觉数据可以把一张图作为一个样本,但机器人学习中的动作意义依赖本体、时间和环境。2026 年一篇讨论人形机器人数据标准化的预印本将有意义的基本单位概括为 embodied episode:机器人本体在物理场景中围绕任务目标行动,留下执行轨迹和结果;它强调身体、动作、上下文与结果必须同时保留,而不是把数据当成互不相关的数字片段。5 这正好解释了为什么技能数据包不能只按视频时长或轨迹条数结算。
公开研究也说明了多样性和结构的重要性。Open X-Embodiment 汇集了来自 21 个机构、22 种机器人、527 种技能和 160,266 个任务的数据,并以标准化格式探索跨机器人策略;项目页同时说明其数据由 34 个研究实验室的 60 个既有数据集汇集而成,规模超过一百万条真实机器人轨迹。1 DROID 则报告了 76,000 条示范轨迹、约 350 小时交互数据,覆盖 564 个场景和 84 个任务,由不同地区的数据采集者在较长周期内完成。2 这些数字是各自研究的数据范围,不是任何服务商的现货库存,也不证明一个新项目能够复制相同的泛化结果。启示是:本体、场景、任务、执行和结果必须成为显式字段。
因此,一个可验收的 episode 不应等同于一个 MP4、一条控制曲线或一个压缩包。建议至少把它拆成五层关系。第一层是本体实体,描述机器人形态、自由度、关节名称、末端执行器、传感器、控制器、软件和固件版本。第二层是场景实体,描述场景类型、对象清单、相机或雷达安装位姿、地图版本、照明和可进入区域。第三层是任务实体,描述自然语言指令、目标对象、初始条件、技能类别、允许的动作空间和成功判据。第四层是执行实体,承载从开始到结束的多模态时间序列。第五层是结果实体,记录成功、失败、恢复、暂停、人工接管、碰撞风险、不可判定及其证据。
图1 技术示意:展示 episode 的语义、时间与质量层关系,不代表任何既成数据规模、设备性能或商业交付。
二、episode 边界必须能被另一位工程师复现
“一个任务”不能只写成“抓取”或“整理”。对采集人员而言,episode 的开始可以是操作者确认任务、机器人进入初始位姿、相机开始稳定记录或第一条有效动作到达;结束可以是达到成功条件、发生不可恢复失败、人工中止、超时或数据流失效。不同定义会改变轨迹长度、失败率和训练分布,所以项目开始时要选择一种主边界,并在元数据中保存边界来源。若需要把准备、执行和收尾分开,也应使用父 episode 与子阶段关系,而不能靠文件名猜测。
任务字典应把“技能”和“任务”分开。技能可以是抓取、移动、放置、旋拧、开合、行走或恢复;任务则应带有对象、目标位置、约束和完成条件。例如“拿起杯子”只说明技能方向,不能说明从哪一个区域取、允许是否碰到其他物体、杯口朝向是否重要,也不能说明失败后是否允许再次尝试。建议给每个任务分配稳定的 task_id,并保存自然语言指令、结构化目标、初始状态、难例标签和 success_condition_version。对于没有足够证据判定成败的 episode,应有 undecided 或 needs_review,而不是被迫归入成功。
遥操作、第一视角采集、双臂操作、移动操作和人形全身控制也不能混为一个“动作数据集”。第一视角数据可能只观察到操作者或末端附近的视野,第三视角数据则更适合描述全局场景;遥操作记录的是主端输入经过映射后的从端执行,不能把主端手势直接当成机器人关节真值;双臂数据要保留左右臂、协同阶段和共同任务边界;移动操作还要增加底盘速度、定位、地图和障碍物事件;全身动作则需要明确躯干、头部、手臂、手部和底盘之间的控制优先级。跨格式合并前,必须知道这些差异会不会改变标签和动作空间。
三、同步与标定是数据能否解释的物理前提
多模态数据最危险的错误不是文件打不开,而是每个文件都能打开、看起来也合理,却并不属于同一个物理时刻。相机帧、关节位置和速度、末端位姿、力矩或触觉、语言事件、遥操作输入与环境状态应共享可比较的时间基准。项目需要记录时钟来源、采样率、时间戳含义、设备启动偏移、网络传输延迟、漂移估计和丢包策略。设备时间、主机时间、记录时间和发布时刻若混在一个 timestamp 字段里,后续就无法解释“看到物体”和“开始闭合夹爪”之间的因果关系。
时间同步不能只写“硬件同步”四个字。硬件触发、软件对时、统一时钟、离线对齐和插值各有适用条件;需要在试采中测量相机曝光时刻与日志时间的差异,验证不同采样率下的重采样规则,并保存同步残差的分布而不是一个漂亮的平均值。速度越快、接触越短、控制频率越高,允许的偏差通常越小。相关标准化讨论引用了移动机器人研究中的例子:时序偏移会明显改变视觉—惯性估计、目标融合和速度判断的物理含义。5 这不是某个项目的通用毫秒承诺,而是提醒验收人员必须把同步误差与任务速度、传感器组合和下游用途绑定起来。
空间标定同样需要写进 episode。最少应有相机内参、镜头畸变参数、相机到机器人基座或末端的外参、工具中心点、力传感器安装方向、移动底盘与地图坐标的关系,以及标定日期、工具更换和重新标定原因。坐标系命名要稳定,不能把 camera、base、world、map、odom 或 tool 的含义留给每个算法工程师自行猜测。对同一物体,图像中的像素位置、深度坐标、机器人末端位姿和地图坐标应能通过版本化变换链回算;若某一路只做了近似对齐,就要标为估计值而非金标准。
动作空间也不是一个可以随意归一化的向量。它可能是关节位置、关节速度、关节力矩、末端位姿增量、夹爪开合、底盘速度、头部姿态或这些量的组合。Open X-Embodiment 项目页以抓取器坐标系下的七维动作向量举例,包含位置、姿态和夹爪开度或其速率,同时指出不同数据集未使用的维度可能被置零。1 这说明动作表示必须随数据集定义保存;“零”有时表示没有该自由度,有时表示该自由度静止,有时只是填充,三者不能在清洗时无条件合并。跨机器人训练还要保留本体映射、关节限位、方向约定、控制频率和动作裁剪记录,否则模型学到的可能是设备差异而不是技能。
四、原始流、派生流与格式层要各司其职
一个可复用的数据包应同时保留原始证据和面向训练的派生视图。原始层可以包含带时间戳的图像、深度、音频、IMU、关节状态、力/触觉、位姿、控制输入和设备状态;派生层可以包含抽帧视频、重采样状态、归一化动作、语言片段、场景标签、事件区间和质量标签。派生层方便模型读取,但不能覆盖或替代原始层。任何裁剪、去噪、插值、压缩、坐标变换、匿名化和标签修订都应有处理版本与输入摘要。
公开的 LeRobotDataset v3 文档给出了一个可参考的工程分层:高频状态、动作和时间戳放入 Parquet,视频按相机组织为 MP4,元数据保存 schema、数据类型、形状、帧率、统计量以及 episode 在共享文件中的起止偏移;episode 边界由元数据解析,而不依赖文件名。3 这类设计适合规模化读写,但并不意味着任何项目都必须采用该格式。对于需要保留异构消息、附件、schema 和回放索引的采集链路,MCAP 规范定义了带 log_time 与 publish_time 的消息记录、channel、schema、chunk、索引、附件和元数据,并允许使用任意序列化方式。4 实际交付可以采用一种格式,也可以提供原始容器加训练转换层,但必须明确转换是否有损、时序是否改变、坐标是否重写、哪些附件被省略。
建议为每个数据包提供一个机器可读 manifest。manifest 至少应包含 dataset_id、episode_id、task_id、embodiment_id、scene_id、collection_batch、schema_version、raw_uri、derived_uri、start_time、end_time、frame_count、sensor_list、calibration_ref、privacy_status、label_status、quality_status 和 checksum。不要把个人姓名、手机号、精确住址或内部项目代号写入公开 manifest;参与者和审核者可以使用项目内不可识别编号。对外提供的路径应与内部存储路径解耦,避免通过文件名反推出场地、客户或人员。
五、标签要描述动作、事件和结果,而不是制造伪真值
动作标签至少分三层。第一层是可观察动作,如末端移动、抓取器开合、接触、释放、底盘移动、视线或头部转动。第二层是任务语义,如接近目标、对准、抓取、搬运、放置、失败恢复和等待。第三层是结果语义,如成功、部分成功、失败、因环境变化中止、因安全策略中止、人工接管和无法判定。语言指令应与实际任务版本关联;如果操作者中途改变目标,保留指令变更事件,而不是用最后一句话覆盖整段轨迹。
对接触丰富的任务,还应增加失败和安全事件标签。包括抓取滑落、夹爪未闭合、物体遮挡、碰撞候选、力矩异常、越过速度或关节限位、通信中断、定位漂移、急停和人工介入。失败轨迹不是垃圾数据:它可以用于失败检测、恢复策略和安全压力测试;但失败原因若只是采集人员事后猜测,就应标为推断或待复核。一个“成功”标签也要有证据来源,例如目标位姿达到误差范围、物体状态改变、任务检查器通过或专家盲审确认,而不能只因为视频看起来顺利。
标注职责需要与字段风险匹配。数据工程人员可以先处理文件完整性、时间轴、格式、设备状态和候选事件;熟悉机器人本体与任务的工程人员应复核动作空间、坐标变换、成功条件和异常轨迹;场景或行业专家可以确认任务语义、对象关系和难例;安全负责人需要审查人机距离、越界、接管和急停事件。初标、复核和仲裁应分开,保留每次修改前后的值、规则版本、证据片段和争议原因。自动预标注可以降低工作量,但不能把预标注通过率写成最终标签准确率。
六、五类验收门要拆成可测量的检查
资料中提出的数量、质量、多样性、格式和标注五类验证,可以改写成一份可执行的验收矩阵。数量门检查 manifest 中声明的 episode、任务、场景、机器人本体和模态是否真实存在,是否有重复导出、空轨迹、截断文件和重复 ID。不能把视频帧数、日志行数或文件大小直接当成 episode 数。每个计数指标都要写清计数主键、去重规则、缺失是否计入分母以及派生副本如何处理。
质量门检查数据能否读取、回放和解释。建议自动检测缺帧、重复时间戳、时间倒退、消息乱序、丢包、视频与状态长度不一致、动作越过物理限位、标定引用不存在、校验摘要不匹配、音频或图像意外为空,以及未经授权的原始身份信息。对连续流,应按 episode 统计有效时间比例、最大间断、同步残差和传感器可用性;对动作,应检查范围、速度、加速度、力矩和控制频率的异常,但异常不一定要删除,可能应被标成失败或安全事件。
多样性门不能简单地追求类别平均。要按机器人本体、末端工具、操作员、场景、光照、物体外观、任务难度、采集日期、控制方式和失败类型统计覆盖。若一个场景贡献了绝大多数成功轨迹,模型可能记住背景、相机位置或操作者习惯。建议预先指定哪些维度必须留出未见组合,并报告长尾任务、失败任务和不可判定任务的数量。多样性是研究目标,不是越多越好;如果为了配平而重复合成同一姿态,也可能制造虚假的泛化证据。
格式门要做“读取—回放—再读取”闭环。随机抽取不同本体、任务和场景的 episode,在目标训练环境中加载,核对 schema、形状、帧率、时间索引、视频帧、动作与状态对齐、坐标变换、附件、版本和校验摘要。一个文件能够被播放器打开,不代表模型读取的动作与画面对应;一个 Parquet 能被解析,也不代表它的 episode 偏移没有跨文件错误。转换工具应输出日志和失败清单,不能静默跳过坏样本。
标注门要检查字段完整性、一致性和可追溯性。成功/失败、动作区间、语言指令、对象、接触和安全事件应按字段分别抽检,报告缺失、冲突、待定和返工率。训练、验证、测试必须至少按对象或场景上层实体隔离;相邻视频帧、同一 episode 的切片、同一物体的重复演示、同一场景的近复制和同一机器人连续采集不能随机散入不同集合。外部测试还应尽量留出未见本体、设备、场景或时间段。验收通过的是数据契约,不是某个模型的榜单排名。
图2 技术示意:展示数量、质量、多样性、格式、标注和安全边界的建议性验收关系,不代表统一阈值、榜单成绩、生产安全认证或实际交付结果。
七、算法路线应从可复现基线开始
对技能数据包,第一条研究路线可以是行为克隆或动作条件策略:以图像、状态、语言和任务上下文为输入,预测下一时刻或短窗口动作;然后再加入时间窗口、力觉、接触事件和失败恢复标签。数据预处理应先固定 episode 切分与动作定义,再做归一化、窗口采样和增强。窗口长度、是否允许跨阶段采样、动作延迟如何处理,都要写入实验配置。若一个任务需要连续接触或恢复,仅用单帧视觉输入可能把关键因果信息丢掉。
跨本体研究可尝试动作映射、末端坐标表示、关节语义对齐、工具条件编码或分层策略,但每种方法都可能引入假设。将不同机器人的动作压成同一维度,可能丢失关节限位、力控能力、手指结构或底盘差异;把未使用的维度填零,可能让模型把“无此自由度”误认为“保持不动”。更稳妥的做法是保留原始动作空间、显式记录 embodiment schema,再提供一个可逆或至少可审计的训练视图。Open X-Embodiment 展示了跨机器人数据和模型迁移的研究价值,但它的实验并不等于任意新本体、任务或环境都能无条件泛化。1
VLA 或世界模型可以作为后续路线,用来结合语言、视觉、状态和动作,或预测未来场景与执行结果;但在工程上必须先回答输入是否同步、空间关系是否稳定、任务是否有足够失败和恢复样本、训练集是否存在场景泄漏,以及模型输出如何受到动作限位和安全控制器约束。研究建议不等于实际部署,离线成功率不等于人机协作安全,仿真通过也不等于现实环境可用。对高风险动作,应采用影子模式、速度与力矩上限、人工确认、急停和回滚,而不是把语言模型直接连接到执行器。
八、肖像、声音和空间地图要在采集前治理
具身数据常常同时包含人脸、身体姿态、声音、说话内容、活动轨迹、室内布局、车牌、屏幕内容和商业生产流程。中国《个人信息保护法》自 2021 年 11 月 1 日施行,要求处理个人信息遵循合法、正当、必要和诚信原则,收集限于实现目的的最小范围,并公开处理目的、方式和范围;处理敏感个人信息还要具有特定目的和充分必要性并取得单独同意。6 这意味着“摄像头只是采集机器人视角”不能自动消除隐私责任。若训练用途、接收方、保存期限或数据类型发生变化,原有告知未必覆盖新的处理目的。
采集方案应把参与者同意、旁观者处理、撤回渠道、访问角色、保存期限、删除方式、跨机构传输和再利用范围写入任务书。训练不必要的原始音频可以不采,必要时在边缘侧提取事件或经过授权的转写;人脸、车牌、工牌、屏幕和文档可以先做不可逆模糊或裁剪,再离开采集设备;室内三维地图应按区域和任务最小化,卧室、卫生间、休息区、敏感生产区或受限区域可以设置隐私禁区。脱敏不是万能的,服装、步态、声音、空间布局和时间序列仍可能重新识别个人或地点,因此应做组合风险评估。
一份 2026 年发布页面标为“征求意见稿”的 AI 机器人数据安全与隐私保护指南,把具身感知、执行、交互日志、个人信息和环境空间数据分开讨论,并提出感知状态提示、边缘脱敏、最小采集、访问审计和人类最终控制等建议。7 由于它明确是征求意见稿,不能把其中的数值、分级或流程当作现行强制标准;它更适合被用作项目自查问题清单。正式项目仍应依据适用辖区的法律、合同、伦理审查、场所规则和机器人安全要求逐项确认。本文不构成法律意见、隐私合规认证或安全审批。
九、安全验收必须覆盖动作空间与人在环控制
具身数据的安全不只是在文件交付前扫描个人信息,还包括采集时机器人是否可能伤人、损坏设备或把错误轨迹当作示范。任务书应描述工作空间、人员距离、速度与力矩限制、工具状态、可触碰区域、动态障碍物、急停方式、失联策略和人工接管条件。采集人员需要知道何时暂停、何时废弃当前 episode、何时重新标定,不能为了完成数量而绕过安全策略。
对遥操作数据,应分别记录主端输入、从端实际执行、控制延迟、力反馈状态、限位裁剪和安全控制器介入。主端动作被裁剪后,标签应该保存“请求动作”和“执行动作”的区别;如果网络抖动造成延迟或动作重放,不要把结果直接当成正常示范。对移动操作,要记录地图版本、定位质量、障碍物告警和底盘控制模式;对双臂任务,要记录两臂之间的碰撞约束和谁触发了暂停。安全事件可以进入训练数据,但必须带有风险标签与访问边界。
上线前建议使用分阶段门控:先做离线回放,再做仿真或受控台架,然后进入有限场景影子运行,最后才评估是否允许某些低风险动作自动执行。每一阶段都要有停止条件和回滚条件,如同步漂移超限、不可用窗口增加、人工接管率异常、隐私残留、碰撞候选上升或模型置信度失配。数据集质量好,不代表策略安全;策略在某个测试集上成功,也不代表它已获得生产许可或监管认可。
十、交付与业务价值:把“可用”写成证据链
对算法团队,技能数据包的价值是把零散的遥操作录像变成可检索、可切分、可回放、可比较的研究对象。对数据工程团队,价值是降低因格式转换、时间错位、标签不一致和重复污染造成的返工。对业务方,价值则不是一个“多少条数据”的营销数字,而是能否在给定本体、场景和任务边界内复现采集、解释失败、更新版本并评估新增数据是否真正扩大覆盖。
在已核验的服务定位边界内,供应方可以围绕项目约定提供采集设备匹配、任务设计、平台编排、数据处理、标注质检和数据交付支持;是否使用某种机器人、格式、采集规模、专家配置、周期或部署模式,应以项目书面规格、试采记录和合同确认为准。不能把选型资料中的硬件参数写成供应方在所有场景均已交付的能力,不能把内部运营面板或制造能力写成库存,也不能把资料中的预标注效率、覆盖数量或成功率升级为普遍模型性能。
建议最终交付至少包括:数据字典与版本历史、任务和技能字典、episode manifest、原始与派生文件、同步和标定记录、数据卡、标注指南、人员角色与复核记录、质量报告、失败样例、隐私处理说明、许可证与授权依据、训练/验证/测试分割清单、转换日志、已知限制和问题回归表。若后续修改动作空间、成功条件、脱敏规则或坐标定义,应生成差分影响清单,确定哪些旧 episode 需要重标、重切或重新验收,而不是静默覆盖旧标签。
具身智能数据建设的核心,不是把硬件选型、遥操作、视频、动作和语言拼成一个更大的宣传词,而是建立从本体到结果的可追溯链。一个小而严格、能复现同步与标定、保留失败和不确定性、尊重参与者与空间隐私的 episode,往往比大量无法解释的成功片段更适合支撑研究。只有当数量、质量、多样性、格式、标注、安全和外部验证同时有证据,技能数据包才有机会从“可下载的文件集合”变成可持续迭代的研发基础设施。
说明:本文为 AI 辅助整理,供研发与数据工程交流;研究建议不等于实际交付、榜单性能、生产安全认证或司法结果,不构成个体法律意见、隐私合规认证、机器人安全认证或资质审批。


