DATASET RESEARCH / EMBODIED
具身第一视角数据标注怎么验收:从任务指令、原子动作到错误帧的可复核时间轴
拆解第一视角具身数据的episode边界、左右手主轴、原子能力、错误帧、同步标定、隐私治理与分层验收方法。
第一视角具身数据常被误解为“把摄像头戴到头上,再给视频配一句说明”。真正进入训练、评测或数据交付后,难点并不在于有没有画面,而在于能否回答一组彼此关联、却不能互相替代的问题:这一段到底要完成什么任务?左右手各自做了什么?动作从哪一帧开始、在哪一帧结束?抓取失败、物体掉落或碰撞是否被如实记录?不同相机、惯性传感器和标签是否处在同一个时间与坐标体系?当画面看不清时,系统能否诚实地标记“不可判定”,而不是为了提高通过率硬填一个动作?
本文把一套面向第一视角、无机器人本体状态数据的标注培训规范,拆解成可用于研发交流和项目规格讨论的方法。这里的“无本体”不是说数据没有动作,而是指采集主体没有直接提供机械臂关节、末端执行器或控制器状态;数据主要由头戴主视野、左右辅助视野和人工标注组成。因此,人工写出的“拿起”“放下”是可观察的人类操作标签,不是已经可以直接驱动某台机器人的控制指令。后续若要做模仿学习或跨本体迁移,还必须增加动作重定向、可达性、碰撞约束和现实环境验证,不能从一套手部文字标签直接推出机器人安全性能。
图1 第一视角具身数据的标注对象分层。技术示意,不含客户样本、设备截图或真实实验结果;图中关系用于研发规格讨论。
一、先定义数据对象:任务指令不是动作轴
一个可复核的样本单元,应该是“一个完整任务episode”,而不是随意截取的一段画面。episode需要有明确的开始条件、任务目标、操作过程和可判断的终态。开头和结尾如果只是采集员准备、收手、摆姿势或离开场景的多余动作,应按规则剔除;但原始文件的索引和裁剪关系要保留,方便日后回放和追责。若一个任务中途失败、重新开始或发生设备异常,不应把多个尝试悄悄拼成一次成功任务,而要分别记录尝试、失败原因和是否进入正式数据。
任务指令是对视频任务内容的一句话概括,例如“将袋中的三个水果放入收纳篮”。它回答的是“最终要做什么”,不回答“每一帧发生了什么”。主轴文本则应只描述左右手的可观察操作,例如“左手拿起桌上的黄色水果,左手将黄色水果放入购物袋”。把任务指令、主轴文本和异常事件拆开,能够避免两个常见错误:一是把目标结果倒填成动作过程,二是让标注员在主轴里加入采集员身体动作、心理推断或与任务无关的旁白。
原子能力是比自然语言更稳定的受控词表。拿起、放下、挂、拉、整理、推、堆叠等词可以作为一级动作;叠衣服应拆为“对折”,铺平衣服应表达为“展开”。有些自然语言动作没有直接对应的原子词,例如“扶正”往往不应新增一个临时类别,而应根据可观察的对象变化改写为“右臂调整某物位置”,并归入“整理”。这不是为了追求词表漂亮,而是为了让同一动作在不同人员、不同场景和不同语言描述之间保持一致。
动作标签还要尊重可见证据。标注员可以说手拿起了物体、将其移到篮子中、把衣物对折,却不能从一段被遮挡的画面推断“已经插到底”“已经拧紧”或“力度达到某个数值”。如果需要接触、力觉、深度或物体状态变化,数据规格必须明确这些信号是否实际采集;没有传感器或清晰视角时,应允许“不确定”“不可见”或“无法确认”,而不是把研究假设写成事实。
二、时间轴要贴合事件,不要只追求平均分段
动作边界是具身数据最容易产生系统性偏差的地方。对于“拿起—放下”这类动作,起点应落在手与物体形成有效抓取、并开始将物体带离原位置的区间;终点应落在物体释放、接触目标容器或稳定放置的区间。具体项目可以规定用手部轨迹最高点、速度变化、接触状态或物体位置变化作为边界参考,但必须在指南中冻结,不能让每位标注员凭直觉选择不同标准。源规范采用“从动作轨迹的最高点分开”的规则,本质上是在为同一连续运动寻找可重复的阶段分界;它不应被误写成适用于所有任务的物理定律。
其他动作可以贴合动作结束,并覆盖手臂收回后的合理位置。例如“拉开抽屉”不应在手刚接触把手时立即结束,也不应把之后长时间站立等待全部算进动作;“整理”则要覆盖对象从凌乱到目标状态发生可观察变化的区间。边界不清时,宁可记录一段候选区间和争议原因,也不要用一个看似精确的单帧掩盖画面证据不足。
错误事件应与正常动作轴并行记录。空夹、物体掉落和碰撞的起点,是审核者明确看见错误发生的时间;终点可以定义到下一次重新操作前,确保事件不会和下一次尝试混在一起。错误帧只写错误类别,不在类别旁边添加无法验证的解释性备注。一个任务如果同类错误达到项目规定的次数上限,应判定该任务不通过,而不是删除错误帧后保留“看起来顺利”的剩余片段。错误样本是训练鲁棒性和评估拒识能力的重要数据,不是应该被运营表格隐藏的噪声。
外部数据集研究说明,细粒度时间标注需要正式的层级本体。Ego-Exo4D将可完成任务的关键步骤标成带起止时间、类别、自然语言描述以及是否必要的时间片段,并为程序性活动建立层级化的keystep taxonomy。1这类设计与“任务指令—原子动作—异常事件”的分层思路相近,但不能直接复制其类别表;不同项目的物体、工具、成功条件和风险边界仍需由项目专家重新定义。
三、多传感器同步与标定是标签可信度的前提
第一视角数据的“看见”不是单一视频属性。主视野、左右辅助相机、IMU、深度或触觉设备可能以不同帧率和不同硬件时钟采集。项目至少应记录设备标识、时钟源、曝光时间或采样时刻、原始时间戳、帧率、丢帧、重启和有效起止区间。文件名里的时间、上传时间或播放器显示的帧号,都不能替代统一时间基准。所有动作标签也应关联同一时间轴,避免出现视频显示“手已放下”、辅助视角仍处于“拿起”状态的假矛盾。
空间标定同样不能被“画面大致对上”替代。数据卡应写清相机内参、畸变参数、多相机外参、坐标系方向、单位和标定版本;如果需要把手部位置投影到物体或场景坐标,还要说明坐标原点、重定位事件和标定失效条件。每次更换镜头、佩戴位置、支架、固件或安装姿态,都应触发重新核验。Ego-Exo4D的公开方案同时提供传感器内外参、共同的重力对齐度量坐标和时间同步流程,并用二维码时钟与人工事件回看共同检查跨相机对齐。1该实践说明,同步不是一个宣传参数,而是自动流程加人工抽查的组合证据。
同步验收建议至少做三类测试。第一类是单调性测试,检查每个流的时间戳是否递增、帧间隔是否落在允许范围、是否出现重复或回退。第二类是跨流事件测试,选择手接触物体、释放物体、碰撞或明显方向改变等事件,检查不同流的时间差。第三类是长时漂移测试,在episode开头、中段和结尾重复比对,防止开头对齐而结尾逐渐错位。任何同步阈值都应根据帧率、动作速度和下游用途书面冻结;不能拿一个研究设备的误差指标外推到所有采集设备。
动作空间也要先定义。对于无本体第一视角数据,可用“受控原子动作+时间区间+对象变化+错误状态”构成离散动作空间,并可在有可靠姿态或接触信号时补充连续轨迹。它描述的是人类操作的观测层,不等于机械臂的关节角、末端速度或抓取力。Open X-Embodiment公开数据将机器人动作表示为相对于夹爪坐标系的七维向量,并明确不同机器人未使用的维度可以固定为零。2这恰好说明,跨本体统一需要明确坐标系、动作维度和缺省语义;人类手部的“拿起”若要转成机器人动作,还必须经过另一个映射和验证阶段。
四、审核流程应保留“看不清”的状态
一个稳妥的标注流程可以分成四级。第一步是数据完整性检查:确认任务对象、双手和关键接触区域在主视野中可见,视野没有长时间越界、频闪、严重模糊或上下翻转,轨迹图和辅助传感器没有明显失效。第二步是正常动作标注:填写任务指令,建立左右手主轴,选择原子能力,并按时间轴切分。第三步是错误事件和异常状态标注:对空夹、掉落、碰撞、任务未完成、场景不符、轨迹异常和不可判定分别编码。第四步才是审核决定:通过、不通过或需复核,并把片段数量、任务类别和版本信息写入可追溯记录。
审核人员的职责不是描述采集员的身体动作,而是判断数据是否支持任务与动作标签。除非项目明确要求全身姿态,否则“采集员转头”“身体向前倾”“手臂收回”等动作不应混进主轴文本。这样做可以减少与机器人任务无关的语言噪声,也避免标注员凭观察者视角描述自己并未被任务定义的本体动作。
“不可判定”必须是一等状态。主视野被手遮挡、辅助视角未覆盖、画面频闪、轨迹光点不随手臂移动、任务没有完成或物体终态仍在滑动时,审核员应记录具体异常并拒绝把片段强行归入成功类。一个系统如果只允许“正确动作”和“错误动作”两种结果,就会把设备缺陷、视野缺失和真实失败混为一谈,最终让模型学会错误的确定性。
机器辅助可以减少重复劳动,但不能跳过人工语义审核。近期的具身视频采集研究把相机标定、原子动作切分、手部重建和异常过滤组织成自动化流水线,同时明确需要人工修正模型可能出现的边界和标签幻觉,并将失败样本放入困难负样本池。5这类路线可作为工程参考,但其系统、设备和实验结果属于论文作者自己的研究,不构成任何公司的交付承诺。对于本任务,机器生成的动作候选、关键点或轨迹只能标记为草稿,必须保存模型版本、置信度、人工修改范围和最终审核状态。
五、从“标注一致”到“评测可用”:把质控分层
图2:标注与验收质量闭环。技术示意用于项目规格与研发交流,不代表统一阈值、既成项目或已经验证的商业交付结果。
验收不能只报一个总体准确率。第一层是结构完整性:每个episode能否打开,主轴与视频是否对齐,任务指令是否存在,标签是否使用允许值,时间戳是否单调,原始数据、裁剪数据和导出数据能否互相追溯。第二层是边界质量:针对拿起、放下、挂、拉或整理等动作,分别统计起止边界误差、区间重叠度和过短/过长片段比例。第三层是语义质量:统计原子能力的一致性、左右手混淆、对象错配、动作顺序错误以及无法判定的合理使用率。第四层是异常质量:单独报告掉落、碰撞、空夹和任务未完成的召回率,不能用正常样本数量稀释错误样本。
标注者之间的分歧也要分类型记录。时间边界分歧,应报告边界差、容忍窗内通过率或区间重叠;类别分歧,应报告混淆矩阵和各类样本数;画面不足,应统计拒答率和不可判定原因。项目阈值应写在冻结版验收方案中,不要把本文的建议数字伪装成公司统一标准。低共识样本可以进入争议集、主动学习池或鲁棒性测试集,但不能在没有理由的情况下静默改成确定标签。
数据切分是另一道闸门。相邻视频帧随机分到训练和测试集,会让模型记住同一个人的手形、同一房间的背景、同一设备的噪声或同一任务模板的固定顺序。更稳妥的做法是按采集员、场景、物体组合、设备批次、任务模板和时间段分组;若目标是跨设备或跨环境使用,还要留出设备外和场景外测试集。Open X-Embodiment展示了跨机器人数据池化的价值,但其公开动作定义和实验评价仍是在具体机器人、任务与数据混合设置下完成,不能据此声称人类第一视角数据已经无条件跨本体泛化。2
交付格式应服务于复现,而不是只服务于下载。LeRobot官方文档把多模态时序数据拆成表格信号、视频和元数据,并用episode记录任务、长度、偏移和边界;同时保留任务文本、时间戳、帧率、数据模式和统计信息。3Robo-DM的研究则强调把视觉、语言和动作流按原始时间戳封装并支持回放,避免靠事后启发式猜测不同流如何对齐。4对于本类第一视角数据,无论最终采用何种文件格式,至少应随交付提供:数据模式、episode索引、任务指令、动作区间、异常事件、设备和标定版本、时间基准、数据切分清单、质量报告、已知局限以及可复核的原始证据索引。
六、隐私、空间安全和现实差距不能靠脱敏口号解决
头戴相机和腕部、夹爪附近的辅助相机,天然可能拍到人脸、声音、门牌、屏幕、证件、室内布局、工位流程和商业空间。采集前应取得参与者对用途、保存期限、访问角色和撤回机制的明确同意;旁观者和偶然入镜者要有遮挡、删除或重新采集的流程。音频如果不是任务必需,应关闭或分离保存;需要保留声音时,应单独说明语音内容、说话人和转录数据的授权边界。即使经过马赛克,手部轨迹、房间布局和时间规律也可能暴露身份或生活习惯,不能把“看不见脸”当作全部隐私保护。
隐私治理应写进数据卡和版本记录:哪些区域不采集,哪些对象必须移除,谁可以访问原始视频,谁只能访问骨骼点或事件表,删除请求如何传播到缓存、备份和派生标注,公开样例是否经过重新确认。公开具身数据集的经验表明,正式同意、隐私政策、采集设备限制和用途边界需要在数据发布前一并设计,而不是等到模型训练后再补充。1
安全上要区分“学习数据验收”和“机器人执行验收”。碰撞、掉落、空夹、关键接触不可见等事件应成为数据中的安全相关标签和困难样本;但文章中的动作描述不应被当作真实机器人执行指令。任何从手部视频到机器人动作的研究,都应在仿真、离线回放、影子模式和有人监管的受限环境中逐级验证,并设置速度、力、空间和急停边界。研究建议不等于实际交付,离线标签一致也不等于榜单性能、现场成功率或司法、监管结果。
七、把这套方法落成一张验收清单
项目启动时,先冻结任务本体:每个任务的一句话指令、可接受终态、原子能力词表、左右手写法、错误类别、不可判定条件和失败规则。随后冻结采集规格:主视野和辅助视野范围、传感器清单、内外参、时间基准、坐标系、数据保留方式、参与者同意和旁观者处理。采集试样应先做同步、标定、视野和隐私检查,确认通过后再扩大规模。
标注阶段,机器可以先给出动作候选和关键帧,但人工复核必须逐项检查任务指令、主轴、原子能力、时间边界、错误事件和终态。审核员遇到画面不足应选择不可判定,遇到设备异常应选择异常状态,遇到真实失败应保留失败标签。抽审应覆盖正常样本、边界帧、手部遮挡、物体掉落、碰撞、左右手协同、不同场景和不同设备,而不是只抽最容易的成功样本。
最终交付时,分别验收同步、结构、语义、异常、隐私和切分。报告应能回答:这段数据来自谁、何时、何地、什么设备和哪个版本;任务从哪一帧开始、何时完成或失败;哪些标签由人工确认、哪些只是模型草稿;发生过什么异常;训练集和测试集如何避免人员、场景和模板泄漏;哪些情况不适用。只有当这些问题都能通过数据卡、回放索引和质量记录复核时,数据才具备进入研发流程的基础。
具身数据的价值不在于把每个视频都包装成“成功示范”,而在于让模型和工程人员同时看到成功、失败、遮挡、缺失与不确定性。对第一视角无本体数据而言,最值得投入的并非再增加一句营销式描述,而是建立稳定的任务本体、可回放的同步标定、可区分的动作与异常标签,以及不会把人类动作直接冒充机器人能力的验收边界。这样形成的数据,才更适合作为后续动作学习、跨视角理解和受控迁移的研发底座。
AI辅助整理,供研发与数据工程交流;文中方法和阈值需按具体设备、任务、参与者授权和书面项目规格重新验证,不构成个体法律意见、生产安全认证、医疗建议或资质审批。


