跳至正文
朗慧科技

DATASET RESEARCH / EMBODIED

从第一视角到遥操作:具身数据采购需求如何拆成可验收交付

从真实具身数据采购需求出发,拆解成品数据、增量采集与标注交付,说明episode、同步标定、坐标系、动作空间、隐私与分层验收。

具身智能数据AI辅助整理 · 研发交流

具身数据项目最容易被低估的地方,不是相机数量或视频小时数,而是“看见了什么”“动作究竟是什么”“这一帧和哪一个状态对应”能否被第三方复核。一份真实的具身数据服务需求,往往同时提出已有成品数据、增量采集、标注加工三类要求,并把第一视角视频、视觉—惯性数据、遥操作数据以及家居、装配、酒店物料、货架和物流等场景放在同一张表里。若只按设备型号、小时数或单价比较,最终得到的可能是一批可播放但不可训练、可训练但不可追溯,或者看似同步却无法映射到目标机器人动作空间的数据。

本文把这类需求抽象为一套采购前的技术拆解与验收方法。它不是任何供应商的现货清单,也不把需求表中的产能、报价、客户案例或设备宣传数字当作已经交付的事实。文章的对象是数据工程、机器人算法、采集运营和合规人员共同使用的项目规格:先定义样本,再定义证据,最后才决定设备、人员和规模。

先判断来源:真实需求不等于宣传覆盖

这类材料具备独立的数据需求特征:它不仅询问设备,还区分自有版权成品、按要求新增采集以及视频分割、打标和动作 caption,要求说明输出文件和样例;同时给出了第一视角、视觉—惯性组合和真机遥操作等不同数据类型。这些内容可以被去除身份、价格、库存、客户与保密信息后,重写为公开的技术分析。它与一般“具身智能解决方案”宣传的差别,在于必须回答样本边界、字段、标签、同步、授权和验收。

公开页面中可以找到硬件矩阵、平台工具链、标准数据集品类和一般交付流程,但这些页面没有逐项覆盖上述需求的任务定义、episode边界、动作空间、同步标定证据、失败事件、训练评测隔离和数据主体授权。因此,不能因为网站已有具身栏目,就把这份采购需求标为已覆盖;也不能把设备介绍中的参数直接写成数据项目已经达到的质量。相反,来源资格的结论应是:它是可拆解的采购型数据需求,文章只讨论如何形成可验收规格,不替任何一方证明交付能力。

还要把相邻材料分清楚。仅包含双目设备参数、报价、样机政策或售后的选型回复,解决的是设备询价,不等于本需求中“成品数据—增量采集—标注交付”的完整问题;只展示设备、平台和场景矩阵的演示文稿,也不能替代数据授权与验收定义。它们可以互相补充背景,但不应将同一设备规格循环包装成多篇独立数据需求。

一、把一张需求表拆成三个产品对象

第一类是已有版权成品数据。采购方真正需要的不是“有多少小时”的口头数字,而是一份数据资产说明:每个小时由多少 episode 组成,采集设备和版本是什么,是否保留原始帧,是否包含音频、IMU、深度或手部状态,数据的权利链覆盖哪些参与者和场景,是否允许训练、评测、再加工和再分发。若成品数据只提供压缩视频,没有同步信息、相机标定或动作标签,就应把它定位为视觉预训练或场景理解素材,而不能自动宣称可用于机器人策略学习。

第二类是增量采集。它应从“每周多少小时”改写为任务矩阵:场景、对象、动作、人员、设备组合、光照和遮挡条件各覆盖多少;每个任务的完成条件、失败条件、中断原因和安全停机方式是什么。第一视角视频的采集员是在记录自然操作,还是在按脚本执行动作,也要写清楚。自然操作有利于获得真实节奏,但动作边界可能不稳定;脚本采集便于控制变量,却可能让操作者改变姿态或视线。二者都可以交付,但标签和用途不能混为一谈。

第三类是标注加工。视频分割、打标和动作 caption 不是三个同义词。分割回答“一个事件从哪一帧开始到哪一帧结束”;动作标签回答“发生了什么原子动作、作用于什么对象、处于什么状态”;caption 则是面向人或模型的自然语言描述。采购规格至少应说明是否允许多标签重叠、如何标记等待与空手移动、是否保留失败动作,以及语言标签是否描述观察到的事实而不是猜测操作者意图。

这三个产品对象应各自有版本、数据卡和验收记录。成品数据重点是权利、来源和分布;新增采集重点是协议、设备、人员和场景覆盖;标注加工重点是指南、培训、复核和返工。把三者都折算成“小时”会掩盖真实成本,也会让验收无法追责。

二、以 episode 而不是视频小时作为基本单位

对于具身数据,一个可复核的最小单位通常是 episode:从任务开始事件到完成、失败、中断或安全停机事件的一段完整记录。长视频可以切成多个 episode,但不能只按固定时长机械切片;应保留任务上下文、前置状态和结束原因。若一个人先走到货架再拿取物品,走动、寻找、伸手、抓取、放置和回退可以是动作片段,但整个 episode 仍需保存,以便研究者判断动作是否由前文触发。

建议每段都提供 manifest,至少包括唯一 episode 标识、采集批次、场景类别、任务文本、参与者或匿名采集员标识、设备与固件版本、传感器列表、开始与结束时间、帧数、采样率、文件校验和、权限状态、异常码、标注版本以及成功/失败/中断状态。元数据不应把个人姓名、精确住址或客户项目代号直接写入文件名。可通过受控映射表保存必要的内部追溯关系,公开交付只保留最小化的匿名标识。

LeRobot 的公开文档把低维状态、动作和时间戳放入表格数据,把相机视频分片存储,并用元数据记录 schema、帧率、统计量和 episode 分段,这种“数据与元数据解耦”的思路适合用来检查采购规格是否完整4。它不是唯一格式,也不意味着所有第一视角数据都应强行转成同一个 schema;若原始数据没有机器人状态,就应明确标记为空,而不是填入伪造的零动作。

Episode 还应保留“不可用但有价值”的记录。失败、碰撞前的撤回、遮挡、网络中断和安全停机,可能正是安全策略和异常检测所需的样本。DROID 的采集协议同时记录成功与未成功轨迹,并把采集员输入的任务、相机输出、机器人状态和成功标志放入元数据;其场景、任务、对象、视角和交互位置的多样性分析也说明,丰富的任务名额不等于丰富的行为覆盖2。实际项目不必照搬该数据集,但应借鉴“失败有原因、轨迹有上下文、场景变化有记录”的原则。

三、同步和标定:不能只写“硬件同步”

“硬件同步”“微秒级”或“亚毫秒”只是待验证的方案描述,不是验收结论。采购方应要求交付同步方法、时钟来源、时间戳语义、设备重启后的行为、跨设备漂移、丢帧和断点续传规则。相机的曝光时间、帧生成时间、编码时间和写盘时间不是同一个概念;如果只比较文件时间戳,可能把网络延迟误判成传感器同步误差。

试采阶段可使用统一触发、LED 闪烁、机械敲击或音频脉冲作为可观察事件,同时记录外部参考时钟。验收报告应给出事件级偏差的中位数、分位数、最大值、漂移趋势和异常样本,而不是只给一个平均值。还要单独测试设备温升、存储写满、无线重连和多设备并行时的表现,因为同步在短样本上合格,不代表持续采集后仍然合格。若项目需要把腕部相机、头戴相机、IMU和遥操作状态拼在一起,还应验证每一路数据的时间戳是否来自同一时基,以及转换工具是否保留原始时间。

空间标定同样要落到文件和工况。相机内参包括焦距、主点、畸变模型和分辨率;外参要说明相机相对头戴、手部、末端或本体的坐标关系;每次重新装配、拆卸或改变镜头位置都应有标定版本。标定残差只说明指定数据上的几何拟合,不能直接变成“全场景定位精度”。需要同时保留参考板或参考系统、采集姿态、残差分布和独立验证结果。

坐标系要写成可计算的契约。ROS REP-103 建议使用 SI 单位、右手系,并对机体坐标和相机 optical 坐标规定方向;REP-105 则区分连续但会漂移的 odom、用于长期定位但可能跳变的 map,以及刚性连接本体的 base_link5。对第一视角数据,应至少声明相机坐标、头戴坐标、手部或工具坐标、机器人本体坐标和场景坐标的父子关系,给出旋转表示、单位、时间参考和变换方向。否则同一个“向前移动”可能在不同数据源中代表不同轴向,后续训练或回放会出现静默错误。

跨模态对齐链:从原始采集、时空标定到可训练样本查看完整技术图(可放大)

图1:跨模态对齐链的原创技术示意。仅用于说明数据结构、坐标和验收关系,不代表任何设备的已验证性能或既成项目。

四、第一视角、视觉—惯性与遥操作不能混成一种动作数据

第一视角视频天然记录的是人的视野和手部活动,不天然包含机器人可执行动作。它适合学习场景、物体、动作语义和操作顺序,但如果要训练策略,还需要手部姿态、工具轨迹、物体位姿、动作先验或后续映射。Ego4D 的公开研究同时展示了视频、文本叙述、音频、3D 扫描、凝视、IMU和多相机等不同模态,并明确指出不同头戴相机的视场和佩戴方式会改变能看到的交互区域3。因此“第一视角”不能被当作统一传感器规格,更不能由视频小时数推导机器人动作质量。

视觉—惯性数据比纯视频多了运动约束,但它仍可能只描述采集者头部或身体运动。需求中若出现“Ego+UMI”这样的组合,必须在项目开始前确认 UMI 的含义、输出通道、安装位置、坐标定义和是否能导出原始数据;不能根据缩写猜测它是手部、工具、末端还是机器人状态。建议把“可观察动作”和“可执行动作”分列:前者是手接近、抓取、旋转、放置等事件,后者是末端位姿、关节位置/速度、夹爪开合或力控指令。

遥操作数据则应同时保存操作者输入和机器人实际反馈。输入可能是六自由度位姿、关节目标、速度、夹爪命令或离散按钮;反馈可能包含关节位置、速度、电流、末端位姿、接触状态和安全控制器介入。两者不一致时,必须记录延迟、限幅、碰撞保护、跟随失败和重新接管。不能把“操作者发出抓取命令”直接标成“机器人成功抓取”。DROID 将 6D 末端控制、夹爪状态、关节空间和末端空间动作同时记录,并把遥操作设备、相机和机器人平台作为采集协议的一部分2,这体现了动作空间必须和硬件、坐标及反馈一起定义。

多本体数据还存在跨机器人不可直接比较的问题。Open X-Embodiment 汇集了不同机器人、摄像机和输入模态,并使用统一格式承载差异;其研究明确提醒,即使把动作粗略归一到七维末端向量,不同数据集的坐标系、绝对/相对位置或速度语义仍可能不同,同一向量在不同本体上会产生不同运动1。所以“对齐某开放标准”最多说明文件组织或字段映射有参考,不代表跨机器人零转换,也不代表模型已经具备无条件泛化能力。

五、标签体系要能回答“做了什么、何时做、是否成功”

建议把标签设计成四层。第一层是场景与对象:场景类型、空间区域、对象类别、可见性、可操作性和对象实例 ID。第二层是事件边界:接近、观察、伸手、接触、抓取、移动、放置、释放、等待、撤回和安全停机。第三层是状态与结果:目标是否被拿起、物体是否滑落、是否发生碰撞、是否遮挡、是否需要重试。第四层是语言:任务指令、短动作 caption 和失败原因。四层可以互相关联,但不应使用一个自由文本字段代替所有结构化信息。

分段指南应给出边界例子。比如“手已接触但尚未施加足够力量”是否算抓取开始;“物体离开桌面但尚未放到目标区域”是搬运还是抓取延续;机器人停住等待人让路是等待、失败还是中断。对高速动作,应允许一个原子动作跨越多帧,并记录低置信度或不可判定区间。对不确定内容,标注员应选择“未知/遮挡/无法判断”,而不是为了完整率猜测。

人员配置也要匹配标签风险。采集员需要训练任务脚本、设备佩戴、隐私避让和安全停机;标注员需要熟悉动作定义、坐标和时间边界;机器人或制造专家负责检查动作是否符合工艺、工具和安全常识;数据工程师负责 schema、同步、版本和自动检查;合规人员负责授权文本、删除请求、跨主体共享和敏感信息最小化。专家复核不是在公开稿中宣称“精度保证”,而是项目组织中的职责分工。

标签质量应同时看一致性和有效性。可以按任务、场景、人员和设备分层抽样,由两名标注员独立标注一部分,计算边界偏差、标签一致性和关键事件漏标率;再由专家检查模型真正关心的动作—对象关系。自动模型可以预标注,但预标注效率不能代替人工复核,也不能把算法与人工意见的差异隐藏掉。所有修订都应有标注指南版本、返工原因和影响范围。

六、隐私、公开授权与现场安全是数据字段的一部分

第一视角采集很容易拍到旁观者的脸、声音、屏幕、门牌、家庭布局、仓库货架、订单或工艺信息。Ego4D 的研究将采集者知情同意、可撤回和查看/删改自己的视频、尊重私人空间、去除可识别信息列为伦理基础,并说明只有部分获得同意的视频保留未模糊人脸3。这不是某个项目的自动通行证,但说明“拍到人”与“可以交付”之间必须有治理链。

若采集或处理发生在中国大陆,应先确认处理者、处理目的、保存期限、共享范围和数据出境路径,再决定是否录制音频、面部和可定位空间。个人信息保护法自 2021 年 11 月 1 日起施行,个人信息处理需要遵循告知、目的明确、必要性和安全保护等边界;涉及敏感个人信息时,应在项目文件中单独说明必要性、保护措施和授权依据8。2025 年官方对人脸识别规则的解读进一步强调特定目的和充分必要性、单独同意、保存最短期限、影响评估、加密和访问控制,并要求存在其他方式时不能把刷脸作为唯一验证方式7。具身项目未必使用人脸识别,但人脸视频、声音、生物特征推断和室内空间轨迹都应按风险分级处理,不能用“只是训练数据”替代法律判断。

最低限度的现场措施包括:采集前书面告知并记录同意版本;对非参与者设置避让、遮挡或实时中止机制;在酒店、家庭、工厂和商超分别规定可进入区域;默认关闭不必要的麦克风、凝视或生物特征通道;对交付副本做人脸、屏幕、语音和地理标识的去识别;将原始数据和脱敏数据分层存储;提供删除、撤回和问题上报通道。若项目需要保留真实声音或未模糊面部,应把用途、范围、期限、访问角色和退出后的处理写入授权,而不是事后补一张泛化同意书。

安全还包括人和机器人。真实场景采集不能要求人员靠近危险运动部件、攀爬、搬运超出能力的物品或绕过安全联锁来“补一条成功轨迹”。遥操作数据应记录急停、限速、碰撞保护和人工接管;训练或回放前先在离线环境和受控测试台验证,不向模型或操作者提供未经评估的生产执行指令。研究建议、数据字段和试采结果,不等同于生产安全认证。

七、把验收拆成四道闸门

第一道是样例可读。采购方抽取不同场景、设备、人员和结果状态,验证文件可以解码,manifest 与实际帧数、时长、采样率一致,校验和可复算,原始与派生文件关系清楚。样例还应包含至少一段失败或中断记录,避免供应方只挑选最漂亮的片段。

第二道是传感器可用。核对时间戳是否单调、帧是否重复或丢失、IMU 是否有缺口、标定文件是否与设备版本匹配、坐标变换是否可逆、同步事件是否在所有通道可见。同步、定位和标定阈值不应直接套用宣传页数字;应由试采基线、目标任务和合同共同确定,并报告分布与异常,而非只报合格率。

第三道是标签一致。对动作边界、对象实例、caption、接触/失败事件分层抽检;高风险任务提高专家复核比例;返工后重新抽样而不是只替换问题行。应区分“文件有标签”“标签符合指南”和“标签能改善下游训练”三件事,后一项要通过独立训练/评测才有证据。

第四道是下游可复现。冻结训练、验证和测试分割,至少按人员、场地、任务或时间隔离;去除同一轨迹的片段泄漏和近重复样本。先做离线加载、回放、坐标变换和动作重建,再做受控策略实验。实验指标只能说明指定模型、数据、机器人和工况,不是供应商的榜单成绩,也不是司法或监管结果。

试采验收可以采用“问题单—修复—复验”的闭环:问题单写明 episode、通道、时间范围、严重程度和复现步骤;修复记录写明变更的原始数据、派生文件、标签指南或工具版本;复验要确认旧问题没有转移成新的时间、坐标或隐私问题。所有阈值都应在项目书面规格中固定,不能在看到结果后临时改变。

试采到交付的分层验收闸门查看完整技术图(可放大)

图2:试采、数据质量和下游验收的原创技术示意。仅说明可操作的质量闸门,不代表任何供应商的交付结果、榜单性能或生产安全认证。

八、算法路线和业务价值:先保证可用,再谈规模

对第一视角视频,可以先做动作片段检索、场景理解、对象交互和语言叙述,再用小规模人工对齐手部或工具运动。对视觉—惯性数据,可做轨迹平滑、姿态估计和运动片段分割,但要把漂移、遮挡和坐标变换误差传递到样本置信度。对遥操作数据,可在本体和目标任务固定后训练行为克隆、动作分段或视觉—语言—动作策略;如果本体改变,必须重新核对动作空间、相机视角、末端坐标和控制频率。

Open X-Embodiment 的经验说明,多本体混合训练可以成为研究路线,但数据规范化并没有消除动作语义差异1。DROID 的场景和任务变化表明,扩大采集点并不自动解决长尾任务、对象分布或视角偏差2。Ego4D 也提醒研究者,城市和大学周边参与者、疫情期间的居家活动和电池时长都会形成偏差3。因此项目应把覆盖矩阵、失败样本比例、近重复率、人员与场地隔离、训练/测试分布写进数据卡,而不是只追求总小时数。

对数据服务商而言,真正可交付的价值是把需求变成可比较的方案:客户可以知道买到的是视觉素材、可训练的多模态 episode、遥操作轨迹,还是包含标注、标定和质量证据的完整包;算法团队可以提前发现动作空间不匹配;采集运营可以按任务和异常排班;合规团队可以逐场景检查同意、脱敏和共享范围。硬件、采集、标注和平台可以围绕项目约定形成协同,但是否具备某种现货、固定产能、版权或量产能力,仍须以当前书面规格、样例、权利证明和验收记录确认。

结语:把“能采”改成“能证明”

具身数据采购的核心不是把第一视角、视觉—惯性、双臂或遥操作都写进需求,而是明确每一种数据回答什么问题、缺少什么信息、如何与目标机器人连接。一个合格的项目规格至少应同时包含任务矩阵、episode定义、模态清单、时间同步、内外参与坐标系、动作空间、标签指南、失败事件、人员职责、隐私授权、训练评测分割和分层验收。只要其中一项缺失,规模数字就可能掩盖不可复现的质量风险。

研究论文和开放格式可以提供设计参照,不能自动变成商业交付承诺;供应商能力介绍可以帮助选型,不能代替权利链、样例测试和验收;一次试采成功,可以支持下一轮实验,不能推导无条件跨场景泛化。最稳妥的路线是从少量、可授权、可回放的任务开始,完成同步标定和标签复核,再根据独立评测结果扩展人员、场地和本体。

AI辅助整理,供研发与数据工程交流;不构成个体法律意见、数据授权证明或生产安全认证。实际项目仍需由数据主体、采集方、算法团队和具备相应资质的法律/安全人员按适用辖区复核。

参考来源

  1. Open X-Embodiment: Robotic Learning Datasets and RT-X Models
  2. DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
  3. Ego4D: Around the World in 3,000 Hours of Egocentric Video
  4. LeRobotDataset v3.0
  5. REP-103: Standard Units of Measure and Coordinate Conventions
  6. REP-105: Coordinate Frames for Mobile Platforms
  7. 《人脸识别技术应用安全管理办法》答记者问
  8. 中华人民共和国个人信息保护法

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:从第一视角到遥操作:具身数据采购需求如何拆成可验收交付

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。