跳至正文
朗慧科技

DATASET RESEARCH / CODING

Coding Agent 轨迹的原生消息与可复现验收:从真实交互到工程交付

聚焦真实用户 Coding Agent 轨迹,拆解 session/call、Anthropic 原生消息块、工具配对、环境快照、测试 oracle、隐私授权、许可证与可复现验收。

Coding与Agent数据AI辅助整理 · 研发交流

先给结论:这是 Coding 数据需求,不是具身机器人数据

这份技术规格可以被判定为独立的数据集与验收需求,领域应归入 Coding。它要求采集人在客户端、IDE 或网页中实际发起的真实 Agent 交互,保留模型请求、工具调用、工具返回和最终回复,并用 session 与 call 两个层级组织交付。它同时明确排除 terminal 或 sandbox 的预设任务、批量 API 程序化调用、合成数据,以及 cron、heartbeat、no_reply 等机器轮。这些限制直接约束了编码环境中的来源真实性、上下文完整性和样本可验收性。

需要先纠正一个目录造成的误读:这里的“环境”是数字工作环境,核心对象是代码任务上下文、文件与仓库状态、原生消息块、工具事件、测试反馈和会话元数据,不是机器人本体、相机、关节、力觉或空间动作。原规格没有提出传感器采集、遥操作、动作空间、episode 对齐、坐标标定或物理安全事件,因此不能因为出现 Agent、环境和真实交互等词,就把它归为 embodied,也不能宣称这批数据要求物理数据。将 tool_use 当作软件工具调用、将 tool_result 当作程序或环境返回,才符合其实际数据契约。

更准确的定位是:面向数字编码与软件工程 Agent 的原生交互轨迹规格。它的独立价值在于把真实用户来源、Anthropic 原生消息结构、session/call 双层交付、工具配对、thinking 字段的完整性、版本化环境和隔离验收放在同一个可审计框架中。公开的 AI Coding 数据服务内容也将仓库级工程、Agent 环境、任务/轨迹/评分和分批验收作为可围绕项目约定的方向,但页面介绍不等于本次规格已经完成交付或取得任何模型性能保证。7

Coding Agent 轨迹从真实编码交互、Session 聚合、原生消息到隔离验收的审计流程(技术示意,不代表已验证性能或既成项目)查看完整技术图(可放大)

图 1|Coding Agent 轨迹从来源识别到可审计交付的流程。技术示意,不代表已验证性能或既成项目。

需求真正购买的是什么

第一层是“真实发生过的编码或工程交互”,而不是若干看起来像对话的 JSON。采集对象是在真实客户端、IDE 或网页内由人发起的任务;预设 terminal 或 sandbox 任务、批量 API 程序化调用和合成数据都被排除。对 Coding 数据而言,这一门槛决定样本是否保留了真实用户如何描述问题、阅读代码或工具反馈、改变实现策略、处理错误并结束任务。如果生产者为了凑够轮次而把固定题面批量喂给模型,得到的只是模板化 rollout,不能代表真实的软件工程协作。

第二层是完整 session,而不是单次请求响应。一个 session 可以包含多个 call;同一 session 内应保持同一用户、上下文和会话标识,且每个 call 有全局唯一 request_id、可排序时间戳、实际模型标识、推理努力档位和完整原生请求体。这样组织既保留长程上下文,也让数据团队能从一个工程任务回溯到单次调用。若只保留最后一条 assistant 文本,就无法判断模型是否读取过文件、调用过测试、看到了什么错误返回、发生了几次重试,也无法区分自然的失败恢复与后处理脚本伪造的成功。

第三层是原生消息保真。规范要求 system、tools 和 messages 在规定字段中独立保存,assistant content 是 block list;thinking、text、tool_use、tool_result 和 image 等类型不能拼成一段字符串,也不能把 Anthropic 的 tool_use 与 tool_result 擅自改写成另一种供应商的 tool_calls 结构。官方文档将 extended thinking 与工具交互描述为有结构的内容块,并说明支持 adaptive thinking 的模型使用 effort 控制推理深度,而不是简单沿用固定 budget_tokens 方式。1 因此,验收不应只问“JSON 能不能打开”,还要问每个块的类型、顺序、签名字段、工具 ID 和结果 ID 是否可追溯。

这里必须把字段完整性和内容公开分开。规格要求保留 thinking 类型及其签名字段,是为了证明消息结构没有被错误转写;它不是要求公开模型的私密推理,也不是任何人都可采集、训练或再分发该字段的默认权利。对 thinking、工具参数、代码载荷和系统提示,应分别记录必要性、授权范围、访问角色、留存期限、删除路径和供应商条款。交付可以保留结构化元数据供质量检查,但不能在公开稿中复制真实签名、私有提示、凭据或模型内部内容。

样本单元:从 Coding Session 到可核验 Block

建议把一条样本定义为一个具有唯一 instance_id 的完整 session manifest,而不是一行孤立文本。manifest 至少应指向 session_id、创建和结束时间、模型与版本、请求数量、使用的客户端或 harness、数据版本、用途状态和授权状态。其下按时间排序保存 request 与 response 记录,每条记录包含请求体、响应体、工具事件、状态、时间戳、错误分类和校验摘要。若同一 session 被截成多个快照,应保留信息最完整且状态最明确的版本,不能把中间快照误当成新的训练样本。

在 Coding 任务层,最好进一步把 session 关联到可审计的任务单元。任务单元可以围绕仓库、文件、提交或 issue 建立,但具体粒度必须由项目书面确认;其元数据应说明目标、初始工作区、约束、允许的工具、依赖版本和完成条件。不要仅凭自然语言标题猜任务边界,也不要把同一仓库的连续会话拆成互相独立的样本。若任务包含补丁、测试日志或代码审查意见,应通过稳定 ID 与对应 call 关联,并记录哪些内容属于原始证据、哪些是后处理标签。

消息层需要把以下字段作为不可丢失的结构化标签:user、assistant、system 和工具结果的角色;text、thinking、redacted_thinking、tool_use、tool_result、image 等块类型;tool_use.id 与 tool_result.tool_use_id 的配对;thinking block 是否有非空 signature;模型停止原因;以及工具 schema 是否能在当前 request.tools 中找到同名定义。标签的意义不是让模型学习私密内部实现,而是让数据团队能把“工具调用缺结果”“结果引用不存在”“thinking 结构丢失”“system 被拼进 user”“测试返回与调用不匹配”等故障定位到具体层级。

还应把数据目的和用途标签显式分开:训练样本、开发调试样本、私有评测样本和质量回放样本不能共用一个状态。真实 Coding 轨迹可能同时有工程价值和隐私风险,不能仅凭“未公开”就默认为可训练,也不能仅凭“公开仓库”就默认为可商用再分发。原始版本、受控查看版本、必要字段版本和可进入训练集的版本应有不同访问权限与版本号。若工具结果含私有仓库内容、内部 API、文件路径、凭据或客户资料,应在授权和最小化审查前阻断外发;公开稿只描述抽象字段和验收方法。

Coding Agent 轨迹的任务、工具、环境与验收边界(技术示意,不代表已执行来源代码或已验证工程性能)查看完整技术图(可放大)

图 2|Coding Agent 轨迹的任务、工具、环境与验收边界。技术示意,不代表已执行来源代码、客户仓库或已验证工程性能。

原生格式如何验收:不要把解析通过当作质量通过

一套可执行的验收可以分成五道门。第一道是身份与范围门:session_id 在交付范围内不重复,同一 session 的模型和用户上下文一致,模型属于书面规格允许的范围,时间戳是可排序的 ISO 8601,thinking_effort 也在允许集合内。模型名称、版本和实际生成记录必须一致,不能用一个品牌名掩盖降级模型、混合批次或未经说明的代理调用。

第二道是结构门:request.system 非空且保持独立,request.tools 是合法列表,工具至少具备 name、description 和 input_schema;第一条消息是 user;assistant content 是 block list;每个 thinking block 的签名字段按规格存在;每个 tool_use 都有 ID、名称和字典型 input;每个 tool_result 都能回指此前的 tool_use。任何关键块被转写、拼接、丢弃或跨 session 串接,都应按整条样本拒收,而不是只在报告里打一个小警告。对代码或文件内容,也要区分结构字段与载荷权限,不能为了满足格式而把敏感内容复制到公开层。

第三道是真实性门:不得把固定题面、批量 API、合成回复、机器心跳和空转轮次混入真实交互。原规格给出了 assistant 轮数至少五轮、cron/heartbeat/no_reply 用户轮占比低于四分之一、工具调用错误占比低于四分之一等验收锚点;这些是本批次的需求阈值,不是所有 Coding 数据集的通用行业标准。实施时必须同时写明分母、抽样方式、错误定义和返工规则,避免把单批次数字包装成公司长期能力、模型性能或榜单成绩。

第四道是完整性门:保存原始 request 与 response 的哈希、批次清单、校验失败原因和修订历史,抽查工具调用与返回的配对率,检查停止原因不能为空,确认轨迹不是停在最后一个 tool_use 后就结束。若要开展代码或工具链回放,应在隔离环境中使用无真实凭据的替身工具、固定依赖快照和最小权限,验证事件顺序、补丁应用结果和测试输出是否相互支持;不应为了验收而运行来源材料中的任意命令,也不应把真实用户工作区直接暴露给评审者。

第五道是污染与切分门:同一用户、同一仓库、同一工作区、同一 issue 或同一连续 session 的内容不能跨训练、验证和测试泄漏。长轨迹切分应以 session 或任务边界为单位,而不是把相邻消息随机拆开。若项目比较不同模型或不同 harness,应固定环境、工具定义、数据摘要和随机种子,再分别报告模型差异、脚手架差异、环境故障和数据缺陷。补丁接受、测试通过、题目正确和真实工程价值是不同判断,不能用公开基准成绩替代本项目的独立 oracle。

代码、工具和依赖:把工程证据留在数据卡里

Coding 轨迹的可复现性不只取决于消息格式。每个任务单元还应记录语言和运行时版本、依赖锁定方式、构建或测试入口、工具 schema 版本、初始工作区摘要、可访问路径和网络策略。若某次调用修改了文件,应保存可审计的差异摘要、修改前后哈希、测试命令的授权状态以及结果分类;公开稿不复制真实仓库代码、私有路径或凭据。若测试依赖外部服务,应明确是替身、冻结响应还是已授权的离线夹具,避免把一次偶然的网络结果误写成可重复的测试 oracle。

专家复核应区分四种问题:任务理解是否正确,补丁是否满足题面,测试是否通过,以及变更是否在真实工程约束下可接受。测试通过不必然说明补丁质量高,测试失败也不必然说明轨迹没有价值;失败可能来自依赖、权限、环境、测试本身或模型判断。标签应记录证据和失败来源,而不是只给一个“成功/失败”总分。对于 issue、代码审查意见和人工修订,应保留其来源类型、授权状态和与样本的关联,不把审查者的私密评论直接当训练目标。

许可和再分发是 Coding 数据的硬边界。仓库公开可访问,不等于允许复制、训练、商用或将衍生数据重新发布;代码、数据集、工具包、模型输出、文档和依赖可能分别适用不同条款。入库前应核对来源许可证、训练使用权、工具调用条款、模型输出限制和衍生数据权利,保留核验记录。若许可尚未确认,应把样本放入受控待审层,而不是用“公开仓库”标签替代授权。对客户代码、内部 API、访问令牌和真实工作区信息,公开稿和公开数据都不得复制。

污染检查也不能只比较字符串。应按仓库、任务族、时间、用户、提交和工具输出来源建立隔离键;对相似补丁、重复 issue 描述、共享测试夹具、连续会话前缀和同一工作区快照进行组合检查。训练样本中若包含隐藏测试、完整参考补丁或可直接绕过任务的工具输出,模型学到的可能是模板而不是工程能力。更稳妥的交付是把训练可见字段、回放字段、独立验证字段和审计字段分层授权,并在数据卡中标注污染未知的部分。

隐私与公开依据:原始日志不能以“不脱敏”为质量卖点

这份规格倾向保留原始上下文,并要求若做脱敏要单独说明。该倾向可能有利于排错和轨迹完整性,却不构成公开授权。真实用户在 IDE 或网页中可能输入代码、文件路径、访问令牌、内部地址、客户资料、语音、图像和个人偏好;工具返回还可能把这些内容扩散到日志、错误堆栈或生成文件中。即使文本表面没有姓名,账号标识、项目路径、时间组合和独特任务也可能重新识别个人或组织。

如果处理活动发生在中国境内,或者境外处理涉及向境内自然人提供服务、分析其行为等情形,2021 年通过的《个人信息保护法》适用范围需要由专业人员结合事实确认。该法要求处理具有明确合理目的并限于最小范围,要求在处理前告知目的、方式、种类和保存期限;委托处理应约定目的、期限、方式、种类和保护措施,公开个人信息通常还需要单独同意,向境外提供则有告知、单独同意和适用条件等要求。4 这并不是说本文可以替任何项目做合规结论,而是说明“原则不脱敏”不能替代授权、告知、最小化和访问控制。

项目至少应先回答:谁是个人信息处理者,谁是受托者,用户是否知道交互会被记录并用于训练或评测,是否有单独同意和撤回机制,代码与企业机密如何处理,保留多久,如何响应删除与查阅请求,跨境传输是否存在,以及公开稿是否只使用抽象化技术描述。涉及敏感个人信息、委托处理、公开或跨境提供时,应在目标司法辖区做个人信息保护影响评估;当前规格没有给出辖区、主体角色、授权文本和保存周期,所以不能宣称已经满足任何法域要求。

NIST Privacy Framework 是一种自愿性的企业风险管理工具,目的在于帮助组织识别和管理隐私风险,同时保护个人。6 它可作为工程检查的补充:先盘点数据流,再定义谁能看原始 block、谁只能看脱敏摘要;把密钥、路径、代码、声音、人像和空间信息设为高风险字段;记录访问、导出、删除和泄露响应;用版本化数据卡说明训练、评测与再分发边界。“去标识化”也不能被理解为万能遮罩,仍需通过重识别风险、链接攻击和独特轨迹检查来验证。

算法路线与工程局限

若目标是训练 Coding Agent,推荐先用结构化解析器建立 block 级质量集,再按任务目的选择监督方式。对 SFT,可以保留用户目标、代码上下文、工具调用、测试反馈和最终结果之间的时序关系,另设格式校验损失,惩罚不存在的工具、未闭合的调用、与原文不一致的参数和不符合 schema 的补丁元数据。对过程奖励或偏好数据,应把问题定位、状态更新、失败恢复、停止时机、测试证据和最终闭环分开评分,不能只因最终回答流畅就把整条轨迹判为优质。

对于 thinking block,要把“格式完整”与“是否应进入训练”分成两个决策。签名字段能证明上下文结构没有被破坏,但不等于其中内容适合公开、复制或作为监督信号。应建立受控访问的原始层、必要字段层和脱敏训练层,分别评估信息增益、隐私风险和供应商条款;同时核对代码、数据集、工具包、模型输出和依赖的许可证与再分发条款,不能因公开仓库或网页可访问就默认允许商用训练。对于 tool_result 中的代码或文件内容,应优先记录可验证的摘要、差异和错误类别;只有在授权、用途和安全隔离都明确时,才保留完整载荷。

数字 Coding 环境的评测可以参考执行型基准的思路:固定初始状态,提供可复现依赖,用独立断言检查文件或测试状态变化,并把人类操作、环境故障、模型决策和工具错误分开归因。OSWorld 的研究把任务设置、真实应用和执行评价放在一起,而不是只比较最后一句答案;它说明数字环境需要可复现状态和执行证据,但不能推出任意商业 Agent 都能稳定工作,更不能把公开基准结果转换为本项目交付率。2

如果项目未来另行提出物理机器人数据,那将是新的来源和新的数据契约,需独立评估传感器、时间同步、标定、动作空间、episode 边界和安全授权;这些不是本规格的隐含要求,也不能由本次数字轨迹补齐。当前任务只应围绕 Coding Agent 的消息、工具、代码环境和验收证据做领域归类与公开拆解。

从小批试读到可交付数据卡

实际协作应先做小批试读,而不是先承诺规模。第一步冻结数据卡:明确是 Coding Agent 轨迹,列出模型范围、session 定义、字段版本、工具协议、代码与依赖权限、隐私层级、用途和再分发限制。第二步选择一批包含成功、失败、重试和最终闭环的完整 session,执行字段解析、ID 配对、时间排序、机器轮过滤、仓库与任务边界检查和授权审查。第三步由数据工程师与 Coding 领域专家分别复核:前者看结构、回放和污染,后者看任务是否真实、反馈是否足以解释决策、补丁和测试标签是否越界。

第四步建立训练、开发、私有评测三份清单,互相隔离并记录数据摘要。对数字编码环境,应把工具 schema、依赖版本、工作区初始状态、测试 oracle、补丁哈希和执行断言纳入环境清单。第五步再确定放量、返工和拒收条件。质量报告应同时给出完整 session 数、按用户、仓库或任务类型分层的通过率、工具配对率、缺失字段、污染风险、许可状态和隐私审查状态,不要只给一个没有分母的“准确率”。

一个可执行的交付包可包括:版本化 schema、session JSONL、工具定义、消息和错误状态、任务单元元数据、工作区与依赖清单、补丁或摘要、测试与回放记录、标签字典、训练/验证/测试切分、抽检记录、已知缺陷、许可证和授权说明。每一批先交少量样例,完成字段检查、隔离回放和隐私复核后,再讨论增量。验收通过只说明样例满足书面门槛,不代表某个模型的榜单性能、实际部署收益或任何公司长期能力。

采购方在签字或进入训练前,可做一次反向验收:这批数据是否确实来自真实用户的 Coding Agent 交互?每条记录是完整 session 还是单次 API 快照?仓库、文件、任务、模型、工具和环境是否有可核验来源?system、thinking 元数据、tool_use、tool_result、图像和错误状态是否保持原生边界?工具调用是否全部配对,是否存在跨 session 串 ID?机器轮、合成内容、预设任务、批处理和无结果调用是否已经拒收?训练和测试是否按用户、仓库、工作区、任务族和时间隔离?代码、路径、凭据、客户资料和工具载荷是否有目的、权限、留存、删除和许可依据?

如果答案中有任一项只能写“后续再确认”,就不应把数据称为可直接训练、可直接评测或可自由再分发。更稳妥的结论是:该规格具备清晰的 Coding Agent 轨迹数据主题,值得形成围绕真实用户来源、原生消息、工具证据、代码环境和可复现验收的研发方案;它不包含物理机器人采集要求,不能因目录误归而扩展为具身数据。研究建议不等于实际交付,不等于榜单性能,也不等于任何司法辖区的合规或法律结论。

AI辅助整理,供研发与数据工程交流;不构成个体法律意见、生产安全认证或资质审批。

参考来源

  1. Extended thinking - Claude Platform Docs
  2. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
  3. 中华人民共和国个人信息保护法
  4. NIST Privacy Framework
  5. AI Coding 数据资产与后训练采购

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:Coding Agent 轨迹的原生消息与可复现验收:从真实交互到工程交付

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。