跳至正文
朗慧科技

DATASET RESEARCH / CODING

从调用快照到可审计轨迹:Coding Agent 的 Session、Token 与验收契约

面向 Coding/Agent 研发团队,拆解 JSON 紧凑化、Session/Call 去重、代表性 usage 统计、训练评测污染、代码许可与可回放验收;明确 thinking/tool 字段需授权,不把数字轨迹扩写成物理机器人数据。

Coding与Agent数据AI辅助整理 · 研发交流

在 Coding Agent 项目中,“轨迹”首先是数字任务的过程证据:模型接收任务描述,读取或修改受授权的文件,调用工具,获得返回,运行检查,再把结果交给下一次调用。它也可能包含多轮上下文、失败重试和人工复核。这样的轨迹与源代码仓库、任务单、提交记录和测试结果有关,但并不等于一份可以任意公开的代码副本,更不等于机器人传感器或动作数据。本文只讨论一类真实的数字数据交付需求:以 JSON 记录 Agent 的 Session 与 Call,去除不必要的格式空白,控制 Session 和消息重复,并从代表性调用的 usage 字段计算 token。原始要求没有提出相机、关节、力觉、遥操作、移动底盘或其他物理采集字段,因此不能把它包装成具身数据,也不能把 token 汇总写成软件工程成功率或模型榜单成绩。

Coding Agent 调用快照到可审计 Session 的分层、去重与回放流程查看完整技术图(可放大)

图1|Coding Agent 调用快照到可审计 Session 的分层、去重与回放流程。技术示意,不代表已完成项目、真实客户数据、代码许可已获批准或已验证性能。

先冻结数字样本单元:Call、Session 与 Coding 任务边界

最小的 Call 是一次模型请求及其响应。它通常可以携带时间戳、模型标识、消息或提示、工具定义、工具调用、工具返回、停止原因与 token 用量。Call 适合做接口排错、单次上下文观察和工具链审计,却不是稳定的任务样本:同一个代码任务的后续请求往往带着此前的文件内容、测试输出和工具结果,如果把每次请求都当成互相独立的样本,训练统计和成本统计都会把历史上下文重复计算。

Session 是更高一级的数字样本单元。它应表示同一任务上下文和同一客户端生命周期中的一组调用,并按时间排序保存。session_id 负责聚合,request_id 或等价字段负责定位单次调用;二者在批次内都要有明确的唯一性规则。Session 的结束状态也要显式保存,例如完成、失败、用户中止、环境异常、权限拒绝或数据不完整。工具调用没有返回,不能被改写成成功;测试失败、解析异常和重试也不应为了提高“通过数”而静默删除。

Coding 项目还需要单独定义任务边界。外部任务可能以仓库、文件、提交、issue、补丁或测试套件为单位,但本源技术要求没有给出这些字段的完整 schema,所以不能假称源文件已经交付了仓库快照、提交级标签或可执行评测环境。较稳妥的做法是在项目数据卡中分别记录 task_id、来源类型、授权范围和版本指纹,再把多个 Call 聚合为 Session;若某个 Session 横跨多个代码任务,必须标记分界,而不是依赖文件名或最后一条回复猜测归属。任务单元、对话上下文和工具事件是三个不同层次,字段可以关联,但不能互相替代。

这一区分应进入数据卡的开头。建议增加 trajectory_kind,把本需求明确标为 agent_session 或同义的数字 Agent 轨迹类型,并把代码任务的仓库、文件、提交和测试信息作为需要另行授权和冻结的关联字段。这里的分类只说明数据对象属于软件开发过程,不表示任何具体仓库、客户项目或内部代码已经获得公开使用许可。若后续有人把“轨迹”一词扩展到其他领域,应另立数据契约,不得反过来改变本需求的 Coding 归类。

把“挤压成一行”解释为传输优化,而非语义清洗

将 JSON 去除空格、换行和缩进,可以减少文件体积并提高批量传输效率,但它不应改变字符串、数组顺序、数字精度、Unicode 字符或对象键的语义。推荐流程是“解析—规范化—再序列化”:先确认 UTF-8 与 JSON 结构可解析,再按固定序列化规则输出紧凑版本,同时保留原始文件哈希、规范化哈希、序列化器版本和变更原因。仅凭肉眼比较文本长度,无法证明压缩前后数据相同;若转义、换行、浮点表示或键顺序发生变化,也要能解释这是格式变化还是语义变化。

一个可交付的 Session 对象至少应有唯一标识与来源批次、开始和结束时间、按顺序排列的调用列表、每个调用的请求和响应、工具事件与停止原因、模型和解码配置、原始 usage、状态与失败分类、脱敏状态、规则或 schema 版本,以及可以回到授权原始存储的不可变指纹。对于 Coding 轨迹,还应把代码内容与工具返回分开标记:文件片段、补丁、测试日志、依赖版本和环境输出不应混成一条自由文本。私有仓库路径、访问令牌、内部提示、客户代码和带身份线索的日志不能因为被压缩成一行就变成可公开材料。

标签也要围绕可观察事实设计,而不是给整条轨迹贴一个笼统的“高质量”。可以按任务类型、是否含工具、是否修改文件、是否运行测试、是否形成闭环、是否发生失败、是否发生恢复、失败来源、上下文长度区间、语言、模型版本和人工复核状态分层。failure_type 可以细分为模型判断、工具执行、权限或环境、格式解析、依赖缺失、测试失败、数据缺失和验收器异常。失败并不等于无价值;真实失败与恢复往往有助于研发定位问题。但“保留失败”不等于允许把敏感工具结果原样公开,最小可见原则和项目授权仍然优先。

Token 统计:先确定代表性调用,再计算三类总量

本需求规定每个 Session 只从合并后的代表性调用读取一次用量,避免把逐 Call 累积的历史上下文相加。现代消息 API 中,系统提示、消息、工具结果和工具定义都可能计入上下文;启用缓存后,输入量会拆分为普通输入、缓存创建输入和缓存读取输入,三者仍属于上下文的一部分。1 因而不能用回复字符数代替接口报告的 token,也不能用一次请求的输出量推断整段 Coding 任务的输入量。代表性调用应有可复核的选择规则,例如按 Session 的最长轮或项目明确的 tip 规则,但规则名称、版本和例外必须写进数据卡。

推荐将原始字段原样保存,再派生三个明确的指标。第一,total_input_context = input_tokens + cache_creation_input_tokens + cache_read_input_tokens,代表代表性调用的输入上下文总量。第二,total = total_input_context + output_tokens,表示在既定统计口径下本条记录的输入加输出总量。第三,avg_per_record = total / record_count,按项目约定取整,并记录分母到底是全部 Session、结构通过的 Session,还是某一任务分层中的记录数。公式本身不复杂,真正容易出错的是统计对象、代表性调用的选择和缺失值处理。

报告至少要拆成 all 与 passed 两种视图。all 汇总所有完成解析且被纳入批次的 Session;passed 只汇总结构或质量验收通过的 Session。若某条记录缺少缓存字段,应区分“接口明确返回零”“旧版本没有该字段”和“采集被截断”三种状态,不要全部填成零。若 output_tokens 缺失,也不能用空字符串长度补齐,因为 tokenizer、模型配置、思考内容保留策略和服务端计算方式可能不同。对 Coding Agent 来说,工具返回的代码、测试日志或依赖清单也可能扩大后续上下文;这些内容的权限与版本要单独记录,不能从 token 数量反推出内容可以自由复制。1

thinking 和 tool 字段应被视为需要项目授权的数据契约或元数据字段,而不是默认可采集、默认可公开的权利。若服务返回思考摘要、工具参数、工具结果或隐藏的评测信息,交付方要先确认字段用途、保留期限、访问角色和再分发边界;不应索取或生成非公开模型思维链,也不能把受保护签名样本、凭据或真实仓库内容写入示例。可以交付字段存在性、脱敏状态、哈希和统计摘要,但是否交付原值必须由书面授权决定。

Token 统计是成本、上下文和数据规模的运维指标,不是任务完成率、补丁可接受率、测试通过率、推理能力或真实工程价值。两批数据平均 token 相近,并不能说明代码任务难度相同;一批 token 更多,也不能证明补丁更好。若要比较数据效用,应另行冻结模型、提示、依赖环境、任务集合和独立测试集,记录可复现实验;不能从交付文件的 usage 单字段外推研究结论,也不能把公开基准成绩改写成公司业绩。

Token 统计、轨迹质量与 Coding 工程授权的三层验收关系查看完整技术图(可放大)

图2|Token 统计、轨迹质量与 Coding 工程授权的三层验收关系。三层证据不可互相替代,不代表榜单成绩、公司业绩或生产安全认证。

去重与污染:相似度阈值必须服务于任务边界

Session 去重至少分三层。第一层是指纹级去重:规范化 JSON 的哈希完全相同,直接保留一个,并在日志中写明被合并的记录和规则版本。第二层是包含关系去重:一个完整 Session 包含另一个中间快照,或同一 Session 被分割成多个前缀文件时,应保留信息更完整、状态更终结且授权范围一致的版本。第三层是内容相似去重:检查相邻 Call 的消息重合、任务描述、工具序列、文件路径模式和响应结构,识别模板复制或同一任务的轻微改写。

本需求给出了 Session 层避免完全重复、子串包含,以及 Call 层消息重合度低于约定阈值的要求。这个阈值应被视为本项目的验收参数,不是所有 Coding 轨迹都适用的行业常数。实作时可以先用规范化文本的 n-gram、MinHash 或分块指纹筛选候选,再对候选做字段级比较;同时保留“为何判重”的证据,例如相同任务键、共享工具调用 ID、连续消息前缀、相同来源哈希或相同测试输出。单纯使用字符串相似度,可能把同一代码任务的合理失败与修复误删,也可能漏掉只改路径、版本号或数字的模板副本。

去重还要和训练/评测污染分开。重复记录是存储和统计问题,污染则是模型可能见过答案、补丁、工具输出、测试模板或仓库内容的问题。训练数据与最终评测应按来源、时间、任务模板族、仓库边界或原始文档边界隔离;随机打散 Call 会把同一 Session 的后续答案泄漏到另一分区。若无法证明训练与评测独立,应在数据卡中标记“污染未知”,而不是把高通过率当作泛化证据。

测试 oracle 也要单独治理。如果训练样本包含完整参考补丁、隐藏测试规则、评测器内部提示或能直接绕过任务的工具输出,模型学到的可能是表面模板。更稳妥的交付是把训练可见字段、回放字段、独立验证字段和审计字段分层授权;验证器不应因为便于调试就自动进入公开训练集。数据质量不仅是消息数量,还包括是否能在隔离环境中重放、是否能定位首次错误、是否保留原始失败、是否能以同一规则重新计算 token 和判重结果。

Coding 质量与授权:把“通过”拆成可复核门槛

这类数据至少需要三类责任。数据工程人员负责 schema、序列化、哈希、去重和统计实现;Coding 或 Agent 研究人员负责任务边界、工具事件、补丁阶段以及失败和恢复标签是否具有研发意义;隐私、知识产权与安全复核人员负责路径、账号、代码、日志、环境和权限风险。角色可以由同一团队承担,但责任不能合并成一个没有证据的“专家审核”字段。若含有真实参与者或真实开发环境,还应记录同意范围、用途、撤回路径、保留期限和访问审计;NIST Privacy Framework 强调隐私风险管理是组织级持续活动,而不是一次性删除姓名。7

自动质检的第一道门是结构完整性:UTF-8、JSON 可解析、必填字段存在、ID 唯一、时间戳可排序、状态枚举有效、请求与响应能配对、工具调用与工具返回不悬空。第二道门是 Coding 语义边界:Session 内是否混入多个任务,修改目标是否与任务单一致,失败类型是否有日志证据,代表性调用是否真的属于该 Session,all 与 passed 的分母是否明确。第三道门是可回放:能否从不可变原始记录重建消息顺序,能否定位规范化改变了哪些字节,能否在隔离环境中复现测试输入,能否用同一规则重复算出 token 汇总。

代码和文档来源必须另设许可检查。公开可访问的仓库不等于可以复制、商用、训练或再分发;不同仓库的许可证、第三方依赖、生成文件、测试夹具和工具返回可能有不同限制。交付时应保留来源许可证、允许用途、禁止再分发条件、衍生数据规则和依赖清单;没有许可证或授权证据的代码,不应通过“改写变量名”或“只保留片段”的方式伪装为可公开样本。若项目只需要质量统计,可以交付脱敏后的字段、哈希、差异摘要和测试结果类别,而不交付原始代码。

人工复核不应只看随机样本。应按模型版本、任务类型、上下文长度、失败类型、语言、工具种类、是否修改文件、是否含敏感字段和是否发生重试分层抽样。边界样本包括“看似重复但目标不同”“成功后又发生修正”“工具调用缺少返回”“同一任务跨时段继续”“缓存字段缺失”“状态标为通过但存在解析警告”“测试通过但补丁违反许可”以及“任务描述和实际修改对象不一致”。每个退回结果要指向具体字段和修复动作,例如补齐时间戳、重新聚合 Session、隔离敏感片段、核验许可证或回滚错误的规范化规则。

验收阈值应在项目书面规格中冻结,并和分层分母、抽样方式、置信区间、返工条件一起交付。一个可操作的小批试交付,应同时包含 schema、字段字典、成功/失败/恢复样本、判重报告、token 统计输出、脱敏记录、来源和许可证清单、环境与依赖版本、数据卡、版本清单及失败清单。样例无法在授权的隔离环境中回放,或者统计无法按原规则重算时,不应直接扩大批量。这里的“通过”只说明约定的结构或质量门槛,不等同于补丁已在所有工程环境中正确,也不等同于生产系统安全。

仅保留必要边界:数字 Agent 轨迹不自动成为物理数据

为了避免术语混淆,必须明确本文不要求机器人 episode、相机同步、内外参、坐标系、动作空间或遥操作记录。LeRobotDataset v3 的公开说明把 episode、时间序列、动作、时间戳和视频偏移放入另一类多模态数据契约,2 DROID 说明的是带相机与机器人标定信息的真实示范数据,3 Open X-Embodiment 讨论跨机器人数据组织与研究性迁移,4 ROS REP-103 与 REP-105 规范单位和坐标参考。5 这些资料在此只用于说明边界,不是本源需求的字段清单,也不能据此宣称本交付包含物理采集、遥操或机器人验收。

因此,本 ID 的公开稿应继续使用 Coding/Agent 的专业语言:任务、仓库或文件关联、Call、Session、工具轨迹、补丁、测试 oracle、依赖环境、去重、污染、授权和可回放验收。若另一个项目确实需要物理数据,应建立独立的采集与安全规格,不能把本源缺失的字段补写进本源,也不能因为原始文件曾被放在其他目录就改变专业归类。

推荐研发路线:先做 Session 小批,再做可重算验收

第一阶段先冻结数字 Agent 的 Session schema,选取少量已获授权的调用样本,完成解析、紧凑序列化、哈希、时间排序、重复检测和 token 计算。第二阶段做双人盲复核,专门检查同一代码任务的失败与恢复是否被误删、缓存字段是否被重复累计、通过状态是否掩盖了解析警告、工具结果是否越过授权边界。第三阶段建立按任务和时间切分的留出集,验证规则变更是否影响既有统计,并将许可证、污染、缺失字段和未解决问题留在数据卡中。

第四阶段应把结构验收与研究验收分开:结构层验证 JSON、ID、顺序和字段;数据质量层验证去重、失败保留、分层抽样和回放;研究层才在冻结模型、环境和测试 oracle 后评价补丁或任务完成情况。每次规则或模型版本变化,都要保留版本指纹和前后差异,避免把统计口径变化误报为数据质量改善。对于不能公开的真实仓库,可以在隔离环境中仅交付不可逆指纹、差异摘要和授权后的结果类别。

对数据工程团队而言,这份需求的业务价值不在“把 JSON 压得更短”,而在建立一个可重算、可去重、可审计的 Coding Agent 任务轨迹底座:研发者可以知道一个 Session 包含多少次上下文累积,质检人员可以定位哪条记录因重复或缺字段被退回,模型团队可以把失败和恢复分层使用,项目负责人可以区分数据统计改善与真实能力改善。可围绕项目约定的服务应以数据卡、样例、质量记录和书面规格为准,不能把方法建议或公开研究结果包装成已经实现的公司业绩。

结语:让统计口径、代码权利和工程证据各归其位

一条合格的数字 Agent Session 数据,至少应能回答:它来自哪一批有授权的数据,为什么被视为同一任务,包含哪些 Call,哪些调用是真实失败或恢复,代表性 usage 如何读取,token 总量的分母是什么,哪些字段经过脱敏,代码和文档来源的许可证是什么,哪些版本规则参与了验收,以及是否能在隔离环境中回放。一个 passed 标志只能说明它满足当前约定的结构或质量条件,不能代替测试 oracle、人工审查、工程评估或生产责任。

最稳妥的交付不是给所有“轨迹”套同一格式,而是先冻结对象层级,再分别验收统计、数据质量、代码权利和研究有效性。Token 数量可以帮助管理上下文和成本,却不能替代测试结果;Session 去重可以减少重复样本,却不能替代训练/评测隔离;有一批成功的语言和工具轨迹,也不能证明任何未授权仓库、未冻结环境或其他领域系统已经安全泛化。把这些边界写进数据卡、样例、质量报告和合同附件,才有可能让数字轨迹需求转化为可复核的研发工作。

本文为 AI 辅助整理,供研发与数据工程交流;不构成个体法律意见、生产安全认证、模型性能保证或资质审批。

参考来源

  1. Context windows
  2. LeRobotDataset v3.0
  3. DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
  4. Open X-Embodiment: Robotic Learning Datasets and RT-X Models
  5. REP-103: Standard Units of Measure and Coordinate Conventions
  6. REP-105: Coordinate Frames for Mobile Platforms
  7. NIST Privacy Framework

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:从调用快照到可审计轨迹:Coding Agent 的 Session、Token 与验收契约

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。