跳至正文
朗慧科技

DATASET RESEARCH / CODING

把智能体后训练任务做成可复跑资产:从题目、环境到测试裁判的验收闭环

从工具调用、企业工作流、结构化文件和仓库级构建四类任务出发,拆解许可证、环境隔离、轨迹完整性、测试oracle、污染控制与分批交付方法。

Coding与Agent数据AI辅助整理 · 研发交流

面向智能体后训练的任务采购,最容易被误解成“再收集一批题目和几条成功轨迹”。真正可用的交付物应当同时包含任务定义、初始状态、可用工具、运行环境、模型动作、最终产物、测试裁判和版本证据。少了其中任何一环,后续团队都很难回答三个基本问题:模型到底做了什么,为什么这次算通过,以及换一台机器或换一个版本后还能不能重跑。

一份候选需求同时涉及工具调用、企业工作流、结构化文件处理和从空工作区构建软件库等任务形状。它的价值不在于把几个公开评测名称拼在一起,而在于把不同类型的工程行为拆成可以观察、可以记录、可以拒收的样本单元。公开基准的研究趋势也在往这个方向移动:SWE-bench把真实仓库问题、代码修改和执行环境连接起来,任务往往需要跨文件理解,而不是生成一个孤立函数1;Harbor则把智能体、任务环境和大规模并行评估放进容器化运行框架2。这些研究可以帮助设计数据,但论文或榜单分数不等于某个项目已经交付,更不等于真实工程价值。

先区分四种任务形状

第一类是工具使用任务。它的最小单位不是“模型调用了几个工具”,而是一个有初始状态和目标状态的环境实例。例如,工作区中已有文件,应用中已有记录,或模拟服务中已经存在若干对象;模型需要选择工具、读取状态、处理错误,再留下可核对的改变。标签至少要包含任务目标、允许读取的对象、允许改变的对象、工具权限、终态断言和失败原因。只保存自然语言回答,会丢失最重要的事实:目标状态是否真的发生了变化。

第二类是企业工作流任务。这里的难点不只是调用接口,而是跨应用保持业务规则一致。例如,任务可能要求从邮件、表格和项目系统中找出同一事项,再更新多个系统;如果只检查最后一条消息,就无法判断中间的状态是否被错误覆盖。AutomationBench的公开论文把跨应用编排、分层业务规则、干扰记录和最终状态断言放在同一个模拟世界中,并强调任务必须有可程序化判断的结果5。这给任务设计的启示是:业务规则应变成字段白名单、状态不变量或可执行断言,而不是写成“整体上合理”。

第三类是结构化数据处理和专业文件任务。样本可能要求读取表格、整理目录、完成聚合、保留引用快照,或根据规则输出一个有固定结构的文件。此类任务需要把输入文件、字段语义、版本时间、计算精度、缺失值和输出格式写入数据字典;还要保留中间产物和最终文件哈希。若只有最终文件而没有输入快照,评审无法判断结果是经过正确计算得到,还是恰好写出了看似合理的答案。若只有文本答案而没有文件产物,也无法验证路径、格式、单元格、引用或目录结构。

第四类是仓库级构建任务。样本单元应围绕“某个冻结仓库或空工作区上的一个可观察目标”组织,而不是围绕一段模型对话组织。任务清单需要记录完整提交标识、语言和运行时、依赖锁定、允许修改范围、预期命令、测试入口、参考实现和隐藏验收边界。SWE-bench的原始研究说明,真实问题常常要求模型在多个函数、类和文件之间协调修改1;因此,代码任务的难度应来自真实模块关系、失败恢复、接口兼容或资源约束,而不是单纯增加文件数量。

这四类任务可以共用一套元数据骨架,但不能共用一个含混的“成功率”。工具任务更关注终态和权限;工作流任务更关注跨系统不变量;文件任务更关注结构化产物和计算证据;仓库任务更关注补丁正确性、回归测试和工程可接受性。把它们混成单一分数,会掩盖模型究竟是工具选错、业务规则漏读、文件算错,还是代码补丁只通过了过窄的测试。

样本单元要绑定任务、环境和证据

建议把每个实例设计成一份带版本的任务卡。任务卡至少包括实例标识、目标、输入对象、时间截点、允许与禁止动作、工具清单、环境摘要、输出契约、评分规则和终止条件。输入对象需要区分只读材料、可修改工作区、模拟服务状态和评测专用材料。测试文件、参考答案和隐藏断言不能出现在模型可见的初始输入中;但其版本、哈希和适用范围必须出现在内部任务清单里,便于复跑和审计。

运行时要保存的不只是最终回答。每一轮至少应能还原模型、harness、工具调用、工具返回、时间戳、工作区变化、异常、重试和退出原因。调用标识必须能和返回事件逐条配对;对于并行调用,还应保存父子关系、顺序和失败分支。结构化产物需要字节快照或规范化快照,文件路径、编码、哈希和生成版本都要记录。失败样本不应被简单删除,因为错误的工具选择、参数误用、状态污染、超时和未完成收尾,往往比一条漂亮的成功轨迹更能说明后训练需要补什么。

智能体任务包的可复跑数据结构:从任务与输入到运行产物和放行证据。查看完整技术图(可放大)

图1 技术示意:展示任务、环境、轨迹、产物与裁判的结构关系,不代表已有交付规模、模型榜单成绩或已验证的商业性能。

对于工具任务,还需要把“动作空间”写清楚。工具名称、参数类型、权限范围、是否允许重复调用、失败后是否可重试,以及调用产生的副作用,都应成为任务卡的一部分。Toolathlon的研究把任务建模为包含状态、动作、观察、转移和奖励的环境,并用独立容器和专门评估脚本执行验证4;ToolSandbox则把有状态工具执行、工具间隐含状态依赖和中间及最终里程碑纳入动态评估9。这类设计说明,真正可训练的轨迹不只是消息序列,而是动作与环境状态变化的对应关系。即使项目不采用同一框架,也应沿用“动作—观察—状态—裁判”的记录思路。

许可证要按文件和依赖核对

代码公开可见,不代表可以直接复制、训练或再分发。GitHub官方说明明确指出,没有许可证时,默认版权法仍然适用;公开仓库的可见性主要赋予平台用户查看和派生仓库的权利,并不自动给出所有用途的许可3。因此,任务包进入采集前,应对仓库、提交、子目录、文档、测试、示例数据和外部依赖分别登记许可证。不能只在任务总表里写一句“开源”,也不能把仓库页面显示的一个许可证标签当成整个依赖树的结论。

实际操作中可为每个文件或组件保存来源、许可证标识、许可证文本哈希、例外条款、允许的加工方式、训练用途、再分发限制和需要保留的通知。SPDX许可证清单提供标准短标识、全名、许可证文本和永久链接,适合作为机器可读的识别层8;但标识只是登记工具,不替代对实际文件、附加条款和组合方式的人工复核。强 copyleft、网络部署义务、非商业限制、数据集条款和文档图片条款,都可能让“代码能运行”与“可以交付”成为两件事。

衍生数据也要单独标记。由仓库代码生成的任务说明、补丁、测试输出、工具轨迹和错误标签,未必自动获得与原代码相同的许可。若任务包含私有代码、账号、凭据、客户仓库或未明确授权的内部材料,应直接排除,不应通过模糊改写后继续使用。若只保留抽象的工程机制,也要确认抽象内容没有泄露可逆的业务信息、专有接口或个人数据。对公开稿而言,只能讨论通用的任务结构和治理方法,不复制源代码、样题、答案、凭据、私有项目名称或个人案情。

环境冻结和污染控制要先于模型试跑

一份任务只有在参考实现或基线能够稳定运行后,才适合让模型试跑。应冻结操作系统或容器基线、语言版本、包管理锁文件、服务镜像、时区、随机种子、资源上限、工具版本和网络出口。运行前先检查环境能否启动、初始状态能否重置、参考产物是否通过裁判;如果基线失败,应把问题记在环境或题目上,而不是把失败算到模型头上。

环境隔离至少包括三层。第一层是任务隔离,每个实例使用独立容器或虚拟机,不能看到上一任务的工作区、缓存、临时文件和服务状态。第二层是信息隔离,模型只能看到任务卡规定的输入,不能看到 tests、solution、隐藏参考文件或其他实例的答案。第三层是出站隔离,默认禁止公网搜索、任意下载和访问真实客户系统;需要网页或服务时,使用版本化的本地模拟环境,并把模拟站点或服务的版本纳入归档。安全隔离应描述为可验证的运行策略,而不是一句“环境安全”。

污染要同时看训练集、开发集和评测集。公开题面、参考补丁、运行轨迹和完整评分器一旦长期公开,就可能被模型训练数据吸收。SWE-rebench的研究指出,静态软件工程基准会面临新鲜度不足和污染风险,并通过持续收集新任务与安装验证来构建更难被既有训练数据覆盖的评测7。公开任务可用于调试和方法研究,保留集则应使用不同版本、不同任务实例或私有生成路径。发布时还要防止把标准答案、隐藏测试和可逆的样本特征一并公开。

污染检查不能只做字符串搜索。需要检查题面与参考解的重合、仓库提交是否已经进入训练语料、公开模型是否能从任务编号恢复补丁、轨迹是否访问了公网答案,以及测试是否暴露了不在需求中的实现细节。对于代码仓库任务,还应保留任务创建日期、冻结提交和数据摘要,以便未来解释某次成绩到底衡量了能力,还是衡量了接触过答案的程度。

测试oracle要覆盖正确性、回归和失败路径

测试裁判的第一原则是每条评分点只判断一个事实。仓库任务应至少包含正常功能、输入变体、错误处理、回归兼容、资源边界和重复执行等测试。状态型工具任务要检查目标状态、禁止副作用、重复调用后的幂等性和异常后的恢复。文件任务要检查结构、数值、单位、路径、编码、引用和哈希。企业流程任务要检查所有相关系统的终态,不要只检查最后一条通知是否发送。

裁判最好拆成三层。第一层是确定性检查,包括 Schema、字段、文件存在性、模式、哈希、数值容差、状态不变量和测试结果。第二层是行为检查,包括重试、乱序、并发、超时、部分失败和重新启动后的结果。第三层才是需要专家判断的工程语义,例如补丁是否符合接口兼容、任务说明是否足够明确、文档是否遗漏必要限制。自动层和人工层都应保存证据指针,不能只写一个总分。

“测试通过”也不能直接等于“代码正确”。一项针对SWE-bench Verified的实证研究发现,部分看似通过的补丁在运行全部开发者测试或进行差分测试后会暴露功能错误,说明只运行与原问题一起提交的测试可能放过回归10。因此,任务制作阶段应采用独立测试审查、隐藏变体、差分测试或变形测试,检查裁判是否被表面补丁绕过。参考答案只能帮助验证任务可解和裁判方向,不能成为唯一的正确性定义;不同实现只要满足公开行为和工程约束,都应有机会通过。

裁判还要防止奖励投机。企业工作流不应因为重复发送邮件或反复修改记录而获得同样奖励;工具任务不应因为调用一个旁路接口而绕过权限;代码任务不应因为把固定答案写死而通过少量样例。AutomationBench的设计将正向断言、负向断言和最终状态检查结合起来,并把严格完成与诊断用的部分满足度区分开5。这是一种可借鉴的工程分工:部分分数可以帮助分析失败,但正式放行仍应有清晰的全量通过条件。

轨迹要保留失败、恢复和不确定性

训练数据不应只收集“第一次就成功”的短轨迹。对于多步工具任务,应记录模型如何发现状态、如何处理工具错误、是否重复提交、何时回退以及最后如何自检。对于软件库构建任务,应保留编译失败、测试失败、依赖冲突、补丁回滚和重新验证过程。每条轨迹都要有任务版本、环境摘要、模型与harness标识、轮次、工具调用、返回事件、产物哈希和退出原因。轨迹的完整性可以检查,轨迹的工程质量则需要人工或程序化标签。

失败标签应避免把多种原因塞进“未完成”。建议至少区分规格理解错误、仓库定位错误、工具选择错误、参数或类型错误、环境故障、依赖故障、数据污染、测试oracle缺陷、权限越界、资源超限、部分成功未收尾和正确拒绝。对有恢复价值的失败,还可记录触发条件、模型采取的修正、修正是否有效以及是否造成新副作用。这样的标签既能服务监督微调,也能帮助选择偏好样本和设计后续困难任务。

同时要区分可公开轨迹与内部轨迹。真实密钥、账号、客户邮箱、私有路径和具有反向识别能力的业务字段必须在进入训练或评测前被移除;但去除过程要可审计,不能把脱敏后的文件误当成授权证明。对于不能确认授权范围的轨迹,状态应为待补证据或拒收,不应因为模型运行结果漂亮而放行。

难度标定不能替代正式验收

候选需求中出现的“多次运行、按通过率筛选、保留评分证据”是有价值的起点,但它们只能说明候选样例进入了进一步验证阶段。正式验收还需要冻结模型、harness、步数上限、环境版本、随机种子或采样设置,并重复运行足够次数,报告逐实例结果、波动、成本、耗时、错误类型和裁判日志。一次模型成功或一次高分不能证明任务具有区分度,也不能证明模型具备真实工程能力。

难度要在两个方向同时检查。一方面,参考实现必须稳定通过,环境不能制造偶发失败;另一方面,强模型不能在所有任务上无成本全对,弱模型也不能因为缺失材料而全部失败。Toolathlon的研究报告了真实软件环境、多工具协调、初始状态和确定性评估的组合,并明确把任务隔离到独立容器中4;ALE则强调从真实专业流程出发,经过专家提交、工程试跑、同行复核和结构化交付物检查,再把长程工作流转成可评分实例6。这些做法提示我们,难度来自可解释的工程边界,而不是来自不稳定网络、冷门依赖或故意缺信息。

公开分数还要写清基线和适用范围。不同模型、不同工具脚手架、不同并发度、不同提示和不同环境,都会改变结果。即使同一模型换了harness也可能表现不同。文章或交付单应区分题目通过率、测试通过率、补丁可接受性、轨迹完整性和业务价值;不要把任何公开基准成绩改写成公司成绩,也不要把研究建议改写成已经实现的产品能力。

用分批流程把质量记录带进交付

较稳妥的流程是先做小批试标,再扩充任务族。第一阶段只确认任务卡、数据字典、许可证映射、环境启动、参考实现和裁判可运行。第二阶段让未参与出题的工程师盲做,核对需求是否覆盖测试触及的函数、类、常量、文件和跨模块流程。第三阶段运行多模型、多次试跑,检查失败是否来自任务本身、环境、工具或模型。第四阶段由领域专家复核高风险语义,工程师复核日志、哈希、权限和版本差异。只有通过和待补证据能够分开统计,才进入扩量讨论。

每批交付建议包括任务包、环境或镜像说明、数据字典、标签指南、许可证清单、裁判和参考实现的哈希、运行轨迹、抽检记录、拒收原因、变更日志和已知限制。版本变化必须可追溯:如果修改了任务说明、隐藏测试、参考产物、依赖或标签定义,应升版并重新标定,旧分数不能悄悄混入新版本。交付件的重点是另一位工程师能否在受控环境中独立复核,而不是页面上能否展示更多样本数。

从来源到放行的四道质量门:来源许可、环境轨迹和裁判交付逐层核验。查看完整技术图(可放大)

图2 技术示意:展示来源、环境、轨迹与裁判的分层门禁,不代表任何具体项目已通过法务、监管或生产安全审批。

算法路线和业务边界要分开写

在后训练层面,可以先用监督样本教模型遵守输出 Schema、工具参数、文件格式、证据引用和停止条件;再用偏好数据区分完整但越权、快捷但不可复现和有限但证据充分的行为。只有在状态、动作、奖励、约束和裁判都稳定后,才适合考虑离线强化学习或其他奖励优化。奖励应尽量来自确定性状态和逐项证据,不应由模型自己写最终分数,也不应把“文字像正确答案”当成唯一信号。

工具任务适合训练状态观察、计划、错误恢复和终态自检;企业流程适合训练规则优先级、跨系统一致性和负向约束;结构化文件任务适合训练模式遵循、精确计算和产物生成;仓库任务适合训练代码定位、增量修改、测试诊断和回归验证。四条路线可以共享日志格式和质量门,但必须保留各自的失败标签和验收条件。训练数据能改善研究中的行为,不代表模型已经能无监督完成生产部署,更不代表任何客户流程可以自动化上线。

对数据服务团队而言,能够围绕项目约定任务设计、专家标注、环境封装、质检、版本管理和可复跑交付;是否具备某个具体行业的现货数据、某种模型的榜单性能或某个客户的正式授权,则需要另行以项目书面材料确认。研发建议、样例评估和正式交付也应分开记录。这样既能让采购方看到可操作的范围,也能避免把候选样例中的模型运行、公开论文数字或框架能力误写成现成产品承诺。

这类任务的业务价值,最终不是“增加了多少条轨迹”,而是让模型研发知道失败发生在何处,让采购方知道每一项范围如何验收,让工程团队能在新版本中复盘和修正。对于高价值软件工程数据,最值得投资的是可解释的任务边界、受控的环境、足够强的测试oracle和可追溯的证据包。只要其中一项仍然含糊,继续扩量通常只会扩大不确定性。

AI辅助整理,供研发与数据工程交流;不构成个体法律意见、生产安全认证或资质审批。

参考来源

  1. SWE-bench: Can Language Models Resolve Real-world Github Issues?
  2. Harbor: A framework for evaluating and optimizing agents and models in container environments
  3. Licensing a repository
  4. The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution
  5. AutomationBench
  6. Agents' Last Exam
  7. SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents
  8. SPDX License List
  9. ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities
  10. Are Solved Issues in SWE-bench Really Solved Correctly? An Empirical Study

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:把智能体后训练任务做成可复跑资产:从题目、环境到测试裁判的验收闭环

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。