NL2Repo 买方开始查三件事:锁定 commit、隔离测试、轨迹能不能复跑

NL2Repo 任务包与轨迹的检查点如下,正文按这些名字展开。
- 母题与锁定
- Harbor 目录
- 符号覆盖
- 基线与可解性
- 反泄露
- 轨迹完整性
- 反作弊
- 多样性与交付件
NL2Repo 任务包与轨迹:买方把验收提前了
2026 年秋季,Coding Agent 的买方不再只问“能不能写出代码”。NL2Repo 一类任务要求模型对着真实开源仓库、在隔离环境里从零实现,再用测试给出可复现的分数。采购时真正值钱的,是锁定的 commit、与测试隔离的需求文档,以及能对上 tool_call_id 的完整轨迹。
一家模型实验室的评测周会上,同事把 NL2Repo 样例投到屏幕上:左边是 instruction.md,右边是 tests。有人问能不能先看参考解,负责人说:能看参考解的环节,就不该出现在 agent 输入里。
买方会先翻开「母题与锁定」。这一页没有可打开的样例,排期就停在试标包。
正文按八个检查点展开。每个检查点只出现一次事实陈述,随后用现场说法说明它如何影响排期、抽检或邮件回复。公开论文与榜单分数出现时,只帮助判断会检查哪一页,不改写朗慧的书面承诺。
母题与锁定
任务以真实开源仓库为母题,Python 为主,锁定完整 40 位 commit SHA。有效代码行按去注释与空行统计,通常要求千行以上,并记录近三年是否仍有提交。仓库 stars 与许可证写入 task.toml,许可证必须允许加工与训练。
买方把「母题与锁定」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。
买方打开任务清单,第一眼不是看题目文案,而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希,复现就会落到错误快照上。
有效 LOC 用统一脚本统计,注释与空行剔除规则写进批次说明。同仓库多 commit 堆量,要在素材均衡表里单独标记,避免一轮采购变成同一母题的变体集。
许可证审查先于报价。不允许训练或限制二次分发的仓库,不进入可交付分割,也不用“可内部研究”含糊带过。
Harbor 目录
目录采用 Harbor 任务格式:instruction.md、task.toml、environment/、solution/、tests/,并由 test.sh 把 pass_rate 写入约定日志路径。环境建议随包提供;缺失时须保证 commit 可完整检出,由买方自行构建,并在说明里写清责任边界。
买方把「Harbor 目录」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。
instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层,复现脚本就要靠口头补,验收人通常会直接退回。
task.toml 逐任务必含来源仓库、完整 SHA、语言、有效 LOC、领域、测试用例数、测试来源(官方自带或合成)。缺字段的任务不计入批次通过率。
环境镜像写明 Python 版本与依赖锁定。一键构建失败超过约定次数,该条记为环境不合格,而不是模型不合格。
符号覆盖
需求文档须覆盖判分测试触及的完整符号面:函数、类、常量、helper、模块级属性与跨模块调用流程。每任务附覆盖核对清单,遗漏即不合格。
买方把「符号覆盖」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。
覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席,agent 只能靠猜,分数失去解释力。
清单建议按模块列出符号与对应测试文件。合成测试尤需核对,防止出题人记得测什么、却忘了写进需求。
试标时随机抽任务,让未参与出题的工程师只读 instruction.md 勾出符号面,再与清单对照。对不上的任务退回修订。
基线与可解性
判分测试在交付环境中须全部通过,仅允许依赖版本锁定,不得改功能源码。参考解经 oracle 验证达到约定 reward 阈值。判分须在约定时限内完成,超时记失败。
买方把「基线与可解性」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。
oracle 跑不通的任务,说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。
时限要写进验收:超时判失败,防止靠超长重试刷出偶然通过。批次汇总表记录每题耗时分布。
依赖锁定文件与镜像一并归档。三个月后复跑时,找不到锁定文件就等于找不到当时的分数含义。
反泄露
需求文档及初始环境不得含判分测试信息:用例、断言、测试文件名等。任何泄露渠道都视为红线,整批可拒收。
买方把「反泄露」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。
反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段,该任务直接剔除。
出题人从官方测试“改写”需求时,最容易把函数签名和边界条件原样粘进去。试标规程要求双人交叉阅读。
买方抽检时只给 agent 侧材料。若评测同学仍能从需求猜出断言,说明隔离失败。
轨迹完整性
轨迹为 agent 从零实现的完整交互,jsonl 交付,含 messages、tools、metadata。metadata 必含 instance_id、reward_score、teacher_model、assistant 轮数。tool_calls.id 与 tool_call_id 逐条可配对。单条优选高轮次长程轨迹。
买方把「轨迹完整性」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。
轨迹不是聊天截图。缺 tool 回传、id 对不上,后训练与分析都用不了。
轮数统计逐条交付并附批次汇总。刻意截断的“漂亮短轨迹”应标为演示样例,不计入长程能力集。
teacher_model 字段写真实模型名与版本。写“某强模型”而不落版本,复盘时无法解释分数差异。
反作弊
禁止从外部获取目标源码:git clone、curl、wget、pip download、按包名安装目标等,仅允许本地可编辑安装。禁止行为须在需求中显式声明,违者整批拒收。轨迹须为真实模型运行采集。
买方把「反作弊」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。
反作弊条款要写进 instruction.md 醒目位置,并在环境出站策略里落实。只写在报价附件里,agent 侧看不到,等于没写。
验收可抽查轨迹里是否出现违规命令。出现即整任务失败,累计超过阈值则整批退回。
真实运行意味着保留时间戳与环境指纹。事后手写的“伪轨迹”一旦对不上 reward 日志,按造假处理。
多样性与交付件
文档风格跟随目标仓库自身风格,批次内体现多种写法。领域与 LOC 档位自然分布,避免单一仓库堆量。每批交付任务包、轨迹、统计表、任务清单、环境说明与反作弊机制说明。
买方把「多样性与交付件」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。
多样性表比口号有用:按领域、LOC 档、文档风格计数。某一格为空,补采后再谈扩量。
交付件清单缺统计表或环境说明,买方无法做二次复跑,验收停在资料不全。
朗慧在 Coding 交付里可以把任务包、校验脚本和抽检记录放在同一路径。未经验收的 pass rate 不写进投标页。
长程工程题的终点是可复跑的沙箱
公开评测正在把“会写几行代码”推进到“在可复现沙箱里完成长程工程”。MedAgentGym(ICLR 2026)说明可执行校验器比单看参考答案更能区分真实能力;Agents’ Last Exam 与 Harbor 类任务包则强调环境、附件与轨迹要一起交付。NL2Repo 的价值不在题面修辞,而在锁定母题、隔离测试与可配对轨迹。论文或榜单上的分数,只帮助买方决定检查哪一页,不自动成为朗慧验收指标。
放回「NL2Repo 任务包与轨迹」,买方可以用这些公开讨论核对文件夹里有没有版本号、样例和停线条件。对得上,就可以写进工作说明;对不上,就继续停在样例评估。论文里的成功率与基准分,不写进朗慧验收承诺,也不换算成公司收入。
读「NL2Repo 任务包与轨迹」时的现场语气
行业里谈「NL2Repo 任务包与轨迹」,语气已经从“能不能做”转到“能不能在三个月后复盘”。复盘需要的不是形容词,而是当时冻结的定义、样例编号和停线记录。
销售材料若出现未经抽检表支撑的准确率,评审应要求追溯到某一版记录;追溯不到就删掉数字,只保留范围句。
财务与业务负责人应拿到同一版本的比选表。两份表格版本号不同,会议先对齐文件,再讨论价格。
把「NL2Repo 任务包与轨迹」写进年度数据预算时,试标包、返工预备和量产段分开列。返工预备不是浪费,而是定义尚未稳定时的正常成本。
周报里怎样写「NL2Repo 任务包与轨迹」才有用
围绕「母题与锁定」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。买方打开任务清单,第一眼不是看题目文案,而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希,复现就会落到错误快照上。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「Harbor 目录」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层,复现脚本就要靠口头补,验收人通常会直接退回。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「符号覆盖」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席,agent 只能靠猜,分数失去解释力。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「基线与可解性」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。oracle 跑不通的任务,说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「反泄露」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段,该任务直接剔除。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「轨迹完整性」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。轨迹不是聊天截图。缺 tool 回传、id 对不上,后训练与分析都用不了。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「反作弊」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。反作弊条款要写进 instruction.md 醒目位置,并在环境出站策略里落实。只写在报价附件里,agent 侧看不到,等于没写。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「多样性与交付件」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。多样性表比口号有用:按领域、LOC 档、文档风格计数。某一格为空,补采后再谈扩量。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
报价里写得清的范围
朗慧可以把 NL2Repo 类任务纳入 Coding 与题库交付:Harbor 目录、环境说明、oracle 记录与抽检表放在同一版本号下。能自动判定的步骤交给测试与校验脚本;必须人工判断的符号覆盖与许可证审查保留双人记录。不把未复跑确认的模型分数写成交付承诺。
比选表建议设四列:范围是否写清、样例能否被另一位同事复核、停线条件有没有阈值、许可证或授权是否落地。单价放在四列之后。任一列空白,本轮不进入扩量谈判。
报价之前先确认四件事:仓库许可证是否允许训练、需求与测试是否隔离、轨迹是否真实可配对、失败后谁有权整批停线。四件事未齐,只安排样例评估,不报量产单价。
朗慧对外能够承诺的范围,以书面工作说明为准。186 个预置模型是人体影像的预标注清单,按部位和任务核对,不是 186 种疾病,也不计入动物任务。病理全片、站点默认范围以外的视频和通用文本处理,按项目单独约定,不写成平台默认能力。第一人称人类视频在重映射责任、目标自由度和有效性字段写明之前,交付名称是人类示范数据,不是机器人动作标签。论文里的成功率、基准分数和第三方市场规模,只作为买方理解行业的背景,不写入朗慧的验收承诺。E8 仍待确认供货,不进入当前报价。
本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。