朗慧科技

NL2Repo 买方开始查三件事:锁定 commit、隔离测试、轨迹能不能复跑

Coding 与题库 · 行业判断 · 约 4898 字

打开的笔记本与抽象代码面板
工作台上的开发笔记本与空白笔记本。图用于说明工作场景,不包含真实仓库、密钥或可识别个人。

NL2Repo 任务包与轨迹的检查点如下,正文按这些名字展开。

  1. 母题与锁定
  2. Harbor 目录
  3. 符号覆盖
  4. 基线与可解性
  5. 反泄露
  6. 轨迹完整性
  7. 反作弊
  8. 多样性与交付件

NL2Repo 任务包与轨迹:买方把验收提前了

2026 年秋季,Coding Agent 的买方不再只问“能不能写出代码”。NL2Repo 一类任务要求模型对着真实开源仓库、在隔离环境里从零实现,再用测试给出可复现的分数。采购时真正值钱的,是锁定的 commit、与测试隔离的需求文档,以及能对上 tool_call_id 的完整轨迹。

一家模型实验室的评测周会上,同事把 NL2Repo 样例投到屏幕上:左边是 instruction.md,右边是 tests。有人问能不能先看参考解,负责人说:能看参考解的环节,就不该出现在 agent 输入里。

买方会先翻开「母题与锁定」。这一页没有可打开的样例,排期就停在试标包。

正文按八个检查点展开。每个检查点只出现一次事实陈述,随后用现场说法说明它如何影响排期、抽检或邮件回复。公开论文与榜单分数出现时,只帮助判断会检查哪一页,不改写朗慧的书面承诺。

母题与锁定

任务以真实开源仓库为母题,Python 为主,锁定完整 40 位 commit SHA。有效代码行按去注释与空行统计,通常要求千行以上,并记录近三年是否仍有提交。仓库 stars 与许可证写入 task.toml,许可证必须允许加工与训练。

买方把「母题与锁定」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。

买方打开任务清单,第一眼不是看题目文案,而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希,复现就会落到错误快照上。

有效 LOC 用统一脚本统计,注释与空行剔除规则写进批次说明。同仓库多 commit 堆量,要在素材均衡表里单独标记,避免一轮采购变成同一母题的变体集。

许可证审查先于报价。不允许训练或限制二次分发的仓库,不进入可交付分割,也不用“可内部研究”含糊带过。

Harbor 目录

目录采用 Harbor 任务格式:instruction.md、task.toml、environment/、solution/、tests/,并由 test.sh 把 pass_rate 写入约定日志路径。环境建议随包提供;缺失时须保证 commit 可完整检出,由买方自行构建,并在说明里写清责任边界。

买方把「Harbor 目录」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。

instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层,复现脚本就要靠口头补,验收人通常会直接退回。

task.toml 逐任务必含来源仓库、完整 SHA、语言、有效 LOC、领域、测试用例数、测试来源(官方自带或合成)。缺字段的任务不计入批次通过率。

环境镜像写明 Python 版本与依赖锁定。一键构建失败超过约定次数,该条记为环境不合格,而不是模型不合格。

符号覆盖

需求文档须覆盖判分测试触及的完整符号面:函数、类、常量、helper、模块级属性与跨模块调用流程。每任务附覆盖核对清单,遗漏即不合格。

买方把「符号覆盖」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。

覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席,agent 只能靠猜,分数失去解释力。

清单建议按模块列出符号与对应测试文件。合成测试尤需核对,防止出题人记得测什么、却忘了写进需求。

试标时随机抽任务,让未参与出题的工程师只读 instruction.md 勾出符号面,再与清单对照。对不上的任务退回修订。

基线与可解性

判分测试在交付环境中须全部通过,仅允许依赖版本锁定,不得改功能源码。参考解经 oracle 验证达到约定 reward 阈值。判分须在约定时限内完成,超时记失败。

买方把「基线与可解性」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。

oracle 跑不通的任务,说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。

时限要写进验收:超时判失败,防止靠超长重试刷出偶然通过。批次汇总表记录每题耗时分布。

依赖锁定文件与镜像一并归档。三个月后复跑时,找不到锁定文件就等于找不到当时的分数含义。

反泄露

需求文档及初始环境不得含判分测试信息:用例、断言、测试文件名等。任何泄露渠道都视为红线,整批可拒收。

买方把「反泄露」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。

反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段,该任务直接剔除。

出题人从官方测试“改写”需求时,最容易把函数签名和边界条件原样粘进去。试标规程要求双人交叉阅读。

买方抽检时只给 agent 侧材料。若评测同学仍能从需求猜出断言,说明隔离失败。

轨迹完整性

轨迹为 agent 从零实现的完整交互,jsonl 交付,含 messages、tools、metadata。metadata 必含 instance_id、reward_score、teacher_model、assistant 轮数。tool_calls.id 与 tool_call_id 逐条可配对。单条优选高轮次长程轨迹。

买方把「轨迹完整性」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。

轨迹不是聊天截图。缺 tool 回传、id 对不上,后训练与分析都用不了。

轮数统计逐条交付并附批次汇总。刻意截断的“漂亮短轨迹”应标为演示样例,不计入长程能力集。

teacher_model 字段写真实模型名与版本。写“某强模型”而不落版本,复盘时无法解释分数差异。

反作弊

禁止从外部获取目标源码:git clone、curl、wget、pip download、按包名安装目标等,仅允许本地可编辑安装。禁止行为须在需求中显式声明,违者整批拒收。轨迹须为真实模型运行采集。

买方把「反作弊」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。

反作弊条款要写进 instruction.md 醒目位置,并在环境出站策略里落实。只写在报价附件里,agent 侧看不到,等于没写。

验收可抽查轨迹里是否出现违规命令。出现即整任务失败,累计超过阈值则整批退回。

真实运行意味着保留时间戳与环境指纹。事后手写的“伪轨迹”一旦对不上 reward 日志,按造假处理。

多样性与交付件

文档风格跟随目标仓库自身风格,批次内体现多种写法。领域与 LOC 档位自然分布,避免单一仓库堆量。每批交付任务包、轨迹、统计表、任务清单、环境说明与反作弊机制说明。

买方把「多样性与交付件」当成能否进入比选的门槛:样例页看不见,扩量谈判就先不排。

多样性表比口号有用:按领域、LOC 档、文档风格计数。某一格为空,补采后再谈扩量。

交付件清单缺统计表或环境说明,买方无法做二次复跑,验收停在资料不全。

朗慧在 Coding 交付里可以把任务包、校验脚本和抽检记录放在同一路径。未经验收的 pass rate 不写进投标页。

长程工程题的终点是可复跑的沙箱

公开评测正在把“会写几行代码”推进到“在可复现沙箱里完成长程工程”。MedAgentGym(ICLR 2026)说明可执行校验器比单看参考答案更能区分真实能力;Agents’ Last Exam 与 Harbor 类任务包则强调环境、附件与轨迹要一起交付。NL2Repo 的价值不在题面修辞,而在锁定母题、隔离测试与可配对轨迹。论文或榜单上的分数,只帮助买方决定检查哪一页,不自动成为朗慧验收指标。

放回「NL2Repo 任务包与轨迹」,买方可以用这些公开讨论核对文件夹里有没有版本号、样例和停线条件。对得上,就可以写进工作说明;对不上,就继续停在样例评估。论文里的成功率与基准分,不写进朗慧验收承诺,也不换算成公司收入。

读「NL2Repo 任务包与轨迹」时的现场语气

行业里谈「NL2Repo 任务包与轨迹」,语气已经从“能不能做”转到“能不能在三个月后复盘”。复盘需要的不是形容词,而是当时冻结的定义、样例编号和停线记录。

销售材料若出现未经抽检表支撑的准确率,评审应要求追溯到某一版记录;追溯不到就删掉数字,只保留范围句。

财务与业务负责人应拿到同一版本的比选表。两份表格版本号不同,会议先对齐文件,再讨论价格。

把「NL2Repo 任务包与轨迹」写进年度数据预算时,试标包、返工预备和量产段分开列。返工预备不是浪费,而是定义尚未稳定时的正常成本。

周报里怎样写「NL2Repo 任务包与轨迹」才有用

围绕「母题与锁定」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。买方打开任务清单,第一眼不是看题目文案,而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希,复现就会落到错误快照上。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「Harbor 目录」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层,复现脚本就要靠口头补,验收人通常会直接退回。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「符号覆盖」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席,agent 只能靠猜,分数失去解释力。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「基线与可解性」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。oracle 跑不通的任务,说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「反泄露」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段,该任务直接剔除。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「轨迹完整性」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。轨迹不是聊天截图。缺 tool 回传、id 对不上,后训练与分析都用不了。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「反作弊」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。反作弊条款要写进 instruction.md 醒目位置,并在环境出站策略里落实。只写在报价附件里,agent 侧看不到,等于没写。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「多样性与交付件」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。多样性表比口号有用:按领域、LOC 档、文档风格计数。某一格为空,补采后再谈扩量。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

报价里写得清的范围

朗慧可以把 NL2Repo 类任务纳入 Coding 与题库交付:Harbor 目录、环境说明、oracle 记录与抽检表放在同一版本号下。能自动判定的步骤交给测试与校验脚本;必须人工判断的符号覆盖与许可证审查保留双人记录。不把未复跑确认的模型分数写成交付承诺。

比选表建议设四列:范围是否写清、样例能否被另一位同事复核、停线条件有没有阈值、许可证或授权是否落地。单价放在四列之后。任一列空白,本轮不进入扩量谈判。

报价之前先确认四件事:仓库许可证是否允许训练、需求与测试是否隔离、轨迹是否真实可配对、失败后谁有权整批停线。四件事未齐,只安排样例评估,不报量产单价。

朗慧对外能够承诺的范围,以书面工作说明为准。186 个预置模型是人体影像的预标注清单,按部位和任务核对,不是 186 种疾病,也不计入动物任务。病理全片、站点默认范围以外的视频和通用文本处理,按项目单独约定,不写成平台默认能力。第一人称人类视频在重映射责任、目标自由度和有效性字段写明之前,交付名称是人类示范数据,不是机器人动作标签。论文里的成功率、基准分数和第三方市场规模,只作为买方理解行业的背景,不写入朗慧的验收承诺。E8 仍待确认供货,不进入当前报价。

本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。

同一主题的另外两篇

ARTICLE INQUIRY

把这篇变成一次样例评估

长沙朗慧信息科技有限公司 · 湖南拓比科技有限公司。电话 137-5502-0164,邮箱 lk@langhuiai.com。

返回本辑目录

联系电话或邮箱至少填写一项。请不要粘贴未脱敏的患者数据、未授权原片或账号密码。