从仓库到任务包：Harbor 目录怎样才算可验收
NL2Repo 任务包与轨迹的检查点如下，正文按这些名字展开。
- 母题与锁定
- Harbor 目录
- 符号覆盖
- 基线与可解性
- 反泄露
- 轨迹完整性
- 反作弊
- 多样性与交付件
NL2Repo 任务包与轨迹：试标怎样走到移交
一份合格的 NL2Repo 任务包，看起来像 Harbor 目录，做起来像一桩小型工程交付。instruction.md 是 agent 唯一输入，tests 是唯一裁判，solution 只给 oracle 用。哪一层漏了信息，验收就会在复跑时塌掉。
试标第一周只做十二个任务包。两人分开检查反泄露与符号覆盖，第三天对齐退回理由，第四天才让真实模型跑轨迹。
试标从「母题与锁定」做起。两个人先分开判断，对不上再升级。
正文按八个检查点展开。每个检查点只出现一次事实陈述，随后用现场说法说明它如何影响排期、抽检或邮件回复。公开论文与榜单分数出现时，只帮助判断会检查哪一页，不改写朗慧的书面承诺。
母题与锁定
任务以真实开源仓库为母题，Python 为主，锁定完整 40 位 commit SHA。有效代码行按去注释与空行统计，通常要求千行以上，并记录近三年是否仍有提交。仓库 stars 与许可证写入 task.toml，许可证必须允许加工与训练。
执行侧在「母题与锁定」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
有效 LOC 用统一脚本统计，注释与空行剔除规则写进批次说明。同仓库多 commit 堆量，要在素材均衡表里单独标记，避免一轮采购变成同一母题的变体集。
买方打开任务清单，第一眼不是看题目文案，而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希，复现就会落到错误快照上。
许可证审查先于报价。不允许训练或限制二次分发的仓库，不进入可交付分割，也不用“可内部研究”含糊带过。
Harbor 目录
目录采用 Harbor 任务格式：instruction.md、task.toml、environment/、solution/、tests/，并由 test.sh 把 pass_rate 写入约定日志路径。环境建议随包提供；缺失时须保证 commit 可完整检出，由买方自行构建，并在说明里写清责任边界。
执行侧在「Harbor 目录」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
task.toml 逐任务必含来源仓库、完整 SHA、语言、有效 LOC、领域、测试用例数、测试来源（官方自带或合成）。缺字段的任务不计入批次通过率。
instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层，复现脚本就要靠口头补，验收人通常会直接退回。
环境镜像写明 Python 版本与依赖锁定。一键构建失败超过约定次数，该条记为环境不合格，而不是模型不合格。
符号覆盖
需求文档须覆盖判分测试触及的完整符号面：函数、类、常量、helper、模块级属性与跨模块调用流程。每任务附覆盖核对清单，遗漏即不合格。
执行侧在「符号覆盖」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
清单建议按模块列出符号与对应测试文件。合成测试尤需核对，防止出题人记得测什么、却忘了写进需求。
覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席，agent 只能靠猜，分数失去解释力。
试标时随机抽任务，让未参与出题的工程师只读 instruction.md 勾出符号面，再与清单对照。对不上的任务退回修订。
基线与可解性
判分测试在交付环境中须全部通过，仅允许依赖版本锁定，不得改功能源码。参考解经 oracle 验证达到约定 reward 阈值。判分须在约定时限内完成，超时记失败。
执行侧在「基线与可解性」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
时限要写进验收：超时判失败，防止靠超长重试刷出偶然通过。批次汇总表记录每题耗时分布。
oracle 跑不通的任务，说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。
依赖锁定文件与镜像一并归档。三个月后复跑时，找不到锁定文件就等于找不到当时的分数含义。
反泄露
需求文档及初始环境不得含判分测试信息：用例、断言、测试文件名等。任何泄露渠道都视为红线，整批可拒收。
执行侧在「反泄露」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
出题人从官方测试“改写”需求时，最容易把函数签名和边界条件原样粘进去。试标规程要求双人交叉阅读。
反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段，该任务直接剔除。
买方抽检时只给 agent 侧材料。若评测同学仍能从需求猜出断言，说明隔离失败。
轨迹完整性
轨迹为 agent 从零实现的完整交互，jsonl 交付，含 messages、tools、metadata。metadata 必含 instance_id、reward_score、teacher_model、assistant 轮数。tool_calls.id 与 tool_call_id 逐条可配对。单条优选高轮次长程轨迹。
执行侧在「轨迹完整性」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
轮数统计逐条交付并附批次汇总。刻意截断的“漂亮短轨迹”应标为演示样例，不计入长程能力集。
轨迹不是聊天截图。缺 tool 回传、id 对不上，后训练与分析都用不了。
teacher_model 字段写真实模型名与版本。写“某强模型”而不落版本，复盘时无法解释分数差异。
反作弊
禁止从外部获取目标源码：git clone、curl、wget、pip download、按包名安装目标等，仅允许本地可编辑安装。禁止行为须在需求中显式声明，违者整批拒收。轨迹须为真实模型运行采集。
执行侧在「反作弊」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
验收可抽查轨迹里是否出现违规命令。出现即整任务失败，累计超过阈值则整批退回。
反作弊条款要写进 instruction.md 醒目位置，并在环境出站策略里落实。只写在报价附件里，agent 侧看不到，等于没写。
真实运行意味着保留时间戳与环境指纹。事后手写的“伪轨迹”一旦对不上 reward 日志，按造假处理。
多样性与交付件
文档风格跟随目标仓库自身风格，批次内体现多种写法。领域与 LOC 档位自然分布，避免单一仓库堆量。每批交付任务包、轨迹、统计表、任务清单、环境说明与反作弊机制说明。
执行侧在「多样性与交付件」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
交付件清单缺统计表或环境说明，买方无法做二次复跑，验收停在资料不全。
多样性表比口号有用：按领域、LOC 档、文档风格计数。某一格为空，补采后再谈扩量。
朗慧在 Coding 交付里可以把任务包、校验脚本和抽检记录放在同一路径。未经验收的 pass rate 不写进投标页。
长程工程题的终点是可复跑的沙箱
公开评测正在把“会写几行代码”推进到“在可复现沙箱里完成长程工程”。MedAgentGym（ICLR 2026）说明可执行校验器比单看参考答案更能区分真实能力；Agents’ Last Exam 与 Harbor 类任务包则强调环境、附件与轨迹要一起交付。NL2Repo 的价值不在题面修辞，而在锁定母题、隔离测试与可配对轨迹。论文或榜单上的分数，只帮助买方决定检查哪一页，不自动成为朗慧验收指标。
放回「NL2Repo 任务包与轨迹」，买方可以用这些公开讨论核对文件夹里有没有版本号、样例和停线条件。对得上，就可以写进工作说明；对不上，就继续停在样例评估。论文里的成功率与基准分，不写进朗慧验收承诺，也不换算成公司收入。
执行「NL2Repo 任务包与轨迹」的一周节奏
周一冻结定义与样例编号，周二双人盲做，周三裁决，周四小流量生产，周五抽检与版本差分。
看板上只挂当前版本链接。个人文件夹里的旧指南不算数；链接失效即停工。
失败编号进返工单，关闭前不进交付量，也不提前开票。停线周单独编号，防止与放行样本混装。
周五的版本差分写清改了哪一条规则、影响哪些在制编号。没有差分表的“口头微调”，下周一一律不承认。
周报里怎样写「NL2Repo 任务包与轨迹」才有用
围绕「母题与锁定」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。买方打开任务清单，第一眼不是看题目文案，而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希，复现就会落到错误快照上。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
围绕「Harbor 目录」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层，复现脚本就要靠口头补，验收人通常会直接退回。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
围绕「符号覆盖」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席，agent 只能靠猜，分数失去解释力。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
围绕「基线与可解性」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。oracle 跑不通的任务，说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
围绕「反泄露」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段，该任务直接剔除。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
围绕「轨迹完整性」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。轨迹不是聊天截图。缺 tool 回传、id 对不上，后训练与分析都用不了。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
围绕「反作弊」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。反作弊条款要写进 instruction.md 醒目位置，并在环境出站策略里落实。只写在报价附件里，agent 侧看不到，等于没写。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
围绕「多样性与交付件」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。多样性表比口号有用：按领域、LOC 档、文档风格计数。某一格为空，补采后再谈扩量。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
移交时文件夹里有什么
朗慧可以把 NL2Repo 类任务纳入 Coding 与题库交付：Harbor 目录、环境说明、oracle 记录与抽检表放在同一版本号下。能自动判定的步骤交给测试与校验脚本；必须人工判断的符号覆盖与许可证审查保留双人记录。不把未复跑确认的模型分数写成交付承诺。
移交清单至少包括：当前指南、标签或字段映射、正反例、抽检表、环境或导出说明、版本号。新人只看归档独立判断若干样例，再与冻结理由对照；对不上就说明还不能移交。
报价之前先确认四件事：仓库许可证是否允许训练、需求与测试是否隔离、轨迹是否真实可配对、失败后谁有权整批停线。四件事未齐，只安排样例评估，不报量产单价。
朗慧对外能够承诺的范围，以书面工作说明为准。186 个预置模型是人体影像的预标注清单，按部位和任务核对，不是 186 种疾病，也不计入动物任务。病理全片、站点默认范围以外的视频和通用文本处理，按项目单独约定，不写成平台默认能力。第一人称人类视频在重映射责任、目标自由度和有效性字段写明之前，交付名称是人类示范数据，不是机器人动作标签。论文里的成功率、基准分数和第三方市场规模，只作为买方理解行业的背景，不写入朗慧的验收承诺。E8 仍待确认供货，不进入当前报价。
本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。