采购 NL2Repo 之前,把反泄露和反作弊写进邮件

NL2Repo 任务包与轨迹的检查点如下,正文按这些名字展开。
- 母题与锁定
- Harbor 目录
- 符号覆盖
- 基线与可解性
- 反泄露
- 轨迹完整性
- 反作弊
- 多样性与交付件
采购NL2Repo 任务包与轨迹:邮件里要留下的话
采购 NL2Repo 时,最有用的问题不是“有多少 Task”,而是“需求文档里有没有测试文件名、轨迹是不是真实模型跑出来的、许可证允不允许训练”。下面八条可以直接贴进工作说明。
采购邮件里先要三样东西:带 SHA 的任务清单、一则完整 Harbor 目录样例、一则含 tool_call_id 配对的轨迹片段。缺一就只开样例评估,不开量产单价。
邮件从「母题与锁定」写起。每一问都要能打开一条样例编号。
正文按八个检查点展开。每个检查点只出现一次事实陈述,随后用现场说法说明它如何影响排期、抽检或邮件回复。公开论文与榜单分数出现时,只帮助判断会检查哪一页,不改写朗慧的书面承诺。
母题与锁定
任务以真实开源仓库为母题,Python 为主,锁定完整 40 位 commit SHA。有效代码行按去注释与空行统计,通常要求千行以上,并记录近三年是否仍有提交。仓库 stars 与许可证写入 task.toml,许可证必须允许加工与训练。
邮件里问「母题与锁定」时,要求供应商打开一条通过样例和一条退回样例,并写理由。
许可证审查先于报价。不允许训练或限制二次分发的仓库,不进入可交付分割,也不用“可内部研究”含糊带过。
买方打开任务清单,第一眼不是看题目文案,而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希,复现就会落到错误快照上。
有效 LOC 用统一脚本统计,注释与空行剔除规则写进批次说明。同仓库多 commit 堆量,要在素材均衡表里单独标记,避免一轮采购变成同一母题的变体集。
Harbor 目录
目录采用 Harbor 任务格式:instruction.md、task.toml、environment/、solution/、tests/,并由 test.sh 把 pass_rate 写入约定日志路径。环境建议随包提供;缺失时须保证 commit 可完整检出,由买方自行构建,并在说明里写清责任边界。
邮件里问「Harbor 目录」时,要求供应商打开一条通过样例和一条退回样例,并写理由。
环境镜像写明 Python 版本与依赖锁定。一键构建失败超过约定次数,该条记为环境不合格,而不是模型不合格。
instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层,复现脚本就要靠口头补,验收人通常会直接退回。
task.toml 逐任务必含来源仓库、完整 SHA、语言、有效 LOC、领域、测试用例数、测试来源(官方自带或合成)。缺字段的任务不计入批次通过率。
符号覆盖
需求文档须覆盖判分测试触及的完整符号面:函数、类、常量、helper、模块级属性与跨模块调用流程。每任务附覆盖核对清单,遗漏即不合格。
邮件里问「符号覆盖」时,要求供应商打开一条通过样例和一条退回样例,并写理由。
试标时随机抽任务,让未参与出题的工程师只读 instruction.md 勾出符号面,再与清单对照。对不上的任务退回修订。
覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席,agent 只能靠猜,分数失去解释力。
清单建议按模块列出符号与对应测试文件。合成测试尤需核对,防止出题人记得测什么、却忘了写进需求。
基线与可解性
判分测试在交付环境中须全部通过,仅允许依赖版本锁定,不得改功能源码。参考解经 oracle 验证达到约定 reward 阈值。判分须在约定时限内完成,超时记失败。
邮件里问「基线与可解性」时,要求供应商打开一条通过样例和一条退回样例,并写理由。
依赖锁定文件与镜像一并归档。三个月后复跑时,找不到锁定文件就等于找不到当时的分数含义。
oracle 跑不通的任务,说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。
时限要写进验收:超时判失败,防止靠超长重试刷出偶然通过。批次汇总表记录每题耗时分布。
反泄露
需求文档及初始环境不得含判分测试信息:用例、断言、测试文件名等。任何泄露渠道都视为红线,整批可拒收。
邮件里问「反泄露」时,要求供应商打开一条通过样例和一条退回样例,并写理由。
买方抽检时只给 agent 侧材料。若评测同学仍能从需求猜出断言,说明隔离失败。
反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段,该任务直接剔除。
出题人从官方测试“改写”需求时,最容易把函数签名和边界条件原样粘进去。试标规程要求双人交叉阅读。
轨迹完整性
轨迹为 agent 从零实现的完整交互,jsonl 交付,含 messages、tools、metadata。metadata 必含 instance_id、reward_score、teacher_model、assistant 轮数。tool_calls.id 与 tool_call_id 逐条可配对。单条优选高轮次长程轨迹。
邮件里问「轨迹完整性」时,要求供应商打开一条通过样例和一条退回样例,并写理由。
teacher_model 字段写真实模型名与版本。写“某强模型”而不落版本,复盘时无法解释分数差异。
轨迹不是聊天截图。缺 tool 回传、id 对不上,后训练与分析都用不了。
轮数统计逐条交付并附批次汇总。刻意截断的“漂亮短轨迹”应标为演示样例,不计入长程能力集。
反作弊
禁止从外部获取目标源码:git clone、curl、wget、pip download、按包名安装目标等,仅允许本地可编辑安装。禁止行为须在需求中显式声明,违者整批拒收。轨迹须为真实模型运行采集。
邮件里问「反作弊」时,要求供应商打开一条通过样例和一条退回样例,并写理由。
真实运行意味着保留时间戳与环境指纹。事后手写的“伪轨迹”一旦对不上 reward 日志,按造假处理。
反作弊条款要写进 instruction.md 醒目位置,并在环境出站策略里落实。只写在报价附件里,agent 侧看不到,等于没写。
验收可抽查轨迹里是否出现违规命令。出现即整任务失败,累计超过阈值则整批退回。
多样性与交付件
文档风格跟随目标仓库自身风格,批次内体现多种写法。领域与 LOC 档位自然分布,避免单一仓库堆量。每批交付任务包、轨迹、统计表、任务清单、环境说明与反作弊机制说明。
邮件里问「多样性与交付件」时,要求供应商打开一条通过样例和一条退回样例,并写理由。
朗慧在 Coding 交付里可以把任务包、校验脚本和抽检记录放在同一路径。未经验收的 pass rate 不写进投标页。
多样性表比口号有用:按领域、LOC 档、文档风格计数。某一格为空,补采后再谈扩量。
交付件清单缺统计表或环境说明,买方无法做二次复跑,验收停在资料不全。
长程工程题的终点是可复跑的沙箱
公开评测正在把“会写几行代码”推进到“在可复现沙箱里完成长程工程”。MedAgentGym(ICLR 2026)说明可执行校验器比单看参考答案更能区分真实能力;Agents’ Last Exam 与 Harbor 类任务包则强调环境、附件与轨迹要一起交付。NL2Repo 的价值不在题面修辞,而在锁定母题、隔离测试与可配对轨迹。论文或榜单上的分数,只帮助买方决定检查哪一页,不自动成为朗慧验收指标。
放回「NL2Repo 任务包与轨迹」,买方可以用这些公开讨论核对文件夹里有没有版本号、样例和停线条件。对得上,就可以写进工作说明;对不上,就继续停在样例评估。论文里的成功率与基准分,不写进朗慧验收承诺,也不换算成公司收入。
把「NL2Repo 任务包与轨迹」写进工作说明的写法
工作说明用表格而不是长段落。每一行对应一个检查点,行内要求样例编号、冻结日期、通过与退回理由。
响应文件附件顺序与表格一致,评审按行打开。流畅总述不能代替空白行。
费用归属写在报价备注:哪些含在试标,哪些属于量产。未写明的条目,验收时不得追加为已承诺工作。
现场打不开归档,本条按资料缺失处理,不按数据合格结案。口头确认只进会议待办,待办关闭并写入版本后才算数。
周报里怎样写「NL2Repo 任务包与轨迹」才有用
围绕「母题与锁定」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。买方打开任务清单,第一眼不是看题目文案,而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希,复现就会落到错误快照上。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「Harbor 目录」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层,复现脚本就要靠口头补,验收人通常会直接退回。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「符号覆盖」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席,agent 只能靠猜,分数失去解释力。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「基线与可解性」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。oracle 跑不通的任务,说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「反泄露」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段,该任务直接剔除。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「轨迹完整性」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。轨迹不是聊天截图。缺 tool 回传、id 对不上,后训练与分析都用不了。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「反作弊」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。反作弊条款要写进 instruction.md 醒目位置,并在环境出站策略里落实。只写在报价附件里,agent 侧看不到,等于没写。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
围绕「多样性与交付件」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。多样性表比口号有用:按领域、LOC 档、文档风格计数。某一格为空,补采后再谈扩量。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。
样例评估会交回什么
朗慧可以把 NL2Repo 类任务纳入 Coding 与题库交付:Harbor 目录、环境说明、oracle 记录与抽检表放在同一版本号下。能自动判定的步骤交给测试与校验脚本;必须人工判断的符号覆盖与许可证审查保留双人记录。不把未复跑确认的模型分数写成交付承诺。
样例评估交回:通过与退回样例、退回理由、版本号、以及下一轮补齐项列表。评估通过不自动等于量产单价生效;量产单价在四件门槛齐备后另页确认。
报价之前先确认四件事:仓库许可证是否允许训练、需求与测试是否隔离、轨迹是否真实可配对、失败后谁有权整批停线。四件事未齐,只安排样例评估,不报量产单价。
朗慧对外能够承诺的范围,以书面工作说明为准。186 个预置模型是人体影像的预标注清单,按部位和任务核对,不是 186 种疾病,也不计入动物任务。病理全片、站点默认范围以外的视频和通用文本处理,按项目单独约定,不写成平台默认能力。第一人称人类视频在重映射责任、目标自由度和有效性字段写明之前,交付名称是人类示范数据,不是机器人动作标签。论文里的成功率、基准分数和第三方市场规模,只作为买方理解行业的背景,不写入朗慧的验收承诺。E8 仍待确认供货,不进入当前报价。
本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。
可以贴进邮件的八个问题
请用一条真实样例说明「母题与锁定」,并写上通过或退回的理由。
请用一条真实样例说明「Harbor 目录」,并写上通过或退回的理由。
请用一条真实样例说明「符号覆盖」,并写上通过或退回的理由。
请用一条真实样例说明「基线与可解性」,并写上通过或退回的理由。
请用一条真实样例说明「反泄露」,并写上通过或退回的理由。
请用一条真实样例说明「轨迹完整性」,并写上通过或退回的理由。
请用一条真实样例说明「反作弊」,并写上通过或退回的理由。
请用一条真实样例说明「多样性与交付件」,并写上通过或退回的理由。