朗慧科技

采购 NL2Repo 之前,把反泄露和反作弊写进邮件

Coding 与题库 · 采购清单 · 约 5015 字

评分格点的纸面与电脑
纸面上的色块评分表与电脑中的对照格。图用于说明工作场景,不包含真实仓库或密钥。

NL2Repo 任务包与轨迹的检查点如下,正文按这些名字展开。

  1. 母题与锁定
  2. Harbor 目录
  3. 符号覆盖
  4. 基线与可解性
  5. 反泄露
  6. 轨迹完整性
  7. 反作弊
  8. 多样性与交付件

采购NL2Repo 任务包与轨迹:邮件里要留下的话

采购 NL2Repo 时,最有用的问题不是“有多少 Task”,而是“需求文档里有没有测试文件名、轨迹是不是真实模型跑出来的、许可证允不允许训练”。下面八条可以直接贴进工作说明。

采购邮件里先要三样东西:带 SHA 的任务清单、一则完整 Harbor 目录样例、一则含 tool_call_id 配对的轨迹片段。缺一就只开样例评估,不开量产单价。

邮件从「母题与锁定」写起。每一问都要能打开一条样例编号。

正文按八个检查点展开。每个检查点只出现一次事实陈述,随后用现场说法说明它如何影响排期、抽检或邮件回复。公开论文与榜单分数出现时,只帮助判断会检查哪一页,不改写朗慧的书面承诺。

母题与锁定

任务以真实开源仓库为母题,Python 为主,锁定完整 40 位 commit SHA。有效代码行按去注释与空行统计,通常要求千行以上,并记录近三年是否仍有提交。仓库 stars 与许可证写入 task.toml,许可证必须允许加工与训练。

邮件里问「母题与锁定」时,要求供应商打开一条通过样例和一条退回样例,并写理由。

许可证审查先于报价。不允许训练或限制二次分发的仓库,不进入可交付分割,也不用“可内部研究”含糊带过。

买方打开任务清单,第一眼不是看题目文案,而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希,复现就会落到错误快照上。

有效 LOC 用统一脚本统计,注释与空行剔除规则写进批次说明。同仓库多 commit 堆量,要在素材均衡表里单独标记,避免一轮采购变成同一母题的变体集。

Harbor 目录

目录采用 Harbor 任务格式:instruction.md、task.toml、environment/、solution/、tests/,并由 test.sh 把 pass_rate 写入约定日志路径。环境建议随包提供;缺失时须保证 commit 可完整检出,由买方自行构建,并在说明里写清责任边界。

邮件里问「Harbor 目录」时,要求供应商打开一条通过样例和一条退回样例,并写理由。

环境镜像写明 Python 版本与依赖锁定。一键构建失败超过约定次数,该条记为环境不合格,而不是模型不合格。

instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层,复现脚本就要靠口头补,验收人通常会直接退回。

task.toml 逐任务必含来源仓库、完整 SHA、语言、有效 LOC、领域、测试用例数、测试来源(官方自带或合成)。缺字段的任务不计入批次通过率。

符号覆盖

需求文档须覆盖判分测试触及的完整符号面:函数、类、常量、helper、模块级属性与跨模块调用流程。每任务附覆盖核对清单,遗漏即不合格。

邮件里问「符号覆盖」时,要求供应商打开一条通过样例和一条退回样例,并写理由。

试标时随机抽任务,让未参与出题的工程师只读 instruction.md 勾出符号面,再与清单对照。对不上的任务退回修订。

覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席,agent 只能靠猜,分数失去解释力。

清单建议按模块列出符号与对应测试文件。合成测试尤需核对,防止出题人记得测什么、却忘了写进需求。

基线与可解性

判分测试在交付环境中须全部通过,仅允许依赖版本锁定,不得改功能源码。参考解经 oracle 验证达到约定 reward 阈值。判分须在约定时限内完成,超时记失败。

邮件里问「基线与可解性」时,要求供应商打开一条通过样例和一条退回样例,并写理由。

依赖锁定文件与镜像一并归档。三个月后复跑时,找不到锁定文件就等于找不到当时的分数含义。

oracle 跑不通的任务,说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。

时限要写进验收:超时判失败,防止靠超长重试刷出偶然通过。批次汇总表记录每题耗时分布。

反泄露

需求文档及初始环境不得含判分测试信息:用例、断言、测试文件名等。任何泄露渠道都视为红线,整批可拒收。

邮件里问「反泄露」时,要求供应商打开一条通过样例和一条退回样例,并写理由。

买方抽检时只给 agent 侧材料。若评测同学仍能从需求猜出断言,说明隔离失败。

反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段,该任务直接剔除。

出题人从官方测试“改写”需求时,最容易把函数签名和边界条件原样粘进去。试标规程要求双人交叉阅读。

轨迹完整性

轨迹为 agent 从零实现的完整交互,jsonl 交付,含 messages、tools、metadata。metadata 必含 instance_id、reward_score、teacher_model、assistant 轮数。tool_calls.id 与 tool_call_id 逐条可配对。单条优选高轮次长程轨迹。

邮件里问「轨迹完整性」时,要求供应商打开一条通过样例和一条退回样例,并写理由。

teacher_model 字段写真实模型名与版本。写“某强模型”而不落版本,复盘时无法解释分数差异。

轨迹不是聊天截图。缺 tool 回传、id 对不上,后训练与分析都用不了。

轮数统计逐条交付并附批次汇总。刻意截断的“漂亮短轨迹”应标为演示样例,不计入长程能力集。

反作弊

禁止从外部获取目标源码:git clone、curl、wget、pip download、按包名安装目标等,仅允许本地可编辑安装。禁止行为须在需求中显式声明,违者整批拒收。轨迹须为真实模型运行采集。

邮件里问「反作弊」时,要求供应商打开一条通过样例和一条退回样例,并写理由。

真实运行意味着保留时间戳与环境指纹。事后手写的“伪轨迹”一旦对不上 reward 日志,按造假处理。

反作弊条款要写进 instruction.md 醒目位置,并在环境出站策略里落实。只写在报价附件里,agent 侧看不到,等于没写。

验收可抽查轨迹里是否出现违规命令。出现即整任务失败,累计超过阈值则整批退回。

多样性与交付件

文档风格跟随目标仓库自身风格,批次内体现多种写法。领域与 LOC 档位自然分布,避免单一仓库堆量。每批交付任务包、轨迹、统计表、任务清单、环境说明与反作弊机制说明。

邮件里问「多样性与交付件」时,要求供应商打开一条通过样例和一条退回样例,并写理由。

朗慧在 Coding 交付里可以把任务包、校验脚本和抽检记录放在同一路径。未经验收的 pass rate 不写进投标页。

多样性表比口号有用:按领域、LOC 档、文档风格计数。某一格为空,补采后再谈扩量。

交付件清单缺统计表或环境说明,买方无法做二次复跑,验收停在资料不全。

长程工程题的终点是可复跑的沙箱

公开评测正在把“会写几行代码”推进到“在可复现沙箱里完成长程工程”。MedAgentGym(ICLR 2026)说明可执行校验器比单看参考答案更能区分真实能力;Agents’ Last Exam 与 Harbor 类任务包则强调环境、附件与轨迹要一起交付。NL2Repo 的价值不在题面修辞,而在锁定母题、隔离测试与可配对轨迹。论文或榜单上的分数,只帮助买方决定检查哪一页,不自动成为朗慧验收指标。

放回「NL2Repo 任务包与轨迹」,买方可以用这些公开讨论核对文件夹里有没有版本号、样例和停线条件。对得上,就可以写进工作说明;对不上,就继续停在样例评估。论文里的成功率与基准分,不写进朗慧验收承诺,也不换算成公司收入。

把「NL2Repo 任务包与轨迹」写进工作说明的写法

工作说明用表格而不是长段落。每一行对应一个检查点,行内要求样例编号、冻结日期、通过与退回理由。

响应文件附件顺序与表格一致,评审按行打开。流畅总述不能代替空白行。

费用归属写在报价备注:哪些含在试标,哪些属于量产。未写明的条目,验收时不得追加为已承诺工作。

现场打不开归档,本条按资料缺失处理,不按数据合格结案。口头确认只进会议待办,待办关闭并写入版本后才算数。

周报里怎样写「NL2Repo 任务包与轨迹」才有用

围绕「母题与锁定」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。买方打开任务清单,第一眼不是看题目文案,而是看仓库 URL 与 SHA 能否对上。SHA 少一位、写成短哈希,复现就会落到错误快照上。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「Harbor 目录」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。instruction.md 只给 agent 看。tests 与 solution 不得出现在初始环境或需求正文里。Harbor 目录少一层,复现脚本就要靠口头补,验收人通常会直接退回。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「符号覆盖」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。覆盖核对不是“写得像 README”就过关。测试调用到的符号若在需求里缺席,agent 只能靠猜,分数失去解释力。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「基线与可解性」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。oracle 跑不通的任务,说明测试、环境或参考解至少有一处失真。这类题不能靠调低阈值蒙混入库。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「反泄露」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。反泄露检查要用脚本扫 instruction.md 与初始工作区。命中测试文件名或断言片段,该任务直接剔除。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「轨迹完整性」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。轨迹不是聊天截图。缺 tool 回传、id 对不上,后训练与分析都用不了。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「反作弊」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。反作弊条款要写进 instruction.md 醒目位置,并在环境出站策略里落实。只写在报价附件里,agent 侧看不到,等于没写。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

围绕「多样性与交付件」,交付团队在周报里只允许写计数与编号,不允许写“基本完成”。多样性表比口号有用:按领域、LOC 档、文档风格计数。某一格为空,补采后再谈扩量。若本周无新增样例,就写明阻塞项来自买方材料还是执行返工。

样例评估会交回什么

朗慧可以把 NL2Repo 类任务纳入 Coding 与题库交付:Harbor 目录、环境说明、oracle 记录与抽检表放在同一版本号下。能自动判定的步骤交给测试与校验脚本;必须人工判断的符号覆盖与许可证审查保留双人记录。不把未复跑确认的模型分数写成交付承诺。

样例评估交回:通过与退回样例、退回理由、版本号、以及下一轮补齐项列表。评估通过不自动等于量产单价生效;量产单价在四件门槛齐备后另页确认。

报价之前先确认四件事:仓库许可证是否允许训练、需求与测试是否隔离、轨迹是否真实可配对、失败后谁有权整批停线。四件事未齐,只安排样例评估,不报量产单价。

朗慧对外能够承诺的范围,以书面工作说明为准。186 个预置模型是人体影像的预标注清单,按部位和任务核对,不是 186 种疾病,也不计入动物任务。病理全片、站点默认范围以外的视频和通用文本处理,按项目单独约定,不写成平台默认能力。第一人称人类视频在重映射责任、目标自由度和有效性字段写明之前,交付名称是人类示范数据,不是机器人动作标签。论文里的成功率、基准分数和第三方市场规模,只作为买方理解行业的背景,不写入朗慧的验收承诺。E8 仍待确认供货,不进入当前报价。

本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。

可以贴进邮件的八个问题

请用一条真实样例说明「母题与锁定」,并写上通过或退回的理由。

请用一条真实样例说明「Harbor 目录」,并写上通过或退回的理由。

请用一条真实样例说明「符号覆盖」,并写上通过或退回的理由。

请用一条真实样例说明「基线与可解性」,并写上通过或退回的理由。

请用一条真实样例说明「反泄露」,并写上通过或退回的理由。

请用一条真实样例说明「轨迹完整性」,并写上通过或退回的理由。

请用一条真实样例说明「反作弊」,并写上通过或退回的理由。

请用一条真实样例说明「多样性与交付件」,并写上通过或退回的理由。

同一主题的另外两篇

ARTICLE INQUIRY

把这篇变成一次样例评估

长沙朗慧信息科技有限公司 · 湖南拓比科技有限公司。电话 137-5502-0164,邮箱 lk@langhuiai.com。

返回本辑目录

联系电话或邮箱至少填写一项。请不要粘贴未脱敏的患者数据、未授权原片或账号密码。