Agent Benchmark 采购：明确难度标定、任务覆盖和检索限制
后训练 Benchmark 任务包的检查点如下，正文按这些名字展开。
- 难度标定
- Task 形状
- 复杂 workspace
- GUI 与 CLI
- 反检索
- 行业分布
- 工具与服务
- 多模与订阅
采购后训练 Benchmark 任务包：邮件里要留下的话
采购时盯住：难度是否用约定 SOTA 与弱模型标定、行业是否覆盖、复杂 workspace 与 GUI 题占比、是否禁止公网检索。
邮件要：标定报告摘要、一个完整 Task 包、反检索说明、行业分布表。
邮件从「难度标定」写起。每一问都要能打开一条样例编号。
难度标定
在约定 SOTA 与 harness 下多次独立评测，归一化分数与完成率落在约定区间，且强弱模型保持区分度。
标定分不自动成为朗慧交付承诺。
标定报告保留模型、harness、步数上限与日期。
未达标的“简单题”从难题配额剔除。
Task 形状
完整包含任务书、不少于约定数量的多格式附件、Rubric、gold answer、非正确答案、task card；交付物数量与格式写清。
task card 写清 Python/依赖/Docker 或虚拟机需求。
只有文字摘要没有成果文件的题，业务类任务不合格。
非正确答案用于检验评分是否真的会扣分。
复杂 workspace
约定比例题目具备多附件、干扰文件或表面矛盾信息，文件数量达到门槛，避免只有干净小目录。
抽检打开 workspace 计数。
干扰文件清单要可解释，不能靠乱丢垃圾文件凑数。
矛盾信息需在 Rubric 写清以哪份为准。
GUI 与 CLI
约定比例题目必须通过 GUI Agent 完成；与 CLI 题区分标注，防止全是命令行可解。
两类题分别统计通过率。
GUI 题提供虚拟站点或界面入口说明。
用 CLI 取巧完成 GUI 题的路径，应在反作弊中失败。
反检索
题目不允许依赖公开互联网检索；如需网页，仅限提供的模拟站点，并交付部署方式。
模拟站点代码与版本一并归档。
出站策略在环境中落实，不只写在 PDF 里。
命中公网解题轨迹的样本拒收。
行业分布
任务覆盖金融保险、制造、零售、专业服务、信息、政府、医疗、房地产等行业，避免单行业刷量。
跨行业模板题要声明，防止假分布。
分布表进批次验收。
医疗与金融题注意合规与脱敏。
工具与服务
可选提供文件、文档、表格、PDF、演示与代码执行等工具；版本与权限写进环境说明。
Harbor/同类格式优先，便于买方接入。
工具失败与题目失败分开记账。
密钥与账号不进公开轨迹。
多模与订阅
多模子集与持续订阅类任务单独配额；难度与轮次要求写清，不与文本题混结算。
朗慧 Coding 交付可把可自动校验步骤与人工 Rubric 分开。
多模附件缺失直接失败。
订阅更新保留变更日志。
全对不一定算数，要看环境有没有关上网
Agent 评测从单次问答转向带环境、带附件、带步数上限的任务包。区分度与反检索，决定买到的是能力还是检索运气。公开榜单分数只帮助选择检查项。
放回「后训练 Benchmark 任务包」，买方可以用这些公开讨论核对文件夹里有没有版本号、样例和停线条件。对得上，就可以写进工作说明；对不上，就继续停在样例评估。论文里的成功率与基准分，不写进朗慧验收承诺，也不换算成公司收入。
把「后训练 Benchmark 任务包」写进工作说明的写法
工作说明用表格而不是长段落。每一行对应一个检查点，行内要求样例编号、冻结日期、通过与退回理由。
响应文件附件顺序与表格一致，评审按行打开。流畅总述不能代替空白行。
费用归属写在报价备注：哪些含在试标，哪些属于量产。未写明的条目，验收时不得追加为已承诺工作。
现场打不开归档，本条按资料缺失处理，不按数据合格结案。口头确认只进会议待办，待办关闭并写入版本后才算数。
供应商若用其他项目的「后训练 Benchmark 任务包」截图充数，只要样例编号对不上本项目字典，本行记未响应。
周报与退回理由怎样写「后训练 Benchmark 任务包」
围绕「难度标定」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。标定报告保留模型、harness、步数上限与日期。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「难度标定」相关的退回理由要能被另一位同事独立复述。未达标的“简单题”从难题配额剔除。复述失败，说明指南句子还不能进移交清单。
围绕「Task 形状」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。只有文字摘要没有成果文件的题，业务类任务不合格。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「Task 形状」相关的退回理由要能被另一位同事独立复述。非正确答案用于检验评分是否真的会扣分。复述失败，说明指南句子还不能进移交清单。
围绕「复杂 workspace」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。干扰文件清单要可解释，不能靠乱丢垃圾文件凑数。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「复杂 workspace」相关的退回理由要能被另一位同事独立复述。矛盾信息需在 Rubric 写清以哪份为准。复述失败，说明指南句子还不能进移交清单。
围绕「GUI 与 CLI」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。GUI 题提供虚拟站点或界面入口说明。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「GUI 与 CLI」相关的退回理由要能被另一位同事独立复述。用 CLI 取巧完成 GUI 题的路径，应在反作弊中失败。复述失败，说明指南句子还不能进移交清单。
围绕「反检索」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。出站策略在环境中落实，不只写在 PDF 里。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「反检索」相关的退回理由要能被另一位同事独立复述。命中公网解题轨迹的样本拒收。复述失败，说明指南句子还不能进移交清单。
围绕「行业分布」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。分布表进批次验收。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「行业分布」相关的退回理由要能被另一位同事独立复述。医疗与金融题注意合规与脱敏。复述失败，说明指南句子还不能进移交清单。
围绕「工具与服务」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。工具失败与题目失败分开记账。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「工具与服务」相关的退回理由要能被另一位同事独立复述。密钥与账号不进公开轨迹。复述失败，说明指南句子还不能进移交清单。
围绕「多模与订阅」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。多模附件缺失直接失败。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「多模与订阅」相关的退回理由要能被另一位同事独立复述。订阅更新保留变更日志。复述失败，说明指南句子还不能进移交清单。
和「后训练 Benchmark 任务包」相关的协作约定
招标答疑纪要若改写了「后训练 Benchmark 任务包」任一检查点，必须升版工作说明，旧回复作废。
样例评估报告的结论页只保留通过/退回/待补齐三类，不写情感评价。
合同附件的检查点顺序与新闻和指南一致，减少三套口径。
移交日对「后训练 Benchmark 任务包」的逐项点名
第 1 个检查点「难度标定」在移交日要能打开：事实句写明“在约定 SOTA 与 harness 下多次独立评测，归一化分数与完成率落在约定区间，且强弱模型保持区分度。”。现场补充保留这句：“标定分不自动成为朗慧交付承诺。”。打不开就从移交清单划掉，不口头担保。
第 2 个检查点「Task 形状」在移交日要能打开：事实句写明“完整包含任务书、不少于约定数量的多格式附件、Rubric、gold answer、非正确答案、task card；交付物数量与格式写清。”。现场补充保留这句：“task card 写清 Python/依赖/Docker 或虚拟机需求。”。打不开就从移交清单划掉，不口头担保。
第 3 个检查点「复杂 workspace」在移交日要能打开：事实句写明“约定比例题目具备多附件、干扰文件或表面矛盾信息，文件数量达到门槛，避免只有干净小目录。”。现场补充保留这句：“抽检打开 workspace 计数。”。打不开就从移交清单划掉，不口头担保。
第 4 个检查点「GUI 与 CLI」在移交日要能打开：事实句写明“约定比例题目必须通过 GUI Agent 完成；与 CLI 题区分标注，防止全是命令行可解。”。现场补充保留这句：“两类题分别统计通过率。”。打不开就从移交清单划掉，不口头担保。
第 5 个检查点「反检索」在移交日要能打开：事实句写明“题目不允许依赖公开互联网检索；如需网页，仅限提供的模拟站点，并交付部署方式。”。现场补充保留这句：“模拟站点代码与版本一并归档。”。打不开就从移交清单划掉，不口头担保。
第 6 个检查点「行业分布」在移交日要能打开：事实句写明“任务覆盖金融保险、制造、零售、专业服务、信息、政府、医疗、房地产等行业，避免单行业刷量。”。现场补充保留这句：“跨行业模板题要声明，防止假分布。”。打不开就从移交清单划掉，不口头担保。
第 7 个检查点「工具与服务」在移交日要能打开：事实句写明“可选提供文件、文档、表格、PDF、演示与代码执行等工具；版本与权限写进环境说明。”。现场补充保留这句：“Harbor/同类格式优先，便于买方接入。”。打不开就从移交清单划掉，不口头担保。
第 8 个检查点「多模与订阅」在移交日要能打开：事实句写明“多模子集与持续订阅类任务单独配额；难度与轮次要求写清，不与文本题混结算。”。现场补充保留这句：“朗慧 Coding 交付可把可自动校验步骤与人工 Rubric 分开。”。打不开就从移交清单划掉，不口头担保。
以上八项全部能打开，才在「后训练 Benchmark 任务包」移交单上签字。少一项，签字人需要书面说明为何豁免，豁免进出变更表。
样例评估会交回什么
朗慧可将后训练 Benchmark 任务包纳入 Coding 交付：任务书、附件、Rubric、环境说明与抽检表同版本。未复跑确认的 pass rate 不写进投标页。
样例评估交回：通过与退回样例、退回理由、版本号、以及下一轮补齐项列表。评估通过不自动等于量产单价生效；量产单价在四件门槛齐备后另页确认。
报价前确认四件事：难度标定方法、Task 形状清单、出站限制、失败停线权。未齐只做样例评估。
评估口径：按样例编号记录通过或退回、复判理由与责任角色；无法回溯的样本不计入放行。公开论文和基准结果用于理解技术趋势，不代表本项目效果；范围与验收指标以书面约定为准。
本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。
可以贴进邮件的八个问题
请用一条真实样例说明「难度标定」，并写上通过或退回的理由。
请用一条真实样例说明「Task 形状」，并写上通过或退回的理由。
请用一条真实样例说明「复杂 workspace」，并写上通过或退回的理由。
请用一条真实样例说明「GUI 与 CLI」，并写上通过或退回的理由。
请用一条真实样例说明「反检索」，并写上通过或退回的理由。
请用一条真实样例说明「行业分布」，并写上通过或退回的理由。
请用一条真实样例说明「工具与服务」，并写上通过或退回的理由。
请用一条真实样例说明「多模与订阅」，并写上通过或退回的理由。