Agent 评测任务包的组成：任务说明、附件、评分标准与运行环境
后训练 Benchmark 任务包的检查点如下，正文按这些名字展开。
- 难度标定
- Task 形状
- 复杂 workspace
- GUI 与 CLI
- 反检索
- 行业分布
- 工具与服务
- 多模与订阅
后训练 Benchmark 任务包：试标怎样走到移交
一个合格 Task 包通常包含任务书、多格式附件、Rubric、gold answer、非正确答案、task card 与环境说明。缺环境卡的题目，复现时最容易变成扯皮。
试标先跑难度标定脚本，再人工抽 workspace 与 Rubric 完整性。
试标从「难度标定」做起。两个人先分开判断，对不上再升级。
难度标定
在约定 SOTA 与 harness 下多次独立评测，归一化分数与完成率落在约定区间，且强弱模型保持区分度。
执行侧在「难度标定」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
未达标的“简单题”从难题配额剔除。
标定报告保留模型、harness、步数上限与日期。
标定分不自动成为朗慧交付承诺。
Task 形状
完整包含任务书、不少于约定数量的多格式附件、Rubric、gold answer、非正确答案、task card；交付物数量与格式写清。
执行侧在「Task 形状」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
非正确答案用于检验评分是否真的会扣分。
只有文字摘要没有成果文件的题，业务类任务不合格。
task card 写清 Python/依赖/Docker 或虚拟机需求。
复杂 workspace
约定比例题目具备多附件、干扰文件或表面矛盾信息，文件数量达到门槛，避免只有干净小目录。
执行侧在「复杂 workspace」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
矛盾信息需在 Rubric 写清以哪份为准。
干扰文件清单要可解释，不能靠乱丢垃圾文件凑数。
抽检打开 workspace 计数。
GUI 与 CLI
约定比例题目必须通过 GUI Agent 完成；与 CLI 题区分标注，防止全是命令行可解。
执行侧在「GUI 与 CLI」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
用 CLI 取巧完成 GUI 题的路径，应在反作弊中失败。
GUI 题提供虚拟站点或界面入口说明。
两类题分别统计通过率。
反检索
题目不允许依赖公开互联网检索；如需网页，仅限提供的模拟站点，并交付部署方式。
执行侧在「反检索」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
命中公网解题轨迹的样本拒收。
出站策略在环境中落实，不只写在 PDF 里。
模拟站点代码与版本一并归档。
行业分布
任务覆盖金融保险、制造、零售、专业服务、信息、政府、医疗、房地产等行业，避免单行业刷量。
执行侧在「行业分布」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
医疗与金融题注意合规与脱敏。
分布表进批次验收。
跨行业模板题要声明，防止假分布。
工具与服务
可选提供文件、文档、表格、PDF、演示与代码执行等工具；版本与权限写进环境说明。
执行侧在「工具与服务」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
密钥与账号不进公开轨迹。
工具失败与题目失败分开记账。
Harbor/同类格式优先，便于买方接入。
多模与订阅
多模子集与持续订阅类任务单独配额；难度与轮次要求写清，不与文本题混结算。
执行侧在「多模与订阅」上先做双人对照。对不上的编号进裁决，不取平均分抹平。
订阅更新保留变更日志。
多模附件缺失直接失败。
朗慧 Coding 交付可把可自动校验步骤与人工 Rubric 分开。
全对不一定算数，要看环境有没有关上网
Agent 评测从单次问答转向带环境、带附件、带步数上限的任务包。区分度与反检索，决定买到的是能力还是检索运气。公开榜单分数只帮助选择检查项。
放回「后训练 Benchmark 任务包」，买方可以用这些公开讨论核对文件夹里有没有版本号、样例和停线条件。对得上，就可以写进工作说明；对不上，就继续停在样例评估。论文里的成功率与基准分，不写进朗慧验收承诺，也不换算成公司收入。
执行「后训练 Benchmark 任务包」的一周节奏
周一冻结定义与样例编号，周二双人盲做，周三裁决，周四小流量生产，周五抽检与版本差分。
看板上只挂当前版本链接。个人文件夹里的旧指南不算数；链接失效即停工。
失败编号进返工单，关闭前不进交付量，也不提前开票。停线周单独编号，防止与放行样本混装。
周五的版本差分写清改了哪一条规则、影响哪些在制编号。没有差分表的“口头微调”，下周一一律不承认。
新人入场先做「后训练 Benchmark 任务包」的十份对照练习，正确率未达约定不进生产席。练习记录进培训档案，不进交付量。
周报与退回理由怎样写「后训练 Benchmark 任务包」
围绕「难度标定」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。标定报告保留模型、harness、步数上限与日期。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「难度标定」相关的退回理由要能被另一位同事独立复述。未达标的“简单题”从难题配额剔除。复述失败，说明指南句子还不能进移交清单。
围绕「Task 形状」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。只有文字摘要没有成果文件的题，业务类任务不合格。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「Task 形状」相关的退回理由要能被另一位同事独立复述。非正确答案用于检验评分是否真的会扣分。复述失败，说明指南句子还不能进移交清单。
围绕「复杂 workspace」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。干扰文件清单要可解释，不能靠乱丢垃圾文件凑数。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「复杂 workspace」相关的退回理由要能被另一位同事独立复述。矛盾信息需在 Rubric 写清以哪份为准。复述失败，说明指南句子还不能进移交清单。
围绕「GUI 与 CLI」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。GUI 题提供虚拟站点或界面入口说明。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「GUI 与 CLI」相关的退回理由要能被另一位同事独立复述。用 CLI 取巧完成 GUI 题的路径，应在反作弊中失败。复述失败，说明指南句子还不能进移交清单。
围绕「反检索」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。出站策略在环境中落实，不只写在 PDF 里。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「反检索」相关的退回理由要能被另一位同事独立复述。命中公网解题轨迹的样本拒收。复述失败，说明指南句子还不能进移交清单。
围绕「行业分布」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。分布表进批次验收。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「行业分布」相关的退回理由要能被另一位同事独立复述。医疗与金融题注意合规与脱敏。复述失败，说明指南句子还不能进移交清单。
围绕「工具与服务」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。工具失败与题目失败分开记账。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「工具与服务」相关的退回理由要能被另一位同事独立复述。密钥与账号不进公开轨迹。复述失败，说明指南句子还不能进移交清单。
围绕「多模与订阅」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。多模附件缺失直接失败。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「多模与订阅」相关的退回理由要能被另一位同事独立复述。订阅更新保留变更日志。复述失败，说明指南句子还不能进移交清单。
和「后训练 Benchmark 任务包」相关的协作约定
生产看板的「后训练 Benchmark 任务包」列只显示当前版本与停线状态。历史版本进归档库，需要权限才打开。
抽检员与执行员分岗；同一天既执行又抽检自己成果的，该日抽检无效。
跨时区协作时，以看板版本号为准，不以聊天截图为准。
移交日对「后训练 Benchmark 任务包」的逐项点名
第 1 个检查点「难度标定」在移交日要能打开：事实句写明“在约定 SOTA 与 harness 下多次独立评测，归一化分数与完成率落在约定区间，且强弱模型保持区分度。”。现场补充保留这句：“标定分不自动成为朗慧交付承诺。”。打不开就从移交清单划掉，不口头担保。
第 2 个检查点「Task 形状」在移交日要能打开：事实句写明“完整包含任务书、不少于约定数量的多格式附件、Rubric、gold answer、非正确答案、task card；交付物数量与格式写清。”。现场补充保留这句：“task card 写清 Python/依赖/Docker 或虚拟机需求。”。打不开就从移交清单划掉，不口头担保。
第 3 个检查点「复杂 workspace」在移交日要能打开：事实句写明“约定比例题目具备多附件、干扰文件或表面矛盾信息，文件数量达到门槛，避免只有干净小目录。”。现场补充保留这句：“抽检打开 workspace 计数。”。打不开就从移交清单划掉，不口头担保。
第 4 个检查点「GUI 与 CLI」在移交日要能打开：事实句写明“约定比例题目必须通过 GUI Agent 完成；与 CLI 题区分标注，防止全是命令行可解。”。现场补充保留这句：“两类题分别统计通过率。”。打不开就从移交清单划掉，不口头担保。
第 5 个检查点「反检索」在移交日要能打开：事实句写明“题目不允许依赖公开互联网检索；如需网页，仅限提供的模拟站点，并交付部署方式。”。现场补充保留这句：“模拟站点代码与版本一并归档。”。打不开就从移交清单划掉，不口头担保。
第 6 个检查点「行业分布」在移交日要能打开：事实句写明“任务覆盖金融保险、制造、零售、专业服务、信息、政府、医疗、房地产等行业，避免单行业刷量。”。现场补充保留这句：“跨行业模板题要声明，防止假分布。”。打不开就从移交清单划掉，不口头担保。
第 7 个检查点「工具与服务」在移交日要能打开：事实句写明“可选提供文件、文档、表格、PDF、演示与代码执行等工具；版本与权限写进环境说明。”。现场补充保留这句：“Harbor/同类格式优先，便于买方接入。”。打不开就从移交清单划掉，不口头担保。
第 8 个检查点「多模与订阅」在移交日要能打开：事实句写明“多模子集与持续订阅类任务单独配额；难度与轮次要求写清，不与文本题混结算。”。现场补充保留这句：“朗慧 Coding 交付可把可自动校验步骤与人工 Rubric 分开。”。打不开就从移交清单划掉，不口头担保。
以上八项全部能打开，才在「后训练 Benchmark 任务包」移交单上签字。少一项，签字人需要书面说明为何豁免，豁免进出变更表。
移交时文件夹里有什么
朗慧可将后训练 Benchmark 任务包纳入 Coding 交付：任务书、附件、Rubric、环境说明与抽检表同版本。未复跑确认的 pass rate 不写进投标页。
移交清单至少包括：当前指南、标签或字段映射、正反例、抽检表、环境或导出说明、版本号。新人只看归档独立判断若干样例，再与冻结理由对照；对不上就说明还不能移交。
报价前确认四件事：难度标定方法、Task 形状清单、出站限制、失败停线权。未齐只做样例评估。
评估口径：按样例编号记录通过或退回、复判理由与责任角色；无法回溯的样本不计入放行。公开论文和基准结果用于理解技术趋势，不代表本项目效果；范围与验收指标以书面约定为准。
本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。