后训练题库评测：如何验证难度和模型区分度
后训练 Benchmark 任务包的检查点如下，正文按这些名字展开。
- 难度标定
- Task 形状
- 复杂 workspace
- GUI 与 CLI
- 反检索
- 行业分布
- 工具与服务
- 多模与订阅
后训练 Benchmark 任务包：买方把验收提前了
后训练数据的验收，正在从“题很多”变成“强模型也会失手，而且强弱能分开”。Toolathlon、Automation、NL2Repo、Frontier、Agents Last Exam 一类任务，要求完整环境与可跑通的 rollout，并用多次评测标定难度。
实验室周会上，有人展示“全对”轨迹，复核发现调用了公网搜索。题目被标红：环境出站没有关上。
买方会先翻开「难度标定」。这一页没有可打开的样例，排期就停在试标包。
难度标定
在约定 SOTA 与 harness 下多次独立评测，归一化分数与完成率落在约定区间，且强弱模型保持区分度。
买方把「难度标定」当成能否进入比选的门槛：样例页看不见，扩量谈判就先不排。
标定报告保留模型、harness、步数上限与日期。
未达标的“简单题”从难题配额剔除。
标定分不自动成为朗慧交付承诺。
Task 形状
完整包含任务书、不少于约定数量的多格式附件、Rubric、gold answer、非正确答案、task card；交付物数量与格式写清。
买方把「Task 形状」当成能否进入比选的门槛：样例页看不见，扩量谈判就先不排。
只有文字摘要没有成果文件的题，业务类任务不合格。
非正确答案用于检验评分是否真的会扣分。
task card 写清 Python/依赖/Docker 或虚拟机需求。
复杂 workspace
约定比例题目具备多附件、干扰文件或表面矛盾信息，文件数量达到门槛，避免只有干净小目录。
买方把「复杂 workspace」当成能否进入比选的门槛：样例页看不见，扩量谈判就先不排。
干扰文件清单要可解释，不能靠乱丢垃圾文件凑数。
矛盾信息需在 Rubric 写清以哪份为准。
抽检打开 workspace 计数。
GUI 与 CLI
约定比例题目必须通过 GUI Agent 完成；与 CLI 题区分标注，防止全是命令行可解。
买方把「GUI 与 CLI」当成能否进入比选的门槛：样例页看不见，扩量谈判就先不排。
GUI 题提供虚拟站点或界面入口说明。
用 CLI 取巧完成 GUI 题的路径，应在反作弊中失败。
两类题分别统计通过率。
反检索
题目不允许依赖公开互联网检索；如需网页，仅限提供的模拟站点，并交付部署方式。
买方把「反检索」当成能否进入比选的门槛：样例页看不见，扩量谈判就先不排。
出站策略在环境中落实，不只写在 PDF 里。
命中公网解题轨迹的样本拒收。
模拟站点代码与版本一并归档。
行业分布
任务覆盖金融保险、制造、零售、专业服务、信息、政府、医疗、房地产等行业，避免单行业刷量。
买方把「行业分布」当成能否进入比选的门槛：样例页看不见，扩量谈判就先不排。
分布表进批次验收。
医疗与金融题注意合规与脱敏。
跨行业模板题要声明，防止假分布。
工具与服务
可选提供文件、文档、表格、PDF、演示与代码执行等工具；版本与权限写进环境说明。
买方把「工具与服务」当成能否进入比选的门槛：样例页看不见，扩量谈判就先不排。
工具失败与题目失败分开记账。
密钥与账号不进公开轨迹。
Harbor/同类格式优先，便于买方接入。
多模与订阅
多模子集与持续订阅类任务单独配额；难度与轮次要求写清，不与文本题混结算。
买方把「多模与订阅」当成能否进入比选的门槛：样例页看不见，扩量谈判就先不排。
多模附件缺失直接失败。
订阅更新保留变更日志。
朗慧 Coding 交付可把可自动校验步骤与人工 Rubric 分开。
全对不一定算数，要看环境有没有关上网
Agent 评测从单次问答转向带环境、带附件、带步数上限的任务包。区分度与反检索，决定买到的是能力还是检索运气。公开榜单分数只帮助选择检查项。
放回「后训练 Benchmark 任务包」，买方可以用这些公开讨论核对文件夹里有没有版本号、样例和停线条件。对得上，就可以写进工作说明；对不上，就继续停在样例评估。论文里的成功率与基准分，不写进朗慧验收承诺，也不换算成公司收入。
读「后训练 Benchmark 任务包」时的现场语气
行业里谈「后训练 Benchmark 任务包」，语气已经从“能不能做”转到“能不能在三个月后复盘”。复盘需要的不是形容词，而是当时冻结的定义、样例编号和停线记录。
销售材料若出现未经抽检表支撑的准确率，评审应要求追溯到某一版记录；追溯不到就删掉数字，只保留范围句。
财务与业务负责人应拿到同一版本的比选表。两份表格版本号不同，会议先对齐文件，再讨论价格。
把「后训练 Benchmark 任务包」写进年度数据预算时，试标包、返工预备和量产段分开列。返工预备不是浪费，而是定义尚未稳定时的正常成本。
对外沟通只用验收记录里的计数。把「后训练 Benchmark 任务包」写成形容词堆砌的宣传稿，会在复盘会上被要求逐句对账。
周报与退回理由怎样写「后训练 Benchmark 任务包」
围绕「难度标定」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。标定报告保留模型、harness、步数上限与日期。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「难度标定」相关的退回理由要能被另一位同事独立复述。未达标的“简单题”从难题配额剔除。复述失败，说明指南句子还不能进移交清单。
围绕「Task 形状」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。只有文字摘要没有成果文件的题，业务类任务不合格。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「Task 形状」相关的退回理由要能被另一位同事独立复述。非正确答案用于检验评分是否真的会扣分。复述失败，说明指南句子还不能进移交清单。
围绕「复杂 workspace」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。干扰文件清单要可解释，不能靠乱丢垃圾文件凑数。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「复杂 workspace」相关的退回理由要能被另一位同事独立复述。矛盾信息需在 Rubric 写清以哪份为准。复述失败，说明指南句子还不能进移交清单。
围绕「GUI 与 CLI」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。GUI 题提供虚拟站点或界面入口说明。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「GUI 与 CLI」相关的退回理由要能被另一位同事独立复述。用 CLI 取巧完成 GUI 题的路径，应在反作弊中失败。复述失败，说明指南句子还不能进移交清单。
围绕「反检索」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。出站策略在环境中落实，不只写在 PDF 里。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「反检索」相关的退回理由要能被另一位同事独立复述。命中公网解题轨迹的样本拒收。复述失败，说明指南句子还不能进移交清单。
围绕「行业分布」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。分布表进批次验收。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「行业分布」相关的退回理由要能被另一位同事独立复述。医疗与金融题注意合规与脱敏。复述失败，说明指南句子还不能进移交清单。
围绕「工具与服务」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。工具失败与题目失败分开记账。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「工具与服务」相关的退回理由要能被另一位同事独立复述。密钥与账号不进公开轨迹。复述失败，说明指南句子还不能进移交清单。
围绕「多模与订阅」，交付团队在周报里只允许写计数与编号，不允许写“基本完成”。多模附件缺失直接失败。若本周无新增样例，就写明阻塞项来自买方材料还是执行返工。
与「多模与订阅」相关的退回理由要能被另一位同事独立复述。订阅更新保留变更日志。复述失败，说明指南句子还不能进移交清单。
和「后训练 Benchmark 任务包」相关的协作约定
市场材料提到「后训练 Benchmark 任务包」时，只引用已放行批次的范围句。未放行的试标结果可以写“进行中”，不要写准确率。
竞品宣传里的基准分，放进附录作背景，不放进报价摘要第一页。
若客户把「后训练 Benchmark 任务包」与另一条产品线打包询价，仍要求各自的样例页，防止用畅销线掩盖空白线。
移交日对「后训练 Benchmark 任务包」的逐项点名
第 1 个检查点「难度标定」在移交日要能打开：事实句写明“在约定 SOTA 与 harness 下多次独立评测，归一化分数与完成率落在约定区间，且强弱模型保持区分度。”。现场补充保留这句：“标定分不自动成为朗慧交付承诺。”。打不开就从移交清单划掉，不口头担保。
第 2 个检查点「Task 形状」在移交日要能打开：事实句写明“完整包含任务书、不少于约定数量的多格式附件、Rubric、gold answer、非正确答案、task card；交付物数量与格式写清。”。现场补充保留这句：“task card 写清 Python/依赖/Docker 或虚拟机需求。”。打不开就从移交清单划掉，不口头担保。
第 3 个检查点「复杂 workspace」在移交日要能打开：事实句写明“约定比例题目具备多附件、干扰文件或表面矛盾信息，文件数量达到门槛，避免只有干净小目录。”。现场补充保留这句：“抽检打开 workspace 计数。”。打不开就从移交清单划掉，不口头担保。
第 4 个检查点「GUI 与 CLI」在移交日要能打开：事实句写明“约定比例题目必须通过 GUI Agent 完成；与 CLI 题区分标注，防止全是命令行可解。”。现场补充保留这句：“两类题分别统计通过率。”。打不开就从移交清单划掉，不口头担保。
第 5 个检查点「反检索」在移交日要能打开：事实句写明“题目不允许依赖公开互联网检索；如需网页，仅限提供的模拟站点，并交付部署方式。”。现场补充保留这句：“模拟站点代码与版本一并归档。”。打不开就从移交清单划掉，不口头担保。
第 6 个检查点「行业分布」在移交日要能打开：事实句写明“任务覆盖金融保险、制造、零售、专业服务、信息、政府、医疗、房地产等行业，避免单行业刷量。”。现场补充保留这句：“跨行业模板题要声明，防止假分布。”。打不开就从移交清单划掉，不口头担保。
第 7 个检查点「工具与服务」在移交日要能打开：事实句写明“可选提供文件、文档、表格、PDF、演示与代码执行等工具；版本与权限写进环境说明。”。现场补充保留这句：“Harbor/同类格式优先，便于买方接入。”。打不开就从移交清单划掉，不口头担保。
第 8 个检查点「多模与订阅」在移交日要能打开：事实句写明“多模子集与持续订阅类任务单独配额；难度与轮次要求写清，不与文本题混结算。”。现场补充保留这句：“朗慧 Coding 交付可把可自动校验步骤与人工 Rubric 分开。”。打不开就从移交清单划掉，不口头担保。
以上八项全部能打开，才在「后训练 Benchmark 任务包」移交单上签字。少一项，签字人需要书面说明为何豁免，豁免进出变更表。
报价里写得清的范围
朗慧可将后训练 Benchmark 任务包纳入 Coding 交付：任务书、附件、Rubric、环境说明与抽检表同版本。未复跑确认的 pass rate 不写进投标页。
比选表建议设四列：范围是否写清、样例能否被另一位同事复核、停线条件有没有阈值、许可证或授权是否落地。单价放在四列之后。任一列空白，本轮不进入扩量谈判。
报价前确认四件事：难度标定方法、Task 形状清单、出站限制、失败停线权。未齐只做样例评估。
评估口径：按样例编号记录通过或退回、复判理由与责任角色；无法回溯的样本不计入放行。公开论文和基准结果用于理解技术趋势，不代表本项目效果；范围与验收指标以书面约定为准。
本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。