得分点、反例、裁决人:一份 Rubric 怎样才算交付完成

高经济价值题库 Rubric的检查点如下,正文按这些名字展开。
- 任务与难度
- 得分点
- 反例与扣分
- 证据位置
- 双人评分
- 裁决记录
- 污染控制
- 版本
高经济价值题库 Rubric:试标怎样走到移交
Rubric 不是附在题库后面的说明文字。它是得分点、扣分点、证据位置和裁决人的组合。少任何一项,买方在复检时都无法判断这道题是题目问题,还是评分漂移。
一次题库试标通常先冻结二十到五十道题的 Rubric,让两位评分人独立打分,再只讨论分差超过约定的题目。通过之后才扩量。
生产按冻结的规则扩量,争议留在裁决记录里。
试标从「任务与难度」做起。两个人先分开判断,对不上再升级。
任务与难度,以及得分点
每道题写明能力目标、学科边界和禁止使用的外部工具,难度用证据描述,不用形容词代替。
每个得分点对应可指出的证据,分值之和等于满分,部分得分有明确触发条件。
反例与扣分,以及证据位置
常见错误答案单独列出,写明扣多少、为什么扣,避免评分人临时发明规则。
答案必须能指回题干、附图或给定材料中的位置。没有位置的结论不能拿满对应得分点。
双人评分,以及裁决记录
抽检比例、允许分差和升级条件在试标前冻结。分差超过约定就进入裁决,不靠平均分掩盖分歧。
裁决人身份、日期、改分理由和最终分数留在同一条记录里,便于买方复盘。
污染控制,以及版本
题目与公开评测、教材原文、网页原题的关系要声明。重合样本从训练分割中剔除或单独标记。
Rubric 改一个得分点,题库版本号就递增。旧分数不得混进新版本的统计。
高分题的终点是校验器
MedAgentGym 在 ICLR 2026 把生物医学编码做成可执行、可判分的沙箱任务,说明高价值题目的终点是校验器而不只是参考答案。LegalCiteBench 则显示,闭卷状态下模型会给出看起来具体却错误的依据。题库如果只收最终答案、不收证据位置,买方无法区分运气和推理。
放回「高经济价值题库 Rubric」,这些公开结果只帮助判断买方会检查哪一页。「版本」对得上,就可以写进工作说明。论文里的成功率、帧率和基准分,不写进朗慧的验收承诺,也不换算成公司收入。
移交时文件夹里有什么
朗慧可以把题库和执行环境放在同一条 Coding 交付里:能自动校验的步骤交给校验器,必须由学科专家判断的步骤保留人工得分点和裁决记录。不把未经验收的正确率写成交付指标。
报价之前先确认四件事:哪些步骤能由校验器判断、哪些步骤必须留人、图或题目的授权由谁提供、抽检失败后谁有权停线。四件事未齐,只安排样例评估,不报量产单价。
朗慧对外能够承诺的范围,以书面工作说明为准。186 个预置模型是人体影像的预标注清单,按部位和任务核对,不是 186 种疾病,也不计入动物任务。病理全片、站点默认范围以外的视频和通用文本处理,按项目单独约定,不写成平台默认能力。第一人称人类视频在重映射责任、目标自由度和有效性字段写明之前,交付名称是人类示范数据,不是机器人动作标签。论文里的成功率、基准分数和第三方市场规模,只作为买方理解行业的背景,不写入朗慧的验收承诺。E8 仍待确认供货,不进入当前报价。
本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。