朗慧科技

采购高经济价值题库之前,先把八个得分点问清楚

Coding 与题库 · 采购清单 · 约 1499 字

绿、藏青、珊瑚色三叠文件
三分栏评分材料,分别对应医疗、法律与金融。图用于说明工作场景,不包含真实患者、客户数据或可识别个人。

高经济价值题库 Rubric的检查点如下,正文按这些名字展开。

  1. 任务与难度
  2. 得分点
  3. 反例与扣分
  4. 证据位置
  5. 双人评分
  6. 裁决记录
  7. 污染控制
  8. 版本

采购高经济价值题库 Rubric:邮件里要留下的话

采购部门拿到高经济价值题库时,最有用的问题不是“有多少道题”,而是“争议题由谁在几个工作日内裁决,裁决依据留在哪一页”。下面八条可以直接放进工作说明。

一次题库试标通常先冻结二十到五十道题的 Rubric,让两位评分人独立打分,再只讨论分差超过约定的题目。通过之后才扩量。

每一问都要能归档成证据。口头确认留在会议里,不进入交付。

邮件从「任务与难度」写起。每一问都要能打开一条样例。

任务与难度,以及得分点

每道题写明能力目标、学科边界和禁止使用的外部工具,难度用证据描述,不用形容词代替。

每个得分点对应可指出的证据,分值之和等于满分,部分得分有明确触发条件。

反例与扣分,以及证据位置

常见错误答案单独列出,写明扣多少、为什么扣,避免评分人临时发明规则。

答案必须能指回题干、附图或给定材料中的位置。没有位置的结论不能拿满对应得分点。

双人评分,以及裁决记录

抽检比例、允许分差和升级条件在试标前冻结。分差超过约定就进入裁决,不靠平均分掩盖分歧。

裁决人身份、日期、改分理由和最终分数留在同一条记录里,便于买方复盘。

污染控制,以及版本

题目与公开评测、教材原文、网页原题的关系要声明。重合样本从训练分割中剔除或单独标记。

Rubric 改一个得分点,题库版本号就递增。旧分数不得混进新版本的统计。

高分题的终点是校验器

MedAgentGym 在 ICLR 2026 把生物医学编码做成可执行、可判分的沙箱任务,说明高价值题目的终点是校验器而不只是参考答案。LegalCiteBench 则显示,闭卷状态下模型会给出看起来具体却错误的依据。题库如果只收最终答案、不收证据位置,买方无法区分运气和推理。

放回「高经济价值题库 Rubric」,这些公开结果只帮助判断买方会检查哪一页。「版本」对得上,就可以写进工作说明。论文里的成功率、帧率和基准分,不写进朗慧的验收承诺,也不换算成公司收入。

样例评估会交回什么

朗慧可以把题库和执行环境放在同一条 Coding 交付里:能自动校验的步骤交给校验器,必须由学科专家判断的步骤保留人工得分点和裁决记录。不把未经验收的正确率写成交付指标。

报价之前先确认四件事:哪些步骤能由校验器判断、哪些步骤必须留人、图或题目的授权由谁提供、抽检失败后谁有权停线。四件事未齐,只安排样例评估,不报量产单价。

朗慧对外能够承诺的范围,以书面工作说明为准。186 个预置模型是人体影像的预标注清单,按部位和任务核对,不是 186 种疾病,也不计入动物任务。病理全片、站点默认范围以外的视频和通用文本处理,按项目单独约定,不写成平台默认能力。第一人称人类视频在重映射责任、目标自由度和有效性字段写明之前,交付名称是人类示范数据,不是机器人动作标签。论文里的成功率、基准分数和第三方市场规模,只作为买方理解行业的背景,不写入朗慧的验收承诺。E8 仍待确认供货,不进入当前报价。

本文供准备样例评估。它不构成法律意见、医疗诊断或投资建议。授权、出境和监管路径由买方法务确认。引用时请写明主题和 2026-10-22。

可以贴进邮件的八个问题

请用一条真实样例说明「任务与难度」,并写上通过或退回的理由。

请用一条真实样例说明「得分点」,并写上通过或退回的理由。

请用一条真实样例说明「反例与扣分」,并写上通过或退回的理由。

请用一条真实样例说明「证据位置」,并写上通过或退回的理由。

请用一条真实样例说明「双人评分」,并写上通过或退回的理由。

请用一条真实样例说明「裁决记录」,并写上通过或退回的理由。

请用一条真实样例说明「污染控制」,并写上通过或退回的理由。

请用一条真实样例说明「版本」,并写上通过或退回的理由。

同一主题的另外两篇

ARTICLE INQUIRY

把这篇变成一次样例评估

长沙朗慧信息科技有限公司 · 湖南拓比科技有限公司。电话 137-5502-0164,邮箱 lk@langhuiai.com。

返回本辑目录

联系电话或邮箱至少填写一项。请不要粘贴未脱敏的患者数据、未授权原片或账号密码。