MEDICAL DATA RESEARCH
医学大模型评测,为什么要把答案拆成可复核的 Rubric
面向医疗AI研发与数据采购,拆解中文医学大模型评测中的原子 Rubric、双模型盲评、专家裁决、数据污染、版本血缘与 ICC 验收边界,帮助把每个分数回溯到答案证据,而不把评测结果误写成临床效果。
当两个医学大模型面对同一组中文临床问题时,答案都可能语句流畅、结构完整,甚至都能给出看似专业的参考链接。真正困难的问题是:它们是否回答了同一个任务?每一个结论是否都有可定位的医学依据?当回答只完成了一半、把不确定性说成确定事实,或者越过辅助参考边界给出诊断与处置建议时,评分者能否按照同一套规则给出可复核的结果?如果最终交付只有一个总分,研发团队仍然不知道模型错在事实、证据、任务覆盖还是安全边界,也无法判断下一轮数据应该补什么。
因此,医学大模型评测数据不应只是“问题—答案—分数”的三列表格,而应是一个可回放的证据单元:问题及其 Rubric、模型回答、逐评分点的标签与理由、总分、参考资料、版本和审核记录共同组成一条样本。本文围绕一种中文医疗文本问答与模型比较需求,讨论如何把这种数据设计成可训练、可质检、可复盘的评测资产。这里讨论的是研发和数据采购方法,不是患者个体的诊断、治疗或用药建议。
图1 医学大模型逐 Rubric 评测的数据链路。原创技术示意,不含患者样本、真实模型成绩或临床诊断结果。
先界定评测对象:不是病例库,也不是诊疗系统
这类需求的临床任务首先要被准确命名。它不是收集某个患者的病历或影像,也不是让模型直接对真实患者做诊断;它更接近面向中文医疗知识与临床推理表达的文本问答评测。输入模态主要是中文问题、问题背景和可访问的医学参考资料,输出则是两个候选模型在同一问题上的回答,以及专家对回答的逐点评分。若后续加入病历、检验、影像或多轮对话,就应另行定义输入模态、脱敏要求、时间顺序、病例级划分和安全验收,不能把文本题库的结论自动外推到多模态或真实临床场景。
题目本身可以由若干大问及其小问组成,但每个小问都要能落到一个可观察的能力目标。例如,题目可以要求模型区分某种临床概念、解释决策依据、指出适用条件、识别禁忌或说明证据不足时应如何作答。问题不宜把难度写成“很难”“综合性强”等形容词,而要写清需要整合哪些知识、哪些结论必须有依据、哪些内容属于越界。若任务要求在非深度检索条件下作答,就应固定资料边界和工具限制;若允许查阅资料,则应记录允许的来源范围和访问时点,避免把检索能力、记忆能力和临床推理混在一个分数里。
源需求中的核心数据单元可以拆成三层。第一层是题目、Rubric 表和总分;第二层是模型 A 的原始回答,以及它在每个 Rubric 上的标签、得分和理由;第三层是模型 B 的同类记录。这样设计的价值在于,比较不再只发生在总分层面。研发者可以看到两个模型是否在同一个事实点上分歧,也可以区分“模型 A 漏掉关键限制条件”和“模型 B 虽然结论正确但证据位置不完整”。这类颗粒度比一次人工写一段总体评价更便于返工、分析和回归测试。
Rubric 设计要从整句判断下沉到最小证据点
每条 Rubric 都需要一个唯一编号,并且编号顺序要与题目中的大问、小问和解答结构相互对应。数量要求可以作为最低门槛,但“超过十五条”本身不是质量证明。更重要的是,每条评分点只判断一个最小、可观察、可举证的要求。比如“正确且全面地回答”至少应拆为事实是否正确、是否覆盖指定子问题、是否给出必要限制条件、是否避免无依据扩展等不同维度。把多个判断揉成一句,会让评分者无法解释一个部分分数是因为什么产生的,也会让自动统计无法定位错误类型。
每个评分点至少应同时保存描述、类别、权重、参考资料、理由和依赖关系。类别可区分信息提取、计算或推导、答案结构与格式、消极约束。正权重表达完成了什么,负权重表达了哪些安全或事实性错误需要扣分;负分不能被随意当成“错误答案的反向奖励”,而应在说明中写清触发条件、扣分幅度和是否构成整题不通过。总分应由正向得分与约定的扣分规则明确计算,不能让评分者临时决定某个严重错误是否抵消其他得分。
“依赖关系”是医学题目特别容易遗漏的字段。一个评分点可能依赖另一个评分点先正确识别病种、对象或证据范围,也可能只有在模型先给出条件限定后,后续的计算或推导才有意义。依赖关系要引用已存在的 Rubric 编号,形成无环的可检查图。验收时不仅要检查每个编号是否存在,还要检查依赖是否闭合、依赖方向是否符合解答顺序,以及总分计算是否会重复计分。对有序多问的题目,建议在示例中保存“只完成前置识别”“完成识别但未给出证据”“完成全部链路”三类答案,帮助评分者理解部分得分边界。
参考资料也不能只在题目末尾堆一列网址。整题背景可有一组参考链接,而每个 Rubric 还应记录能够支持该评分点的具体来源和定位信息。医学来源应尽量落到指南、共识、监管文件、药品或器械说明中的明确章节,或落到可核验的同行评审研究段落。链接可访问不等于内容适用,评分人仍要记录适用人群、时效、地域和证据层级。题目使用的来源版本、访问日期与 Rubric 版本应能互相对应,否则日后更新指南时,很难判断旧分数究竟是模型退步,还是评分依据已改变。
近期关于健康语言模型的研究给出了一个有用的设计方向:把复杂的 Likert 式整体判断进一步拆成更细、答案空间更简单的 Rubric 问题,可以让分歧更容易定位,并为程序化分析提供更清晰的信号。1 但这并不意味着医学判断都应被压扁成机械的“是/否”。研究也承认,二元化可能遗漏复杂健康回答中的语境和细微临床含义,因此对于无法由原子问题充分表达的歧义,应保留结构化文字理由和升级到专家裁决的通道。细粒度是为了定位问题,不是为了消除医学判断。
双模型比较:控制条件比“谁更强”更重要
两份模型回答要有可比性,至少要固定题目文本、附件或参考资料、提示词模板、输入顺序、模型版本和生成参数。若模型具有不同的检索工具、上下文长度或系统指令,这些差异应作为实验条件显式记录,而不是在结果段落中被描述成模型本身的医学能力。每个回答要绑定题目编号和评测版本;模型名称在专家打分界面中可以被隐藏,但在受控的元数据中必须保留,以便最终复核。
模型输出应保存可审计的回答文本和必要的运行元数据。专家填写的“理由”是对回答的人工证据说明,不是模型隐藏的思维链,也不应要求模型提供不可验证的内部推理过程。真正需要验收的是回答里可观察的医学命题、证据指向、条件限制、拒答边界和格式是否满足 Rubric。若评分系统把模型的自述理由直接当作医学证明,反而会把流畅度误当作可靠性。
模型比较应尽可能采用随机化的盲评流程。临床大模型专家评审研究 CLEVER 将多个任务的模型回答随机打乱后交给医学专家盲评,并报告 IAA、不同 ICC 形式和洗脱期分析;该研究同时指出评分者一致性并不强,不能把其方法或单项结果直接当作普遍可靠性证明。2 这类设计提醒我们,模型比较不是把模型名放在答案上方让专家凭印象打分。回答顺序、题目顺序、同一专家在短时间内重复看到相似答案,都可能影响结果。对于两模型的逐点差异,最好先记录每个评分点的独立结果,再在汇总层报告模型间差值,避免“总体印象”覆盖局部安全错误。
模型表现还要按任务层级和难度层级拆开。一个模型可能在医学事实题上占优,却在多问整合、条件限制或证据定位上落后;另一个模型可能更常拒答,表面总分偏低,却减少了无依据的诊疗建议。若只比较总分,拒答的安全价值和证据缺失的风险都可能被平均数掩盖。建议分别输出事实、任务完成、证据、结构和安全边界等分层摘要,同时保留原子评分,不把论文或公开基准上的成功率改写成某个项目的临床效果。
专家标注:让“理由”成为可复核的证据,而不是作文
医学评分主体需要与题目任务匹配。内科、外科、妇产科、儿科、急诊或医学研究方法题目,其可接受的证据和风险边界并不相同。评分者的专业资格、专科匹配、培训版本、利益关系和是否参与题目编写都应记录在受控的评阅元数据中。没有匹配的专业背景时,不应只靠“专家团队”这个称呼补足证据;需要跨学科时,应明确哪些评分点由谁负责,哪些争议由谁裁决。
对每个回答,标注人至少要回答四个问题:它是否完成了该评分点要求,回答中哪一处文本或参考资料支持这一判断,若不满足是遗漏、错误、越界还是证据不足,以及这个问题应当获得多少分。理由要指向回答中的具体句子或缺失项,不能只写“专业”“合理”“不全面”。对于负向约束,理由需说明触发了哪一条禁止行为。对于证据不足的题目,正确标签可能是“无法根据给定材料确定”,而不是为了凑满分强行补出一个结论。拒答本身也可能是合理的安全行为,但是否计分、计多少分必须在 Rubric 冻结前写清楚。
三名标注者都评分同一批题目时,应先独立完成,再查看分歧。分歧分析不能只看总分差,还要区分题目设计歧义、参考依据冲突、Rubric 粒度不够、回答真的处于边界状态,以及评分者对安全边界理解不同。裁决记录至少包括争议编号、裁决人、日期、采用依据、修改前后标签或分数和修改理由。若裁决反复集中在同一评分点,优先修订定义、正反例或参考资料,而不是把裁决者的个人偏好固化为“金标准”。
标注过程中还要设置盲审、洗脱期和版本锁定。评分者不应看到模型身份、已有成绩或另一位评分者的理由;需要重复评估稳定性时,要安排足够间隔,并保留题目版本和回答版本。研究中常见的做法是对部分样本进行分层抽取,覆盖不同任务、专科、长度和难度,而不是只抽取最容易的题目。2 这类抽检不能代替全量字段验收,却能揭示某一类复杂题是否正在拖低可靠性。
一致率与 ICC:阈值必须和统计定义一起交付
源需求提出三名标注者的平均完全一致率不低于 90%,并要求总分的 ICC(A,3) 不低于 0.8。这两个数可以作为一个项目的放行门槛,但不是脱离设计就能解释的医学质量结论。完全一致率要先定义单位:按单个 Rubric、按整题、按模型回答,还是按三名评分者在所有字段上的联合匹配?平均值还要同时报告分层结果,否则某些专科、负向样本或高难度题的低一致性可能被大量简单题稀释。
ICC 更需要先写清统计含义。ICC 的模型、单次或平均评分、绝对一致或一致性定义,取决于评分者是否对同一批对象评分、评分者是否被视为固定样本、最终使用单人分数还是三人平均分。Koo 与 Li 的方法学指南明确建议,报告 ICC 时同时交代模型、类型、定义、软件和 95% 置信区间;若实际采用三人平均评分,统计设计也应对应“平均三名评分者”的形式。3 因此,项目文件中写“ICC(A,3)”还不够,必须把 A 的具体约定、评分矩阵、缺失值处理、样本数和置信区间写入统计方案。
如果需求强调三名评分者对同一题逐点完全一致,绝对一致通常比只关心排序的一致性更贴近验收目的;但是否选择绝对一致仍应由统计人员根据正式设计确定。一个评分者把所有回答稳定地打高一分,可能仍有较高的一致性,却不满足“分数相同”的业务要求。反过来,ICC 达到门槛也不能证明每一个关键负向约束都被正确识别,因为总分可能抵消局部错误。因此,ICC、完全一致率、分层错误分析和关键安全规则命中情况应并列报告,不应互相替代。
图2 从标注分歧到可靠性验收。原创技术示意,不表示真实项目已完成,也不构成模型临床性能或监管结论。
质量偏差:从数据污染到外部验证都要前置
医学题库尤其容易受到数据污染影响。如果题目、参考答案或网页原文已进入某个模型的训练资料,模型答对并不一定说明它能在新问题上完成医学推理。题目来源、公开基准、教材原文和网页重合关系应被声明;发现重合时,可将样本从训练或调参范围剔除,或单独标记为污染敏感样本。比较两个模型时还要检查题目是否对一方的训练或指令格式更有利,不能仅因回答看起来更像参考答案就认定其医学能力更强。
时间与版本是另一类隐蔽偏差。医学指南会更新,网页链接会失效,模型版本也会变化。题目、参考 URL、来源章节、访问日期、提示词、模型版本和 Rubric 版本应形成同一条血缘记录。Rubric 一旦改动得分点、权重、负向规则或依赖关系,版本号就应递增,旧分数不得静默混进新版本统计。研发团队还应保留一组不参与规则调整的外部题目或时间切片,用于观察模型版本升级后是实际改进,还是因为评分规则被放宽。
数据代表性也不能只写“覆盖常见疾病”。医疗问题可以按专科、年龄、性别、合并症、地区、语言表达、问题长度、知识更新时间和风险级别分层;每一层的题目数量、缺失情况和评分分歧都应可查询。TRIPOD+AI 强调,模型评估数据应与训练、调参和模型选择所用数据分离,并且应代表预期使用人群;若人群或亚组代表性不足,性能估计可能偏倚,应在报告中明确说明。4 虽然文本问答 Rubric 不等同于临床预测模型,但数据隔离、亚组分析、开放记录和外部验证的原则仍可作为质量设计参照。
还要把“评测得分高”与“临床安全有效”分开。近期健康语言模型 Rubric 研究在其研究场景中显示,细粒度规则能更敏感地识别模型是否正确使用上下文数据,但研究同时承认标注者偏差和二元规则过度简化复杂健康建议的风险。1 CLEVER 研究也指出,专家一致性并不自动保证对所有专科、所有任务或真实临床流程都具有普遍性。2 DECIDE-AI 进一步强调,进入真实临床使用还要单独评估实施环境、安全和人因问题。5 因而,内部题库可以验收模型回答的事实、依据和边界,却不能据此宣称模型已经获批、能够独立诊疗或改善患者结局。
把采购验收写成可执行的样例门槛
在业务上,最稳妥的路径是先做小批量试标,再决定是否扩量。试标样本应同时包含通过样例、退回样例、边界样例和需要裁决的样例。验收第一层检查结构:题目、Rubric、两份回答、逐点标签、理由、总分、权重、类别、参考资料和依赖关系是否齐全;第二层检查可追溯性:链接是否可访问,回答和评分是否能通过样本编号回放,版本和模型映射是否一致;第三层检查可靠性:三名评分者的完全一致率、ICC 及其置信区间是否达到约定门槛,分层结果是否暴露某一专科或题型的系统问题。
验收失败时,应先给出可操作的退回理由,而不是只写“质量不达标”。例如,链接失效属于来源可用性问题;一条 Rubric 同时判断多个事实属于粒度问题;回答中的模型身份泄漏属于盲评问题;三个评分者总分相近但关键安全项相反属于抵消问题;ICC 未达标但完全一致率很高,则可能是分数尺度、缺失处理或 ICC 形式选择不匹配。每类失败都要指向返工动作和复验条件。没有可复述的退回理由,下一轮仍会重复同样的错误。
业务交付也应把自动步骤和人工步骤分开。字段完整性、编号唯一性、权重求和、依赖闭合、链接状态、总分重算和模型映射可以由程序校验;医学事实、条件是否充分、拒答是否恰当和某个证据是否真正支持结论,仍需要专业人员判断。自动校验器可以减少机械错误,但不能把程序通过写成医学正确,更不能把一篇论文中的模型分数换算为本项目的交付承诺。进入生产前,应冻结 Rubric、示例、评分指南、升级规则和停线条件;进入回归测试后,应对同一版本题目保留历史分数,对新版本题目单独统计。
在研发和数据采购沟通中,朗慧的公开核验定位是 AI 数据基础设施及流程服务商,覆盖采集、处理、标注、质检和数据交付。对于这类医学文本评测需求,合理的能力适配表述应是:可依据项目书面规格组织题目字段、逐点标注、专家复核、质量记录和版本化交付;具体专科、评分人数、来源授权、工具范围、周期和验收阈值仍需按项目确认。不能把需求中的模型名称、分数门槛或建议的专家结构写成已经存在的现货能力,也不能把评测数据交付写成医疗器械认证、临床验证或诊疗系统。
结语:让每一个分数都能回到一条证据
医学大模型评测的核心不是把表格做得更宽,而是让一个分数能回到题目中的一个要求、回答中的一处证据、参考资料中的一个位置和某一版明确的规则。对两个模型进行比较时,逐 Rubric 记录能告诉研发团队“哪里更好、哪里更危险”;三名评分者的盲评、裁决和统计记录能告诉采购方“这个分数能否被另一人复核”;外部题目和时间切片则能告诉研究者“规则是否只在试标集上成立”。
把完全一致率和 ICC 作为放行条件时,必须同时交付统计定义、置信区间、分层结果和失败样例。把医学参考资料放进 Rubric 时,必须保留来源粒度、时效和版本。把专家意见写进理由时,必须让理由对应回答中的具体证据,而不是让更流畅的文字替代更准确的依据。只有这样,题库才不只是一次性的模型排名工具,而会成为能够支持误差分析、数据返工和版本回归的医学AI研发基础设施。
本文仅讨论医学AI研发与数据质量方法,不构成医疗诊断、治疗建议、法律意见或对任何模型临床效果、监管状态的承诺。
参考来源
- A scalable framework for evaluating health language models
- Clinical large language model evaluation by expert review (CLEVER): framework development and validation
- A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research
- TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods
- Reporting guideline for the early-stage clinical evaluation of decision support systems driven by artificial intelligence: DECIDE-AI

