MEDICAL DATA RESEARCH
中文医疗大模型评测集:把多专科推理拆成可复核的 Rubric
面向医疗AI研发与数据采购,拆解中文医疗大模型的多任务、多专科评测:如何定义对话输入、逐题Rubric、专家裁决、闭卷难度标定、风险安全门、污染控制与外部验证,并区分评测资产与临床效果。
当一个中文医疗大模型能够流畅复述疾病知识,却在急症分级、证据不足时的边界表达、用药风险提示或个体约束下的方案选择上失误,问题往往不在“题目数量不够”,而在评测集没有把临床任务拆成可观察、可复判、可追溯的能力单元。面向研发和数据采购的真正难题,是怎样把开放式医疗对话转成一套既能检验医学知识、又能检验安全行为和推理过程的评测资产。
先把需求还原成一套能力地图
这类需求的主体不是病历采集,也不是患者诊断报告,而是中文医疗大模型的训练后评测与安全验收。输入以中文文本为主,通常由用户或医务人员角色、上下文材料、问题以及可能的对话约束组成;输出不是一个简单的正确选项,而是模型回答、逐条评分依据和可重算的总分。当前范围不要求影像、语音或波形等额外模态,也没有要求建立真实患者的纵向配对队列,因此不能把它改写成影像数据集或临床随访项目。
需求把能力分成病情理解、医学信息抽取、医学命名实体识别、临床文档摘要、鉴别诊断、因果或逻辑推理、循证医学检索、个性化方案生成、常见疾病科普、检查与指标解释、用药注意事项、病情跟踪等任务。这样的划分比按“内科题”“外科题”更适合评测,因为同一个专科可以同时要求抽取、推理、沟通和安全边界;同一种任务也可能横跨心血管、呼吸、消化、血液、急诊、重症、康复等专科。需求还提出覆盖多个常见专科,并将每类任务分层安排,使低难度题检查基本理解,中难度题检查跨信息源整合,高难度题检查多约束推理或个体化决策。
这里的“难度”不能只写成低、中、高三个标签。至少应记录推理步骤数量、信息冲突数量、关键缺失项、所需专科数量、风险等级、是否需要引用依据、是否允许追问,以及回答出现安全错误的潜在后果。高难度并不等于把文本写得更长;一段冗长但信息单一的材料,可能比一段包含约束冲突、时效要求和禁忌边界的短材料更容易。HealthBench将真实健康对话、对话级专家Rubric与不同主题和行为维度结合,强调评测要有现实意义、可信度和未饱和空间1。这为本类需求提供了一个重要启示:题目要让模型在临床相关的取舍中暴露能力,而不是把医学名词记忆当成全部目标。
图1|技术示意:不表示真实患者、已完成实验或临床诊断结论。
评测条目的最小可交付结构
一个可进入训练或评测流程的条目,应当同时包含任务标签、输入对话、稳定的题目编号和评分规则。输入端建议采用可解析的消息数组,明确角色与内容,保留必要的上下文顺序;不要把患者姓名、住院号、医院名称、供应商或联系方式放进样例。若使用合成或脱敏病例,应在数据卡中说明生成方式、医学复核方式和不可推断的内容范围。对于需要时间顺序的病情跟踪任务,时间点必须成为显式字段;对于一般问答,则不能假定存在未提供的既往记录。
输出端至少需要保存模型名称或匿名模型标识、版本、提示模板、解码设置、原始回答、每条Rubric的得分和文字证据,以及可由子项重新计算的总分。评分文件与题目文件通过稳定的评测编号关联,禁止用行号或人工复制的标题作为唯一连接键。这样做的意义不只是便于程序读取,更是为了在某条准则修改后,能够回答三个问题:改动影响了哪些题,旧分数还能不能比较,哪一轮评审作出了这个判断。源需求提出的 eval_items 与 eval_scores 两类结构,正好可以把题面、Rubric、模型运行和逐项证据分开保存;但字段名、样本量和每题条数仍应在书面规格冻结后执行。
Rubric应当把“好回答”拆成原子化、可观察的行为。共识类准则可以检查是否识别紧急风险、是否交代不确定性、是否避免虚构依据、是否使用与用户角色相称的语言、是否在信息不足时指出缺失项;场景类准则则检查特定专科知识、关键检查结果的解释、鉴别诊断的依据、用药禁忌或个体约束下的选择。每一条准则都应有正分值、必要时的部分得分条件、证据位置和不通过的边界。仅写“回答专业”“逻辑清晰”无法复判,也无法区分事实错误、推理遗漏和表达问题。
需求中的逐题多条Rubric具有实际价值,但“每题固定条数”不应成为机械填充。条目可以保持统一的字段和评分总量,同时允许不同任务使用不同的准则组合;危险识别、禁忌和拒答等门控项应单独标记,不能被大量低风险语言风格项稀释。CSEDB研究把临床风险相关的安全指标与有效性指标分开,采用专家共识、风险权重和分层评分,说明总分之前要先明确哪些错误具有不可被平均分抵消的临床意义2。在本项目中,若一个回答遗漏了需要立即升级处理的警示条件,即使其他文字很流畅,也应触发预先定义的安全门,而不是靠总分“补回来”。
专家标注不是把答案改得更像医生
标注主体应按任务需要匹配专科,而不是用一个笼统的“医学专家”标签覆盖所有题。涉及急诊风险、药物相互作用、妇产科、儿科、精神健康或慢病管理的题,所需知识边界不同;如果一名评审人并不具备该题所需的临床背景,后续再精细的评分脚本也不能弥补内容效度不足。应记录评审人的专业领域、任务准入、利益关系、适用地域和所依据的指南版本。公开研究中的专家数量或机构名单只说明其研究设计,不能转换为本项目的专家规模或公司能力承诺。
建议先做小批量双人独立试评。两名评审人分别判断每条准则是否满足、给出证据位置和分值,再把分歧定位到具体句子、术语、阈值或适用条件。分歧不能简单取平均:如果争议来自Rubric本身含糊,应修订准则并递增版本;如果争议来自真实的临床不确定性,则应把条件写清,或者将该准则限定在特定情境;如果争议来自事实依据过期,则应更新来源并标注生效日期。最终的裁决记录需要保留原始判断、裁决人、理由和变更后的规则。
专家还要为“应当拒答或继续追问”保留得分空间。医学问答并非信息越多越好;在缺少关键实验室结果、药物剂量、过敏史或时间线时,编造一个确定结论可能比承认缺失更危险。HealthBench把处理不确定性作为行为维度,并提供了按专家共识筛选的变体,以减少单一评分人的偶然判断1。CSEDB也报告了专家之间并非完全一致,自动评分器与专家的一致性应当用独立的人类基线衡量,而不是默认自动评审天然客观2。因此,模型评分脚本可以提高吞吐量,但高风险准则、争议样本和版本变更仍应保留人工复核。
模型评测要测推理,不要测检索运气
如果项目目标是检验模型在给定医学材料上的推理和安全行为,运行环境就必须与目标一致。模型、版本、系统提示、上下文窗口、温度、最大输出长度和工具权限要写入运行卡;若要求闭卷评测,运行层应阻断公网访问,而不是只在题目里提醒“不要搜索”。每个任务应区分题目失败、工具失败、环境异常和模型失败,并保存可审计的运行记录。否则,低分可能来自网络不可达,高分也可能来自模型调用了外部资料,分数无法解释。
难度标定应在正式放量之前完成。预先约定若干代表性模型和同一套运行脚本,多次独立运行,观察不同难度层级是否有合理的通过区间,以及强模型与较弱模型能否被区分。需求中提出低、中、高难度分别设置模型正确率上限或目标区间,这可以作为项目假设,但不能在没有冻结模型版本、采样次数和评分脚本的情况下把某个百分比宣传为事实。更稳妥的做法,是同时报告条目级分数、任务级分数、风险门通过率、重复运行波动和最差表现;不要只公布一个平均总分。
评分器可以先用确定性的字段校验和规则计算,再用模型辅助归因,最后抽样交给专家复核。对于“是否包含关键警示”“是否提到给定材料中的证据”“是否违反明确禁忌”等准则,结构化判定往往比自由文本评价更容易审计;对于临床表达是否足够清楚、是否恰当处理不确定性,则可能需要人工或经过人类对照验证的辅助评分器。CSEDB在自动评分研究中把模型评分器与医生判断进行一致性比较,并报告了人类之间的差异,这种做法比直接把LLM-as-a-Judge当成金标准更谨慎2。
MedAgentGym把生物医学数据科学任务组织为可执行环境和可判分任务,说明复杂医学能力的验收可以从“参考答案”进一步走向“可运行的检查器”3。对于本类中文医疗对话集,不必照搬代码沙箱,但可以借鉴其思想:把能自动核验的格式、字段、证据引用和禁用工具行为交给脚本;把需要医学判断的准则交给经过校准的专家;两类结果分别记录,不能用一个模糊的综合分数替代。
数据偏差、污染与外部验证要提前设计
第一类风险是任务分布偏差。若大部分条目都集中在常见疾病科普,模型在鉴别诊断、个性化方案、急诊分级或病情跟踪上的缺陷会被平均分掩盖。验收表应按任务、专科、风险层级、用户角色和难度检查覆盖;多任务并不等于每类题都相同数量,而是要让差异与目标应用一致。高风险题的数量、权重和放行规则应在项目开始时冻结,不能在模型表现不理想时临时删除。
第二类风险是专家和指南偏差。中文表达、地区医疗资源、可及性、健康素养和指南版本会影响“最佳回答”的定义。涉及处方或临床路径的题,需明确适用法域和依据时点;不同地区指南冲突时,应在标签中写明范围,而不是把一个地区的标准当作普遍真理。WHO的医疗人工智能伦理与治理指南强调,设计、部署和使用都要把伦理、人权、责任和受影响群体纳入治理6。对评测集而言,这意味着要记录数据来源、专家角色、隐私处理、风险分级和申诉机制,而不仅是保存一个分数表。
第三类风险是数据污染与切分泄漏。相同题干、模板化改写、公开评测原题或训练材料中的答案,都会让模型看起来“会推理”。应按来源、模板族、时间、生成者或其他可解释的单位进行拆分,不能只随机打散句子;同一病例或同一对话的近重复版本不能跨训练和最终评测。TRIPOD+AI对预测模型研究提出,评测数据应与训练、调参和模型选择数据独立,且要代表目标使用人群;它还特别强调亚组表现、公平性、开放科学与外部验证的报告4。虽然本项目是开放式语言评测而非传统风险预测模型,但数据独立、切片报告和版本透明的原则同样适用。
第四类风险是只做内部随机切分。内部切分可以检查评分流程是否工作,却不能证明模型在新来源、新语言习惯、新指南版本或不同资源条件下仍然可靠。外部验证应至少引入未参与题目编写的来源或专家,并保持同样的Rubric定义;如果无法取得真实临床外部数据,也应在数据卡中明确限制,不把内部结果写成临床有效性。MedBench v5把评测从静态问答扩展到过程审计、信息缺失或矛盾压力测试和幻觉传播分析,提示只看最终答案可能漏掉模型如何在推理中更新或固守错误;该文截至本审稿日为arXiv预印本,未按同行评审临床证据使用5。这类过程指标可以作为后续版本,而不是在首版需求中虚构已经完成的临床验证。
图2|技术示意:不表示真实患者、已完成实验或临床诊断结论。
验收应该写成可追溯的业务接口
对于研发团队,评测集的业务价值不只是给模型排名,而是把错误变成下一轮训练和安全测试的输入。一个可移交的批次应同时提供题目文件、评分文件、字段字典、Rubric版本、指南或证据版本、标注与裁决记录、运行卡、环境限制、数据卡和变更日志。每条退回都要能指向题目、准则、证据或运行环境,不能只写“质量不高”。当Rubric改动、模型评分脚本改动或题目被替换时,必须说明哪些历史分数失效。
验收门可以分成四层。第一层是结构完整性:ID唯一、消息格式可解析、Rubric字段齐全、子项分值可求和、模型回答与评分能一一对应。第二层是内容有效性:任务标签与题目一致,专业边界清楚,关键风险准则有证据,专家评审与裁决记录齐全。第三层是测量可靠性:双人评分分歧在约定范围内,自动评分器与人工抽检达到预先设定的一致性,重复运行能报告波动,禁网和版本限制确实生效。第四层是外部与安全门:独立切分无明显污染,高风险切片没有被平均分掩盖,外部或时间留出验证已完成;未满足时,应允许暂停放量或回滚,而不是把不确定性写成“基本通过”。FDA所介绍的GMLP原则把安全、有效和高质量放在医疗AI全生命周期内考察,也支持将环境、版本、监测与回滚视为验收组成,而不是发布后的附加项7。
业务上还要区分三类交付:题目和Rubric设计、专家标注与裁决、模型运行和报告。它们的责任角色、输入授权和验收证据不同,不应合并成一句“提供高质量医疗数据”。尤其不能把评测集的模型分数写成诊断准确率、临床疗效或监管批准,也不能把论文中的公开基准表现转换为某个项目的交付承诺。医疗AI数据项目真正可复用的资产,是清晰的任务定义、可审计的规则和能解释失败原因的版本化记录。
能力适配与边界
按照已核验的公司定位,朗慧可作为AI数据基础设施及流程服务商,依托LangData覆盖采集、处理、标注、质检和数据交付等流程,并以项目规格、样例、质量记录和版本为基础组织交付。对本类需求,这种能力更适合落在字段与文件结构设计、专家任务编排、标注质检、规则版本管理、抽检和可复核交付上。它不自动证明已有某个特定规模的中文医疗推理基准,不证明拥有现成的专科专家库,也不证明任何模型已经达到需求中的难度门槛;实际范围仍应以试标、书面规格和验收记录为准。
因此,采购或研发立项时可以先要求一小批脱敏样例:覆盖不同任务和风险层级,展示一条题目的完整输入、Rubric、两位专家的独立评分、裁决理由、模型运行卡和输出JSON。样例若不能复核,先不要扩大数量;若只能展示平均分而没有失败类型、证据位置、版本号和外部验证计划,也不要把它当成可直接训练或上线的资产。对于最终使用在医疗服务中的系统,还需要另行开展符合临床研究、隐私保护、监管和院内治理要求的验证,评测集不能替代这些工作。
医疗大模型评测从“题库”走向“推理测试”,核心不是把样本写得更复杂,而是把能力、风险、证据、专家判断、模型运行和外部验证连接成一条可追溯链路。只有当每条得分都能回到具体准则、每次失败都能定位到任务或环境、每次规则变化都能追踪到版本,评测结果才有可能真正服务于模型迭代、数据采购和安全治理。
参考来源
- HealthBench: Evaluating Large Language Models Towards Improved Human Health
- A novel evaluation benchmark for medical LLMs: illuminating safety and effectiveness through a clinical dual-track framework
- MedAgentGym: A Scalable Agentic Training Environment for Code-Centric Reasoning in Biomedical Data Science
- TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods
- MedBench v5: A Dynamic, Process-Oriented, and Hallucination-Aware Benchmark for Clinical Multimodal Models
- Ethics and governance of artificial intelligence for health
- Good Machine Learning Practice for Medical Device Development: Guiding Principles

