MEDICAL DATA RESEARCH
医疗大模型高难度题目如何变成可验收的医学评测数据
面向医疗AI研发与数据采购,拆解高难真实医疗题目的任务定义、输入模态、参考答案、原子考点、盲法评分、安全门、泄漏控制和外部验证,说明如何形成可复核的版本化评测交付。
当一个医疗大模型面对复杂病情、相互矛盾的检查结果或证据不足的追问时,怎样判断它是真的理解了临床问题,而不是把看似专业的句子拼接得更流畅?这是医学评测数据建设最难、也最容易被“考试分数”掩盖的问题。单项选择题可以检验知识召回,却不能充分检验模型能否识别任务边界、组织鉴别诊断、指出关键缺失信息、引用适用依据,并在不能安全下结论时及时收敛。对医疗AI研发团队而言,高难度题目的价值不在于把题干写得更长,而在于把临床任务、证据条件、回答责任和验收规则同时定义清楚。
这类数据建设应当被看作一项医学评测工程,而不是普通问答采集。它需要把具体临床工作中可匿名化的复杂问题抽象为评测单元,配套可复核的参考答案和逐项评分量规,同时把时效、地域、偏差、拒答与外部验证纳入交付。这样形成的数据,既可用于模型能力比较,也能为后训练和安全改进提供可定位的失败样本;但它本身不等于临床试验,不代表模型已经具备独立诊疗能力。
从“难题”到可定义的评测单元
第一步不是让专家自由发挥,而是先规定每道题要考察什么临床任务。一个合格的评测单元至少要写明任务类型、输入模态、解剖部位或疾病谱、输入与输出的颗粒度、允许使用的证据范围、时间点和回答对象。任务可以是基于结构化病史与检查结果建立鉴别诊断框架,也可以是比较一组治疗路径的适用条件、解释某项检查的限制,或在资料不完整时提出下一步需要核实的关键信息。若问题要求模型综合影像、检验、病理、病历文本或指南,就要在元数据中分别记录这些模态及其缺失状态,不能用一句“综合判断”掩盖输入边界。
题目难度应来自真实的专业约束,而不是来自罕见名词堆砌。设计者可以从临床工作中抽取需要多步推理的结构:先确认用户究竟在问诊断、风险分层、证据解释还是研究设计;再判断哪些信息足以支持结论;随后区分确定事实、合理推断和仍需验证的假设;最后给出与场景相称的输出。对于开放式问题,题面还应说明读者是临床医生、研究者还是普通健康咨询者,因为同一事实在不同受众下需要不同的解释深度和安全边界。
“真实”也不能等同于复制一份病历。可公开的数据单元应去除患者、机构、供应方、合同和内部项目线索,并把病例细节压缩为能支撑任务判断的最小必要信息。涉及指南、药品、筛查策略或监管要求的题目,应在题面锁定适用地区和资料截止日;若题目依赖会更新的指南,必须把版本号和检索口径作为元数据,而不是要求评测人员凭记忆判断。对真实工作流的抽象,目标是保留专业决策结构,不是暴露任何可回溯的原始案例。
研究者还要预先定义“正确答案”的粒度。对有唯一计算结果的任务,可以使用精确匹配或容差规则;对鉴别诊断、风险沟通和研究方案等开放任务,则应把答案拆成原子要点,包括必须识别的高风险情形、必要的证据链、不能越过的结论边界、允许存在的等价表达和应当明确的未知项。这样,参考答案不是一段漂亮范文,而是一张能逐项核对的医学责任清单。
图1|技术示意:展示医疗大模型评测数据从任务定义、题目结构化、专家参考答案到版本化交付的关系,不表示真实患者、已完成实验或临床诊断。
题目池要覆盖任务,而不是只扩大题量
一个题库如果全部由知识问答组成,模型可能通过熟悉的术语和答题格式取得高分,却没有展示临床场景中的信息整合能力。HealthBench这一公开预印本把真实健康对话与情境化量规结合,按准确性、遵循指令和沟通等行为维度检查开放回答。1 这说明题目池需要同时覆盖知识、推理、沟通和安全,而不应把“答对一个结论”当作医疗能力的全部。
在设计题目矩阵时,可先按临床任务划分主轴,再按疾病阶段、模态组合、信息完整度和受众类型分层。基础层可以检验术语、指南事实或数值计算;应用层要求模型从病史、影像与检验中提取冲突信息;挑战层则加入时间变化、共病、药物相互作用、证据等级不一致或用户目标含糊等条件。每个单元都要记录它属于哪一层、依赖哪些先验知识、是否允许外部检索,以及输出应达到的最小充分程度。难度标签必须能被另一位专家复现,不能只写“难”“很难”。
多轮任务尤其需要区分上下文理解和医学结论。模型可能在第一轮正确识别问题,却在追问中忘记此前的禁忌条件;也可能在新信息出现后没有修正原先假设。题目因此应保存轮次、信息出现顺序、每轮预期行为和触发安全门的条件。HealthBench把5000段多轮健康对话与医生为每段对话定制的量规结合起来,并将标准拆为大量具体判据,覆盖准确性、遵循指令和沟通等行为轴;其研究思路提示,复杂医疗回答应按场景逐项评分,而不是用一个泛化总分替代全部差异。1
与此同时,题库不能只放“模型应该答什么”,还要设计“模型应该如何不答”。证据不够时,说明缺少什么信息并请求澄清,可能比武断给出诊断或用药建议更符合安全要求。需要拒答或降级处理的场景应在题面和量规中明示,例如输入不足以支持个体化结论、所给依据已经过期、用户要求超出评测任务边界,或模型必须提示由合资格临床人员作最终判断。拒答不是简单扣分项;在高风险场景,拒绝编造可以是正向表现,但前提是理由具体、缺口清楚并给出可行的下一步信息需求。
参考答案要体现证据和不确定性
专家参考答案的作用不是替模型写一篇教科书,而是为评分提供可追溯的锚点。它至少应区分四类内容:输入中已经给出的事实;依据指南、系统综述或原始研究可以支持的判断;在当前资料下合理但仍需验证的推断;以及不能从现有输入推出的结论。对于开放式题目,答案还要给出关键反例或鉴别方向,说明哪些新增信息会改变判断。这样既能避免把某一条专家偏好当成唯一标准,也能让后续错误分析定位到任务识别、事实、推理还是安全边界。
证据标注应达到与任务相称的粒度。涉及临床建议时,记录指南或共识的名称、版本、适用地区和关键条款位置;涉及研究结论时,记录原始研究的任务、样本、比较基线和外推限制;涉及时效性事实时,写明截止日期。评测数据不应把“根据专业判断”当作完整依据,也不应把论文中的实验性能改写成临床效果。若来源是预印本,必须显著标明未经过同行评审;若研究只在单中心、特定设备或特定人群中完成,就不能据此给出跨中心的普遍结论。
如果任务要求比较两个固定模型,评测单元还要保存模型版本、提示模板、运行参数和匿名后的左右顺序。需求识别、真实性、深度与专业性、丰富度、其他质量和可用率可以分别判定;总胜负不能替代维度差异。深度与丰富度的差异要写出具体原因,逐句备注应回指题目要求、证据或量规条款。只有关键要求漏答、严重事实错误或安全门缺失等需要大幅返工的情况,才应判为不可用,而不是把表达风格问题混同为医学失败。
答案格式也会影响模型分数。可以要求模型先给出结论级摘要,再列出依据、不确定性、待核实信息和安全提醒,但不能用格式完整替代医学内容。MedHELM的框架把真实任务分为临床决策支持、临床记录生成、患者沟通与教育、医学研究辅助以及行政工作流等类别,并为每个基准单元定义上下文、提示、参考输出和指标。2 对中文医疗评测而言,这种“输入—任务—参考输出—指标”四元结构值得保留,尤其适合把开放答案拆成结构化证据字段和自由文本解释两部分。
评分量规要能区分“错在哪里”
针对高难度医疗题目,建议将总体可用性拆为六个互补维度。第一是需求识别:是否正确理解了用户目标、角色、时间范围和输出格式,是否遗漏了题干中的关键限制。第二是真实准确:医学事实、数值、指南版本和引用是否正确,是否把研究效果误称为临床效果。第三是深度与专业性:是否建立了合理的分析框架,解释了关键机制、证据强弱和适用条件。第四是丰富度:是否覆盖题目要求的主要维度,既不遗漏关键分支,也不靠无关背景堆字。第五是安全与边界:是否识别高风险情形、避免越权诊断和处方、对不确定性作出适当处理。第六是其他质量:包括语言清晰度、计算错误、冗余、格式违约和不必要的地域混用。可用率应作为综合门槛,而不是与前五项重复计分。
每个维度下还要有原子化判据。比如“真实准确”不能只写“没有错误”,而要分别检查关键事实、时效资料、引用对应关系和结论是否超过证据支持范围;“安全”不能只写“注意风险”,而要明确哪些禁忌、急症信号或缺失信息必须出现。每项判据应有通过、部分通过、退回或不适用的定义,并说明严重错误是否直接触发不通过。对生命安全相关事项,可以采用安全门:一旦漏掉不可接受的高风险点,即使语言流畅、其他分数较高,也不得由总分抵消。
评分应同时保留总体判断和问题定位。源任务强调对两个模型的回答进行并列比较,这种设置适合固定同一题目、同一资料、同一截止日和同一输出要求,再让评审分别记录需求识别、真实性、深度、丰富度与可用率的差异。模型版本、提示词、温度或推理设置、是否联网、检索结果和响应时间都应冻结并归档,否则分差可能来自实验条件变化,而不是模型能力变化。评审者看不到模型名称和顺序,能够降低品牌、长度和表达风格对判断的影响。
CSEDB研究采用以临床风险驱动的双轨方法,把安全与有效性拆开,并由专家制定30项标准,再通过多轮共识和分歧处理确定权重。3 这一做法适合借鉴,但权重不能机械搬用到所有题库。对于某个专科或某类任务,必须先说明风险与价值如何定义,再决定哪些项目二元判定、哪些项目分级评分。一个适用于急诊风险识别的安全门,不应直接当作科研文献摘要任务的唯一标准。
图2|技术示意:展示医疗评测中题目分层、盲法响应、量规评分、争议裁决与外部验证的关系,不表示真实样本、实验曲线或临床结论。
专家标注不是“找一位医生看一眼”
医学评测数据的标注主体要按任务匹配,而不是笼统标注为“专家团队”。题目设计者应能说明所需专科、临床经验、研究或指南阅读能力;评审者应能核验与当前任务相关的专业资格、培训状态、利益关系和地域适用范围。需要多专科判断的题目,可以由一名主责专家建立答案骨架,再由不同背景的复核者独立检查遗漏和越界点。涉及中国与其他法域指南、不同医疗体系或不同药品可及性的内容,应分册记录,不能把一个地区的高分外推到另一个地区。
标注流程宜采用“独立初评—盲法复核—指定裁决”的分层结构。初评者先按量规给出分数和证据位置;复核者只看题目、回答和规则,不看初评分;出现实质分歧时,由具有相应资质的裁决人查看双方理由,决定保留、修改还是把该判据标成条件性适用。每次裁决都应记录争议点、采用的证据、规则版本和是否需要回写题面。不能用更流畅的文字覆盖更准确的医学依据,也不能用多数票掩盖题目本身的歧义。
一致性统计要服务于修订,而不是成为装饰数字。可以在试标阶段对部分题目进行重复评分,分别报告逐项一致率、加权一致性或组内相关性,并查看哪些判据最容易产生分歧。若专家对“完整回答”的理解不一致,应优先重写量规和示例,再扩大规模。对于开放式答案,评审者之间的差异可能来自真实的临床合理多解,因此应允许等价答案和条件性答案被接受;但高风险事实、禁忌和关键证据位置仍需有明确最低要求。量规本身也应视为待验证的测量工具,保留试标版本、正反例和分歧原因,不能把一次专家共识当成永久金标准。
自动评分可以用于初筛、回归测试和大批量复核,但不能未经校准就取代医学专家。应从每个专科、风险等级和题型中抽取人工金标准,测量自动评分与专家判断的一致性,检查它是否偏爱更长、更有术语或更接近参考答案表面措辞的回答。若自动评分无法识别一处危险建议,相关判据必须回到人工复核;如果模型评分器与专家存在系统性偏差,也不能把批量结果当成临床质量证据。
质量控制要防住泄漏、偏差和时效错配
题库最常见的污染来自同源样本泄漏。相同病例的不同表述、同一指南的改写题、含答案解释的公开页面,都可能同时出现在训练、开发和测试集合中。数据划分应以患者级、病例级、来源级或主题级为单位,而不是随机切分句子;对于纵向随访,还要确保同一个临床事件不会跨集合出现。公开基准的题干、参考答案和评分规则应有访问控制与版本记录,避免评测集本身成为模型的检索答案。
偏差审查至少包括人群、地域、语言、设备和专科分布。若题目主要来自高资源医院或某一英语医疗体系,模型在该集合上的高分不能说明对基层、少数语言、不同设备或其他指南体系同样可靠。可以为关键任务建立分层报告,展示不同人群和模态下的需求识别、真实性、安全门通过率及拒答质量;小样本分层结果要给出不确定性,不用单一总分掩盖空白。对于涉及性别、年龄、妊娠、基础病或社会处境的题目,专家应检查模型是否把群体差异错误地当作个体结论。
外部验证要在题目冻结后另建评测集,最好来自不同来源、时间窗口、专科组合或机构流程。验证时要区分内部开发结果、独立外部结果和人工复核结果,记录模型是否接触过类似题目、是否允许检索、使用何种版本的指南。题库验收不能只看某次榜单排名,更要检查任务覆盖、样本构成、评分者、参考标准和失败案例是否可复算;无法取得独立来源时,应把它明确写成限制,而不是把内部成绩外推为临床有效性。
交付要像研究数据,而不是一张分数表
面向研发或采购的可验收交付,至少应包含任务字典、脱敏后的题目与上下文、参考答案及证据、逐条评分量规、专家资质与角色记录、标注和裁决日志、训练开发测试划分、版本冻结日期、已知限制和问题清单。对开放回答,还应保留模型原始输出、逐判据得分、退回理由和修改前后差异。只交一个“平均准确率”无法支持错误分析,也无法证明数据是否适合后续训练。
试标阶段可以先选取不同专科、模态、难度和风险等级的少量样本,走通题目审核、专家独立评分、分歧裁决、数据导出和回放验证。验收标准应提前区分硬性拒收项与允许返工项:例如关键事实无来源、题目存在两种互斥解释、患者隐私未清除、答案混入不适用地域指南、模型输出漏掉安全门,通常属于拒收或返工;措辞风格、非关键格式或同义表达则可以按规则修订。所有阈值都要与任务和样本量绑定,不应宣称存在公司统一的医学准确率或固定合格线。
从业务逻辑看,这种数据的价值有三层。第一层是测量:让研发团队知道模型在什么任务、什么风险点和什么人群上失分。第二层是改进:把专家指出的缺失证据、错误推理和不当拒答转化为后训练或检索增强的样本。第三层是治理:用版本、来源、授权和裁决记录支持上线前复核和上线后的回归测试。它可以帮助企业选择合适的数据服务与评测流程,但不能被包装为临床诊断能力、监管批准、患者获益或真实世界疗效。
在已核验的企业能力范围内,LangData可被表述为覆盖采集、处理、标注、质检和数据交付的流程平台,医疗业务页面提供按部位、模态和任务组织的数据目录与样例评估入口。公开能力边界不等于某个专科题库已经现货存在,也不证明固定规模、专家数量、准确率或临床结果。实际项目仍应以脱敏样例、小规模试标、书面规则、版本化质量记录和双方确认的验收条款为准。这样的表达既能体现专业数据服务的研发价值,也能避免把方法建议误写成已完成的医学成果。
结语:把“会答题”改写为“可审计地完成任务”
医疗大模型评测的难点,不是再增加一批看起来更难的病例题,而是把每个题目背后的临床责任拆开:模型是否听懂了问题,是否使用了适用且及时的依据,是否覆盖了关键风险,是否能在证据不足时停下来,是否能把答案写到适合的受众和工作流中。题目、参考答案、评分量规、专家分歧和外部验证必须形成一条可追踪链路,才能把模型的一次回答转化为可复盘的工程证据。
对医疗AI研发者和数据采购者而言,真正值得验收的不是一个漂亮的总分,而是题目是否来自可解释的任务矩阵,标签是否能由不同专家复核,错误是否能定位到原子判据,结果是否能在未见过的来源和人群上重新检查。世界卫生组织关于健康领域人工智能的治理建议强调,伦理、人权、问责和对受影响人群的保护应贯穿设计、部署与使用。4 医学评测数据也应遵循同一底线:先把边界和证据写清楚,再谈规模、效率和模型进步;先保证可审计和可纠错,再讨论能否进入更高风险的临床流程。
参考来源
- Evaluating Large Language Models Towards Improved Human Health(预印本,未同行评审)
- Holistic Evaluation of Large Language Models for Medical Applications
- A novel evaluation benchmark for medical LLMs illuminating safety and effectiveness in clinical domains
- Ethics and governance of artificial intelligence for health
- Good Machine Learning Practice for Medical Device Development: Guiding Principles

