MEDICAL DATA RESEARCH
医学大模型对抗式评测:医生题目如何转成可复现的三模型考点评分
从医生出题、原子考点和固定模型运行出发,说明如何用盲审、风险门控、隐藏集与版本复测构建可复现的医疗AI安全评测;不把共同低分误作临床效果,也不替代医学审定。
当一个医学大模型能够在常见问答中给出流畅答案,却在急症分诊、禁忌识别、证据不足时的拒答或指南时效上出现遗漏,研发团队真正需要的不是再做一套“看起来更难”的选择题,而是一套能解释模型为什么失分、在哪些风险条件下失分、不同模型是否共同失分的评测机制。把医生提出的真实临床问题转成固定考点,再让多个模型在同一题面下接受检验,本质上是医学安全评测的数据工程,而不是普通题库的扩充。
本类需求通常包含四个动作:由医生设计问题,由医生把理想回答拆成一组可核对的检查点,使用固定版本的模型生成答案,再按照预先冻结的规则判断模型是否被“考倒”。公开稿可以讨论其中的技术方法,但不应带出具体机构、合作关系、原始题目、患者数据、培训材料或商业交付条件。下文把它抽象为一种可匿名复用的医疗大模型对抗式评测方案,并把“所有被测模型在考点上都低于门槛”理解为难题筛选条件,而不是临床有效性的证明。
先把“考倒模型”翻译成可验收的任务
第一步不是写题,而是定义要测的临床任务。题目可以评估危险信号识别、分诊升级、指南依据、鉴别诊断的组织方式、用药安全提醒、患者沟通或证据不足时的谨慎表达,但这些目标不能混写成一个笼统的“回答质量”。对于医疗研发,输入模态首先要写清楚:是单轮文本、带上下文的多轮对话,还是包含结构化检验结果、影像文字报告或药品说明的组合输入。若项目并未提供真实患者数据,就应使用去标识化的假设场景或公开资料重构题面,不能把既有合作关系当作数据授权证明。
解剖部位、病种、人群和临床阶段也必须显式记录。一个题目可能属于急诊、基层问诊、专科随访或医学教育;同一症状在儿童、孕期、老年或免疫抑制人群中,风险阈值并不相同。若源需求没有指定具体专科或病种,公开方案只能提出分类框架,不能假称题库已经覆盖全科。建议为每道题建立任务卡,至少包含场景类别、目标人群、关键信息、缺失信息、知识依据版本、期待行为和不允许的越界行为。
输出也不应只保存一个总分。最小输出单元是“模型回答—原子考点—判定理由”。题目级结果说明这道题整体是否达标,考点级结果说明回答漏掉了什么或触犯了什么禁区,模型级结果则用于比较不同模型的共同弱点。若采用“多个固定模型都低于某个比例”来筛选难题,还应同时保留每个模型的原始分数、风险层级和高后果否决项。否则,平均分可能掩盖某一个模型在生命危险场景中的严重遗漏。
图1 技术示意:从临床风险场景、原子考点到固定模型运行和隐藏集复核,不表示真实患者、已完成实验或临床诊断结论。
为什么不能只用医学考试分数
医学选择题适合检查知识召回,却不能充分覆盖开放式回答中的安全行为。Med-PaLM 2 的研究将医学考试、消费者健康问题和医学研究问题放在不同评测中,并对长答案采用医生和非专业评价者的多维人工评分;研究者明确指出,考试基准并不能捕捉需要细致表达的真实医疗问答,也不能替代对 adversarial 问题和实际工作流程的评估。1 这对本类需求的启示是,医生出题不只是提高难度,更要把临床后果写进评分量规。
另一条路径是从真实任务建立任务分类。Stanford HAI 介绍的 MedHELM 将医疗应用分为临床决策支持、临床记录生成、患者沟通与教育、医学研究辅助以及行政与工作流五类,并进一步拆成多个子类。它把基准条目拆成上下文、提示、参考输出和评价指标四个要素,同时提醒开放式文本不能只靠词面相似度判断质量。2 因而,一个有效的题目包应说明模型到底看到了哪些信息、被要求完成什么动作、什么是可接受的输出,以及采用何种指标与人工复核互相校验。
中文场景还需要注意语言、地域和资源条件。MedBench 的公开平台把知识问答、语言理解与生成、复杂推理、医疗安全伦理,以及检索增强、深度研究和安全红队等能力分开组织,并为不同应用建立专门评测集。3 这说明“医学能力”不是单一轴线:一个模型可能擅长知识问答,却不擅长证据溯源;可能能识别疾病名称,却不会在信息不足时安全地停止推断。题目设计应避免把这些维度压成一个不可解释的总榜。
用临床风险编排题目,而不是只堆冷知识
医生出题时可以从风险而不是从知识点目录开始。第一类是高后果场景,例如需要立即升级处理的症状、潜在禁忌、严重药物相互作用和关键检查异常。第二类是信息不完备场景,题面故意缺少会改变结论的年龄、用药、时间线或检查结果,观察模型是否主动追问而不是擅自补全。第三类是证据冲突或指南更新场景,要求模型识别依据的版本和适用条件。第四类是沟通场景,考察模型能否用用户能理解的方式表达风险,同时不制造保证性承诺。
对抗式题目并不等于故意设置文字陷阱。更稳妥的做法是先建立一个临床上成立的基础场景,再对一个变量做有记录的扰动,例如改变危险信号是否存在、改变患者年龄层、改变肾功能或妊娠状态、改变信息的时间点,形成成对或成组题目。每个扰动都应有医学依据和预期行为。这样才能区分模型是真正理解条件变化,还是沿用上一题的表面答案。题目说明中应保存扰动类型、预期改变的考点和不应改变的考点。
多轮对话尤其需要单独设计。首轮可以给出模糊诉求,第二轮再补充症状或检查,第三轮观察模型能否修正先前判断。评分时要区分“首轮在信息不足时保持谨慎”和“获得新信息后仍坚持原结论”这两种行为。若题面包含外部检索或工具调用,也要冻结工具可用范围和返回内容,不能让某个模型因为额外联网权限而获得不公平优势。每轮输入、系统提示、工具返回、模型输出和时间戳都应能回放。
把三十个考点拆成可观察的原子规则
一个检查点只应判断一个相对独立的行为。例如“识别高危表现并建议及时就医”其实包含两个考点:是否识别高危表现,是否提出适当的升级行动。把它拆开后,评分人可以解释模型到底缺了知识、缺了行动边界,还是只是在语言组织上不完整。原子化还便于后续修改:指南更新影响的是某个考点,而不是整道题的全部标签。
对开放式医疗回答,考点可以分为三层。第一层是必须包含的内容,包括关键医学事实、危险信号、适用条件、必要的追问和可追溯依据。第二层是必须避免的内容,包括危险遗漏、把不完整信息写成确定诊断、直接给出个体化处方、虚构文献或把不适用人群当成适用人群。第三层是条件性行为,包括在证据不足时说明缺口、明确不确定性、建议寻求专业帮助,以及在出现急症线索时优先升级而非继续长篇解释。
每个考点至少需要有定义、触发条件、正例、反例、权重和判定说明。权重应体现潜在后果,而不只是专家的主观偏好。对急症漏识别、绝对禁忌或危险剂量等项目,可以设置独立否决门:即使其他考点得分较高,只要触发该项,也不能被平均分“冲回通过”。对表达风格、结构清晰度等低后果项目,则可采用较低权重,避免把文采当成安全性。
“拒答”也要被细化。医学场景中,拒答不是简单的空白或一句“请咨询医生”。如果信息不足以完成个体化判断,较好的行为是指出缺少哪些信息,解释这些信息为什么重要,给出不会延误急救的下一步,并避免虚构确定结论。评分量规应为这种安全的不确定性管理留出分值;与此同时,拒答不能成为模型逃避所有问题的通行证,还要判断它是否在已具备足够信息的低风险任务上完成了可回答部分。
图2 技术示意:考点同时覆盖必须包含、必须避免、条件性处理及统计验收,不表示真实患者、已完成实验或特定模型结果。
“三个模型都低分”怎样变成严谨的筛选器
如果项目目标是让三种固定模型都在一组题上低于预定比例,首先必须定义“低分”的分母。是三十个考点的简单平均,还是按风险权重汇总?一个高风险否决项是否可以被其他二十九项抵消?这些规则要在运行前冻结,不能看过结果后再选择最有利的算法。建议至少报告四种视图:每题总分、每个风险维度分数、高后果否决项触发情况,以及每个模型在同一题上的差异。
模型条件也必须锁定。模型名称不够,还需要具体版本或快照、系统提示、上下文窗口、采样参数、语言、工具权限和联网状态。若模型具有随机性,需事先规定单次运行还是多次重复,并保存种子或重试策略。若只跑一次,结论应称为“在该运行条件下的表现”,不能写成模型固有能力。对话历史、检索内容和输出截断同样会改变分数,必须进入运行记录。
“共同低分”可以作为难题集的准入条件,但不宜直接作为最终质量门槛。它可能筛出真正困难的临床推理,也可能筛出题面含糊、依据过时、答案存在多个合理路径,或者三个模型共享训练语料偏差的题目。因此,筛选后还要进行医学复核:确认题目本身可判定,考点之间没有重复计权,参考依据仍有效,并且低分不是由格式要求或语言误解造成。对于模型共同失分的题目,还应标注错误机制,而不是仅保留一个低分标签。
HealthBench 公开介绍了一种可供借鉴的方向:它使用医生为具体对话撰写的评分标准,每条标准说明回答应包含或避免什么,并为标准设置权重;其数据还覆盖多轮、多语言和不同健康情境。4 但这并不意味着任何项目都应照搬其规模或自动评分器。公开基准的数据泄漏、评分者偏差和模型裁判偏差仍需单独控制,内部难题集尤其要保持隐藏,避免模型直接记忆题面。
医生怎样参与,才能让评分可复核
医生在流程中至少承担三种不同角色:题目作者、评分规则制定者和争议裁决者。三者可以由不同人员承担,也可以在小规模试标中交叉承担,但角色关系要记录清楚。题目作者熟悉临床问题,不等于天然适合独立审核自己的题目;评分人熟悉规则,也不代表能够替代专科裁决。若同一人既写题又给最终分,容易把个人偏好误写成客观标准。
建议先由一名或一组专科医生写出场景、依据和理想行为,再由第二名评分人独立检查题面是否可判定、考点是否原子化、权重是否与后果匹配。随后让两名评分人对匿名模型回答进行盲评,分别判断事实、依据、越界、拒答和沟通等维度。对于不一致的条目,不直接取平均,而是进入裁决并记录理由。裁决结果应回写到规则版本,必要时修改正反例后重新评估一小批已评分样本。
一致性统计可以帮助发现规则含糊,但不能替代医学判断。高一致性可能来自大家都接受了同一个错误答案,低一致性则可能表示题目本身存在多个合理临床路径。除了总体一致率,还应按专科、风险级别和考点类型查看分歧。对高后果项,宁可把分歧升级到更有资质的裁决人,也不要为了提高数字而降低判定标准。所有评分人都应知道当前规则版本和依据日期,旧版指南或私下口头约定不能混入正式放行。
质量偏差与外部验证不能放到最后
医学题目容易受到出题者的专科背景、地区规范、语言习惯和病例经验影响。若题目主要来自单一专科,模型可能在该领域得分很低,却在其他领域表现正常;若只用一种中文表达,结论也可能混入方言、术语或翻译差异。题库元数据至少应记录专科、场景、人群、时间、地域、证据类型和风险等级,并定期检查分布。不要把题目数量相等误认为风险覆盖相等,高危但低频的场景可能更需要独立门控。
数据泄漏是“考倒模型”项目的特殊风险。题目、参考回答和考点如果在公开网页、训练集或评测报告中出现,模型可能通过记忆获得高分,或者评测方无意间把答案暴露给模型。应把开发集、校准集、隐藏测试集和最终外部集分开,限制可见范围,保留哈希或版本记录。题目作者也不能在公开交流中完整复述隐藏样本。对于使用公开资料重构的场景,应核对授权、去标识化和引用范围,不把原始病例或未经授权的机构内部材料写入交付集。
外部验证应包含不同专科、不同题面表达和未参与规则制定的评分人。必要时可以加入新的模型版本,观察模型更新后哪些考点发生漂移。CSEDB 研究提供了一个有参考价值的公开例子:研究团队以临床专家共识建立安全与有效性双轨指标,由三十二名专科医生制定并修订2069条开放式问答,覆盖二十六个临床部门,并报告高风险场景中的性能下降。5 这些结果是该研究设置下的实验发现,不是任何项目的普遍临床效果,也不能直接换算为实际部署安全性。它所提示的是,风险分层和高风险单独报告比单一总分更有解释力。
WHO 2024年发布的医疗大模型治理建议强调,模型可能生成错误、不准确、有偏或不完整的内容,并可能诱发自动化偏见;开发者应让医疗专业人员和其他相关方在设计早期参与,并为明确定义的任务建立足够的准确性和可靠性要求。6 因此,评测集的“医生参与”不应只是末端签字,而应贯穿任务定义、题目审查、评分校准、结果解释和发布后的复测。NIST 的生成式人工智能风险管理框架则把可信性纳入设计、开发、使用和评价的全生命周期,可作为版本、风险、监测和事件记录的通用治理骨架。7
从试标到交付:把业务逻辑写成质量门
可实施的业务流程应当分阶段,而不是直接承诺一次性完成全部题目。第一阶段冻结任务卡、题目模板、考点定义和依据范围;第二阶段用少量开发题验证评分人能否独立判定;第三阶段运行固定模型并生成匿名回答;第四阶段完成双人盲评、分歧裁决和错误归因;第五阶段在隐藏集和外部集上复测,最后才形成可交付的版本包。每一阶段都应有暂停条件,例如题面无法判定、依据失效、评分人一致性不足、模型运行条件不一致或高风险项规则未冻结。
交付物不应只有一个“模型得分表”。至少应包含题目和考点的版本号、输入输出字段说明、依据清单、评分量规、正反例、模型运行配置、原始回答索引、评分记录、裁决理由、错误分类、抽检结果和变更日志。若把难题集作为后训练或安全对齐的输入,还应另存一份不含隐藏测试答案的训练可见版,避免训练数据与评测数据交叉污染。任何新增题、删除题、修改考点权重或更换模型版本,都应产生差分记录。
对提供医疗 AI 数据基础设施和流程服务的团队,适配点主要在题目结构化、版本管理、标注与复核组织、质量记录和标准化交付。已核验的能力范围可以支持这些流程环节,但不能据此宣称拥有特定专科现货题库、独立医学裁决权、固定规模库存或模型临床效果。医学结论应由项目约定的合格专家负责,数据服务团队负责把规则、记录和验收证据组织成可回溯的交付物;实际授权、人员配置、周期和阈值仍需在书面规格中确认。
最后,评测结果必须保持正确的语义边界。“三个模型都低于门槛”意味着这批题在给定版本、给定运行条件和给定评分规则下具有共同挑战性;它不等于模型不能用于医疗,也不等于题库已经证明临床风险,更不等于模型在真实患者流程中会产生某种固定后果。只有把临床任务、输入输出、原子考点、医生裁决、版本锁定、隐藏外部验证和业务交付逐项连起来,医生出题才会从一次性“考倒模型”,转化为能重复运行、解释失分并支持研发迭代的医学安全评测资产。
参考来源
- Toward expert-level medical question answering with large language models
- Holistic evaluation of large language models for medical tasks with MedHELM
- MedBench 中文医疗大模型评测平台
- HealthBench:用于评估医疗人工智能系统的基准测试
- A novel evaluation benchmark for medical LLMs illuminating safety and effectiveness in clinical domains
- WHO releases AI ethics and governance guidance for large multi-modal models
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile

