跳至正文
朗慧科技

MEDICAL DATA RESEARCH

医疗大模型高难度题目如何变成可验收的医学评测数据

面向医疗AI研发与数据采购,拆解高难真实医疗题目的任务定义、输入模态、参考答案、原子考点、盲法评分、安全门、泄漏控制和外部验证,说明如何形成可复核的版本化评测交付。

医学模型训练与评测AI辅助整理 · 研发交流

当一个医疗大模型面对复杂病情、相互矛盾的检查结果或证据不足的追问时,怎样判断它是真的理解了临床问题,而不是把看似专业的句子拼接得更流畅?这是医学评测数据建设最难、也最容易被“考试分数”掩盖的问题。单项选择题可以检验知识召回,却不能充分检验模型能否识别任务边界、组织鉴别诊断、指出关键缺失信息、引用适用依据,并在不能安全下结论时及时收敛。对医疗AI研发团队而言,高难度题目的价值不在于把题干写得更长,而在于把临床任务、证据条件、回答责任和验收规则同时定义清楚。

这类数据建设应当被看作一项医学评测工程,而不是普通问答采集。它需要把具体临床工作中可匿名化的复杂问题抽象为评测单元,配套可复核的参考答案和逐项评分量规,同时把时效、地域、偏差、拒答与外部验证纳入交付。这样形成的数据,既可用于模型能力比较,也能为后训练和安全改进提供可定位的失败样本;但它本身不等于临床试验,不代表模型已经具备独立诊疗能力。

从“难题”到可定义的评测单元

第一步不是让专家自由发挥,而是先规定每道题要考察什么临床任务。一个合格的评测单元至少要写明任务类型、输入模态、解剖部位或疾病谱、输入与输出的颗粒度、允许使用的证据范围、时间点和回答对象。任务可以是基于结构化病史与检查结果建立鉴别诊断框架,也可以是比较一组治疗路径的适用条件、解释某项检查的限制,或在资料不完整时提出下一步需要核实的关键信息。若问题要求模型综合影像、检验、病理、病历文本或指南,就要在元数据中分别记录这些模态及其缺失状态,不能用一句“综合判断”掩盖输入边界。

题目难度应来自真实的专业约束,而不是来自罕见名词堆砌。设计者可以从临床工作中抽取需要多步推理的结构:先确认用户究竟在问诊断、风险分层、证据解释还是研究设计;再判断哪些信息足以支持结论;随后区分确定事实、合理推断和仍需验证的假设;最后给出与场景相称的输出。对于开放式问题,题面还应说明读者是临床医生、研究者还是普通健康咨询者,因为同一事实在不同受众下需要不同的解释深度和安全边界。

“真实”也不能等同于复制一份病历。可公开的数据单元应去除患者、机构、供应方、合同和内部项目线索,并把病例细节压缩为能支撑任务判断的最小必要信息。涉及指南、药品、筛查策略或监管要求的题目,应在题面锁定适用地区和资料截止日;若题目依赖会更新的指南,必须把版本号和检索口径作为元数据,而不是要求评测人员凭记忆判断。对真实工作流的抽象,目标是保留专业决策结构,不是暴露任何可回溯的原始案例。

研究者还要预先定义“正确答案”的粒度。对有唯一计算结果的任务,可以使用精确匹配或容差规则;对鉴别诊断、风险沟通和研究方案等开放任务,则应把答案拆成原子要点,包括必须识别的高风险情形、必要的证据链、不能越过的结论边界、允许存在的等价表达和应当明确的未知项。这样,参考答案不是一段漂亮范文,而是一张能逐项核对的医学责任清单。

从临床问题到医学评测交付的技术链路示意查看完整技术图(可放大)

图1|技术示意:展示医疗大模型评测数据从任务定义、题目结构化、专家参考答案到版本化交付的关系,不表示真实患者、已完成实验或临床诊断。

题目池要覆盖任务,而不是只扩大题量

一个题库如果全部由知识问答组成,模型可能通过熟悉的术语和答题格式取得高分,却没有展示临床场景中的信息整合能力。HealthBench这一公开预印本把真实健康对话与情境化量规结合,按准确性、遵循指令和沟通等行为维度检查开放回答。1 这说明题目池需要同时覆盖知识、推理、沟通和安全,而不应把“答对一个结论”当作医疗能力的全部。

在设计题目矩阵时,可先按临床任务划分主轴,再按疾病阶段、模态组合、信息完整度和受众类型分层。基础层可以检验术语、指南事实或数值计算;应用层要求模型从病史、影像与检验中提取冲突信息;挑战层则加入时间变化、共病、药物相互作用、证据等级不一致或用户目标含糊等条件。每个单元都要记录它属于哪一层、依赖哪些先验知识、是否允许外部检索,以及输出应达到的最小充分程度。难度标签必须能被另一位专家复现,不能只写“难”“很难”。

多轮任务尤其需要区分上下文理解和医学结论。模型可能在第一轮正确识别问题,却在追问中忘记此前的禁忌条件;也可能在新信息出现后没有修正原先假设。题目因此应保存轮次、信息出现顺序、每轮预期行为和触发安全门的条件。HealthBench把5000段多轮健康对话与医生为每段对话定制的量规结合起来,并将标准拆为大量具体判据,覆盖准确性、遵循指令和沟通等行为轴;其研究思路提示,复杂医疗回答应按场景逐项评分,而不是用一个泛化总分替代全部差异。1

与此同时,题库不能只放“模型应该答什么”,还要设计“模型应该如何不答”。证据不够时,说明缺少什么信息并请求澄清,可能比武断给出诊断或用药建议更符合安全要求。需要拒答或降级处理的场景应在题面和量规中明示,例如输入不足以支持个体化结论、所给依据已经过期、用户要求超出评测任务边界,或模型必须提示由合资格临床人员作最终判断。拒答不是简单扣分项;在高风险场景,拒绝编造可以是正向表现,但前提是理由具体、缺口清楚并给出可行的下一步信息需求。

参考答案要体现证据和不确定性

专家参考答案的作用不是替模型写一篇教科书,而是为评分提供可追溯的锚点。它至少应区分四类内容:输入中已经给出的事实;依据指南、系统综述或原始研究可以支持的判断;在当前资料下合理但仍需验证的推断;以及不能从现有输入推出的结论。对于开放式题目,答案还要给出关键反例或鉴别方向,说明哪些新增信息会改变判断。这样既能避免把某一条专家偏好当成唯一标准,也能让后续错误分析定位到任务识别、事实、推理还是安全边界。

证据标注应达到与任务相称的粒度。涉及临床建议时,记录指南或共识的名称、版本、适用地区和关键条款位置;涉及研究结论时,记录原始研究的任务、样本、比较基线和外推限制;涉及时效性事实时,写明截止日期。评测数据不应把“根据专业判断”当作完整依据,也不应把论文中的实验性能改写成临床效果。若来源是预印本,必须显著标明未经过同行评审;若研究只在单中心、特定设备或特定人群中完成,就不能据此给出跨中心的普遍结论。

如果任务要求比较两个固定模型,评测单元还要保存模型版本、提示模板、运行参数和匿名后的左右顺序。需求识别、真实性、深度与专业性、丰富度、其他质量和可用率可以分别判定;总胜负不能替代维度差异。深度与丰富度的差异要写出具体原因,逐句备注应回指题目要求、证据或量规条款。只有关键要求漏答、严重事实错误或安全门缺失等需要大幅返工的情况,才应判为不可用,而不是把表达风格问题混同为医学失败。

答案格式也会影响模型分数。可以要求模型先给出结论级摘要,再列出依据、不确定性、待核实信息和安全提醒,但不能用格式完整替代医学内容。MedHELM的框架把真实任务分为临床决策支持、临床记录生成、患者沟通与教育、医学研究辅助以及行政工作流等类别,并为每个基准单元定义上下文、提示、参考输出和指标。2 对中文医疗评测而言,这种“输入—任务—参考输出—指标”四元结构值得保留,尤其适合把开放答案拆成结构化证据字段和自由文本解释两部分。

评分量规要能区分“错在哪里”

针对高难度医疗题目,建议将总体可用性拆为六个互补维度。第一是需求识别:是否正确理解了用户目标、角色、时间范围和输出格式,是否遗漏了题干中的关键限制。第二是真实准确:医学事实、数值、指南版本和引用是否正确,是否把研究效果误称为临床效果。第三是深度与专业性:是否建立了合理的分析框架,解释了关键机制、证据强弱和适用条件。第四是丰富度:是否覆盖题目要求的主要维度,既不遗漏关键分支,也不靠无关背景堆字。第五是安全与边界:是否识别高风险情形、避免越权诊断和处方、对不确定性作出适当处理。第六是其他质量:包括语言清晰度、计算错误、冗余、格式违约和不必要的地域混用。可用率应作为综合门槛,而不是与前五项重复计分。

每个维度下还要有原子化判据。比如“真实准确”不能只写“没有错误”,而要分别检查关键事实、时效资料、引用对应关系和结论是否超过证据支持范围;“安全”不能只写“注意风险”,而要明确哪些禁忌、急症信号或缺失信息必须出现。每项判据应有通过、部分通过、退回或不适用的定义,并说明严重错误是否直接触发不通过。对生命安全相关事项,可以采用安全门:一旦漏掉不可接受的高风险点,即使语言流畅、其他分数较高,也不得由总分抵消。

评分应同时保留总体判断和问题定位。源任务强调对两个模型的回答进行并列比较,这种设置适合固定同一题目、同一资料、同一截止日和同一输出要求,再让评审分别记录需求识别、真实性、深度、丰富度与可用率的差异。模型版本、提示词、温度或推理设置、是否联网、检索结果和响应时间都应冻结并归档,否则分差可能来自实验条件变化,而不是模型能力变化。评审者看不到模型名称和顺序,能够降低品牌、长度和表达风格对判断的影响。

CSEDB研究采用以临床风险驱动的双轨方法,把安全与有效性拆开,并由专家制定30项标准,再通过多轮共识和分歧处理确定权重。3 这一做法适合借鉴,但权重不能机械搬用到所有题库。对于某个专科或某类任务,必须先说明风险与价值如何定义,再决定哪些项目二元判定、哪些项目分级评分。一个适用于急诊风险识别的安全门,不应直接当作科研文献摘要任务的唯一标准。

盲法评分、争议裁决与外部验证示意查看完整技术图(可放大)

图2|技术示意:展示医疗评测中题目分层、盲法响应、量规评分、争议裁决与外部验证的关系,不表示真实样本、实验曲线或临床结论。

专家标注不是“找一位医生看一眼”

医学评测数据的标注主体要按任务匹配,而不是笼统标注为“专家团队”。题目设计者应能说明所需专科、临床经验、研究或指南阅读能力;评审者应能核验与当前任务相关的专业资格、培训状态、利益关系和地域适用范围。需要多专科判断的题目,可以由一名主责专家建立答案骨架,再由不同背景的复核者独立检查遗漏和越界点。涉及中国与其他法域指南、不同医疗体系或不同药品可及性的内容,应分册记录,不能把一个地区的高分外推到另一个地区。

标注流程宜采用“独立初评—盲法复核—指定裁决”的分层结构。初评者先按量规给出分数和证据位置;复核者只看题目、回答和规则,不看初评分;出现实质分歧时,由具有相应资质的裁决人查看双方理由,决定保留、修改还是把该判据标成条件性适用。每次裁决都应记录争议点、采用的证据、规则版本和是否需要回写题面。不能用更流畅的文字覆盖更准确的医学依据,也不能用多数票掩盖题目本身的歧义。

一致性统计要服务于修订,而不是成为装饰数字。可以在试标阶段对部分题目进行重复评分,分别报告逐项一致率、加权一致性或组内相关性,并查看哪些判据最容易产生分歧。若专家对“完整回答”的理解不一致,应优先重写量规和示例,再扩大规模。对于开放式答案,评审者之间的差异可能来自真实的临床合理多解,因此应允许等价答案和条件性答案被接受;但高风险事实、禁忌和关键证据位置仍需有明确最低要求。量规本身也应视为待验证的测量工具,保留试标版本、正反例和分歧原因,不能把一次专家共识当成永久金标准。

自动评分可以用于初筛、回归测试和大批量复核,但不能未经校准就取代医学专家。应从每个专科、风险等级和题型中抽取人工金标准,测量自动评分与专家判断的一致性,检查它是否偏爱更长、更有术语或更接近参考答案表面措辞的回答。若自动评分无法识别一处危险建议,相关判据必须回到人工复核;如果模型评分器与专家存在系统性偏差,也不能把批量结果当成临床质量证据。

质量控制要防住泄漏、偏差和时效错配

题库最常见的污染来自同源样本泄漏。相同病例的不同表述、同一指南的改写题、含答案解释的公开页面,都可能同时出现在训练、开发和测试集合中。数据划分应以患者级、病例级、来源级或主题级为单位,而不是随机切分句子;对于纵向随访,还要确保同一个临床事件不会跨集合出现。公开基准的题干、参考答案和评分规则应有访问控制与版本记录,避免评测集本身成为模型的检索答案。

偏差审查至少包括人群、地域、语言、设备和专科分布。若题目主要来自高资源医院或某一英语医疗体系,模型在该集合上的高分不能说明对基层、少数语言、不同设备或其他指南体系同样可靠。可以为关键任务建立分层报告,展示不同人群和模态下的需求识别、真实性、安全门通过率及拒答质量;小样本分层结果要给出不确定性,不用单一总分掩盖空白。对于涉及性别、年龄、妊娠、基础病或社会处境的题目,专家应检查模型是否把群体差异错误地当作个体结论。

外部验证要在题目冻结后另建评测集,最好来自不同来源、时间窗口、专科组合或机构流程。验证时要区分内部开发结果、独立外部结果和人工复核结果,记录模型是否接触过类似题目、是否允许检索、使用何种版本的指南。题库验收不能只看某次榜单排名,更要检查任务覆盖、样本构成、评分者、参考标准和失败案例是否可复算;无法取得独立来源时,应把它明确写成限制,而不是把内部成绩外推为临床有效性。

交付要像研究数据,而不是一张分数表

面向研发或采购的可验收交付,至少应包含任务字典、脱敏后的题目与上下文、参考答案及证据、逐条评分量规、专家资质与角色记录、标注和裁决日志、训练开发测试划分、版本冻结日期、已知限制和问题清单。对开放回答,还应保留模型原始输出、逐判据得分、退回理由和修改前后差异。只交一个“平均准确率”无法支持错误分析,也无法证明数据是否适合后续训练。

试标阶段可以先选取不同专科、模态、难度和风险等级的少量样本,走通题目审核、专家独立评分、分歧裁决、数据导出和回放验证。验收标准应提前区分硬性拒收项与允许返工项:例如关键事实无来源、题目存在两种互斥解释、患者隐私未清除、答案混入不适用地域指南、模型输出漏掉安全门,通常属于拒收或返工;措辞风格、非关键格式或同义表达则可以按规则修订。所有阈值都要与任务和样本量绑定,不应宣称存在公司统一的医学准确率或固定合格线。

从业务逻辑看,这种数据的价值有三层。第一层是测量:让研发团队知道模型在什么任务、什么风险点和什么人群上失分。第二层是改进:把专家指出的缺失证据、错误推理和不当拒答转化为后训练或检索增强的样本。第三层是治理:用版本、来源、授权和裁决记录支持上线前复核和上线后的回归测试。它可以帮助企业选择合适的数据服务与评测流程,但不能被包装为临床诊断能力、监管批准、患者获益或真实世界疗效。

在已核验的企业能力范围内,LangData可被表述为覆盖采集、处理、标注、质检和数据交付的流程平台,医疗业务页面提供按部位、模态和任务组织的数据目录与样例评估入口。公开能力边界不等于某个专科题库已经现货存在,也不证明固定规模、专家数量、准确率或临床结果。实际项目仍应以脱敏样例、小规模试标、书面规则、版本化质量记录和双方确认的验收条款为准。这样的表达既能体现专业数据服务的研发价值,也能避免把方法建议误写成已完成的医学成果。

结语:把“会答题”改写为“可审计地完成任务”

医疗大模型评测的难点,不是再增加一批看起来更难的病例题,而是把每个题目背后的临床责任拆开:模型是否听懂了问题,是否使用了适用且及时的依据,是否覆盖了关键风险,是否能在证据不足时停下来,是否能把答案写到适合的受众和工作流中。题目、参考答案、评分量规、专家分歧和外部验证必须形成一条可追踪链路,才能把模型的一次回答转化为可复盘的工程证据。

对医疗AI研发者和数据采购者而言,真正值得验收的不是一个漂亮的总分,而是题目是否来自可解释的任务矩阵,标签是否能由不同专家复核,错误是否能定位到原子判据,结果是否能在未见过的来源和人群上重新检查。世界卫生组织关于健康领域人工智能的治理建议强调,伦理、人权、问责和对受影响人群的保护应贯穿设计、部署与使用。4 医学评测数据也应遵循同一底线:先把边界和证据写清楚,再谈规模、效率和模型进步;先保证可审计和可纠错,再讨论能否进入更高风险的临床流程。

参考来源

  1. Evaluating Large Language Models Towards Improved Human Health(预印本,未同行评审)
  2. Holistic Evaluation of Large Language Models for Medical Applications
  3. A novel evaluation benchmark for medical LLMs illuminating safety and effectiveness in clinical domains
  4. Ethics and governance of artificial intelligence for health
  5. Good Machine Learning Practice for Medical Device Development: Guiding Principles