跳至正文
朗慧科技

MEDICAL DATA RESEARCH

医疗大模型Benchmark建设:把安全红线、图文可见性和可判定性写进验收

面向医疗AI研发与数据采购,拆解文本多轮对话和VLM图文评测的任务、标签、专家复核、证据支持、安全红线、外部验证与版本化验收方法,明确研究结果不等同于临床效果或监管批准。

医学模型训练与评测AI辅助整理 · 研发交流

医疗大模型评测最难的,不是再凑一批题,而是回答一个更具体的问题:当同一套数据同时包含多轮健康问答、用药咨询、急症识别、报告文字和皮肤或药品图片时,怎样证明模型给出的答案既与输入证据相符,又没有漏掉必须升级处理的风险?如果把这些样本只压成一个“总体准确率”,一个看似流畅的错误回答可能与普通知识题被同等计分,真正需要阻断的失误反而被平均值掩盖。

因此,医疗Benchmark应被当作一套可复核的测量系统,而不是数据包。它需要先定义临床任务,再决定输入模态、标签层级、专家判定和版本化验收。本文围绕文本大模型与视觉语言模型的联合评测需求,讨论怎样把安全门、图文证据链和可判定性落实到数据设计中;文中不提供个体诊断、治疗或用药建议,公开研究中的模型分数也不等同于临床效果。

一、先拆任务:同一套数据不能只有一个总分

文本大模型的输入可以是一轮问题,也可以是包含追问、补充资料和上下文变化的多轮对话。对话的临床任务应在数据卡中明确:是症状分流、检查结果解释、用药安全核对、慢病生活方式沟通,还是高风险情境识别。输出也不能只保留一段参考答案,而应拆成可验收的组成部分,例如事实是否正确、是否提出了必要的澄清问题、是否给出适当的就医或升级建议、是否识别特殊人群风险、是否在证据不足时明确不确定性。这样,研发团队才知道失败来自知识缺口、风险分层错误,还是语言表达越过了证据边界。 视觉语言模型的输入又多了一层证据约束。皮肤图片、报告单、体检资料、药品包装、说明书或处方图片的验收重点不是“描述得像不像医学文本”,而是答案中的每个关键主张能否在图中、图中文字或配对文本中被指出。对低清、遮挡、裁切、方向不明或缺失附件的样本,应允许输出“无法判断”或“需要补充资料”,而不是强行补全。图像任务还要单独记录原始图、压缩预览、OCR文本和衍生裁剪之间的关系,防止评测时使用了训练者未曾获得的隐含信息。

这两类任务可以在同一项目中协同,却不能用同一标签体系替代。文本对话的颗粒度通常是会话、轮次、回答主张和安全动作;图文样本还需要图像级可读性、区域或文字级对应、跨模态配对和不可见证据标签。对于同一人的多次资料,如果业务需要评估纵向追问,应按个体或就诊链划分,而不是把每条记录随机打散。纵向关联本身也是输入的一部分,不能在训练和测试之间泄漏。

文本与图文评测的双轨数据链路示意查看完整技术图(可放大)

图1 文本对话与图文样本从输入治理、证据约束到安全验收的技术示意;不表示真实患者、真实实验结果或临床诊断。

二、把临床场景写成可判定的标签和评分单元

一个可用的Benchmark记录,至少应有任务标识、模态、场景或专科、风险等级、语言与人群范围、输入完整性、来源与授权状态、规范版本和评测用途。风险等级不是模型回答后的主观印象,而应由规则和专家在出题或复核阶段预先定义。低风险的健康教育、需要核对的用药问题、疑似急症和涉及儿童、孕产或老年人的特殊情境,应在数据结构上可区分,才能计算分层错误,而不是被普通样本稀释。

输出标签建议采用多标签结构。医学事实错误、关键禁忌遗漏、急症升级遗漏、虚构检查结果、把推测写成确定结论,可能同时发生,不能强迫标注员只选一个类别。对回答质量,还可以分别记录内容正确性、证据充分性、风险沟通、可理解性和是否遵循任务指令。若某项错误会造成明显伤害,它应进入独立的安全门;安全门不应因大量低风险题答对而被总体平均分“冲淡”。

图文任务应把“看得见”“能读出”“能支持结论”分开。图片清晰不代表文字可辨,文字可辨也不代表报告结论与图像附件属于同一次检查。标注时可以保留观察到的对象、区域或文字片段与回答主张的对应关系;无法在输入中找到依据的内容,标为不可见、无证据或需人工复核。对于药品包装、说明书或处方图像,包装或文书识别、文字转写和医学解释是三个不同的验收单元,不能只用一个“识别正确”字段代替。

开放式回答还需要可判定率。一个样本只有在问题、输入资料、参考要点和允许的合理表达范围足够清晰时,才适合用于模型对比。存在多个都合理的临床路径时,评分单应允许等价答案,并写出不可接受的危险路径。对模棱两可、缺乏必要上下文或无法获得专家共识的样本,应退回修改或单独放入探索集,而不是把评分争议误记成模型错误。

三、专家标注不是“给答案”,而是建立理由可追溯的规则

医学标注应从任务规范开始,而不是从模型生成的候选答案开始。每一类题先写出输入假设、必须覆盖的关键点、允许的安全表述、需要追问的缺失信息、必须转介或升级的触发条件,以及哪些内容不能由输入推出。涉及指南、药品信息或风险边界的条目,应保存所依据的版本、发布日期或章节锚点;这既便于复核,也能在医学知识更新后判断旧题是否仍然有效。

对高风险样本,宜采用至少两名独立医学审核者先盲评,再由具有相应专科经验的仲裁者处理分歧。审核者不应只判断“像不像参考答案”,还要逐项核对关键事实、禁忌、特殊人群提示、急症信号和不确定性表达。HealthBench采用面向具体对话的医生评分规则,把一个回答拆成多个有权重的标准;这说明开放式评测的核心不是寻找唯一措辞,而是让每个可计分的要求都能被另一个审核者复述和复核。1

MedSafetyBench则把医疗安全单独作为研究对象,并以医学伦理原则构建安全评测集。其研究指出,公开可用的医疗大模型并不自动满足安全标准,安全微调还需要与医学能力分开观察。2 对项目设计而言,这意味着“知识正确”和“不会给出危险建议”应有两张相关但独立的成绩单;后者还应关注拒答是否适当,而不是把所有拒答都当作安全。

专家之间出现分歧并不意味着数据没有价值,关键是分歧要被记录。可以保存首轮标签、分歧原因、仲裁结论、是否修改规范以及修改影响的样本范围。对于有条件的合理答案,评分表应明确哪些维度允许等价,哪些红线不可抵消。长期看,这些记录比一次性的总体分数更能帮助研发团队定位数据定义、模型提示、检索证据或安全策略的问题。

四、算法路线要围绕“证据—风险—输出”三条线组织

评测基线不宜只跑一个模型然后报告总分。首先冻结推理条件,包括系统指令、上下文长度、温度或采样策略、是否允许检索、可见的历史轮次、图像分辨率和输出格式。其次分开计算文本能力、图像感知、跨模态对齐和安全行为。最后保留逐题结果,使研发人员可以检查某个错误是输入缺失、OCR失败、图像区域误读、医学知识错误,还是在证据不足时没有收缩结论。

对文本模型,可用结构化评分器先检查字段、风险标签和关键事实,再由医学审核者审阅开放式解释。自动评分可以提高批量筛查效率,但不能把同一模型或未经校准的语言裁判当作唯一金标准。HealthBench公开说明了模型裁判与医生判定之间的对照,并同时报告最差重复表现,提示可靠性不能只看平均表现。1 对高风险门,应进行重复采样或对提示扰动测试,观察同一输入是否出现一次安全、一次危险的波动。

对视觉语言模型,算法路线应增加图文 grounding 检查:回答中的关键陈述要能连回图像区域、可读文字或配对报告。GMAI-MMBench将医学图像、文本和生理信号等多种模态组织到多个任务与感知粒度,并指出单一领域、单一粒度的基准会限制临床相关性。3 这对采购或建设数据集的启示是,不能把不同模态简单拼接成一列“图文题”,而要让每种模态都有明确的输入缺陷、观察目标和输出验证方式。

安全评测则适合采用分层门控:先检查是否识别红线情境,再检查建议是否越过证据边界,最后才讨论表达质量和帮助程度。临床安全—有效性双轨研究把危重病识别、用药安全与指南遵循、诊疗路径优化分开建模,使用专家制定的标准并承认单一审核、单轮交互和缺少多模态信号等限制。4 即使研究指标看起来完整,也不能直接推断模型已经适用于临床;项目应把研究结果限定在对应样本、设备、语言和评测协议内。

五、质量控制要同时管来源、偏差和外部验证

数据入库的第一道质量控制是来源治理。脱敏不等于授权,授权也不等于允许训练或评测;项目应区分个人信息处理、图像或文本的使用许可、模型评测用途、保存期限和后续共享范围。含身份信息、未经同意的原始病例、无法证明来源的网络图片或带有未清除屏幕信息的样本,应在入库前隔离。公开稿和交付包都不需要患者姓名、联系方式、机构名单或原始病例细节来说明技术路线。

第二道控制是数据分布与切分。训练、调参、验证和测试应按个体、来源、场景或采集链切分,近重复文本、相同图片的压缩版本、同一报告的不同裁剪都要在切分前排查。若测试题来自公开训练集、历史评测集或供应方重复样本,模型分数将反映记忆或污染,而不是泛化。每个版本应保留去重方法、排除清单、随机种子或切分依据,保证之后能够复现。

第三道控制是偏差和外部验证。应按风险级别、专科或健康场景、语言、年龄段和输入完整性报告分层结果;若样本覆盖允许,还应检查不同设备、图像质量和表达习惯下的差异。外部集不能只是把内部题目重新改写,而应在来源、写法、图像采集或场景组合上真正独立。模型在研究集上答对,不能替代真实工作流中的前瞻性、临床效果或监管评价。

评测发布后还要防止“基准老化”。知识规范、药品说明、风险提示和用户表达会变化,模型也可能在预训练或微调中接触到公开题目。每次新增题目或更换规则,都应记录受影响的分层指标,保留一组不公开的回归样本,并检查新旧版本在红线项上的变化。若某一版本总体分数提高,却在高风险子集、拒答一致性或图文证据支持上下降,报告应明确标出,而不是用单一排名掩盖漂移。这样,Benchmark才既是一次验收工具,也是持续发现模型退化的监测接口。

WHO关于健康领域大模型的指南强调,生成式和大多模态系统在健康场景使用时需要把伦理、人权、透明度、问责和风险治理放进设计,而不是在部署后补写说明。5 NIST AI风险管理框架也将有效可靠、安全、可解释、隐私增强和问责透明作为可操作的治理目标,但它是自愿、跨行业、与具体用例无关的框架,不是医疗器械批准或临床验证的替代品。6 如果Benchmark只记录得分而不记录来源、限制条件和异常处理,它就不能支撑可追溯的风险判断。

六、验收应从“先看样例”开始,再进入分批放行

可执行的交付路径可以分为样例评估、试运行、分批审核和版本放行。样例阶段先验证字段字典、风险标签、图文配对、评分规则和退回原因是否能被第二位审核者独立复述;不要在规范尚未冻结时直接扩大规模。试运行阶段再观察自动校验器、专家复核和异常回流是否衔接。每批数据的合格数量,应以通过预先约定的技术和安全门为前提,而不是以接收文件数量代替有效样本量。

验收记录至少要能回答六个问题:样本是否完整,输入是否可读,标签是否齐全,来源和用途是否可追溯,问题是否能够客观判定,模型回答中的关键风险是否被正确标出。完整率、场景标签率、风险标签率、图片可读率、OCR可用性和重复率都可以成为工程指标,但阈值应随任务、模态和风险级别在项目规范中冻结,不能把某一项目的数字包装成行业通用保证。高风险样本应有独立的缺失红线和复核路径。

安全红线不适合用平均扣分解决。严重医学事实错误、危险用药禁忌、特殊人群的关键错误和急症风险漏标,应在验收中作为阻断项或强制返工项;具体判定要写清触发条件、证据依据、复判责任和修订版本。对于图文回答,还要把“图像不能支持该结论”列为明确退回原因。只有这样,模型改进后才能区分是题目修订、标注变更、提示变化还是模型能力变化造成的分数波动。

医疗Benchmark从样例评估到版本放行的质量闭环示意查看完整技术图(可放大)

图2 从来源与完整性检查、专家仲裁到独立验证和版本放行的技术示意;不表示某一项目已经完成验收或取得临床结论。

七、业务交付要把数据、平台能力和临床结论分开

Benchmark的业务价值在于让模型研发可以重复比较,让安全团队可以追溯风险,让数据采购可以按样例和版本核对交付。为此,每个放行版本应同时记录数据卡、标签字典、评分规则、切分说明、异常清单、变更记录和可运行的最小样例。模型版本、提示版本、检索知识版本和评测脚本也要一并固定,否则同一数据集在不同日期得出不同结论时,无法判断是模型变化还是评测条件变化。

在已核验的公开能力边界内,朗慧的定位是AI数据基础设施及流程服务商,LangData覆盖采集、处理、标注、质检和数据交付;医疗业务以按部位、模态和任务组织数据目录与项目规格为基础。这样的能力可以与Benchmark的结构化、标注、抽检和版本交付相适配,但不应被写成已经拥有某套临床现货、已经完成模型临床验证或天然拥有病例授权。授权主体、评测用途、脱敏责任、外部验证和监管路径仍应由项目文件和相应责任方书面确认。

FDA页面转述的IMDRF机器学习良好实践原则强调代表性数据、独立测试、临床相关性能和全生命周期治理等方向。7 对数据采购者而言,这意味着验收不是交付结束,而是将来复现、回归测试和问题修正的起点。对于需求不断变化的文本和图文任务,新增风险类别或模态时应升级规范版本,不能只在原数据后追加未说明的题目。

结语:把“答得像”改写成“证据充分、风险可控、结果可复核”

医疗大模型Benchmark的研发难点,最终落在三个可审计问题上:输入是否真的代表要评估的临床场景,标签是否把事实与安全责任拆开,验收是否能让另一位专家在不依赖口头解释的情况下复现结论。文本对话需要多轮上下文和风险动作,图文任务需要可见性、文字和区域证据,二者都需要患者级切分、来源治理和外部验证。

当这些关系被写入数据卡、专家评分单、自动检查器和版本记录,Benchmark才不只是“题库”,而是连接数据采购、模型训练、回归评测和安全治理的工程接口。公开研究能够提供设计启发,但每个项目的分数只能解释为该任务、该数据和该协议下的研究结果,不能直接写成诊断能力、疗效保证或监管批准。

参考来源

  1. HealthBench: Evaluating Large Language Models Towards Improved Human Health
  2. MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models
  3. GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI
  4. A novel evaluation benchmark for medical LLMs: illuminating safety and effectiveness through a clinical dual-track framework
  5. Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models
  6. Artificial Intelligence Risk Management Framework (AI RMF 1.0)
  7. Good Machine Learning Practice for Medical Device Development: Guiding Principles