跳至正文
朗慧科技

MEDICAL DATA RESEARCH

医疗大模型上线前的医生双模型专业度评测:从 0—5 分量规到可复核验收

医疗大模型上线前,如何在同一问题下盲化比较模型A与B?本文拆解医学正确性、逻辑性、全面性、安全性和专业度总评的0—5分量规,说明理由留痕、实用性字段边界、专家仲裁、版本冻结与外部验收。

医学模型训练与评测AI辅助整理 · 研发交流

同一道健康问题,模型甲和模型乙都能生成一段语气流畅的回答,研发团队真正需要知道的却不是“哪段更像医生”,而是哪一段在关键事实、分析路径、信息覆盖和潜在伤害上更可靠。若评测者只给一个印象分,或者在看完两个答案后凭记忆比较,结果很难解释,也无法告诉研发下一轮应该修正什么。面向上线前医学专业度检查的需求,合理的对象不是一张简单的星级表,而是一套以问题—回答对为单位、由临床专家执行、能回放和验收的评测数据。

这类任务通常输入自然语言健康问题,以及一个或两个模型在相同上下文下生成的最终回答。解剖部位和病种不应预先假定为某一个专科,而应通过题目分层覆盖常见健康咨询、慢病管理、用药安全、分诊和需要追问的边界场景。数据颗粒度是“单题—单回答—单维度评分”,不是患者病历,也不是把模型内部不可验证的思考过程当作标签。若问题附有影像、外部资料或链接,评测包还要记录每位医生实际能否访问到同一内容;否则,图像打不开、版本不同或上下文缺失会被误判为模型医学能力。

先把评测对象写清楚

源需求的核心是让医生评价模型当前的医学专业度,并在同一问题下分别查看模型 A 和模型 B 的回答。后续版本已经将“自由选择案例”改为可省略环节,把注意力收束到问题和最终回答;回答中的深度思考及后续服务意图召回结果不纳入阅读范围。这一限定非常关键:它把评测从“操作某个应用界面”转化为可以留档的文本评测,也避免把不可稳定复现的界面行为和模型安全判断混在一起。若项目另有图像题,应将图像获取、显示和可见性作为输入条件记录,而不是要求医生临时复制链接自行寻找。

每个样本至少需要一个不可变的题目编号、题目文本、题目版本、风险层级、专科或主题标签、模型版本、提示词和生成设置。双模型比较时,题目、上下文、工具权限、知识截点和输出截取规则应保持一致;模型身份可以在呈现层隐藏,A/B 顺序则应随机或平衡。这样做不是为了制造统计上的复杂性,而是为了排除品牌认知、答案先后、界面位置和回答长度造成的非医学差异。模型回答若经过截断、清洗或格式化,也要保存处理规则,避免一方被删掉免责声明或关键条件。

输出端不能只保留五个数字。对模型 A、模型 B,应分别记录医学正确性、医学逻辑性、医学全面性、医学安全性和专业度总评五个 0—5 分字段,并为每个分数保留文字理由。源需求还要求低分和高分都说明依据:0—3 分要指出具体错误、逻辑问题或缺失内容;4—5 分要说明为何达到高分。全面性维度尤其不能只写“信息不完整”,还应解释缺失为什么重要,例如缺少危险征象、适用条件、禁忌或必要追问,可能如何改变用户下一步行动。非必填的 comments 可以保留为补充意见,但不能代替结构化理由。源文件后续更新还出现“实用性评分标注”,但没有给出独立定义、锚点或验收口径,因此不能擅自把它并入这五个维度或创造阈值;若项目启用该字段,应另行冻结其规则并保留与总评的关系。当前双模型版本删除了证据引用评分,因此不应把旧版“参考资料专业性”未经确认地混回同一量规;若项目仍展示来源,可作为单独的可追溯字段或另行研究。

医疗大模型双模型专家评测闭环技术示意查看完整技术图(可放大)

图 1:技术示意。它展示同题输入、盲化呈现、逐维评分和独立验收的关系,不表示真实患者、真实实验结果或临床诊断。

五个维度要从印象分变成可执行量规

医学正确性回答的是“回答中的医学陈述是否成立”。评分者需要区分核心事实错误、适用条件错误、把相关性说成因果性、把不确定证据写成确定结论,以及只是表达不够优美。一个答案即使列出了许多正确术语,只要把药物剂量、禁忌或就医时机说错,正确性就不能用术语数量补回来。量规最好为 0—5 每一档写出锚点,并给出高风险错误示例;但这些示例应服务于项目场景,不能假装成为所有医学领域通用的诊疗标准。

医学逻辑性关注回答是否像一个合格的临床分析过程,而不是是否使用了“首先、其次、最后”。它包括是否先识别问题的紧急程度,是否围绕题目给出的信息进行推断,是否在信息不足时提出合理追问,是否把鉴别方向、下一步检查和建议行动按条件连接起来。逻辑性与正确性可以分开:答案可能结论碰巧正确,却没有说明关键前提;也可能分析路径合理,但由于题目缺失信息只能给出条件化结论。医生应在理由中记录是哪一种情况,避免用一个总印象覆盖不同失败模式。

医学全面性不是回答越长越高分。它要求覆盖与该问题相关的关键内容,并控制无关扩展。一个实用做法是让专家先写出该题的最小必要信息清单,再据此判断答案缺了什么。对用药问题,重要的可能是适应证、禁忌、相互作用、特殊人群和就医警示;对分诊问题,重要的可能是危险症状、时间窗口和需要立即求助的条件;对慢病问题,重要的可能是监测、复诊和异常变化的处理。理由必须说明缺项为何会影响安全或决策,而不只是说“还可以更详细”。Nature 发表的医学问答研究也把共识一致性、伤害可能性、推理、完整性、偏差、相关性和帮助性拆开评价,说明专业度不应被单一准确率替代。1

医学安全性要单独评估,因为正确性高并不代表风险低。医生需要考虑回答是否会诱导自行用药、延误急救、错误停药、忽视禁忌、暴露隐私,或以过度肯定的语气掩盖不确定性。安全量规可以同时记录伤害的可能性、严重性和触发条件;对同一回答,轻微措辞问题和可能导致严重后果的行动建议不应拥有相同的处理优先级。MedSafetyBench 的工作以医学伦理原则组织有害请求,并提醒研究者安全定义会随专科、病情和个人情境变化,因此安全评测既要有稳定底线,也要保留灰区和专家解释。2该研究为公开预印本及评审版本,文中的实验结果不能直接当作真实临床安全效果。

专业度总评可以作为医生对整段回答的整体判断,但不宜机械计算前四项的平均值。总评应帮助回答“如果把这段话交给真实用户阅读,整体是否达到项目所要求的专业水平”,同时保留与各维度不一致的原因。例如,回答大部分知识正确,却出现一处高严重度用药风险,整体判断可能需要受到安全红旗影响;反过来,回答内容保守且安全,但没有回答问题,也不能仅凭没有明显伤害就给出高总评。是否设置安全门槛、是否允许某些维度补偿,必须在试标后写入项目量规,而不是由标注员临场决定。

双模型比较怎样避免“看起来更好”

独立评分和成对比较各有用途。独立评分能保留每个回答在正确性、逻辑性、全面性和安全性上的绝对表现,适合回流训练与问题归因;成对比较能减少不同医生对“3 分还是 4 分”的尺度差异,帮助判断同题下哪个回答更可取。两者不应互相替代。Med‑PaLM 2 的研究同时使用了独立盲评和成对排名:评测者不知道答案来源,多个独立评分者对同一回答评分,另一个环节则直接比较两个回答在共识、理解、知识、推理、遗漏和潜在伤害等轴上的相对表现。3这说明“双模型并列”不仅是界面便利,也是一种需要预先规定呈现顺序、盲法和记录方式的研究设计。

实际执行时,可以让医生先独立完成模型 A,再在不显示 A 分数的情况下完成模型 B,最后再填写成对偏好和差异说明;也可以在不同批次平衡 A/B 的先后。若必须让两个回答并列显示,应避免让某一模型固定出现在左侧或上方。回答长度、格式和免责声明也可能影响阅读负担,最好在输出协议中统一最大长度、段落结构和可见元信息。任何“看完后觉得更像医生”的评价都应落回一个具体维度:是少犯事实错误,还是更能识别危险情况,抑或只是表达更流畅。否则,双模型比较会退化成品牌偏好调查。

HealthBench 提供了另一种可借鉴的思路:对每个具体对话建立由医生书写的量规,把应包含的事实和应避免的行为拆成带权标准,再据此给回答评分。4这与本需求中的 0—5 分并不冲突。项目可以保留医生熟悉的 0—5 分,同时在后台记录若干原子化判断,例如“是否提示紧急就医”“是否说明适用前提”“是否提出必要追问”“是否给出可能有害的行动”。原子项有助于解释总分,带权项可以突出安全关键点;但权重必须在试标和专家讨论后确定,不能直接照搬某个公开基准。

近年的方法学研究也支持把“安全”与“有效”拆成可核对的风险项,而不是用一个平均分掩盖高严重度错误。2025 年发表于 npj Digital Medicine 的 CSEDB 研究以临床风险驱动安全与有效性双轨,组织专家制定并校准具体评测标准;它的指标、权重和题目范围属于该研究设置,不能直接移植为本项目的统一门槛。5同年 JMIR AI 的 CLEVER 方法以医生进行随机、盲化的多维度评估,并报告一致性与洗脱期检查,说明呈现顺序、模型身份和重复测量本身就是评测设计的一部分;该研究的任务和样本也不等于所有上线场景的外部验证。6

专家标注需要校准,也需要留下分歧

医生不是自动生成一致标签的机器。不同专科、不同执业经验和不同风险容忍度,都会影响对“全面”和“实用”的判断。项目启动时应先用一小批覆盖常见、边界和高风险场景的样本做试标。专家共同讨论维度定义和锚点,但正式试评应保持独立;讨论后的量规修订要形成版本号,并明确哪些旧标注需要重做。培训材料要展示高分、低分、合理保留意见和无法判定的例子,尤其是“医学上尚无统一结论”的问题。

盲审不是把所有信息都藏起来,而是把与医学质量无关的线索藏起来。医生应知道题目所需的上下文、图像和资料权限,却不应知道答案来自哪个模型、模型的市场名称或上一位医生的分数。对同一题的多个回答,评分者不能看到其他人的理由。高风险题、分差较大的题和出现“危险建议”“错误拒答”“严重缺失”的题,应进入专家仲裁;仲裁不能抹掉原始分数,而要同时保存初评、分歧原因和最终采用的版本。

一致性指标可以辅助质量判断,但不能被当成医学真理。0—5 分是有序等级,适合结合加权一致性或多评测者统计;文字理由则需要抽样检查是否真正指向回答内容。若某维度一致性低,先回到定义、题目难度和专家构成排查,不能简单用多数票掩盖量规含糊。Med‑PaLM 2 的研究报告了多评测者一致性,并对独立评价和成对排名分别设计流程;这类做法的可借鉴之处是重复测量和盲法,而不是把其样本量或阈值当成当前项目的验收标准。3

数据结构决定结果能不能回流研发

一条可用的评测记录至少要能回答四个问题:评的是什么题,哪个版本的模型生成了什么回答,医生依据什么打了这个分,之后谁在什么时候改过它。建议把题目元数据、模型配置、原始回答、维度分数、维度理由、红旗类型、成对偏好、评测者角色、仲裁状态和量规版本分开存储。结构化字段便于统计,原文理由便于专家复核;两者缺一不可。若题目包含外部来源或图像,应保存来源授权状态、可见性检查和链接失效记录,而不是只保存一个无法回放的地址。

在数据划分上,应按问题或病例主题的来源单位进行隔离,不能把同一题的轻微改写分别放进校准集和测试集。相近问题、同一指南段落生成的题、同一对话的多轮切片,都可能造成泄漏。题目还要覆盖模型容易“看起来正确”的区域,例如信息不足时是否会追问,要求危险操作时是否会拒答,多个合理路径并存时是否能说明不确定性。HealthBench 的设计强调真实、多轮、多语言和不同用户角色,且另设经过多医生验证的共识子集与高难度子集;它的启示是,评测集应同时有常规能力、专家共识和困难边界,而不是只追求一个漂亮的平均分。4

医学安全题不宜全部由极端、明显恶意的请求组成。MedSafetyBench 采用伦理原则组织有害请求,并在评审讨论中承认灰区样本和专科差异仍需进一步验证。2对于实际健康咨询模型,更有价值的往往是“半明确”的风险:用户没有直接要求危险行为,但回答若漏掉关键条件,就可能让用户采取不安全行动。因此题库应包含模糊症状、特殊人群、药物相互作用、时间紧迫和拒答后如何提供安全替代信息等类型,并在量规中规定什么是必要的升级或转介。

外部验证与验收不能只看总平均

内部试标通过后,至少要用未参与量规制定的新题、新来源或新专科进行独立验证。外部验证不必宣称代表全部临床世界,但必须说明它改变了什么:题目来源是否不同,问题难度是否不同,语言和人群表述是否不同,评测医生是否不同,模型配置是否锁定。若验证集仍由同一批人、同一题库和同一提示词构成,得到的只能是内部复现,不是外推证据。评测报告应同时展示各维度分布、低分比例、严重安全红旗、理由完整度、评测者分歧和成对胜负,而非只给一个加权总分。

验收应写成“可检查的交付物”,而不是一句“专业度达到要求”。例如,逐题记录是否齐全、每个分数是否有对应理由、低分是否指出事实或缺失、高分是否提供依据、双模型是否都完成评分、争议样本是否有仲裁、题目和模型配置是否可回放,这些都可以作为过程验收。至于平均分、最低分或安全门槛,应由项目专家依据题型和风险在试标后书面确定。NIST 的生成式 AI 风险管理框架把可信性考虑纳入设计、开发、使用和评价全生命周期,强调组织需要持续开展测试、评估、验证和确认,而不是用一次离线成绩替代上线治理。7它是自愿采用的风险管理框架,不是医疗产品批准、临床性能认证或本项目的医学法务审定。

偏差检查也应成为验收的一部分。可以按专科、问题难度、是否包含图像、语言、年龄与性别表述、风险等级和回答长度分层比较。若某一层平均分正常,但安全红旗明显更高,整体均值会掩盖真正的风险。还应检查评测者疲劳和尺度漂移:在批次之间插入少量锚定题,观察同一评分标准是否逐渐变宽或变严;量规修订后,重新标记受影响样本。对于相互冲突的分数和理由,要区分题目本身不充分、医学观点合理分歧和标注执行错误,不能把所有 disagreement 都当成数据噪声。

从评分记录到可解释验收技术示意查看完整技术图(可放大)

图 2:技术示意。它展示样本治理、专家标注、偏差检查和外部验收的核对关系,不表示真实患者、真实实验结果或临床诊断。

从评测数据到研发与交付

高质量评测的业务价值在于把“模型不够好”变成可以回流的错误清单。正确性错误可以进入知识核验和提示词修订,逻辑性错误可以转化为追问、分诊和条件化表达的训练样本,全面性缺失可以沉淀为题型级必答项,安全红旗则应进入上线前阻断或人工升级规则。双模型差异还可以帮助研发定位:如果模型 B 的总评更高,但在某一高风险专科更容易给出危险建议,就不能用总体胜负覆盖这个局部问题。评测结果支持的是问题优先级,不是对患者个体的诊断、治疗或疗效承诺。

若由数据服务团队参与实施,合理的分工应是:项目方定义使用边界和模型配置,临床专家确定题目与量规,质量人员管理盲审、复核、版本和交付,研发团队消费结构化错误信号并回归测试。朗慧目前公开且已核验的定位是 AI 数据基础设施及流程服务商,LangData 覆盖采集、处理、标注、质检和数据交付;医疗栏目提供按部位、模态和任务组织的目录与沟通入口。这些能力可以作为流程适配的基础,但不等于当前项目已有固定专家规模、现货题库、统一准确率或临床效果。具体题目来源、专家资质、授权范围、部署方式和验收阈值仍需逐项书面确认。

因此,医疗大模型上线前的医生评测,最值得采购和研发共同确认的不是“能不能打分”,而是评分是否围绕真实临床风险,是否能在双模型之间公平比较,是否保留每个高低分的理由,是否能发现信息缺失的重要性,以及是否可以在新题和新专科上复核。把这些条件落实为版本化题目、可执行量规、盲法标注、争议仲裁、偏差检查和独立验收,评测才会从一次性的上线材料变成可持续的质量回路。公开研究已经展示了专家量规、独立盲评、安全基准和生命周期治理的不同组成部分;项目需要做的是按自身任务边界组合它们,并对每个结论保持与证据相称的谨慎。

参考来源

  1. Large language models encode clinical knowledge
  2. MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models
  3. Toward expert-level medical question answering with large language models
  4. 隆重推出HealthBench
  5. A novel evaluation benchmark for medical LLMs illuminating safety and effectiveness in clinical domains
  6. Clinical Large Language Model Evaluation by Expert Review (CLEVER): Framework Development and Validation
  7. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile