MEDICAL DATA RESEARCH
医学大模型上线前,逐轮专业度评测如何变成可复核证据
医学大模型上线前的专业度评测,如何按逐轮回答组织四维0—5分、专业度总评、空答处理、医生盲评与分歧裁决,并把理由、版本和外部验证纳入可复核验收。
医学大模型准备上线前,最难回答的问题通常不是“平均得分是多少”,而是:某一轮回答到底错在哪里,漏掉了什么,为什么会带来医学风险,以及另一位医生能否在不看模型身份的情况下作出相近判断。对开放式临床问答而言,一张只有总分的排行榜无法回答这些问题。真正可用的评测,需要把模型回答拆成可定位的轮次,把医生判断拆成明确维度,再把分数、理由、争议和版本留在同一条可追溯记录中。
这类需求的核心不是重新训练一个诊疗模型,而是为模型上线前的专业度检查建立一套医学人工评测数据。源规范的直接对象是对话界面中每一轮“医生”回答的文本,最小记录单位是一轮回答而不是整段会话。每轮需要有顺序编号;按源规范,若该轮回答为空,应将四个分维度和专业度总评全部记为0,并在原因栏填写“拒答”。若对话继续生成下一轮,评测人员再添加一组记录。为便于回放,可以在项目数据字典中另存空答、明确拒答、部分回答等状态,但这些扩展字段不能覆盖源规范的空答计分规则。这样的粒度看似细小,却决定了问题能否回溯到具体生成行为:整段对话的平均分可能掩盖一轮危险建议,也可能把后续补充信息错误地抵消掉前一轮的遗漏。
本文从一个匿名化的医学模型专业度评测需求出发,讨论如何把四个分维度、一个整体总评和解释性批注组织成可实施的评测闭环。文中所说的“评分框架”是项目设计的工作方法,不是统一的医学标准,也不构成对任何模型临床安全性、监管状态或诊疗效果的判断。
先定义评测对象:不是患者诊断,而是模型回答质量
源需求没有指定某一个解剖部位、单一疾病或某种影像模态,它面向的是医学问答模型的文本输出。因此,直接评测内容是用户问题所处的对话上下文与当前回答。若要把结果用于可复核验收,建议在源字段之外补记模型版本、提示词或系统配置,以及必要的题目标签;若只把当前回答截出来给评分人,医生可能无法判断模型是在承接前文、纠正前文,还是在没有足够信息的情况下自行补充。对多轮任务而言,上下文不是附属字段,而是决定正确性和安全性的必要输入。
输出则不应只有一个五级数字。更稳妥的结构是:每轮一个序号;医学正确性、医学逻辑性、医学全面性、医学安全性四个分数;每个维度对应的理由;一个专业度总评;以及必要的拒答或空答标记。四维分数回答“模型在不同方面表现如何”,总评回答“从整体医学专业角度,这一轮回答是否达到当前任务要求”。二者不能互相替代。一个回答可能事实大体正确,但遗漏关键风险提示;也可能信息不完整,却在证据不足时选择了恰当的谨慎拒答。若只保留一个总分,后续训练、提示词改写和安全复核都很难定位方向。
医学正确性关注回答中的事实、概念、适应条件和结论是否成立。评审不能因为用词专业、句子通顺就默认正确,也不能把引用了医学术语等同于证据充分。医学逻辑性关注回答是否按照合理的临床分析顺序展开,是否把输入事实、鉴别考虑、风险判断和下一步信息需求连接起来;它不要求模型输出不可核验的“内部思维过程”,而是检查可见答案中的推理链是否自洽。医学全面性关注是否遗漏对当前问题重要的内容,尤其是会改变风险判断或下一步处理的关键条件。医学安全性则要单独看待:错误用药、危险的确定性表述、忽略急症信号、把辅助信息说成诊断结论,都可能在其他维度看似尚可时构成高风险。
HealthBench 的原始工作说明了为什么开放式医学评测需要题目级量规。该基准包含多轮健康对话,并由医生为具体对话编写标准,使“应该包含什么”和“应该避免什么”都能成为可核对条件,而不是只靠一个通用答案比较1。MedHELM 也从临床任务分类出发,强调考试式短题不能代表真实医疗工作中的任务差异;其论文将不同临床任务放在更细的分类体系中比较,但研究结果仍然是特定基准上的实验结果,不能直接转换为临床效果2。
把五级分数写成可复判的评分量规
五级评分本身并不自动产生一致性。若评分说明只写“0分最差、5分最好”,不同医生会根据自己的专科经验、风险偏好和对“完整”的理解自由解释,最终得到的是个人印象的集合,而不是稳定的数据。实际执行前,应将每个分数段对应的判断条件写进量规,并配套正例、负例和边界例。量规的目标不是把复杂医学判断伪装成机械选择,而是让评分人知道哪些证据必须写出来,哪些分歧需要升级给裁决者。
对低分记录,至少要指出具体错误、逻辑问题、重要遗漏或安全风险。比如,评审不能只写“医学性差”,而应说明回答把一个待核实条件说成了确定结论,或者遗漏了会改变风险分层的必要信息。对高分记录,也要写出为什么给高分:是事实准确、逻辑连续、覆盖了题目要求,还是在证据不足时明确说明了边界。高分理由同样重要,因为它可以帮助后续训练识别值得保留的回答模式,而不是只把标注数据变成失败样本集合。
全面性维度还需要比其他维度多一步。评审不仅要写“缺少什么”,还要写“为什么缺少的内容对判断重要”。这能区分真正的临床缺口和可有可无的扩展信息。例如,某些背景知识虽然有助于阅读,但并不改变当前问题的判断;另一些看似简短的风险提示,却可能决定用户是否需要立即寻求专业帮助。把重要性写出来,既能减少评审把百科式长答案误判为全面,也能为模型改进提供优先级。
空回答的处理尤其不能含糊。源规范要求空内容的四个分维度和专业度总评全部为0,原因栏填写“拒答”;这是对界面事实的固定记录。但“回答为空”与“在证据不足时明确拒答”可能是不同的医学行为:前者可能意味着生成失败或流程中断,后者可能是安全策略的一部分。项目可以额外编码空答、明确拒答、部分回答和正常回答,再按当前量规解释这些状态,但不能用额外标签替换源规范的空答计分。否则,质量团队可能把系统故障当成安全拒答,也可能把安全的谨慎表达误判为全面性不足。
专业度总评应作为独立字段保存,而不是用四个维度的平均数代替。总评可用于整体上线讨论,但它必须能回到分维度证据。若四个分数都较高而总评明显较低,或安全性很低但总评很高,应触发复核,而不是直接取平均数平滑矛盾。项目验收时也不宜预先假定统一阈值适用于所有题型;急症、用药、儿童、孕产等风险场景的停线条件,通常需要在试标后由项目医学负责人书面冻结。
图1 技术示意。图中展示评测数据与质量控制的关系,不代表真实患者、实验完成结果或临床诊断。
专家标注不是“打分外包”,而是医学判断的结构化记录
源规范要求由与任务域匹配的专业医生进行评分。若实施方另设医学评审人员协作角色,也应把其职责、专业范围、利益冲突处理方式、培训记录和复核责任单独写明,不能用“专家团队”替代医生要求。不同专科对同一回答的关注点可能不同,评分人是否熟悉当前问题类型会影响一致性。因此,准入材料、专科匹配和当前量规版本应被记录,而不是只在项目开始时口头确认。
建议采用“先独立、后讨论”的流程。第一位医生独立完成四维评分、总评和理由;第二位医生在不知道模型身份、排名或第一位评分的前提下完成复评。若两者在关键维度上出现超过预先约定的分歧,进入指定裁决,而不是简单取平均。裁决记录应包含争议字段、双方理由、裁决依据、最终分数、裁决人和日期。这样做的目的不是追求所有人永远打出相同分数,而是让分歧变成可分析的质量信号:是规则不清、案例本身信息不足、专科边界未定义,还是评分人需要再培训。
盲法是防止评分偏差的重要设计。医生若知道某一回答来自哪一个模型、哪一代版本或哪一组宣传中的高排名模型,可能会无意中改变严格度。盲测至少要隐藏模型名称和实验排序,统一呈现问题、上下文和回答;如果回答中自带模型身份、工具痕迹或版本信息,应在不改变医学内容的前提下进行标记或剔除。重复题、训练集题和公开基准中的原题也需要单独识别,防止评测结果被记忆或数据泄漏污染。
医学研究已经反复提示,语言生成质量与临床安全不能画等号。一个关于临床文本摘要的框架把模型输出中的错误分为编造、否定事实、无依据因果和上下文混淆,并把遗漏进一步拆分为当前问题、病史用药和信息计划等类别;研究采用至少两名临床人员标注,再由高级临床团队整合,并将错误发生概率与潜在伤害结合分析3。这启发我们在通用医学问答评测中,不要把“安全性”写成一句宽泛的印象判断,而应保存错误类型、风险等级和是否需要返工或停线。
同样,自动评判器可以作为筛查和辅助质检,但不能未经验证就取代医学专家。针对临床摘要的研究发现,特定模型在特定任务和数据集上可与专家评分表现出较高一致性,但作者也指出,研究数据来自有限的医疗系统和摘要任务,扩展到医学问答、更多专科和更大规模记录仍需外部验证4。因此,若项目考虑使用模型评审模型,应把它定位为预筛、重复检查或难例排序工具,并持续抽取医生盲评样本核对其偏差。自动分数不能成为安全缺陷的唯一放行依据。
数据设计:从一轮回答到可审计的评测样本
一个可实施的数据表或接口应至少保留五层信息。第一层是任务层,记录题目编号、任务类型、风险标签、预期读者和是否多轮。第二层是上下文层,保存用户问题、历史对话和当前回答,并记录截断、缺失或空答。第三层是模型层,记录模型版本、提示词版本、采样参数、工具调用状态和生成时间,使同一问题在不同配置下可以复现。第四层是评审层,保存四维分数、总评、理由、拒答或空答标签、评审人角色和量规版本。第五层是治理层,保存复评、裁决、返工、放行或停线状态。
在数据拆分上,不能只随机按回答切分。多轮对话的同一主题、同一用户改写、同一病例模板或同一知识来源可能跨越训练、调参和外部测试集,造成隐性泄漏。更稳妥的做法是按对话线程、题目族、来源时间或任务场景进行分组,并在评测报告中说明拆分单位。公开基准、内部题库和用于模型调优的样本也要分开管理。若题目在调参阶段被反复查看,最终分数应标记为开发集证据,而不应伪装成独立外部验证。
代表性同样需要提前规划。医疗问题并不只存在于教科书式的标准问法中;语言、文化、年龄、基础健康状态、表达完整度和问题紧急程度都可能改变回答风险。HealthBench 的设计覆盖多轮、不同用户或医务人员角色、多种专科和多语言场景,说明评测集合需要在任务和交互层面保持异质性1。但某个基准覆盖得再广,也不能证明它覆盖了所有真实业务。项目验收时应把纳入和排除条件、风险场景比例、空答比例、难例比例及外部集来源写清,而不是只报告一个总体平均值。
算法路线:让人工评分服务于定位,而不是制造新排行榜
评测系统可以把结构化字段送入三个互补的分析层。第一层是规则层,检查必填字段、轮次编号、空答标记、分数范围、理由是否缺失,以及高低分理由是否与项目要求匹配。第二层是统计层,观察各维度分布、不同专科和任务类型的差异、评分人之间的一致程度、低分或高风险样本的聚集,以及版本更新前后的变化。第三层是误差层,将具体错误归入事实错误、推理错误、遗漏、越界建议、拒答不当、上下文误读和格式或流程故障等类别。
统计结果需要谨慎解释。MedHELM 的论文报告了不同任务类别之间的性能差异,并用临床人员评级比较自动评估方法;其自动评判与临床评分的一致性仍是特定实验设置下的结果,并非任何医学任务都可以复用的保证2。同理,一个项目的四维平均分只能描述被抽取样本和当前版本,不能直接推断临床获益、诊断率、患者结局或监管可用性。尤其是安全维度,少量高严重度错误可能比许多低风险小错误更值得优先处理,均值不能替代风险分层。
在模型改进闭环中,评测数据可以支持监督微调、偏好比较、拒答策略调整、提示词修订和回归测试,但每种用途都应保留独立的开发集与测试集。把人工评分直接作为奖励信号时,要防止模型学会迎合量规的表面词汇而不是改善医学事实;把总评作为单一奖励时,也可能牺牲安全性或全面性。更可行的路线是按维度保留信号,优先修复可重复的事实和安全错误,再用新的盲测样本确认是否产生了副作用。
外部验证与质量偏差:验收要看能否复盘
外部验证不应只是在同一题库上换一个随机种子。至少要考虑未参与试标的题目来源、时间窗口、专科分布、语言表达、机构流程和模型配置。若模型更新了系统提示词、知识库、工具链或安全策略,哪怕底层权重不变,也应产生新的版本号,并重新检查受影响的题型。量规修改同样要递增版本,旧分数不能无说明地混入新版本统计。
评审偏差来自多处:专科经验不匹配、对风险的容忍度不同、对语言风格的偏好、看到模型身份、记住题目答案、对拒答的理解不一致,以及对“全面”的解释不同。质量控制应通过培训样例、边界例复判、盲法抽检和定期分歧分析暴露这些问题。不要用一个看起来漂亮的一致性数字掩盖标签分布极不平衡、难例过少或高风险题被排除的事实。报告一致性时,应说明统计方法、评分单位、缺失值、样本分布和升级规则。
对于线上前的放行,可以设置分层门槛:字段和版本可追溯是基础门槛;高风险安全错误、危险建议和关键遗漏是返工或停线条件;分维度表现和专家一致性用于判断是否进入下一轮;外部集结果用于检查是否过拟合。具体阈值应由项目医学负责人、模型研发和质量负责人共同在试标后确认,不能把某篇论文的数值直接移植成所有场景的统一标准。NIST AI 风险管理框架也将有效性、可靠性、透明度和持续风险管理作为值得纳入设计、开发、使用和评估的治理考虑,但该框架是自愿采用的风险管理框架,不是医疗产品批准或临床性能认证5。
图2 技术示意。图中展示评分字段与验收逻辑,不是实际模型成绩、真实病例或临床决策工具。
业务交付如何保持边界清楚
对于医疗AI研发团队,逐轮评测的业务价值在于把“上线前看一遍”变成可复盘的质量门。研发人员可以从分维度错误中定位提示词、知识库、检索、上下文管理或安全策略问题;数据团队可以将高质量理由整理为训练和回归样本;采购方则可以在试标阶段核对标注主体、量规版本、盲法、复评、裁决和返工规则。交付物不应只有一张汇总表,还应包含字段字典、当前量规、正反例、失败样例、版本差分、抽检记录和可审计的争议处理记录。
在已核验的公司能力范围内,朗慧将自身定位为AI数据基础设施及流程服务商,LangData覆盖采集、处理、标注、质检和数据交付;其质量交付口径强调以项目规格、数据卡、样例、质量记录和版本为依据。这意味着,在具体授权和书面规格齐备的前提下,可以将医学问答评测拆成样例评估、专家标注、交叉复核、质量记录和结果交付来讨论。这里表达的是可匹配的流程定位,不是对某一现有项目、现货规模、专家人数、统一准确率或临床结果的承诺。平台也不应被描述成诊疗系统,医学评测数据不能替代医生对患者的实际判断。
采购或验收文件最好先回答几个问题:评分最小单位是一轮还是整段对话;空回答、拒答和信息不足如何区分;四个维度是否分别保存;总评是否独立;低分和高分理由需要达到什么可复核程度;评分人资质如何核验;盲法如何实施;分歧何时升级;哪些安全缺陷可以直接停线;模型、量规和题库变化如何递增版本;外部验证集由谁提供并如何保证未被调参使用。问题没有写清时,最稳妥的业务动作不是直接扩量,而是先做小规模试标,利用真实边界样例修订量规。
结语:把“专业”拆成可追溯的判断
医学大模型的上线评估,不应停留在“医生看过、打过分”这一层。真正有研发价值的数据,要能说明哪一轮回答被评为什么分,分数依据是什么,遗漏为什么重要,空答或拒答意味着什么,第二位医生是否复核,争议由谁裁决,量规是哪一版,以及结论是否在未参与调参的外部样本上成立。四个分维度帮助定位问题,专业度总评保留整体判断,盲法与裁决把主观分歧变成可管理的质量信号,外部验证则提醒团队不要把局部基准当成临床保证。
HealthBench 的题目级量规、MedHELM 的任务分类和近期临床文本安全研究共同指向同一件事:医学评测首先是一个定义任务、组织证据和治理风险的工程,然后才是计算分数。对研发和采购团队而言,最值得验收的不是一张漂亮的排名表,而是一套能在模型迭代后重新打开、重新判断、重新解释的记录。只有这样,专业度评测才真正成为上线前的质量基础设施,而不是一次性的宣传数字。
参考来源
- HealthBench: An open-source benchmark measuring the performance and safety of large language models in healthcare
- MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks
- A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation
- Evaluating clinical AI summaries with large language models as judges
- Artificial Intelligence Risk Management Framework (AI RMF)
- Expert of Experts Verification and Alignment (EVAL) Framework for Large Language Models Safety in Gastroenterology
- Introducing HealthBench

