跳至正文
朗慧科技

MEDICAL DATA RESEARCH

从静态答题到临床对话:医疗智能体评测如何形成可验收闭环

医疗智能体不能只靠选择题判分。本文拆解多轮问诊、检查反馈、诊断导向评分、幻觉分型、专家盲审与独立验证,说明如何把医疗AI评测做成可回放、可审计、按风险验收的数据闭环。

医学模型训练与评测AI辅助整理 · 研发交流

一个医疗智能体面对一位只说“最近不舒服”的患者时,真正要解决的并不是从一张已经整理好的病例卡中猜出疾病名称,而是判断先问什么、哪些信息必须追问、何时需要检查、如何解释尚未获得的结果,以及在证据不足时是否应该承认不确定性。如果评测只把完整病历和标准答案一次性给模型,模型可能因为获得了全部线索而答对,却没有证明它能在真实工作流中获取信息、控制风险和做出有成本约束的下一步决策。

这也是医疗智能体评测从选择题走向交互式基准的原因。HealthBench 将医疗评估放在多轮真实场景中,使用医生制定的细粒度评分标准衡量安全性、清晰度和情境适配,而不是只统计答案是否命中。1 AgentClinic 则把医生、患者、检查反馈和评测角色放进模拟临床环境,强调不完整信息下的序贯决策;其研究及开放评审讨论也提醒,模拟器的角色设定、反馈误差和与真实工作流的距离都会影响结论外推。2 对研发团队和数据采购方而言,需求不应表述为“收集一批病例并评测模型”,而应转化为一套可复现、可审计、可分层验收的临床任务系统。

先把需求拆成可验收对象

第一步是明确评测对象。这里的对象是能够进行问诊、调用检查工具、更新诊断假设并输出结论的医疗智能体,文章讨论的是研发评测与数据工程,不提供任何个人诊断或治疗建议。临床任务可以拆成信息采集、检查选择、诊断决策、风险沟通和转人工触发几个阶段。每一阶段都要有可观察的输入、动作和结果,不能只留最终文本。

输入通常包含结构化病历字段、非结构化主诉与病史、查体或检验报告,以及智能体主动请求后返回的检查结果。对于特定项目,也可以把影像报告、病理报告或其他专科证据作为受控模态接入;是否包括原始影像、设备元数据和纵向随访,必须在项目书中单独写清,不能用“多模态”三个字替代接口和样本定义。解剖部位与病种不宜只写一个宽泛的“医学”,而应按专科、疾病阶段、急慢性和罕见程度分层,确保训练、开发调参和独立测试覆盖不同的信息缺口。

输出也要分层。病例级输出包括最终诊断及其标准术语或代码映射;回合级输出包括提出的问题、请求的检查、停止询问的理由和当时的置信状态;证据级输出包括回答是否能在病例事实、检查结果或指定指南中找到支持。对问诊语言的评价还应单独记录是否使用患者能理解的表达、是否说明不确定性、是否在高风险情境下建议人工或线下处置。这样的颗粒度,才能区分“诊断猜对”与“过程做对”。

标注主体要与标签难度匹配。基础字段可以由经过培训的医学数据人员按规范整理,但必问问题、诊断路径、危险信号、检查必要性和沟通安全边界,应由具备相应专科经验的临床专家制定或复核。专家不只是给出一份答案,还要把允许的替代路径、不可接受的遗漏、关键否定信息和触发升级的条件写成评分量规。对于不存在唯一标准答案的场景,应保存多个临床合理路径及其适用前提,而不是强行压缩成单一金标准。

医疗智能体临床评测闭环的任务、数据与评分关系技术示意查看完整技术图(可放大)

图1 技术示意:展示本任务中病例、患者交互、检查工具、诊断输出与专家/规则评分之间的关系;不表示真实患者、实验完成或临床诊断。

病例不是答案卡:数据设计要保留信息缺口

静态病例适合测知识记忆,却很难测出智能体是否会主动获取信息。交互式数据应从一个有限的初始状态开始,把相关但尚未提供的事实放入受控的病例状态中。患者模拟器只在被问到合适的问题后返回对应信息,并保留症状的模糊、冗余、否定和时间变化。这样,模型必须处理临床语言的不完整性,而不是从输入格式中直接读出隐藏标签。

病例来源可以组合使用去标识化真实世界病历、公开病例报告或指南中的标准化案例,以及不含真实病历的合成病例。真实数据需要有明确的去标识化、授权和伦理边界;公开材料也需要重新组织,不能复制原文中的患者故事、机构信息或试题。合成病例则必须保存生成依据、疾病知识来源和人工审核记录。MedDialogRubrics 采用基于原子医学事实约束的患者代理,并用临床专家修订循证医学标准,说明合成数据可以改善可复现性,但前提是把患者行为和评分规则同时固定下来;该工作截至本文撰写时仍为预印本,其结果不能视作临床验证或部署证据。5

数据单位不应只是“一个问题—一个答案”。建议将病例包定义为一个可回放状态:初始主诉、时间线、可用事实、未公开事实、可请求检查、工具返回规则、目标诊断集合、指南版本、评分量规和版本号共同组成一个评测单元。每一次交互都保留轮次、角色、输入、动作、返回、时间和状态变化。对于同一病例的多次运行,还要记录模型版本、提示模板、解码参数和工具版本,避免把不可复现的上下文差异误当成模型能力差异。

检查反馈是这一数据设计的关键。原始病历没有某项检查,不等于该检查结果为阴性;“未检查”“检查正常”“检查异常”必须是三个不同的状态。若模拟器需要为未记录检查生成结果,生成过程应受病例事实、病理生理约束和检查敏感性边界限制,并明确标识为模拟结果。真实观察值、规则推导值和合成反馈不能混写,否则模型可能因为错误的反馈信号得到虚假的高分。检查代理还应避免把未请求的结果提前泄露给医生代理,防止评测从序贯决策退化为全量信息问答。

在多智能体实现中,患者代理、检查代理和评分代理不应共享被测医生代理不可见的未来答案。可以让评测端持有完整的病例状态,但对话端只接收当前合法可见信息。每次调用都应有可追溯的证据指针,说明某个患者回答来自哪一条事实、某个检查返回受哪一条规则约束。AgentClinic 的研究及其评审讨论提示,增加工具和角色并不会自动提高临床可用性;额外的测量代理还可能引入反馈错误或新的幻觉来源。2 因此,工具越多,越需要做角色隔离、返回校验和错误注入测试。

从“答对诊断”到“做对诊疗过程”

评测可以先设置一个静态对照:把完整病例给模型,观察其在信息充分时的诊断能力;再设置序贯条件,只给初始信息,让模型通过提问和检查逐步获得证据。两者的差值本身就是重要结果。Hager 等人的临床决策研究显示,模型在信息数量、顺序和指令表述变化下可能出现明显波动,也可能不遵循诊断或治疗指南。6 因此,静态准确率不能代替交互式可靠性,更不能直接推导出可自主临床使用的结论。

诊断结果可按预先约定的疾病层级和 ICD-10 等标准术语映射,由规则系统先检查代码层级、互斥关系和诊断粒度,再由临床专家处理同义词、组合诊断和合理的鉴别诊断。代码映射的价值不是制造更精确的分数,而是让“诊断正确”有可审计的判定依据。若模型给出的表述处于疾病家族、综合征或病因层级,评分记录应保留匹配层级,避免把术语差异误判为医学错误。

问诊效率需要单独测量。Q4Dx 研究把零提问诊断准确率、首次得到正确诊断所需的问题数,以及问题序列与参考路径的匹配度分开报告;其任务还设置了不同的信息暴露水平,用来观察信息不完整时的表现。3 在实际项目中,可以借鉴这种分解,但不应照搬固定阈值。更合理的验收是同时看必问信息覆盖率、每轮新增有效信息、无效或重复问题比例、过早停止率和最终诊断的安全性。一个问题如果没有增加诊断区分度,却延长了交互,不应被“多问了几句”掩盖。

检查选择也需要从“像不像原病历”转为“是否服务于诊断目标”。每个病例可为检查项标注必要、可选、低价值或在当前状态下不适宜,并记录适用前提。评测时计算诊断所需证据覆盖、无关检查比例、关键检查遗漏和检查顺序是否造成风险。若项目允许成本分析,可接入公开或项目授权的价格表,将检查次数、费用区间、等待时间和潜在风险放在同一资源约束下比较;价格只是评测配置,不应与对外交付金额混写。成本指标应与安全性分开报告,不能用少开检查换取低风险的表面优势。

幻觉也不能只用一个“事实错误率”概括。事实性幻觉是模型陈述了病例或医学知识中没有支持的内容,例如凭空补充不存在的检查结果;忠实性幻觉是模型忽略、扭曲或违背当前病例状态和已返回证据,即使那句话在一般医学知识中可能成立。还应单独记录工具幻觉、引用幻觉和把模拟结果误当真实观察值的来源混淆。MedDialogRubrics 将患者模拟约束与“必问”评分绑定,说明模拟器的一致性是评价可信度的重要前提;该框架本身仍需在独立来源上验证。5

大语言模型裁判可以用于批量初筛,但不应成为唯一金标准。HealthBench 的设计把医生编写的评分标准拆成大量具体条目,再用模型评分器执行批量评估,为规模化提供了路径;这也意味着评分器需要通过专家判断做定向校准。1 研发验收应把规则检查、指南证据核对和人工复核结合起来,对裁判低置信度、多模型评分分歧、危急情境和用药安全相关输出自动升级。公开报告时只呈现可复核的标签定义和评价口径,不把内部裁判分数包装成临床疗效。

医疗智能体一次病例的交互、证据状态与风险评分技术示意查看完整技术图(可放大)

图2 技术示意:展示每轮提问或检查如何改变可见证据,并由规则、指南和专家分别评价诊断贡献、风险与资源使用;不表示真实患者、实验完成或临床诊断。

专家标注要记录规则,而不是替模型写一份漂亮答案

专家标注应从“参考答案”扩展为病例条件下的行为规范。对每个关键节点,量规至少要说明:哪些信息必须在当前阶段主动获取,哪些问题可以延后,哪些检查在什么前提下合理,哪些表述会造成误导,何时必须明确不确定性或转由人工处理。对于开放性问答,应评价可观察行为和证据引用,不要求收集或公开模型的隐性思维链。

同一病例最好由两名或以上独立专家在看不到模型身份和其他评分的条件下审阅。第一轮记录分歧类型,例如诊断层级、检查必要性、风险严重度、沟通适配或事实来源;第二轮由指定专科专家裁决,并把新增规则回写到量规版本。培训样例不应只展示“正确答案”,还要展示合理但不完整的路径、危险的过度检查路径和信息不足时的合格拒答路径。这样,模型在多种临床合理方案之间的差异才有机会被一致地评价。

医学知识会更新,指南也会改变。每个量规应绑定适用人群、专科、地区或语言、指南版本和生效时间,并保留旧版本以支持回放。若某项规则存在专业争议,公开稿应说明这是项目约定或待验证假设,而不是宣称存在唯一医学标准。专家一致性、分歧率和裁决理由可以作为数据质量记录,但不宜在没有设计和样本量支持时给出一个看似精确的统一准确率。

质量偏差、外部验证与安全边界

最大的偏差往往来自病例构造,而非模型本身。若病例总是把关键线索放在最后一轮,或者每个病例只有一个典型诊断,模型可以学习模板而非临床询问。数据划分应按病例实体和来源单位隔离,不能把同一患者的不同时间点、同一原始病例的改写版本或同一指南模板分散到训练和测试。还应对近重复、提示泄漏、标准答案出现在问题文本和公开基准污染进行检查。

外部验证至少要对专科、疾病谱、信息完整度、语言、年龄与性别分布、数据来源和病例难度分层。对于真实世界病历,建议保留不参与开发的来源单位作为独立测试;对于合成病例,至少要用去标识化真实病例或临床读者研究核对关键行为是否一致。MedR-Bench 的结果提示,模型在信息充分的简单诊断上表现较好,但在检查推荐和治疗计划等更接近完整照护链条的任务上仍可能缺少关键步骤。4 这说明外部验证不能只复测最终诊断,还要复测过程完整性。

模拟患者与检查代理也需要被验证。专家可以在不知道模型输出的情况下审查患者回答是否与病例状态一致,检查代理是否错误地把未检查当成阴性,评分代理是否把常识判断冒充病例证据。可以通过受控扰动测试加入信息顺序变化、无关冗余、模糊表达、缺失结果和相互矛盾记录,观察模型是否过度依赖单个线索。若评测结果对模拟器版本高度敏感,发布时必须报告这一限制,不能把一次仿真结果外推成临床效果。

还要关注资源和延迟。医疗智能体可能通过反复调用模型、搜索和工具获得更高的表面分数,却同时增加令牌消耗、等待时间和错误传播机会。2026 年一项跨基准实测研究报告了智能体系统在若干医疗评测中只有有限的性能收益,同时伴随显著资源开销和仍未消失的幻觉风险;这类结果是单项研究的观察,不代表所有架构的普遍结论,但足以说明成本、延迟和失败恢复应进入验收表。7 业务方真正需要的不是一个孤立排行榜,而是不同安全—效果—成本组合下的可解释比较。

从样例试评到可交付的业务闭环

可实施的交付可以分为四层。第一层是需求规格,写明专科、病种、初始信息、可调用工具、输出格式、证据来源、指南版本和隐私边界。第二层是样例试评,使用少量脱敏或合成病例验证字段、对话状态、工具返回和专家量规能否闭环。第三层是正式数据与标注交付,提供病例包、回合记录、标签、分歧与裁决、数据卡、质量日志和版本血缘。第四层是独立验收,使用冻结的测试集、固定的模型运行条件和预先约定的安全门槛,分别报告诊断、问诊、检查、幻觉、沟通、成本和稳定性结果。

验收门槛必须与任务风险匹配。可以约定关键危险信号不得遗漏、未做检查不得被表述为阴性、诊断代码必须达到规定层级、独立来源表现不能显著偏离开发集,并对高风险案例设置人工复核率或自动转人工条件。具体阈值、抽样比例和交付规模应由项目书面确认,不能假设存在适用于所有医疗智能体的公司统一标准。交付还应支持失败样本回流:每个失败样本记录模型版本、病例版本、错误类型、专家裁决和后续规则变更,形成可追踪的评测—数据—修正闭环。

在已核验的能力范围内,朗慧的 LangData 定位覆盖数据采集、处理、标注、质检和交付流程,医疗栏目提供按部位、模态和任务组织的目录与样例评估入口。这些能力适合承接需求规格、样例试标、标注质检和版本化交付的流程设计,但不等于某一专科病例、某一规模库存或特定临床专家配置已经现货可交付。真实数据来源、授权范围、样本数量、专家资质、工具开发和私有化部署,都需要逐项核验并以项目书面约定为准。

结语:把临床能力拆成能被复核的证据

医疗智能体评测的研发价值,不在于制造一个看似权威的总分,而在于把“会不会诊疗”拆成可观察的证据链:能否在不完整信息下提出有价值的问题,能否选择与诊断目标相称的检查,能否忠实使用返回结果,能否在多种合理路径中保持安全,能否在不确定时及时寻求人工支持。只有病例状态、工具反馈、专家量规、规则评分和独立验证同时可追溯,数据采购才不只是买到一批文本,模型比较也不只是得到一张排行榜。

这套方法仍有边界。模拟病例不能替代真实临床研究,专家评分也不能自动转化为诊疗获益;模型在基准上的进步不等于获得医学或监管批准。更稳妥的路线,是先通过脱敏数据、受控仿真和盲法复核建立工程可复现性,再以独立来源和临床工作流研究验证外推,最终把高风险决策保留在人机协同的责任边界内。

参考来源

  1. Introducing HealthBench
  2. AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments
  3. A benchmark for evaluating diagnostic questioning efficiency of LLMs in patient conversations
  4. Quantifying the reasoning abilities of LLMs on clinical cases
  5. MedDialogRubrics: A Comprehensive Benchmark and Evaluation Framework for Multi-turn Medical Dialogue
  6. Evaluation and mitigation of the limitations of large language models in clinical decision-making
  7. Benchmarking large language model-based agent systems for clinical decision tasks