跳至正文
朗慧科技

MEDICAL DATA RESEARCH

乳腺专病临床问答,怎样把医生的不同意变成可训练、可复核的监督信号

面向医疗AI研发与数据采购团队,拆解乳腺专病临床问答的输入输出、片段归因、六维评分、最佳答案要点与三回答盲测,说明专家校准、数据脱敏、版本管理、泄漏控制和时间/来源外部验证如何落到可复核验收,同时明确研究性评测不等于诊疗效果或监管批准。

医疗数据研究AI辅助整理 · 研发交流

一个面向乳腺专病的临床问答系统,真正难验收的往往不是“能不能回答”,而是回答中哪一句需要被医生否定、否定依据是什么、另一位医生能否复述这个判断,以及三种回答在同一问题上为什么有差异。若只保存一个总分或一次点赞,研发团队很难知道模型错在事实、证据、结构还是决策边界,也无法把错误稳定地转成下一轮训练数据。这个问题的核心不是再加一个评分按钮,而是把临床判断拆成有定位、有尺度、有版本的监督信号。

这个需求可被归纳为一种医学文本评测任务:输入是乳腺疾病相关的临床问题、必要的脱敏上下文和一个或多个候选回答;输出是医生在回答片段上的归因批注、固定标签、反馈倾向、分维度评分、最佳答案要点,以及在同一问题下对多个回答的盲测结果。它不是影像勾画,也不是让标注员替医生诊断患者。标注对象的颗粒度同时包含“回答片段”和“整题回答”两层:片段用于定位问题,整题用于判断整体可用性和风险。

这类数据可以支持问答模型的监督微调、偏好优化、检索增强评估和安全回归测试,但不应被写成临床获批、诊疗替代或疗效证明。Med-PaLM 2的研究已经显示,医学选择题成绩与真实工作流中的长答案质量并不是同一件事;研究者因此引入了独立盲评、成对比较和面向安全的测试,并明确指出模型回答仍可能低于专科医生回答。1 这正说明验收需要围绕任务和证据组织,而不能把一个综合分数当成临床结论。

先把“好回答”拆成可验收对象

第一步是冻结问题的适用范围。乳腺专病并不等于单一病种,问题可能涉及筛查异常、病理结果解释、分期相关信息、药物使用、复发风险、随访或患者沟通。不同问题需要的证据类型不同:有的要求回答一个定义,有的要求比较指南条件,有的要求说明不确定性,还有的必须明确建议转入院内流程。数据字典应为每道题记录任务类型、疾病或解剖主题、所需上下文、可用证据范围和禁止越界的输出边界,而不是把所有问题塞进同一个“医学正确性”字段。

第二步是定义输入模态。这里的主要模态是临床自然语言,包括问题、回答、引用片段和可选的结构化上下文;若系统来自多模态工作台,也应把图像、报告或患者档案转写后的文本与原始模态分开记录。标注员评的是回答是否正确使用了给定信息,而不是凭一张未授权的原始资料去推断诊断。输入中保留的每个上下文字段,都应能追溯到它是否被回答正确引用、遗漏或误读。

第三步是把输出标签分成不同层级。片段层标签可覆盖答案准确率、内容相关性、结构清晰度、证据支持性、决策帮助度和临床采纳性;同时记录同意或不同意的倾向。整题层再对这六个维度使用统一的0—10分尺度。两者不能混为一谈:片段归因回答“问题在哪里”,总分回答“整体到什么程度”。如果只保存六个数字,后续人员无法判断低分来自某句错误,还是来自整题缺少关键条件。

“最佳答案要点”是另一个独立输出。它不是把候选回答重写一遍,也不是把专家意见变成散文,而是从固定要点池选择必要内容,必要时新增能够核对的医学逻辑要点,并保留合理顺序。它可以帮助研发团队区分“答案中出现了错误”与“答案虽然没有明显错误,但漏掉了临床决策所需的关键条件”。要点还应能和片段归因对上,否则无法判断要点是由具体问题产生,还是标注员事后泛化出来的意见。

乳腺专病问答的归因式标注链路:从脱敏输入到片段证据和结构化监督信号。查看完整技术图(可放大)

图1|技术示意,不表示真实患者、真实模型实验或临床诊断结论。

数据设计决定后续能否复盘

问答评测的最小数据单元应至少包含问题、上下文、候选回答、回答来源的匿名化标识、依据入口、任务标签和评测版本。来源标识用于防止同一回答被重复计算,不是为了公开模型或供应商名单。对于包含患者语境的研究数据,应在入库前去除姓名、联系方式、住址、住院号和可以反向识别个体的组合字段,并把授权、用途和保存期限写入数据卡。脱敏不是把名字替换成字母就结束,还要检查自由文本、引用片段和附件元数据中的间接识别线索。

数据划分要按临床问题或病例单元进行,而不是把同一问题的不同改写随机分到训练集和测试集。否则,模型可能记住题面词序或回答模板,导致离线分数看起来很高,却无法反映新问题上的可靠性。若存在纵向随访或同一患者的多次问答,更应以患者或病例单元为边界划分。不同版本的指南、检索库和回答生成模型也要记录时间,防止旧证据和新证据在同一评价里被混用。

三答案对照任务需要额外处理顺序和归属泄漏。相同问题的三种回答应使用随机化的中性编号,界面不能显示模型名称、生成时间、长度差异提示或其他可猜测来源。评审先独立完成每个回答的六维评分,再进入分歧核对。若出现模型名泄漏、候选答案顺序没有冻结或一名评审先看到了他人的意见,这一场应作污染记录,不能把结果当作正常盲测样本。

“至少若干条差评”一类的要求也要转换为质量规则。若项目沿用原件的具体门槛,应在版本化指南中写明每题至少5条点踩批注、每条不少于10个汉字,并至少分别覆盖正文事实与文献依据;这些是该项目的形式约定,不是通用医学标准。有效差评必须指向回答中的具体内容,并给出个人临床判断或可执行的修正方向;仅复述原文、只指出标点和排版,不能成为训练信号。长度本身不等于医学质量,抽检仍要判断是否具有事实指向和改进价值。

算法路线:让自动化帮助定位,不替代临床判断

在实现层,第一层应是稳定的任务编排和标注界面。系统接收经过脱敏和版本冻结的问题—回答对,把回答按句子或可选片段展示,强制标注员先定位,再选择标签和倾向,最后填写解释并保存。保存动作、修改时间、指南版本和提交人角色都应进入审计日志。这样才能区分“没有发现问题”和“没有完成批注”,也能在返工时回放当时看到的内容。

第二层可以使用检索和语言模型做辅助,而不是直接替代专家。系统可先提示可能缺少引用的句子、可能涉及处方越界的表达,或把长回答拆成待核对的事实单元;但提示必须标注为候选,医生可以拒绝、修改或新增。自动提示的接受率不应被当成医学准确率,未经专家确认的标签不能直接进入金标准。对于证据型问题,回答中的主张应尽量与可访问的指南、共识或研究来源建立可回溯链接,链接失效时应触发复核而不是静默通过。

第三层是把评分从“凭感觉打分”变成可解释的量表。六维评分可以保留0—10分的连续尺度,但每个区间都要有冻结的锚点和正反例。满分需要说明优点,非满分需要说明扣分点;如果分数与评语方向相反,记录应退回修正。对于更细的自动化评价,可以把复杂的评分拆成若干个可回答的是或否的子问题,例如“是否引用了问题中明确要求的风险因素”“是否给出了与证据范围相符的限定语”。2026年npj Digital Medicine发表的Adaptive Precise Boolean rubrics研究在代谢健康场景中比较了这种细粒度标准与Likert式量表,报告了更高的评审一致性和约一半的评估时间;但验证范围仍是特定健康任务,不能直接推导到乳腺专病问答或临床效果。5

这种拆分的价值不是把医生变成机械勾选员,而是减少一个“7分”所隐藏的多种理由。Google研究团队的公开方法说明同样强调,细粒度布尔问题能生成更可行动的信号,并需要医学专家先建立标准和相关性判断。4 在本任务中,更稳妥的组合是:关键安全边界保留专家文字批注,常见事实核对采用结构化子项,综合六维分数用于人类可读的整体判断。两类信号相互校验,不能只保留自动评估结果。

自动评审器可以用于预筛和回归测试,但不宜在没有校准的情况下充当最终裁判。2025年的医学摘要研究以专家评分工具为基准,比较了多个语言模型作为评审者的表现,并使用ICC、Gwet一致性系数和Krippendorff α等指标分析差异;研究同时指出,自动评审与专家判断的可靠性需要在独立任务上验证,不能因为模型能读懂文本就默认它具有临床判断资格。3 这与任务本身的要求一致:医生负责定义何为医学问题和安全边界,模型负责加速候选定位和重复性检查。

专家标注需要校准、盲法和裁决

专家准入不能只看“有医生参与”这句话。应先明确问题涉及的专科、疾病阶段和标注职责,再核对评审者的资质、专科匹配和培训记录。若任务同时包含药物剂量、病理分型或患者沟通,单一背景未必覆盖全部判断范围。项目方可以使用分层评审:一线评审完成归因和评分,指定的高资历评审处理争议,但所有角色、准入材料和替换规则都要可审计。

正式生产前应有一组校准题。评审者独立完成后,对照冻结的参考解释,讨论标签边界、证据使用、越界建议和“最佳答案要点”的顺序。校准不应追求把所有人压成同一意见,而是把哪些情况必须升级裁决写清楚。连续出现不达标或同一题反复退回时,应触发再培训、限制任务范围或退出该任务;退回次数和原因不能被从交付统计中抹掉。

归因和盲测的评审逻辑需要一致。对一个回答的证据支持性给出严格扣分,却在三答案比较中因为表达流畅而放宽标准,会让偏好数据和错误分析互相冲突。两名评审的片段不一致时,应保留原始判断并进入裁决,而不是用平均值把分歧隐藏起来。对于名义标签可以使用多评审一致性指标,对于0—10分等连续或近似连续评分可报告ICC,但必须说明模型、评审人数、缺失值处理和是单评审还是平均评审的可靠性。

临床问答的“最佳答案”还涉及不确定性管理。评审不能只奖励结论,还要检查答案是否说明适用条件、证据强弱、需要补充的信息,以及何时应交由院内流程处理。涉及处方、急症或治疗调整时,输出应明确是辅助参考而非独立诊疗意见。越界建议可以作为负向训练样本单独标记,但不能为了构造负样本而把未经核验的医疗内容当成事实。

HealthBench的公开设计提供了一个可借鉴的方向:把真实感较强的多轮健康对话交给医生为每个对话编写具体量规,而不是用一套泛化题库覆盖所有场景。该项目还设置了主题、行为轴和经多位医生复核的子集,强调单次平均分之外的细粒度标准。2 这并不意味着任何项目都应复制其规模,而是说明任务级量规、医生共识和困难样本是构建医学评测的三个不同层面。

质量偏差要在数据链路中处理

常见的第一类偏差来自问题分布。若标注集大多是容易查到定义的问题,模型在复杂合并症、证据冲突或信息不足时的表现就会被掩盖。采样计划应按任务难度、疾病主题、证据类型、回答长度和安全风险分层,并在报告中展示各层的数量和缺失情况。不能用总体六维平均数替代高风险错误的单独统计。

第二类偏差来自评审者。专科背景、工作年限、对某种指南的熟悉程度和对不确定性的容忍度都可能影响评分。随机化评审顺序、隐藏回答来源、记录评审者角色和使用双人复核可以降低部分影响,但不能消除它。遇到少数高影响分歧,应报告分歧本身及裁决依据,而不是只展示裁决后的单一标签。

第三类偏差来自证据和版本。医学指南会更新,检索库会变更,模型也可能改变回答模板。每条批注都应绑定标准版本、证据版本和评测日期;指南发生重要改变时,旧分数不能直接与新分数拼接。版本差分要说明哪些字段受影响,哪些在制题目需要重评。没有版本号的“口头微调”不应进入已放行数据。

第四类偏差是数据泄漏。相同患者、相同问法、相同引用段落或同一模型生成的近重复答案若跨越训练和测试集合,会夸大泛化表现。除文本相似度外,还要使用病例单元、问题意图和证据来源做组合去重。三答案盲测中,模型名称泄漏是评测泄漏;训练集把专家的最终改写直接回填到测试题,又是标签泄漏。两者都需要在数据卡中明确检查方法。

从离线分数走向外部验证

一个可实施的外部验证至少应包含三种保留集。第一种是时间保留集,使用规则冻结后才出现的新指南或新题目,观察标准是否仍然适用。第二种是来源保留集,尽量改变问题来源、写作风格或证据组织,检查模型是否只记住某个数据生产者的习惯。第三种是困难和安全保留集,专门放入信息不足、冲突证据、急症提示、处方越界和需要拒答或转介的场景。

报告外部验证时要写清问题类型、参考标准、评审人数、是否盲评、比较基线和评价单位。研究性结果可以报告一致性、错误类型分布和相对差异,但不能把离线分数改写为诊断准确率、患者获益或监管批准。Med-PaLM 2研究中,模型在多类基准和长答案评价上的表现并不自动等于床旁效果,作者仍把专科医生比较和现实咨询问题单独列出。1 这为本任务的验收提供了直接教训:模型评价、标注质量和临床工作流研究必须分层报告。

外部验证也不应只看“平均答得好不好”。对于高风险错误,至少要记录错误是否可被批注定位、证据是否能追溯、是否被误判为可采纳,以及评审者能否在复核时发现。若一条错误回答得到较高总分,说明量规本身可能缺少安全门槛;若同一错误在不同专科被反复标成不同标签,说明指南需要增加边界例。这样的失败样本比一个未经分层的总体分数更能指导下一轮研发。

WHO关于卫生领域大模型治理的指导将人类监督、风险管理、透明度和适用场景视为系统问题,而不是模型上线后的附加声明。6 因此,问答标注项目应把数据授权、访问控制、审计、事件回放和停止使用条件纳入验收。标注平台本身不应被写成诊疗系统,研究结果也不应被用来暗示某一产品已获医学或监管审定。

三答案盲测如何经过一致性检查、裁决、版本冻结并进入外部验证。查看完整技术图(可放大)

图2|技术示意,不表示真实患者、真实模型实验或临床诊断结论。

验收和业务逻辑要能落到记录

采购或研发合作的工作说明,应把“完成标注”改写成可打开的检查点。每道题要有唯一编号、当前指南版本、通过或退回状态、退回理由和责任角色。归因任务检查是否定位片段、选择固定标签、记录倾向并给出具体医学意见;六维任务检查分数与评语是否一致;最佳答案任务检查要点是否可核对、顺序是否有规则;盲测任务检查回答归属是否隐藏、三种回答是否都完成评分,以及严格度是否与归因一致。

结算或放行逻辑应以题目级质量为单位,而不是用一个批次平均数掩盖关键缺陷。缺少必要批注、发现盲法泄漏、评语与分数矛盾或抽检失败的题目应进入返工,是否计入批次应在项目约定中写清。返工、裁决和重新校准要留在同一条审计链上,不能只保留最终通过文件。若原项目约定每题每位医生只有一次驳回修改机会,且连续两次批注质量不达标、返工后仍不达标时触发淘汰,也应把这两条写入版本化任务规则并保留触发记录;它们是项目验收约定,不应被宣传为通用医学门槛。这样做会让早期试标暴露更多问题,但也能避免把未稳定的标签体系直接扩量。

业务上可以把交付分为试标、校准、受控生产和独立复核四个阶段。试标用于发现定义空白,不应被宣传成稳定效果;校准用于冻结量规和样例;受控生产用于检查题目级返工率和版本差异;独立复核用于判断能否交付给训练或评测团队。每一阶段都应有进入和退出条件,避免“已经做了很多题”被误解为“已具备可训练质量”。

按已核验的公司定位,朗慧科技属于AI数据基础设施及流程服务商,LangData覆盖数据处理、标注、质检和数据交付。就本任务而言,这一能力边界可以支持把已冻结的临床任务转成可追溯的数据流程,并组织样例、质量记录和版本交付;它不等同于现成的乳腺专病问答模型、独立医学认证、临床效果证明或监管批准。具体专科专家资质、题目范围、授权方式和验收阈值,仍需在每个项目中单独核验和书面确认。

研发价值不在“更像医生”,而在更快找到错在哪里

对乳腺专病问答而言,最有价值的监督信号往往不是一句“这个答案不好”,而是“这句把适用条件说绝对了”“这里引用了不支持该结论的依据”“回答没有提出必须补充的风险因素”“三种回答中只有这一种越过了非诊疗边界”。这些信号可以分别进入事实修正、检索对齐、拒答策略、结构优化和偏好训练,而不必把所有问题压缩成一条不可解释的奖励。

但结构化评测也有边界。医生评分仍然受任务说明、时间压力和可见证据影响;六维尺度不是经过所有专科验证的临床量表;盲测能降低来源偏差,却不能保证评审者对指南的理解完全一致。自动评审可以扩大回归范围,却可能复制模型偏见。真正可复用的数据资产,应同时保存原始判断、裁决理由、标准版本、失败样例和外部验证结果,而不是只交付一列最终分数。

最终,医学问答数据建设应回答三个相互独立的问题:回答是否在给定证据和上下文下成立,医生能否具体指出不成立的位置,以及同一套判断能否在新来源、新时间和困难样本中复现。只有把这三层都写进数据设计、专家标注、盲测和验收,临床问答评测才会从“给回答打分”变成可训练、可审计、可持续改进的研发基础设施。它仍然是辅助研发和质量治理工具,不是对任何患者个体的诊疗建议。

参考来源

  1. Toward expert-level medical question answering with large language models
  2. Introducing HealthBench
  3. Evaluating clinical AI summaries with large language models as judges
  4. A scalable framework for evaluating health language models
  5. A scalable framework for evaluating health language models
  6. Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models