跳至正文
朗慧科技

MEDICAL DATA RESEARCH

医学问答与百科语料怎样组成可追溯的数据闭环

医学问答与百科语料不应混成一张表。本文从实体、证据、版本和安全边界出发,说明双层数据设计、专家标注、来源治理、独立评价与可复核交付如何共同支撑医疗AI研发。

临床文本与纵向多模态AI辅助整理 · 研发交流

医学问答和医学百科看起来都属于“文本语料”,但它们在模型训练中的职责并不相同:前者承载用户意图、问题难度、回答边界和证据归因,后者承载术语、实体属性、上下位关系以及可更新的知识单元。如果把两者混成一张只有“问题—答案”两列的表,模型可能学会流畅复述,却无法说明答案依据哪条知识、知识是否已经过期,也无法在证据不足时停下来。对于要建设这类语料的研发或采购团队,真正的技术问题不是“收集多少条”,而是如何把两种颗粒度不同、更新节奏不同、审核责任不同的数据,组织成可复核、可拆分和可验收的训练资产。

先把需求还原为两个任务

脱敏后,这类需求可以独立表述为两部分。第一部分是医学问答语料:输入是一段医学问题,必要时带有面向对象、场景、主题、身体系统或专科等上下文;输出不是一句任意生成的回答,而应包括回答文本、回答类型、涉及的医学实体、证据位置、风险边界和“无法由现有证据回答”的状态。第二部分是医学百科语料:输入可以是一个实体、术语或概念,输出是经版本化的定义、别名、分类、属性、关系、适用语境和来源锚点。两部分可以互相引用,但不宜强行压成同一种标签。

医学问答的临床任务也不能只写成“问答”。一个询问可能是在寻找定义、病因、检查意义、药物作用、预防方法或就医路径;不同任务对证据时效、回答粒度和安全审查的要求不同。MedAESQA 的设计提供了一个有用参照:其问题记录包含主题、叙事背景、问题框架、主体领域、身体系统和临床专科等字段,回答中的事实还可以拆成更细的信息单元,并由至少两名审核者复核。1 这并不意味着任何项目都应照搬同一套标签,而是说明“问题类型”和“预期答案类型”需要在数据字典中显式定义。

百科条目的任务则更接近知识组织。它至少要回答“这个概念是什么”“还叫什么”“属于哪一类”“与哪些概念有关”“依据哪个版本或章节”。定义、同义词、上下位关系、禁忌或风险提示等内容,不能混在一个自由文本字段里任标注员发挥。对于同一医学实体,百科条目和问答答案也可能存在不同的适用范围:百科描述的是相对稳定的概念,问答则可能需要结合问题上下文、对象和证据时效。因此,实体标识和来源锚点应作为两者之间的连接键,而不是把百科全文复制到每条回答中。

数据设计:两种记录,三类连接

建议先冻结一份版本化数据字典,再开始扩量。问答记录可以包含六层信息。第一层是原始问题和必要上下文,保留否定词、条件词、时间词和不确定表达;第二层是任务标签,如定义、解释、比较、风险提示或信息检索,具体枚举需由项目方和医学专家共同确认;第三层是实体与范围,记录疾病、药品、检查、解剖部位、症状等概念以及相关身体系统或专科;第四层是答案及其原子化事实;第五层是证据链接,包括来源类型、版本、章节或段落位置;第六层是安全字段,如证据不足、需要专业人员复核、禁止给出个体化诊疗结论等。

百科记录不应只保留一段“介绍”。更可用的结构包括规范名称、别名、术语类型、定义、上位概念、下位概念、相关实体、属性值、适用人群或场景、来源锚点、发布日期、更新日期和审核状态。若项目涉及药品或治疗内容,还需要明确剂量、适应证、禁忌等字段是否属于本范围;没有明确范围时,不能由标注人员自行补齐。任何不适用、未知或原文未提供的字段,都应有统一空值语义,不能用“无”“不详”和留白混用。

两种记录之间可以建立三类连接。第一类是“问答—实体”连接,说明问题或回答提到了哪些规范概念;第二类是“回答—证据”连接,要求每个可核验的重要断言至少能回指一个来源片段;第三类是“实体—实体”连接,表达同义、上下位、相关或组成关系。必要时再加上“问答—百科条目”连接,用于检索增强或一致性检查。连接也应允许“无可靠连接”,否则标注员会为了填满表格而制造关系。

医学问答与百科语料的双层数据结构和证据连接查看完整技术图(可放大)

图1|技术示意:医学问答与百科语料的双层组织、来源锚点与版本化交付关系。图示不代表真实患者数据、已完成实验或临床诊断。

这种设计的价值在于允许不同下游任务使用不同切片。预训练或继续训练可以使用经授权的百科文本和去重后的问答内容;检索增强可以使用实体、关系和来源锚点;监督微调可以使用问题、上下文、答案和拒答状态;评测集则应保留独立的证据、参考答案和评分规则。训练集、调参集和最终测试集不能因为“都是文本”就随意混用,更不能让同一问题的改写、同一百科段落的切片同时出现在不同分割中。

标注主体和专家流程要先于量产

医学语料的专家角色不能只写“医学专家审核”。首先要明确问题域与专科匹配关系:术语定义、药品信息、临床路径和检查解释可能需要不同的审核能力。其次要明确每个角色的动作,是创建答案、核对事实、检查证据、判断安全边界,还是对争议进行裁决。最后要记录版本、审核状态和退回理由,避免把多人不同意见平均成一个没有解释的标签。

可以采用“试标—双人独立—分歧裁决—小批次生产—抽检”的流程。试标阶段重点不是证明最终准确率,而是发现字典中未定义的概念:问题是否可能同时属于多个任务,百科条目的边界如何划分,事实断言拆到什么粒度,什么情况应标记为证据不足。双人独立时不要让第二位审核者先看到第一位的答案或理由;若不一致,应进入有责任角色的裁决记录,保留双方原判断和最终采用的规则。

回答质量至少需要拆成事实正确性、证据支持、问题相关性、完整性、可读性和安全边界等维度。不同维度不能互相替代:一段话写得清楚,不代表事实正确;引用了来源,也不代表来源真的支持该断言。ExpertQA 的研究把专家策划的问题、验证过的答案和答案中主张的归因结合起来,说明长答案的审核单位可以下沉到“主张—证据”而非整段文本。2 对项目而言,最重要的不是复制其规模,而是把“某句具体说了什么、哪一段材料支持它、支持范围到哪里”写进标注指南。

对百科条目也应进行双层审核。基础层检查实体边界、别名、格式和来源字段;专业层核对定义、上下位关系、关键属性及可能改变含义的否定词、时间条件和适用范围。若条目涉及更新较快的治疗或政策内容,应把“截至何时有效”与“来源版本”分开保存。对同一概念存在不同权威来源时,不宜简单合并为一个句子,而应保留来源差异、冲突状态和待裁决标记。

算法路线:先证据检索,再生成与评估

在数据层面,较稳妥的研发路线是把问答生成拆成检索、证据筛选、回答生成和回答核验四步。检索阶段根据问题、主题、实体和上下文召回百科条目或其他获准来源;证据筛选阶段保留真正支持问题的段落,而不是只看文档标题;生成阶段要求模型在给定证据范围内组织答案;核验阶段逐条检查答案中的事实是否被证据蕴含,是否引入了来源没有说明的结论。MedAESQA 的研究采用问题元数据、文献检索、重排序和带引用的答案生成,并对引用归因及答案事实性分别开展人工判断。1 这类分层记录也便于定位问题发生在召回、排序、生成还是引用阶段。

百科记录可以支持实体链接、关系抽取和检索增强,但不能把知识图谱中存在一条边误认为临床上已经证明了因果关系。关系类型应区分同义、上下位、伴随、适应证、禁忌或来源中的表述;没有充分证据时,宁可保留关系不确定,也不要用统一的“相关”掩盖差异。对于问答模型,百科可作为检索候选和术语归一化资源;对答案的最终接受仍要回到问题上下文和证据来源。

如果需要为连续追问建样本,可将相关问题组成有顺序的问答链,同时记录每一步新增或继承的实体和证据。ECN-QA 以相关的连续问题构建“渐进式问题”数据集,讨论了医学知识增强和小模型适配的路线。3 对实际项目来说,连续问题不能只把上一轮回答拼接到下一轮输入;还要记录上下文是否真实可见、哪些信息是新给出的、何时应该要求澄清,以及上一轮的错误是否会被下一轮继承。

生成模型的安全训练还需要负向样本,包括证据不支持、引用错位、偷换实体、漏掉否定、把一般知识改成个体化建议以及面对缺证据仍然强答的样本。MedHallu 的研究以医学问答对构造幻觉检测基准,并指出较难识别的幻觉可以在语义上接近正确答案。4 因此,简单的关键词重合或答案长度不能作为充分验收条件;项目应专门设计“看起来合理但证据不支持”的对抗样本,并允许“无法判断”或“需要更多资料”等结果进入标签空间。

质量控制:把合格定义写到可复判

一套可执行的验收至少要分为来源、结构、内容、专家复核和独立评价五层。来源层核对每条文本的获取渠道、用途、再加工权限和版本,保留授权状态与审查记录;脱敏不等于可以公开传播,也不等于可以无限制用于训练。结构层检查字段完整性、编码一致性、主键唯一性、实体链接和证据锚点;同一条记录缺失关键证据时,应进入待核区而不是计入合格量。

内容层要检查医学事实、术语边界、否定和条件表达、答案是否真正回应问题。抽检不应只抽“看起来最整齐”的样本,而应按任务类型、专科、身体系统、难度、来源和时间分层。对于百科条目,重复率、别名冲突、上下位循环和过期来源是重点;对于问答记录,问题重复、答案模板化、引用错配、风险表述和拒答边界是重点。问答和百科的合格率应分别统计,不能用一类数据的高通过率抵消另一类的结构性缺陷。

专家复核层需要一套可审计的记录:样本编号、当前字典版本、原判断、复判理由、裁决角色、修改内容和最终状态。建议将“通过、退回、待补证据、无法判断”作为互斥状态,并明确什么情况下会停线。小批次验收时,任何一票否决问题都应能回指到具体规则,例如无来源锚点、授权状态不明、关键否定词丢失、答案越过非诊疗边界或百科关系类型不明。不要把“专家看过”当成可量化质量,也不要把单一自动指标写成临床有效性。

独立评价层应使用未参与训练和规则拟定的留出样本,优先从不同来源、不同时间或不同表达习惯的数据中构造。分割时应按实体、文献、问题簇和来源进行去重,避免同一条百科内容的改写泄漏到测试集。外部评价可以报告事实支持、证据归因、拒答适当性、覆盖率和专家一致性,但这些研究指标不等于真实临床效果,也不能直接转换为诊疗准确率或监管结论。中文研究从医学论文知识问答、医学名词解释和执业医师考试补充问答等来源构建语料,用于评估医学知识覆盖、理解和生成能力,提示中文项目应把来源类型与评测任务写进数据字典,而不是只按条数统计。5

从需求冻结到独立评价的医学语料验收链路查看完整技术图(可放大)

图2|技术示意:医学问答与百科语料从字典冻结、专家复核到外部留出评价的质量闸门。图示不表示真实交付结果或已完成性能实验。

业务落地:将训练资产和评测资产分开

这类语料可以服务三个彼此相连但不应混淆的场景。第一是知识组织和检索:百科条目、术语映射、关系和来源锚点帮助系统定位候选信息。第二是问答生成与对齐:问题、证据、答案、拒答和专家批注可用于监督微调或偏好学习。第三是模型评测:保留的问答、原子事实、证据和评分规则可以检查模型是否回答正确、是否引用了真正支持答案的材料,以及是否在不确定时作出适当限制。

项目交付宜按可复用的版本包组织,而不是只交一个压缩文件。每一批应同时提供数据字典、字段枚举、正反例、来源与授权说明、版本差异、抽检表和导出说明。问答与百科分别成包,并通过稳定的实体标识或连接表关联。训练集和评测集的访问权限、更新周期和使用范围应单独记录;若百科来源发生修订,需要能回答哪些条目受影响、哪些问答必须重新审核、旧版评测是否仍然有效。

治理上,WHO 关于健康领域大模型的指南强调,健康场景的生成式AI需要关注证据、风险、责任与人类监督,而不是只比较生成文本是否流畅。6 NIST AI 风险管理框架也将治理、风险识别、测量和管理作为贯穿生命周期的活动,并明确测试、评价、验证和确认应服务于可信度目标。7 把这两类原则转化到语料项目,就是把授权、数据来源、审核责任、版本变更、失败样本和外部留出评价作为交付物的一部分,而不是验收后的附加说明。

在能力边界上,数据基础设施和流程服务商可以承担经授权范围内的数据组织、结构化、专家标注协调、质量抽检和可追溯交付;这不等于拥有所有医学内容版权,不等于现成拥有目标领域的语料库存,也不等于模型或数据已经获得临床或监管认可。实际项目仍需在书面范围中确认来源、许可、专家配置、任务标签、样例、周期、质量阈值和问题回修方式。研发团队可以据此先做小规模试标,再决定是否扩量;若试标无法稳定复判,继续增加条数只会放大口径漂移。

结语:百科是知识底座,问答是可检验的使用轨迹

医学百科条目提供知识单元,医学问答提供围绕知识提出问题、组织回答和处理不确定性的轨迹。把两者结合起来的关键,不是把“百科”写成更长的答案,而是让实体、证据、版本和安全边界在两类记录之间可追溯。一个可交付的语料包应当让没有参与生产的工程师能够回答:这条问题属于什么任务,这个实体如何规范化,回答中的每个重要断言依据哪一段材料,专家为何通过或退回,版本变化影响哪些样本,独立测试是否与训练来源隔离。

只有当这些问题都能通过字段、记录和留出评价复核时,医学问答与百科语料才从一张需求表变成可持续迭代的研发资产。它可以支持检索、训练和评测,但不应被包装成个体诊断或治疗意见;研究指标可以帮助比较方案,但不能替代真实临床验证。对医疗AI研发和数据采购团队而言,这种克制不是降低价值,而是让每一个可用的知识单元、每一个专家判断和每一次版本更新都能在后续复盘中找到依据。

参考来源

  1. A Dataset of Medical Questions Paired with Automatically Generated Answers and Evidence-supported References
  2. ExpertQA: Expert-Curated Questions and Attributed Answers
  3. Efficient Medical Question Answering with Knowledge-Augmented Language Models
  4. MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models
  5. 中文医学知识大模型问答语料数据集构建研究
  6. Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models
  7. AI Risk Management Framework