跳至正文
朗慧科技

MEDICAL DATA RESEARCH

医疗后训练中的三类文本标注如何拆开:从信息抽取到 HPO 表型对齐

医疗大模型后训练中的医学信息抽取(IE)、命名实体识别(NER)与 HPO 表型对齐,如何分别定义输入输出、专家标注、版本治理、泄漏控制与分任务验收?本文给出可回溯的数据契约与研发路径。

临床文本与纵向多模态AI辅助整理 · 研发交流

医疗大模型在真实病历上做后训练时,最容易被低估的不是模型能否“读懂”一段话,而是同一段话在不同任务下究竟应该保留什么、标准化什么、以及什么必须明确禁止推断。一个包含主诉、症状、体征、检验、内镜或影像结果的临床文本,可以被要求做医学信息抽取,也可以被要求识别疾病和症状实体,还可以被要求把症状映射到人类表型本体(Human Phenotype Ontology,HPO)的具体节点。这三件事都像“抽取”,但标注对象、允许的语义操作和验收方式并不相同。若把它们混成一种标签,模型可能把“胸闷、气促”擅自总结为某个诊断,也可能把一个表型映射到过宽的父节点,训练后在临床文本中产生看似流畅、实际越界的答案。

本文围绕一个医疗后训练数据项目中明确提出的三类任务,拆解其临床任务、文本输入、输出颗粒度、专家角色和质量闭环,并把 2024—2025 年公开研究放在适当位置。这里讨论的是研发数据与验收设计,不是对任何患者的诊断、治疗或用药建议;项目中的规模、周期和人员配置也应理解为需求约定,而不是现货、临床效果或监管结论。

先把同一份病历拆成三种不同的契约

目标数据采用 Context+Query+Response 结构。Context 是脱敏后的临床文本或病例片段,Query 规定任务和输出要求,Response 则是可被解析、评分和继续用于后训练的答案。这个结构的价值在于把“医学事实”与“回答行为”分开:模型不只要知道某个术语,还要知道当前问题要求保留原文、给出标准名,还是完成本体编码。对于医疗后训练而言,任务说明、字段模板、允许使用的词表版本和缺项写法,都应该是数据契约的一部分,而不能依赖标注者的临场理解。

第一类是医学信息抽取(IE)。它的任务是把病历内容结构化提取出来,不做标准术语命名,也不做编码。典型字段包括主诉、症状、体征、既往史、用药史、过敏史、实验室或其他检查、影像/内镜信息和初步诊断。IE 的核心是“忠于文本”:出现什么就抽取什么,没有出现的字段写“未提及”或“未及”,而不是留空;“考虑”“可能”“待定”仍要保留其不确定性,不能被改成确定诊断。IE 可以有较丰富的槽位和多值字段,但每个字段的粒度必须事先约定,例如检查结果是保留原始数值与方向,还是仅保留阳性/阴性;影像或内镜结论是否与所见分开存储;用药是否需要剂量、频次和时间范围。若这些问题没有冻结,所谓“信息覆盖率”会把格式差异误判为医学错误。

第二类是医学命名实体识别(NER)。NER 不是把整段病史复述一遍,而是在原文中识别明确出现的疾病、症状和体征,给出实体边界、实体类型及标准中文术语。项目要求不扩写、不推断、不做语义更改,也不要求输出编码。因而“胸闷”和“活动后气促”应分别作为文本中出现的实体处理,不能因为二者共同出现就增加“心力衰竭”;“既往高血压”可以标为疾病实体,但不能把未出现的并发症补进来。NER 的边界规则也需要写进指南:修饰词如“活动后”“夜间阵发性”是否属于实体 span,取决于标签协议,但一旦确定,训练、评估和回修必须始终一致。标准化只应作用于术语命名,不应改写原文 span 或改变否定、既往和不确定语境。

第三类是实体映射与本体对齐,项目聚焦症状/体征到 HPO 节点的映射,不处理疾病。它要求输出原文表型、标准英文术语和 HPO 编码,并遵循“一条症状对应一条映射、不合并”的规则。最关键的验收点不是模型能否找到一个相关词,而是能否选择与文本含义匹配的、尽可能具体的节点,避免用父级或过宽节点代替有明确修饰信息的表型。HPO 本身是为人类疾病表型提供标准化词汇和逻辑结构的资源,支持语义相似性、机器学习和跨数据源互操作;2024 年资源更新还报告了术语、注释和多语言支持的持续维护,并推进与电子病历及 Phenopacket Schema 的整合。1 这意味着本体映射不能只把编码当成静态字符串,而应记录 HPO 版本、候选术语、映射依据和无法精确匹配时的处理方式。

三类任务的输入输出边界与推荐后训练链路(技术示意,不表示真实患者、实验完成或临床诊断)查看完整技术图(可放大)

图 1|三类任务的输入输出边界与推荐后训练链路。技术示意,不表示真实患者、实验完成或临床诊断。

数据设计要让“不要推断”可执行

项目把数据分为 IE、NER 和表型映射三种类别,并要求按基础医学、临床医学、公共卫生与流行病学、中医与中药学等方向组织。需求还进一步列出了二级学科覆盖下限:IE、NER 和本体对齐分别有不同的类别数量与每类最低样本要求,不能用一个总量掩盖学科分布失衡。这些数量与交付节奏属于项目 SOW 约定,公开分析不应将其写成朗慧的库存或现货承诺;实施时还要核对样本可读性、授权范围和分层是否达标。更稳妥的实现方式是建立三层索引:任务类型—一级方向—二级学科,再附加文本来源类型、长度区间、字段缺失模式和难例标签。这样做的目的不是追求目录看起来齐全,而是让训练、抽检和外部验证能回答“模型在哪个任务、哪类文本、哪个学科上出错”。

每条样本应至少保存任务类型、学科、Context、Query、Response 和数据版本。对于 IE,Response 采用冻结后的 JSON 字段集合;对于 NER,建议使用包含原文 span、起止位置、实体类别和标准术语的结构;对于 HPO 映射,保存原文表型、标准术语、HPO 标识和候选/拒绝原因。JSONL 适合训练和流式校验,Excel 可以作为专家审核或问题回修界面,但不能把表格中视觉上相邻的单元格当作语义关系。任何从 Excel 导出到 JSONL 的过程,都应检查编码、换行、数组顺序、空值和重复 ID。

“Context+Query+Response”还应约束临床时间和证据来源。当前需求的示例主要是单个病历片段,并未规定患者级纵向配对、跨次就诊关联或影像与文本的同步键,因此不能在数据说明中虚构纵向队列。如果后续目标确实包括病程跟踪,应另行定义患者级或就诊级拆分、时间窗、允许引用的历史记录和防止同一患者泄漏的规则。对训练集、验证集和测试集,至少要按患者、就诊或原始文档进行隔离,而不能随机切分相邻句子;否则同一套模板和同一病例事实可能同时出现在训练与验收中,得到的分数无法代表外部泛化。

IE、NER、HPO:三条算法路线不能只靠一个提示词

IE 更适合“先定义模式,再做受约束生成”。模型可以使用任务标记、字段说明和少量示例进行 SFT,解码阶段用 JSON Schema 或字段级约束减少缺键、错类型和非法数组。对初步诊断等高风险字段,训练样本必须保留原文中的不确定词;奖励模型(RM)可以将“字段完整、忠于证据、未添加未提及内容、格式可解析”作为独立评分维度,而不是只看语言流畅度。对“未提及/未及”也要作为显式类别训练,避免模型通过空值逃避判断。

NER 则需要把边界识别、实体类别和标准命名分开评价。可以先用序列标注或 span 分类得到候选实体,再用术语检索与上下文重排完成标准术语命名;若直接让生成模型一次性输出,必须在解析器层检查 span 是否能回指原文、类别是否属于当前任务集合、标准名是否来自规定版本的词表。2024 年 JAMIA 的一项研究在两个临床 NER 任务上比较了 GPT-3.5、GPT-4 与 BioClinicalBERT,并发现把任务定义、格式说明、标注指南、错误分析指令和少量标注样例组合进提示后,模型表现明显改善;但其测试数据与任务类型是特定的,研究结果不能直接转换为本项目的临床效果保证。2 这项研究对数据设计的启示是,标注指南不是交付附件,而是模型可利用的监督信号;同时,提示工程的收益仍需在本项目的学科、语言和词表上独立验证。

HPO 映射需要另设候选生成、层级约束和人工复核。推荐流程是先确认原文表型边界,再生成同义词或候选 HPO 术语,随后依据修饰词、部位、时间和程度做上下文消歧,最后检查编码有效性、节点层级和“一症一编码”规则。候选召回可以使用 HPO 浏览器或版本化发布文件,但不能因字符串相似就自动选择父节点。对“无法在当前文本证据下精确映射”的情况,最好设计明确的拒答或待审核状态,而不是强行输出一个看似相关的编码。HPO 资源的持续增补、多语言翻译和跨系统整合说明术语会随版本更新,因此每批数据必须绑定版本和发布日期,回归测试也要覆盖术语废弃、重命名和同义词变化。1

实体识别和本体映射还可能服务于后续上下文检索,但二者的目标不能混淆。npj Digital Medicine 2025 年发表的 CLEAR 研究把临床实体识别、实体筛选、词表增强和上下文窗口检索组合起来,在其 2 万份临床记录和 18 个变量的特定实验中,实体增强检索相较嵌入检索和整篇输入取得更高平均 F1,并降低了输入 token 与推理时间。3 研究同时显示,去掉初始 NER 会使部分变量的下游抽取明显下降,提示“词表补全”不能替代对临床文本自然变体的实体识别。对于本项目,这支持把 NER 作为独立可审计的中间产物,而不是把所有实体召回都藏在一个后处理脚本里;但其数据来自特定 EHR 场景,不能据此宣称任何专科或中文文本都具有相同表现。

标注专家的职责是定义证据边界

需求要求由有真实科室规培经历的人员和三甲医生参与,并按学科安排医生、规培生或医院实验室科研人员。公开稿不应把这一人员画像写成某个企业已有的固定库存或独立认证;在项目执行中,应把角色、准入、培训、盲审与仲裁写成可核查的任务文件。基础医学、临床医学、公共卫生和中医药文本的术语边界不同,不能用一个通用示例包覆盖全部学科。

首轮标注者负责根据指南做原始判断,但不能单独决定有争议的本体节点。复核者应看到原文、Query、候选标签和规则版本,重点检查实体边界、否定/既往/不确定状态、检验与影像字段完整性、HPO 层级和编码有效性。仲裁记录应保留分歧类型、最终选择、规则条款和是否需要更新指南。若某一争议反复出现,正确动作不是悄悄修改旧标签,而是新增规则版本并对受影响样本回溯。

真实研究也说明专家一致性不是装饰指标。Scientific Reports 2025 年一项临床报告结构化抽取研究使用多个肿瘤相关报告集,比较开放模型、微调模型与第二位人工标注者;研究将完整字段 exact match、F1、置信区间和人际一致性同时纳入评价,并报告不同数据集的 Cohen’s kappa 存在差异。其误差复核还发现,遗漏标本来源、左右侧混淆和长报告中的多字段复杂性都是常见原因。4 这类结果不能直接外推到本项目,却说明“专家参与”仍需要具体化为双标、分歧抽样、独立测试集和问题归因,而不是只在人员画像中写一个职称。

验收要同时看覆盖、忠实性和可复现性

需求给出了统一的合格样本率要求:每批至少抽检 5% 或 200 条,合格率达到 90%,低于要求则返工。这个门槛可以作为项目级起点,但不应把不同任务和学科混成一个平均数。更可执行的验收矩阵如下。

对于 IE,第一层是字段覆盖完整性,第二层是与原文的忠实性,第三层是字段结构一致性。漏掉明显症状、体征、检查或影像结论应扣分;自行补写未提及信息、把“可能”改成确定诊断、或者改变病史语义,应视为严重错误。除样本级通过率外,还要报告字段级召回、错误类型分布和 JSON 可解析率。

对于 NER,应分别报告实体边界的 precision、recall、F1,实体类型准确性和标准术语命名准确性。严格匹配与宽松匹配要分开,避免边界错误被宽松指标掩盖。测试集必须包含否定、既往、缩写、同义表达、复合症状和跨行文本;实体类型只覆盖任务规定的疾病、症状和体征,不能把“检查结果”或“治疗建议”混进 NER 标签。

对于 HPO 映射,不能只计算编码字符串是否相等。应检查原文表型是否被完整识别、标准英文术语是否与编码一致、编码是否属于当前 HPO 版本、是否误用父节点、是否把多个表型合并,以及在证据不足时是否正确转为待审核。可进一步将“精确节点正确率”和“层级可接受率”分开,但不能用后者替代项目明确要求的最具体节点。

面向三类任务的专家复核、抽样验收与外部验证(技术示意,不表示真实患者、实验完成或临床诊断)查看完整技术图(可放大)

图 2|从标注到验收的误差链路。技术示意,不表示真实患者、实验完成或临床诊断。

抽检还应按任务、二级学科、文本长度、字段缺失、术语难度和标注者分层。需求中的“每批抽检 ≥5% 或 ≥200 条”应在项目书中明确取较大者还是按各批独立执行,并保留抽样种子、样本清单、复核人和回修版本。报告通过率时给出置信区间和分层结果,比公布一个没有分母的“准确率”更有解释力。对于训练与测试共享模板、同一病例或同一来源文档的情况,应标记潜在泄漏,不把泄漏后的高分当作外部验证。

外部验证至少要从来源机构、专科分布、文本风格、记录长度、术语版本和数据生成方式中选择新的维度。若项目只提供一种来源文本,文章应明确这是内部验收而非多中心临床验证。模型研究中的 F1、exact match 或一致性,代表特定数据和任务条件下的研究表现,不等同于诊断准确率、患者获益或监管批准。任何上线前试运行,也应先在脱敏、权限和审计机制下进行,并将模型版本、提示词/模板、词表版本和数据版本一并记录。

在指标解释上,还要把“样本合格”与“字段正确”分开:一个样本即使 JSON 可解析,也可能漏掉关键检查;一个实体即使边界正确,也可能被命名到错误词表;一个 HPO 编码即使格式合法,也可能选中了过宽的父节点。项目报告应同时保留样本级判定、字段级错误和跨版本回归结果,便于研发团队定位是数据规范、标注执行还是模型解码造成的偏差。

业务落地应从可回溯的小批试标开始

对数据采购和研发团队而言,最有价值的交付不是一批看起来“医学味很足”的问答,而是可回溯的任务规格、样例集、标注指南、版本化数据卡、质量记录和问题回修包。第一步可以用少量跨学科样本验证字段和本体边界;第二步冻结 Query 与输出 schema,分别进行 IE、NER 和 HPO 的双人试标;第三步建立独立测试集和难例集,再决定是否进入批量交付。任何扩充学科、变更 HPO 版本或更换文本来源,都应触发影响评估,而不是直接追加到旧数据尾部。

从已核验的公司能力边界看,朗慧定位为 AI 数据基础设施与流程服务商,LangData 覆盖采集、处理、标注、质检和数据交付;AI Coding 栏目也强调后训练、任务/轨迹/评分和分批验收。这样的定位可以支持把本项目拆成规格、样例、质检记录和交付版本,但不能据此宣称已有固定规模的医疗后训练现货、已完成该项目、拥有某个专科的独立临床证明,或能够保证模型诊疗效果。实际授权范围、专家配置、周期、数据来源和验收阈值,仍需在书面项目文件中逐项确认。

三类任务的真正研发价值,在于让模型学会尊重证据边界:IE 负责不漏地结构化原文,NER 负责在原文上标出并命名实体,HPO 映射负责把明确表型接到可计算的标准节点;它们可以串联,却不能互相替代。把任务契约、术语版本、专家分歧、抽样验收和外部验证记录下来,才能让后训练数据从“医学文本集合”变成可审计、可迭代、可比较的研发资产。

参考来源

  1. The Human Phenotype Ontology in 2024: phenotypes around the world
  2. Improving large language models for clinical named entity recognition via prompt engineering
  3. Clinical entity augmented retrieval for clinical information extraction
  4. Human-level information extraction from clinical reports with fine-tuned language models