跳至正文
朗慧科技

MEDICAL DATA RESEARCH

医学多模态训练数据,如何从“配在一起”走向“可验证”

面向医疗AI研发团队,系统拆解影像、病理、报告与临床变量的病例级配对、标签责任、专家复核、缺失模态处理、训练留出隔离和失败回流,把多模态数据规格写成可复核的交付与验收路径。

临床文本与纵向多模态AI辅助整理 · 研发交流

为什么同一病例的影像、病理切片、报告和临床变量放进同一个文件夹,仍然不能直接称为多模态训练样本?真正的难点不在于把文件传进同一平台,而在于证明它们描述的是同一次临床事件,标签位于哪一个解剖或时间层级,文本中的判断能否由影像证据支撑,以及模型在缺失某一模态时应当如何处理。医学AI研发若跳过这些定义,后续的微调、私有评测和外部验证很容易把“关联错误”误认为“模型推理错误”。

一份面向医疗AI研发的数据需求,首先应被写成可以验收的技术任务,而不是“多模态数据越多越好”。输入可以是DICOM影像、数字病理图像、放射或病理报告、结构化临床变量,也可以是同一受试者在不同时间点的随访记录。输出则要按任务拆开:影像侧可能需要器官、病灶或体积区域的掩膜,报告侧可能需要实体、属性、否定、时间和确定性标签,临床变量侧需要值、单位、采集时间和缺失原因。若目标是视觉问答或报告生成,还要规定问题—答案对、证据区域、拒答条件和偏好比较,而不能只交付一列自由文本。

先把病例关系建成数据结构

病例级关联至少要区分受试者、检查、序列、实例和感兴趣区域。患者级主键只能说明“可能来自同一个人”,不能证明一份增强CT、一份病理切片和一份报告属于同一检查或同一病灶。DICOM把影像组织为Study、Series和实例,并为影像报告提供将图像、测量、标注及分析结果作为证据引用的编码框架。5 HL7 FHIR的ImagingStudy也把检查、序列、模态、解剖部位和访问端点拆成可检索字段,同时明确非DICOM媒体不能简单当作影像检查的一部分。6 这些标准不是训练标签本身,却提示了一个重要设计原则:原始标识、研究内部键、可交付数据键和模型输入键应分层保存,脱敏后仍要保留受控的关联能力。

病例级多模态配对的技术链路示意:从来源治理到研究键、标签关系和交付对象。查看完整技术图(可放大)

图1|技术示意,展示病例级多模态样本的结构关系;不表示真实患者、真实数据或已完成的实验结果。

在入库阶段,建议为每个对象生成不可回推个人身份的研究键,并分别记录来源、授权用途、采集时间粒度、模态、设备或协议摘要、数据处理版本和质量状态。研究键之间要有显式关系,而不是依靠文件名或人工记忆。例如,影像检查可以关联到报告,但病灶区域还要关联到具体Series、切片范围或三维坐标;病理图像可以关联到取材块、切片和报告结论,但不能把同一患者另一时间点的复发标本静默合并。临床变量也要写明是检查前、检查时还是随访后的值,避免时间穿越。

多中心项目尤其要建立“可配对”和“不可配对”的状态。缺少检查时间、序列不完整、报告主体不明、病理切片质量不足或变量单位无法解释时,样本不应被迫填入正样本。可将其放入待核对、部分可用或排除队列,并记录原因。这样做会减少表面规模,却能避免训练时把错误关系固化为捷径。交付时应同时给出关系表、排除表和版本快照,让下游团队知道哪些模态缺失是自然现象,哪些缺失源于质量门禁。

让不同模态承担不同的标签责任

影像标签不能替代报告标签。以胸部CT为例,影像任务可以输出肺结节的三维掩膜、位置、大小和可见性;报告任务则需要抽取“结节”“左下叶”“稳定”“建议随访”等实体及其属性,并区分否定、推测和既往比较。NEJM AI发表的ReXGroundingCT将自由文本发现连接到胸部CT三维分割,采用报告标准化、异常抽取、层级分类和体数据标注的多阶段流程;训练集使用代表性实例控制工作量,而验证集和测试集进行完整标注,说明“文本—区域”关系本身就需要独立的数据设计和评价集。1 研发团队可以借鉴这种颗粒度划分,但不能把该研究的样本或指标移植成自己的验收承诺。

病理模态的粒度又不同。全切片可以先按切片、组织区、肿瘤区或感兴趣视野组织,再决定是否输出细胞、腺体、间质或免疫染色相关标签。报告中的诊断结论可能是病例级,不能自动下推到每一个视野;临床变量也不能被当作图像区域的标签。对每个标签,应注明观察单位和证据范围:是病例、检查、切片、区域、病灶,还是句子中的一个实体。若一个标签来自专家解释而不是图像直接可见事实,交付结构中应保留标签来源和证据类型。

文本标注还要处理否定、模态词和时间。 “未见明确结节”与“见结节”不能只用正负二分类表示;“考虑”“倾向于”和“不能除外”代表不同的确定性;“较前缩小”则依赖纵向参照检查。把这些差异压成单一疾病标签,可能提高表格整齐度,却会损害报告生成、检索增强和临床问答的可解释性。建议把实体、属性、关系和证据分开存储,并用标签字典冻结编码、同义词、禁用别名和版本变更。

临床变量要附带单位、参考范围、时间锚点、来源字段和缺失机制。年龄、实验室数值、分期、治疗状态或结局都可能成为模型的有效信号,但也可能泄漏标签或把流程差异当成病因。对缺失值,要区分未采集、不可读、不适用和被授权范围排除。不能用一个默认值掩盖这些语义,否则模型会学到“缺失本身等于某种诊断”的偶然规律。

专家标注应围绕争议而不是只追求数量

多模态项目的标注主体需要按任务分层。影像轮廓由具备相应专科经验的标注者完成,病例级报告结构化需要熟悉报告语法和临床术语的审核者,病理区域与诊断依据则需由病理方向专家确认。任务负责人应负责指南和版本,执行者负责初标,独立审核者负责复核,仲裁者负责定义争议关闭条件。角色可以由同一机构承担,但在记录中不能合并成一个没有时间线的“专家已审核”字段。

指南应包含正例、阴性例、不确定例和跨模态冲突例。影像中可见而报告未提及的发现,是遗漏、非目标发现还是不应标注的偶然所见;报告写了异常但图像无法定位,是配对错误、文本错误、图像质量问题还是弥漫性表现不适合区域分割;病理结论与临床变量不一致时,是时间点不同还是数据录入错误。每类情况要有处置路径,必要时保留“不可判定”而不是强行选择一个标签。

盲审的目标不是把所有病例机械重复三遍,而是让关键判断可以独立复核。常规任务可以采用标注后独立审核,高风险病灶、跨中心差异明显的标签或可能进入产品研发的数据,应提高多盲交叉和专家仲裁比例。审核记录应包含依据的指南版本、修改前后差异、争议原因和最终状态。若AI预标注参与了初标,审核者还要能看到或控制模型草稿的可见性,避免把模型建议当成无偏参考。

跨模态一致性也要单独验收。可以抽取一批样本检查四种关系:病例键是否正确,报告实体是否能定位到指定影像或病理区域,临床变量的时间和单位是否一致,输出标签是否符合同一版字典。对关系失败的样本,记录“配对错误”“实体遗漏”“区域不可定位”“时间不一致”“单位异常”“标签定义冲突”等原因。这样的错误类别比笼统的“标注不合格”更能驱动后续补数和指南修订。

算法路线要服从任务与数据状态

当输入包含影像、病理、报告和结构化变量时,算法路线不应从某个基座模型名称开始,而应从输出任务和可用证据开始。影像分割、报告结构化、视觉问答、跨模态检索、风险预测和偏好学习的标签形态不同,训练目标也不同。可以在数据层先生成病例级配对样本,再按任务导出分割监督、指令—答案对、偏好对或检索正负对;同一原始病例可以派生多个训练视图,但必须带上来源链和用途边界。

专家修订后的答案适合进入监督微调,但“专家写过”不等于“适合用于所有任务”。报告生成要检查事实是否来自输入,问答要检查是否越过证据范围,区域定位要检查回答是否引用正确的Study和VOI。偏好数据还需要定义比较标准,例如事实完整性优先于文风,明确拒答优先于无证据推断。LoRA、QLoRA或全参数微调只是工程选型,取决于基座模型、显存、数据规模和许可边界,不能从数据交付自动推出通用性能提升。

真实研究也提醒我们,配对数据的质量与外部泛化同样重要。MIDAS以患者级配对的临床与皮肤镜图像建立前瞻性多模态数据,并用真实病例评估多个既有模型;在该基准上,四个模型中有三个出现部分性能下降,降幅因任务和指标而异,作者据此强调真实世界多模态基准和跨人群可迁移性的重要性。2 这并不意味着某一种模态一定优于另一种,而是说明验收不能只看训练集损失或供应方报告的单点指标。

如果真实报告不足,合成文本或结构化改写可以作为研究路线的一部分,但必须另设事实一致性门禁。2026年发表于npj Digital Medicine的一项研究从真实皮肤图像和元数据生成临床笔记,并在多个内部与外部数据集上考察跨模态检索和零样本任务;研究结果依赖特定的合成条件,且作者明确将幻觉风险视为多模态训练的核心问题。3 因此,合成文本不能自动进入终审通过集;应保留真实字段、生成版本、人工核验记录和适用任务,必要时只作为无标签或辅助训练数据。

评测集必须与训练链路隔离

多模态任务最常见的泄漏不是模型偷看一张图片,而是同一患者、同一检查或同一报告的不同派生对象分散在训练和测试集合中。拆分单位通常应至少到受试者级,纵向研究还要按时间和研究问题规定切分;同一病灶的多序列、同一份报告的改写版本、同一病理切片的不同裁剪不能被当作独立样本。内部验证可以检查流程,外部验证才更接近跨中心、跨设备、跨协议或跨人群的适用性。

评价维度也要随任务变化。分割看空间重叠、边界误差和病灶级检出,报告结构化看实体、否定、属性和关系,视觉问答看事实正确、证据支持、拒答恰当和幻觉率,检索看病例级召回和排序,风险预测看预先规定的终点、校准和不确定性。一个总准确率不能替代这些维度;Dice或一致率也不能单独代表临床正确性。指标、参考标签、抽样单位、置信区间和阈值应在试标前写进数据卡,不能等模型训练完再挑最有利的口径。

缺失模态也应成为评测设计的一部分,而不是被统一删除。现实的研究队列可能只有影像没有报告,或有报告但缺少可定位的区域;模型需要明确是拒答、降级为单模态任务,还是使用经过审核的替代输入。验收时可设置完整样本、单模态缺失、关键字段缺失和跨模态相互矛盾四类子集,分别记录可用率、错误类型和输出状态。若系统在缺失输入时仍生成确定性结论,问题就不只是分数下降,而是需要在任务规范中增加拒答和不确定性标签。这样才能把“支持多模态”从接口描述转化为可观察的行为要求。

外部验证要锁定模型和配置,先定义输入缺失时的处理,再运行独立数据。数字病理研究中,研究者曾用病理图像与临床变量建立多模态预后模型,并在不同的三期试验队列上验证锁定模型,说明临床变量可增加模型信息,但独立队列、质量合格的图像和预先定义的终点是验证成立的前提。4 该研究的疾病、结局和样本条件不能外推到其他病种;对数据项目的启示是,训练数据交付、私有留出题集和外部临床验证应在项目管理上分开。

建议建立“失败分类—定向补数—回归评测”的闭环。失败样本可以按配对错误、模态缺失、解剖定位错误、否定识别错误、时间关系错误、单位错误、跨中心偏差和无证据生成分类。每一类错误都对应不同的补救:重新核对关系表、增加边界样例、补充阴性与不确定例、修订标签字典、调整提示或模型输入,而不是无差别增加数据量。每次更新都应记录数据版本、指南版本、模型配置、评测集版本和变化影响范围。

从专家定稿到私有评测的闭环示意:草稿、终审、隔离评测与失败回流各有门禁。查看完整技术图(可放大)

图2|技术示意,展示多模态训练与评测的质量门禁;不表示真实患者、实际模型分数或临床效果。

把技术要求写成可交付的业务逻辑

一个可执行的项目可以按五个阶段组织。第一阶段明确临床任务、模态组合、病种或解剖范围、纵向关系、输出标签和排除项;第二阶段用脱敏且授权清楚的小样本进行配对核验,冻结最小标签字典;第三阶段开展受控试标,运行专家审核、争议仲裁和下游读取测试;第四阶段按训练集、内部验证集、私有留出集和必要的外部验证集分层交付;第五阶段用失败分类驱动补数或修订,并为每个新版本生成变更记录。

采购或委托服务时,验收对象不应只有文件数量。至少要检查:关系表能否在不暴露身份的前提下重建病例—检查—区域关系;影像、病理、报告和变量能否按任务粒度读取;缺失和排除原因是否可解释;专家、审核和仲裁责任是否可回放;训练与评测是否隔离;输出是否带标签字典、数据卡、质量摘要、版本号和已知局限。对多模态模型,还应要求一个包含冲突和缺失模态的验收子集,验证系统不会用一份错误的报告“修正”一张不匹配的影像。

从已核验的公司定位看,朗慧可将医疗数据治理、影像标注、专家复核、版本化交付和私有评测作为项目能力组合;其自研平台与数据服务适合支撑DICOM接入、标注状态、审核留痕、结构化导出和按项目定义的评测流程。这里的“适合支撑”只说明能力边界,不等于任一病种已有现货、任一模型已完成临床验证,也不等于获得监管批准。本文涉及的数字病理、报告与临床变量是多模态数据规格示例,不等同于病理全切片、视频或病历NLP已是平台默认范围;具体接入、标注与评测仍需用脱敏样例和书面规格核验。

对医院、科研团队和模型研发方而言,多模态数据的价值不在于把更多字段堆到一个样本里,而在于每条关系都能说明“为什么这样配”“谁确认过”“哪一版规则生效”“模型失败后怎样回到数据端”。只有把病例级配对、模态专属标签、专家争议处理、隔离评测和版本回归连成一条可审计链路,影像、病理、报告与临床变量才会从素材集合变成可复用、可验证的研发资产。研究效果仍需在目标任务和独立数据上验证,不能把数据质量控制直接表述为临床效果或诊疗建议。

参考来源

  1. ReXGroundingCT: A 3D Chest CT Dataset for Segmentation of Findings from Free-Text Reports
  2. Multimodal Image Dataset for AI-Based Skin Cancer (MIDAS)
  3. Synthesized clinical notes enable training robust multimodal AI models from unimodal dermatology datasets
  4. External Validation of a Digital Pathology-based Multimodal Artificial Intelligence Architecture in the NRG/RTOG 9902 Phase 3 Trial
  5. DICOM PS3.20 2026d - Imaging Reports using HL7 Clinical Document Architecture
  6. FHIR R4 ImagingStudy Resource