跳至正文
朗慧科技

MEDICAL DATA RESEARCH

多模态医疗数据集的难点不在“模态齐全”,而在检查级关联能否复核

面向医疗AI研发与数据采购,拆解内镜、MRI、X线、CT和超声数据的检查级索引、证据分层、模态质控、患者级划分与版本化验收,说明如何把多模态文件组织成可复核、可追溯的研究资产,并明确动态模态试标边界。

临床文本与纵向多模态AI辅助整理 · 研发交流

当一个研究队列同时包含消化道内镜视频与关键帧、多个序列的磁共振、胸部X线、头部CT、上腹部CT以及不同部位的超声时,最先需要回答的不是“能凑出多少文件”,而是:一条影像、一个检查、一个报告、一项测量和一个标签,是否仍能被另一位研究者沿着同一条证据链重新对应?如果只能看到一批彼此孤立的DICOM、视频、截图和文本,模型或许能完成一次训练,却很难解释某个样本为何进入队列、标签依据是什么、缺失是否被误当成阴性,也无法在后续修订时准确追回受影响的批次。

这类需求适合被改写为匿名的医学数据工程问题:以检查级索引为骨架,把影像、视频、关键帧、报告、结构化标签、病灶或解剖对象、质量记录和使用权限连接起来;同时为不同模态保留各自的采集条件与失败规则。它不是某一家机构的现货清单,也不应公开原始病例、内部报价或来源名单。本文只讨论怎样把类似需求整理成可训练、可复核、可验收的研究数据资产,不对任何个体作诊断,也不把研究数据的实验结果表述为临床效果。

一、先把“医疗数据集”拆成可验证的临床任务

源需求覆盖的对象并非单一病种,而是多个解剖部位和模态。内镜部分的核心关系是视频与检查报告、关键帧与报告中具体发现之间的对应;磁共振部分更像多序列完整性、检查方法、部位、影像所见和诊断意见的组合;胸部X线与头部CT强调原始影像、报告和结构化疾病字段的配对;上腹部CT涉及器官和病变描述;超声则同时包含影像、检查部位、探头或切面语境、测量信息与文字结论。它们可以共同进入多模态预训练或监督学习,但不应被压成一个没有任务边界的“大包”。

从研发角度,至少要分别写出四类任务。第一类是影像—文本配对与信息抽取,模型输入是单次检查的影像或视频及其报告,输出可以是报告中的结构化征象、否定或不确定表达,或者用于检索的语义表示。第二类是检查级分类与分层,输入是一次检查或一组序列,输出是项目定义的疾病代码、解剖部位、严重程度或确定性标签。第三类是对象级任务,例如病灶、器官、血管或其他解剖区域的框、轮廓、测量和属性;只有在字典中明确了对象、边界和标注层级,才适合进入分割或检测管线。第四类是质量与可用性判断,输入是文件、序列、视频帧或超声切面,输出是可用、需复核、不可用及原因,而不是把低质量样本默认为阴性。

这几类任务的粒度并不相同。报告中的一句否定语句是文本片段级证据,疾病编码可能是检查级标签,病灶位置与大小是病灶级字段,MRI序列缺失和视频遮挡则是序列或帧级质量字段。若在同一列里混放这些概念,模型训练会把“没有记录”“没有发现”“不适用”和“确认阴性”混为一谈。需求评审时应要求每个标签同时写出所属粒度、证据来源、允许的空值、确定性状态和是否允许人工推断。

CLAIM 2024清单将数据来源、纳排标准、预处理、去标识、缺失处理和成像协议列为应明确报告的内容,并要求说明参考标准来源、标注者资质、分歧处理及数据划分层级。1 这套思路对采购和研发同样有用:在讨论规模之前,先让每个任务拥有独立的样例、定义和失败原因,后续才可能复现。

二、检查级索引是多模态数据的主干

一套可复核的数据目录不应以文件路径为主键,而应以稳定的伪匿名对象关系为主键。最低层可以包含伪匿名受试者、检查、序列、视频、关键帧、报告、发现、病灶或解剖对象、标注和交付批次等实体。每个实体需要有内部唯一标识,但公开给模型或研究者的标识应经过项目规定的去标识与权限控制。检查级ID连接同一次检查的多序列;序列级ID连接影像文件、方向、间距和重建信息;视频级ID连接帧率、持续时间、解剖段和关键帧;报告级ID连接原文、结构化发现和标签来源。

这种结构不是为了增加字段数量,而是为了避免三个常见错误。第一,把同一检查的平扫、增强或不同MRI序列拆成互不相干的样本,模型就无法知道输入之间的临床关系。第二,把报告、截图和视频按文件名相似度匹配,遇到改名、重复导出或多次检查时就会静默错配。第三,把一个检查内的多个发现压缩成一串疾病名称,丢失位置、大小、确定性、严重度以及“报告提及但图像质量不足”的差异。

建议将索引分为四层。第一层是来源与血缘,包括数据接收批次、原始对象类型、导入时间、转换状态、去标识状态、版本快照和质量门禁结果。第二层是成像上下文,包括模态、解剖部位、检查方法、序列描述、是否主序列或派生序列、层厚、图像数量、方向、像素间距和必要的采集参数。第三层是临床语义,包括所见、印象、阴性、未确定、疾病代码、疾病名称、阳性类型、标签层级、确定性、严重度、解剖位置和病灶大小。第四层是标注与权利,包括标注类型、格式、路径、绑定文本片段、图像质量等级、质量问题、审核状态、去标识状态、商业使用、第三方处理、再分发和许可证明索引。

影像与报告的配对不能只依赖自然语言相似。跨机构数据整合研究显示,真正的多模态互操作需要正式的数据表示、共享词表以及对其他元数据的明确引用;数据匹配既有技术问题,也有治理和访问权限问题。2 因此,配对键应由可追溯的检查、序列、报告和视频关系组成,文本相似度最多作为辅助异常检测。对无法确认的一对多或多对一关系,应标记为待核,而不是选择一个“最像”的对象。

多模态医疗数据从入库到可复核交付的检查级结构示意查看完整技术图(可放大)

图1|检查级索引、模态专属上下文和研究输出的技术示意;不含真实患者、病例或实验结果,不表示已完成采集或临床验证。

三、不同模态必须有不同的准入问题

内镜视频的质量不是“文件能播放”这么简单。应检查视频是否完整可解码,照明是否足以辨认目标黏膜,是否存在大量血液、泡沫、反光或运动遮挡,帧率和时间戳是否可读,解剖段是否有明确记录。关键帧不能只是一张随机截图,而要能回指视频时间点,并说明它与报告中的哪一条发现或描述段落对应。报告提到的病变若没有可定位的关键帧,应保留“文本有描述、图像未核实”或“需复核”状态,不能自动转成阳性图像标签。视频中的操作记录、压力或器械信息若进入数据集,也应单列来源和权限,不把治疗过程中的内部信息混入普通影像字段。

磁共振的准入重点是序列和空间语境。多序列是否齐全、序列顺序是否可信、方向和层面位置是否一致、关键序列是否有严重伪影、检查部位是否与目录相符,都应在入库时记录。头部、上腹部、胰胆管或直肠等任务的序列集合并不相同,不能用“MR完整”这一句替代项目字典。缺失序列不是简单的空值:它可能意味着样本不适用于某个任务,也可能只适用于另一条研究路线。重采样、配准或格式转换应留下软件版本、参数和前后空间元数据,避免下游把转换后的体素当成原始采集事实。

胸部X线与头部CT需要把“可读”与“临床语义完整”分开验收。DICOM对象可以打开,并不代表检查范围、层序、层厚、平扫与增强状态或报告配对正确。对X线,应核对投照部位、体位、图像质量和报告中位置、大小等描述是否能在可视范围内找到依据。对头部CT,应核对平扫和增强序列是否完整、是否存在缺层、错序、严重伪影或未说明的压缩损失。报告中“未见异常”“建议进一步检查”和“可能”是不同语义,结构化字段必须保留否定、不确定与建议性表达的边界。

上腹部CT容易出现“病种范围很宽、证据层级很窄”的问题。平扫可支持的观察与增强检查、MRI或超声才能判断的内容不能被统一成同一种确定标签。一个报告提及的器官、结节、囊肿、结石或其他异常,应区分所见文本、印象文本、疾病编码和人工复核结论。若研究只需要检查级文本—标签配对,就不要顺手添加未经授权的分期、良恶性或病理字段;若任务确实需要这些输出,则应另行指定证据来源和专家裁决流程。

超声的可重复性更依赖采集条件。设备、探头、预设、扫查部位、切面、单帧或电影环、帧率、测量点和单位,均可能改变模型看到的信号。质量字段需要区分遮挡、增益不当、声窗受限、未达到约定切面以及报告与图像冲突。图像和报告不一致时应标记冲突,交给既定的复核角色处理,而不是在没有证据的情况下让一方覆盖另一方。已有某种CT或MR预标注工具,也不能直接证明其适合超声;是否使用预标注应在专项试标中验证。

DICOM去标识也不能被写成“删掉患者姓名”这一句。DICOM PS3.15明确提醒,属性保密配置并不保证信息对象已经完全去标识,也不能替代对用途、接收方、适用法规和再识别风险的完整流程。3 对影像要检查元数据、私有属性和像素中的烧录文字;对报告、视频、关键帧和结构化表,要检查自由文本、文件名、时间字段、画面叠加和交叉表连接。去标识状态、授权状态和可再分发状态必须分开记录,去标识不等于可以公开传播。

四、标注主体和算法路线要围绕证据层级设计

报告自动抽取、医学人员结构化复核和影像对象勾画不是同一种标注。可以把专家工作分为三个角色:领域标注者按字典记录可见事实;独立复核者检查边界、语义和证据对应;仲裁者处理高风险或无法通过规则解决的争议。每个角色的资格、培训版本、审核范围、是否看到前一位结果以及修改理由,都应作为内部质量记录,而不是对外笼统写成“专家标注”。如果标签来自既有报告或编码,也要明确它是弱标签、原始临床记录还是经过复核的参考标准。

建议在指南中同时提供通过样例、退回样例和不确定样例。通过样例说明什么可以进入训练集,退回样例说明哪些文件或语义不可用,不确定样例说明何时保留“未知”“冲突”或“待裁决”。对内镜关键帧、超声切面、MRI序列缺失、CT报告否定语句等高风险边界,应增加分层抽检。质量不是所有样本都得到一个漂亮的确定标签,而是同一反例能否由不同审核者得到一致的退回理由。

在算法上,可采用“单模态编码器加检查级融合”的路线。影像序列由适配其空间结构的编码器处理,视频由时间维度编码器处理,报告和结构化字段由文本或表格编码器处理,最后在检查级或事件级做融合。这样既能利用共同的检查ID,又不会强迫缺失模态被填成伪影。对于报告驱动的弱标签,应设置人工复核子集,用于估计抽取误差;对于病灶或器官标注,应把对象ID、坐标和版本字典一并输入数据管线。多任务训练可以共享基础表示,但每个任务仍需有自己的参考标准、纳排条件和评价口径。

算法路线不能替代数据划分。医学影像中的多个切片、序列和复查检查通常来自同一受试者,按图像随机切分会把近重复或相邻信息分到训练集和测试集。相关方法学综述指出,即使按序列或检查切分,也可能保留同一患者的相似信号;患者级划分是防止此类泄漏的基本做法,某些场景还需要按机构级隔离。4 因而,索引中应保留内部伪匿名受试者ID,即使最终模型只使用检查级输入,也要用它生成互斥的训练、验证和测试清单。报告文本的重复模板、同一检查的派生图像、视频关键帧和同一时间窗的多次导出也要参与近重复审计。

FDA介绍的GMLP原则强调代表性数据、与预期用途相匹配的测试、独立测试数据以及全生命周期的风险管理。5 对这类宽模态需求而言,外部验证不应只是在另一个随机文件夹上重跑一次。至少应按采集设备、机构、协议、部位、病种或标签确定性分层,报告缺失模式和质量等级,并解释外部集与训练集在字段定义上的差异。外部验证观察到的性能变化是研究证据,不是临床获批或诊断效果证明。

五、把验收设计成逐级门禁,而不是最后看一个总分

第一道门是来源与用途门禁。每个批次要有来源类别、授权范围、伦理或治理状态、第三方处理限制和再分发限制的可核验记录。授权文件的存在不等于授权范围覆盖训练、评测、商业使用和对外共享;如果用途边界还没有确认,样本应进入待核队列。数据字典和样本说明应隐藏内部路径、人员名单和合同价格,只保留可审计的范围、状态和版本。

第二道门是文件与元数据门禁。程序检查格式、解码、文件完整性、序列连续性、DICOM方向、层厚、图像数量、视频帧率、时间戳和像素烧录信息;失败样本记录具体原因,不以“整体可用”抹平。转换为NIfTI或其他科研格式时,要同时保存原始对象的引用关系、转换工具版本和关键空间参数。对报告或表格,检查编码、字符完整性、字段类型和空值规则,防止一部分样本使用“无”,另一部分使用空字符串或魔法数字。

第三道门是关联与语义门禁。按检查、序列、视频、关键帧、报告和标注逐层核对。视频关键帧应能回到时间戳,报告片段应能回到报告记录,病灶或解剖对象应能回到影像坐标和标注版本。标签字典要规定编码、同义词、废弃值、层级和来源;“未观察到”“未检查”“不适用”“无法判断”和“发生冲突”不可共用一个空值。任何无法独立复核的关联都应进入待裁决清单。

第四道门是分布与研究可用性门禁。统计不同模态、部位、设备、序列、质量等级、标签确定性和人群分层的缺失情况,检查重复、时间漂移和机构聚集。2025年针对多中心癌症影像库的质量框架把完整性、有效性、一致性、完整性保护和公平性作为五个维度,并结合去重、标注核验、DICOM元数据和匿名化检查。6 这提示采购验收不应只问“文件能否打开”,还要问“缺失和偏差是否被记录”“哪些亚组从未进入测试”“哪类质量问题最可能影响模型”。

第五道门是交付与冻结。交付包至少包括数据字典、索引清单、标签或字段映射、样例和反例、质量摘要、失败原因、去标识与授权状态、划分清单、版本号和变更说明。训练集、验证集和测试集的生成规则要冻结;任何改字段名、改变标签含义、重新配对或修订去标识规则的行为,都应创建新版本并说明影响范围。对于影像—文本数据,公开数据集ROCOv2的做法也说明了图像、医学概念和说明文字之间的结构化配对可以支持概念检测、图文检索和报告相关任务,但其授权、来源和任务范围必须与新项目分别核验。7

多模态医疗数据的五级验收门禁与外部验证示意查看完整技术图(可放大)

图2|从来源治理到外部验证的逐级门禁技术示意;阈值、抽样比例和任务结果需由具体项目书面确定,不表示本项目已完成验收或模型实验。

六、采购与业务落地:先做样例评估,再谈规模

对于这类跨模态数据,业务上至少要把数据获取、数据整理、专家标注、平台或环境、质量复核和后续更新拆开。一个批次是否有视频,不代表视频已经完成关键帧对齐;有MRI,不代表所有序列都可用于同一个任务;有报告,不代表疾病字段已经经过独立裁决。将这些工作折叠成一个“医疗数据集”单价,会让范围变化在交付阶段才暴露,也会把返工责任和验收依据混在一起。

更稳妥的路径是先做小规模样例评估。样例应覆盖每一种计划使用的模态和至少一个高风险边界:报告与图像不一致、关键帧无法定位、序列缺失、超声切面不合格、影像质量不足、标签不确定或权限待核。评估报告只记录通过、退回、待补齐、责任角色和下一版变更,不把试标结果写成整库能力或临床效果。只有在字典、权限、样例、复核流程和停线条件均清楚后,才讨论分批扩展。

在已核验的公司能力范围内,朗慧的定位是AI数据基础设施和流程服务商,覆盖数据采集、处理、标注、质检和交付;医疗栏目提供按部位、模态和任务组织的需求评估入口,质量交付侧强调项目规格、数据卡、样例、质量记录和版本管理。这个定位适合承接结构化需求拆解、目录设计、项目化标注与质量交付的讨论,但不等于任何模态都有现货,也不替代数据所有者的授权、伦理审查或医学结论。尤其是动态内镜和超声等任务,应单独确认采集条件、工具链、人员资质和验收方式,不能由CT或MR的公开能力自动推断。

对模型研发团队,最终有价值的不是“模态数量”这个宣传数字,而是能否从一个输出反查到检查、序列、报告、标签来源、质量状态和版本。对采购团队,关键不是先拿到一份很大的文件,而是能否用独立样例重做准入判断。对质量团队,则要保留失败样本、争议记录和变更影响,让下一轮训练不会无意间重用旧标签或泄漏测试信息。把这些要求写进同一套索引、字典和冻结规则,多模态数据才从文件集合变成可以迭代的研究基础设施。

本文面向医疗AI研发、数据采购和质量管理人员,不提供患者个体的诊断、治疗或用药建议。文中的模态组织、索引字段和验收门禁是脱敏后的技术分析;具体数据来源、授权、伦理、字段范围、阈值和交付状态必须以项目书面文件和适用法规为准。

参考来源

  1. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update
  2. Multimodal data curation via interoperability: use cases with the Medical Imaging and Data Resource Center
  3. DICOM PS3.15 2026d: Attribute Confidentiality Profiles
  4. Mitigating Bias in Radiology Machine Learning: 1. Data Handling
  5. Good Machine Learning Practice for Medical Device Development: Guiding Principles
  6. A Multi-Dimensional Framework for Data Quality Assurance in Cancer Imaging Repositories
  7. ROCOv2: Radiology Objects in COntext Version 2, an updated multimodal image dataset