MEDICAL DATA RESEARCH
跨模态医学AI数据集:先把病例关系建对,再谈模型训练
面向医疗AI研发与数据采购,拆解内镜视频、MRI、CT、X线、超声、报告和结构化字段如何建立病例级关系,区分标签证据与不确定状态,并以多载体脱敏、患者级划分、外部验证和可复现交付构成可核验的数据验收路径。
当一项医学AI需求同时包含内镜视频、关键帧、DICOM影像、检查报告、结构化字段和标注文件时,最先要解决的往往不是选择哪一个视觉编码器,而是确认这些对象究竟是不是同一次检查、同一个受试者的同一段临床证据。若视频按文件切开,报告只剩一列自由文本,影像的序列和层面关系丢失,标注又没有稳定的病例级主键,后续模型即使在内部测试集上得到漂亮分数,也无法回答训练样本来自哪里、标签依据是什么,以及结果能否迁移到另一台设备或另一类人群。
这类跨模态需求可以匿名改写成一个独立的研发问题:如何把多种医学数据组织成可追溯、可复核、可分区、可在下游工具中重建的研究数据集。原始需求涉及消化道内镜、磁共振、胸部X线、头部和腹部CT、超声等模态,也涉及影像所见、诊断意见、关键帧描述、结构化测量、疾病标签和标注状态。公开讨论不需要保留任何病例级内容、样例地址、机构名称或授权链,只需把它们转化为数据结构、质量门槛、标注任务和验收逻辑。
先定义病例关系,而不是先汇总文件
跨模态数据的最小组织单位不应是单个文件。更稳妥的层级是“匿名受试者—检查—序列或视频—帧或影像实例—报告—标注对象”。一个检查可以有多套序列、一段完整视频和若干关键帧;一份报告可能描述整个检查,而不是其中某一张图;一次超声检查还可能同时包含影像、探头或扫查平面、测量值和结论。数据字典需要显式表达这些关系,并区分“没有该对象”“本次缺失”“质量不足无法判断”和“尚未标注”。把这些状态都填成空值,模型会把采集缺失误学成阴性,把未标注误学成正常。
放射学数据模型研究已经显示,DICOM元数据在实际环境中并不总是完整或标准化,影像设备、检查协议、序列、分辨率和报告等信息需要经过抽取、转换和统一术语才能支持可重复检索。4 因此,病例索引至少应保存模态、解剖部位、检查方法、序列名称、方向、层厚或空间间距、图像尺寸、帧率或时间戳、报告关联、标注类型和质量状态。不同模态不应被强行压成一套字段;共同字段用于建立关系,模态专属字段用于保持临床语义。
例如,内镜数据的核心关系是检查视频、解剖节段、关键帧、帧时间、所见描述与病灶标注之间的对应;MRI数据的核心关系是检查、序列、空间方向、序列完整性、解剖部位和报告;CT数据要保留平扫或增强信息、层厚、重建和检查范围;X线数据需要区分体位、视图和曝光相关元数据;超声则可能需要保存探头类型、扫查平面、测量名称与数值。它们可以共享匿名检查ID和报告ID,却不能因为都叫“影像”就共享同一套质量判断。
图1|技术示意:跨模态医学数据的病例级索引。不含患者样本、真实数据或实验结果。
建立索引时还要把纵向关系单独建模。复查影像、同一检查的多视角图像、同一视频的关键帧和同一报告的修订版本,都可能在算法上形成高度相似的样本。它们不是互相独立的观测。MIMIC-CXR的公开数据设计提供了一个可借鉴的思路:多个影像可以归属于同一检查,一份报告与检查级ID关联,同时通过匿名受试者ID保留纵向组织;其数据说明还清楚区分了影像、报告和关联表。3 这类关系设计比把每张图片随机命名后再尝试回拼更适合训练和审计。
脱敏不是删除一个字段
跨模态数据的隐私风险分布在多个载体中。DICOM头可能含有直接或间接标识符,像素中可能有烧录文字或图形覆盖,视频帧可能出现检查号或日期,报告和结构化表则可能保留姓名、地点、医务人员、时间或自由文本中的组合线索。DICOM官方保密规范明确指出,属性级处理不能保证整个信息对象已经完成去标识化,脱敏仍需结合用途、接收者、法规和再识别风险进行过程设计;同时,像素和图形中的身份信息也需要专门处理。1
因此,准入环节应把技术脱敏和授权用途分成两道闸门。前者检查元数据、像素、视频、报告、索引和派生文件,后者确认数据是否允许研究、训练、第三方处理、再分发或跨境使用。公开数据集MIMIC-CXR的建设也体现了这种多载体处理:其影像DICOM元数据与像素被分别处理,报告按规则去除文本中的识别信息,并通过数据使用协议限制使用者行为。3 这不是某个项目可以直接照抄的合规结论,而是说明“影像脱敏完成”不能只由一个软件开关证明。
NCI医学影像脱敏项目的总结进一步提醒,自动方法即使在专门测试中表现良好,也不能被直接视为百分之百排除隐私风险,生产流程仍需要人工参与和异常复核。2 对跨模态数据而言,人工复核应覆盖高风险样本,而不是只抽看格式正常的文件。可将带文字的图像、低质量视频帧、文本长度异常、关联关系不一致、脱敏后时间顺序异常和来源字段缺失设为风险触发条件。每次修订应记录方法版本、失败对象、复核人、处理决定和是否重新生成下游标注。
时间信息也要谨慎处理。研究有时需要保留同一受试者的相对先后顺序,但不一定需要真实日期。日期平移、时间桶或相对时间点都可能改变分析含义,必须在数据卡中说明。若不同模态的时间对齐只来自人工推断,就要把它标成不确定关系,不能写入看似精确的检查日期。这样做既保护隐私,也避免纵向模型把脱敏规则误当成生物学变化。
把“报告”和“标签”分成不同证据层
源需求同时包含影像、报告和疾病字段,这并不意味着报告里的每一个词都能直接转成金标准。报告通常包含检查所见、阴性描述、鉴别意见、建议检查和不确定措辞;结构化标签可能来自编码系统、人工勾画、规则抽取或后续病理。它们的证据层级不同,必须在索引中保留来源和状态。例如“未见明确异常”“考虑”“不能除外”“术后改变”和“病理证实”不应压缩为同一个阳性标签。
对报告的处理可以分成三个层次。第一层保留去标识化后的原文及其段落边界,用于视觉—语言预训练或报告生成研究;第二层抽取检查部位、所见、印象、阴性和不确定表达,形成结构化字段;第三层只在有明确规则和复核机制时生成任务标签。自动抽取的标签可以作为弱标签或候选标签,但在进入监督学习金标准前,必须记录抽取规则、版本、覆盖范围和人工复核情况。MIMIC-CXR的构建显示,影像与报告可以在检查级建立稳定关联,但关联成功并不等于文本标签没有不确定性。3
在算法路线选择上,图像—文本配对数据可支持对比学习、视觉语言预训练、报告检索和条件生成;关键帧—段落配对可支持内镜时序定位;影像—结构化字段可支持多任务分类与缺失模态研究;三维影像—体素标注可支持分割和测量。但这些路线的输入输出不同,不应为了追求“多模态”而把所有标签放到一个损失函数中。项目启动时应先写清每个任务的样本单位、输入对象、目标输出、排除条件和可用证据。
对于模态缺失,建议把“缺失”作为显式状态,而不是用零值或常数填充后再假定模型可以正常工作。可以设计模态掩码、分支式编码器、门控融合或按任务拆分的预测头,但模型必须在验证时分别报告完整输入、单模态输入和关键模态缺失的行为。缺失不是噪声的同义词:一段视频没有关键帧、MRI缺少一套序列、报告只有所见没有印象、超声缺少测量,都可能对应不同的采集或流程原因。
标注对象、主体与争议要在项目开始前冻结
这类需求的标注颗粒度横跨检查级、序列级、帧级、切片级、病灶级、文本片段级和测量级。检查级标签适合描述模态、部位、质量或总体任务;序列和帧级标签用于指定可见范围、关键事件或解剖节段;病灶级标签需要位置、范围、形态和对象ID;分割任务还要规定轮廓起止、包含与排除边界、孔洞、重叠和不确定区域的编码方式。若任务还包含病理、随访或治疗信息,应把临床结论与影像观察分开保存。
原始需求给出了不少模态、部位和字段示例,但没有为所有任务统一指定标注主体、盲审方式、裁决角色、内部一致性指标和外部验证方案。这些不应在文章中被补写成项目已经具备的成果,而应作为需求拆解后必须补齐的设计项。标注指南需要用正例、反例和边界案例解释术语,明确哪些对象可以标为未知或不适用。专家的职责也应拆开:领域专家定义临床语义,标注人员执行规则,复核人员检查边界和来源,独立裁决者处理争议。角色是否由同一人承担,要在项目书面方案中说明。
CLAIM 2024更新把数据来源、纳排条件、预处理、脱敏、参考标准、标注者资质、标注者间差异和数据划分列为医学影像AI研究需要透明报告的内容,并特别要求说明划分是否在患者级别或更高层级保持互斥。5 这套要求可以反向变成数据采购和交付的检查表。验收不应只问“有没有标签”,还要问标签依据是否可追溯、同一反例能否得到相近处理、低质量样本是否有合理退回原因,以及规则变更会影响哪些在制对象。
一致性指标也不能脱离任务定义。对于分类或文本标签,可以使用适合类别分布的协议和一致性统计;对于分割,应明确比较单位、参考勾画、空掩膜处理、边界偏差和是否按病灶或病例汇总;对于视频,还要定义时间边界误差和关键帧遗漏。一个总体平均数无法替代分模态、分部位、分质量层级的误差报告。对少见病变和小病灶尤其要设分层抽检,避免大量容易样本掩盖关键失败。
先按受试者划分,再谈模型效果
跨模态项目最容易被忽略的技术风险之一是信息泄漏。同一受试者的多次检查、同一检查的多个序列、报告与影像、视频与关键帧、原始影像与派生标签必须遵守同一划分边界。随机按图像或帧分割训练集和测试集,会让模型在测试时看到几乎相同的设备、解剖状态或文本模板;这种结果不能说明真实泛化能力。
数据分区应在冻结标签和预处理之后生成,并记录划分单位、随机种子、版本和排除对象。对于有纵向任务的数据,还应规定同一受试者的时间点是否允许跨分区;对于同一设备连续采集的数据,要评估设备或中心是否造成隐性聚类。训练、验证和测试的类别比例不应只看一个疾病总数,而要同时检查模态、部位、年龄组、性别、设备、采集协议、质量等级和标签确定性。
内部验证可检验数据管线与模型是否按设计工作,不能替代外部验证。外部验证应尽可能改变来源、设备、检查流程或目标人群,并在标签语义不同的时候解释差异,而不是把不匹配的结果简单合并。CLAIM要求报告外部数据及其与训练数据的结构差异;FUTURE-AI则把公平性、通用性、可追溯性、可用性、稳健性和可解释性放在医疗AI全生命周期内讨论。5 对数据团队来说,这意味着从入库时就要保存足够的来源和质量字段,才能在模型评估阶段解释性能变化。
论文或项目报告中的AUC、Dice、BLEU或其他指标,只描述特定数据、标签、划分和评价口径下的研究结果。它们不能自动变成临床效果、诊断准确率、监管结论或对某一批数据的交付承诺。尤其是报告生成任务,文本相似度可能与临床事实一致性并不完全相同;分割任务的重叠度也不能替代期相、边界和解剖关系的检查。评价指标必须和临床任务及错误代价一起解释。
四道闸门把质量变成可验收流程
一个可执行的交付流程,至少需要经过隐私与授权、临床语义、研究有效性和可复现交付四道闸门。每道闸门都应有输入、检查、失败状态、处理责任和可回溯记录,而不是只在项目结束时生成一份“合格”结论。
第一道闸门检查数据是否被允许以当前用途流转,以及元数据、像素、视频、文本、索引和派生文件是否完成脱敏。第二道闸门检查模态是否完整、空间和时间关系是否成立、报告与影像是否真正对应、标签是否有来源、质量不足是否被分层。第三道闸门检查病例级划分、缺失模态、类别不平衡、设备差异和潜在泄漏。第四道闸门检查文件可读性、方向、尺寸、命名、标签集合、报告关联、版本和下游工具重建结果。
图2|技术示意:隐私、语义、研究有效性和交付可复现的质量闸门。不含患者样本、真实数据或固定通过率。
验收样例应同时覆盖正常、阳性、不确定、质量受限、缺失序列、报告不一致、边界争议和纵向重复等情况。样例不应含未经授权的原始病例。算法、临床研究和信息角色可以用同一组脱敏对象分别验证:算法端检查读取、索引和标签;临床研究端检查语义、证据和纳排;信息端检查访问、日志、备份、导出和数据交还。任何一方发现的问题,都应进入版本化问题单,而不是在口头会议中被视为已关闭。
业务逻辑:把范围拆成可确认的模块
从业务实施角度,这类项目不宜只按“影像数量”报价或验收。更合理的范围拆分是模态与解剖范围、任务类型、数据来源与授权、字段和标签字典、标注与复核角色、脱敏流程、纵向关联、数据分区、导出格式、下游验证和变更管理。不同模态的质量工作量不同:视频需要时序和关键帧规则,MRI需要序列和空间核对,CT需要层面和重建语义,X线需要视图和体位,超声需要测量与扫查上下文。把它们折成同一个“病例”单位,会掩盖真正的实施风险。
试点阶段应先确认最小闭环:接入一组已授权的脱敏样例,完成索引、质量分层、候选标签、人工复核、病例级划分和下游读取,再决定是否扩大范围。试点通过不代表全量数据已通过,也不代表模型已完成临床验证。变更时应明确是修改标签定义、增加模态、调整纳排、更新脱敏规则,还是更换导出格式,并说明对历史数据、在制标注和已有分区的影响。
按照已核验的公司定位,朗慧科技可在AI数据基础设施和流程服务范围内,围绕采集、处理、标注、质检和数据交付协助组织项目规格、数据卡、样例、质量记录和版本交付。医疗数据目录和样例评估入口可以用于确认具体部位、模态与任务,但页面规模、需求描述或公开文章都不能证明某一数据集是现货,也不能证明已经完成某项临床验证。具体可用范围仍需以项目书面规格、授权、伦理和合同为准;如果需要病理、动态视频、接口部署或其他扩展,应单独确认,不应从相邻能力推断为默认包含。
结语:数据资产的价值来自可复核关系
跨模态医学AI数据集的研发价值,不在于把尽可能多的文件装进一个压缩包,而在于让研究者知道每个对象与哪次检查相关、标签由哪种证据支持、缺失和不确定如何表达、同一受试者是否被正确划分,以及出现争议时能否回到当时冻结的规则。DICOM、报告、视频和结构化表只有在关系、版本和质量状态清楚时,才能共同支撑可重复的算法研究。
从工程上看,病例级索引是骨架,脱敏和授权是入口,专家标注与争议记录是语义层,患者级划分和外部验证是有效性边界,数据卡与版本差分则是交付凭证。FUTURE-AI强调医疗AI应覆盖从设计、开发、验证到部署和监测的完整生命周期。6 对数据项目而言,最现实的做法不是先承诺一个模型结果,而是先把输入、输出、证据、失败状态和验收角色写清。这样,数据采购才能转化为可审计的研发基础设施,而不是一次性、不可复盘的文件加工。
本文讨论的是医疗AI研发数据的组织、标注、质量和验收,不构成患者个体的诊断、筛查、治疗或用药建议,也不代表任何模型已获医学或监管审定。具体数据的授权、伦理、隐私保护、跨机构使用和临床验证,应由项目参与方依据适用法律法规和书面方案独立确认。
参考来源
- DICOM PS3.15 2026d - Security and System Management Profiles
- Final Report: Medical Imaging De-Identification (MIDI) Project
- MIMIC-CXR, a de-identified publicly available database of chest radiographs with free-text reports
- Development and validation of the radiology common data model (R-CDM) for the international standardization of medical imaging data
- Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 update
- FUTURE-AI: international consensus guideline for trustworthy and deployable artificial intelligence in healthcare

