MEDICAL DATA RESEARCH
多模态医学影像数据建设:从规模清单到可验证的任务规格
面向医疗AI研发与数据采购,系统说明如何把跨模态医学影像需求拆成可计数、可配对、可追溯、可独立验证的数据规格,并区分报告、检测、分割、测量和外部验收边界。
当一份医学影像数据需求同时列出 CT、MRI、X 光、超声、眼科影像、病理切片和内窥镜视频时,最先要解决的并不是“总共需要多少例”,而是每个“例”究竟代表什么。一次检查、一个 Study、一张切片、一个病灶、一次完整视频,甚至一只眼,都可能被写成计数单位。若这些单位没有先冻结,后续的标注量、模型输入、训练划分和交付验收就无法相互对应。数据看起来很大,实际却可能只是同一患者的重复序列;标签看起来很多,实际却没有一种标签能被目标模型直接使用。
这类需求适合被改写为一套匿名、可审计的医学数据工程规格。它的核心不是公布某个项目的采购规模,而是回答五个技术问题:临床任务是什么,输入和输出处于哪个粒度,模态之间如何配对,谁以什么证据形成参考标签,以及模型如何在患者级、来源级和外部数据上被独立评价。DICOM 的信息模型本身就把 Patient、Study、Series、Equipment、Frame of Reference 和 Image 分开组织,并允许一个 Study 含有多个模态;但同一 Series 内的实例仍须具有一致的模态、设备和系列语义。1 因此,跨模态数据建设首先是关系和血缘设计,其次才是样本数量设计。
先把“医学需求”写成任务,而不是写成模态目录
一个可执行的需求句,应同时包含目标人群、解剖部位或病种、检查方式、临床问题、输出标签和用途边界。例如,胸部 CT 可以对应报告级征象分类、肺结节检测、病灶分割或治疗前后变化分析;这些任务的输入可能都是一项 CT 检查,但标注主体、输出格式和验收指标完全不同。这里的例子用于说明如何把任务写清,并不表示原始需求已经选定某一种临床终点;实际终点仍需在项目规格中冻结。把它们合并为“胸部 CT 数据”只会把分类、检测和分割混成一个模糊的交付项。
需求还要把解剖子部位拆开。头颈、胸腹、盆腔、脊柱和四肢的成像协议、病变谱系、阴性样本构成及专家判断重点并不相同。即使同一模态中有多个子部位,也应分别写纳入与排除条件、允许的检查协议和标签字典,再由上层目录汇总。这样做不是为了增加文档,而是为了避免总量掩盖了某个关键部位没有覆盖,或者将不同部位的标签误认为同一临床终点。
病理全切片和内窥镜视频尤其不能沿用“检查例数”的口径。病理的自然对象可以是物理玻片对应的完整全切片,也可以是病例、区域或视野;内窥镜则可能以一次完整检查、视频片段、关键帧或病灶片段为单位。眼底照片与 OCT 还涉及眼别和配对关系;双侧超声检查是否计为一个 Study,也要在方案中说明。对胎儿超声等一项检查可能包含多个受检对象的场景,还要把检查级主键与对象级关联编号分开。每种单位都应能在交付清单中被计数、去重和追溯,而不只是出现在标题里。
图1 多模态医学影像需求如何拆成可验收对象。技术示意,不代表真实患者、既有数据库存量、已完成采集或临床效果。
数据设计的第一道门:Study 数不是患者数,也不是可用样本数
DICOM 规范提供了一个重要的工程边界:一个 Study 可以包含由单一模态、多个模态或同一模态的多个设备产生的实例;但一个 Series 内的实例应当属于同一模态并由同一设备生成。1 这意味着“按 Study 计数”不能自动证明多模态已经配对,也不能直接推出模型可用的图像数量。一个 Study 可能有多条 Series,一条 Series 又可能包含多帧或大量切片。若只统计文件数,模型训练很容易被高切片数量的检查主导;若只统计 Study 数,又可能忽略协议不完整、关键序列缺失和报告未关联的问题。
更稳妥的结构是把患者、检查、序列、实例和任务标签作为分层对象。患者级关联键用于防止同一人的多次检查跨集合泄漏;检查级键用于确认一次影像与一份报告的对应;序列级元数据用于判断重建核、层厚、序列名称、增强时相、视野和方向是否满足任务;实例级信息用于识别重复、派生图像和像素烧录标识。对于超声、内窥镜和病理等非同一文件结构的模态,也应建立与其实际采集方式相符的主键,而不是强行套用 CT 的层级。
多模态配对需要另外写出“配对成功”和“配对缺失”两种状态。影像与报告可以通过检查标识、采集时间和部位映射;影像与病理或随访则可能需要病例级关联和时间窗。配对的时间窗应由临床任务决定:检测当前病变与预测后续结局不是同一问题。无法配对的样本可以作为单模态训练或缺失模态研究的一部分,但必须标记为缺失,不能由标注人员根据常识补写一个“可能存在”的结果。多模态模型也不应把缺失模态默认为阴性,否则缺失机制会被模型当成疾病信号。
数据卡或交付说明至少要记录每个队列的计数单位、患者级去重规则、检查与序列的允许范围、配对键、时间窗口、缺失编码、设备与协议字段,以及原始文件和派生文件的关系。CLAIM 2024 更新要求报告数据来源、纳排条件、预处理、去标识、采集协议和缺失数据处理,目的正是让后续研究者能够重建样本形成过程,而不是只看到一个总数。2
标签粒度必须和算法输出一致
报告级标签适合表达检查或病例层面的疾病、征象、分级或是否需要进一步复核。它的优势是生产效率较高,缺点是报告文字可能省略位置、范围和不确定性。标签字典应区分阳性、阴性、疑似、不能排除、未评估和原文缺失,并保留标签所依据的报告句或结构化字段。否定句不能被抽取成阳性,空白也不能被自动补成“无异常”。如果任务目标是病理确诊或结局预测,报告级标签通常只能作为一种参照来源,不能在没有证据时冒充金标准。
检测标签需要定义病灶中心、边界框或点的位置,说明坐标系、切片或帧索引、左右侧、解剖部位和可见性。分割标签需要定义轮廓的边界、体素间距、忽略区、部分可见病灶和多病灶的编号规则。测量标签则必须同时规定测量方向、单位、参考平面和四舍五入方式。骨龄、心功能或血管测量等任务的输出,不能只写成“有相关标注”,而要说明输入序列、关键点、测量线和参考值如何对应。
标签颗粒度还要与模型训练目标保持一致。用一个报告级分类标签验收像素级分割,会把“知道有病”误当成“知道病灶边界在哪里”;用病灶级标签训练病例级输出,则会在聚合方式上产生额外假设。检测、分割、分类、关键点和报告结构化应该分别冻结任务规范,并为每类任务指定自己的质量指标。不同任务可以共享同一患者或检查,但不能因为共享原始影像就共用一套无差别验收标准。
对于癌症或其他高风险病种,阳性样本不能只按“癌症”一个大类收集。至少要考虑疾病亚型、分期或表现方式、治疗后改变、疑似病例、良性模拟病变和真正阴性。若标签来自病理、影像报告和随访,三者发生矛盾时应有预先规定的优先级或“争议”状态。需求可以约定某项来源为主要参照,但不能把争议样本直接删除,否则模型只会在最容易判断的病例上获得漂亮的内部结果。
算法路线:从单模态基线到可解释的融合策略
多模态不等于把所有输入直接拼接。第一步通常应为每个模态建立任务匹配的单模态基线,用来判断新增模态真正提供了什么信息。CT 与 MRI 的配对研究需要先解决空间和时间不一致;眼底照相与 OCT 需要确认眼别和采集时点;影像与报告的融合则要区分报告文本提供的是影像观察、临床背景还是已经包含结论的标签。没有单模态基线,融合模型的收益无法归因,缺失模态时也难以判断性能下降来自哪一条输入链路。
在模型设计上,可以按任务选择早期融合、中期融合、后期融合或带缺失模态处理的路线。早期融合适合空间、时间和分辨率已经可对齐的输入,但对配准误差和缺失更敏感;中期融合允许各模态先学习相对独立的表征,再在共享表示层交互;后期融合便于保留单模态模型和解释路径,但需要明确各输出如何校准。影像与报告的多模态模型还要防止报告泄漏:如果报告已经包含最终诊断,模型可能只是在复制文本中的结论,而不是从影像建立独立证据。
多模态数据还常伴随不完整配对。可以将完整配对样本用于主要融合实验,将单模态样本用于预训练或辅助任务,并把缺失模态的推理方式写进实验协议。不能在训练阶段随机补齐、在测试阶段却假设输入永远完整;缺失机制本身可能成为模型信号,需在协议和分层评估中单独记录。对缺失模式进行分层评估,能够回答模型在真实工作流中是否会因为某一模态缺失而失效。Pahud de Mortanges 等对多模态和纵向医学影像的讨论指出,数据稀疏、采样间隔和模态组合会影响解释与可靠性,相关方法需要在接近日常临床质量的数据上继续外部验证。5
算法验收也应与数据验收分开。数据团队可以交付结构完整、标签可读和血缘可追溯的数据;这并不等于任何模型已经证明诊断价值。研究报告需要同时说明基线、输入处理、训练和调参过程、内部测试、外部测试以及不确定性。CLAIM 将参考标准、分区独立性、测试样本量和外部数据列为需要明确报告的事项。2 TRIPOD+AI 则强调评价数据不能与训练、调参和模型选择数据在参与者层面重叠,并应描述目标人群代表性和关键亚组表现。3
专家标注不是“三级审核”五个字
专家参与应按标签的医学含义分工。初标人员可以依据冻结指南完成结构化字段、框选或草稿轮廓;专科专家负责确认解剖关系、病变边界、分级依据和不确定状态;独立仲裁者处理不能由简单多数解决的分歧。对于病理或随访参照,只有实际存在且可核对的证据才能进入参考标准。未取得某项证据时应保留“未获得”或“不可判定”,而不能用专家推测替代原始材料。
规则必须以正例、反例和边界案例呈现。正例告诉标注者什么应当纳入,反例告诉标注者什么应当退回,边界案例则说明模糊、伪影、治疗后改变和部分可见病灶如何处理。报告级任务还要提供否定、不确定和缺失的示例;测量任务要提供左右侧、体位、单位和参考平面的示例。规则版本在试标后冻结,后续变更进入新版本,并记录影响了哪些已标样本。这样才能区分医学定义变化、标注失误和数据本身不可判定。
一致性评价不能只给出一个抽象的“准确率”。分类标签可以根据任务使用 Kappa、敏感性或其他预先约定的指标;连续测量需要考虑测量误差和一致性界限;分割需要说明参考轮廓、空阳性情况和空间重叠或边界指标的计算方式。更重要的是保留分歧发生在哪类样本、由谁仲裁以及是否修改了指南。CLAIM 2024 更新要求说明参考标准的定义、来源、标注者资质、测试集标注和观察者间/观察者内变异。2 这比在交付说明中简单写“专家审核”更能支持复现。
质量偏差和外部验证要在入库时设计
多模态队列常见的第一类偏差是来源偏差。某个设备、机构或时间段可能同时对应某种疾病比例、报告习惯和图像风格,模型就可能学到来源代理而非病变本身。第二类是协议偏差,例如增强时相、层厚、序列或探头设置不同,导致同一标签在不同设备上呈现不同外观。第三类是验证偏差,研究者反复查看同一个测试集,并根据结果修改模型或标签,最后得到的测试分数已经不是一次独立评价。
因此,划分应在患者级或更高层级完成。同一患者的多次检查、不同序列、不同模态和配对报告不能被拆入训练、调参和测试的不同集合。Bradshaw 等在医学影像交叉验证指南中明确指出,多次检查或多张图像的分区应按患者或更高层级进行,并提醒测试集不应被反复用于模型选择。4 2026 年一项针对公开肾脏 CT 数据的研究进一步显示,在缺少患者标识时,即使只恢复到采集组层级,随机划分也可能比未见组评估高出明显的准确率;该结果不是本项目阈值,但说明数据血缘本身就是模型评价条件。6
患者级独立并不总是足够。若训练集和测试集来自同一设备、同一机构和相近时间,模型仍可能只在单一域内表现良好。因此,应根据实际使用场景留出机构、设备、时间、人群或协议变化,并在外部集上报告输入缺失、标签结构差异和分布变化。外部验证不是把另一批同主题影像随机抽出来,而是预先冻结、与开发过程隔离并且能够代表目标使用环境的评价设计;内部交叉验证的分数也不能直接等同于临床可用性。2
偏差审计还应覆盖亚组。年龄、性别、疾病严重度、设备、机构、协议和关键解剖部位都可能改变标签可靠性或模型表现。TRIPOD+AI 建议在目标人群代表性不足时明确说明,并报告相关亚组,以免总体指标掩盖某一类人群的系统性误差。3 这也是为什么需求阶段就要记录阴性和不确定样本,而不是只在模型训练结束后才发现它们缺失。
图2 从纳入到外部验证的患者级质量闭环。技术示意,不代表真实患者、实验结果或诊断建议;质量阈值需按具体项目书面约定。
验收要验“任务闭环”,而不是验“文件数量”
一个可执行的验收包至少应包含数据字典、纳排规则、样例和反例、标签映射、关联键说明、标注指南、审核记录、分区清单、版本差异和下游可读性检查。影像文件能否打开只是最低要求,还要核对方向、体素间距、切片顺序、序列名称、眼别、左右侧、视频时间戳、全切片完整性和标签与原图的空间对应。报告或结构化字段需要能回到对应检查,并保留来源和缺失状态。
验收指标要从任务定义出发。报告级分类可以在独立集合上报告区分度、校准和置信区间;检测要分别检查定位和召回,不能只用病例级是否阳性替代;分割要检查空间重叠、边界和空阳性情况;关键点和测量要检查定位误差、单位与方向;视频任务还要验证帧率、时序完整性和片段边界。若数据交付只要求标签,不应在验收时临时追加未冻结的模型性能;若项目需要模型评测,则需另列基线、运行环境、随机种子、测试集封存和重复运行方式。
内部质量指标也不能变成对外的临床承诺。训练曲线只能说明优化过程,不能单独证明泛化;试标一致性不能替代独立外部验证;某个任务的合格不代表同一批数据的其他模态或其他解剖部位都合格。2026 年一项胸片数据治理研究提出了多源标准化、血缘管理、去重、患者级划分、恒等校验和版本冻结的组合流程,并指出泄漏影响取决于具体数据结构。7 这类方法的价值在于让失败能够被定位和复盘,而不是给所有项目套一个统一准确率。
让需求、能力和业务逻辑各归其位
对医疗 AI 研发方而言,这类需求的价值在于把“要一批多模态影像”改写为可执行的工作包:先用少量脱敏样例核对计数单位和配对规则,再做小规模试标;试标通过后冻结标签、版本和分区;生产中按问题单返工,达到预设失败条件时停线并先改规则;交付时同时提供数据、说明、抽检记录和版本差异。这样的流程能减少把同一患者重复计数、把报告结论当成金标准、把缺失模态当成阴性以及把训练测试泄漏误判为模型能力的风险。
基于已核验的公司定位,AI 数据基础设施及流程服务团队可以把工作拆为采集、处理、标注、质检和数据交付,并围绕项目规格、数据卡、样例和质量记录组织协作。但这只是能力范围的流程适配,不是对某个指定模态、指定规模、指定专家配置或现成数据库的承诺。实际是否具备某一部位、某种设备协议、某类标注或某个授权范围,仍应通过样例评估和书面项目规格确认。官网目录或需求文件中的规划规模也不能代替现货证明、伦理授权或临床验证。
对采购和算法团队,最有用的结束条件不是“文件已经上传”,而是另一位没有参加生产的人能否仅凭交付包回答:这条数据属于哪个患者和哪次检查,为什么被纳入,标签依据是什么,缺失如何编码,是否与训练或测试集重复,分歧如何解决,版本改了什么,外部集与开发集差在哪里。如果这些问题仍需要口头补充,说明需求还没有完成从清单到规格的转换。多模态医学影像数据的真正规模,不只体现在样本数,也体现在每个样本能否被准确计数、正确解释、独立评价和持续复用。
参考来源
- DICOM PS3.3: Information Object Definitions
- Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update
- TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods
- A Guide to Cross-Validation for Artificial Intelligence in Medical Imaging
- Orchestrating explainable artificial intelligence for multimodal and longitudinal data in medical imaging
- Measuring Data Leakage in the Absence of Patient Identifiers: A Public Kidney CT Benchmark and a Transferable Screen
- Validating a Data-Governance Workflow for Artificial Intelligence–Based Tuberculosis Detection from Chest Radiographs, and Quantifying the Impact of Data Leakage

