跳至正文
朗慧科技

MEDICAL DATA RESEARCH

多模态医学数据集如何从“有影像”走向可验证

面向医学AI研发与数据采购,拆解内镜视频、MR、胸片、CT、超声与报告的任务定义、主键关联、去标识化、标注质控、患者级划分和外部验证,形成可复核的数据交付验收框架。

临床文本与纵向多模态AI辅助整理 · 研发交流

同一项医学人工智能研究,为什么可能在项目交付时看起来“数据很多”,在模型复现和外部测试时却突然失去解释力?问题往往不在网络结构,而在最初的任务没有被拆成可核对的数据单元:一段内镜视频是否对应正确的关键帧和报告段落,增强CT的序列是否完整并保留空间语义,多序列磁共振是否能确认检查级关联,胸片或超声报告中的阴性与不确定表述是否被单独编码,以及同一受试者的多次检查、切片、帧和派生副本是否被错误分到不同数据集。

一份面向医学人工智能或多模态模型训练的数据需求,真正需要采购和研发团队共同回答的,不是“能提供多少影像”,而是五个问题:模型要完成什么临床信息任务;输入和输出的最小单位是什么;标签由谁依据什么证据产生;哪些质量问题应在入库前拒收;交付后能否在没有原始工作环境的情况下复核、重跑和解释。以下以一类涵盖内镜视频、磁共振、胸部X线、头部CT、上腹部CT及超声资料的综合需求为背景,讨论如何把采购语言改写为可执行的数据工程规格。文中不复述任何具体样例、链接、机构或个体信息,涉及的规模也不作为现货或交付承诺。

一、先把“数据集”拆成临床任务

需求中至少包含五种不同的数据任务,不能只用“影像+报告”概括。第一类是视频理解:输入是一次消化道内镜检查的时序视频,可附关键帧、解剖段落和报告描述;输出可能是镜下所见抽取、关键帧定位、解剖部位识别、病灶事件检测或报告生成。第二类是多序列磁共振理解:输入是同一次检查的原始DICOM序列、序列名称、检查方法和部位,输出可以是序列级质量判断、病灶/器官识别或影像所见结构化抽取。第三类是胸部X线和头部CT的影像—报告配对,重点是将检查级图像与报告中的阳性、阴性、疑似和建议进一步检查等语义保持一致,而不是把整段报告粗暴压缩成一个疾病标签。

第四类是上腹部CT的多病种、多器官数据。肝脏、胆道、胰腺、肾脏、肾上腺及脾脏可能同时出现在同一检查中,病灶也可能只有文字提示而没有逐像素轮廓。研发团队应提前决定任务是检查级分类、器官/病灶分割、报告实体抽取,还是影像与测量字段联合建模;不同任务需要不同的阳性定义、阴性对照和验收单位。第五类是超声数据,既包含静态或动态影像,也可能有测量值、探头类型、切面、血流参数和检查结论。超声的操作者、声窗和设备差异会影响可见性,不能照搬CT的“序列完整”规则。

因此,需求规格应建立“任务—输入—输出—证据”矩阵。任务栏写清分类、检测、分割、抽取、配对或质量评估;输入栏写清DICOM、视频、关键帧、报告和结构化字段;输出栏写清检查级、序列级、帧级、病灶级、文本span级还是体素级;证据栏写清报告、病理、复核意见、测量记录或仅为单个阅片者判断。尤其要把“未见异常”“未检查”“报告未提及”“图像不可判定”分开,否则模型学到的可能只是书写习惯或缺失模式。

多模态医学数据集从原始检查到可复核训练样本的技术链路示意查看完整技术图(可放大)

图1|多模态医学数据集的技术关系示意,不含患者样本,不表示真实数据已完成采集、标注、验证或临床应用。

二、以检查级主键组织跨模态输入

多模态的第一道难题不是融合网络,而是关联键。影像、报告、关键帧、视频事件、测量值和标注文件必须能够回到同一次检查、同一序列或同一事件。建议至少区分受试者级、检查级、序列级、视频级、帧级和病灶级标识。受试者级标识用于防止划分泄漏;检查级标识用于影像—报告配对;序列级标识用于区分平扫、增强、多序列磁共振或不同超声切面;帧级标识用于把视频中的时间戳和关键帧描述对齐;病灶级标识用于连接多个切片、多个序列或随访检查中的同一研究对象。

这个主键体系不等于把不同模态强行配准。不同时间、不同体位、不同扫描范围和不同检查目的的影像,可能只具有检查级或受试者级关联,而没有可用于逐像素融合的空间对应关系。上腹部CT与磁共振可以共享器官或病灶研究主题,但应记录检查时间差、部位差异、序列缺失和配准是否完成。内镜视频与报告可以通过事件或关键帧对应,但报告中的一句话未必精确覆盖一段连续视频。超声测量值则需保留切面、探头和测量方法,不能只挂在病例上。

数据字典还要记录原始字段、清洗后字段、推导字段和人工补充字段。原始DICOM属性、视频帧率、时长、序列描述、层厚、像素间距、体位、设备信息和报告原文,应与清洗后的标准字段并列保存。由规则推导出的病种、阳性类型或质量等级,要标记为派生标签并记录规则版本。人工补充的关键帧、病灶框、文本实体和争议状态,要记录标注主体和审核状态。这样,算法团队才知道某个标签是原始临床记录、报告抽取、专家复核还是自动规则生成。

三、去标识化不能只删DICOM头

医学数据的公共交付必须把授权用途、伦理责任、去标识化和安全传输分开。DICOM PS3.15的属性保密Profile明确指出,处理属性并不保证整个信息对象已经完成去标识化,仍需结合去标识化目的、接收方、共享情境和再识别风险设计流程。1 基本保密Profile面向临床试验、教学文件和注册等场景,覆盖患者和相关组织身份、可用于匹配原始数据的UID、日期时间及私有属性;但若没有明确指定清理像素或可识别视觉特征的选项,默认不处理像素内容。2

对应到综合数据集,入库检查至少应覆盖四个面。第一是DICOM属性,包括患者姓名、检查号、机构信息、日期时间、UID、私有属性和自由文本。第二是像素和图形层,包括烧录在影像、截图、测量卡或设备界面上的姓名、编号和日期。第三是视频和关键帧,内镜画面可能带有屏幕叠加信息、语音、操作记录或连续时间线。第四是报告和结构化文本,自由描述中可能残留地点、时间、操作者或罕见事件组合。去除直接标识不代表可以公开原始样例;访问权限、传输方式、用途限制、第三方处理和再分发权限仍应在数据卡和交付记录中明确。

数据工程上应把“未检查”“未知”“无法判定”和“已脱敏但字段被移除”设为不同状态。若为了隐私删除了纵向日期,模型就不能再把具体日期当作时间特征;若为保留纵向研究而采用时间桶,则需要说明时间信息被修改的方式。像素清理、文本脱敏和DICOM属性处理都应产生可审计的规则版本与抽样复核记录。对不能确认风险的样本,宁可进入隔离区或拒收,也不要用手工猜测补齐。

四、标注主体和颗粒度决定标签能否复用

标注不是“找人画一下”。不同任务应匹配不同标注主体和不同证据层级。视频关键帧定位可以由受训标注员按解剖段落和时间规则初标,再由消化内镜专业人员复核;影像—报告实体抽取需要定义句子级、span级和实体属性级的边界;CT或MR分割则需要说明是器官、病灶、血管、集合系统还是内部成分,并规定起止层、相邻层连续性和不确定区处理。超声测量字段应由熟悉检查切面和设备参数的人员复核,不能把设备自动输出直接当作人工金标准。

标注指南应同时提供正例、负例、边界例和不可判定例。以内镜为例,关键帧不应只抽“最清楚”的画面,还要规定如何处理遮挡、出血、泡沫、重复观察和同一病灶多次出现。对胸片或CT报告,阴性结果不能简单等于“没有标签”,因为报告可能只描述了未见异常的部位,或提出需要进一步检查。对上腹部影像,病灶、正常器官、邻近结构和偶然发现应有包含/排除关系。对超声,声窗差或检查范围不全的记录应有质量受限状态,不能强行归为阴性。

“专家审核”也要具体化。至少应记录初标者角色、复核者专业范围、是否盲于前一轮结果、争议由谁裁决、裁决依据是哪一版指南。多人一致性不是把分歧简单平均;如果某个标签在专家之间存在系统性歧义,应先修订定义,再决定是否继续扩大。研究需要Kappa、Dice、IoU或其他指标时,应提前规定参考标注、计算实现、抽样单位和不适用条件。指标描述的是某一任务、样本和版本下的协议一致性,不是公司的统一准确率,也不是临床诊断效果。

五、算法路线应服从数据语义,而不是反过来改标签

对于视频任务,建议从检查级质量筛选、帧级时间编码、关键帧候选生成和事件级人工确认开始,再考虑时序模型或视觉语言模型。关键帧与报告的关联可采用事件窗口和人工复核,而不是把一整段报告复制到每一帧。对于CT、MR和X线,先完成序列识别、方向和空间元数据核验,再按任务选择分类、检测或分割模型。预标注可以减少重复勾画,但只应作为草稿;任何自动轮廓、插值结果或模型生成文本,都必须经过人工审核后才进入金标准。

多序列磁共振需要特别注意序列缺失、命名不一致和空间方向差异。模型输入可以使用序列级编码、配准后的体数据或只选择项目定义的关键序列,但每种选择都要写进数据字典。增强CT则应保留期相或检查方法字段,不能只用文件名推断“平扫”或“增强”。如果不同期相承担不同解剖任务,标签应和期相绑定;如果多个期相共同支持一个病灶判断,要保留证据来源,避免训练者无法判断某个轮廓究竟依据哪一组图像形成。

报告侧可以采用结构化信息抽取、否定识别、不确定性识别和影像—文本对齐的分层路线。模型输出应区分“报告中明确出现”“由规则归一化”“由专家复核确认”和“推测性派生”。不能用分割标签替代报告配对,也不能把报告中的建议检查改写成已确诊标签。对同一检查既有影像又有文本时,最小可用样本应包含关联状态、文本可读性、时间一致性、标签来源和缺失原因。

六、质量验收要从“文件可读”升级为“研究可解释”

文件能打开只是准入,不是合格。第一层是技术完整性:DICOM是否可读,序列是否缺层或错序,方向与间距是否合理,视频是否能解码,帧率和时长是否保留,报告和关键帧是否可关联。第二层是语义完整性:检查方法、部位、序列、标签、测量单位和报告结论是否一致,未知、阴性和不适用是否区分。第三层是标注质量:边界、连续性、漏标、过标、关键帧定位、文本span和结构化字段是否按照冻结指南复核。第四层是治理完整性:授权范围、脱敏状态、版本、责任角色、返工记录和使用限制能否追溯。

抽检必须分层,而不是只报一个总通过率。应按模态、部位、设备、序列、阳性/阴性/不确定、病灶大小、图像质量和稀有亚组抽样。小病灶、低质量影像、复杂报告、少数设备和边界争议往往是最有信息量的失败样本。验收表应把失败分为拒收、返工、规则澄清和可接受限制,并为每一类指定关闭条件。对于无法判定的样本,记录原因本身就是质量信息,不应为了达到目标量级而删除或猜测。

多模态医学数据交付五道验收闸门示意查看完整技术图(可放大)

图2|多模态医学数据的验收闭环示意,不表示任何真实实验结果、准确率或临床效果。

七、外部验证要在采购阶段预留位置

医学AI的内部随机切分容易掩盖设备、机构、人群和标注协议差异。FUTURE-AI共识强调,医疗AI需要评估本地临床有效性,并为开发、验证、部署和使用保留完整可追溯轨迹。3 关于医学影像公平性的研究也显示,模型在一个数据分布中表现较好,并不意味着在外部数据上仍保持相同的性能和亚组公平性;外部数据的设备、人口学与标签分布应进入分析设计,而不是留到论文讨论部分才补充。4

数据集阶段最重要的防线是患者级划分。同一受试者的多次检查、连续切片、视频帧、增强副本、不同格式导出和近重复图像不能跨越训练、验证和测试分区。2026年一项乳腺超声基准研究把患者ID、数据集来源、标签和病灶区域写入统一manifest;缺失或为空的患者ID会使该基准在训练前终止,跨数据集外部评估总体低于内部测试,且不同来源之间存在差异。5 另一项CT结石方法学研究对比患者级和图像级拆分,图像级泄漏使AUC和准确率明显虚高,跨中心测试则出现性能下降。6

因此,验收条款应要求交付患者级或研究单位级划分文件、去重策略、近重复检查规则、随机种子和排除清单。对于跨模态数据,还要检查同一患者是否在不同模态文件中使用了不同匿名标识;如果无法建立可靠对照,应把跨模态融合降级为独立任务,而不是假装已完成配对。外部测试集应尽量保留来源、设备、协议和人群元数据,评价时报告样本构成与缺失情况。内部指标可以用于工程迭代,不能直接替代跨来源验证或临床效果证据。

八、业务交付要围绕“可复核资产”而非单次文件传输

对采购方而言,合格交付物应至少包含数据文件、数据字典、标签指南、版本与血缘清单、质量摘要、拒收/返工记录、划分文件、去标识化说明、授权使用边界和下游读取样例。若包含视频,要有编码、帧率、时长、关键帧时间和事件定义;若包含DICOM,要有方向、层厚、间距、序列和去标识化规则;若包含报告,要有字段层级、否定与不确定处理、文本截断检查;若包含标注,要有对象粒度、审核状态和修订历史。

样例评估应先走通“入库—质检—标注—盲审—导出—下游读取”闭环,再讨论扩大批次。每一轮只改变有限的规则,并保留版本差分。业务上,试点、返工预备和量产应分开核算;未写明的范围不能在验收时默认为已包含。软件平台、标注人力、专家终审、数据授权、接口、存储和部署网络也应分别列项,不能用一个“数据服务”包住所有责任。

按已核验的公开能力边界,朗慧定位为AI数据基础设施及流程服务商,LangData覆盖采集、处理、标注、质检和数据交付;医疗方向提供按部位、模态和任务组织的数据沟通与样例评估入口。这里能够支撑的是项目化的数据流程和规格核对,不是对某一批数据现货、某个模型临床指标或某个授权链条的证明。公开能力边界还提示,CT、MR、PET的DICOM是平台主路径,内镜视频、病理全切片和病历文本等超出默认路径的模态,应单独确认任务、工具和交付范围。对采购方而言,这种边界表达并非保守,而是避免把平台方法学、数据服务和临床验证混成同一承诺。

结语:把一次采购变成可持续的研究基础设施

多模态医学数据集的价值,不在于把各种文件堆在同一个压缩包里,而在于每个样本都能回答:它来自什么检查,属于哪个任务,依据什么证据标注,经历了哪些质量状态,为什么被纳入或拒收,能否被患者级划分隔离,外部验证时又代表哪一类设备、人群和协议。只有把这些问题写入数据字典、指南、盲审、版本、验收和交付包,影像、视频、报告和结构化数据才会从一次性加工结果,变成可复用、可审计、可重跑的研究资产。

本文讨论的是医疗AI研发与数据采购的方法学,不提供个体诊断、治疗或用药建议;任何临床使用仍需独立的专业判断、伦理与合规审查、适用授权和临床验证。公开研究中的方法和效果只用于说明数据治理与评估设计的必要性,不等同于任何供应商的现货能力、模型性能或临床结论。

参考来源

  1. DICOM PS3.15:2024 — Security and System Management Profiles
  2. DICOM PS3.15:2025c — E.2 Basic Application Level Confidentiality Profile
  3. FUTURE-AI: international consensus guideline for trustworthy and deployable artificial intelligence in healthcare
  4. The limits of fair medical imaging AI in real-world generalization
  5. Breast Ultrasound AI Under Dataset Shift: A Patient-Leakage-Aware Benchmark
  6. Effect of data leakage on deep learning accuracy for kidney stone classification on CT