MEDICAL DATA RESEARCH
医学多模态数据集采购:从“有影像”到可复核、可训练、可验收
从内镜视频、MRI、CT、X线和超声的跨模态采购需求出发,拆解统一索引、配对状态、去标识、标注质控、版本冻结与独立评估,帮助医疗AI研发团队把数据要求写成可复核、可验收的交付规格。
当一个医学 AI 项目同时提出内镜视频、关键帧与报告,多序列 MRI,胸部 X 线,平扫或增强 CT,以及超声和测量信息时,真正困难的通常不是把文件凑到一起,而是回答一个更具体的问题:这些影像、文本、时间点、检查和标签,能否在不泄露个体身份的前提下被准确配对,并被另一组研究人员独立复核?如果不能,数据量越大,后续训练、论文复现和采购验收越容易把不同层级的问题混在一起。
这类需求应被看作一个跨模态医学数据工程,而不是一个“全模态数据包”。临床任务、数据颗粒度、授权状态和质量证据必须从第一天就进入同一套索引与版本管理。本文不讨论任何具体患者、机构或项目,只从研发和数据采购角度拆解:怎样把影像、报告、视频事件、结构化测量与标注,组织成可审计的研究资产。
实际采购表常把独立技术要求、数据样例、授权说明和内部交付字段放在同一张表里。公开稿只能保留可独立成立的研发规格:任务、字段、配对、质量、授权和验收;原始链接、病例或检查标识、具体报告、样本数量、周期与商务信息不应进入正文。这样既不会把混合表误读成临床结论,也不会把“已脱敏”误写成“可公开传播”。
先把“需要什么数据”改写成临床任务
需求评审的第一问不应是“能提供多少”,而应是“模型要完成什么动作”。消化道内镜场景可能有三类不同任务:在视频时间轴上发现事件或异常片段;从视频中选出能支持文字描述的关键帧;把报告中的发现、部位、属性和不确定性与检查级对象关联。三者的输入、输出和验收单位都不同。视频任务需要帧率、时长、时间戳和遮挡状态,关键帧任务需要帧与描述段落的映射,报告任务则需要文本分段、实体边界、属性和证据来源。不能因为三者来自同一次检查,就把它们合成一张“有报告”的标签表。
MRI、CT 和 X 线也不能只以“影像+报告”概括。MRI 的基本颗粒度常常是检查、序列和切片,同时要保留序列名称、方向、层厚、体素间距、是否缺序列以及扫描协议的可解释字段;头部 CT 的平扫与增强序列要区分检查级、序列级和报告级关系;上腹部 CT 则可能需要器官、病灶、测量和诊断意见分别编码。胸部 X 线可以是单幅图像与检查报告的配对,但同一检查也可能有多个投照位。超声还要记录探头、扫查平面、动态片段、关键切面和测量值。数据字典如果把这些差异抹平,模型得到的不是统一数据,而是统一的歧义。
因此,任务说明至少要写清七件事:临床或科研动作,输入模态,解剖部位和病种范围,输出标签或文本,样本的最小颗粒度,标注主体与裁决主体,以及质量和验收口径。还要列出明确的排除项,例如无法确认来源的检查、缺失关键序列、严重伪影、报告与影像无法可靠对应的记录,以及授权范围不允许进入目标用途的样本。缺失不是零,阴性不是未知,未采集也不是不适用;这四种状态必须在字段层面区分。
用“核心实体+模态扩展”设计统一索引
跨模态项目需要统一索引,但不需要强迫所有模态共享同一套细节字段。一个实用的核心层可以包括:批次、匿名受试者、检查、序列或媒体资产、报告、标注对象、测量、质量记录、授权记录和版本。每个核心实体都应有不可回收的项目内标识,并能追溯到上一级实体。例如,一个视频帧应能回到某个视频资产和检查;一段报告应能回到报告版本和检查;一个病灶标签应能回到影像序列、标注指南、标注者角色和审核状态。
匿名标识的作用是维持关联,不是把原始身份“换个名字公开”。身份映射表应与研究交付索引隔离,纵向日期宜按项目规则进行时间分桶或受控偏移,并把偏移策略写进数据说明。索引中可保留对研究有用的年龄组、性别或时间顺序,但不应保留可直接回溯个人的姓名、原始检查号、文件路径、联系方式或自由文本中的内部备注。字段是否保留,应由目标任务、授权和再识别风险共同决定。
跨机构或跨仓库的互操作性也不能简化为“把字段名改成一样”。2025 年一项连接影像与临床数据仓库的研究显示,匹配受试者和构建多模态队列时,数据字典、跨库对照服务与治理规则必须一起设计;不同仓库对下载、计算环境、授权期限和数据使用协议的要求,会直接改变可执行的配对路径。7 因此,统一索引应保存关系证据和权限状态,而不是只保存一个看似成功的连接键。
核心层之外建立模态扩展层。视频扩展记录容器、编码、帧率、时长、关键帧时间戳、解剖段和事件区间;MRI 扩展记录序列、回波或采集相关字段、方向和空间几何;CT 扩展记录平扫或增强状态、重建层厚、期相与覆盖范围;超声扩展记录探头类型、扫查平面、关键切面和测量单位;报告扩展记录所见、印象、阴性、疑似和不确定文本的边界。相同字段名必须有定义、允许值和版本,模态专属字段则不能为了“表结构整齐”被填入猜测值。
公开的 MIMIC-CXR 数据集提供了一个有参考意义的工程例子:图像、检查和患者级标识被分层组织,多个图像可以属于同一检查,检查又与自由文本报告关联;项目同时说明了去标识、时间信息处理和数据使用协议。4 这个例子不等于任何新项目可以直接照搬其字段或合规结论,但说明了一个重要原则:多张图像、一份报告和一个纵向主体之间的关系,应在数据模型中显式表达,而不是靠文件名或人工记忆恢复。
图1 跨模态医学数据的统一索引、模态专属字段与权限门禁示意;为技术结构示意,不代表真实患者、实际项目或已完成交付。
配对不是“同一行”,而是带证据的关系
影像与报告、视频与关键帧、平扫与增强序列之间的配对,至少应区分确定、部分确定、待复核和不可配对四种状态。确定配对可以来自受控的检查级标识和序列关系;部分确定可能只有时间窗、部位和检查描述相符;待复核需要专业人员查看;不可配对则应保留原因而不强行补齐。若将全部记录都写成“已关联”,后续的对比学习、报告生成或问答评测会把配对噪声误当成模型能力问题。
纵向关联尤其容易产生隐性泄漏。同一受试者可能有多次检查、多个投照位、多个序列和多个报告。如果只按图像文件随机拆分,来自同一人的近重复信息可能同时进入训练和测试;如果关键帧与整段视频分别拆分,也可能让测试任务看到训练任务中的同一事件。索引层应记录患者级、检查级和资产级的划分组,并在生成训练、调参、内部测试和外部测试清单时固定随机种子或明确的时间和机构规则。医学影像交叉验证指南强调,多次检查或纵向图像应以患者或更高层级划分,而非在检查级随意打散;外部测试的价值还在于观察机构和设备差异带来的分布变化。6
配对质量还依赖时间和空间语义。多序列 MRI 不一定天然共位,多期 CT 也不应默认可以直接叠加,超声视频中的关键帧更不等于静态图像的独立样本。若项目进行了配准、重采样、裁剪或关键帧抽取,应同时保存原始资产引用、处理参数、软件版本和派生资产关系。派生文件可以用于训练,但不能覆盖原始几何;未成功配准、序列缺失和运动造成的不可比性,应成为显式质量状态。
去标识需要覆盖元数据、像素、文本和视频
“DICOM 已脱敏”不能自动推出整个数据包已经安全。DICOM PS3.15 的属性保密规范明确指出,属性配置只是去标识过程的一部分,并不保证整个信息对象不存在可识别信息;实施时还要根据用途、接收者、适用法规和再识别风险设计流程。1 对影像而言,需要检查标准属性、私有属性、UID 关系、文件元信息、叠加图形和烧录在像素中的文字。对报告而言,需要处理姓名、日期、地点、医务人员和自由文本中的隐含身份线索。对视频和关键帧,还要检查画面边缘、设备界面、语音、字幕、操作记录和导出文件名。
因此,采购或研发验收应把去标识拆成可重复的证据链:处理方法和版本、处理前后字段清单、像素或帧内容抽检、文本抽检、纵向关联策略、异常样本清单,以及谁有权复核和放行。DICOM 标准允许在保留科研所需信息与降低身份泄露之间进行平衡,但保留年龄组、时间顺序、设备或机构信息,都可能改变再识别风险。WHO 关于大型多模态模型的治理指南也强调,健康数据的用途、责任、风险和人工监督不能被“模型是研究用途”这句话一笔带过。2
授权状态应独立于去标识状态。至少建议分别记录:是否允许科研使用,是否允许商业使用,是否允许第三方处理,是否允许再分发,是否要求私有化,授权有效期和限制条件,以及对应的证据编号。授权文件本身不应直接塞进公共数据索引;交付侧只需保留经审核的状态、版本和受限访问指针。某条记录即便已去标识,也可能因为授权用途、跨境限制或再分发约束不能进入目标训练集。若授权状态为空,样本应进入隔离区而不是作为“待补文件”混入生产批次。
算法路线要与标签颗粒度匹配
统一索引完成后,算法方案才有讨论意义。视频任务可以采用帧级编码器与时间建模,关键帧任务需要显式学习或规则化保存时间戳,报告任务可按句段、实体和属性建立文本标签;三者可以在检查级或事件级进行融合,但不能把视频帧的标签直接当作报告事实。影像—报告任务可采用各模态编码器、检查级聚合和受控的跨模态对齐,训练时应把“无报告”“报告不确定”和“报告与图像不一致”作为不同的样本状态。
多序列 MRI、平扫增强 CT 和超声测量的输入归一化也要受任务约束。重采样、窗宽窗位、强度标准化、序列筛选和裁剪均应记录参数;缺序列不要用默认模板填充,除非研究设计明确把它定义为缺失输入实验。自动分割、关键帧抽取、文本实体识别和相似度检索都可以用于提速,但自动结果只能是草稿,不能在未审核的情况下进入参考标准、最终评测集或对外交付。
标注主体应该随任务拆分。视频事件和关键帧需要熟悉时间轴与检查流程的标注人员,解剖边界和病灶标签需要相应专业背景的影像标注人员,报告实体和不确定性需要按指南训练的医学文本标注人员;争议裁决者要独立于初标者,并记录其参考资料和修改理由。一个“专家已审核”字段过于粗糙,至少还应记录角色、任务范围、审核状态、争议类型、处理结论和指南版本。专业人员的意见是参考标准的组成部分,不应被宣传成绝对真值。CLAIM 2024 更新建议使用 reference standard,而不是把人工标签笼统称为 ground truth 或 gold standard;它还强调描述数据来源、纳排标准、预处理、去标识、图像采集协议以及内部测试和外部测试的区别。3
验收要从文件完整性推进到研究可用性
一批数据是否“交付”,不能只看文件数量。建议把验收分为六层。第一层是文件层:格式可读、哈希或文件清单一致、容器能打开、DICOM 或视频关键属性不缺失。第二层是检查层:同一检查内的序列、投照位、帧和报告关系正确,空间方向、尺寸、层厚、帧率和时长符合项目范围。第三层是语义层:病种、部位、标签、报告段落、关键帧和测量值符合字典,阴性、不确定、缺失和不可判定状态没有被混用。第四层是配对层:影像—报告、视频—关键帧、序列—检查和纵向记录均有可追溯关系,无法配对的记录带原因。第五层是质量层:抽检覆盖不同模态、设备、机构、病种、样本难度和标签稀疏度,失败类型能够回到指南和返工单。第六层是授权层:每个批次都能对应允许的用途、处理方式、期限和再分发限制。
抽检不宜只报一个总体通过率。稀有病灶、短视频、边界模糊病例、少见序列、不同探头和不同设备都可能被平均数掩盖;应按风险分层抽取,并分别报告文件错误、配对错误、标签错误、文本错误、质量不适用和权限缺失。若发现同一错误在多个标注者或多个模态反复出现,应先暂停相关层级的扩量,修订指南、补充正反例并重新做小样本复核。停线和恢复的条件要在项目开始前写下,而不是在争议发生后临时决定。
独立评估要和验收区分。验收回答“这批数据是否符合双方冻结的规格”,研究评估回答“用这批数据训练或测试的模型能否在目标人群和目标环境中保持可解释的表现”。内部测试可以检验冻结划分上的结果,外部测试则要尽量来自不同机构、设备、协议或时间段。跨站点研究显示,分布变化会影响性能与公平性,模型还可能利用人口学或机构相关的捷径;因此,年龄组、性别、设备、机构、图像质量和病种谱不应只作为展示表格,而应进入偏差分析和外部验证设计。5
验收记录还应保留“未通过但可修复”和“因任务不适用而排除”的区别。前者需要返工、复核和新版本,后者需要在数据卡中说明原因,不能被简单统计成缺失或错误。这样,采购方在扩充队列时才能判断问题来自采集、标注、授权还是研究设计,而不是用一次总体验收结果掩盖不同风险。
让业务逻辑服从证据链
对采购方而言,最稳妥的路径是先建立小型试点,而不是直接按总规模下单。试点应包含每种目标模态的代表性样本、阳性与阴性、确定与不确定、常见与困难案例,以及完整的授权和处理记录。试点输出不是一组漂亮截图,而应包括数据卡、字段字典、匿名索引、标注指南、正反例、配对状态、质控摘要、问题单、导出样例和版本说明。算法、临床研究和信息安全团队分别按自己的工具打开同一批样例,并把打不开、读错、配错或无法解释的内容记录为验收问题。
当需求同时包含数据资产、标注服务、平台软件、院内部署、存储算力和接口时,商业范围与责任也要拆开。数据授权不等于平台许可,平台能导入某种格式不等于已经具备该模态的可交付数据,完成样例评估也不等于量产数据通过。任何规模、周期、专家配置、模型数量或效果阈值,都应以项目书面规格和实际证据为准,不应把需求表中的目标值改写成企业现货、业绩或临床效果。
从已核验的公司范围看,朗慧的公开定位是 AI 数据基础设施和流程服务商,LangData 覆盖采集、处理、标注、质检和数据交付;医疗栏目提供按部位、模态和任务组织的数据目录、询价与样例评估入口。基于这一边界,可以讨论其围绕具体项目协助整理规格、组织标注与质量记录、形成版本化交付物的适配性,但不能据此推断任何未核验的现货、统一库存、合作机构、临床验证或模型性能。实际授权、规格、周期和交付状态仍须逐项书面确认。
对研发团队来说,跨模态数据的价值不在“看起来覆盖很多部位”,而在于每一个训练样本都能回答:它来自哪个受控检查,使用了哪些模态和处理步骤,报告或标签由谁按哪一版规则产生,哪些内容被确认、缺失或争议,是否允许当前用途,最终评测是否与训练样本真正独立。把这些问题写进索引、指南和验收脚本,才有可能在扩大数据规模后仍然复盘错误、修订版本并解释研究结论。本文讨论的是数据工程与研究治理,不构成诊断、治疗、筛查或个体医疗建议;任何实际使用仍需遵守适用法律、伦理审查、数据授权和机构制度。
图2 从来源与去标识、配对与标注,到分层质检、版本冻结和独立外部测试的验收闭环;为技术示意,不代表真实实验结果或临床性能。
参考来源
- DICOM PS3.15 2026d — E Attribute Confidentiality Profiles (Normative)
- Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models
- Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update
- MIMIC-CXR, a de-identified publicly available database of chest radiographs with free-text reports
- The limits of fair medical imaging AI in real-world generalization
- A Guide to Cross-Validation for Artificial Intelligence in Medical Imaging
- Multimodal data curation via interoperability: use cases with the Medical Imaging and Data Resource Center

