跳至正文
朗慧科技

MEDICAL DATA RESEARCH

多模态医疗AI数据交付协议:从主键、语义到可复核验收

医疗AI数据交付不止是打包影像:本文从病例—检查—序列/帧—对象主键出发,讨论报告与标签语义、空间标注、来源血缘、偏差、授权和下游复现如何进入同一套可核对验收链。

临床文本与纵向多模态AI辅助整理 · 研发交流

同一个医学AI课题,可能同时拿到DICOM影像、检查报告、结构化诊断标签、病灶Mask、关键帧、测量值和来源统计。文件都能打开,并不意味着数据已经能够训练、复核或进入独立验证。真正困难的问题是:某条报告究竟对应哪次检查,某个标签处在病例级还是病灶级,某个Mask绑定的是哪一套坐标和哪一层影像,某项“阴性”是确实未见异常还是没有完成标注。只要这些关系不能被程序和专家同时复核,多模态数据就仍然只是文件集合,而不是可复用的研究资产。

这类问题不属于某一个病种或某一种算法。它横跨CT、MR、X光、超声、内镜、病理和文本,也横跨分类、检测、分割、报告理解、图文配对和纵向研究。较稳妥的做法,是先把临床任务写成可验收的规格,再把每个模态放进同一套病例—检查—序列或帧—对象关系中。本文讨论一套面向医疗AI研发和数据采购的统一交付思路:如何拆解任务、设计数据结构、管理标注和证据链,并把质量、偏差、授权与下游复现纳入同一个验收闭环。

先定义临床任务,再决定交付字段

数据建设的第一步不是选择文件格式,也不是询问能否提供某种模型,而是回答“模型要完成什么”。如果目标是检查级疾病分类,输入通常是一次检查的一个或多个序列,输出是检查级标签及其确定性;如果目标是病灶检测,输出至少要到病灶级,并说明使用矩形框、点、ROI还是三维Mask;如果目标是分割,必须规定边界对象、起止层面、坐标系和内部成分是否拆分;如果目标是报告信息抽取,则要定义实体、关系、否定、疑似和测量值如何表示。不同任务不能共用一个模糊的“阳性”字段。

规格还要写清解剖部位和病种范围。胸部X光中的肺部征象、头部CT中的脑实质异常、腹部影像中的器官或病灶、超声中的测量帧,既不是同一颗粒度,也不应使用同一套空值语义。病灶级标签不能自动上卷为病例级诊断;一份报告中出现的疑似描述,也不能未经规则变成确诊标签。若项目需要纵向配对,还要明确是同一病例的多次检查、同一检查的多期相,还是不同模态之间的关联,并记录不能直接对应的原因。

建议把每个任务的输入、输出和验收写成三张相互关联的表。输入表描述模态、部位、检查方法、序列或帧,以及允许的质量范围;输出表描述标签名称、层级、确定性、尺寸或空间对象;验收表描述路径存在、字段完整、标签与文本绑定、标注与原始坐标一致,以及需要人工复核的例外状态。这样可以把“交付了数据”改写为“交付了哪些可执行任务的证据”。

本稿所对应的原件是一份跨模态统一交付标准模板,而不是某个病种的数据集目录、单一DICOM队列入库脚本或标注平台功能清单。它的独立技术要求在于:同一批交付物要把病例、检查、序列或帧、报告、标签、空间对象、来源治理和验收证据连成可解析的关系;具体模态、部位、病种、标签和授权范围仍须由每个项目冻结。这样既能吸收不同模态的共同字段,也不会把某个平台的默认范围误写成所有项目的现货能力。

用稳定主键把多模态材料连接起来

DICOM不是只有像素的图片格式。官方说明指出,DICOM数据集由一组属性和像素数据组成,属性中可能包含患者标识、检查信息、设备和采集相关内容;同一对象也可能包含多帧数据。1 因而,交付时不能依赖文件名推断病例、序列或期相。DICOM当前标准还分别规定了信息对象、数据结构与编码、数据字典、媒体文件格式、结构化报告和安全管理等部分。2 这些内容提醒数据采购方:影像文件、报告对象、标注文件和脱敏记录需要被明确分层,不能用一张截图或一个压缩包名称替代关系定义。

工程上可采用四级主键:匿名病例键、检查键、序列或视频键、对象键。病例键用于连接一次或多次检查,但不应携带直接身份信息;检查键用于表示一次影像检查或一次内镜过程;序列、帧或切片键用于定位具体输入;对象键用于连接病灶、测量点、Mask、框或报告片段。每个文件再由相对路径、格式、大小、校验值和文件角色组成清单,避免交付包换目录后所有引用失效。

如果项目需要把影像与临床表、报告或算法衍生特征关联起来,可参考影像数据模型的思路。Park等提出的OMOP医学影像扩展使用影像事件和影像特征等结构,将研究表与DICOM检查或序列关联,并为影像特征记录来源和生成方法。3 这并不要求每个项目机械采用该模型,而是说明“来源”和“衍生结果”应成为数据结构的一部分:一个特征由哪次检查产生、使用了哪个版本的算法或报告、位于何种解剖位置,都应能追溯。

病例、检查、序列、文本、空间对象与版本证据的统一关系示意查看完整技术图(可放大)

图1|统一主键把多模态材料连成可核对数据链。技术示意,不含真实患者数据,不代表任何病例或诊断结论。

报告文本不能只保留最终结论

报告是影像数据的重要语境,但“报告已配对”仍然不够。建议至少区分影像所见、诊断意见、否定描述、不确定描述和测量信息,并保留结构化字段与原文片段的对应关系。否定词、程度词和“建议进一步检查”等表达会改变标签含义,不能在清洗时被简单删除。对一个病灶而言,报告中的位置、大小、形态、强化或血流描述,可能对应不同的结构化输出;如果这些片段没有稳定ID,下游就无法判断标签究竟来自哪一句话。

多模态机器学习研究通常把影像、文本、时间序列和表格数据作为互补输入。相关综述指出,DICOM携带影像及检查设备和采集参数,报告文本则提供影像之外的临床语境;但跨模态任务仍受配对质量、文本噪声和评估指标不能完全代表临床正确性的限制。4 因此,影像与报告的配对应是一项独立的数据任务:需要检查同一病例键、检查时间或检查号关系,区分报告对应整次检查还是单一序列,并把无法确认的配对标为未知,而不是强行建立正样本。

标签字典要表达语义,不要制造伪精确

标签字典至少应包含唯一编码、中文或英文名称、定义、适用层级、正例和反例、允许的同义词、禁止点和版本。标签名称应具体到项目需要的病种或影像征象,例如某类结节、积液、梗死或器官异常,而不是只写“阳性”。确定性也应有明确枚举,如确诊、疑似、待排、阴性或不确定;“未见明确异常”和“未完成标注”不能落在同一个负类里。

对于大小、长度、角度、体积和血流等数值,要同时记录数值、单位、测量对象、参考序列或帧以及测量方法。对于来源于病理、手术或随访的结论,应另设证据层级,不能把影像印象、病理真值和模型预测混在一个字段。这样做既方便训练分类模型,也能避免研究者误把数据集标签当成个体临床诊断。

空间标注要绑定原始坐标和证据

空间标注的颗粒度决定了模型能否复用。二维检测可能只需要bbox或关键点,局部勾画可能需要ROI或多边形,三维任务则需要Mask与原始序列的方向、层厚、像素间距和体素位置。视频任务要保存帧号或片段起止边界;超声还要把干净帧、带测量线的帧、带彩色覆盖的标注帧以及报告扫描件分开。被截取、叠字或带人工绘制的图像不能与干净原始帧混为一类。

每一条空间标注应至少绑定病例、检查、序列或视频、对象键、标注类型、坐标系、原始文件路径、层面或帧范围和文本片段(若有)。这使得审核者可以从Mask回到原始影像,也可以从报告中的一个描述定位到空间对象。若不同期相之间存在呼吸运动、扫描范围差异或配准不确定性,应保存关联关系和不确定状态,不能把配准后的视觉叠加误写成原始坐标完全一致。

标注对象的边界也要先写规则再交给人员执行。病灶整体边界是否包括囊变、坏死或出血成分,器官与病灶是否分层,邻近血管或尿路是否单独标注,都属于任务定义,不应由标注者临场发挥。对于边界不清或证据不足的区域,可以使用待复议、忽略区或不确定状态。追求轮廓平滑不能替代医学依据,插值生成的中间层也不能跳过抽层复核。

标注质量来自角色分离与争议记录

医疗标注中的“专家审核”不是一个没有过程的结论。更可审计的设计是:标注人员按当前指南初标并自检;独立复核者在看不到前一轮决定或至少不受其影响的条件下复核;出现争议时由具备相应专业能力的人员仲裁,并记录争议类别、参考影像、双方意见、最终决定和指南版本。角色是否由同一人承担,应在项目说明中写明,不能只在宣传材料中使用“三级质检”一词。

多标注者研究显示,医学图像分割存在较高的标注成本和观察者差异。Zhang等用多个公开分割数据集及一个由四名标注者产生的多发性硬化病灶数据集,研究如何从多个带噪标签中估计标注者可靠性和共识分布。5 这项研究不是任何项目的质量证明,却说明标签来源、人员差异和共识形成方式本身就是应保留的数据。若所有分歧都被平均成一个“金标准”,模型训练和误差分析都会失去重要信息。

指标要与任务匹配。分类标签可检查类别、确定性、报告片段和病例级一致性;检测任务可检查框的格式、坐标范围和对象数;分割任务可检查空Mask、越界、层间断裂、体素间距和与原图的空间对齐;文本任务可检查实体边界、否定和关系;交付层面还要检查文件路径、格式、校验值、版本和授权字段。Dice、IoU、Kappa或ICC只有在参考对象、抽样单位、实现方式和缺失处理都预先写明时才有解释力,不能用单一指标替代整套质量证据。

把偏差和外部验证写进数据设计

一个数据集的质量不只取决于标签是否“看起来对”。还要知道样本来自什么模态、什么解剖部位、什么设备和采集协议,阳性、阴性、不确定和质量降级样本如何分布。来源不必在公开文章中暴露机构名称,但在受控项目中应保留可审计的机构编码、设备编码和时间桶。分布统计还应记录图像数量、检查数量、报告数量、标签数量和空间标注数量之间是否相互匹配。

Galanty等在Scientific Reports发表的研究使用BEAMRAD工具检查公开MRI、彩色眼底和心电数据集的文档,发现硬件和采集信息较常被记录,而标注实践、标注错误量化和数据局限并不总能得到一致说明。6 研究对象并不覆盖所有医学模态,但它给出一个重要的工程启示:缺少文档不是排版问题,而会削弱使用者识别偏差和选择合适数据的能力。因此,交付包应把标注规则、错误类型、已知限制和分层统计视为与影像文件同等重要的组成部分。

数据划分要以病例或受试者为基本单位,而不是把同一检查的不同切片、帧、期相或衍生标注随机撒进训练和测试集合。纵向数据还要决定按患者、按时间还是按检查划分,并记录随机种子和排除关系。若同一患者的后续检查同时进入训练和测试,模型可能利用个体或设备特征获得不应有的优势;这种结果不能说明跨病例泛化能力。

外部验证需要独立来源、设备、协议、时间段或人群中的数据,并与内部交叉验证分开报告。Yu等对影像诊断深度学习外部验证研究的系统综述纳入83项研究和86个算法,其中70个算法报告了外部性能下降,部分研究下降幅度达到具有实际意义的程度。7 这项综述不是某一模型的临床结论,却说明仅凭内部随机划分不足以支持外推。数据交付阶段越早保存设备、协议和来源分层,后续越容易设计有意义的外部测试,而不是在模型训练完成后才发现无法解释域差异。

多模态数据从入组、标注到独立验证和发布的验收闸门查看完整技术图(可放大)

图2|从入组到发布的多模态数据验收闸门。技术示意,不表示某批数据已通过、某模型已完成验证或具备临床适用性。

合规不是“已脱敏”四个字

DICOM官方资料明确提示,数据对象的属性可能包含患者标识,像素数据也可能以多帧形式存在。1 因而去标识应同时检查结构化字段、文件名、报告文本、图像像素中的烧录信息、视频帧和病理图像的元数据。只删除DICOM属性而不检查像素或文本,不能作为完整的去标识证明。脱敏状态还要写清处理方法、复验结果、遗留风险和适用的数据范围。

授权用途与去标识是两道不同的门。数据可以已经去标识,但仍然不允许商用、第三方处理或再分发;也可能只允许某个研究主题、某个保存期限或某个受控环境。交付记录应分别保留授权或数据使用协议、法律或伦理审查状态、商用许可、第三方平台处理、再分发限制和退出时的数据处置方式。公开稿不需要、也不应写出具体合同内容,但项目验收不能把这些字段省略。

WHO关于大型多模态模型的2025年治理指南将这类模型描述为可接收一种或多种数据输入、并生成多种输出的系统。8 对数据建设者而言,这意味着影像、文本和结构化信息的组合会扩大使用场景,也扩大错误传播、隐私暴露和责任边界。数据交付应尽量提供可追溯的来源和处理记录,让研究者知道哪些内容是原始记录,哪些是人工标签,哪些是算法衍生结果。若项目未来可能支持医疗产品开发,还应把代表性数据、独立测试和持续监测纳入更高层级的质量规划,并把研发阶段的质量要求与临床评价要求分开记录。

用可执行验收替代“文件已交付”

建议先做小规模试标,不以样例数量本身证明能力,而以样例能否走完整链路作为放大前提。第一关是入组:模态、部位、任务和纳排条件符合冻结版本,文件可打开,相对路径和校验值一致。第二关是语义:病例、检查、序列、报告、标签和标注的关联可解析,空值和确定性符合字典。第三关是空间:Mask、框、关键帧或测量线与原始对象对齐,坐标和层面范围正确。第四关是质量:自检、独立复核和争议关闭记录齐全。第五关是分布与偏差:统计维度完整,划分不泄漏,外部验证队列的差异有计划。第六关是合规:去标识复验和授权范围都已核对。

最终交付不应只有一个压缩包。更可复用的交付快照包括:允许范围内的原始文件或引用、报告与结构化文本、标签和空间标注、字段字典、文件清单、校验值、来源和设备分层统计、质检摘要、争议与返工记录、版本差异、授权与去标识说明,以及至少一个能在下游工具或训练代码中实际打开的脱敏样例。若规范修改,应生成新版本并标出受影响病例、字段和标注,不要在原版本上静默覆盖。

对算法团队,这种交付能减少因方向、体素间距、标签映射或病例泄漏造成的返工;对医学专家,它让边界、证据和争议有地方落档;对信息部门,它提供文件血缘、权限和退出管理的接口;对采购方,它把验收从“有没有文件”变成“能否按照任务复现”。在已核验的公司定位范围内,朗慧作为AI数据基础设施及流程服务商,可围绕采集、处理、标注、质检和数据交付组织项目化流程;具体模态、专家角色、数据授权、软件范围、周期和质量阈值仍应以项目书面规格、样例评估和合同为准,不能由通用方法文章推导为现货或临床结果。

真正值得沉淀的不是一套看似完整的表格,而是从临床问题到数据字段、从标注意见到版本快照、从内部质量到独立验证的可解释链路。多模态数据只有在这些关系被明确、错误可以定位、变更能够追溯、限制得到披露时,才有机会成为可靠的研发基础。它可以支持分割、检测、分类、报告理解或多模态建模研究,但不自动等于诊断系统,也不替代伦理审查、数据授权、医疗器械评价和临床验证。

参考来源

  1. DICOM Standard: Key Concepts
  2. DICOM Standard: Current Edition
  3. Development of Medical Imaging Data Standardization for Imaging-Based Observational Research: OMOP Common Data Model Extension
  4. Advancements in Medical Radiology Through Multimodal Machine Learning
  5. Learning from multiple annotators for medical image segmentation
  6. Assessing the documentation of publicly available medical image and signal datasets and their impact on bias using the BEAMRAD tool
  7. External Validation of Deep Learning Algorithms for Radiologic Diagnosis: A Systematic Review
  8. Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models