跳至正文
朗慧科技

MEDICAL DATA RESEARCH

多模态医学数据采购如何从“数量清单”变成可验证数据资产

面向医疗AI研发与数据采购,拆解CT、MRI、眼科、超声、X光、病理WSI、内镜和皮肤镜的计数主键、原始对象、标签证据、去标识、独立验证与主键级验收。

临床文本与纵向多模态AI辅助整理 · 研发交流

当一个医学人工智能项目同时涉及断层影像、二维影像、动态超声、眼科体数据、病理全切片和内窥镜视频时,最先需要解决的往往不是选哪一种模型,而是回答一个更基础的问题:交付的“一个样本”究竟是什么?如果同一项检查的多序列、不同重建、不同视图或视频关键帧被分别计数,数量会看起来很大,临床任务却未必得到相应的信息。反过来,如果把完整检查压缩成截图,把病理切片压成预览图,或把内镜视频剪成若干关键帧,模型失去的可能正是决定任务可行性的空间、时间和语义上下文。

高质量数据采购因此不应只写“多少例、多少张、多少小时”。它要从临床问题出发,先明确输入模态、解剖部位、病种或场景,再定义输出标签、数据颗粒度、纵向关联、标注主体、质量门槛和验收证据。已有医学影像数据整理研究也把任务定义、去标识、标注、质控和存储视为相互连接的流程,而不是互相独立的工作包。1 对多模态项目而言,这个流程还需要增加一层“计数主键与证据链”设计,才能让研究、采购和算法团队对同一批数据作出相同解释。

先把临床任务写成可验收对象

多模态不是把多种文件放在同一个目录。临床任务决定数据应当保存到什么粒度,也决定哪些信息可以作为标签,哪些信息只能作为待核查证据。以CT或MRI为例,研究目标可能是病灶检测、器官或病灶分割、报告语义分类、治疗前后影像比较,或者把影像与病理、实验室和随访结果联合起来。它们所需的输入从单一切片到完整检查不等,输出也可能从检查级标签扩展到病灶级、体素级或时间点级标签。若目标是多序列融合,原始序列、空间几何、扫描协议和派生重建的关系不能在交付时被抹平。

内窥镜视频的任务也不能简单等同于“图像分类”。一个模型可能要识别病变区域,另一个模型要理解到达范围、退镜过程或采样位置,还有模型关注增强成像模式在时间上的变化。对于这类任务,完整检查视频、帧率、时间顺序、设备模式、关键原图和活检或病理关系应当一起定义。超声则依赖操作者、探头、切面、增益和动态过程;如果只保留几张静态截图,后续算法很难判断图像是否来自完整检查或是否覆盖了规定结构。

眼底照相与OCT的关联又有自己的主键。左右眼不能无条件合并,同一眼的不同扫描协议也不能混成一个样本。OCT的完整Volume与单线扫描承担的任务不同;眼底图像的视野、黄斑或视盘中心以及可见范围会直接影响可评价性。病理全切片则至少要区分患者、病例、标本、蜡块、物理玻片与WSI。一个完整WSI不是一个普通的二维缩略图,扫描倍率、Level-0、金字塔层级、焦平面、染色和标本层级关系都可能影响训练与复核。

因此,需求文件的第一层应当是“任务卡”,而不是模态目录。任务卡至少写明:研究问题是什么;输入是完整检查、序列、Volume、视频、玻片还是病灶;输出是检查级、区域级、像素级、时间级还是病例级;阳性、阴性、不确定、不可评价和治疗后改变如何区分;哪些结论必须由正式报告、病理或随访支持。每个字段都要有可通过样例和退回样例,不能依赖会议上的口头补充。

九类模态对应九种验收对象

原件覆盖的模态很多,但验收不能用一套“文件数”规则包打天下。CT和MRI应以一次Study或检查为主键,把多期相、多序列、参数图和重建作为可追溯的组成对象;眼底照相和OCT应以眼别检查为边界,左右眼、扫描区域及OCT完整Volume不能互相替代。这样既能支持跨模态关联,也能避免把同一检查的派生对象重复计数。

超声的主键是一次完整检查,静态图、设备原生cine、测量和探头/模式参数应挂在同一Study下;胎儿检查还要在检查级主键下另建胎儿关联编号,不能把多胎拆成多次检查。X光则需把同次多体位、多视图和原始/处理状态组织在一起:乳腺摄影要区分CC、MLO、补充视图和断层合成,骨龄、骨折、脊柱侧弯和胸片要保留体位、侧别、曝光及拼接关系。截图或报告图不能替代原始对象。

病理的计数对象是合格物理玻片对应的完整WSI,Level-0、金字塔层级、MPP、焦平面、通道、染色和标本关系需要与切片保持一致;重扫和格式转换副本不应再次计数。胃镜、肠镜、支气管镜、阴道镜/宫颈镜及胆胰管镜则以一次完整Procedure为主键,完整视频、关键原图、到达范围、过程质量和取材/病理关系应一并验收。皮肤镜更接近病灶—检查主键,同一病灶的多视角、倍率和随访应以Tracking ID与时间点关联,而不能伪装成多个病灶。上述差异正是数据字典必须在采购前冻结的原因。

用计数主键阻断重复结算与数据泄漏

多模态采购最容易被低估的风险,是“数量单位不同”与“样本单位不同”同时存在。CT、MRI、超声和X光通常围绕一次检查或Study计数,但同一Study里可能有多期相、多序列、多视图、多重建或多通道。DICOM标准将影像信息组织在患者、Study、Series和实例等关联对象中,强调对象及其元数据之间的关系,而不是把每个文件都视为一个独立病例。2 这意味着采购清单必须先指定计数主键,再规定哪些派生对象只能作为该主键的组成部分。

一个可执行的主键规则,应能在清单中回答四个问题。第一,谁是计数对象:患者、检查、眼别、病灶、物理玻片还是完整Procedure。第二,哪些对象属于同一次检查:多序列、多期相、不同体位或不同增强模式如何归组。第三,派生对象怎样标识:MPR、三维重建、参数图、关键帧和格式转换副本是否只作为关联文件。第四,重复如何处理:重复导出、重扫、同一病灶多视角、同一患者跨批次检查如何去重或保留纵向关系。

内镜视频特别需要避免“按帧计数”。完整胃镜、肠镜、支气管镜、阴道镜或胆胰管镜检查应当以一次Procedure作为主键,视频中的帧、片段和不同增强模式挂在Procedure下。皮肤镜则更接近病灶级主键,同一病灶的多视角和不同倍率可以形成观察集合,但不能被误算为多个病灶。产前超声在多胎场景还要区分检查级主键与胎儿关联编号;检查只计一次,胎儿标签按关联对象展开。病理则以合格物理玻片对应的完整WSI作为切片级计数对象,重扫、金字塔层级和格式转换不应重复计价。

主键的另一个作用是防止训练测试泄漏。若同一患者的不同检查被随机分到训练集和测试集,模型可能记住设备、机构或个体特征,而非学习临床任务。多中心项目要在交付前冻结患者级、病例级或病灶级划分规则,留下稳定的匿名关联、分层抽样记录和随机种子。独立测试中心不应只被理解为“再抽一批文件”,而应代表未参与开发的来源、设备、协议或时间分布。

从原始对象到证据链:数据设计要保留什么

原始数据不是为了“显得完整”,而是为了保留任务重建所需的证据。CT和MRI交付时,空间几何、层厚、重建核、序列名称、磁场强度、线圈、TR、TE、TI、b值、对比剂和动态期相等信息应按实际存在情况保留,并与Study/Series/Instance关系一致。DICOM信息模型允许一个复合对象引用患者、Study、Series、设备、Frame of Reference和图像等多个实体;这类关联是后续配准、复查和质量追溯的基础。2

二维X光也不能被“看起来清楚”的截图替代。胸片、四肢骨折片、骨龄片、脊柱全长片和乳腺摄影都需要保留体位、视图、侧别、曝光与原始或处理状态。多体位检查应归入同一检查主键,同时将补充视图、拼接关系、处理图和原始投照分开标记。否则,算法可能把处理版本当成独立样本,采购方也无法判断一项完整检查到底是否交付。

超声的证据链要同时保留静态图、设备原生cine或视频、模式、测量、单位、探头和设备参数。关键不是要求每个项目都包含所有模式,而是让“实际提供了什么”能够被机器清单和人工复核共同确认。乳腺或甲状腺任务需要侧别、象限或位置、三径和淋巴结区等结构化语义;腹部任务要记录实际显示的脏器范围,未完整显示的结构不能被自动归入阴性。胎儿超声应保存孕周、胎儿编号、胎位、胎盘、羊水、生物测量和可评价解剖系统,不能用模板字段填补未评价结构。

病理WSI的交付包应把扫描仪原生文件、互操作格式、Level-0、金字塔、MPP、焦平面或通道、染色和标本关系分开记录。HE、IHC和特殊染色不能只用一个“病理图像”枚举代替。报告、取材方式、蜡块或玻片编号及病理诊断应通过稳定的匿名关联连接到切片,但研究标签与病理结论不能混用。病理报告支持的是诊断证据或语义监督,ROI和细胞级标注则是另一种粒度,须在字段字典中分别定义。

去标识也必须贯穿原始对象和证据链。DICOM的保密配置不仅涉及患者姓名等直接字段,还涉及私有属性、UID替换、文件名、目录名、像素内烧录文字、overlay和自由文本。官方标准说明,去标识应通过移除或替换不能用于识别患者的属性来实现,同时要维护信息对象的完整性。3 因此,匿名化不能被写成“导出前统一处理”一句话,而要成为入库检查、像素检查、跨批次关联和交付复核的可记录步骤。授权范围、伦理审批和去标识是三类不同证据,不能互相替代。WHO也强调,健康AI应把伦理、人权、责任和对受影响人群的回应放在设计、部署和使用全过程。7

标签不是结论复制:要保留不确定性和来源

多模态数据的标签需要区分“观察到什么”和“最终证实什么”。影像报告中的所见、结论、否定、不确定、考虑、不能除外、术后改变和病理确证应分别编码。疑似肿块不应在数据清洗时被升级成恶性肿瘤;局部扫描也不应产生扫描范围之外的阴性结论;不可评价应有独立枚举,而不是默认为阴性。这样的语义保留,能减少标签噪声,也能让模型学习到临床不确定性,而不是被迫在证据不足时给出确定答案。

标签颗粒度必须与临床任务匹配。检查级分类可使用结构化报告或病理结果作为监督,但病灶检测还需要部位、侧别、大小和边界;分割任务需要明确责任切片、空间坐标、边界规则和术后改变处理;内镜过程理解需要到达范围、盲区、可视质量、退镜或取材阶段;皮肤镜随访需要病灶Tracking ID和时间点。专家标注不是简单地“看过一遍”,而是按指南执行,保留初标、独立复核、分歧、仲裁和版本。

建议将标注流程分成四层。第一层是机器和人工的入库自检,检查格式、可读性、完整性、关键字段、哈希和去标识状态。第二层是经过专业培训的初标或结构化录入。第三层是对标注者不可见结果的单盲复核,重点查看边界、侧别、部位、时间顺序和标签语义。第四层是对高风险、争议或跨中心不一致样本的专家仲裁。标注者资格、仲裁条件和是否允许查看前一轮结果,都应写入项目规范。盲审的价值在于减少相互暗示,不在于机械增加审核人数。

质量指标也应与任务一致。分割可讨论Dice、IoU或表面距离,检测可讨论召回、精确率或FROC,分类可讨论敏感度、特异度、校准和分层表现,视频任务还要检查时间边界、帧率和连续性。采购验收不能把一种任务的指标替代另一种任务,也不能把训练曲线当成外部泛化证据。对不确定或不可评价样本,重要的质量问题可能是纳入比例、字段完整率和语义一致性,而不是一个看似漂亮的平均准确率。

把多中心差异写入偏差与外部验证方案

多中心并不等于把多个来源简单拼接。机构等级、地区、设备厂商和型号、软件版本、操作者、扫描协议、年份、年龄、性别、病种谱和术后比例都可能改变数据分布。Nature Medicine关于健康数据标准的分析指出,人口属性和数据多样性既关系到偏倚发现,也关系到数据能否被不同人群安全使用;数据文档应让使用者知道数据集的适用性与不足。5 FUTURE-AI进一步把采集地点、机器、预处理和标注过程视为偏倚来源,要求在设计和验证阶段主动记录并评估。6

因此,数据字典应有“来源属性”一组字段,但不必为了收集而收集。字段的目的,是支持分层抽检和独立评价。例如CT可按设备与协议分层,MRI可按磁场强度、线圈和序列分层,超声可按探头与操作者场景分层,内镜可按设备模式和检查完整度分层,WSI可按扫描仪、染色与焦平面分层。对眼科数据,还要记录眼别、视野或扫描区域;对皮肤镜数据,要记录解剖部位、偏振和倍率。若某个属性可能造成再识别,应遵循最小必要原则,并把访问权限与研究用途分开。

外部验证应在模型开发之前写进数据方案,而不是结果不理想时临时寻找。基准数据集的建设建议强调图像质量、病例代表性、预处理、统计设计和可获得的外部验证条件,因为外部数据是检验泛化的重要基础。4 对采购项目来说,至少要保留一个未参与指南制定或模型调参的评价集;对高风险任务,最好以中心、时间段、设备或人群为单位隔离。独立测试集的标签应完成同等程度的专业复核,但测试结果不应反向修改训练标签或预处理规则。

验收要围绕“可复核交付”而非总量放行

在量产前,先用代表性样例和小批次试采走通全链路。样例应覆盖正常、阳性、不确定、术后、低质量和不可评价情况,也要覆盖不同的协议、设备、视野、染色、视频增强模式或扫描层级。验收人不应只打开预览,而应检查原始对象是否能在目标工具中读取,标签能否与原始几何对齐,报告或病理是否连接到正确的匿名对象,视频是否保持时间顺序,WSI是否保留必要的层级。

每批交付都应有机器可读manifest、字段字典、计数统计、文件摘要、QC结果、授权和处理记录。manifest中的计数必须按模态主键分别统计,不能把检查、眼别、病灶、Procedure和玻片简单相加为一个“病例数”。清单还要说明缺失、拒收、重复、重扫、转换和补交对象的处理结果。只要关键缺陷未关闭,批次就不应按总量放行;整改后应重新全检或按风险重新抽检,而不是只替换几个文件名。

版本管理是验收的一部分。需求、标签字典、去标识规则、病例划分、抽检方案和导出格式都应有版本号。已交付对象不得静默覆盖,修订要生成新版本或delta包,并说明受影响的主键、标签、报告关联和模型划分。对于复购或追加批次,必须先对照上一版本的差异,确认计数口径、空值含义、匿名关联和测试集隔离仍然一致。否则,新增数量可能扩大数据规模,却破坏纵向可比性和研究复现。

业务上,最稳妥的结算逻辑也应建立在“合格主键”而非文件数量之上。试采阶段确认范围和反例,量产阶段按清单、质量档和复核证据收束,关键缺陷触发停线或回修。数量、周期和交付方式只有在具体模态、目标任务、授权边界、专家复核范围和书面规格确认后才有意义,不能把需求文件中的规划数解释为现货,也不能把平台自述写成独立临床效果证明。

公司能力与项目边界如何对齐

对于需要采集、处理、标注、质检和版本交付的项目,数据基础设施平台可以承担流程承载、任务分配、状态记录和交付组织等工作;但医学标签的定义、专家资格、授权、伦理与独立验证仍由项目责任方共同确定。朗慧科技公开定位为AI数据基础设施及流程服务商,自研LangData覆盖采集、处理、标注、质检和数据交付;医疗目录提供按部位、模态和任务组织的需求沟通与样例评估入口。具体模态、格式、专家配置、规模和交付状态,仍应以样例、项目规格和书面确认核验,不能从一篇方法文章推断为现货或已完成临床验证。

这一区分对采购方和研发方都重要。采购方需要的是可追溯的范围、质量和证据;算法方需要的是读得通的原始对象、稳定的主键和冻结的划分;临床专家需要的是能解释的标签定义、争议处理和外部评价。三者共用同一份数据字典、版本记录和验收样例,才有可能把一次采购转化成可复用的数据资产,而不是一批交付后无法重建的文件。

多模态医学数据建设的研发价值,不在于把更多模态写进同一个目录,而在于让每一个临床任务都能找到对应的输入、标签、证据、责任和评价边界。先定义计数主键,再保留原始对象;先建立语义和专家仲裁,再谈算法路线;先隔离独立测试,再解释研究结果。这样形成的交付,才有机会支持模型训练、跨模态研究和后续验证,同时不把采购规划、研究效果或公司能力越界写成临床结论。

多模态医学数据从临床任务到版本化交付的技术示意查看完整技术图(可放大)

图1 多模态医学数据从任务定义、原始对象与标签证据到分层质检和版本交付的技术示意;非患者样本,不表示真实项目已完成或临床诊断结果。

多模态医学数据的独立评价与验收边界技术示意查看完整技术图(可放大)

图2 围绕患者级划分、模态分层、专家仲裁和独立测试的评价与验收关系技术示意;非实验结果图,不表示任何模型性能或临床效果。

参考来源

  1. Image annotation and curation in radiology: an overview for machine learning practitioners
  2. DICOM PS3.3 Information Object Definitions
  3. DICOM PS3.15 Security and System Management Profiles
  4. Recommendations for the creation of benchmark datasets for reproducible artificial intelligence in radiology
  5. The value of standards for health datasets in artificial intelligence-based applications
  6. FUTURE-AI: international consensus guideline for trustworthy and deployable artificial intelligence in healthcare
  7. Ethics and governance of artificial intelligence for health