跳至正文
朗慧科技

MEDICAL DATA RESEARCH

肺结节多模态数据集怎么建:把 CT、报告、空间标注与可选纵向随访放进验收链

围绕肺结节研究数据采购,拆解DICOM与NIfTI、空间标注、报告句子与区域绑定、可选纵向同病灶匹配、授权脱敏和患者级划分,给出可复核的样例验收链。

CT与血管影像AI辅助整理 · 研发交流

肺结节数据集最容易在交付时暴露的问题,不是文件夹里有没有 CT,而是同一个结节能不能在影像、报告、空间标注和复查记录之间被稳定地“认出来”。如果影像只有截图,报告没有检查级关联,三维掩膜没有方向信息,或同一患者的多次检查被随机拆进训练集和测试集,模型可能看起来学会了病灶,研究者却无法解释标签来自哪里、适用于哪个时间点,也无法在外部数据上复核。是否纳入纵向随访,应先由研究终点决定;它是可选扩展,不应默认写成每个数据集的必备条件。肺结节数据采购因此不应写成“提供若干 CT 和报告”,而应写成一套可追溯的数据契约:对象、关系、标注、授权和验收缺一不可。

先把需求拆成四种对象

源需求的临床任务可以匿名改写为:围绕胸部 CT 中的肺结节,构建可供检测、分割、分类、影像—文本建模和纵向变化分析使用的多模态研究数据。输入主模态是 DICOM 或带空间信息的 NIfTI;仅有 JPG 或屏幕截图不能承担体积测量、层间定位和跨时点配准。标注可采用 COCO、YOLO、JSON、CSV 或 NIfTI mask,但格式名称本身不是交付标准,必须随附字段说明、坐标约定、类别字典、版本号和一个能在下游工具中复现的样例。

第二种对象是文本。结构化或半结构化报告至少应说明字段含义、空值规则和报告与检查的关联键。对肺结节任务,报告中的部位、侧别、肺叶、密度或成分、长短径、边缘描述、数量、比较结论和建议随访等内容不应被混成一段不可解析的自由文本。文本可以保留原始段落,同时提供句子级、实体级或属性级派生标签;派生标签必须能回指原句,不能把自动抽取结果冒充临床金标准。

第三种对象是空间标签。检测框、关键层点标注、二维轮廓和三维分割分别对应不同的研究问题。小结节、血管旁结节、磨玻璃成分和层间连续性会使“框住病灶”与“精确描述病灶体积”产生不同的标注成本。数据字典应写清标签主体是病灶、器官、肺叶还是解剖参照,也要写清一个检查中的多个病灶如何编号。第四种对象是关联关系:病例—检查—序列—切片—病灶—报告句子—随访时间点之间,应有稳定的脱敏键或映射表,而不能依赖文件名中的自然语言。

公开的 LIDC/IDRI 数据库研究说明,肺结节标注不是简单的单人描边。该数据库由四名有经验的胸部影像科医师对 CT 进行两阶段阅读;第一阶段独立盲读,第二阶段查看其他医师的匿名标记后再次判断,并保留“结节≥3 mm”“结节<3 mm”和“非结节≥3 mm”等类别及读者差异,而不是强迫所有人形成一个看似整齐的共识。1 这对采购规格的启示是:阳性、阴性和不确定都应进入标签设计;专家分歧应成为可追踪的数据,而不是在汇总表里被抹平。

用数据血缘而不是文件名做主键

推荐把交付设计成一份主清单加若干受控对象。主清单可包含脱敏病例键、检查键、序列键、文件键和数据版本;影像表记录模态、扫描协议、重建核、层厚、层间距、矩阵、方向、体素间距和质量状态;病灶表记录病灶键、所在检查、肺侧和肺叶、标注类型、测量口径、密度类别、审核状态及适用时间点;报告表记录报告版本、段落或句子位置、文本语言和抽取状态;关联表则明确影像、病灶和文本之间是一对一、一对多还是待核对。

这种设计的重点不是增加字段数量,而是让每个字段都能回答“它从哪来、对应什么、何时有效”。病例数、检查数、影像数、标注数、阳性和阴性数量可以作为规模统计,但必须区分病例级、检查级、序列级、图像级和病灶级。一个 CT 检查含有许多切片,不等于增加了许多独立病例;一个病灶有多名专家标注,也不等于增加了多个独立样本。验收时应同时报告各层级计数和去重规则,避免用图像数量掩盖病例关联缺失。

空间格式要优先保留原始坐标的可复现性。DICOM 分割对象用于在一个或多个被引用影像上表达二值、分数或标签图分割,并要求在有 Frame of Reference 时处理同一参考坐标系;它仍需要回看被引用影像的采集参数。3 LIDC 标注的 DICOM 重编码案例进一步展示了将分割放在 DICOM Segmentation、把结节定性评价与定量测量放在 DICOM Structured Reporting 的做法,并通过标准一致性、源 XML 对照和工具互操作性进行验证。2 因而“导出一个 NIfTI”不应成为唯一验收项,至少还要检查方向、原点、体素间距、切片顺序、标签值和与原影像的空间对齐。

如果项目需要 JSON、CSV、YOLO 或 COCO 等交换格式,也应建立从交换文件到规范化主清单的映射。二维框的左上角原点、坐标是否归一化、切片索引从零还是从一开始,都会影响训练结果。三维 mask 则要记录形状、数据类型、压缩方式、方向矩阵和空标签规则。建议先让算法人员用一组脱敏样例完成“读取—可视化—回写—再读取”的闭环,再冻结批次,而不是等全量交付后才发现标签在轴向上翻转。

图文绑定要落到句子与区域

影像—报告任务常被笼统写成 VLM 数据,实际至少分成三层:检查级配对、句子或实体级配对、空间区域级配对。检查级只说明某份报告属于某次检查,不能证明每个句子都由影像支持;句子级可标出“左上叶结节”“未见胸腔积液”等描述对应的解剖或病灶对象;区域级则要把句子或实体绑定到切片、框、点、轮廓或三维 mask。一个报告句子涉及多个区域时,应允许多对多关系,并把“不确定”“未见”“考虑”“与前片比较稳定”等语气单独编码。

CT-RATE 预印本提供了一个检查级配对案例:它描述胸部 CT 体数据与放射报告的配对,并保留报告中的临床信息、技术、所见和印象四个部分,同时说明了去标识和单一数据来源的局限。4 这类数据适合说明“检查级图文配对可以怎样组织”,但不能直接推导某个肺结节项目已经拥有病灶级空间标签,也不能把预印本中的实验结果改写成临床效果或供应商指标。对于实际采购,报告的每个句子都应有来源位置、抽取方法和复核状态。

RadGenome-Chest CT 这一同行评审的数据集研究把流程推进到区域引导层:先生成胸部解剖区域的分割,再把报告所见部分切成句子并关联到一个或多个解剖区域,随后从实体和区域关系生成视觉问答样本。5 它提供了可借鉴的数据血缘,但也提示一个边界:自动分割、语言模型抽取和规则生成可以加速建库,却不能替代对肺结节边界、否定语句、报告与影像不一致样本的专家审核。项目规格应同时交付正例、阴性例、无法由图像确认的例子,以及被退回的原因。

VLM 验收不要只问“描述是否流畅”。更稳妥的试标流程是,先冻结一批原图与派生图的定义,再让第二名审核者逐句标出报告中无法从图像确认的内容;对分歧进行裁决,并记录是图像不可见、报告超出影像范围、时间点不一致,还是原始报告本身含有推断。若图中信息不足,标签应允许“不可判断”或拒答,而不是强行填入阴性。近重复检查、同一患者同一检查的多份重建和报告模板复制,也要在数据划分前处理,否则模型可能只记住来源或模板。

纵向信息需要“同一病灶”的证据

若研究终点涉及随访,纵向数据就不能只是把多次 CT 按日期排序。它至少需要时间点、检查间隔、同一患者的检查链、同一病灶的跨时点对应、影像协议差异、病灶新发或消失的判定、比较依据和缺失原因。若无法确认两个时间点是同一病灶,应标为待核对,而不是依据位置相近自动合并。对治疗、病理、复发或进展等结果,也要保留原始记录来源和时间关系;没有证据的结局不能由算法补写。

TCIA 的 NLST-New-lesion-LongCT 衍生数据集显示了纵向标签为何需要更细的交付物。该数据集从多时间点低剂量 CT 中筛选相对既往影像新出现且可疑的病灶,提供病灶点坐标、基线图像及注册后的配对信息,并说明缺失时间点、下载不可得和临床记录与影像观察不一致的排除或复核情况。6 这类公开数据不是本项目的替代品,却很好地说明了纵向验收要同时检查时间点完整性、坐标是否落在正确切片、配准是否改变解释,以及“新发”标签是否存在伪新发的可能。

因此,纵向肺结节项目的最小记录不应只有“病例—日期—结论”。建议增加基线与随访的影像协议、是否增强、重建核、层厚和空间分辨率;病灶在两次检查间的对应置信度;长径、短径、体积或密度变化的测量方法;影像报告比较句的原文位置;以及缺失检查、不可配准、无法确认同一病灶和标签被修订的原因。若研究任务是生长预测或随访管理,训练、验证和测试应按患者划分,并避免同一患者的前后检查跨集合泄漏。

算法路线服从标签颗粒度

在数据冻结前,不宜先决定“使用某个大模型”。若输出是病灶存在与否,任务可以从检查级分类开始;若要得到可量化的病灶,必须进入检测或分割;若要回答“报告中的哪句话对应哪个区域”,还需要实体识别、空间指向和跨模态对齐;若关注复查变化,则需要病灶匹配、配准不确定性和时间建模。一个模型可以共享影像编码器,但每个任务头仍应对应不同的参考标准和评价单位。

推荐的算法研发路线是分层而非一步到位。第一层做输入审核和协议分层,识别缺失方向、异常层厚、重复重建、质量不足和无法去标识的对象。第二层进行病灶检测或分割,预标注只能产生草稿,专家修订后的标签才可进入金标准。第三层把报告句子、实体和空间标注对齐,单独评估否定、不确定、比较和多病灶场景。第四层再做纵向建模,并将病例级独立划分、中心或设备外部测试作为前置设计,而不是结果不理想后才补做。

评价也要跟着颗粒度走。检测可报告灵敏度、精确率或 FROC,但应说明病灶大小、阳性定义和假阳性计数口径;分割可报告 Dice、边界距离、体积误差或一致性,但要说明参考勾画、空标签和小病灶处理;文本任务要报告实体或句子层面的准确性、否定识别和空间指向,而非只给一个语言相似度。纵向任务还要报告患者级而非切片级的时间分割、失访与缺失处理。所有性能都只说明在特定研究数据和划分上观察到的结果,不等同于临床效果。

CLAIM 2024 更新版把数据来源、检查和患者数量、数据划分层级、参考标准来源、标注者资格、标注流程、观察者变异,以及内部和外部测试列为报告项目;它还特别提醒医学影像集合通常应在患者级或更高层级互斥。7 这些条目可以直接转成项目数据卡:谁定义标签、谁复核测试集、哪些标签来自报告、哪些来自影像、哪些样本被排除、外部队列与开发队列有哪些差异,都应在冻结版本中留档。

专家标注与质量门控要分开

肺结节项目至少需要三种角色:临床专家负责定义纳入、排除、病灶类别和争议边界;标注执行者负责按指南完成轮廓、框、点或属性;质量人员负责检查关联键、格式、空间方向、版本和抽样结果。角色可以由同一机构承担,但职责不能在记录中混为“已审核”。专家复核应明确是全量、分层抽检还是只处理分歧样本,不能用“三级质检”这类没有抽样单位的说法替代。

质量门控可从四条线展开。第一条是来源与授权:供应方拥有合法提供权,授权用途覆盖训练和算法研发,第三方处理、再分发、保存位置和退出方式都有书面边界。商业使用权、脱敏完成和可公开传播不是同一个概念;数据可以允许受限研究使用,却不允许公开原始影像。第二条是技术完整性:DICOM 头、像素烧录文字、私有标签、NIfTI 方向和报告文本都需要独立检查。DICOM 去标识研究指出,自动删除所有私有字段可能同时删除有用采集参数,烧录在像素中的身份信息也可能漏过常规字段清理,因此必须把规则、例外和人工抽检写入过程。8

第三条是标注一致性:定义阳性、阴性、不确定、非结节、不可见和待仲裁,规定小结节、亚实性结节、血管旁结节和多发结节的处理,并保留原始标注、修订者、修订时间和指南版本。第四条是划分与外推:按患者冻结训练、验证和测试,纵向数据还要按患者时间链处理;外部测试要尽量覆盖不同中心、设备、协议和人群,并解释标签定义差异。发现同一病例跨集合、报告模板重复或空间标签翻转时,应先停线返工,不用平均指标掩盖问题。

从样例评估走到可签收交付

可执行的采购验收应分为“样例可读”“对象合格”“关系合格”和“研究可用”四个门槛。样例可读要求 DICOM 或 NIfTI 能被指定工具打开,报告可复制或按约定解析,COCO、YOLO、JSON、CSV 和 mask 的字段说明完整。对象合格要求影像元数据、标签值、坐标方向、报告字段和脱敏记录不缺关键项。关系合格要求病例—检查—序列—病灶—报告句子—时间点能够按主键回溯。研究可用则要在冻结的划分脚本上检查是否存在病例泄漏、近重复、未审核标签和无法解释的缺失。

验收不必预设一个脱离任务的统一准确率。应在项目书中约定每类样本的抽样单位、通过和退回条件、分歧仲裁方式、失败超限时的停线动作、返工轮次和版本差分。规模统计要给出病例级、检查级和病灶级计数;阳性与阴性分布要按病种或标签定义核对;纵向部分要单列时间点完整度和同病灶匹配状态。对于 VLM 数据,还应抽查“描述—区域—原句”三者能否互相指回,而不是只检查 JSON 能否被程序读取。

在业务逻辑上,建议把数据建设、标注审核、分析模块和部署接口分开评估。先用一组合法授权且已脱敏的样例验证任务边界,再决定是交付数据、提供标注质检流程,还是在约定环境中承接平台化协作。对于具备采集、处理、标注、质检和数据交付定位的团队,适配价值在于把数据字典、样例评估、审核状态和版本化交付串成项目工作包;这不等于已有某一肺结节数据库存量,也不等于自动具备某个模态、某种报告绑定或纵向随访能力。具体格式、专家范围、部署位置和验收阈值仍应按项目书面确认。

肺结节多模态数据集的研发价值,最终不在于标签数量或模型名称,而在于研究者能否把一次预测还原为:哪位匿名受试者的哪次检查、哪套序列、哪个病灶、哪句报告、哪个时间点、由谁按哪版规则标注,以及这一关系是否经过独立检查。把这些血缘关系前置到采购和数据设计中,才能让检测、分割、图文理解和纵向建模在同一条可复核链路上推进,也才能在外部数据上诚实地说明模型能做什么、还不能做什么。

图1 CT、报告、空间标签与纵向记录的对象—关系—审核链路技术示意;非真实患者影像,不代表已完成实验或临床诊断。

CT、报告、空间标签与纵向记录的对象—关系—审核链路示意图查看完整技术图(可放大)

图2 纵向肺结节数据的时间点、病灶匹配、缺失处理与外部测试技术示意;非真实患者影像,不代表真实队列结果或临床效果。

纵向肺结节数据的时间点与质量门控示意图查看完整技术图(可放大)

参考来源

  1. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A completed reference database of lung nodules on CT scans
  2. DICOM re-encoding of volumetrically annotated Lung Imaging Database Consortium nodules
  3. DICOM PS3.3 2026d: Segmentation IOD
  4. A foundation model utilizing chest CT volumes and radiology reports for supervised-level zero-shot detection of abnormalities
  5. Development of a large-scale grounded vision language dataset for chest CT analysis
  6. NLST-New-lesion-LongCT: New Lung Lesions in Low-dose CT
  7. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 update
  8. De-identification of Medical Images with Retention of Scientific Research Value