跳至正文
朗慧科技

MEDICAL DATA RESEARCH

眼底照相与OCT数据集:如何把“双模态图文关联”做成可验证的研究队列

面向医疗AI研发与数据采购,拆解眼底照相和OCT的眼别计数、完整Volume与B-scan、报告语义保护、专家标注、质量门控、泄漏控制和外部验证,说明如何把双模态影像建设为可追溯、可复核的研究队列。

眼科与OCT影像AI辅助整理 · 研发交流

眼底照相和光学相干断层扫描(OCT)都能描述眼底,但它们提供的证据并不在同一层面:前者主要呈现视盘、黄斑和视网膜血管的二维外观,后者则以连续B-scan组成的体数据观察视网膜层、液体、牵拉和其他结构变化。一个真正服务于眼科AI研发的数据集,关键问题不是“是否同时有两种图像”,而是能否回答:这张眼底照片和这个OCT Volume是否来自同一只眼、同一次检查或可解释的随访关系?报告中的阴性和不确定是否被原样保留?模型训练时能否区分完整检查、质量受限检查与未做检查?如果这些问题没有在数据结构中被解决,双模态只是文件并列,不是临床证据链。

先把临床任务拆成可验收的对象

这类数据需求可以匿名改写为一个面向研究的眼科影像队列建设任务。它包含两个相互配合、但不能混为一谈的模态。眼底照相的任务包括对可见的糖尿病视网膜病变、高血压性视网膜改变、年龄相关性黄斑变性相关征象、视网膜静脉阻塞、病理性近视和视神经异常进行报告级分类或征象级识别;OCT则更适合表达糖尿病黄斑水肿、新生血管性或干性黄斑变性、黄斑前膜、黄斑裂孔、中心性浆液性脉络膜视网膜病变、玻璃体黄斑牵拉,以及RNFL/GCC结构异常等体层任务。照片可见的出血、渗出、杯盘比改变,不能直接被写成病理或临床确诊;同样,设备数据库给出的异常也不能自动等同于青光眼诊断。

因此,数据颗粒度应从“患者有一组影像”下沉到“眼别检查”。左眼和右眼必须有独立、稳定的匿名检查键;同一只眼在同一次检查中拍摄多个视野时,应保留视盘中心、黄斑中心、超广角或其他视野的关系,但不能把多个视野误算为多个独立病例。OCT则应把黄斑、视盘/RNFL、前节或其他实际扫描协议分别记录,完整Volume与单线扫描不能混为一个计数单位。这样的设计既影响统计,也影响模型的训练目标:模型究竟预测一只眼的检查结论,还是预测一张切片的局部征象,必须在数据字典中先说清楚。

报告级标签应至少包括主要诊断或报告条目、细分征象、阳性、阴性、不确定和无法评价。质量不足不是阴性,未做某项检查也不是阴性。对于治疗前后、术前术后或复诊数据,应额外记录状态和时间顺序,而不能把治疗后改变当作疾病自然状态。眼底照片只显示了部分视野时,数据集应明确可见范围,不能因为周边未进入画面就形成“周边无病变”的结论。OCT的厚度、分层和液体测量则必须连同设备、软件和算法版本保存;自动分割与人工修正应分别标记,避免把派生测量伪装成原始事实。

眼底照相与OCT双模态数据的最小可验收链路技术示意查看完整技术图(可放大)

图1 技术示意:从眼别主键、原始眼底/OCT对象到报告关联和文件级审计的关系,不表示真实患者或已完成交付。

原始数据要保留可复算的层级

眼底照相交付的最低可用形态不是报告截图,而是可读取的设备原始图像或规范化对象,并保留原始分辨率、色彩空间、视场角、散瞳状态、设备型号和质量参数。DICOM眼科摄影对象把眼科摄影相关模块纳入对象定义,提示了眼别、摄影区域和采集属性不能在导出时被随意丢弃。7 研究者即使最终只训练二维分类器,也应同时保留原始对象与训练派生图,记录裁剪、缩放、颜色变换和质量筛选的版本。

OCT更不能用几张代表性截图替代Volume。一个扫描检查可能包含定位图、连续B-scan、多帧维度、扫描区域和设备派生测量。DICOM眼科断层对象把眼科断层采集参数、眼科断层参数、眼区和多帧功能组作为结构的一部分,这与研究数据中“完整体数据、序列和派生关系”的要求一致。8 入库时至少要验证帧数、行列尺寸、层间顺序、定位图和扫描协议是否互相匹配;缺少其中一项时,应进入质量受限或待核验队列,而不是先当作完整OCT计入训练集。

这一步直接影响算法路线。对于眼底照相,可在视网膜区域、视盘和黄斑等层次开展质量门控、分类、检测或分割;对于OCT,可在Volume级预测疾病状态,在B-scan级定位液体、膜、裂孔或层结构,再把切片证据汇总为眼别结论。若只保留精选切片,模型可能学到人为选片策略,无法评估完整扫描中未被挑出的异常。全Volume分割研究显示,临床可用性不能只靠像素级数值判断,专家对整个扫描的定性评价同样重要。5

文件层级还要服务于数据治理。每个对象应有相对路径、对象数量、大小、哈希、原始或派生状态、父子关系及版本号;批次统计应能从逐例索引重新计算。重复导出、同眼同协议的派生件、公开数据混入和跨批重复,不能靠最终总量的口头说明解决。对研究者来说,manifest不是行政附件,而是让训练集、验证集和未来更正能够被复核的入口。

图文对齐不是文件名相同

双模态数据的临床价值来自稳定关联,而不是图像数量的相加。建议把匿名患者、眼别、Study或检查、Series或序列、报告和派生对象拆成不同层级的键。患者级匿名ID用于纵向研究,眼别检查键用于计数和任务标签,文件级对象键用于解析和哈希。只要源系统证据支持,才把同一只眼的眼底照相、OCT、视野、眼压、造影和治疗记录连接起来;如果只有同一患者而没有同眼或同次证据,就应标记为患者级潜在关系,不能当作病灶级配对。

报告文本需要保留原始所见、印象、报告状态和比较检查。结构化标签可以帮助训练,但不能用同义词归一化覆盖原文,更不能把“不除外”“考虑”“未见明确异常”等不确定语气改成确定阳性或阴性。针对报告生成或视觉语言模型,原始文本、清洗文本、结构化字段和模型输入版本应并存;针对分类模型,报告可作为监督信号,但必须记录它来自影像报告、临床诊断、手术、治疗还是随访。不同证据强度混在同一标签列中,会把标签噪声误认为模型能力。

纵向关系也是数据设计的一部分。治疗前后OCT可以支持液体、厚度或结构改变的研究,但前提是同眼、时间和治疗状态可靠。缺少某个协议或时间点时,应写成未做或不可得,不能从另一位患者拼接。跨模态关联率、错配率和时间顺序完整率都应该成为交付统计,而不是只报告“有多少图像”。

算法路线要围绕任务颗粒度组织

眼科数据适合采用分层路线,而不是把所有对象直接喂给一个“多模态大模型”。第一层是输入质量门控:识别模糊、偏心、信号遮挡、截断、缺帧、分割失败和范围不足。OCT质量研究发现,未合格图像会降低下游视网膜病变检测表现;先做质量筛选或复核,有助于把不可评价对象和疾病阴性对象分开。6 这并不意味着低质量数据都应删除。它们可以作为“无法评价”或质量鲁棒性子集,但不能成为正常对照。

第二层是单模态表征。眼底照相可以采用自监督预训练后再针对病种、征象和质量任务微调;RETFound研究在大量未标注视网膜图像上学习表示,并在较少标注数据的任务适配中进行评估,说明未标注数据能减少部分标签负担,但不等于任何新中心都自动泛化。3 眼底照相仍需按设备、视场和人群报告外部表现,不能把基础模型论文的结果直接转移到新的数据源。

第三层是OCT的体数据建模。切片级分类可以用于局部征象,但研究终点若是眼别检查,就应把切片级证据汇总到Volume级,并检查扫描是否完整。对液体、PED、纤维化、膜、裂孔和层结构等任务,可分别使用检测、分割、测量或多任务学习头;每个头都应有独立标签定义和评价口径。模型输出的厚度或体积需要注明原始测量、设备派生还是人工校正,不能把自动测量写成临床金标准。

第四层才是跨模态融合。眼底照相提供二维外观和广域征象,OCT提供局部横断面与体结构,文本提供报告语义和临床上下文。融合可以采用特征级、决策级或对比学习方式,但配对缺失必须显式建模。MIRAGE研究把OCT与扫描激光眼底成像放在同一多模态基础模型和基准中,并把分类、分期和分割放入多个数据集任务;其价值不只是“模型更大”,而是让不同任务、模态和数据集偏移被放在同一评估框架中。4 这类研究支持建立多任务基准的方向,却不能替代对具体设备、协议和标签的本地验证。

从眼底照片训练的早期研究也能看出,数据规模本身不是验收标准。糖尿病视网膜病变模型的开发和验证使用多轮眼科专家判读、独立数据集和可评价性判断,研究者还明确指出需要进一步研究临床可行性和对实际结局的影响。1 因此,数据项目不应把论文中的敏感度、特异度或AUC改写为自己的承诺;研究效果和临床效果必须保持边界。

专家标注要记录证据和分歧

标注主体应按任务区分。基础结构化人员可以整理文件层级、视野、协议、报告字段和质量原因;经过任务培训的阅片人员可以完成初标;具有相应眼科经验的专家负责疾病分级、结构判断、分割审阅和争议仲裁。对眼底照相和OCT采用同一套“三级审核”口号并不够,真正要写入方案的是:每一类标签由谁判读、是否独立盲法、何时交叉复核、什么分歧需要仲裁、最终标签是否保留原始意见。

建议先冻结标签本体。病种、可见征象、分期、活动性、治疗状态、质量状态和证据来源应是不同字段。以糖尿病黄斑病变为例,眼底照相可以记录出血、硬性渗出或黄斑区域可见异常,OCT可以记录囊样液、弥漫增厚和中心厚度;两种模态的标签可以关联,却不应强迫照片单独承担OCT结构结论。青光眼相关数据也应把视盘照片、RNFL/GCC参数、眼压、视野和临床诊断分开。缺少视野或临床证据时,数据可以保留为“影像提示”或“待核验”,而不是补成确诊。

一致性评价应分层进行。总体一致性可能掩盖某些少见病种、低质量图像或特定设备上的系统性分歧。应分别查看中心、设备、协议、病种、病变严重度和质量等级;对分类使用适合的混淆矩阵、灵敏度、特异度、F1或校准分析,对分割和测量使用重叠、边界、体积或一致性指标,并让专家评价结果是否具有临床可读性。分歧日志应保留标签版本、依据、仲裁人和修订影响,方便回溯模型训练集是否被静默改写。

验收必须模拟真实研究使用方式

第一道验收是来源与隐私。应能核对数据来源、授权范围、处理角色、伦理或知情同意依据、去标识化流程、访问范围和删除或撤回机制。去标识化不能只检查DICOM头部;眼科图像、自由文本、私有标签和导出截图仍可能含有身份信息。匿名ID要保持跨眼别和跨模态关联,但不能保留直接身份。任何来源授权无法核验、错患者或错报告关联、伪造或静默替换文件,均应作为阻断性缺陷。

第二道验收是对象完整性。对眼底照相,抽查眼别、视野、原始分辨率、色彩、设备信息和多视野顺序;对OCT,抽查Volume、B-scan帧序、定位图、扫描协议、信号质量、分层和派生算法版本。每个计数对象都要能回到原始文件和报告。建议按模态、中心、协议、病种、质量等级和时间分层抽检,并将错配、缺失和不可评价单独统计。对于明确的医生精标基准集,应保留独立清单、版本和审核记录,不用供应方汇总数字替代采购方或研究方的直接阅图。

第三道验收是泄漏控制和外部验证。患者级、眼别级和同次多模态对象不能跨训练、调参与测试集合;同一患者的纵向检查尤其不能被随机切片后分散到不同集合。除了随机内部测试,还应留出未参与开发的中心、设备、年份或扫描协议,观察数据偏移对质量门控、标签预测、分割和报告生成的影响。RAIDS研究将多中心开发、前瞻性筛查和不同人群数据分开验证,并报告质量排除和专家复核过程,说明“内部测试表现好”与“真实场景可用”之间还隔着数据分布和流程验证。2

如果模型用于筛查,验收终点可以关注可评价率、转诊候选的召回和误报负担;如果模型用于OCT定量,终点则应增加全Volume覆盖、测量一致性和专家对临床可用性的评价;如果用于报告生成,必须检查是否遗漏否定、不确定和治疗后语义;如果用于纵向治疗研究,还要核对同眼基线与随访的时间顺序、治疗状态、扫描协议可比性及缺失原因,不能把不同眼或不同对象拼成变化轨迹。验收表不应只有一个综合准确率,而应把输入质量、标签质量、跨模态关系、任务输出和可追溯性分开。任何效果数字都应明确样本、设备、中心、比较基线、阈值和置信区间,避免把技术示范写成临床结论。

眼底与OCT质量门控及独立验证闭环技术示意查看完整技术图(可放大)

图2 技术示意:质量门控、专家标签和中心级外部验证的关系,不表示真实患者、模型性能或临床效果。

业务交付应把能力边界写清楚

对医疗AI研发方而言,这类需求的业务价值在于把“找一批眼科图像”转成可审查的数据产品:研究者能知道每个对象来自哪里、观察了哪只眼、使用了什么设备和协议、标签依据是什么、哪些对象不可评价,以及一次规则变更会影响哪些训练和验证集合。这样的结构可以支持筛查分类、病灶检测、OCT分割、报告生成、纵向疗效研究和多模态表征学习,但每个方向都需要重新定义标签和验收,不应把一个数据集的存在直接等同于所有任务均可用。

交付时还应同步提供数据卡和版本变更摘要。数据卡说明纳入与排除条件、模态和协议覆盖、标签来源、质量分层、已知偏差、适用任务与禁止外推的结论;版本摘要说明新增、删除、纠错和撤回对象,以及这些变化对训练集、测试集和派生标签的影响。这样,研究团队在更新模型或复现实验时,能够区分数据变化造成的性能差异与算法变化造成的性能差异,也能在授权撤回或发现错配后定位需要重训的范围。

已核验的公司范围可以支持把采集、处理、标注、质检、数据卡和版本交付组织成项目流程,也可以在需求评估后进行样本检查、试标和规格确认;这属于流程与项目交付定位,不等于本项目已有某个现货队列,也不等于已有临床验证结果。具体来源、授权、可交付规模、专家配置、模态比例和质量阈值,都应在书面项目规格中确认。文章不把采购中的数量、结算口径、合同授权或内部运营信息公开化,也不把官网自述转换成医学或监管背书。

从研发角度看,最值得投入的不是把病种清单写得更长,而是建立稳定的眼别主键、完整的OCT体数据、可解释的图文关系、保留不确定性的标签本体、分层的质量门控和真正独立的外部验证。只有这些要素同时存在,眼底照相与OCT才会从“同主题的两种文件”变成能支撑模型训练、错误分析和研究复现的双模态证据链。

本文讨论的是面向医疗AI研发的数据结构、标注治理与项目验收方法,不提供患者个体的诊断、治疗或用药建议,也不代表任何特定数据集、模型性能、临床效果、医疗器械批准或医院合作已经完成。具体来源、授权、伦理/合规依据、专业审核配置和交付范围,仍需由项目相关方依据适用要求和书面方案核验。

参考来源

  1. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs
  2. Artificial Intelligence for Screening of Multiple Retinal and Optic Nerve Diseases
  3. A foundation model for generalizable disease detection from retinal images
  4. Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis
  5. Whole-Volume Automated Segmentation of OCT in Retinal Diseases
  6. Deep learning for quality assessment of retinal OCT images
  7. DICOM Ophthalmic Photography Image Information Object Definition
  8. DICOM Ophthalmic Tomography Image Information Object Definition