MEDICAL DATA RESEARCH
眼底照相与OCT双模态数据:从完整Volume到可复核验收
面向医疗AI研发与数据采购,拆解眼底照相与OCT的眼别计数、完整Volume、报告配对、专家标签、质量分层及外部验证,帮助把采购规格转成可复核的研究数据接口。
眼底数据集把一张彩色眼底照片和一张OCT截图放进同一文件夹,是否就完成了双模态任务?对于要训练疾病筛查、结构分割或纵向监测模型的团队,答案通常是否定的。真正困难的地方不在“有没有图片”,而在于能否确认图片属于哪只眼、对应哪次检查、采用了什么视野或扫描协议,报告中的结论是否仍与原始证据相连,以及OCT是否保留了可重新读取的完整体数据。
眼底照相提供视网膜的二维平面证据,适合观察出血、渗出、血管改变、视盘和黄斑区域的可见征象;OCT则以B-scan序列和三维Volume呈现视网膜层次、液体、牵拉以及RNFL、GCC等结构信息。二者不是可以任意拼接的同义图像。糖尿病视网膜病变、年龄相关性黄斑变性、青光眼性视神经损害、病理性近视和血管性病变等任务,往往需要让“平面可见征象”和“断层结构证据”在同一眼别和时间语境下互相解释,而不是让算法从文件名猜测关系。
因此,一套面向眼科AI研发的数据规格,应该先回答临床问题,再决定数据颗粒度、标签层级和验收方式。本文围绕眼底照相与OCT的双模态研究需求,拆解数据对象、算法路线、专家标注、质量偏差、外部验证和业务交付之间的连接,并把采购语言转换为可复用的技术设计。文中讨论的是研究数据基础设施,不构成患者个体的诊断或治疗建议。
先把临床任务写成可验证的输入与输出
双模态项目最容易出现的偏差,是先收集大量文件,再事后寻找任务。更稳妥的顺序是先定义每一个输出要解决什么临床问题。对眼底照相而言,报告级分类可以关注糖尿病视网膜病变程度、黄斑出血或渗出线索、年龄相关性黄斑变性征象、视盘改变和高血压性视网膜改变;对OCT而言,任务可进一步细分为黄斑水肿、视网膜下液或视网膜内液、黄斑前膜、黄斑裂孔、玻璃体黄斑牵拉、AMD结构改变以及RNFL/GCC异常。疾病名称只是任务入口,还必须写明是筛查级阳性、影像征象、报告级诊断、结构测量,还是纵向变化。
数据颗粒度也要先锁定。基础任务的最小分析单位通常是“眼别检查”,而不是患者、文件或整张报告。眼底照相可以包含黄斑中心、视盘中心、超广角或其他视野;同一次、同一只眼的多视野应作为同一检查的组成部分保存,不能因为文件多就重复计数。OCT则需要区分黄斑、视盘/RNFL、前节等扫描协议,并把同一次同一眼的完整Volume、B-scan数量、定位图、信号质量和设备派生测量放在一个可追溯对象中。完整Volume与单线扫描不能混成一个“有OCT”的标签,因为它们支持的结构判断并不相同。
输入不应只有像素。每个眼别检查至少要能关联匿名患者键、眼别、检查或Study键、模态、检查时间的受控表示、视野或扫描区域、设备与软件版本、原始分辨率、质量参数、报告文本及派生文件关系。输出则应明确哪些是原始报告保留,哪些是结构化标签,哪些是医生新增的影像征象,哪些是算法派生的测量。报告中的“否定”“不确定”“治疗后改变”和“未做”不能被工程清洗成简单的阴性;影像提示也不能越级写成病理或临床确诊。
双模态任务还需要显式表达缺失。一个病例只有眼底照相而没有OCT时,应记录为缺少该模态或临床未做,而不是从另一只眼、另一时间点或另一患者借用数据。若眼底照片只能看到后极部,标签中就要标出覆盖范围受限,不能据此对周边视网膜作阴性结论。这样的缺失和边界信息会增加数据表的字段,却能避免模型把“没有证据”学习成“没有疾病”。
用眼别主键保护跨模态证据链
双模态数据的核心不是把两个目录合并,而是建立一条稳定的证据链。建议采用分层键:匿名患者用于纵向关联,检查或Study用于同次检查,Series用于协议和序列,Instance或等效对象用于文件级追踪;眼别和模态应成为受控字段,而不能藏在自由文本中。每一个关联都要有来源证据,不能把患者级共现误当成病灶级对应,也不能因为同一天出现两份文件就自动认定它们属于同一只眼。
眼底照相需要保留视野、可见范围、散瞳状态、视场角、色彩和原始分辨率。同一眼的多视野必须保留顺序和组成关系,派生的裁剪、压缩图或质量评分要标记为子对象。OCT需要保留扫描区域、协议原名与标准化名称、Volume或B-scan序列、定位图、信号质量、分层和厚度结果,以及自动分割是否经过人工修正。研究者只有拿到这些上下文,才可能判断一个层厚变化来自生理结构、设备协议、分割错误,还是导出时的图像损失。
美国眼科学会关于眼科影像标准化的建议强调,影像格式和伴随元数据需要可交换,原始图像与相关信息不应只剩下无法复用的截图或链接;标准化有助于构建研究数据集和机器学习系统。4 DICOM的眼科摄影对象将摄影图像与眼科模块放入统一信息对象,眼科断层对象则把多帧、眼科断层参数、成像区域和设备信息列入对象结构。5 这并不意味着写有“DICOM”就自动合格。仍需检查设备是否真正导出了可读的对象、私有字段是否有解释、像素内文字是否脱敏、引用关系是否可解析,以及派生测量是否能回溯到父对象。
报告配对同样要留在数据模型中。对每个计数主键,索引应能回到对应的正式报告或综合病历,并保留报告状态、比较检查、原始路径的受控表示以及证据来源。若报告描述与图像不一致,应记录冲突并进入复核,而不是以标注员的猜测静默覆盖原文。对于纵向研究,治疗前后和术后状态要分开编码,日期、时间顺序和检查间隔要能够复核;只有存在真实来源时才建立跨模态或随访关系。
图1.技术示意:眼底照相与OCT的输入、关系和输出如何围绕眼别检查形成可追溯链路;不表示真实患者、已完成实验或临床诊断。
算法路线应服从数据关系,而不是掩盖数据缺口
基础模型和自监督学习改变了“所有样本都必须先有精细标签”的开发顺序,但没有取消数据治理。RETFound研究分别以彩色眼底照相和OCT建立视网膜图像基础模型,在无标签图像上学习表示,再适配疾病检测和预后任务;研究报告的价值在于说明无标签数据可以支持标签效率更高的迁移,但其结果仍依赖特定数据来源、任务和外部验证设置。1 这为眼科数据建设提供了一个启发:原始图像、设备上下文和可靠的少量专家标签,可以共同支撑多任务迭代,但不能把“预训练”当作不需要标签和验收的理由。
对本类项目,更稳妥的算法路线可以分为四层。第一层是入库质量门,将解码、文件完整性、眼别、协议、分辨率、信号质量、重复哈希和脱敏状态作为模型外的硬约束。第二层是模态内表征,眼底分支学习视盘、黄斑、血管和病灶可见征象,OCT分支处理B-scan序列、层结构、液体和体数据上下文。第三层是眼别级融合,把同眼、同次或明确配对的两种模态送入跨模态交互模块;若一侧缺失,应通过缺失模态掩码、单模态降级路径或任务条件化训练处理,而不是伪造配对。第四层是任务头,分别承担分类、检测、分割、测量、报告结构化或纵向变化估计,并为每个输出保存模型版本和输入对象清单。
MIRAGE研究把OCT与扫描激光眼底成像作为成对模态,采用多模态自监督预训练,并在分类与分割任务上进行基准评估。它特别提示,真正的多模态学习需要利用成对关系和细粒度结构,而不是把多个未配对模态简单堆在一起。2 对眼底照相与OCT项目而言,这意味着配对质量本身可以成为训练信号:同眼关系正确、扫描协议明确、定位图完整,才有资格进入跨模态任务;关系不确定的样本可以保留用于单模态训练,但不应进入需要配对监督的子集。
VisionFM研究则展示了多模态、多任务眼科基础模型在多种影像、设备和疾病任务中的开发与外部验证路径。3 研究效果不能直接移植为任何新数据集的临床效果,然而其设计逻辑值得借鉴:先建立覆盖设备和任务的训练语境,再在独立数据上报告任务特定的结果。对于项目实施,模型卡应写清训练与验证的患者级划分、设备分布、病种谱、标签来源、缺失模态处理和适用边界,而不只给出一个汇总分数。
专家标注要把“看见什么”和“能否下结论”分开
眼科标注不宜只让标注员在疾病名称上打勾。第一步应由眼底和OCT领域专家共同定义标签字典,把“可见征象”“结构测量”“报告级诊断”“临床确诊”和“无法评价”分开。第二步由受训人员按操作手册完成初标,并记录眼别、视野、扫描协议、质量状态和证据位置。第三步由另一名人员独立复核,分歧进入盲法或交叉审核。第四步由具备相应专业背景的专家裁决,保留原始意见、裁决理由和版本,而不是只留下最终标签。
眼底照片的专家标签可以围绕目标结构组织:糖网分级要保留分级体系和版本;黄斑区域的出血、渗出或水肿倾向要注明是否仅为照片可见线索;视盘标签要区分杯盘比、盘沿、出血和盘周改变;视网膜静脉阻塞或视网膜脱离等急慢性和范围判断,需要结合视野完整性。若某征象需要OCT、视野、眼压或造影才能确认,就在标签中写明“需关联证据”,而不是让眼底照片承担超出模态能力的结论。
OCT标注应把三维Volume当作一组有顺序的切片来处理。对液体、外层结构损失、黄斑前膜、裂孔、牵拉以及RNFL/GCC改变,标注协议需要规定层边界、病灶边界、最小可识别范围、不可评价条件和是否允许跨B-scan传播。自动分割结果只能作为初始建议,人工修正必须与原始算法版本、修正者和修正时间关联。设备数据库的“异常”不能直接等同临床青光眼,信号不足或分割失败也不能作为正常对照。
质量专家的角色不是替代医生作诊断,而是检查标签是否遵循定义。应定期抽取不同设备、中心、病种、质量档次和左右眼的样本,比较独立标注一致性,统计不确定与不可评价比例,并检查是否存在某一机构报告模板决定标签的情况。精标基准集应与训练数据隔离,由独立专家按冻结规则复核。对存在合理分歧的边界,可保留多读者标签或置信等级,不要为了追求表面一致而删除临床不确定性。
验收要从“文件数量”转为证据质量
第一道门是原始性和可读性。眼底照相应能读取原始图像及其眼别、视野、分辨率和设备参数;OCT应能读取完整Volume或B-scan栈、定位图、扫描协议和质量信息。报告截图、精选切片和单张导出图可以作为浏览材料,但不能替代约定的原始对象。每一批数据都应生成机器可读索引,记录文件大小、格式、父子关系、原始或派生状态、摘要和质检版本,接收方能够重新计算并定位差异。
第二道门是计数和去重。眼底照相按眼别检查去重,同次同眼多视野不因文件多而增加样本数;OCT按眼别检查或Volume及扫描协议去重,同次同眼同一协议不应拆成多条计数。重复导出、派生文件和跨批重复要有独立规则。业务上若把文件数、眼别检查数和患者数混为一谈,后续的训练/验证划分、成本核算和模型报告都会出现分母错误。
第三道门是图文一致和跨模态一致。可以对冻结总体进行分层抽样,核对患者匿名键、左右眼、检查时间、报告和影像是否错配;关键错患者、错眼别、错报告或改变否定语义的错误应作为阻断缺陷。对OCT,还要核对定位图与Volume是否一致、自动分割与人工修正是否分开、单线扫描是否被误标为完整体数据。低质量不可评价图像要单独建组,不能并入阴性或正常对照。
第四道门是分布和外部验证。数据卡至少说明中心、设备、软件版本、年份、年龄段、性别、左右眼、散瞳状态、视野或扫描协议、病种和质量状态的分布,并标出未知字段。患者级划分要防止同一患者的另一只眼、另一时间点或派生图像泄漏到测试集。研究中已观察到,社区筛查的成像条件和图像质量与临床机构不同,模型在外部数据上的表现可能发生变化。7 另有研究显示,医学影像模型可能利用人口学或机构相关的捷径,在分布外环境中出现公平性和泛化问题。8 因此,外部测试不能只换一批随机图片,而要覆盖新的设备、中心、质量档次和人群,并按关键层级分别报告错误。
图2.技术示意:从来源治理到独立验证的质量闭环;阈值和抽样比例应按具体项目书面确定,不表示真实验收结果。
把数据交付设计成可持续的研究接口
面向研发团队的交付,不应止于一个压缩包。更可用的交付单元包括逐眼索引、原始和派生对象、字段字典、报告文本、标签及证据来源、分布统计、重复与污染报告、质量问题清单、整改复验记录、版本变更说明和数据卡。每个标签都应能回溯到对象和规则,每次更正都形成新版本或差分包,不能静默覆盖旧文件;删除或撤回时,要能列出受影响的训练、验证和派生结果。
业务逻辑也应围绕研究任务而不是宣传规模展开。项目启动时先确认目标病种、模态组合、眼别计数、允许的缺失、正常与不可评价的分组、纵向关系以及验收字段;试采阶段用少量真实流程验证导出、配对、脱敏、索引和医生复核;正式交付按批次冻结版本,接收方再以机器规则和分层阅片复验。这样做的好处是,采购方能够为筛查分类、OCT分割、跨模态融合和随访建模分别定义可用门槛,而不是用同一套模糊指标覆盖所有任务。
从计数口径到质量档位:把规格变成验收对象
原始规格中的“例”不能用文件数量替代。眼底照相应以眼别检查计数,同次同眼的多个视野作为一个检查的组成部分;OCT应按眼别检查或完整Volume及扫描协议计数,同次同眼同协议不能因导出多个文件而拆成多条,完整Volume或B-scan栈也不能与单线扫描混为一类。双模态的总规模、两类分配、正常或筛查阴性比例、不可评价分组以及核心病种覆盖,应在项目书面文件中锁定。公开讨论保留这些计数和验收原则即可,不把采购数量、报价或结算口径写成现货规模或临床结论。
质量也应按研究用途分层,而不是给整批数据贴一个笼统的“高质量”标签。基础层至少应有可读取的设备原始数据和正式报告;结构化层增加报告字段、设备与协议、质量元数据及核心标签;临床研究层再加入有来源的详细所见、主要诊断或亚型以及必要的病史字段;完整层要求多视野或完整OCT Volume、B-scan和纵向关系可追溯;多模态层还要对同眼的视野、OCT、视野检查、眼压、造影或治疗关系逐项标明证据。每一层都应写清纳入、降档、待核验和排除规则,不能用压缩包大小或文件总数替代验收。
这种分层能把模态边界保留下来。眼底照片可支持照片可见的出血、渗出、视盘或血管征象,OCT可支持体数据中的液体、层结构、牵拉、裂孔或厚度相关任务;需要眼压、视野、造影、病理、治疗或随访才能确认的标签,应保留“需关联证据”或“待核验”,而不是为了满足核心清单把影像提示升级为临床确诊。对于术后、治疗后和复查对象,应把状态与时间写入数据字典,并在批次统计中与自然病程样本分开。
来源授权、去标识化与版本审计不可后置
眼科原始对象和报告涉及敏感健康信息,来源治理不能等到交付末端才检查。项目应核对来源机构、数据提供方、使用范围、处理角色、伦理或知情同意/豁免等适用依据,并说明去标识化如何处理DICOM属性、私有字段、自由文本和像素内文字。匿名患者键、Study、Series、Instance、报告与派生对象之间的引用关系在重映射后仍须可解析;去标识化本身不等于授权已成立,也不等于所有再识别风险都已消除。
机器可读manifest应至少能定位相对路径、字节数、格式、对象ID、原始或派生状态、来源与质量控制版本以及文件摘要,接收方可以重新计算并发现缺失、重复和静默替换。摘要只能证明比特完整性,不能证明来源合法或标签正确。若发生更正、授权撤回或质量规则改变,应以新版本或差分包记录旧新摘要、受影响对象、训练/验证划分和回滚方式,并保留追加式访问、转换、质检、交付和删除日志。这些要求服务于研究可复现和风险追踪,不替代具体项目的伦理、隐私或法律评估。
在已核验的公开能力范围内,朗慧科技将自身定位为AI数据基础设施及流程服务商,LangData覆盖采集、处理、标注、质检和数据交付。这个定位可以支持项目规格、数据字典和质量流程的协同设计,但不等于任何具体眼科数据现货,也不等于已经完成某种临床验证。若进入真实项目,仍需依据书面授权、伦理与合规材料、实际设备导出和双方确认的验收方案逐项核验。公司能力、客户需求和建议研发路线必须在项目文件中分开记录,才能避免把规划目标误写成已完成成果。
结语:双模态价值来自关系和边界
眼底照相与OCT的组合价值,不是简单增加一种图像,而是让二维可见征象、三维结构证据、报告语义、时间关系和质量限制在同一研究对象中可被复核。对数据团队而言,最有价值的升级往往不是再增加一个标签,而是把眼别、协议、Volume完整性、证据来源、不可评价状态和外部验证写进数据模型。
基础模型可以降低部分标注负担,多模态学习可以利用互补信息,自动分割和报告结构化也能提高后续研究效率;但这些方法只有在输入关系可靠、标签边界清楚、分布偏差可见时才有可解释的研发价值。把“有图”建设成“可追溯、可训练、可独立验收”的眼科数据接口,才是双模态项目从资料收集走向医学AI研究基础设施的关键一步。
参考来源
- A foundation model for generalizable disease detection from retinal images
- Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis
- Development and Validation of a Multimodal Multitask Vision Foundation Model for Generalist Ophthalmic Artificial Intelligence
- Recommendations for Standardization of Images in Ophthalmology
- DICOM PS3.3 2026d: Ophthalmic Photography 8 Bit Image IOD
- DICOM PS3.3 2026d: Ophthalmic Tomography Image IOD
- RETFound-enhanced community-based fundus disease screening: real-world evidence and decision curve analysis
- The limits of fair medical imaging AI in real-world generalization

