MEDICAL DATA RESEARCH
从患者时间线到数据契约:长时序肿瘤多模态数据如何按证据链交付
面向医疗AI研发与数据采购团队,拆解长时序肿瘤数据的患者—就诊—事件—影像—病理—组学证据链,说明缺失语义、患者级防泄漏、脱敏、POC试标和版本化验收如何落地。
先回答一个具体问题:一次模型输入究竟代表什么
如果同一位肿瘤患者的 CT 报告、病理报告、用药医嘱和随访结局分别躺在四个系统里,研究者能否证明它们属于同一次疾病轨迹?如果一份增强 CT 只留下了诊断意见,却没有平扫、增强期相、序列标识和层厚,模型学到的究竟是病变本身,还是某个机构的检查习惯?如果“无复发”只是因为病历里没有出现“复发”二字,而不是有明确的随访依据,那么这个标签能否作为结局使用?
这些问题决定了长时序肿瘤多模态数据集能否支持研究,而不只是决定压缩包有多大。长时序的临床任务通常包括确诊前线索的整理、确诊和分期、治疗过程的描述、复发或进展的识别,以及末次随访时状态的记录。输入既包括全文病历和结构化事件,也包括 CT、MRI 及报告、病理报告与全切片图像、免疫组化、可复用的组学文件和结局证据。输出不是一个简单的“阳性/阴性”标签,而是能够回到原始记录的事件、对象、时间和证据关系。
近年的肿瘤研究综述指出,多模态纵向建模面对的困难不只在融合网络,还在于不同模态以不规则频率采集、时间点难以对齐、缺失并非随机发生,以及人工标签需要专业人员参与。1 因此,数据建设应先把临床问题拆成可核验的数据契约,再谈模型采用早期融合、中间融合还是晚期融合。本文围绕长时序肿瘤队列建设中较容易被忽略的差异展开:事件级粒度如何设计,影像、病理和组学如何通过样本级关系连接,如何把缺失和不确定性保留下来,以及怎样把这些要求转成可执行的试标和验收门控。
一、先按临床任务拆解对象,而不是先按文件扩容
1. 把“患者”降到正确的粒度
患者级匿名 ID 只能承担稳定主索引的职责,不能承载所有临床事实。一个患者可以有多次门诊和住院,可以在不同日期接受 CT 或 MRI,可以先做穿刺、再做手术,还可能在复发时获得新的标本。若把所有诊断、用药、检查和结局压进患者表的一行,时间顺序、证据来源和重复事件都会被压平,后续很难区分“发生过什么”和“目前摘要是什么”。
更稳妥的设计是把数据分成几个互相连接的层级。患者层保存去标识化主键及相对稳定的基本特征;就诊层记录门诊、住院和急诊等接触;临床事件层以一行一个事件保存诊断、检验、用药、手术、病程文书和量表;影像层区分一次检查、序列和文件;病理层区分病理事件、标本、玻片及免疫组化结果;组学层以样本和实验为粒度;结局层则以复发、进展、转移、死亡或末次随访为事件。所有层级都需要保留外键关系和时间字段,而不是依赖文件名猜测关联。
这种设计与影像研究数据模型的方向一致。已有研究提出,在临床数据模型中增设影像事件与影像特征表,可以把影像检查、算法生成的特征和临床事件放进同一条纵向轨迹;同时,研究也提醒,放射学报告等非结构化文本不能因为已有影像表就被视为自动完成了结构化。3 这对肿瘤数据建设的启发是:结构化字段、原始文本和派生变量应并列保留,并分别注明来源和处理状态。
2. 把“时间”写成可复核的关系
肿瘤队列的时间轴可按确诊前可追溯阶段、确诊与基线、治疗、随访和结局组织,但这不是把所有日期简单排序。一次影像报告如果写有“与前片比较”,就需要有可追溯的既往检查标识;一条 TNM 记录需要注明日期、临床或病理来源、分期类型及其证据;复发或转移应记录事件时间、部位和依据,而不能由后续处方或单个关键词推断。
对于影像,检查日期、部位、检查类型、Study/Series 标识、期相、层厚和报告正文共同决定一条记录的含义。平扫与增强期相不能被压成一个“CT 有/无”字段,薄层和厚层序列也不应在没有说明的情况下被二次筛选。对比既往检查的字段不是装饰,它使研究者能够判断连续影像是否真的属于同一患者、同一解剖问题和可解释的时间窗口。
对病理,病理报告、取材日期、标本类型和 specimen ID 是基础关系;WSI 和免疫组化应与具体标本关联,而不是只在患者级挂一个“有病理”的布尔值。对组学,原始 FASTQ、可复用的 BAM/CRAM、VCF 或表达结果必须区分,并记录参考基因组、版本、样本元数据和质量控制文件。只有这样,研究者才能判断一个分子变量是原始观测、处理结果,还是未经说明的派生结论。
图1 技术示意:患者级时间线、事件级记录与影像—病理—组学证据链的关系;不表示真实患者、实际样本或已完成实验。
二、数据契约要同时约束输入、输出和不确定性
1. 输入模态要写清“原始对象”和“可计算对象”
全文病历适合保留 full_text 原文,同时维护文书类型、记录时间和就诊关联。主诉、现病史、诊断和计划等字段可以作为结构化拆分,但拆分结果不应替代完整文本。这样的双轨设计能避免结构化抽取漏掉否定词、时间条件和证据限定,也便于后续对抽取规则进行复核。
影像需要同时保留报告与本体。报告至少应区分检查所见和诊断意见,DICOM 则应由 Study、Series 和文件索引组成;增强 CT 的期相信息、实际层厚、序列 UID 和对比检查关系应进入元数据。NCI Imaging Data Commons 的实践表明,使用 DICOM 统一影像、标注和派生结果,并以共同标识连接基因组或蛋白组等其他癌症数据,有利于数据的检索、复现和计算使用。4 这并不意味着任何项目都能直接接入公共平台,而是说明原生对象、标准元数据和派生结果应该被区分管理。
病理和组学的输入也要分层。病理报告是文本证据,WSI 是可视化对象,IHC 是标志物或结果记录;三者可相互关联,但不应互相替代。组学则要把原始数据、处理数据和 QC 分开登记。当原始文件因授权或存储限制不能交付时,应明确交付的是哪一级可复用对象,而不是把“只有结果表”标记成“有原始数据”。
2. 输出标签必须带证据层级
对于分期,至少需要区分临床 TNM、病理 TNM、复发或转移再分期,并记录分期日期、来源和版本。对于结局,应把死亡、复发、进展、转移和末次随访作为独立事件保存;长期无复发只有在存在足够随访和明确依据时才成立。未看到复发记录,只能编码为“未观察到记录”或项目约定的缺失状态,不能自动变成“无复发”。
对于缺失,需要区分未知、未采集、不适用、文件缺失、质量不合格和待核实。缺少某种模态也不一定意味着病例不能使用,但模型和研究者必须知道缺少发生在何处、为什么发生以及是否与病情或就诊路径有关。纵向研究综述已指出,临床缺失常常不是完全随机的,简单补零、前向填充或只保留固定时间点,可能引入偏差。1 这意味着数据层要保存缺失原因,分析层才有机会把缺失本身作为变量或敏感性分析的一部分。
3. 数据字典不是附录,而是模型接口
数据字典应在项目开始时冻结第一版,至少定义字段名称、数据类型、允许值、时间格式、空值语义、主外键关系、原始或派生属性以及版本。文件清单还应记录相对路径、文件类型、关联对象、是否原始、是否完成脱敏、大小和完整性校验信息。患者级 Meta 可以帮助筛选随访跨度、模态覆盖、分期和结局,但不能替代业务表和原始文件索引。
影像标准化研究显示,跨机构研究若只把影像存在与否记录为检查编码,会丢失扫描协议和更细粒度的影像信息;把 DICOM 元数据和影像特征与临床事件关联,才能支持纵向追踪和可复用分析。3 因而,数据契约至少要回答三个问题:这个值来自哪份原始记录,它在患者轨迹的哪个位置产生,后续研究能否重新定位到文件或证据对象。
三、算法路线:先处理时序和缺失,再选择融合层级
1. 以事件序列作为主干
模型研发可以把临床事件看作带时间戳的序列。文本编码器处理病历和报告,影像编码器处理 CT/MRI 或其经验证的特征,病理编码器处理 WSI 或区域级表示,组学编码器处理变异、表达或 QC 后的特征。各模态先在自己的对象和时间范围内编码,再通过时间间隔、模态标识和证据等级进入融合模块。对随访结局,可以采用时间到事件模型、离散时间风险模型或多任务预测,但具体选择应由研究问题和标签质量决定,不能由数据集名称直接推导。
早期融合适合时间对齐稳定、字段可比性高的场景;中间融合允许各模态先学习各自表示,再在患者事件或时间窗层面交互;晚期融合则可以在模态不完整时保留单模态输出,再通过规则或学习器组合。没有一种融合方式天然适用于所有病例。纵向多模态综述指出,不同模态的采样频率和时间尺度往往不同,强行同步所有时间点可能丢弃有效数据,完全忽略时间又会破坏疾病进展语境。1
2. 把“缺失模态”变成显式输入状态
如果某次就诊没有影像,模型应知道这是“未采集”还是“文件尚未交付”;如果 WSI 只有 H&E 而没有 IHC,应保持模态缺口,而不是用一个默认向量伪造完整输入。对可计算数值可以在训练数据内部完成受控插补,但插补器只能在训练集拟合,不能让测试集或未来信息泄漏进来。对原始文本、影像和病理对象,不应把缺失内容静默生成后当成真实证据。
研究实例可以帮助理解这种纪律。2025 年一项免疫治疗队列研究把血液检测、增强 CT 器官体积和用药作为纵向模态,采用患者级随访窗口和交叉验证评估模型;研究报告了模型表现,但也明确指出其单中心来源、入组排除和模态缺失会限制外推,需要外部验证。2 这类结果只能说明在特定队列、时间窗和比较方案下的研究效果,不能被转换成某个数据供应项目的临床效果承诺。
3. 划分单位必须是患者和时间
同一患者的多次影像、病历和病理样本不能随机散落在训练集和测试集,否则模型可能通过患者特异性信息或重复检查获得不当优势。对有明确时间方向的任务,还需要考虑按时间切分,避免用未来随访证据构造过去的标签。跨设备、跨机构或跨人群的独立验证应在设计阶段预留,而不是在模型表现不稳定时临时寻找。
外部验证要说明验证集与开发集在癌种构成、分期、设备、扫描协议、治疗路径、随访完整度和授权范围上的差异。若不能取得外部数据,至少应把限制写入研究方案,并报告内部划分、缺失模式和敏感性分析。研究者需要看到的不只是 AUC、Dice 或准确率,还包括纳入排除流程、数据覆盖、标签来源、失败样本和适用边界。
四、专家标注和数据工程要分工,但不能断链
长时序多模态建设并不等于让某一类标注员独自决定所有医学事实。数据工程角色负责实体建模、ID 关联、时间格式、文件清单和版本;临床专家负责队列定义、诊断和分期语义、结局依据及争议裁决;影像或病理专业人员负责检查序列、报告—本体关系、标本—WSI 关系和必要的对象级复核;质量人员负责抽样、盲审、缺失分类、返工关闭和证据留存。具体人员资格、抽检比例和是否全量审核,应在项目书面规则中确认,不能用一般性能力描述替代。
对 TNM、复发和死亡等高影响字段,专家应先规定证据优先级。例如影像分期、病理分期、手术记录和临床综合判断可以作为不同来源,系统要记录来源而不是把它们合并成无出处的唯一真值。对同一事件出现冲突时,应保留原始值、冲突类型、复核意见和最终采用规则。对全文本结构化,也应保留原文位置或文书 ID,使后续审阅者能够从字段回到上下文。
标注质量不宜只用一个总准确率表达。更可执行的质量对象包括:主键和外键是否闭合,事件时间是否倒置,报告与本体是否对应,期相和层厚是否可追溯,标本与 WSI/IHC/组学是否配对,结局是否有证据,脱敏后是否仍保留研究语义,文件是否能打开且路径和校验值一致。对分歧样本,要有双人独立判断、专家仲裁或项目规定的复议流程;对无法判定的样本,应保留不确定状态,不用强制选择掩盖争议。
图2 技术示意:从授权与去标识化到证据链、外部验证和版本交付的质量门控;不表示真实病例、实验结果或临床诊断。
五、质量偏差要在数据进入模型前被看见
长时序队列天然存在选择偏差。能够完成多年随访的患者,可能与早期失访者在病情、治疗路径或社会因素上不同;能获得 WSI 或组学的患者,可能集中在特定手术或研究流程;多期增强 CT 的完整性可能与设备、科室和检查指征有关;复发和死亡记录的可得性也可能受院外就诊影响。若只交付“完整病例”,却不交付被排除病例和缺失原因,研究者无法判断队列适用边界。
因此,数据质量报告应把完整性、准确性、时间逻辑、跨模态一致性和来源治理分开统计。完整性回答字段或文件是否存在;准确性需要回到源记录抽检;时间逻辑检查事件顺序和观察窗口;跨模态一致性检查患者、就诊、检查、标本和样本是否错配;来源治理则核对授权、去标识化、访问边界和版本记录。单一综合分数可以作为摘要,但不能替代这些分项结果。
DICOM 去标识化也不应被理解成删除几个姓名字段即可。DICOM 官方保密配置明确涉及患者、相关人员、机构、UID、日期时间和私有属性等非像素属性;若未选择清理像素的选项,标准配置本身并不处理烧录在像素中的身份信息。6 TCIA 的公开流程还强调对 DICOM 私有标签、像素中的 PHI 和病理切片标签进行额外检查,并通过小样本测试、映射表和后续质控降低漏检风险。7 对研究数据交付而言,结构化表、文书、DICOM、WSI 和附带文件应分别设定脱敏检查,且脱敏不能替代授权和伦理审查。
六、把验收写成可复核的业务逻辑
一个可执行的试标不应从“最终能交多少行”开始,而应从关键证据链开始。首轮样例应覆盖目标病种和不同数据完整度,并至少能展示一条从确诊前可追溯影像、基线分期到治疗和随访的时间链;还应分别检查全文病历、结构化事件、平扫与实际增强期相、报告与 DICOM、病理报告与 H&E WSI、IHC 或组学样本,以及有依据的结局事件。每个样例都要有编号、版本、通过或退回状态和理由。
验收条款建议拆成五类:病例和病种边界,临床全轨迹关联,多模态原始对象和报告的互相追溯,关键标签与结局的证据完整性,脱敏与文件完整性。数量不能被其他病种冲抵,缺少核心原始对象时应按项目规则降级或退回,路径不存在、文件损坏、患者或样本错配、对比既往检查无法回溯等情况应触发返工或不计入合格量。具体数量、阈值和一票否决项属于项目书面约定,公开文章不把它们转换成公司统一标准。
规格书还需要处理“版本叠加”这一容易被忽略的工程问题。若通用基础 Schema 与肿瘤扩展 Schema 对同一张表或字段有重复定义,交付前应书面声明扩展版对重复部分的优先级,避免同名表双份交付;扩展字段则随附业务含义和映射规则。住院记录与门诊记录的外键应互斥,不能让同一事件同时挂到两种就诊;关键时间也要通过规则检查,例如诊断、手术、出院和随访的顺序,以及报告提及“对比前片”时对应 Study 和报告是否同批次存在。编码体系、时间格式、空值语义和时区应在数据字典冻结,不能把版本差异留给下游研究者猜测。
如果项目设置 POC,样例不应只挑最完整的“展示病例”。更有信息量的最小集合应覆盖约定的目标病种与不同完整度,并至少包含一条确诊前后可追溯的多次影像链、一次含平扫和全部实际增强期相的 CT、病理报告与 H&E WSI/IHC 的样本级关系、可复用的组学文件及其样本关联,以及 TNM、治疗、随访和结局证据。这样才能在扩大批次前发现缺件、错配、脱敏损坏和未来信息泄漏;具体例数与通过阈值仍须按项目书面确认。
交付包应同时包含结构化表、原始或约定级别的文件、file_manifest、患者级 Meta、数据字典、覆盖与缺失说明、质量自检、抽样复核和变更记录。每次修订都应说明改了哪条规则、影响哪些已交付或在制对象、是否需要重新审核。这样,采购方可以独立打开样例,算法团队可以在下游读取,临床团队可以追溯证据,项目负责人也能区分待补齐、返工和已放行,而不是把所有状态都写成“完成”。
从业务逻辑看,数据建设应采用“需求澄清—脱敏与准入—小规模试标—差异复核—版本冻结—分批交付—独立验收”的节奏。字段、模态和质量档位在试标后仍可能调整,调整必须进入变更记录,不能用口头说明覆盖旧版本。若项目同时需要数据治理、专业标注、质量抽检和交付管理,应把各工作包的输入、输出和责任角色分开,避免将平台能力、人员服务、原始数据授权和临床验证混写成一个承诺。
七、能力适配:用项目化方法承接差异,而不是把需求说成现货
按已核验的公司范围,朗慧定位为 AI 数据基础设施及流程服务商,LangData 覆盖采集、处理、标注、质检和数据交付;医疗数据目录、样例评估、数据字典、质量记录和版本管理可作为项目化沟通的组成部分。围绕长时序肿瘤数据,适配点主要在于把需求拆成数据对象和质量门控,协助形成字段说明、正反例、抽检记录、文件清单和版本化交接物。
这种能力边界不等于已有某个癌种的现货库存,不等于已经完成某一医院的授权,也不等于某个模型获得临床批准。具体来源、病例构成、模态覆盖、专家角色、周期、阈值和交付方式,都应以合法授权、项目规格和书面验收为准。若任务需要医疗器械性能评价、真实世界研究结论或个体诊疗决策,还需要由相应的临床、统计、伦理和监管流程独立承担。
对于研发团队,最有价值的交付不是一张看起来完整的患者表,而是一套能复盘的证据链:研究者知道每个变量从何而来,算法团队知道每个样本处在哪个时间窗,质量人员知道哪些对象曾被退回,项目管理者知道哪些缺失是授权限制、哪些缺失是工程返工。只有这些关系被稳定记录,长时序多模态数据才真正从文件集合变成可复用的研究基础设施。
参考来源
- Advancing Precision Oncology Through Modeling of Longitudinal and Multimodal Data
- Multimodal integration of longitudinal noninvasive diagnostics for survival prediction in immunotherapy using deep learning
- Development of medical imaging data standardization for imaging-based observational research: OMOP common data model extension
- National Cancer Institute Imaging Data Commons: Toward Transparency, Reproducibility, and Scalability in Imaging Artificial Intelligence
- About NCI Imaging Data Commons
- E.2 Basic Application Level Confidentiality Profile
- Submission and De-identification Overview

