跳至正文
朗慧科技

MEDICAL DATA RESEARCH

从分散文件到患者级证据链:多模态病程数据如何组织与验收

面向医疗AI研发与数据采购,拆解患者级多模态数据包的主索引、时间语义、DICOM层级、病理关联、缺失状态、专家复核与分层验收,帮助把分散文件变成可追溯研究资产,并区分需求、能力与验收边界。

临床文本与纵向多模态AI辅助整理 · 研发交流

医疗AI研发中,一个很具体、却经常被低估的问题是:当同一位患者的结构化病历、病程文书、检验结果、DICOM影像和病理材料来自不同导出流程时,怎样证明它们确实属于同一个诊疗轨迹,并且在时间上能够相互解释?如果每种模态各自打包,研究者也许能得到“有病历、有影像、有病理”的目录,却未必能回答某次检查发生在什么就诊中、报告引用的是哪组影像、某份病理报告对应哪个标本,更不能稳定地复现模型训练和验收结果。

这类需求不等于采购一个更大的压缩包。它要求把数据交付的基本单位从“文件或模态”改成“患者级证据包”:在去标识条件下,以患者键为根,挂接同一批就诊中的结构化表和文书;有影像时保留完整的检查、序列和实例关系;有病理时同时核对报告与切片或原始病理文件;对同一患者的多次检查保留可解释的时间顺序。这样的组织方式更接近真实的临床问题,也更适合后续的检索、纵向建模和跨模态评测,但它的质量不能用文件数量替代。

先把临床任务写成数据任务

从临床工作流看,患者级多模态数据至少要支撑三种任务。第一是轨迹重建:从入院、首次评估、检验检查、治疗或手术到出院,研究者要能按事件顺序查看一例病例,而不是在多个互不相干的文件夹中寻找线索。第二是证据关联:结构化结果、病程文书、影像检查和病理报告需要被连接到相应的就诊、操作或标本,才能判断一个结论引用了什么证据。第三是队列筛选与复核:复杂病例通常不是由单一诊断字段定义,而是由诊断是否被修正、是否出现多学科会诊、住院过程是否复杂、是否有多次就诊或多种结局线索等因素共同描述。这里的指标是纳入和分层依据,不应未经定义就被当作疾病标签或临床结论。

源规格中的复杂度筛选还应落成可复核的患者指标视图,而不是一个模糊的“高难病例”标签。可把指标分三层:系统可直接统计的诊断修正或补充记录次数、会诊科室数、住院时长、重症监护经历、历史就诊次数和出院诊断中的共病数量;需要回到原文核对的病重或病危通知、出院转归;以及需要相应临床背景裁决的术前判断与术后病理不一致。每项都要记录统计窗口、来源字段、定义版本和证据指针。科室覆盖和事件密度也应分层,避免普通择期手术样本掩盖复杂过程。患者指标表只用于纳入、分层和抽检,不等同于疾病严重度、诊断正确性或模型标签;具体阈值、配比和数量仍须由项目书面确认。

因此,规格书应先明确输入和输出。输入可以包含去标识后的结构化CSV、带文字层的PDF文书、DICOM影像以及病理报告和切片图像;输出则不只是一个目录树,还应包括患者级清单、就诊和文档映射、模态存在性、时间字段、缺失或不适用原因、版本号和抽检记录。数据粒度要同时写清患者、就诊、文档、检查、序列、实例和标本七个层次。若只写“每例一包”,却不规定这些层次,后续的对齐很容易退化成依赖文件名的人工猜测。

DICOM本身已经提供了患者、检查、序列和实例等信息实体及其关系,影像数据的组织不能被简化成几张导出的关键帧。1 FHIR的ImagingStudy进一步把DICOM检查、序列和实例与患者、就诊、检查时间及访问端点联系起来,并明确一项资源对应的是一个DICOM Study或其子集。2 这并不意味着所有采购都必须采用FHIR,但它提示了一个重要原则:跨模态数据需要可解释的主键和层级,而不是只凭目录名称表达关系。

患者级多模态数据从来源到验收的结构化链路查看完整技术图(可放大)

图1 患者级多模态数据链路技术示意。图中关系用于说明组织与质控边界,不表示真实患者、实际样本或已完成实验。

患者包不是目录树,而是可追溯主索引

“患者包”适合作为交付形态,但目录树本身不是数据模型。更稳妥的做法是为每个去标识患者建立manifest,并在manifest中列出患者键、就诊键、文档键、检查键、序列键、实例键和标本键。患者键用于跨模态汇总,不能直接暴露真实身份;就诊键用于区分不同住院或门诊过程;文档键用于定位原始文书;影像使用Study、Series和SOP Instance等标准标识;病理则需要把报告、标本或切片标识纳入同一映射关系。原始标识与去标识映射表应分离保存,公开稿和研究数据包都不应携带可回溯个人身份的字段。

主索引还应记录“存在”“缺失”“不适用”和“待核验”四种状态。没有影像不等于影像文件漏交,未取材也不等于病理报告缺失;如果把这些情况都写成空值,后续模型会把数据不可得误学成阴性或正常。对病理而言,只有切片没有报告,或只有报告没有图像,通常都不足以支撑要求病理证据的任务。分期、免疫组化或某项检查若确实不适用,应写明原因,而不是留下一个无法解释的空白。

时间字段必须分层管理。至少应区分采集或检查时间、标本取得时间、报告签发时间、病程文书书写或修订时间、医嘱开始和结束时间,以及数据导出和版本生成时间。临床上报告时间晚于检查时间是常态,文书修订时间晚于事件时间也不表示事件发生改变。正确的做法不是把所有时间排序成一条假想的精确序列,而是保留原始时间、时间精度、时区和来源,并在manifest中表达“发生于”“引用于”“报告于”等不同关系。时间未知时应标记未知,不能用一个看似整齐的占位日期填补。

结构化表的设计也需要围绕可追溯性展开。患者信息、住院或就诊信息、入院记录、首次病程、病程查房、会诊、手术记录、出院记录、检验、检查、药品医嘱和非药品医嘱可以采用不同表或主题分册,但每一行都应有能够回到原文或原始事件的键。检验最好同时保留采集时间与报告时间,检查记录保留实际发生时间;诊断文书的修正或补充版本不能只保留最后一个终版,因为纵向任务往往正需要识别诊断如何变化。书写人字段在去标识时可以保留职业类别或科室等任务所需属性,但不应保留姓名、证件号或可组合识别身份的信息。

PDF的“可交付”也不等于“能打开”。研究者需要能够复制或解析文字层,才能把文书与结构化字段、影像报告和时间线相互核对。纯扫描件应单独标记为图像件;如果使用OCR,必须在项目说明中记录适用范围、字符质量检查和人工复核规则。可提取文本是入库门槛,OCR后的文本也不能未经复核就当作原始病历。对于报告与影像的关系,FHIR DiagnosticReport把患者、就诊、临床相关时间、报告签发时间、观察结果、影像研究、标本和报告附件放在同一可关联资源中,且明确影像报告和病理报告都属于诊断报告的适用范围。3 这为设计跨模态manifest提供了可借鉴的语义边界。

从字段治理走向跨模态算法路线

这类数据项目的第一条算法路线不是直接训练一个诊断模型,而是先建立可审计的数据工程和关系抽取层。可将流程分成四步。第一步是确定性校验:检查文件是否可读、字段名和编码是否符合字典、日期是否合法、DICOM层级和UID是否完整、报告和切片是否具备可连接标识。第二步是实体与事件对齐:用去标识患者键、就诊键、文档键、检查键和标本键建立主索引,对无法自动匹配的记录进入待核队列,不用模糊相似度强行合并。第三步是时间关系建模:把事件表示为带类型、时间范围、来源和置信状态的节点,将“检查—报告”“标本—病理报告”“手术—术前或术后影像”等关系表示为边。第四步才是面向模型训练的任务化导出,例如病历检索、事件抽取、跨模态问答、缺件检测、时间顺序判断或纵向状态建模。

公开研究已经说明,跨模态数据的实用价值取决于共同患者键和时间语义,而不只是把不同文件放在同一存储桶。EHRXQA将结构化EHR与胸部X光数据按共同患者标识进行关联,并建立影像参考表,保留住院、影像研究和检查时间等字段;其问题模板还区分单模态、跨模态以及“同一次住院或时间窗口内”的查询。4 这个例子不是本项目的现成规格,也不证明某种模型能获得临床效果,但它说明患者级关联表和时间过滤器本身就是跨模态任务的训练基础。

如果项目包含病程文本与影像,推荐同时输出两种视图。一种是面向审计的关系视图,保留原文、原始表和DICOM层级,并能从模型输入回到来源;另一种是面向训练的事件视图,把患者状态、检查、结果、干预和结局表示为带时间的事件序列。两种视图共享同一版本化主索引,避免“交付包一套主键、训练集另一套主键”。涉及文本抽取时,应保留否定、条件、不确定性和修正关系;涉及检验时,应同时保留单位、参考范围、异常标记和测量时间;涉及影像时,应明确是完整序列、代表性图像还是报告文本;涉及病理时,应明确报告级、切片级还是全切片级任务。

在算法辅助标注阶段,模型可以建议文档类型、实体匹配、事件时间或缺件类别,但不能把自动匹配结果当成专家确认。需要区分三类标签:事实标签,例如某文件是否存在或某字段是否可提取;关系标签,例如某报告是否引用某项检查;临床语义标签,例如诊断修正、病理分期或治疗前后状态。前两类可以由受训数据审核人员在规则指导下处理,第三类需要相应专科知识。项目不应笼统地写“专家标注”,而应规定专家负责的标签范围、输入证据、是否盲审、争议如何裁决,以及在信息不足时是否允许使用“不确定”或“无法判断”。

标注一致性与偏差控制

多模态患者包最常见的错误不是某个字段拼写错,而是关联边界错了。例如,同一患者存在多次住院,文件中都出现相似诊断;影像检查日期和报告日期跨越两个就诊;一份病理报告引用了标本号,但切片文件只保留了孤立的图像名。若审核只在单文件层面进行,这些错误很难被发现。因此,抽检应以患者包为基本单位,再向就诊、文档、检查和标本层级下钻。每一例至少要能回答:所有文件是否属于同一去标识患者;文书是否属于同一批就诊;影像研究日期是否能和病程或检查记录对齐;病理报告和图像是否由同一标本关系连接;缺失项是未产生、未授权、未交付还是待核验。

双人复核应当是独立判断,而不是让两名执行员一起看同一答案。对一部分样本先进行背靠背审核,再把不一致项送给具有相应临床背景的裁决者。统计一致性时可以报告按字段、关系或患者包分层的准确率、召回率、F1或一致性系数,但不能把不同难度和不同模态混成一个“总体准确率”。对稀少但高风险的错配,例如把术后影像接到术前事件、把病理报告接到错误标本、把同一患者的不同就诊合并,应单独设为阻断项,而不是被大批简单样本的平均值掩盖。

还要防止数据泄漏。若同一患者的术前、术后和多次复查被随机拆到训练集和测试集,模型可能学习到患者特征或文件模板,而不是任务本身。更稳妥的默认方式是以患者为单位划分;若目标是验证跨时间泛化,可进一步按时间切分;若数据来自多个来源或设备,应在条件允许时做来源、科室或设备外部验证。YCDL研究展示了患者中心索引、持续ETL和逻辑比较在多模态临床数据整合中的作用,同时也把泛化性和可扩展性列为需要继续验证的问题。5 这提醒采购方,数据工程的“能连接”与模型在新来源上的“能泛化”是两个不同验收问题。

纵向建模还需要把“当前观察”与“历史上下文”分开。PULSE研究将患者看作随时间变化的系统,把不同模态视为不完整且相互补充的观测,并通过患者既往状态帮助当前访视的跨模态建模;研究使用患者级训练和测试划分来避免同一人的多次访视泄漏。6 对数据采购而言,这并不意味着要照搬某一种神经网络,而是说明时间轴、访视边界和缺失模态状态必须在数据层清楚表达。数据不全时,模型应知道“本次未采集”与“采集但结果为阴性”不同;否则所谓的纵向推理可能只是对缺失模式的记忆。

把验收写成可执行的检查链

验收应从样例阶段开始,而不是等整批交付后再发现主键断裂。第一关是准入检查:随机打开文书并尝试复制文字,验证结构化表能按字典解析,验证DICOM可以读出患者级、Study级、Series级和Instance级信息,验证病理报告和图像具有可追溯标识。第二关是患者包完整性:抽取若干患者,核对同一患者下的CSV、PDF、影像和病理是否按照项目约定存在;若某模态不存在,manifest必须说明原因。第三关是时间和关系核对:将检验采集时间、报告时间、病程引用、影像检查时间、手术时间和病理标本时间放在同一事件视图中,检查是否出现无法解释的逆序或跨就诊错配。第四关是队列构成核验:以指标表和原文证据抽查复杂度分层、科室覆盖、带影像比例或手术与病理的联合条件,但具体门槛必须来自冻结的项目字典,不应在验收现场临时修改。

质量指标建议按失败类型分层记录。文件层看可读性、文字层、DICOM合规和压缩包完整性;字段层看必填字段、单位、编码、空值纪律和时间精度;关系层看患者、就诊、文档、检查和标本主键是否可追溯;队列层看纳入条件、分层比例和来源分布;治理层看去标识、授权范围、版本和访问记录。某个样本在关系层失败,就不能用它在文件层的“文件都存在”抵消。相反,若一个字段对某类病例不适用,也不应被机械地当成缺失。每一种失败都要有明确的回修责任和是否重新抽检的规则。

验收报告还应把研究指标和临床效果分开。连接精度、缺件率、时间关系识别准确性、专家一致性和外部来源上的稳定性,是数据或算法工程指标;它们不能被改写成诊断准确率、疗效提升或监管批准。即便一个数据包通过了格式和关系验收,也只表示它适合进入约定的研究或开发流程,不表示基于它训练的模型可以直接用于患者诊疗。所有训练、验证和测试结果都要注明样本范围、来源、时间窗口、比较基线和外推限制。

患者级多模态数据的质量与验收闭环查看完整技术图(可放大)

图2 多模态患者包质量与验收闭环技术示意。图中检查项用于说明建议流程,不表示真实抽检比例、实验结果或临床效果。

从数据包到可复用的研发资产

患者级交付的业务价值,在于把一次采购从“收到文件”推进到“可以复盘的研究资产”。在样例阶段,买方可以先冻结字段字典、目录与manifest、可提取文本标准、DICOM和病理范围、缺失状态、抽检办法及授权边界。小规模试标通过后,再进入批量交付。批量阶段按患者包而不是按模态分别计量,能减少“结构化表交了一批、影像又换了一批、病理无法回挂”的争议,也能让返工回到具体的患者、关系和版本。

对于研发团队,患者级主索引可以支撑多模态检索、病历问答、时间关系抽取、影像报告关联、缺件检测和纵向预测等任务。是否适合某一任务,仍需看病种、模态覆盖、标签颗粒度、授权和外部验证。对于数据交付团队,manifest、字段字典、数据卡、正反例、缺件清单和抽检记录共同构成可移交的质量证据。字段名或关联规则改变时,应升版并记录影响范围,旧批次不能被静默改写,否则模型复盘无法知道输入为何发生变化。

在已核验的能力边界内,朗慧被定位为AI数据基础设施及流程服务商,LangData覆盖采集、处理、标注、质检和数据交付;医疗项目可围绕项目规格、样例评估、质量记录和版本管理组织交付。这里表达的是能力适配,不是对某一患者级数据集现货、独立认证、合作机构、临床效果或监管状态的证明。具体来源、授权、字段范围、周期、规模和验收阈值仍需由项目书面确认。涉及病理全切片、超声或其他特殊模态时,也应单独写清是否只是数据接入、是否包含标注、是否包含全片级处理。

最后需要强调,去标识不是公开传播许可,患者包也不应因为“没有姓名”就脱离授权和伦理边界。面向模型训练的研究数据应当在受控环境中访问,保留授权记录、去标识规则、版本和审计日志。对医疗AI读者而言,真正可复用的数据资产不是更大的文件数量,而是每条证据都知道来自哪里、属于哪次就诊、与哪些模态相连、何时发生、怎样被复核,以及在什么限制下可以被模型使用。

本文讨论数据工程、标注治理和验收设计,不提供患者个体的诊断、治疗或用药建议,也不把研究论文中的模型效果转换为临床承诺。

参考来源

  1. DICOM PS3.3 2026d - Information Object Definitions
  2. FHIR R4 ImagingStudy
  3. FHIR R4 DiagnosticReport
  4. EHRXQA: A Multi-Modal Question Answering Dataset for Electronic Health Records with Chest X-ray Images
  5. Continuous multimodal data supply chain and expandable clinical decision support system for precision oncology
  6. Longitudinal alignments and syntheses of multimodal clinical data for personalized medicine with the PULSE framework