MEDICAL DATA RESEARCH
跨专科医学多模态数据,如何从“需求清单”变成可复核的训练单元
跨专科医学AI项目常同时涉及影像、视频、波形、报告和结构化字段。本文从检查—序列—局部—语义四层关系出发,讨论标签依据、患者级划分、外部测试、偏差控制与按模态验收,帮助研发与采购把需求清单改写为可复核的数据合同。
同一张“医学影像+报告”清单,为什么交付后仍可能无法训练?因为临床任务、数据颗粒度和证据链并不是同一件事:超声需要知道探头、切面与连续帧,病理需要区分整张切片、视野和染色,CT/MR需要保留序列和采集参数,手术视频则要把事件发生在时间轴的哪一段说清楚。若把这些内容都压成“图像一条、文本一条、标签一个”,模型得到的不是多模态临床信息,而是一组无法复核的文件。
一份跨专科需求清单的研发价值,不在于列出多少病种或模态,而在于把每类数据还原成可执行的临床任务、最小样本单位、标注依据和独立验收方法。面向医疗人工智能研发团队和数据采购方,更稳妥的做法是先把清单重写成数据合同,再讨论规模、周期或模型路线。本文不讨论个体诊断,也不把任何示例清单中的数量、价格、来源或项目状态当作现货证明;重点是如何把匿名化需求转化为可审计的数据工程方案。
先问“模型要完成什么”,再决定采什么
跨科室需求常把临床科室、疾病名称、影像模态和报告形式写在同一行。但对于算法而言,疾病名称只是主题,不是任务定义。第一步应把每一行拆成临床问题:是筛查异常,还是在已知异常中定位病灶;是分类、分级,还是测量;是从一次检查输出结论,还是根据多个时间点预测变化;是让模型生成结构化报告,还是只抽取报告中的部位、征象、否定和不确定性。
以超声为例,甲状腺、乳腺、腹部和心脏超声并不是一个任务。静态截图可用于切面或病灶分类,连续视频可用于运动、血流或操作过程建模,报告文本又承担了检查所见、测量值和印象的语义表达。若目标是关键帧识别,帧级质量和切面标签是核心;若目标是病灶分割,病灶边界与测量轴更重要;若目标是报告生成,还必须建立影像、检查级报告和结构化测量之间的对应关系。采集设备、探头、预设、切面和帧率应成为数据字典的一部分,而不是交付后再猜测的背景信息。
病理数据的最小单元也需要先行约定。全切片图像、染色类型、扫描倍率、组织区域、视野或小块图像分别服务于不同任务;免疫组化表达、细胞学涂片、分子检测和病理报告不能被统称为“病理标签”。如果任务是区域检测,必须保留区域在原始切片坐标中的位置和来源;如果任务是分级或分型,应说明分级规则、适用样本和参考标准;如果任务是图像与报告对齐,则要能追溯报告中的句子或结构化字段对应哪一次检查,而不是把同一病例的多份文书随机配对。
放射、神经、心内、儿科、妇产和急诊等场景同样如此。CT/MR任务涉及检查、序列、期相、层面和体素几何,DICOM对象还包含采集和程序属性,不能只交一组转码后的图片。心电、脑电、胎心监护和生命体征属于时间序列,采样频率、时间戳、导联或通道布局、伪迹和缺失段会直接影响模型输入。手术或内镜视频要区分整段视频、关键帧、事件区间、器械或组织状态,并保留事件在时间轴上的起止位置。只有先写清输出标签,才能选择合理的输入模态与颗粒度。
用四层颗粒度建立跨模态对齐
一个可复核的数据合同至少应同时描述检查级、序列级、局部级和语义级四层关系。检查级回答“这些文件是否属于同一次检查或同一时间点”;序列级回答“哪一组图像、视频、波形或报告对应哪种采集过程”;局部级回答“病灶、器官、关键帧、测量线或细胞区域位于哪里”;语义级回答“文本中的结论、否定、不确定、数值和单位如何与影像证据关联”。四层关系都存在时,多模态才是可计算的结构,而不是文件夹里的并列附件。
DICOM官方说明指出,DICOM数据集由多个属性和像素数据共同组成,单个对象还可以承载多帧图像或电影序列;其中包含的身份和采集属性不能被当作普通文件名处理。4 这意味着脱敏不能只改文件名,交付也不能只保留像素。对于影像研究,应将去标识化后的研究ID、检查ID、序列ID、时间点、设备与采集参数、空间方向和转换过程记录在可追溯元数据中。DICOM大数据研究对公开数据库的考察显示,许多数据集并未充分利用DICOM中的隐私、分割和结构化报告能力,格式标准本身存在并不等于数据已经互操作。5
跨模态对齐的基本键不宜直接使用姓名或病历号。更稳妥的结构是为研究用途生成不可回推的受试者级ID,再用检查级、序列级和文书级键建立关系表;时间信息应按项目授权和隐私要求保留到足以支持纵向分析的粒度。没有对应报告、没有可靠时间戳或无法确认同一检查的文件,应标记为缺失或不可配对,不应由标注人员凭上下文补齐。图像和文本研究的综述显示,影像—报告配对、标签不均衡、专业标注成本和外部验证不足,仍是多模态研究常见的限制。8
这里有一个容易被忽略的边界:同一患者的两次检查可以用于纵向任务,却不能在训练集和测试集之间被当成两个独立样本。数据划分要在患者级或更高层级保持互斥;如果研究问题以检查变化为单位,还要同时记录时间间隔、治疗状态、设备变化和随访终点。这样才能避免模型记住患者、设备或机构特征,而不是学习目标病变或真实的临床变化。
图1|技术示意:以“临床任务—采集对象—对齐键—标注输出—交付追溯”五个环节组织跨专科数据;不表示真实患者、已完成采集或临床诊断结果。
标签不是一个词,而是一组有依据的观察
需求中出现“分级”“病灶”“疗效”“并发症”时,不能直接当作单一类别。应先拆成观察变量和判断层级。例如病灶标签可分为有无、部位、范围、边界、测量和分型;报告标签可分为实体、关系、否定、不确定、时间、数值及单位;视频标签可分为事件类别、起止时间、关键帧质量和器械状态。不同层级的标签需要不同的标注工具、专家资格和验收指标。
标注指南要给出正例、阴性例、边界例和不可判断例。对“看不清”“未检查”“报告未提及”“无法确认”的情况,应使用预先定义的缺失或不确定枚举,不能强制归入阴性。对有序分级,要说明相邻级别的临床区别、允许的过渡情况和争议升级规则;对连续测量,要明确单位、参考轴、起止点、是否允许估读以及图像质量不满足时的处理方式。对影像—报告配对,要区分影像未见异常、报告未描述和数据缺失三种含义,避免把沉默当成否定。
参考标准的形成应与任务相匹配。分类可以依赖病理、规范化临床结局或由多位具备相应专科经验的专家按冻结指南共同裁决;分割和测量则需要记录标注版本、软件工具、复核对象和几何依据;报告抽取应保留原句、结构化字段和变更记录。CLAIM 2024要求报告数据来源、纳排条件、预处理、去标识化、采集协议、参考标准、标注者资质、分歧处理和内部/外部测试等信息。1 STARD-AI进一步强调,使用人工智能开展诊断准确性研究时,应说明数据集和受试者资格、数据来源、设备与软件版本、预处理、训练/验证/测试划分及测试集是否代表目标条件。2
“专家审核”也不能成为没有内容的标签。应记录谁负责初始勾画或结构化,谁进行独立复核,何时进入仲裁,仲裁依据是哪一版指南,以及哪些样本进入一致性抽检。可用重复标注、交叉复核、盲审和洗脱期减少记忆效应;对于低一致性任务,应先修订定义再扩大生产。质量记录至少要能定位到样本、标签版本、问题类型、返工动作和最终状态,而不是只给出一个总体通过率。
算法路线要服从模态和缺失机制
跨专科需求适合采用分层而非“一套模型包打天下”的路线。第一层是模态内编码:二维或三维影像、全切片小块、视频帧、波形和文本分别使用与其结构相容的编码器;第二层是检查内聚合:把一组切片、关键帧、测量或报告字段聚合到检查级表示;第三层才是跨模态融合,可采用对比学习、交叉注意力、晚期融合或任务特定的联合头。模型输出应与标签层级一致,分类、检测、分割、测量、序列预测和报告生成不能共用同一验收口径。
对于没有全部模态的真实检查,训练时要把缺失机制显式化。随机丢弃某一模态可以测试模型的鲁棒性,但不能假设临床缺失是随机发生的;某些报告只在异常时书写,某些视频因操作质量而被截断,某些检查因设备或流程而没有特定序列。应保留“未采集、未上传、质量不合格、报告未记录、授权不允许”这些不同状态,并在建模和分析时分别处理。否则模型可能把缺失本身学成疾病提示,或者在测试时获得训练阶段不存在的模态。 未标注数据可用于自监督或表征学习,但预训练数据仍需进行去重、来源治理和患者级隔离。伪标签应明确标记为模型生成的草稿,不能在没有抽检的情况下升级为参考标准。图像与文本的对比学习可以利用弱配对,但弱配对只支持相应的研究问题,不足以自动产生病灶分割、病理分级或治疗结局标签。WHO关于大型多模态模型的治理指南将这类系统定义为可接收一种或多种数据输入并生成多种输出,并提醒医疗用途需要围绕预期用途、透明度、风险、隐私和人类监督设置边界;能处理多种输入不等于临床可靠性。6
如果目标是预测诊断或预后,TRIPOD+AI建议明确数据来源、结局定义、缺失处理、模型开发与评价数据的独立性、校准、区分度、公平性和外部评价。3 这对需求设计的启示是:采购方在收数据前就应写清“模型将预测什么、在什么时间点预测、结局由谁确认、哪一批数据永不参与模型选择”。算法性能不能替代标签证据,也不能把内部留出结果写成临床效果。
质量控制要覆盖来源、分布和版本
跨专科数据的第一道质量关是来源治理。数据字典应记录采集方式、设备或软件版本、时间范围、纳入和排除条件、授权用途、去标识化流程、转换工具、导出格式及禁止推断的字段。对影像要核对像素与空间几何是否一致,对视频要核对帧率、丢帧、关键帧和时间戳,对波形要核对采样率、通道和单位,对文本要核对编码、段落结构、否定和空白。每一次字段或指南变更都应产生版本号和差异说明。
第二道质量关是样本级审计。可检查重复文件、近重复检查、跨患者拼接、错配报告、异常元数据、不可读文件、模态缺失和标签越界。对于DICOM转换,除了能否打开,还要验证方向、层间距、窗宽窗位或其他与任务相关的采集信息是否在转换后保持可追溯。对于全切片和视频,缩略图清晰不代表原始分辨率、坐标和时间轴可用;对于结构化数值,单位和参考区间不能由标注员自行猜测。
第三道质量关是偏差与外部验证。按机构、设备、年龄段、性别、病种严重度、采集流程和时间阶段报告分布,才能看到训练数据是否只是某一来源的便利样本。外部测试应来自与训练不同的来源,并预先冻结测试集和评价脚本;如果没有外部数据,要把这一限制写进研究方案,而不是用内部交叉验证代替。FDA/IMDRF的GMLP原则强调代表性数据、独立测试、与预期用途相匹配的参考标准、全生命周期风险管理以及可追溯记录。7 这些原则可转化为采购条款:来源、分层、标签依据、划分、版本和问题回修都应成为交付物。
评价指标应由任务决定并报告不确定性。分类可报告敏感度、特异度、精确率、宏平均指标和置信区间;有序分级可补充加权一致性;检测和分割应同时说明目标尺度、匹配规则、边界或重叠口径;测量任务要说明误差单位和重复性;视频事件要按时间容差评价;文本抽取要分字段和关系核对,而不是只看整段字符串相似度。任何阈值都应在试点和任务定义中冻结,不能把某个项目约定变成所有医学数据的统一标准。
图2|技术示意:将来源治理、专家标注、患者级划分、外部测试和版本回溯串为一条证据链;不表示真实实验曲线、样本结果或临床效果。
把验收写成一次可重跑的试点
对于跨专科需求,直接按总量生产往往会把模糊定义放大。更稳妥的业务逻辑是先做小规模试点:每个重点模态选择覆盖正例、阴性、难例、缺失和质量失败的样本;先交数据字典、目录结构、样例标签、授权与脱敏说明,再让研发方用真实管线导入、训练和导出。试点结束后,双方冻结任务定义、标签指南、文件命名、键关系、版本号、抽检方案和拒收/返工条件,后续批次只能通过书面变更进入生产。
验收矩阵要按模态分别写,而不是只写“准确率达到某值”。超声检查应核对设备、探头、预设、切面、关键帧或连续帧、测量轴和质量标记;CT/MR应核对检查与序列关联、期相或序列条件、空间几何、DICOM属性和导出格式;病理应核对染色、扫描倍率、组织区域、坐标和报告或分子结果的关联;内镜和手术视频应核对帧率、时间戳、事件区间、关键帧和可见性;心电、脑电和监护数据应核对采样、通道、时间同步、伪迹和缺失段;文本与结构化数据应核对字段、枚举、单位、否定、不确定、空值语义和禁止补写。
采购或研发方还应在验收前明确三类“不能靠模型弥补”的失败。第一类是权利和隐私失败,例如残余标识、用途不覆盖或无法说明来源;第二类是结构失败,例如样本键断裂、时间线错位、像素与空间信息不一致;第三类是证据失败,例如标签没有依据、争议没有裁决、测试集被参与调参。三类失败都应支持拒收或返工,而不是在模型训练后用更高的学习率掩盖。
公司能力只能按已核验范围匹配
从交付流程看,朗慧已核验的公开定位是AI数据基础设施及流程服务商,自研LangData覆盖采集、处理、标注、质检和数据交付;医疗栏目提供按部位、模态和任务组织的数据目录与样例评估入口。这些信息支持“可以围绕项目规格讨论数据工程与标注流程”,但不证明某一专科数据已经现货、某种标签已经完成,也不证明任何模型已取得临床或监管效果。实际授权、伦理、规模、周期、专家配置和交付状态仍需项目书面确认。
因此,适配这类跨专科需求时,首先应把目标任务和样例导入平台,核对是否能记录检查级关系、专家审核、问题回修、导出格式和版本血缘;其次按模态划分工作包,避免把内镜视频、病理全切片、病历文本和DICOM分割当成一个默认插件;最后把研发方的独立测试和业务方的交付验收分开。平台或流程能够承载记录,不等于数据天然合规,也不等于标签自动具有临床权威。
对数据采购方而言,这种拆分能把“想要很多医学数据”改写成几个可回答的问题:模型输出是什么,最小样本单位是什么,哪些模态必须配对,专家依据是什么,哪些缺失不可补,测试集如何隔离,失败如何返工。对研发方而言,它减少了在模型阶段才发现切面、时间戳、报告或空间坐标无法对齐的风险。对服务方而言,它也能把能力边界、项目约定和研究建议分开,避免把规划口径误写成现货或临床证明。
结语:把多模态写成关系,而不是清单
跨专科医学数据建设的难点,不是把更多图像、视频、文本和传感器文件放进同一个目录,而是让每个临床任务都有相应的输入、输出、证据、版本与验收。需求清单可以作为起点,但只有在检查、序列、局部、语义和时间关系被明确后,数据才可能被稳定地用于训练、评测和复现。下一轮需求评审应优先冻结数据字典、标注指南、专家职责、患者级划分、外部验证计划和失败处理;数量与报价反而应放在这些前置条件之后。这样形成的数据资产,才更接近可审计的研发基础设施,而不是一次性交付的文件集合。
参考来源
- Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update
- The STARD-AI reporting guideline for diagnostic accuracy studies using artificial intelligence
- TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods
- DICOM Standard: Key Concepts
- How does DICOM support big data management? Investigating its use in current research
- Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models
- Good Machine Learning Practice for Medical Device Development: Guiding Principles
- A scoping review on multimodal deep learning in biomedical images and texts

