MEDICAL DATA RESEARCH
中医多模态望诊数据如何做成可复现的 AI 训练集:从同例配对到独立验收
中医多模态数据建设如何把医案、面部与舌象图像、动态视频按同例关联?本文从标签颗粒度、质量闸门、专家复核、对象级划分和外部测试拆解可复现的研发与验收路径。
当一条研究记录同时包含医案文本、面部照片、舌面与舌底照片,以及记录神态、步态、肢体动作、语音和呼吸的视频时,真正困难的并不是把文件收齐,而是回答三个更基础的问题:这些模态是否确实来自同一次观察,标签究竟对应整例、图像区域还是视频时间片段,以及模型表现能否排除光照、设备、采集者和专家习惯造成的假象。若这三点没有在数据设计阶段固定下来,多模态模型很容易学到“哪台手机拍的”或“哪位标注者写的”,却不能可靠地解释中医望诊研究对象本身。
这类项目适合被定义为面向科研和辅助分析的数据工程与验证任务,而不是一份可以直接用于个体诊疗的“诊断数据包”。世界卫生组织在《全球传统医学战略 2025—2034》中提出,传统医学数字化和人工智能应用应建立在证据、质量、安全、伦理和适当监管之上,并鼓励发展适合传统医学特点的研究方法。1 因此,源需求可以匿名改写成一套可执行的多模态研究规格,但不能把采购设想、专家头衔或预期数量包装成已经完成的临床成果。
先定义可分析的数据单元
最小分析单元不应只是“一位受试者”或“一组文件”,而应是一个带有时间和来源关系的研究记录。它至少要有脱敏的记录键、采集时间关系、模态完整性、病种分层、证候或观察性表型,以及每个字段的版本状态。记录键只用于在研究空间内关联文本、图像和视频,不应包含姓名、证件号、原始就诊号等直接身份信息。复诊或纵向观察还要保留时间点,不能把不同时间的舌象、面色和病史静默拼成一条“同时采集”的样本。
源需求把文本、三类静态图像和视频视为一条记录的关联单元,而不是可以任意拼接的文件清单。若项目约定某些模态必须齐全,应在入库时设置完整性状态,并把缺失、未采集、无法解码和不适用分开编码;只有在书面规格允许的情况下,才可按任务使用缺失模态回退。这样既保留原始需求的同例约束,也不把预期数量或固定采集参数误写成现货承诺。
文本医案承担的不是把整份病历原样塞给语言模型,而是提供结构化的临床语境。可将主诉、现病史、四诊信息、辨证分型、治法、方药、医嘱和随访拆为字段,并为实体、关系和证据片段分别留出标注位置。疾病名称、证候名称、症状和治疗建议必须分层:疾病标签说明研究纳入的医学对象,证候标签描述中医辨证体系中的目标,观察性表型则描述从照片或视频中直接可见的特征。三者如果混成一个分类列,后续模型即使得到高分,也无法知道自己是在识别疾病、复现医生判断,还是仅仅识别图像外观。
静态图像至少应区分面部、舌面和舌底三个视角。采集协议要明确正面取景、舌体和舌根的可见范围、舌下脉络是否清楚、面部占画面的比例、拍摄角度、遮挡、美颜滤镜、闪光或环境光条件,以及图像格式和设备版本。项目可以采用统一的分辨率和文件上限,但这些参数应作为书面规格冻结,不能在公开稿里被误写成公司的固定能力或现货保证。尤其要把“未拍到”“被遮挡”“图像模糊”和“该特征不存在”编码为不同状态,否则模型会把不可见误当阴性。
视频则是另一种数据类型,不应被当作若干张连续截图。需求中的神态、表情、步态、肢体动作、语音和呼吸都依赖时间轴。每个事件需要起止时间、观察粒度和标注依据,例如情绪状态是整段视频标签,还是按固定窗口记录变化;皱眉、眨眼和嘴角动作是计数、强度还是仅存在与否;步态是否有完整行走路线;语速、喘息和呼吸频率由视频、音频还是人工观察确认。没有这些定义,两个标注者可能对同一段视频给出看似不同、实则口径不同的答案。音视频还要单独记录声音缺失、背景噪声、遮挡和帧丢失,不能沿用静态照片的清晰度标签。
图1 同例配对、质量闸门、专家标签和算法交付的技术示意;不表示真实患者、真实实验或临床诊断。
把标签拆成与模态匹配的层级
舌象标签至少有三种颗粒度。舌质可以有舌色、舌形、舌态和津液等分类;舌苔可以有苔色、苔质和苔量等属性;舌下脉络则同时涉及形态、色泽、主干走向和瘀点瘀斑位置。颜色和状态可用互斥或多选分类,齿痕、点刺、裂纹、剥落苔和腻苔需要区域勾画,脉络主干需要骨架线,瘀点则需要位置与大小。若所有结果只存成一句自由文本,模型训练端无法区分“标签值”“标注理由”和“专家保留意见”。
面部标签也要避免把理论区域、可见皮损和整体表情压成一列。可先固定面部区域的命名和边界,再对色泽、纹理、皮损和光泽度使用属性标签;眼神、表情等动态或主观内容则应与静态面色分离。区域标签需要允许“不可见”和“无法判定”,因为刘海、口罩、侧脸和过曝会改变可观察范围。对于视频,情绪状态、微表情、步态、上肢和下肢动作、头部姿态、语言特征及呼吸状态都应以事件表或时间序列交付,保留片段编号和时间起止,而不是仅保留整段视频的单一结论。
文本标签同样需要颗粒度。实体可以包括症状、体征、病种、证候、治法和方药;关系可以描述症状与证候的对应、复诊中的变化,以及医案内明确写出的观察依据。模型输出应注明这是信息抽取、表型识别、证候分类还是多轮问答。2026 年的 TongueVLM 研究已经把舌图像和中医文本问答作为独立的多模态任务,同时也承认其数据只覆盖舌图像和文本,尚不能代表完整的望、闻、问、切信息系统;研究者还指出图像环境多样性、专业标签和客观评价仍是限制。6 这提醒项目方:增加视频并不等于自动完成“四诊合参”,每增加一种模态,就增加一套采集、标签和外部验证责任。
公开研究可以为标签设计提供参照,但不能直接替代本项目的规范。TonguExpert 论文展示了从舌体分割、反光点处理、舌苔分离到全局和局部表型提取的流水线,并使用人工标签与独立数据进行检验。2 其价值在于说明细粒度表型可以被组织成可复用的特征层,而不是证明任何一套标签在所有病种和设备上都成立。源需求若包含舌面、舌底、面部和动态行为,建议把每个模态的标签本体、采样单位、缺失状态和输出格式分别冻结,再通过同例键在上层关联。
质量控制要前置到模型之前
图像质量不能只在交付末尾抽查。光照、曝光、颜色偏移、拍摄角度、舌体伸展、面部遮挡和美颜会同时影响专家判断与算法输出。2022 年的一项舌图像研究将多任务网络用于舌体分割和质量评价,并由多名中医专业人员独立评估、对不一致结果进行共识处理;研究还明确指出,采集条件和处理方法缺乏统一标准会限制泛化。4 2024 年的另一项研究把面部和舌象图像质量分成多种不合格状态,用 ResNet34 进行质量筛选,报告了特定测试集上的高准确率。3 这些是具体研究设置下的结果,不是通用验收阈值,更不能转换为项目承诺。
工程上可把质量控制拆成两层。第一层是客观或半客观闸门,检查文件能否解码、分辨率、帧率、时长、方向、模糊、过曝、欠曝、抖动、遮挡、滤镜和音频可用性。第二层是面向任务的适用性判断,例如舌根是否看清、舌下脉络是否达到可标注程度、面部区域是否完整、视频是否真的包含可评价的步行或自然表情。第一层可以自动筛选,第二层仍需专业复核。质量标签应与重采、隔离、保留但标记、进入训练等处置动作绑定,避免只留下一个“合格/不合格”字段而无法回溯原因。
对于彩色舌象,设备和光照是重要混杂因素。应保存设备型号、软件版本、采集环境、色彩校正方式和原始文件哈希;若做颜色标准化,需记录算法版本与是否可能改变舌苔边界。对于视频,要保存编码格式、帧率、音频采样信息和时间轴转换方式。训练数据中的增强可以模拟部分变化,但不能替代真实外部设备和真实采集环境。图像质量模型也不应在目标任务的测试集上反复调参,否则质量闸门本身就会发生数据泄漏。
模型路线:先分模态,再验证融合增益
更稳妥的路线是先为每种模态建立可解释的基线,再逐步融合。图像侧可先做质量筛选、舌体或面部区域分割、局部目标检测和属性分类;文本侧可做字段解析、实体关系抽取和证据片段定位;视频侧可做关键帧、时间段、姿态或语音事件的检测。对同一任务,应先报告单模态表现,再比较晚期融合、特征融合或跨模态注意力是否真正带来增益。缺失模态要有明确策略,例如保留缺失掩码、使用单模态回退或把该样本排除在某个任务之外,不能默认所有记录都完整。
舌面与面部融合已有近期研究作为方法学参照。2026 年一项科学报告研究使用配对舌面和面部图像,分别完成舌体分割与面部标准化,再采用双分支网络、消融实验、分层交叉验证和独立测试集分析双模态增益。5 这类设计说明“配对”必须落实到样本级,并且要有单模态基线和独立测试;但该研究针对的是特定心血管筛查任务,研究性能不等于临床效果,也不能证明视频情绪、步态或呼吸标签在其他病种上可直接迁移。
对于源需求中的疾病与证候多标签任务,建议采用层级或多任务输出:一层描述可见表型,一层描述中医证候,一层在有明确参考标准时评估疾病分类。这样可以把“模型看到了什么”和“研究者希望预测什么”分开。任何从图像推断病种的任务都要定义参考标准、时间窗口和纳排条件;任何从视频推断情绪或呼吸状态的任务都要规定观察者、事件定义和音视频可用条件。Grad-CAM 或其他可解释性图只能展示模型关注区域,不能单独证明该区域具有病理因果意义。
专家标注不是一道签字手续
标注团队首先需要按任务分工。基础标注者可负责文件级质检、字段录入和初始区域勾画;具有相关专业训练的复核者负责舌象、面部区域、证候或视频事件;独立仲裁者处理难例和规则冲突。源需求中出现的专家荣誉或专家层级,可以转译为“按病种和任务确认具有相应资质与经验的标注和审核角色”,而不应公开成特定人员名单,也不应据此推断已经配置了固定专家团队。
开始标注前要做小规模试标,统计哪些标签最容易分歧。规范应给出正例、反例、边界案例和不可判定案例,并说明“未见”“未拍到”“图像不合格”“信息缺失”四者的区别。舌苔剥落、裂纹、瘀点和舌下脉络等边界对象,不能只给一张理想示例;动态视频还要规定事件发生在边界帧时如何取起止点。每次规则修改都要带版本号,受影响样本要按变更范围回查。
一致性指标要与任务相匹配。分类可报告多标注者一致性,区域勾画可报告重叠和边界误差,连续评分可用组内相关,时间事件则应报告区间重叠、起止误差和漏检类型。指标的作用是发现规范和训练问题,而不是给项目盖一枚“准确率合格”的章。对分歧进行强行多数投票也不总是合理:如果争议来自标签本体不清,应先修改定义;如果争议本身反映医学观察的不确定性,则应保留不确定标签或软标签。
划分、偏差与外部验证必须写进验收
同一研究对象的文本、面部图、舌面图、舌底图、视频和复诊资料必须整体进入同一个训练、验证或测试分区。按图片随机切分会让同一个人的不同视角出现在不同分区,模型可能通过身份、拍摄背景或设备特征泄漏。多中心或多设备项目还应进行来源分层,至少记录采集地点类别、设备、光照、年龄性别结构、肤色或面部可见性、病种和证候分布。不能只保留清晰、典型和阳性的样本,再用一个看似平衡的测试集宣称泛化。
STARD-AI 将数据集和参与者纳排条件、数据来源与采集方式、标签过程、设备和软件版本、预处理、训练验证测试划分以及测试集代表性列为诊断准确性研究的重要报告项。7 CLAIM 2024 更新也要求说明参考标准的选择与局限、标注者数量和资质、标注说明、标注者间和标注者内差异、按何种层级划分数据、内部与外部测试、统计不确定性和失败案例。8 对本类中医多模态项目而言,这些不是投稿阶段才补的文字,而应在采购规格和交付清单中提前出现。
验收指标应按任务写。图像质量分类要报告混淆矩阵和各类召回,舌体或局部区域分割要报告重叠与边界质量,属性分类要关注类别不平衡和置信度校准,视频事件要报告事件级识别与时间定位,文本抽取要区分实体边界和关系正确性。若目标是疾病或证候预测,还应报告置信区间、校准、亚组表现和错误案例;如果只有内部随机测试而无外部来源测试,就要把这一限制写进交付数据卡。模型在研究数据上的高分不应被表述为诊断率或疗效,也不构成监管批准。
图2 从任务定义、专家一致性到按对象划分和外部测试的质量闭环;不表示真实队列、性能曲线或临床结论。
交付和业务逻辑要能落地
一个可执行的项目不应把数据采集、专家标注、平台使用、模型训练和临床部署写成单一“数据集”商品。建议至少分为需求澄清、脱敏入库、样例试标、规范冻结、批量标注、盲审仲裁、数据导出和独立评价几条线。每一条线都要有输入、输出、责任角色和回修条件。小批试点先验证同例关联、缺失编码、时间轴、标签格式、导出文件和下游读取,再决定是否放大规模;文件数量不能替代质量证据。
交付物应包括数据卡、字段字典、标签本体、采集与授权范围说明、设备和软件版本、样本分区、专家资质类别、质检统计、争议记录、回修清单、变更日志和脱敏核查记录。若后续新增病种、新模态、新设备或新的临床终点,应视为变更请求,而不是把已有验收结果平移过去。尤其是语音、呼吸和表情等内容,可能涉及额外的隐私和伦理审查,不能因为与视频同属一个文件就自动获得相同的使用边界。
结合已核验的公司范围,朗慧可在明确书面规格、样例检查、试标和质量记录的前提下,按数据基础设施、医学数据目录匹配、项目规格、数据卡和版本化交付等定位参与评估。公开能力边界并不证明已有某个中医多模态数据集现货,也不证明固定的专家规模、样本库存、算法性能或临床效果。若项目同时需要标注平台、专家服务和下游建模,应分别确认软件、人工服务、数据授权、接口部署和研究评价,避免把平台能力误写成已经完成的数据或医学结论。
结语:把“多模态”变成可审计的研究对象
这类中医数据需求的研发价值不在于把更多文件堆进模型,而在于把同一研究记录中的观察对象、时间关系、标签语义和质量状态连接起来。文本应可追溯到证据片段,舌面和舌底应可追溯到具体视角,面部区域应区分可见性与理论解释,视频事件应可追溯到时间区间,疾病和证候应有各自参考标准。只有在这些关系被冻结后,融合模型的增益、专家一致性和外部泛化才具有可解释的意义。
因此,合格的验收终点应是一个可复核的数据与研究包,而不是“覆盖了多少病种”或“训练出了多高准确率”。它应能回答数据从哪里来、谁在什么规范下标了什么、同一对象如何避免泄漏、哪些样本被重采或隔离、模型在哪些来源和亚组失败,以及下一版规则改变了什么。这样的脱敏技术规格既能承接中医望诊研究的真实复杂性,也能让后续算法、临床研究和数据采购在同一套证据链上协作。
参考来源
- Global traditional medicine strategy 2025–2034
- TonguExpert: A Deep Learning-Based Algorithm Platform for Fine-Grained Extraction and Classification of Tongue Phenotypes
- Intelligent quality control of traditional Chinese medical tongue diagnosis images based on deep learning
- Automatic tongue image quality assessment using a multi-task deep learning network
- Explainable multimodal deep learning fusion of tongue and facial images for noninvasive coronary heart disease screening
- Application of a Large Visual Language Model on Tongue Image for Traditional Chinese Medicine Diagnosis: Development and Validation Study
- The STARD-AI reporting guideline for diagnostic accuracy studies using artificial intelligence
- Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update

