跳至正文
朗慧科技

MEDICAL DATA RESEARCH

把舌诊术语变成可复核的数据标签:舌面与舌下脉络视觉AI的设计要点

围绕舌面12个维度42个标签与舌下脉络3个维度11个标签,本文拆解视觉表型、区域与几何测量、不可判定状态、专家复核、受检者级划分及外部验证,帮助医疗AI研发团队把舌诊数据做成可复核、可审计的研究资产,不替代诊断或辨证。

临床文本与纵向多模态AI辅助整理 · 研发交流

传统舌诊要进入计算机视觉研究,真正的难点并不是把一张舌头照片交给分类器,而是先回答一个更基础的问题:同一处颜色、苔质或脉络变化,怎样被不同标注者稳定地识别、记录并在新设备和新来源的数据上复核?如果“花剥苔”“光剥苔”“染色苔”只作为自然语言描述,模型学到的可能是拍摄光线、饮食残留或标注者习惯,而不是可重复的视觉特征。近期综述也把图像采集、预处理、数据集构建、特征提取和疾病检测视为连续链路,并将标准化和定量化列为舌图像分析走向临床支持的关键挑战。1

本文讨论一类可匿名化的技术需求:围绕舌面和舌下脉络建立结构化视觉标签,服务于中医视觉数据研究、特征提取和模型评估。需求本身不等同于疾病诊断,也不应把标签直接转换为处方或个体化医疗建议。更稳妥的做法是将“看到了什么”与“如何辨证”分开。前者是可以被复核的视觉表型,后者需要由合格医生结合望、闻、问、切及病史作出判断。数据集可以支持前者的自动化研究,但不能仅凭一张图像宣称完成后者。

先固定任务边界:53个标签不是一个诊断结论

源需求把任务拆成舌面12个维度、42个标签,以及舌下脉络3个维度、11个标签。舌面部分包含剥苔、苔色、苔腻腐、苔薄厚、苔润燥、舌形状、舌质色、点刺、裂纹、齿痕、老嫩舌和舌神。舌下部分包含脉络长度、脉络颜色和脉络形态。这个结构比单一“舌象分类”更接近实际数据工程,因为它把颜色、纹理、形状、局部结构和可见性拆成了不同字段。

这53个标签不能简单地当作53个互相独立的类别。剥苔中的“无剥离、花剥苔、光剥苔、类剥苔、鸡心舌”是同一维度内的候选状态;苔色中的淡白、白、黄、黑和染色苔也具有互斥关系,但不同维度之间可以同时成立。例如一张图像可能同时是厚苔、黄苔和腻苔,也可能因光照、反光或外源着色而无法可靠判定。数据字典应明确每一维是单选、多选、连续测量还是“不可判定”,不能把“没有观察到”与“图像无法观察”混成同一个零值。

舌质色的定义还包含空间信息:舌尖红是局部颜色标签,而淡白舌、红舌、绛舌和紫舌可以描述全舌或主要区域。点刺、裂纹和齿痕也不是纯粹的整图分类,它们涉及数量、位置、面积或形态。若只保留图像级标签,后续模型很难解释“哪里导致了标签”。因此建议同时保留区域级坐标或分割掩膜;在暂时无法精确勾画时,也至少保存舌尖、舌中、舌边、舌根等预先约定的区域索引,并记录区域是否被遮挡。

舌下脉络更不能与舌面标签混为一谈。需求中的长度规则以舌下肉阜至舌尖的连线为参照,正常长度不超过该参照距离的五分之三,超过则进入“较长”类别。这类比例标签依赖基准点和拍摄姿态,不能把像素长度直接当作生理长度。脉络颜色分为淡红、淡紫或浅蓝紫、青紫或蓝紫、紫暗或暗紫、青黑或紫黑;脉络形态则区分细直、粗张、怒张和瘀斑。每次标注都应保留参照点、可见脉络范围和测量状态,否则比例规则无法被第三方重算。

舌诊结构化标签的分层关系与边界查看完整技术图(可放大)

图1|技术示意:将舌面表型、舌下脉络测量和辨证解释分层,避免把视觉标签直接等同于临床诊断。图中关系用于数据设计,不表示真实患者、已完成实验或临床结论。

输入设计决定模型能否学到可迁移的特征

舌面与舌下脉络应当视为相关但不同的输入模态。舌面图像主要承载舌质色、舌苔覆盖、裂纹、点刺、齿痕和舌体形态;舌下图像需要更好地呈现脉络的走行、管径、颜色和边界。两者若由不同角度或不同设备采集,必须用样本级标识关联,而不能在文件名中依赖人工猜测。源需求没有提供设备型号、光源、色温、拍摄距离、分辨率、白平衡、是否同一受检者多时间点等采集字段,这些应在试采前补齐,而不是在模型训练后用算法补救。

已有研究说明,采集条件会直接改变标签的可见性。一个多标签舌象研究使用统一的舌诊设备、标准D50光源和固定色温,并让10名中医专家在统一显示条件下筛选和确认标签;其研究对象包含裂纹、齿痕、点刺、瘀滞、腻苔、剥苔和腐苔等视觉类别。2这类设置有助于减少颜色漂移,但它的训练、验证和测试划分仍属于单一研究数据环境,不能自动证明跨设备泛化。另有移动端研究把舌下图像纳入数据集,指出手机图像质量和数量会影响特征提取;轻量模型适合部署探索,却不能替代对采集标准和外部数据的验证。5

因此,数据入库至少应保留原始图像、设备和软件版本、采集时间、光源或色卡信息、拍摄方向、舌面/舌下模态、裁剪与增强记录、遮挡和反光标记。脱敏应覆盖文件元数据、可见的脸部或口腔外信息,以及可能携带身份的图像边缘。对外只交付研究所需字段,不保留能反推出个人、机构或项目来源的内部标识。对于外源染色,不能仅依据颜色深浅判断。应增加“疑似食物、饮品、药物或局部残留”的观察字段,并允许标注者给出“无法排除”,在分析时作为独立质量层,而不是强制归入白、黄或黑苔。

数据的颗粒度也应提前决定。单张舌面图像是图像级样本;舌苔、裂纹和点刺是区域级或实例级目标;脉络长度与颜色是结构级测量;舌面与舌下图像的配对则是检查级样本。如果同一人的多张图像被随机分到训练集和测试集,模型可能记住个体纹理、设备或拍摄习惯,造成信息泄漏。医学影像AI的通用检查清单明确建议在患者或更高层级保持划分互斥,并报告划分比例、类不平衡和测试集设计理由。6

标注方案:把“看到的表型”与“解释的证候”分开

源需求的辨证逻辑被注明为参考,实际由医生填写。这一边界非常重要。数据团队可以依据已确认的视觉定义建立标注界面,但不应把“花剥苔对应某类气阴状态”自动写成模型真值。视觉标注的主任务是记录表型,医生的辨证记录属于另一个层次,必须有独立字段、独立授权和独立复核流程。如果研究目标是辨证模型,还需要重新定义目标人群、临床参考标准和完整四诊信息,不能从舌面标签直接推导。

标注协议应把每个维度改写为可执行的判定规则。以剥苔为例,需要说明“裸露区”的最小可见范围、边界是否清楚、残留苔质如何处理,以及多处剥脱是否必须达到某种分布才进入花剥苔。以舌质色为例,需要规定观察的是舌体肉质而非苔面,如何处理反光、曝光不足和局部阴影,舌尖红与全舌红能否并存。以裂纹为例,生理性浅纹、深沟、分叉网状结构和被反光遮挡的纹理应有示例。以齿痕为例,要区分自然边缘起伏、牙齿压痕和舌体伸展不充分造成的假象。

舌下脉络的标注需要一份独立的几何协议。标注者应先标出舌下肉阜和可用的舌尖参照,再勾画可见脉络或其中心线,最后记录长度比例是否可测。若图像只拍到部分舌下区域、舌体姿势偏斜、反光覆盖脉络或颜色无法区分,就应进入不可判定,而不是由标注者凭经验补齐。脉络颜色与形态可以并存,且颜色受黏膜厚度、光源和曝光影响,标注界面应支持“颜色可信度”和“形态可信度”分别记录。

专家配置不能只写“由专家审核”。建议设定经过同一份术语手册和示例集培训的初标人员,由至少两名具备中医舌诊经验的专业人员独立完成关键字段;对争议样本由更高资历的中医专家盲审,并保留原始分歧、最终结论和修改原因。2025年的一项舌图像研究采用两位中医从业者独立标注、资深教授处理分歧的三人质控机制;另一项多标签研究用专家筛选和复核排除不一致样本。3这些做法可以作为流程参考,但不能把论文中的专家配置直接宣称为本项目的现货能力。

一致性评价要按标签类型选择指标。互斥分类可报告类别级一致率、Cohen或Fleiss kappa,并给出置信区间;多标签可报告逐标签的F1、宏平均与微平均,但标签稀有时还要报告阳性样本数和漏标情况;区域分割需要Dice、IoU或边界误差;脉络长度则需要绝对误差、比例误差及重复测量一致性。若一个标签的低频导致kappa受边际分布影响,应同时呈现原始一致率和混淆矩阵,不能只挑选一个看起来较高的综合分数。

算法路线:先做质量门,再做多任务学习

这类数据不宜直接把整张图输入单一分类器。较稳妥的路线是先建立图像质量门:检查模态、完整性、清晰度、曝光、白平衡、反光、遮挡、舌面或舌下区域是否足够,以及是否存在外源着色疑点。质量门输出可用、需复核和不可用三态,并保留具体原因。这样做不是为了把难例删除,而是为了将“模型没有看到”与“模型判断为阴性”区分开来。质量失败样本应进入独立的鲁棒性评估,避免训练集只留下清晰、典型和容易分类的图像。

第二阶段是舌体和舌下区域定位。舌面可以先分割舌体,再生成舌尖、舌中、舌边和舌根等分析区域;裂纹、点刺、瘀斑和齿痕适合在区域或实例层面检测。舌苔颜色、厚薄、润燥和腻腐可以采用多任务分类与局部纹理特征结合的路线,但必须避免在增强过程中改变颜色语义。舌下脉络则应优先解决边界分割、中心线提取和参照点定位,再计算长度比例、管径和颜色。早期研究已经提出针对可见对比和低对比舌下图像的不同分割方法,并对脉络宽度和色彩进行量化;其结果说明技术可行性并不等于跨设备、跨人群的临床有效性。4

多任务模型可以共享低层视觉特征,同时为不同维度设置独立输出头:颜色头、苔质头、形态头、局部病灶头、脉络几何头和不可判定头。对于标签之间存在层级关系的情况,可在损失函数中加入约束,例如舌下长度比例必须基于可用参照点,染色苔应保留外源着色标记,舌尖红不能被迫解释为全舌红。训练时要关注标签共现和类别不平衡,不能只用总体准确率。稀有的紫黑脉络、鸡心舌或枯舌可能对宏平均影响很大,也可能因样本少而产生不稳定估计。

如果后续要做多模态融合,应先完成单模态基线,再比较早期融合、晚期融合或跨模态注意力的增益。舌面图像和舌下图像缺失率可能不同,模型必须能在只有舌面、只有舌下或两者配对时给出明确的输入状态。不能把缺失模态静默填充成“正常”。同样,专家辨证文本如果被纳入视觉语言模型训练,需要单独说明文本来源、授权、脱敏和标签泄漏风险。对于只有表型标签的数据,模型输出应限于表型,不应生成未经验证的证候或疾病结论。

验收不是一个总准确率:建立分层、可追溯的质量门

交付验收应至少分为数据完整性、标签一致性、几何可重算性、模型性能和外部验证五层。数据完整性检查样本是否包含规定模态、原始图像是否可读、元数据是否齐全、脱敏是否通过、重复样本和近重复样本是否清除。标签一致性检查每个维度的字段约束、互斥/并存关系、不可判定原因和分歧记录。几何验收检查舌下脉络参照点、中心线、长度比例和测量单位能否从交付文件重算。

模型验收要按标签和场景展开。对互斥类别报告每类的敏感度、特异度、精确率、召回率、F1和混淆矩阵;对多标签报告每个标签及宏/微平均;对分割报告Dice或IoU并按图像质量分层;对长度比例报告误差分布和重复测量一致性。每项指标都应给出测试集样本数和不确定性区间,不能只给一个汇总数字。模型失败分析要覆盖反光、低照度、色偏、遮挡、外源着色、低对比脉络和标签边界不清的样本。

内部测试和外部测试必须分开。内部测试可用于确认模型是否学会了既定标签;外部测试应来自未参与标注规则制定的新来源,并尽量包含不同设备、光源、拍摄姿态和人群结构。若无法取得真正外部数据,应如实写明缺失,而不是用随机切分替代。CLAIM 2024更新强调了参考标准、标注者资质、测试集标注、标注者间变异、数据分区和外部测试的可复现报告要求。6STARD-AI进一步要求交代数据来源、设备和软件版本、采集及预处理、训练/验证/测试用途、测试集代表性以及外部审计或评估。7这些条目可以转化为项目的数据卡和验收记录。

在舌诊研究中,参考标准本身也需要透明。若目标只是视觉表型,参考标准可以是按术语手册完成的专家共识标签;若目标是证候或疾病关联,则不能把单一专家意见视为无误真值,应说明四诊资料、临床诊断、随访或其他依据,以及参考标准可能存在的偏差。近期一项以舌图像预测五脏状态的研究使用4645张图像,由三位中医从业者结合就诊资料和四诊信息形成标签共识,并采用固定的训练、验证和测试集;作者也报告了不同目标标签之间的样本不平衡。3这项研究可提示“视觉输入—综合参考标准”的方法路线,但其标签并不是本需求的纯视觉表型真值,研究结果也不应被移植为本需求的临床效果,更不能替代跨中心验证。

业务交付:用小规模试标验证规格,而不是先承诺大库存

对于数据服务项目,最有价值的第一步通常不是承诺一个未经核验的库存规模,而是把53个标签中最容易产生歧义的字段做成小规模试标。试标应覆盖典型、边界、低质量和不可判定样本,优先检查染色苔与黄苔、花剥苔与类剥苔、裂纹与自然纹理、齿痕与边缘起伏、粗张与怒张脉络等相邻类别。试标结束后,双方确认术语、示例、字段关系、复核机制、回修规则和验收指标,再决定是否扩大数据范围。

交付包应同时包含数据字典、标签本体、标注指南、示例集、质量记录、版本号、修订日志、训练/验证/测试划分说明和可重算的测量字段。若存在未解决的标签争议,应在数据卡中标记,而不是在最终文件中强行给出一个确定类别。对于同一受检者的纵向图像,是否允许进入纵向研究、是否需要时间间隔字段、是否需要保持检查级隔离,都应在规格中书面确认。这样才能把一次性标注交付转成可以复用和审计的数据资产。

已核验的企业能力边界适合支持项目规格梳理、样例评估、标注流程、质量记录、版本管理和数据交付等工作;这并不等于该企业已经拥有本需求的现货数据、固定专家配置或临床验证结果。实际授权范围、可用样本、专家角色、交付周期和验收阈值仍需通过项目书面确认。公共数据集也只能作为方法对照,不能替代目标任务的授权与外部验证。例如2026年发布的TMC-Tongue数据集公开了20类舌象目标及训练、验证和测试划分,具有研究复现实用价值,但其发布页将数据描述为设备采集并按医生意见标注,不能据此推断其已完成临床诊断验证。8

从研发价值看,这项需求的关键产出不是一个宣称“能辨证”的黑箱,而是一套可追溯的视觉表型层。它能让研究团队分别回答:图像是否可用,舌面或舌下区域是否被正确定位,哪个标签由哪些视觉证据支持,哪些样本存在专家分歧,模型在什么设备和人群上失效,以及改版后标签是否保持可比。只有这些问题都有记录,后续的分类、分割、多模态融合或知识推理才有可解释的输入。

舌诊视觉AI的下一步不应是把更多传统术语堆进标签表,而是逐项验证定义能否被稳定观察、能否被可靠标注、能否在独立来源上复核。把舌面42个标签和舌下11个标签做成层级化、带不确定性的标注体系,并以设备、光照、区域、参考标准和外部验证为约束,才能让中医视觉数据从“可读的描述”走向“可计算、可审计、可迭代的研究基础”。

舌诊数据从采集到独立验收的闭环查看完整技术图(可放大)

图2|技术示意:从双模态采集、质量门和专家标注,到按受检者隔离的数据划分、分层验收与外部验证。图中流程用于研发规划,不表示真实患者数据、已完成实验或临床诊断。

参考来源

  1. Computerized tongue image analysis for non-invasive disease screening: a review
  2. Deep Learning Multi-label Tongue Image Analysis and Its Application in Disease Diagnosis
  3. Visceral condition assessment through digital tongue image analysis
  4. Computerized feature quantification of sublingual veins from color tongue images
  5. A novel tongue feature extraction method on mobile devices
  6. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update
  7. The STARD-AI reporting guideline for diagnostic accuracy studies using artificial intelligence
  8. TMC-Tongue: A standardized tongue image dataset with pathological annotations for AI-assisted TCM diagnosis