跳至正文
朗慧科技

MEDICAL DATA RESEARCH

中医视觉数据的难点不在“多标几类”:舌面、舌底与面部任务如何独立验收

面向医疗AI研发团队,拆解整脸、舌面、舌底与图像质量门控的输入、标签、专家复核、数据切分和外部验证,说明如何把中医视觉标注写成可回溯、可验收的数据规格。

临床文本与纵向多模态AI辅助整理 · 研发交流

同一组望诊图像,究竟是在训练一个舌象分类器,还是在构建一套能够被复核、回溯和外部验证的数据资产?这是中医视觉项目最容易被低估的技术问题。整脸、舌面、舌底和局部面部图像虽然都属于可见光视觉数据,但它们面对的解剖对象、成像条件、标签语义和输出颗粒度并不相同。若把这些任务合并成一个“中医视觉标注”包,再用一个笼统的准确率验收,模型很可能学到的是拍摄距离、灯光、裁剪方式或标注者习惯,而不是可解释的视觉特征。

因此,需求分析的第一步不是先问能标多少张,而是把临床研究问题拆成输入模态、解剖部位或观察对象、输出字段、空间颗粒度、标注主体和质量门槛。本文把一类中医视觉需求改写为可匿名复用的技术问题,重点讨论面部皮肤检测、舌面分类、舌底分类、面诊分类和图像质量评估五条数据链路。这里的分类标签用于说明数据工程与模型研发,不构成对任何个人的诊断、筛查、风险预测或治疗建议。

一、五类任务必须分开建模

最先应拆开的,是“图像是否可用”和“图像呈现了什么”。图像质量评估是上游门控任务,诊断或特征标签是下游观察任务。研究已经显示,舌诊采集设备可能得到舌体未充分伸出、面部未完整入镜或主体难以辨认的图像;有研究专门用深度学习判断图像是否合格并返回不合格原因,说明质量控制不是清洗阶段的附属动作,而是应被单独标注和单独验收的任务。1

面部皮肤检测的输入是整脸图,但输出不应只有一个“皮肤正常/异常”。更可复用的结构是先建立面部分区,再在区域级记录形态、纹路与表面状态。形态可以是互斥的区域标签,纹路可以是区域多标签;丘疹、疱疹、色斑、痣等可见皮损则属于实例级对象,至少需要类别和边界框,边界清楚且研究问题确有需要时再增加像素掩膜。一个区域同时存在多种纹路或多个皮损实例时,数据结构必须允许多值和多对象,而不能把它们压成单一标签。

质地类标签尤其容易在规则上自相矛盾。与其直接要求专家从“干燥、油腻、明润、晦暗”等词中选择最终答案,不如把光泽和水油状态拆成两个子任务,并在规则层定义哪些组合是允许的、哪些组合应回到“不确定”或“不可判断”。这样既能保留观察依据,也能防止后处理把互相冲突的标签强行拼成一个看似完整的结论。皮肤检测的最小交付对象,应包括图像标识、面部或区域框、区域标签、皮损实例、遮挡或不可判断状态,以及标注和复核版本。

舌面图像的任务颗粒度不同。它通常以整张舌面图或已裁剪的舌体图为输入,对舌色、老嫩、胖瘦、点刺、瘀点、齿痕、裂纹、苔色、薄厚、润燥、腻腐、剥落、偏全、真假、软硬、正斜、长短和津液等观察项分别给出类别。这里不是一个简单的单标签分类,而是“多观察项、每项一个取值”的结构化输出;某些项还具有二元或多类属性。字段设计应把“无法判断”“图像不合格”和“争议待复核”保留下来,避免把看不清误写成阴性,把缺失误写成正常。

舌底图像又是一个独立模态。翻舌后可见的舌下区域需要对舌下脉络的长度、粗细、怒张、歪曲、增生、瘀点、色泽和小血络状态分别记录。研究中曾将舌下静脉按可见程度、分支和变形程度分级,再由多名中医专家独立评分并检查一致性;这说明舌底标签不应直接从舌面标签表复制,也不应把复杂的形态等级压缩为一个“有/无”。6 如果后续需要定位脉络或计算几何量,应在分类字段之外增加舌底 ROI、脉络实例或分割掩膜,并明确边界不清时的处理方式。

面诊分类使用整脸图,但模型输出挂在不同局部区域:面色属于面部整体或规定区域,唇色属于唇部,眼袋和眼圈分别属于左右眼下或眼周区域。面色若需要置信分,置信分应作为模型或复核系统的连续输出,不应被误当作专家标签本身。妆容、滤镜、口罩、眼镜反光、表情、阴影和白平衡都会改变颜色与形态判断;因此面诊任务既需要类别标签,也需要局部遮挡、光照异常和可判断范围的元数据。

质量评估应覆盖整脸图、舌面图、舌底图以及非目标图像。对于面图,至少要区分未检测到人脸、人脸过小、光照不足或过曝、模糊、大面积遮挡、局部遮挡和表情异常;对于舌图,还要区分未检测到舌体、舌体露出不足、动作不规范、长度或角度不满足要求、模糊和光照异常。输出可以包括 quality_passed、reason、主体框和裁剪结果,但必须规定一个样本可同时拥有多个不合格原因,还是只保留首要原因。这个选择会直接影响质量模型的多标签设计和后续返工逻辑。

五类中医视觉任务的输入、标签与质检分层示意查看完整技术图(可放大)

图1|技术示意:不同输入模态对应不同解剖对象、输出颗粒度与质量门控;不表示真实患者、已完成实验或临床诊断。

从质量门控到外部验证的中医视觉数据闭环示意查看完整技术图(可放大)

图2|技术示意:质量失败、专家复核、对象级切分与独立验证的关系;不表示真实患者、已完成实验或临床诊断。

二、数据字典要先于模型选型

一条可训练记录不能只有图片路径和几个类别。建议在不保存可识别身份的前提下,建立分层数据字典:影像层记录匿名样本键、模态、采集设备或光照条件的研究字段、原始图与裁剪图的关系;观察层记录任务名称、区域或实例 ID、标签值、不可判断状态和标注依据;治理层记录标注指南版本、标注者角色、复核者角色、分歧状态、修改原因和交付版本。若同一受试者有多次采集或多个模态,应使用不可逆的研究级关联键来表达配对关系,而不在训练表中写入姓名、身份标识、机构或联系方式。

五类任务可以共用样本主键,却不应共用一张扁平标签表。面部皮肤检测需要区域和实例层,舌面与舌底偏向图像级多字段,面诊需要图像级记录加局部区域语义,质量评估需要原因集合与主体框。将它们分表或采用带任务类型的统一 schema,能使同一张整脸图在质量门控失败时阻止下游训练,同时保留它为何失败;也能在只研究舌底时不被舌面字段的空值和类别分布干扰。

采集条件是数据设计的一部分,而不是交付后的备注。舌图研究采用固定采集硬件、下颌定位和颜色校正,将采集、舌体分割与特征评估置于连续流程中;综述也强调设备、光源、色卡、姿态、遮挡和曝光会影响后续分析。3 这些做法并不能直接变成所有项目的统一标准,却说明在需求阶段应决定是否记录光源、相机、色卡、拍摄姿态、进食间隔和重拍原因。

切分策略同样需要进入数据字典和验收方案。若同一受试者的多张图、同一时段的重复图或同一舌体的不同裁剪被随机分到训练集和测试集,模型可能通过背景或个体特征获得虚高结果。面部与舌面任务尤其应优先按研究对象划分;涉及纵向采集时,应按对象和时间窗共同划分。质量门控模型的负例也要来自真实失败模式,而不只是人为加黑、模糊或旋转的合成扰动,否则上线后可能遇到未覆盖的遮挡、镜面反光和非目标主体。

三、算法路线应与标签颗粒度对齐

建议先做质量门控,再进入主体检测和特征识别。第一阶段可以用人脸、舌体和舌底 ROI 检测配合图像级质量分类,输出是否进入下游流程以及可解释的失败原因。第二阶段对面部进行关键点和区域裁剪,对舌面和舌底进行主体分割或几何归一化;第三阶段按任务选择分类、检测或分割模型。质量门控的目标是筛掉不可判断样本,不是替下游任务完成诊断判断,因此它的误报和漏报都要分别记录。

面部皮肤检测适合采用层级路线:先检测人脸并建立稳定分区,再用区域分类器处理形态与纹路,最后用实例检测或分割模型处理皮损。区域边界可以由关键点、模板或人工修正共同确定,但必须记录是自动生成还是人工修改。检测框和掩膜不可互相冒充:框适合快速描述实例存在与粗位置,掩膜适合边界和面积是研究变量的场景。若皮损在低分辨率、遮挡或反光下无法可靠定位,应保留“不确定”或“不纳入该子任务”,而不是要求标注者猜测。

舌面与面诊的多字段输出可以使用共享视觉编码器加任务头,但每个任务头应有独立的类别字典、缺失策略和损失权重。颜色项、纹理项、形态项与结构性二元项的难度并不一样;把所有字段拼成一个大类别会放大稀有组合问题,也会让一个字段的错误掩盖其他字段的错误。更稳妥的做法是分字段评估,保留字段级置信度和不确定性,并对类别极不均衡的项使用分层采样或代价敏感训练,同时在报告中展示每类支持度。

舌底任务需要在颜色和几何之间保持边界意识。舌下图像常受翻舌幅度、牙齿或胡须遮挡、手机闪光和局部反光影响;如果研究问题只需要等级分类,可以先固定 ROI、建立等级定义并做多专家复核;如果需要长度、粗细、歪曲或增生的可计算量,则应把脉络的空间表达纳入标签。舌下静脉严重度研究采用多专家独立评分、再将分级映射到二分类进行机器学习,这类做法提示“原始等级”和“研究派生标签”应并列存储,不能只留下最终二分类。6

近期研究也展示了几种可借鉴但不能照搬的路线。舌特征数据集研究以矩形标注裂纹、齿痕和不同苔质,并使用目标检测来定位特征;它的价值在于说明空间标签比单纯图像级描述更能支持误差复核,但单一数据来源和特定标注方案不能直接推导到所有舌象任务。2 TonguExpert 则把颜色、裂纹、齿痕和局部特征组织为细粒度表型,并报告了外部数据上的泛化实验;这说明统一特征本体有助于复用,但外部数据的成像条件、标签定义和人群分布仍需逐项核对。5

四、专家标注不是“三级签字”这么简单

标注主体首先要与任务匹配。面部皮肤形态和皮损需要具备相应皮肤观察经验的医学专家或经过项目校准的标注员;舌面、舌底和面诊字段需要熟悉项目定义的中医专业人员;质量门控可以由受训质检人员执行,但边界样本和规则争议仍应由专业复核者处理。公司或外包团队是否有可用专家、可用规模和可交付排期,不能从本需求本身推断,必须在项目评估和书面确认后确定。

指南应以正例、反例、边界例和不可判断例组成,而不是只列类别名称。对“明润/晦暗”“腻苔/腐苔”“正常/异常”等主观性高的字段,应说明观察窗口、遮挡处理、光照不足时是否停标、同一图像多种表现如何并存,以及何时转入争议复核。指南每次修改都需要带版本号和变更原因,历史标签不能静默覆盖;若类别被合并或拆分,应保留映射关系,便于追踪模型性能变化来自数据规则还是算法更新。

推荐采用独立初标、盲法复核、分歧复议和抽样回溯相结合的流程。初标者不应看到另一位标注者的结果;复核者应能访问原图、局部放大、标签定义和必要的元数据,但不应被模型建议牵着走。对于舌底等级或质地组合等高争议字段,可先让多名专家独立评分,再按预先规定的规则形成共识。研究中使用 Cohen κ 或 Fleiss κ 等一致性指标是有条件的:它们只反映特定样本、类别分布和协议下的相符程度,不能替代对难例、缺失和系统性偏差的审计。6

质量报告应同时保存总体一致性和分层一致性,例如按模态、设备、光照、区域、类别频次、遮挡和难例类型观察分歧。只报一个“准确率”会隐藏少数类被忽略、某种设备性能下降或某个专家对某类标签过度使用的问题。对实例检测还要检查漏标、错标、框过大、框过小和同一对象拆分;对分类要检查类别互斥性、字段缺失、无法判断是否被误编码为阴性;对质量门控要检查一个失败样本是否同时记录了多个原因。

五、偏差、泄漏与外部验证必须写进验收

面部和舌面图像的颜色标签天然受成像链路影响。肤色、唇色和面色会受到色温、曝光、白平衡、化妆、滤镜与局部阴影影响;舌色、苔色和润燥也会受到相机、闪光、色卡、进食间隔和伸舌姿态影响。即使训练集内部指标良好,也不能据此称模型具备临床效果。数据卡应记录覆盖了哪些设备、光源、季节、年龄段或其他经授权的分层变量;若某些分层不可获得,应明确写为未知,而不是声称代表真实使用人群。

外部验证不能只是把内部测试集换一个文件夹名称。至少应在对象级独立划分后,使用未参与规则制定的设备、采集流程或来源进行验证,并冻结标签字典和阈值。质量门控可报告各失败原因的召回、误放行和误拦截;图像级分类可按字段报告宏平均指标、混淆矩阵和置信度校准;检测任务应根据项目约定报告定位重叠、漏检和误检;分割任务则应检查边界和面积误差。具体阈值需由研究目的、样本难度和双方规格共同确定,不能把某一论文的阈值当成通用标准。

外部验证还要检查标签可迁移性。舌面中的“黄苔”或“剥苔”、舌底中的“突显”或“歪曲”、面部中的“晦暗”或“眼圈发黑”,都可能依赖观察者、设备和指南。若外部来源没有同等细的标签,不能简单计算准确率;可采用重新标注子集、映射到共同本体或只验证可比较字段。研究成果中的实验效果也不能直接转译为临床效果:已有研究常在单一来源、特定采集硬件或内部切分下评估,外推到不同人群、设备和工作流仍需要独立证据。24

六、可执行的交付与验收逻辑

项目启动时应先冻结任务清单和字段字典,再选取覆盖正常、异常、低质量、遮挡、边界和争议的样例试标。试标的目的不是证明最终指标,而是暴露类别定义冲突、图像不可用比例、区域边界不稳定和专家之间的分歧。规则修订后,应重新标记受影响样本并记录版本差异;没有经过小规模对齐的批量标注,往往会把返工成本推迟到模型训练阶段。

正式批次交付可以拆为原图或授权裁剪图、质量标签、任务标签、空间标注、专家复核记录、数据字典、版本说明和质量报告。CSV 适合图像级字段,JSON 更适合嵌套区域和实例对象;无论采用哪种格式,都应检查主键唯一、路径或对象引用可解析、类别值属于字典、空值含义一致、同一对象的区域关系可回溯,以及图像与标注数量能够对账。质量失败样本不应被静默删除,除非项目规则明确规定删除并留下删除原因与版本记录。

验收门可以分成四层。第一层是文件完整性和脱敏检查,确认没有身份信息、未授权字段、损坏文件或无法解析的编码。第二层是结构完整性,检查每张图是否拥有对应的任务字段、区域或实例 ID、不可判断状态和标注版本。第三层是医学与几何质量,按任务抽样复核标签、区域边界、皮损框、舌底 ROI、质量原因和面部局部框。第四层是研发可用性,用冻结的脚本验证训练/验证/测试划分不发生对象泄漏,并按字段、类别和设备分层输出质量统计。只有四层都通过,数据才适合进入模型研发;这与承诺某个统一准确率是两件不同的事。

从业务逻辑看,最合理的顺序通常是先验证质量门控和字段可行性,再推进图像级分类,最后投入成本更高的面部分区、皮损实例和舌底空间标注。这个顺序不是对医学价值的排序,而是对规则复杂度、专家时间和返工风险的排序。若研究目标只需要舌面多字段分类,就不应为了追求“全套视觉数据”额外采购皮损掩膜;若目标要计算舌底血管几何量,则必须在早期就验证拍摄姿态、ROI 稳定性和边界可标性。

七、公司能力如何与需求对接

已核验的公司定位是 AI 数据基础设施及流程服务商,LangData 覆盖采集、处理、标注、质检和数据交付;医疗栏目按部位、模态和任务组织数据目录与项目化沟通。基于这一定位,适配本类需求的价值应表达为:帮助研发团队把面部、舌面、舌底与质量门控拆成可执行的规格,组织样例评估、标注规则、复核流程、版本记录和交付检查,并在项目书面确认后按授权范围实施。公司定位不等于已有本项目全部现货数据,也不等于拥有未经核验的固定专家规模、统一准确率或临床验证结果。

对采购和研发读者而言,真正有价值的交付不是一串“中医视觉”标签,而是一套能回答以下问题的数据资产:这张图为何被判为可用或不可用?这个标签对应整图、区域还是实例?不同专家是否看到了同一现象?不确定性如何保留?训练集和外部验证集是否按对象隔离?一次指南修订能否回溯受影响记录?当这些问题被写进数据字典、质量报告和版本记录时,视觉数据才具备长期研发价值。

结语

中医视觉项目的技术难点,不在于把类别表做得更长,而在于把观察任务、成像条件、标注主体、争议状态和验收口径组织成可审计的链路。面部皮肤检测需要区域与实例,舌面需要多字段结构化分类,舌底需要独立的脉络语义和必要的空间表达,面诊需要局部 ROI 与颜色质量控制,所有下游任务都要由质量门控和外部验证托住。只有先建立这种任务边界,再讨论算法和交付规模,数据才不会在“看起来很医学”的标签堆积中失去可复用性。

本文仅讨论面向医疗 AI 研发的数据设计、标注与质量工程,不构成对个人的医疗建议或诊断意见。具体样本范围、专家配置、授权、伦理、字段阈值和交付状态,均应以项目书面规格、适用法规和独立质量记录为准。

参考来源

  1. Intelligent quality control of traditional Chinese medical tongue diagnosis images based on deep learning
  2. Tongue feature dataset construction and real-time detection
  3. Deep learning-based automated tongue analysis system for assisted Chinese medicine diagnosis
  4. Computerized tongue image analysis for non-invasive disease screening: a review
  5. TonguExpert: a deep learning-based algorithm platform for fine-grained extraction and classification of tongue phenotypes
  6. Machine Learning-Based Technique for the Severity Classification of Sublingual Varices according to Traditional Chinese Medicine