MEDICAL DATA RESEARCH
皮肤病标注培训不能只看考试分:把疾病层与病损层任务拆开验收
面向医疗AI研发与数据采购团队,拆解皮肤病标注中的疾病层、病损层、规范理解、分层练习、独立考试、错误复盘和专家仲裁,并说明培训分数为何不能替代真实标签质量、外部验证或临床结局。
皮肤病数据标注最容易被低估的环节,不是把一张图片放进某个疾病类别,而是让不同标注人员在面对同一张图时,能够区分“看见了什么”“据什么判断”“还不能判断什么”。一套培训流程如果只记录答对多少题,可能培养出会记答案、却不会处理边界病例的人;如果只训练疾病名称,又会把皮损部位、形态、数量、边界和图像质量等真正影响模型的信号丢掉。对于准备建设皮肤病影像数据集的研发团队,培训、试标、专家复核和独立验收必须从一开始就被设计成不同层次的证据链。
本文讨论一种可匿名复用的技术问题:如何围绕皮肤病与皮损两个层级组织标注培训,并把问卷、练习、考试和复盘放回各自的位置。原始需求只规定培训与标注流程,并未固定普通临床照片、皮肤镜、病理图像或其他模态;因此,本文把模态和参考标准都作为项目启动时待确认的变量。文中不复述任何特定项目的题目、人员、时长、样本或经营条件,也不把培训结果写成疾病诊断能力。实际项目仍需先确认数据来源、授权、伦理与隐私要求,再以书面规格冻结标签和验收方法。
一、先把临床任务写成可执行的标签任务
“皮肤病标注”不是单一任务。最上层可能是疾病或病种分类,例如把皮肤表现归入某个预先定义的类别;中间层是病例、图像或检查记录的属性描述;更细一层是每个皮损实例的区域、位置、数量、边缘、颜色、尺度或可见形态。若同时使用临床照片、皮肤镜图像、病理图像或结构化病史,它们的观察对象和证据强度并不相同,不能把不同模态的标签直接拼成一列。
第一步应建立数据字典,明确一个样本究竟代表患者、一次检查、一张图像,还是图像中的一个病损实例。同一皮损的多张照片不是多个独立患者,同一病例中的多个病损也不能被粗略折叠成一个标签。纵向随访还要记录时间点和拍摄条件,不能把复诊图像随机拆到训练集和测试集,否则模型可能通过患者或设备特征泄漏“答案”。2025年一项皮肤病数据集构建方法学研究提出了来源与伦理审查、数据记录与结构化、临床数据和图像处理、质量评估四个阶段,强调先定义纳入条件与诊断确认方式,再谈模型训练。2
第二步要区分标签来源。直接从图像观察到的颜色、形态、部位和图像质量,和来自病理、实验室、随访或专家共识的疾病结论,不应使用同一字段表达。对于看不清、遮挡、反光、毛发覆盖、图像失焦或模态不匹配的情况,应允许“不确定”“不可判读”或“忽略”,而不是逼迫标注员猜一个病名。阴性、缺失、未知和未评估也应分开编码,因为它们在训练和验收中代表不同的统计含义。
第三步要把培训目标写成行为,而不是写成“熟悉皮肤病知识”。疾病层培训应检验标注员能否依据当前规范识别类别、证据来源和排除条件;病损层培训应检验其能否对同一病例中的多个实例分别处理,并保持实例编号、区域和属性的一致;质量培训则要让其知道何时停手、何时升级专家、何时保留不确定。只有把这三类行为拆开,后续考试结果才有解释空间。
图1 技术示意图,不含患者样本,不代表真实考试结果或临床诊断。问卷、练习和考试分别服务于理解检查、任务熟练和独立放行判断。
二、课程设计:先理解规则,再练习观察与归因
皮肤病标注的培训材料不应只有一段录屏或一张疾病列表。规范至少要包括标签定义、纳入与排除条件、正例和反例、模态适用范围、图像质量要求、不确定标签的使用条件,以及发生分歧时的升级路径。每次修订都要有版本号和差分记录;旧口头习惯不能继续作为“经验规则”混在新版本里。
讲解阶段适合使用低风险问卷或复述题,检查标注员是否理解术语和边界。例如,题目可以要求说明某种表现属于疾病结论、可见属性还是不可判读,而不是只要求记住一个答案。问卷失败时,应回到对应条款和反例,形成补训记录。这个阶段的通过只能证明规范被理解到一定程度,不能证明标注员已经能稳定处理真实分布中的图像。
练习阶段应按由简到繁分层。先做疾病层练习,使标注员熟悉类别层级、诊断依据和不确定状态;再做病损层练习,使其在一个病例中区分多个病损实例,并对区域、部位和属性使用一致命名;最后做综合练习,把疾病结论、病损属性和质量判断放在同一任务里。综合题的价值不在于题目更多,而在于暴露标签之间的冲突:一张图可能足以描述皮损外观,却不足以确认病种;一个病例可能有多个病损,但并非每个实例都有同等强度的诊断依据。
练习应提供“为什么错”的反馈,而不只是给出对错。错误可以按漏标、错类、实例合并、区域偏移、把不确定强行确定、忽略图像质量或引用了不适用模态等类型编码。这样,专家复核时才能区分知识理解问题、视觉观察问题、工具操作问题和规范歧义问题。若大量标注员在同一反例上犯错,优先修订规范和样例,而不是简单增加培训时长。
考试阶段必须与教学样例隔离。考试样本不应在讲解、练习或答案讨论中重复出现,也不应因为“看起来相似”就让标注员凭记忆作答。考试应固定样本单位、规范版本和判定口径,并留下题目、标签、理由、时间和复核状态。通过考试可以作为进入试标或小批生产的条件之一,但不能替代对真实样本的盲标、专家复核和标签质量评估。
三、数据设计:把病例、图像与皮损实例连起来
皮肤病数据的颗粒度决定模型能学到什么。若目标是病例级分类,至少要知道病例与图像的对应关系、疾病结论的依据以及一张图中是否包含多个病损;若目标是皮损检测或分割,还要保存实例级区域、边界和可忽略区域;若目标是描述生成,则需要把可观察属性组织成稳定的字段,而不能把自由文本中的形容词直接当作金标准。
采集与整理时应登记模态、设备、偏振或接触方式、光照、分辨率、部位、肤色或皮肤色调记录方式、图像质量和拍摄时间。只有在获得授权且确有研究用途时,才应收集肤色相关字段,并写明隐私边界;不能把主观色阶当成天然真值。2025年的一项前瞻研究比较了多种皮肤色调评估工具,指出主观尺度的可靠性会随测量场景和光照改变,某些常用分类也不能简单替代客观色彩测量;研究还提醒,皮肤镜图像提取的颜色值与现场测量并不必然一致。4 因此,培训中如果涉及肤色或光照,必须训练“如何记录测量条件”,而不是鼓励从图片猜测人的身份属性。
数据划分应以患者或病例主体为优先单位,并在冻结后记录随机种子、折数和版本。若同一患者的多张照片、同一皮损的不同时间点或同一检查的派生图像进入不同集合,模型性能可能被高估。内部训练、验证和独立测试需要在数据字典中清楚区分。对于外部验证,还要尽量引入不同来源、设备或临床环境,检验标签和模型是否能跨分布工作。
PanDerm研究展示了多模态皮肤病基础模型对数据组织的要求:研究使用来自多机构、多个国家和四种成像模态的约210万张图像进行预训练,并在多个皮肤病任务上评估统一表征。3 这类研究并不意味着“图像越多越好”,而是说明模态、来源、患者级关系和任务标签必须同时被记录。研究中的模型性能来自具体数据和评估设计,不能转写为任何项目的临床效果,也不能把公开数据集的规模理解成某个服务商的现货能力。
四、算法路线:先匹配输出,再决定模型复杂度
如果输入是单张临床照片或皮肤镜图像,输出是病例级类别,路线可以从图像质量筛查、患者级划分、分类模型和概率校准开始。若输出是病损位置,任务更接近检测或区域标注;若输出是像素级轮廓,则需要定义边界、忽略区、多个实例和小病损的处理。分类、检测、分割和描述生成不能用同一个准确率验收。
对研发团队而言,培训数据可以支持两种不同的算法用途。第一种是训练模型识别某个标签,要求标签定义稳定、错误类型可追溯;第二种是训练模型辅助标注,要求预标注只是草稿,必须经过人工修改与专家审核后才能进入金标准。辅助模型的置信度、热图或候选区域是过程信息,不是诊断依据。对于低质量图像和超出规范范围的模态,系统应允许拒答或转人工,而不是在数据层面把所有样本强行归入某一类。
疾病层和病损层还可以采用多任务路线,但共享表示不等于共享标签。疾病分类可能依赖病理或随访等外部依据,病损属性更多来自图像可见信息;如果把后验诊断结果直接复制到每个图像实例,模型会学习到不应有的捷径。更稳妥的做法是保留标签来源、置信度和适用范围,在训练时分别处理明确标签、弱标签和不确定标签,并在评估时报告各任务的错误。
影像分割的金标准也不能由“多数人画过”自动产生。多标注者一致性研究指出,存在与不存在某个区域通常比精确画出同一边界更容易达成一致;不同大小、不同类型的病灶会使单一指标受到明显影响,STAPLE等融合方法也有不重叠时难以收敛、边缘被低估等限制。5 因此,培训考试分数不能代替区域一致性分析,区域一致性也不能代替临床参考标准。应根据任务分别选择病例级、实例级、像素级或排序指标,并保留不一致样本供专家仲裁。
五、专家标注:分歧本身是数据的一部分
专家角色应在方案中写清楚:谁负责规范解释,谁执行初标,谁做独立复核,谁拥有最终仲裁权,仲裁者是否能看到其他标注结果,哪些样本必须升级。培训人员与金标准审核人员可以不是同一组人,但职责和权限要隔离。对具有明确病理、实验室或随访依据的样本,要记录依据类型和时间关系;对只有临床印象的样本,不应在公开稿或数据字典里伪装成同等强度的金标准。
试标时应采用双人独立判断,避免一人先做、一人只核对答案。分歧记录至少包括原始标签、理由、规范条款、复核意见、仲裁结论和版本号。对疾病层分歧,可以检查类别定义、诊断依据和排除条件;对病损层分歧,可以检查实例编号、边界、属性和图像质量;对模态分歧,则要检查该标签是否在该模态可观察。若专家也无法确定,保留不确定或排除状态比制造一个“共识病名”更诚实。
培训考试的复盘应连接到这些分歧类型。某个标注员在练习题上失误,并不等于其在所有病种和所有模态上都不合格;相反,某次考试通过也不代表其能处理未见过的设备、肤色、部位或低质量图像。因此,放行判断可以使用分层抽样的试标结果、错误分布和专家复核结果,而不是只看一个总分。必要时建立“暂停—修订—复训—重试”的闭环,把规范质量和人员质量同时纳入管理。
六、质量与外部验证:把研究指标和临床结局分开
质量验收至少分为四层。第一层是数据完整性:文件能否打开、病例和图像能否关联、实例编号是否唯一、标签映射和版本是否齐全。第二层是标注一致性:按疾病、病损、区域和不确定状态分别抽样,记录双人差异、专家仲裁和返工。第三层是模型评估:在冻结划分上报告与任务匹配的指标、置信度、错误类型和分层结果。第四层是外部适用性:在独立来源或真实工作流中检查性能、校准、拒答和失败模式。这种把对象、流程记录和评价分层的做法,可与现行 YY/T 1833.3—2022《人工智能医疗器械 质量要求和评价 第3部分:数据标注通用要求》的适用范围对照;标准本身不等于本项目认证,也不提供统一性能阈值。1
验收脚本应围绕可复核动作编写。例如,能否根据病例编号回溯到原图和标签;能否从标签追溯到规范版本和仲裁记录;同一患者是否只出现在一个划分;不确定和缺失是否被正确编码;导出后下游程序是否能读入并保持方向、尺寸和实例关系。对于皮肤病任务,还应检查不同肤色、设备、光照、解剖部位、年龄分层和图像质量分组,避免总体指标掩盖某些群体或场景的失效。
真实世界外部验证的重要性在皮肤病任务中尤其突出。近期一项在常规门诊环境进行的多模态模型外部验证研究报告了分层的诊断表现,并强调其结果应被解释为固定模型在特定人群和参考标准下的测量,而不是自主诊断能力;研究同时指出,样本量、单中心来源、类别稀疏、参考标准不完整以及模型开发数据不透明都会限制外推。6 这类限制应在项目验收中提前列为开放问题,而不是等到上线后才补写。
模型研究的分数也不能直接换算成患者获益。PanDerm的读者研究显示,模型在特定任务和读者设计下可能改变临床人员表现,但这仍然是研究条件下的结果。若要讨论临床流程价值,还需要前瞻性、多中心、预先定义终点的研究,观察转诊、检查、诊断延迟、治疗决定或患者结局。数据服务或标注交付只能保证约定的对象、字段、质量记录和文件可用性,不能替代医学器械验证或临床试验。
图2 技术示意图,不含患者样本,不表示已完成外部验证或临床部署。培训证据、标签证据、模型研究指标和临床结局必须分别记录。
七、如何形成可执行的项目与交付逻辑
对于数据采购或研发合作,建议先用一批经授权、已去标识的样例确认四件事:目标模态和任务,样本单位与标签层级,专家复核与分歧处理,交付格式与验收方式。样例评估阶段应允许发现“标签定义不够清楚”或“该模态无法支持该结论”,而不是预先承诺所有样本都能通过。确认后再冻结数据字典、规范版本、培训材料、试标方案、生产流程、回修轮次和验收表。
业务上可以把工作拆成三条线。第一条是培训与标注执行,包括规范讲解、样例练习、盲标、复核、仲裁和版本记录;第二条是数据处理与交付,包括去标识核查、文件组织、标签映射、质量报告和下游打开测试;第三条是算法研究支持,包括划分、特征或标签交接、基线评估和独立测试设计。三条线不能被一张“完成率”表格替代,也不应把软件功能、专家服务和数据资产混为一个默认包。
按已核验的能力边界,朗慧可在项目规格、样例评估、数据处理、标注质检和版本化交付等方面讨论适配路径;具体模态、人员配置、授权范围、周期、规模和验收阈值仍需逐项书面确认。公开能力说明不等于某个皮肤病数据集现货,也不等于已有临床验证或监管批准。对于皮肤病项目,最有价值的前置材料不是一张功能截图,而是标签字典、正反例、不确定规则、分层抽样方案和能在下游环境打开的脱敏样例。
最终放行时,可以把培训结果作为“人员是否达到试标条件”的一项证据,把双人试标和专家仲裁作为“标签是否可生产”的证据,把独立测试和外部验证作为“模型是否可在新环境评估”的证据。三者分别回答不同问题,不能相互替代。只有当疾病层和病损层的目标清楚、数据关系可追溯、分歧可解释、版本可复现、外部限制被写明,皮肤病标注培训才真正从内部流程变成可审计、可扩展的研发基础设施。
本文面向医疗AI研发、数据治理与采购人员,不提供患者个体诊断、治疗或用药建议;任何临床应用仍需由具备资质的机构按适用法规和验证要求独立完成。
参考来源
- 人工智能医疗器械 质量要求和评价 第3部分:数据标注通用要求(YY/T 1833.3-2022)
- A methodology for developing dermatological datasets: lessons from retrospective data collection for AI-based applications
- A multimodal vision foundation model for clinical dermatology
- Evaluating skin tone scales for dermatologic dataset labeling: a prospective-comparative study
- Assessing Inter-Annotator Agreement for Medical Image Segmentation
- External Validation of a Multimodal Artificial Intelligence Model for Dermatologic Diagnosis in Routine Clinical Practice

