MEDICAL DATA RESEARCH
病理AI评测不只看诊断对错:最小充分 IHC panel、证据链与人机协作数据如何设计
面向医疗AI研发与数据采购读者,拆解病理推理审核、最小充分IHC panel、marker功能标签和前后辅助对照,说明病例级划分、专家仲裁、外部测试与可追溯验收,区分研究建议与公司能力边界。
当一个病理模型给出正确的最终诊断时,它是否真的理解了形态学与免疫组化证据之间的关系?如果模型从一组已经完成的免疫组化检测中删掉了一个 marker,这个 marker 是真正冗余,还是恰好承担了排除关键鉴别诊断的作用?当低年资病理医生在模型提示下改变了 IHC 选择或诊断,改变来自有效辅助,还是来自对错误输出的过度依赖?这些问题不能靠一个病例级准确率回答。
一类更接近研发现场的病理数据需求,要求把模型生成的诊断推理、最小充分 IHC panel、单个 marker 的诊断功能,以及模型介入前后的医生作答放在同一套可追溯数据中评估。它不是普通的病理图像勾画,也不是把医生意见简单改写成“正确/错误”。它需要将病例、切片、IHC 结果、模型输出、专家理由和人机交互过程拆成不同颗粒度,再通过版本化规则重新关联。下面以公开技术讨论的方式,说明这类需求如何转化为可执行的数据规格和验收逻辑。文中不包含原始病例、患者信息或任何项目合同内容。
先把四个任务拆开
第一项任务是 SFT 训练样本的医学合理性审核。输入可以由脱敏后的样本来源和病灶部位、H&E 或 WSI、IHC 检测结果、最终诊断标签,以及模型生成的推理文本组成。专家不是只看最后一行诊断,而是逐段检查推理是否正确使用了形态学证据,是否准确解释染色结果,是否把证据与结论连起来,是否遗漏了会改变诊断方向的阳性或阴性信息。输出至少应包含通过或需要修订的状态、具体问题类型、对推理的修订文本和可回溯的修改理由。这样产生的监督信号,才有可能用于训练“基于证据作答”,而不是训练模型模仿某种语言风格。
第二项任务是建立病例级的最小充分 IHC panel。输入是病例已经完成的 IHC marker 及其结果、形态学和最终诊断等背景信息;输出不是一个固定的“推荐清单”,而是专家认为可删除的冗余 marker、保留的充分集合、诊断成立的依据,以及存在多个医学上等价方案时的说明。最小性和充分性必须同时成立:删去一个 marker 后,剩余证据仍需支持主要诊断,并能合理排除关键鉴别诊断。某个 marker 在一个病例中可能是冗余的,在另一个病例中却可能承担组织来源、分化方向或排除相似病变的作用,因此不能依据 marker 的固定属性机械删除。
第三项任务把评价单位下沉到 marker。模型需要为每个 IHC marker 分配其在当前病例中的功能类别,例如 LOCALISATION、CHARACTERISATION、SUBTYPING 和 PROGNOSIS,并给出病例级总体判断。这里的类别是诊断流程中的功能标签,不是 marker 的永久身份。一个检测结果可能同时参与组织来源判断和亚型鉴别,也可能在当前病例中只用于治疗相关分层。若标签体系强制每个 marker 只能有一个类别,就会把临床推理中真实存在的重叠压扁成伪确定答案。更稳妥的设计是允许多标签、主次标签或“不确定/证据不足”,并保存专家修订前后的差异。
第四项任务评估模型在实际阅片与诊断流程中的辅助价值。低年资医生先在没有模型提示的条件下完成规定的 IHC 选择或最终诊断,再在模型辅助条件下完成对应任务;高年资专家对两轮结果进行独立评价。这个设计的核心不是“有模型的一轮分数更高”,而是记录每次作答是否改变、改变了哪一项、改变是否有证据支持,以及模型提示错误时医生是否能够拒绝它。题型和病例需要避免重复,第一次作答不能看到模型答案、其他医生答案或测试集中的参考结论。否则,前后差异混入记忆和信息泄漏,不能被解释为人机协作效果。
图1 技术示意:展示病例级、marker 级和阅片者级记录如何进入不同评测任务;非患者样本图,不代表真实病例结果或已完成实验。
数据设计要从病例关系开始
病理数据的基本单位不应只有一张图。一个可复核的病例关系至少要区分匿名病例、标本、玻片、WSI 或 H&E 图像、IHC 检测记录、诊断标签、模型输出和专家审核事件。病例与切片之间是一对多还是多对多,多个切片是否来自同一标本,某次 IHC 检测对应哪一个组织区域,都应在数据字典中明确。否则,算法端可能把切片级结论误当成每个图块的标签,也可能把来自同一病例的近重复图像拆到训练集和测试集,造成虚假的泛化能力。
建议采用脱敏的内部主键,把病例、切片、模型运行、专家会话和问题题号分别编号,并把真实身份字段留在受控环境中。公开稿只讨论结构和方法,不记录病例编号、原始文件名、机构或人员名单。若数据不能出域,则平台端应记录输入文件的校验值、模型版本、提示模板版本和输出时间,而不是把原始影像复制到普通协作目录。输入字段缺失、无法判读、检测未做、结果冲突和明确阴性也要分开编码。把所有空值都填成“阴性”,会让模型学到数据整理习惯而不是病理证据。
IHC 结果还需要记录检测上下文。marker 名称、染色结果、表达强度或分布描述、检测方法和适用的解释范围应保持可区分;一个文本字段不能同时承担原始结果、专家解释和模型结论。对于 WSI,应保存扫描质量、染色类型、倍率或像素间距等会影响观察的元数据。图像质量不合格、组织脱落、折叠、失焦和区域缺失应有排除或不确定状态。病理标注实践的国际调查显示,研究团队在 WSI、组织级和细胞级标注之间存在显著差异,IHC 也常被作为辅助依据;这说明标注层级和底物类型必须在项目开始前固定,而不能在导出时猜测。1
数据分割应以病例或患者为单位,并在规范中写明去重、近重复检查、时间切分和外部测试规则。模型输出本身也不能进入参考标准生成环节,否则会形成循环标注。参考标准更适合称为 reference standard,而不是绝对的“金标准”:CLAIM 2024 明确建议描述参考标准的来源、定义、潜在误差和局限,并区分内部测试和外部测试。2 当两个专家对某个最小 panel 无法形成唯一答案时,应保留多个可接受集合或升级仲裁,而不是通过平均或投票制造一个看似精确的唯一答案。
算法路线要对应标签颗粒度
这类数据适合多任务评测,但不适合用一个大模型端到端生成所有字段。第一层可以是病理图像与结构化文本的联合编码:WSI 先按组织区域或可解释的视野单元建立表示,H&E、IHC 结果、部位和临床上下文再通过结构化通道或文本编码器融合。全切片基础模型研究表明,WSI 的局部形态与整张切片的全局结构都重要,模型需要处理数以万计的图块,而不是只抽取少数视野。5 这类研究证明的是表示学习和任务迁移的研究可行性,不是某个项目已经具备临床诊断能力。
第二层应将模型推理拆成“主张—证据—结论”图。模型写出的每个关键判断,例如某种形态支持某类分化、某个染色结果用于排除某种病变,都可转成结构化主张,由专家判断支持、矛盾、未提及或超出输入证据。这样,任务一的修订不再只是改写自然语言,而是能定位到遗漏、错误解释、证据跳跃或结论过度。对语言流畅但证据不足的回答,应与事实错误、医学概念错误和输入不可判读分开计数。
第三层是 IHC marker 功能分类。它更接近上下文条件下的多标签分类,而不是静态词典匹配。模型可以输出类别概率、主分类、次分类、证据片段和拒答状态;专家则记录最终类别、是否需要补充形态信息以及争议原因。对于跨类别的 marker,可用关系标签表达“支持诊断”“排除鉴别”“确认谱系”“治疗分层”等功能,再映射到项目约定的四类标签。训练时应评估类别不平衡、稀有类别和病例内多标签共现,不宜只报告一个总体准确率。
第四层是最小 panel 选择。可以把 marker 集合选择视为带约束的集合预测问题:一方面要在参考标准下保持诊断充分性,另一方面要减少重复信息和不必要检测,同时允许模型在证据不足时 abstain。评测应把“删得少”与“删得对”区分开。集合相似度、关键 marker 保留率、冗余删除率、诊断充分性和鉴别诊断覆盖可分别报告。若专家给出多个医学上等价的答案,评价器应采用可接受集合或等价类,而不是把某一份 panel 当作唯一真值。
第五层是人机协作评估。研究设计应固定辅助提示的呈现顺序、是否显示置信度、能否查看证据、模型版本以及医生可执行的回退方式。全切片多模态基础模型如 TITAN 已将 WSI、形态描述和病理报告用于表征学习,并在少样本、检索和报告生成等研究任务上评估;论文中的结果仍是特定数据和任务下的研究表现,不应直接换算成临床收益。6 这也是为什么应用价值评估必须记录错误提示、医生拒绝和修改原因,而不能只比较两轮总分。
专家标注不是“找一个资深医生签字”
专家协议应先写资格与任务匹配,再写人数和轮次。涉及形态学和 IHC 逻辑的审核,需要具备相应病理训练和实践背景的专家;marker 功能、亚型鉴别和治疗相关分层可能还需要亚专科匹配。人员资质、培训材料、任务版本和退出条件应形成可审计记录,但公开稿不应将任何未核验的专家数量、机构来源或项目履历写成企业背书。
正式标注前要用一小批脱敏样本做校准。校准内容不只是熟悉平台按钮,还包括标签定义、边界案例、证据不足时如何拒答、多个最小 panel 如何记录,以及模型提示对盲法的影响。每位专家先独立作答,分歧记录保留原始判断;仲裁者在看到必要证据后给出最终处理,并说明是修改标签、保留双答案,还是将病例列为不可判定。不要把讨论后的共识覆盖掉原始意见,否则无法分析哪些标签最容易产生系统性争议。
对于任务一,评分量表应把医学正确性、证据完整性、推理连贯性和语言可读性拆开。一个结论正确但理由错误的回答,不能与完整可靠的回答同样通过;一个结论因输入缺失无法确定的回答,也不能被强迫改成确定诊断。对于任务二,专家要在病例背景、形态和现有 IHC 结果下判断 panel 是否充分,而不是脱离病例建立“常用 marker 黑名单”。对于任务三,要记录每个 marker 的主次功能与不确定性。对于任务四,要将模型辅助前后的答案、提示呈现、修改原因和高年资复核分开保存。
既往病理人机协作研究提供了一个重要警示:在多阅片者、多病例设计中,AI 辅助可能提高与专科专家参考意见的一致性和阅片效率,但当 AI 本身解释错误时,辅助也可能拉低读者与参考标准的一致性。7 因此,应用价值评估不能只问“模型是否帮助了医生”,还要按模型正确、模型错误、病例困难和专家分歧等层次分析。一个真实可用的系统应当让医生知道何时需要独立复核,而不是把模型输出包装成不可质疑的答案。
质量控制要覆盖来源、标签和外部验证
第一道质量门是来源治理。每条记录要能回答数据从何而来、是否有使用许可、如何去标识、哪些字段来自原始材料、哪些字段来自专家解释。授权、去标识和伦理审查不是同一件事,不能用一句“已脱敏”代替全部证据。对于不能出域的病例,应明确平台访问权限、导出边界、日志保留和数据返还或删除规则。这些属于项目治理要求,不应在公开文章中写成某个客户的安全承诺。
第二道质量门是标签一致性。可使用适合任务的 Kappa、Krippendorff alpha、F1、集合指标或混合效应模型,但指标必须对应抽样单位和标签性质。marker 多标签分类不能套用单标签准确率;最小 panel 不能只看集合交并比;推理文本不能以 BLEU 或表面相似度代替医学证据核验。所有指标都应写清参考标准、缺失处理、争议病例是否纳入,以及是否按器官、染色、设备和病例难度分层。
第三道质量门是泄漏检查。模型生成的答案、同一病例的不同切片、同一次就诊的重复材料、专家修订后的文本和模型提示版本,都可能把测试答案间接带入训练。特别是任务四的前后两轮,必须区分学习效应、顺序效应和模型效应;可通过随机化呈现顺序、设置洗脱期、使用不重复题型和记录题目难度来降低混杂。测试集中的参考答案和其他医生作答不应在实验期间暴露。
第四道质量门是外部测试。至少要考虑未参与开发的机构、不同扫描设备或染色流程、不同病例谱和新的时间段。TRIPOD+AI 强调训练数据与评估数据不得重叠,且应报告数据来源、预测目标、模型版本、缺失处理、公平性与可复现性;它还提醒读者,不应把“验证”当成一个含义不清的万能词,而要说明是内部测试、外部测试还是模型调参。3 对于本类病理数据,外部验证不只是换一批图,还要确认 IHC 字段定义、专家标准和阅片流程在新环境中仍然成立。
若任务进一步进入真实临床流程,研究报告还应说明模型输入和输出如何被人使用、需要什么培训、错误如何处理,以及人机交互发生在流程的哪个节点。CONSORT-AI 将输入输出处理、人机交互和错误案例列为 AI 干预试验的重要报告内容。4 本文讨论的数据构建不等于临床试验,也不构成监管批准;它只是为后续研究提供可复核的监督信号和评测接口。
图2 技术示意:展示从参考标准、盲审与仲裁到内部测试、外部测试和交付验收的关系;非真实实验流程结果,不代表临床性能。
验收应验收“可追溯记录”,而不是一句正确率
这类项目的最小验收单元可以是一个标注记录、一条 marker 关系、一组可接受 panel,或一场完整的人机协作会话。每个单元都应检查必填字段、病例主键关系、模型和规范版本、专家身份的受控映射、原始意见与最终意见、修改理由和审计日志。交付包还应包括数据字典、标签定义、正反例、争议处理规则、病例级划分清单、质量问题单和版本差分。字段完整不代表医学正确,医学正确也不代表没有泄漏,因此完整性、内容质量和流程合规应分开验收。
试标阶段应先验证八件事:平台能否打开约定模态;病例和 IHC 记录能否正确关联;模型输出能否被逐条引用;专家能否在盲法下独立作答;多个最小 panel 能否被记录;不确定和拒答是否有合法字段;错误案例能否回放;最终 JSONL 或结构化文件能否被下游读取。试标不通过时,应先修订规范和样例,再决定是否扩量。把未冻结的标签直接投入规模化生产,会把返工成本转化成训练数据中的系统性偏差。
业务上应把平台软件、专家标注、模型评测和研究分析分开定义。平台可以提供任务分派、权限、版本、审核状态和导出,但这不自动证明平台已经具备某种病理插件,也不等于已经有可直接交付的 IHC 专家资源或临床级模型。按照已核验的公司能力边界,朗慧定位为 AI 数据基础设施及流程服务商,LangData 覆盖采集、处理、标注、质检和数据交付;医疗项目可按部位、模态和任务进行需求沟通,具体范围、样例、专家配置和验收指标仍需项目评估与书面确认。公开材料不能把需求文档变成现货证明,也不能把网站自述转换为临床效果、监管批准或客户背书。
因此,这类病理需求的研发价值不在于堆叠更多病例,而在于把“为什么选择这个 marker”“为什么删掉那个 marker”“模型提示改变了什么”“专家为何接受或拒绝”变成可检索、可统计、可复盘的数据。只有当病例关系、证据链、专家分歧、人机交互和外部测试共同被版本化,模型评测结果才有机会从一次性演示走向可重复研究。最终交付的应是一套受控的数据资产和验证记录,而不是一个看起来整齐、却无法解释来源与判断依据的正确率数字。
参考来源
- Annotation practices in computational pathology: a European Society of Digital and Integrative Pathology (ESDIP) survey study
- Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update
- TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods
- Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI Extension
- A whole-slide foundation model for digital pathology from real-world data
- A multimodal whole-slide foundation model for pathology
- Evaluation of the Use of Combined Artificial Intelligence and Pathologist Assessment to Review and Grade Prostate Biopsies

