跳至正文
朗慧科技

MEDICAL DATA RESEARCH

医疗AI标注采购如何验收:从CT器官病灶到CTA血管与图文一致性

面向医疗AI研发与采购团队,拆解CT器官与病灶、冠状动脉CTA、头颈CTA及影像报告任务的标签颗粒度、专家审核、脱敏分区和分层验收,明确研究交付与临床结论的边界。

CT与血管影像AI辅助整理 · 研发交流

医疗AI项目最容易在采购阶段问错一个问题:供应商“做过多少标注”,是否等于交付的数据已经适合目标模型?真正需要先回答的是,临床任务究竟要模型学习什么,标签位于哪一个解剖或语义层级,专家如何处理分歧,以及数据能否在独立环境中复核。对于同时涉及普通CT、冠状动脉CTA、头颈CTA和影像报告的需求,如果只用一个“准确率”或一套通用的三级审核描述,后续训练、验证和临床风险都会失去可解释的接口。

本文把一类医疗标注采购材料中可独立成立的技术问题抽象出来,讨论如何将供应商评估改写为可执行的任务规格。文中不复述项目名称、客户信息、合同条款、报价、人员名单或未经公开验证的交付结果,也不把任何一项指标写成公司统一能力。讨论对象是研发团队、医疗数据采购方和质量负责人,内容不是个体诊断、治疗建议或临床批准声明。

一、先把“医疗标注”拆成四种不同任务

1. 器官与病灶:体素标签不是一张截图

腹部或胸部CT中的器官分割和病灶标注,输入通常是按检查组织的DICOM序列,输出则可能同时包含器官Mask、病灶Mask、病灶类别、内部成分以及检查级或病灶级属性。肝、胰腺、胃、食管、结直肠、乳腺和肺等对象不能被简单合并为一个“器官”类别;病灶也不能只写“异常区域”,而应明确是肿瘤、炎症、囊肿,还是只要求目标轮廓而不要求病理解释。

数据颗粒度要在项目开始前写清楚:二维切片轮廓、连续三维体积、病灶实例、检查级阳性/阴性,还是多标签之间的空间关系。器官的起止层、病灶边界、病灶与邻近结构的接触关系都可能影响模型学习。若规范没有规定模糊边界、不确定状态、缺失检查和多发病灶的编码方式,标注员即使使用同一软件,也可能把不同临床判断写成相同的确定标签。

因此,器官分割的验收应同时检查体积重叠、边界偏差、层间连续性和类别完整性;病灶任务还要检查病灶是否漏记、实例是否被错误合并,以及小目标在不同层厚下是否保持可追溯。Dice或IoU只能描述某一种空间重叠关系,不能替代对标签语义和边界依据的审查。CLAIM 2024要求研究者说明数据来源、预处理、参考标准、标注者资格和数据划分,这些要求同样适合在采购阶段转化为交付字段。1

2. 冠状动脉CTA:中心线、管腔、斑块和狭窄必须分层

冠状动脉CTA任务比普通器官分割更容易出现“输出看起来完整、临床含义却不清楚”的问题。输入是心脏CTA及必要的重建视图,输出可能包括冠脉树或分支的中心线、管壁和管腔轮廓、钙化或非钙化斑块类别、狭窄位置与测量值。中心线是拓扑对象,管腔是几何对象,斑块是病变属性,狭窄是测量或分级结果;四者不能由一个像素标签代替。

采购方应先定义解剖分支命名、起止范围、远端细小血管如何处理、支架或运动伪影如何编码,以及测量依据是原始轴位、多平面重建还是曲面重建。钙化产生的blooming artifact可能使高密度区域看起来占据更多管腔,若标注规范不要求记录参考近远端直径、质量等级和不可判定原因,后续模型会把伪影当作狭窄本身。对于难以可靠测量的病例,设置“不可评估”比强行填入一个百分比更能保护数据解释。

CAD-RADS 2.0把冠脉CTA报告框架拆为狭窄严重度、斑块负荷和修饰项,并强调这是专家共识,需要结合其他临床信息解释。2 这为数据采购提供了一个重要启示:标签字典应把“影像所见”“量化测量”“标准化分级”和“临床建议”分开交付,不能把最终报告等级冒充为像素级真值。验收时应分别核对血管连通性、管腔/管壁边界、斑块类别和测量一致性;如项目需要报告级分级,还要单独验证分支选择和最大病变规则。

3. 头颈CTA:动脉瘤检出、分割与风险推断不是一件事

头颈CTA可用于构建动脉瘤和大血管闭塞相关的数据,但“标注动脉瘤”至少包含三个层级:是否存在目标、目标在血管树中的位置与实例分配、以及瘤体大小和颈宽等几何属性。血管袢、分叉变异、骨性结构伪影和细小分支都会造成假阳性。采购文件若只规定一个Dice阈值,无法判断是漏掉了微小目标,还是把正常血管迂曲画成了瘤体。

更稳妥的规格是把检测、分割和测量分别验收:检测层报告病例级和病灶级召回、假阳性来源及不可判定样本;分割层检查瘤体与载瘤血管的空间关系、起止层和拓扑连续性;测量层记录最大径、颈宽、测量平面、工具版本及复核者。近期一项多中心头颈CTA研究也将动脉瘤检出、分割和形态测量作为不同输出,并分别用DSC、ICC等指标在外部数据上核对;这支持采购方拆分这些层级,但其队列、标注者和结果不能外推为任何项目性能。7 大血管闭塞也应单独规定闭塞段、侧别、远端显影和证据不足的编码。任何“破裂风险预测”都属于后续算法或临床研究终点,不能因为数据含有动脉瘤位置和大小,就声称已完成风险模型验证。

4. 影像报告与多模态决策数据:从事实核查开始

影像报告自动生成或图文对齐任务的输入可能是CT影像、预生成报告和原始文本;输出不是一张Mask,而是对文本中解剖部位、病灶、属性、数量、方位、否定和不确定性进行结构化核验,并尽可能保留可复核的影像证据定位。一个报告写出“左肺上叶结节”,至少需要核对侧别、肺叶、病灶存在与否、可定位区域及描述属性,不能仅以句子相似度作为验收。

多模态任务建议采用三层标签:第一层是各模态内部的实体和属性,第二层是影像、报告、病理或检验之间的对应关系,第三层是“支持、矛盾、缺证据、无法判断”等关系状态。RadGraph-XL展示了由放射科医师对不同解剖—模态组合报告进行实体和关系标注的路线,也提示跨模态结构化抽取应当把领域专家标注与域外测试分开评价。3 采购方不应把生成模型的流畅度等同于事实性;更可执行的交付物是带有证据片段、定位信息、错误类型和修订原因的评测集。

如果任务进一步涉及肿瘤多学科决策支持,输入还可能包括病理报告、分子检测、实验室结果和既往治疗信息。此时标注重点是证据链和规则适用性,而不是让标注员替模型写出一条“正确治疗方案”。每个结论都应记录所依赖的资料范围、缺失字段、指南或知识库版本、禁忌条件以及是否需要临床专家复议。未经验证的推理过程、内部病例内容和患者身份均不应进入公开数据交付。

四类医疗AI任务的输入、标签与验收关系示意;为本任务原创技术示意,不含患者影像,不表示真实实验结果。查看完整技术图(可放大)

图1 四类任务需要不同的标签对象和验收接口。器官/病灶关注连续体积与边界,冠脉关注拓扑、几何和斑块语义,头颈CTA需拆分检出、分割和测量,图文任务则需要实体、关系和证据链。

二、数据设计决定后续能否复核

1. DICOM脱敏不能只删姓名字段

医疗影像的输入设计至少包括患者级、检查级、序列级和图像级四层。患者级标识需要可控替换;检查和序列的关联必须保持,使同一检查的多张切片、不同重建和多期相仍能被正确组织;图像级则要保留会影响任务的像素间距、层厚、方向、重建信息和窗位语境。DICOM PS3.15明确指出,属性保密配置文件并不保证所有可识别信息已经移除,脱敏还应考虑使用场景、接收方和再识别风险;图像像素内烧录的姓名或检查号也需要专项清理。4

因此,采购验收不应只查看“脱敏完成”的勾选框,而要抽取样例检查头信息、UID一致性、像素烧录、私有标签和跨序列关联。脱敏后的纵向一致性也要预先约定:若研究需要把同一受试者的多次检查关联起来,应使用受控的研究ID并隔离映射表;如果项目不需要纵向任务,则不应凭空保留可回溯身份的字段。任何授权用途、伦理审批和数据共享范围,都应与技术脱敏记录分开保存。

2. 规范版本、标签字典和负例必须成套交付

标签不是颜色表。一个可复用的标签字典至少应写明类别名称、定义、排除项、层级关系、空值和不确定状态、最小可接受对象、测量单位及示例。对于多期相或多模态数据,还要写明哪些对象在每个期相独立建立,哪些对象通过检查级ID或病灶ID关联,哪些情况不得强行配准。每次规则变化都需要版本号、变更原因、受影响样本和回溯策略。

负例的设计同样重要。器官分割需要没有目标病灶的检查和边界容易混淆的正常结构;冠脉任务需要不同成像质量、伪影和不可诊断血管;动脉瘤任务需要血管袢、分叉变异和骨伪影;报告任务则需要否定句、疑问句、既往史、缺少影像证据和互相矛盾的文本。若采购只交付“典型阳性案例”,模型会学到选择偏差,验收也无法发现假阳性路径。

3. 训练、验证和测试必须以受试者为隔离单位

同一受试者的多期相、多次重建、报告复制或病灶切块不能随意分到不同集合。CLAIM和STARD-AI都强调披露数据来源、纳排标准、预处理、参考标准、标注流程和分区方式,医学图像通常应在患者级或更高层级保持集合互斥。1 这应写入数据供应商的交付说明,而不仅是算法团队内部的实验脚本。

外部测试也不能只换一个随机种子。应优先选择不同采集协议、设备、机构、人群构成或工作流的数据,并记录标签定义是否一致。放射AI外部验证综述纳入的研究中,大多数算法在外部数据上的表现低于内部数据,部分研究出现有实质意义的下降。6 这并不意味着某个具体项目必然失败,而是说明“内部验收合格”不能替代跨中心泛化证据。采购方可以要求供应商提供外部样例评测方案和偏差报告,但不能把一次小样本试标宣传为临床验证。

三、算法路线应服务于标签,而不是反过来改标签

第一步是建立可审计的预处理链。CT需要记录重采样、强度转换、窗宽窗位、裁剪和多平面重建;CTA还可能使用曲面重建或容积显示辅助阅片;文本则需要字符清洗、句段切分、否定识别和单位统一。每个处理都要保留输入输出版本,避免标注员在不同软件默认设置下得到不可比较的结果。自动预标注、插值或模型调用只能产生草稿,不能自动变成金标准。

第二步是按任务组合算法。器官和病灶可以采用三维分割、检测加分割或交互式预标注,但需要人工修订并对薄层、边界和小目标做针对性抽检。冠脉任务可将血管树建模为中心线图,再分别处理管腔、管壁和斑块;图结构的连通性检查应与像素重叠指标并列。头颈CTA可采用候选检测、实例分割和几何测量的级联流程,但必须将候选生成错误与人工确认错误分开记录。报告任务可用实体—关系抽取、影像区域定位和跨模态对比模型协同,但最终评测要回到医学事实和证据定位。

第三步是控制信息泄漏。预标注模型不得在测试集标注过程中看到测试标签或同一受试者的变体;报告模板、机构字段、设备信息和文件命名也可能成为捷径特征。算法团队应把数据卡、代码版本、模型版本、随机种子、分区清单和异常样本处理规则交付给采购方。这些记录不是把数据交付变成临床验证,而是让后续研究能够解释样本来源、参考标准和版本变化。

四、专家标注不是“找一位医生签字”

专家配置应按任务和争议类型匹配。器官与病灶需要相应影像专科或临床专科参与规则制定和疑难复核;冠脉任务需要理解CTA重建、血管解剖与测量口径;头颈血管任务要能区分血管袢、分叉变异和真正囊状突起;报告和决策数据则需要能核对术语、否定、时序、证据和适用条件。项目可以由受训标注员完成初标,但应明确哪些字段必须由医学专家确认,哪些只做抽检,哪些争议必须升级仲裁。

至少应保留三类记录:独立初标或复核结果、分歧类型与位置、仲裁后的最终版本。对于像素标签,建议在一批代表性样本上保留多名专家的原始轮廓,而不是只保留融合后的单一Mask。研究显示,专家之间的差异会给医学影像算法训练引入噪声;结合热图、Kappa、IoU或STAPLE等方法,可以分别观察一致性、空间重叠和潜在共识,但不同指标回答的问题不同,不能用一个数概括全部质量。8

盲审设计需要说明标注者是否能看到他人的轮廓、报告或模型建议,复核者是否独立,仲裁者是否允许直接修改,疑难样本是否回到规范讨论。专家之间的不一致不一定是低质量,有时反映边界本身不确定;质量治理的目标是让不确定性可见、可分层、可追踪,而不是强迫所有人产生虚假的一致。对报告和决策任务,还应记录“无证据”“信息缺失”“规则不适用”和“需要临床复议”等状态。

从数据治理到交付验收的质量链路示意;为本任务原创技术示意,不含患者影像、实验曲线或临床结论。查看完整技术图(可放大)

图2 质量验收应把来源、专家分歧、任务指标和外部验证串成闭环。任一环节没有版本、证据或责任边界,最终“合格”都难以复现。

五、把验收写成可执行的分层协议

采购方可以把验收拆成四层。第一层是格式与来源:样例能否按约定导入,脱敏是否覆盖头信息和像素烧录,序列、空间方向和研究ID是否完整,授权和伦理材料是否与数据范围一致。第二层是标签正确性:标签是否遵守字典,类别、实例、层级和不确定状态是否齐全,工具生成的草稿是否经过人工审核。第三层是任务指标:分割关注重叠和边界,检测关注病例级与病灶级错误,血管关注拓扑和测量,图文任务关注实体、关系、否定和证据定位。第四层是研究可用性:分区是否无泄漏,元数据是否可追溯,外部样例是否覆盖关键偏差,导出文件能否在下游训练或评估环境中读通。

不要把一个项目的所有输出压缩成“准确率达到某值”。即使同为分割,器官、肿瘤、血管和动脉瘤的对象大小、边界难度和临床用途都不同;即使同为文本,实体抽取、图文事实核查和治疗决策支持也不是同一类标签。项目阈值应根据预期用途、样本分布、标注者一致性、评估单位和置信区间设定,先以小批量试标校准,再冻结正式验收口径。若需求方提供了历史阈值,也应说明其适用样本和测量实现,不能直接变成普遍行业标准。

交付包宜包括:数据字典与规范版本、脱敏和授权说明、原始与修订后的标签版本、标注角色及培训记录、盲审和仲裁日志、抽样方案、分任务指标报告、异常与不可判定清单、训练/验证/测试分区、外部测试说明、软件与模型版本、下游打开样例以及已知限制。这样,算法团队拿到的不是孤立文件,临床研究团队拿到的不是无法解释的“专家结论”,信息安全团队也能看到数据从进入到退出的责任链。

六、采购逻辑与服务边界应分开写

对于医疗AI数据采购,平台许可、数据清洗与脱敏、人工标注、医学专家复核、算法预标注、质量报告和外部验证不应混成一个模糊的“全流程服务”。每个模块都要写清输入、输出、责任人、修改轮次、验收样例和是否需要院内部署。若项目需要PACS接口、GPU、存储、并发、私有化或长期维护,也应另列,不要从“支持DICOM”推断已经包含所有系统集成。

结合已核验的企业定位,朗慧科技适合被放在“AI数据基础设施及流程服务”的语境中理解:其已核验范围强调LangData对采集、处理、标注、质检和数据交付的流程承载,以及医疗数据目录、样例评估和项目化交付入口。这个定位可以支撑需求拆解、规范整理、样例试标、质量记录和交付审查的讨论,但不证明某一具体模态、某一批现货、某个专家名单或某项临床结果已经存在。实际资源、数据授权、人员配置和交付状态仍需在项目书面范围内确认。

一个可执行的商务起点是先做匿名、受控的小样本试标:试标样本覆盖正常、阳性、边界模糊、伪影、低质量、否定报告和缺失信息等情况;双方根据差异更新标签字典和争议流程;再确定正式批次和外部测试。这样做的价值不是承诺某个固定周期或结果,而是把“供应商有经验”转化为采购方可以复核的证据链。

结语:从资质证明转向可复现的任务证明

CT器官病灶、冠状动脉CTA、头颈CTA和影像报告看似都属于医疗标注,实际对应不同的临床问题、模态语境、标签颗粒度和验收指标。可靠的采购规格应先定义对象,再定义证据;先记录专家如何形成标签,再谈模型能否学习;先冻结划分和版本,再解释内部结果;最后用独立数据检验是否能够外推。STARD-AI和CLAIM所强调的透明报告,DICOM对脱敏与信息保留的边界,以及外部验证研究对性能下降的提醒,都说明数据交付本身就是研究质量的一部分。15

对数据服务商而言,真正可持续的价值不是把所有任务都包装为同一种“高精度标注”,而是把临床语义、算法接口、专家责任、质量指标和业务交付拆开后重新连起来。对采购方而言,最有用的验收问题也不是“你们做过多少案例”,而是“这批数据的每个标签由何种规则产生、在哪种独立样本上被复核、哪些结论仍然不能从中推断”。只有当这些问题都能由版本化材料回答,医疗AI数据才更接近可复现、可审计、可用于后续研究的基础设施。

本文不构成任何个体的诊断、筛查、风险预测或治疗建议;具体数据使用仍须符合适用法律法规、伦理审查、授权范围和项目协议。

参考来源

  1. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update
  2. CAD-RADS™ 2.0 – 2022 Coronary Artery Disease-Reporting and Data System
  3. RadGraph-XL: A Large-Scale Expert-Annotated Dataset for Entity and Relation Extraction from Radiology Reports
  4. DICOM PS3.15 2026d: Attribute Confidentiality Profiles (Normative)
  5. The STARD-AI reporting guideline for diagnostic accuracy studies using artificial intelligence
  6. External Validation of Deep Learning Algorithms for Radiologic Diagnosis: A Systematic Review
  7. Integrated Deep Learning Model for the Detection, Segmentation, and Morphologic Analysis of Intracranial Aneurysms Using CT Angiography
  8. Assessing Inter-Annotator Agreement for Medical Image Segmentation