跳至正文
朗慧科技

MEDICAL DATA RESEARCH

从术野语义到可验收输出:微血管减压术视频标注如何服务外科AI研发

MVD术中视频标注如何从SOLOv2预标注走向可复用数据?本文拆解解剖与器械实例分割、certainty/occlusion/visibility、阶段—动作—意图、逐例摘要、质量验收、按手术划分与外部验证,供医疗AI研发和数据采购评估。

内镜与手术视频AI辅助整理 · 研发交流

在微血管减压术(microvascular decompression,MVD)视频中,算法真正需要学习的并不是“画出几个颜色不同的区域”,而是回答一组彼此牵连的问题:当前画面中哪些解剖结构和器械确实可见?它们是否被血液、烟雾或器械遮挡?外科操作处于哪个阶段、正在执行什么动作、可能服务于什么操作意图?当模型草稿与专家判断不一致时,差异能否被定位、解释并回溯到具体帧?如果输出只剩一批没有上下文的掩膜,后续的手术流程识别、器械交互建模和外部验证都会失去可靠的输入。

因此,MVD视频标注更适合被定义为一个面向研究的数据工程任务:以术中视频帧为输入,以解剖结构、器械、可见性、不确定性和时间语义为多层输出,以可解析文件、逐例摘要和版本记录作为验收闭环。本文围绕这一差异化问题展开,讨论如何把一份具体技术需求改写成可执行、可审计、可供算法组复用的数据规范。文中不使用患者影像,不复述任何病例或项目身份,也不把标注结果表述为临床诊断或治疗依据。

MVD术中视频从预标注帧到对象级可审计输出的技术示意查看完整技术图(可放大)

图1 MVD术中视频从预标注帧到对象级可审计输出的技术示意;不含患者影像,不代表真实项目已完成或模型已训练。

一、先把临床任务拆成可标注的对象和关系

MVD的技术难点来自术野中多个层级同时变化。手术目标涉及颅神经根部与责任血管的识别、分离和减压,过程中还伴随蛛网膜处理、牵开、止血、垫片置入以及视野清理等步骤。解剖文献描述,SCA常见于三叉神经上方,AICA可位于神经的尾侧,岩上静脉及其属支也可能影响观察或参与压迫关系;责任结构并不总是单一动脉,血管分支、静脉复合体和局部解剖变异都可能改变操作路径。4 另一篇包含术中视频的开放研究展示了SCA、AICA与岩上静脉复合体同时造成压迫的情形,并记录了以特氟龙垫片分隔动脉与神经的处理过程。5 这些研究不能直接变成某个数据集的“真值”,但足以说明为什么MVD标注不能把所有细长结构合并成一个“血管”类别,也不能把特氟龙置入当作脱离上下文的器械出现事件。

源需求的第一层是对象层:每帧要识别一组解剖结构和手术器械,并对其进行实例级分割,同时保留边界框、类别和必要的元数据。项目字典可以包含小脑、蛛网膜、脑干、CN5、CN7、CN8、CN9/10/11、SCA、AICA、岩上静脉、迷路静脉等解剖对象,也可以包含吸引器、电凝器、双极器械、钳、钝探针、钻、克里森咬骨钳、棉样、剪刀、剥离器和特氟龙等器械对象,并设置未知类处理标记。公开稿不应把类别名字本身当作医学结论;真正重要的是在标签字典中写清每个类别的视觉边界、允许的空值、遮挡时的处理以及与相邻类别的区分规则。

第二层是帧和对象之间的关系。一个对象可能在相邻帧中持续出现,也可能因镜头移动短暂离开视野;同一血管或神经在不同帧中的可见范围也可能随牵开和清理而改变。因此,数据不能只保存对象的静态掩膜,还要保存帧号、视频或手术级标识、对象实例标识以及可回溯的版本信息。对于模型研发,帧是观察单位;对于划分和外部验证,手术或完整视频才更接近独立样本。把这两个层级混为一谈,是手术视频数据最容易出现的泄漏来源之一。

第三层是时间语义。需求要求每帧恰有一个阶段标签,例如暴露、蛛网膜开放、小脑回缩、血管识别、冲突位点识别、减压、特氟龙置入、止血和闭合;动作标签可以多选,包括吸引、钝性剥离、锐性剥离、双极电凝、切割、钻削、牵开、血管操作以及特氟龙或棉样置入;意图标签则要表达操作为何发生,例如改善视野、控制出血、松解蛛网膜粘连、识别颅神经、隔离责任血管、减压冲突位点、保护神经、清理工作区或准备置入特氟龙。阶段、动作和意图是三个不同问题:阶段偏向“流程位置”,动作偏向“正在做什么”,意图偏向“为何这样做”。如果把三者压成一个类别,模型既难以解释,标注争议也无法定位。

二、模型预标注只能是草稿,专家修订才是数据生产

以SOLOv2或其他实例分割模型生成初始掩膜,可以减少从零开始勾画的重复劳动,但不能把模型输出当作人类级标注。神经外科术中视频的困难不只是边界细,而是边界会在局部遮挡、镜面反光、起雾、血液覆盖、器械快速运动和组织形变中不断变化。早期神经外科术中视频标注研究对约三万四千帧视频进行了人工整理,并将软件与人员约束、存储和访问、协议标准化及标注结果如何投入使用列为关键工作流问题;研究还将CVAT等工具列为可采用的开源选项,同时强调工具并不会替代规范和人员组织。1

一个可执行的修订流程应先冻结类别字典和轮廓协议,再让经过培训的标注人员对模型草稿逐对象检查。边界应跟随可判断的组织轮廓,不留下粗糙多边形或把模型的偏差直接继承下来。对于被血液、烟雾或器械遮住的对象,只标记实际可见部分,不根据前后帧臆测不可见区域;如果无法可靠区分神经与血管,应该使用事先规定的不确定状态并写明原因,而不是为了让画面“完整”而强行补全。特别是CN5、CN7、CN8、SCA、AICA和SPV等容易混淆、又具有较高研究价值的类别,应进入难例清单和专家复核队列。

这里的确定性不是模型的置信度替代品,而是标注者对该对象“是否正确且完整”的结构化判断。项目可将确定性编码为连续值或离散区间,并同时记录遮挡等级和可见度百分比。确定性较低、遮挡较重或图像质量受影响的对象,不应在汇总时被悄悄当作普通样本。quality_flag还可以标记模糊、烟雾、血液飞溅和欠曝等帧条件,notes用于记录无法被有限枚举值表达的边界问题。这样的字段不是为了增加表格复杂度,而是为了让后续训练、抽样复核和误差分析知道“模型错在什么观察条件下”。

COCO论文将实例级分割作为对象定位和场景理解的重要表达方式,并以每个实例的分割信息支持检测与分割任务。7 对MVD项目而言,COCO JSON可以作为基础交换结构,但需求中的确定性、遮挡、可见度、阶段、动作、意图和质量标记属于面向手术研究的扩展字段,不能假设所有下游工具天然理解。交付规范应明确字段类型、允许值、空值语义、坐标系、图像尺寸和版本号,并用脱敏样例验证文件能否被训练端和质检端分别读通。

三、专家标注的对象不是“谁更权威”,而是分歧如何留下证据

MVD标签同时包含几何判断和手术语义。标注员可能能准确修正大多数器械轮廓,却无法独立判断一个细小血管是否与神经形成冲突;医学专家可能能解释操作意图,却需要统一的像素边界规则才能形成稳定掩膜。因此,人员配置应按任务拆分,而不能用一个笼统的“专家已审核”替代所有职责。

更稳妥的流程是先由受过任务培训的标注人员完成对象勾画和字段初填,再由复核人员检查类别、边界、遮挡和帧内语义,最后将无法通过字典规则解决的争议提交具备相应神经外科知识的医学专家。复核者是否能看到前一位标注者的意见、是否采用单盲或交叉复核、哪些字段可直接修改、哪些字段必须保留原意见,都应在项目方案中写明。分歧处理不应只留下一个最终值,还要保留争议点、采用依据、修改者、修改时间和规范版本。这样,未来如果研究终点变化,研究者仍能判断哪些字段可以重用,哪些字段需要重新裁决。

公开研究也提示,手术视频AI的标签设计和人员报告并不总是充分。2025年的系统性范围综述纳入122项手术视频AI研究,最常见任务包括手术阶段识别、器械识别和术野可视化;但相当一部分研究未报告标注员数量,标注人员经验和数据来源中心也经常缺失。2 这对MVD数据建设的启发是,标注主体、复核层级、帧或手术的抽样单位、难例比例和争议关闭规则都应进入数据卡或质量报告,而不是只在内部口头约定。

四、把验收写成四层,而不是只看掩膜能否打开

第一层是文件可解析性。每个对象至少要能回指原始帧,并包含分割、边界框和类别字段;坐标不能超出图像尺寸,轮廓不能出现无法解析的空结构,类别ID必须与冻结版字典一致。若扩展字段使用字符串、数值或枚举,应在模式文件中固定,不让同一概念在不同批次出现多种拼写。任何一份“能打开”的JSON,都不等于能被训练代码正确解释。

第二层是对象级完整性。质量检查应同时核对确定性、遮挡、可见度和质量标记;遮挡对象是否只标可见部分,严重遮挡是否有备注,低照度和起雾是否进入困难条件统计,都应能通过规则或抽样检查发现。对于解剖对象与器械重叠的帧,要特别检查类别冲突、实例粘连和重复计数。可以按类别、遮挡等级和图像质量分层抽样,而不是只随机抽取清晰帧。

第三层是帧级语义闭环。按项目规则,每帧应具备阶段标签、允许的一个或多个动作标签、意图标签和不确定性指标;如果出现出血、血管—神经冲突、突然运动、意外组织运动或相机起雾等罕见事件,应在与帧绑定的元数据中标记。事件标签的价值在于让算法组能够按困难场景建立独立切片,而不是在最终报告中用一句“存在异常帧”一笔带过。

第四层是逐例摘要和版本回溯。每个手术或视频单元应有摘要表,至少能够汇总平均确定性、遮挡对象数量、被标记的帧、困难对象清单和评审人意见。摘要不是替代逐帧数据的统计表,而是训练前的质量导航页:它能帮助研究者决定是否要排除某些帧、单独分析某类事件,或把争议样本放入不参与主评估的探索性集合。摘要中的每个数字或清单项都应能回指对象、帧和规范版本,否则统计结果无法复核。

MVD标注验收从对象层、帧与病例层到独立验证的技术示意查看完整技术图(可放大)

图2 MVD标注验收、困难切片分析与独立验证的技术示意;不含患者影像,不表示真实样本、实验曲线或临床验证。

五、算法路线要与标签层级对应

如果数据同时提供实例分割和时间语义,算法不宜把所有字段简单拼成一个大分类任务。对象层可以采用实例分割或检测—分割联合架构,输出解剖结构和器械的空间位置;阶段层可以采用时序编码器或视频Transformer建模相邻帧的流程连续性;动作和意图则可采用多标签头,因为一帧内可能存在多个操作动作,且一个动作的临床意图不能从单一像素轮廓中必然推出。更复杂的研究还可以把对象之间的空间关系、器械与组织的交互以及阶段转移约束作为图结构或条件建模的输入,但这属于建议的研发路线,不是源项目已经完成的算法结果。

训练时应考虑可见区域和标注不确定性。对只标注可见部分的对象,损失函数不应把遮挡区域默认为背景;对确定性较低、质量受损或存在争议的对象,可以在探索性训练中设置权重或单独分层,而不是直接混入同一金标准。任何这类策略都要在实验计划中预先写定,并在结果中报告敏感性分析。模型预标注可作为主动学习的候选来源,但被模型选出的“高不确定样本”仍需经过人类复核,不能形成模型自我循环的标签闭环。

手术流程和技能识别的公开基准说明了多任务评价的必要性。HeiChole研究在多中心视频上同时标注阶段、动作、器械和技能,并报告不同任务之间明显不同的识别水平;其结论不是某个固定网络应达到的门槛,而是说明阶段、动作和器械的难度不能用一个总分代替。3 对MVD数据,同样应分别设定分割质量、检测质量、阶段识别、动作多标签和意图一致性的评价口径,避免清晰可见的器械任务掩盖少见血管或困难意图的失败。

六、偏差控制必须在数据划分前完成

MVD视频具有强烈的时间相关性。相邻帧看起来很像,把同一台手术的前后片段随机分入训练集和测试集,可能得到过度乐观的性能;同一术者、设备或拍摄习惯也可能让模型学到背景和成像风格,而不是解剖或操作本身。因此,主划分应以手术或完整视频为单位,并记录划分规则、随机种子、版本和排除条件。若研究要考察跨中心泛化,还应把未参与训练的来源、设备或术者作为独立外部集合,而不是从同一视频继续抽帧。

2026年正式发表的手术场景理解系统综述与元分析指出,现有研究大量依赖少量、单中心且缺少病例元数据的数据集,任务常由公开数据的可得性塑造,而不完全由临床问题驱动;验证策略和评价指标也常不足以支持临床转化判断。6 这并不意味着一个MVD数据集必须追求庞大规模,而是要求在数据卡中说明来源构成、手术类型、设备差异、术野质量、术者差异和纳入排除逻辑。对于罕见的血管—神经冲突、出血和突然运动,最好保留事件计数和可复核索引,而不是为了类别平衡虚构样本或过度复制同一帧。

外部验证至少要按三种困难切片观察:其一是视觉条件,如血液、烟雾、模糊、起雾和欠曝;其二是对象条件,如部分遮挡、细小血管、多个器械同时出现和未知器械;其三是语义条件,如阶段边界、动作共现和意图分歧。除了Dice、IoU、检测精度或F1等常见研究指标,还应报告不确定性校准、分层错误类型和版本间变化。研究性能只能说明在给定数据、划分和任务定义下的表现,不能直接推导手术安全性、诊疗效果或监管批准。

七、从数据生产到业务交付:能力边界要写进项目书

这类任务的业务逻辑不是采购一批“神经外科现货数据”,而是把需求评估、样例试标、规范冻结、批量生产、复核验收和可追溯交付拆成可签字的工作包。启动阶段应确认视频是否已完成合法授权和脱敏,明确允许保存哪些元数据,确定采用的标注工具、导出格式和下游读取环境;试点阶段应优先暴露类别边界、遮挡编码、阶段转移、动作共现和摘要表缺口;批量阶段则要持续保留问题单和版本血缘;验收阶段同时检查样例文件、模式校验、抽样结果、摘要表、困难帧清单和回修记录。

基于已核验的公司能力边界,朗慧可在书面项目范围内将其AI数据基础设施与流程服务能力用于需求梳理、标注规范设计、任务组织、质检记录和数据交付;LangData的定位是覆盖采集、处理、标注、质检和交付的流程平台,而不是已经完成某一MVD队列、拥有某种临床现货或替代医学专家。具体视频模态、CVAT配置、专家角色、复核覆盖范围、交付规模与周期,都应通过样例评估和项目文件确认。公开稿不应把需求中的数量、内部讨论的验收阈值或任何项目身份写成公司统一能力,也不应把“可提供项目化服务”写成诊断性能承诺。

对采购和研发读者而言,最有价值的交付物通常不只是一份COCO JSON,还包括标签字典、字段模式、版本记录、样例渲染、质量报告、争议清单、逐例摘要、困难场景索引和下游读取说明。这样,算法团队可以知道哪些标签能用于训练,医学研究者可以知道哪些字段来自观察、哪些来自专家裁决,信息部门可以核对授权、权限和日志,项目负责人也能在需求改变时评估返工范围。数据服务的价值由可追溯性和可复现性体现,而不是由“高精度”三个字单独证明。

结语:把手术视频变成可讨论、可复核的数据对象

MVD视频标注的研发价值,集中在把复杂术野中的对象、时间、可见性和操作语义拆成彼此连接但不相互替代的数据层。实例分割回答“哪里有对象”,遮挡和可见度回答“有多少证据可见”,阶段—动作—意图回答“操作处于什么过程、正在做什么、为何发生”,逐例摘要和版本记录则回答“这批数据如何形成、哪里仍然不确定”。只有这些层级同时可追溯,数据才有可能支持手术基础模型、流程分析或训练评估的后续研究。

这类数据建设仍处于研究工程范畴。任何模型训练、独立验证或未来部署,都需要由项目方依据伦理、隐私、数据授权、质量管理和适用监管要求独立完成;本文不构成医疗建议、临床诊断、手术指导、患者风险判断或疗效承诺。对任何具体个人的临床决策,仍应由具备相应资质的医务人员结合完整病史、原始影像和术中信息作出。

参考来源

  1. A Guide to Annotation of Neurosurgical Intraoperative Video for Artificial Intelligence
  2. Use of artificial intelligence in the analysis of digital videos of invasive procedures: a systematic scoping review
  3. Comparative validation of machine learning algorithms for surgical workflow and skill analysis with the HeiChole benchmark
  4. Patterns and Variations in Microvascular Decompression for Trigeminal Neuralgia
  5. Microsurgical Decompression of Trigeminal Neuralgia Caused by Simultaneous Double Arterial (SCA and AICA) and Petrosal Vein Complex Compression
  6. Artificial intelligence for surgical scene understanding: a systematic review and reporting quality meta-analysis
  7. Microsoft COCO: Common Objects in Context