MEDICAL DATA RESEARCH
神经外科手术视频标注:阶段、动作与意图如何按字段验收
面向神经外科AI研发和数据采购团队,拆解连续手术视频的阶段、动作、解剖目标与意图字段,说明确定性、遮挡、可见性、画面质量、专家复核、数据划分和可追溯验收如何落地。
当一段显微神经外科手术视频被交给算法团队时,最先要回答的并不是“采用哪一种网络”,而是“这一帧到底表达了什么”。画面中的吸引动作可能是在清理血液,也可能是在改善视野;牵开可能服务于暴露,也可能是为了保护神经;同一段操作还可能跨越一个手术阶段的结束和下一个阶段的开始。如果只给每帧一个粗粒度类别,模型也许能学到画面外观,却难以学习术者正在处理的解剖关系、动作的临床目的,以及何时应当把一个阶段视为已经完成。对神经外科视频而言,标注工程首先是临床语义建模,其次才是界面操作。
本文讨论一类可以脱敏改写的医学数据标注方法:将连续神经外科手术视频组织为阶段、动作、解剖目标、意图和质量状态,并形成可供研究、训练和审计的结构化交付。具体操作规范要求在 CVAT 中对掩膜对象填写确定性、遮挡、可见性、画面质量、阶段、动作、意图和备注字段;它不提供个体诊疗意见,也不证明某个模型已经完成临床验证。公开讨论只保留技术要求,不涉及账号、机构、患者或项目来源。
先把“处于哪一阶段、做了什么、为什么做”拆开
神经外科视频的第一层是时间轴和阶段。阶段不是简单的颜色区间,而是围绕一个相对稳定的手术目标形成的连续片段。暴露阶段的核心是建立可用视野,血管识别阶段的核心是确认相关血管与神经的空间关系,减压阶段则涉及冲突部位处理及后续确认。阶段边界往往不是一个画面突然改变,而是由多个线索共同决定:视野从遮挡变为清晰、目标结构被确认、器械更换、动作目的发生改变,或者术者进入下一项既定任务。指南必须说明过渡帧如何处理,不能只有阶段名称而没有起止条件。
第二层是动作和被作用对象。吸引、钝性分离、锐性分离、双极电凝、切开、磨除、牵开、血管操作以及材料放置,表达的是术者正在进行的物理操作。若项目需要更强的可复用性,还应把动作与器械、解剖目标和时间范围关联起来。例如“牵开—小脑组织—改善视野”比单独的“牵开”更适合后续分析,因为它保留了动作对象和任务上下文。SAGES 的外科视频标注共识把时间事件、任务与动作、组织特征和一般解剖分别纳入框架,说明动作标签不应脱离更高层的手术语境。1
第三层是意图。意图不是让标注者猜测术者心理,而是依据术式规范、动作和前后画面,对“为什么进行该动作”作出受控编码。改善视野、控制出血、松解蛛网膜粘连、识别颅神经、隔离责任血管、解除冲突部位、保护神经、清理工作空间和准备材料放置,都可以作为项目字典中的意图候选。画面不足以支持意图时,不应为了填满字段而强行选择一个类别;应依照项目书面规则使用备注、待复核或其他明确的缺失语义,不能把“未观察到”写成“没有发生”。
图1|神经外科视频标签链路技术示意。阶段回答“处于哪一个手术目标区间”,动作回答“正在进行何种操作”,目标和意图补充“作用于何处、为了什么”,三者在审核中分别处理。
把操作规程翻译成可执行的数据字典
一份可执行的标注手册不能只说“按专家理解填写”。它需要把每个字段的允许值、时间粒度、空值含义和争议处理写清楚。对于本类神经外科视频,阶段、动作和意图的原始枚举可以保留英文原值并配中文显示,避免下游导出时发生同义词漂移。
阶段字段要求每帧恰有一个阶段标签。适用的九个阶段包括 Exposure(暴露)、Arachnoid Opening(蛛网膜打开)、Cerebellar Retraction(小脑牵开)、Vessel Identification(血管识别)、Conflict Site Identification(冲突部位识别)、Decompression(减压)、Teflon Placement(Teflon 放置)、Hemostasis(止血)以及 Closure(关闭,如存在)。这条“每帧一个阶段”的要求与动作字段不同:项目不能把同时发生的动作压成一个阶段,也不能把器械出现本身当作阶段转换。对于录像切换、视野离开目标或手册未覆盖的画面,是否新增“非手术画面”“不可判定”等编码,必须在项目补充规范中事先约定,不得在批次执行中临时发明。
动作字段允许记录多个动作。原手册给出的动作集合包括 Suctioning(吸引)、Blunt Dissection(钝性分离)、Sharp Dissection(锐性分离)、Bipolar Coagulation(双极电凝)、Cutting(切开)、Drilling(磨除)、Retraction(牵开)、Manipulation of Vessel(血管操作)以及 Placement(放置 Teflon 或 Cottonoid)。当同一时间窗内存在两个或更多动作时,应完整记录,并在导出结构中区分并行动作或动作实例;不能只留下一个“主动作”,否则后续模型会把伴随操作误当成背景。对于“操作血管”这类目标相关的复合动作,项目还要规定它与牵开、分离之间的边界。
意图字段包括 Improve Visibility(改善视野)、Control Bleeding(控制出血)、Free Arachnoid Adhesions(松解蛛网膜粘连)、Identify Cranial Nerve(识别颅神经)、Isolate Offending Vessel(隔离责任血管)、Decompress Conflict Site(解除冲突部位)、Protect Nerve(保护神经)、Clear Workspace(清理工作空间)以及 Prepare for Teflon Placement(准备 Teflon 放置)。这些字段应依据当时的画面和项目语境填写,而不能因为材料随后出现,就反推此前所有动作都是“准备放置”。若主意图和次意图同时成立,项目应预先决定是否允许多标签、是否需要顺序,以及专家复核者如何处理分歧。
除语义标签外,质量元数据也必须有稳定含义。certainty 表示标注者对“对象是否正确且完整”的信心,而不是模型未来的置信度;原手册将 1.0 作为绝对确定,0.7–0.9 作为大概率正确,0.4–0.6 作为不确定,低于 0.4 作为含糊或部分遮挡,并要求在不确定时补充 notes。occlusion 用 0 表示完全可见、1 表示部分遮挡、2 表示重度遮挡;visibility 以 0–100% 记录可见程度。quality 不是把低质量帧删除,而是区分 none、blur、smoke、blood_splash 和 underexposed。这样,模型错误、画面缺陷和标注者犹豫才不会在一个类别里混在一起。
以连续视频为对象,而不是把视频随意拆成截图
这类需求的输入不是若干静态截图,而是经授权、脱敏并完成完整性校验的连续视频,以及能够支撑时间对齐的帧序和元数据。最小数据对象可以分为视频层、时间层、事件层和审核层。视频层保存文件索引、格式、完整性校验和授权状态;时间层记录帧号、时间戳、帧率、片段起止和拼接关系;事件层保存阶段、动作、目标、意图以及质量字段;审核层记录标注人、复核人、指南版本、争议和最终决定。视频来源、术者身份和机构信息不应写进公开文章,但实际项目应在授权范围内保留必要的血缘元数据,以便追查偏差来源。
帧级标注和时间段标注不是互相替代的方案。阶段通常适合用连续时间段表达,动作可以在更细粒度上采用起止帧或动作实例,意图则可能覆盖一个动作区间,也可能只在关键片段成立。项目启动时应规定每个字段的时间粒度,以及动作重叠时的处理方式。例如吸引和牵开可能在同一时间窗内同时发生;若系统只允许单一主标签,就必须明确优先级和伴随动作的保留位置。对阶段转折,还应保存边界帧、依据和必要的专家复核状态,而不是只保留一个最终颜色。
连续视频高度相关,训练、验证和测试不应按帧随机打散。更稳妥的做法是按手术或患者划分,使同一手术的相邻帧、同一视频的不同片段和同一患者的关联记录不跨集合。SAGES 关于外科视频数据生命周期的共识指出,数据结构需要同时考虑格式、质量、元数据、来源多样性、偏差和治理;这些要求同样适用于开放手术和显微手术。3 系统综述也发现,既有研究大量集中于阶段、步骤或动作识别,但临床信息、术语定义和标注过程经常描述不足,跨机构复用因此受限。2
数据字典还应把“未观察到”“不可见”“不适用”“真正缺失”和“未填写”分开。比如动作没有出现在某一帧,不等于该帧质量足以判断动作不存在;镜头被血液、烟雾或器械遮挡,也不等于解剖目标是阴性。每次导出都应带上指南版本、数据划分版本和审核状态,避免同一标签名在不同版本中悄然改变含义。
专家复核要进入过程,而不是最后盖章
标注主体应根据字段难度分层。受训标注者可以完成帧序、质量字段和明显动作的初标;具有相应神经外科术式经验的审核者负责阶段边界、解剖目标和意图字典;独立复核者检查是否遵循指南、是否存在标签串联、是否把遮挡当成阴性,以及是否把同一动作拆成不一致的时间段。SAGES 框架由临床医生、工程师和数据科学家共同参与,并经多轮 Delphi 过程形成建议,提示这类规范不宜由软件团队单独决定。1
初标与复核应尽可能盲法进行。复核者不应先看到初标者姓名、上一轮结果或项目方希望的答案。对同一片段的独立结果,可以分别比较阶段边界差异、动作类别差异、意图一致性和质量字段一致性。分歧不能只汇总成一个总 Kappa:阶段是时间段问题,动作是多标签或实例问题,意图带有上下文判断,三者的统计口径必须分别设计。时间段可以报告边界偏差、重叠度和转折误差;动作可以报告类别、实例边界和并行动作关系;意图则应记录不可判定率、争议率和专家仲裁比例。具体指标、抽样单位和阈值均应由项目书面约定,不能把本文建议写成公司统一验收标准。
公开的 PituPhase65 神经外科阶段数据研究提供了一个重要警示:手术可能是不完整的,阶段并不总是按固定顺序出现,某些阶段可能被省略;即使由经验丰富的神经外科专家标注,阶段转折仍会出现分歧。该研究对相同视频开展盲法复标和一致性检查,并在低一致性片段回到专家讨论,而不是用自动多数票静默覆盖。4 这不能直接证明其他术式应采用同一套阶段表,但说明项目要把流程变异、阶段缺失和争议回溯写进数据设计。
算法路线应服从标签语义和验证设计
阶段识别通常可以拆为帧级视觉编码和时间建模。视觉编码器提取组织、器械、血液、烟雾和视野状态,时间模型再利用前后帧判断阶段连续性、转折和短暂异常。对于相邻阶段视觉线索相似的神经外科画面,单帧分类容易混淆,因此可以考虑时序卷积、循环网络、Transformer 或其他时间上下文模型;但模型名称不能替代数据设计。若数据集没有可靠的阶段起止与质量字段,增加网络深度只会放大标签噪声。
内镜垂体手术研究显示,自监督预训练可以在标注数据减少时用于阶段识别,但具体效果依赖数据规模、划分、阶段定义和实验设置,不能直接推导到其他术式或临床场景。5 更稳妥的研发路线是先用未标注视频学习视觉表示,再用经专家审核的阶段标签做下游训练,同时保留遮挡和低质量帧,避免预训练只学习理想画面。任何实验结果都应明确是研究数据上的阶段识别表现,不应写成实时手术辅助、诊断支持或患者获益。
动作识别需要比阶段识别更细的时间分辨率。可以先检测动作候选区间,再分类动词、器械和目标;也可以采用“器械—目标—动词”的动作三元组,形成可解释单元。近期针对内镜垂体腺瘤切除的研究由神经外科医生和数据科学家共同建立动作本体,将器械、目标和动词拆开,并用独立标注与 Cohen’s Kappa 评估复现性。6 这种思路与本任务的动作和目标字段相容,但术式不同,不能直接照搬其类别表;本任务仍应以目标手术的专家讨论和原手册枚举为起点。
模型辅助标注、插值和追踪只能产生草稿,不能自动升级为金标准。每一次模型辅助修改都应保留原始轮廓、模型版本、人工修改范围和审核状态,以便回答“模型错在哪里”“哪些画面需要更多专家样本”。主动学习可以优先挑选阶段不确定性高、动作冲突多、遮挡明显或跨术者差异大的片段,但抽样策略必须与冻结的数据划分分开记录,不能因反复挑难例而改变测试集含义。
把质量验收写成可复核的链路
质量验收不能只看一个总准确率。第一道闸门是来源治理:确认视频用途、伦理与授权边界,执行脱敏并记录处理版本;以手术或患者为单位划分集合;记录采集系统、分辨率、帧率、视野变化和设备差异。第二道闸门是标签质量:检查每帧是否有且只有一个阶段值,动作是否允许完整表达并行关系,意图是否遵循字典,certainty、occlusion、visibility、quality 和 notes 是否按约定编码。第三道闸门是审核状态:待标注、已标注、待复核、已审核和已仲裁必须可区分,未审核草稿不得进入金标准或最终训练导出。
样例验收应覆盖正常视野、阶段转折、多个动作并存、部分或重度遮挡、血液或烟雾干扰、曝光不足、镜头离开目标、意图不明确以及视频片段不完整等边界情况。对每个样例,不仅要检查标签值,还要检查下游程序能否正确读取帧号、时间戳、事件重叠、空值含义和版本字段。若项目要对接训练代码或分析软件,应把“导出后可读取并与原视频对齐”写成可重复测试,而不是只验收一张界面截图。
图2|神经外科视频质量验收闭环技术示意。数据治理保证可用和可追溯,专家审核保证语义可解释,模型与交付验收分别检查研究性能和数据产品完整性。
验收对象还应区分数据产品和模型研究。对阶段任务,可以约定帧级宏平均指标、时间段重叠、转折点误差和类别不平衡处理;对动作任务,应检查类别、起止边界、器械或目标关系、并行动作和稀有动作表现;对意图任务,应报告专家复核率、不可判定率、争议率和不同术者之间的稳定性。任何阈值都应随任务规格冻结,不用某一篇论文的指标替代项目验收,也不把研究数据上的效果写成临床效果。
跨场景验证应在项目开始时写进方案,而不是模型训练后才补。可按不同术者、设备或采集设置、手术变体、视频完整性和遮挡程度分层。评价时要按手术或患者汇总置信区间,避免把连续帧当作独立样本而夸大有效样本量。若目标是动作级数据交付,验收对象应是时间边界、类别、目标、意图和质量字段的联合一致性;若目标是训练模型,还应冻结数据划分和随机种子,并报告独立测试而不是只报告交叉验证。
研发采购与公司能力边界要分开写
对数据采购方而言,第一项验收不是“平台能否打开视频”,而是能否保持原始时间关系、片段顺序、字段语义和版本记录。第二项是字段完整性:每个阶段事件是否有起止定义,每个动作是否有类别和时间范围,目标与意图是否遵守字典,质量字段和不确定性是否可追溯。第三项是审核状态和交付物:视频索引、标签字典、样例、版本记录、审核状态、争议清单、质量报告和数据划分是否成套交付。
平台软件、标注人力、专家审核、数据脱敏、接口适配、存储和部署环境应分开列项。已核验的公司能力可以支持医疗数据项目中的需求梳理、标注规范、质量记录和数据交付流程;但不能由这份 CVAT 操作手册推断某个神经外科视频模型已经现货化,也不能把公开研究中的模型效果当作公司服务指标。当前公开能力边界以医疗 DICOM 数据工作流和项目化质量交付为主;神经外科手术视频属于需要单独确认的扩展任务,实际是否接入、如何部署、由何种专家审核以及如何验收,都应通过脱敏样例和书面方案确认。
一个可持续的数据产品应同时交付视频索引、字段字典、样例、版本记录、审核状态、争议清单、质量报告、数据划分和已知失败模式。研究者也应在论文或模型卡中说明数据来源、适用术式、标注主体、划分单位、外部验证、遗漏和偏差。这样得到的不是一组看起来整齐的彩色时间轴,而是一套能被重新检查、比较和扩展的手术过程数据。
研究与应用边界
本文讨论的是医学 AI 研发、数据标注和验收方法,不构成医疗建议、手术指导、个体诊断或疗效承诺。视频中的阶段、动作、意图和质量标签必须在具体项目的授权、伦理、脱敏、专家资质和研究协议下定义。任何模型结果都需要在独立数据和适用的临床评价框架中验证,不能依据本文或单一数据集推断对具体患者的适用性。原手册没有提供具体术式之外的采集设备、帧率、样本数量或统一验收阈值,这些内容应在项目书面规格中补齐,而不是由文章替代。
参考来源
- SAGES consensus recommendations on an annotation framework for surgical video
- A systematic review of annotation for surgical process model analysis in minimally invasive surgery based on video
- SAGES consensus recommendations on surgical video data use, structure, and exploration
- PituPhase65: An endoscopic pituitary surgery dataset for surgical phase recognition
- Improving surgical phase recognition using self-supervised deep learning
- Action classification for endoscopic pituitary adenoma resection

