跳至正文
朗慧科技

MEDICAL DATA RESEARCH

消化道内镜视频数据:从关键帧到可验收的时序标签

面向医疗AI研发与数据采购,拆解消化道内镜完整视频、关键帧、进退镜与活检时序标签,以及报告局部证据链、专家仲裁、数据划分和外部验证的可执行验收方法,不替代临床诊断或监管结论。

医疗数据研究AI辅助整理 · 研发交流

先回答一个具体问题:模型究竟要“看懂”哪一段检查?

消化道内镜人工智能项目常从一句宽泛的需求开始:提供一批画面清晰的视频、检查报告和关键帧,用于病灶检测、分类、分割或自动生成报告。但对研发团队来说,真正需要先回答的不是视频有多少,而是模型要在什么时间尺度上输出什么。它是要判断镜子正在进镜还是退镜,识别一次活检发生在哪个片段,定位某个解剖部位,还是从局部画面提取与报告某一段文字相对应的证据?如果这些问题没有被拆开,后续的“关键帧”可能只是人工截图,“阶段标签”可能只是一列没有起止边界的文本,模型评价也会把完全不同的任务混成一个分数。

一份面向研发的数据需求可以被匿名地改写为四层对象。第一层是一次检查及其完整视频,附带必要的采集元数据和可视质量记录;第二层是视频时间轴上的阶段、解剖位置和操作事件;第三层是关键帧或片段与报告发现之间的可核对链接;第四层是用于训练和独立评价的版本化交付物。这个拆法既适用于胃镜、肠镜等常见消化道内镜,也能为其他内镜视频的项目规格提供参照。它不等于某个模型已经完成,也不把数据描述自动转化为诊断能力。

下文只讨论可独立成立的数据与标注要求:不把任何来源链、样例链接、机构名称、采购规模或交付状态写成公开事实;动态视频能否进入具体工具链,也必须以脱敏样例、授权边界和书面规格逐项确认。

先把临床任务写成数据任务

需求中的“消化道疾病辅助诊断”不是单一终点。病灶检测需要回答病变是否出现以及大致位置,输出通常是帧级或片段级候选框、中心点或区域;分类需要规定类别层级和不确定状态,例如正常、疑似、明确异常或不同病变类型;分割需要明确是黏膜病灶、器械、出血区域还是其他对象,并规定边界是否允许“不可见”;阶段识别则是时间序列任务,要给出进镜、退镜、活检等事件的起止帧。自动提取关键帧与结构化报告生成又是另一组任务,前者强调代表性和去重,后者强调字段、语义和证据链的对应。

因此,项目规格应给每一个输出定义颗粒度。视频级标签可用于粗筛,但不能替代逐帧或片段边界;帧级标签适合连续阶段和关键解剖标志,却可能放大相邻帧的相关性;病灶级标签要能区分同一病灶的多视角记录;报告级标签要能回到原始检查和报告字段。对“活检”这样的操作事件,还要区分“准备取材”“器械进入视野”“实际取材”和“取材结束”,还是只需一个粗粒度事件。不同选择会改变模型目标、标注成本和验收指标,不能在数据交付后再凭经验补写。

完整检查视频也不能只按文件是否能播放来验收。应记录是否包含检查开始、主要观察过程和结束,是否存在明显跳帧、录制中断、镜头离体、过曝、模糊、液体或泡沫遮挡。质量受限片段有两种合理处理:作为真实世界的困难样本保留并打标签,或按预先规则进入隔离集。若把它们静默删除,训练集会偏向“可见性良好”的理想场景;若把它们当作正常金标准,又会把不可判断误当作阴性。研究中应说明每一类的处理方式和所占比例,而不是只写“画面清晰”。

消化道内镜视频从原始记录到训练可用数据的链路技术示意查看完整技术图(可放大)

图1 消化道内镜视频的数据链路技术示意。 图中把数据入库、时间轴、报告关联和质检验收分开,便于在项目书中逐项签字;不含患者样本,不表示真实病例、实验完成或临床诊断结果。

把关键帧从“截图”变成可复核的证据对象

关键帧并非越多越好。一个检查片段可能连续记录同一部位,或者在清洁、转向和退镜过程中出现大量相似画面。若不规定抽取原则,数据量会被相邻帧虚增,训练和测试还可能因为视角高度相似而发生泄漏。更稳妥的做法是为关键帧建立来源信息:它来自哪一次检查、哪个时间戳、属于哪个阶段和解剖位置、是否代表某一病灶或操作、对应报告的哪个结构化字段,以及是否存在不确定或未对应状态。

关键帧选择可以由人工规则、模型候选或二者结合完成,但“候选”不能直接等于金标准。自动摘要研究显示,完整内镜视频中真正有用的内容往往是稀疏的,视觉表示和聚类可用于区分有信息与低信息片段,并为后续的摘要、事件检测或三维重建提供预处理3。这提示数据工程应保留连续时间轴,同时另建“可用于下游任务的代表性片段”层,而不是只交付一组已经被筛过的图片。否则算法无法研究漏掉了什么,也无法比较不同抽取策略。

报告对齐要比“视频附一份报告”更严格。报告中可能同时出现检查质量、解剖部位、病变描述、操作记录和病理建议。每一类文字的证据范围不同:某个病灶描述可能对应一组连续帧,检查总体质量可能需要整段视频判断,活检描述则需要与操作片段及标本记录相互核对。项目可以为发现建立“片段—字段”链接,也可以先从结构化标签开始,再保留原文位置和修订历史。需要明确的是,整份报告与整段视频的一对一绑定不能证明局部语义已被对齐;若某个发现在画面中不可见,应保留“报告有描述但视频证据不足”的状态。

胃镜数据集的公开研究提供了一个可参考的组织思路:GastroHUN将完整系统筛查流程拆成序列和代表性图像,并以解剖站点分类;论文报告了数百例检查、数千条序列和图像,且由不同经验层级的专家团队进行标注与独立核对2。这类设计的价值不在于照搬其类别数量,而在于把“流程协议”“代表性图像”“解剖层级”和“标注者一致性”同时写进数据模型。对于新的消化道部位或新的设备,仍应重新定义站点、可视条件和事件边界。

阶段分割需要时间轴规则,而不是一句“多阶段标注”

进镜、退镜和活检是临床上容易理解的词,但在视频标注中都需要操作性定义。进镜可以从镜头进入体内开始,也可以从第一次看到特定解剖标志开始;退镜可以从到达最远端开始,也可以从医生确认完成某个检查目标后开始;活检则往往不是一个瞬时动作,可能包括器械进入、接触、取材和退出。项目应写出起止帧的判断条件、边界帧不可见时如何处理,以及同一检查中阶段是否允许交错或回退。

REAL-Colon研究把完整结肠镜视频中的体外、进镜和退镜定义为时间段,并进一步把退镜拆到多个结肠解剖部位;其数据由多个中心的完整检查视频构成,研究者还报告了少量无法确定的帧和明显的类别不平衡1。这对消化道视频项目有两个直接启示。第一,阶段标签应保留“未确定”或“过渡”状态,不能强迫标注者把短暂录制中断归入某个解剖类别。第二,训练与评价要检查每类持续时间和病例覆盖,而不只是随机抽帧后的总体准确率。极少出现的活检或某个可达部位,尤其需要单独报告分布。

算法路线可以从帧级视觉表示与时序模型开始。时间卷积网络、时序Transformer或其他序列建模方法都可能适用,但选择应由标签粒度、离线还是实时场景、可接受延迟和外部验证设计共同决定。对阶段识别而言,模型输出应具有连续性约束,避免在相邻帧之间高频抖动;对关键帧提取而言,应允许模型给出候选及置信度,再由规则或人工复核;对病灶检测和分割而言,应把空间输出与时间上下文结合,但不能用阶段预测替代病灶证据。

报告生成需要另设防错层。模型可以根据已确认的片段、部位和发现标签生成结构化字段,但生成结果必须能够追溯到输入片段和规范版本。对于未覆盖、可视性不足或报告内部不一致的情况,应输出缺失或待复核,而不是用语言模型补齐。这样的设计更适合研究数据交付,也能避免把“文字通顺”误当作临床报告正确。

消化道内镜视频模型的任务定义与外部验证闭环技术示意查看完整技术图(可放大)

图2 消化道内镜视频模型的任务定义与外部验证闭环技术示意。 图中区分临床任务、算法路线、数据划分和验收迭代;不含患者样本,不表示真实模型性能、临床效果或监管批准。

标注主体与争议处理决定了标签能否复用

内镜视频的标注主体应按任务分层,而不是笼统地写“医学专家标注”。视频清晰度、阶段边界和解剖站点可以由经过统一培训的医学标注人员完成初标;病灶类型、活检位置、报告语义和病理关联需要具备相应专科经验的审核者确认;争议样本则应交由独立仲裁者处理。每个角色要有资格范围、可见信息范围和可修改权限,尤其要防止复核者直接看到前一位标注者的答案而产生从众。

标注指南至少应包括正例、阴性、不可见、不确定、过渡和不适用六类状态的定义。对于模糊边界,不应只追求一个“看起来完整”的时间轴,可以保留边界区间、争议原因和最终仲裁依据。对于同一病灶的多角度画面,要有病灶级标识;对于重复检查,要有匿名受试者级关联。若一名受试者存在多次检查,训练、验证和测试应优先按受试者隔离,避免模型记住个人特征或同一病灶的近重复画面。

质量指标必须与任务匹配。阶段分割可关注起止边界误差、逐帧宏平均指标、过渡段召回和类别分布;关键帧可关注代表性、去重率和关键发现覆盖;检测与分割分别使用定位或区域重叠指标;报告关联则要检查字段级准确性、链接完整性和人工可追溯性。任何一个内部指标都不能直接写成临床效果。数据验收还应加入文件级检查,例如时间戳是否连续、视频和帧是否能回放、导出的标签是否能被下游程序读取,以及报告链接能否回到原始片段。

公开质量指南通常把内镜质量分为术前、术中和术后阶段,同时区分结构、过程和结果指标;术中过程可包含摄影记录,术后则包括完整报告、病理随访和不良事件记录5。上消化道内镜质量综述也指出,系统性摄影、完整报告、观察时间和有指征的活检记录都属于重要质量维度,不同指南对摄影站点数和观察时长有具体但并不完全相同的建议4。对数据采购而言,这意味着“有视频”不等于“有质量标签”:应把检查完成度、可视化、摄影或关键帧覆盖、报告字段和操作记录分别验收。

从内部试点到外部验证:业务逻辑必须写进交付

一套可实施的业务流程可以从小规模脱敏试点开始。第一步不是承诺全量交付,而是冻结任务定义和样例验收表:列出可接受的视频编码、帧率和时间戳范围,明确报告字段和关键帧的对应关系,展示阶段边界、不可见片段和争议样本。第二步由算法、临床和数据治理人员共同复核同一批样例,确认标注指南中最容易产生歧义的词。第三步再决定哪些标签做全量,哪些保留为抽样或专项队列。

交付最好分成“原始检查层、结构化标签层、审核记录层和评价清单层”。原始检查层不应包含可识别信息,也不应把内部来源、客户名称或合同条件写入公共说明;结构化标签层保存事件、部位、病灶、关键帧和报告链接;审核记录层记录谁在何时按哪一版规范修改了什么;评价清单层保存训练、内部验证和外部测试的冻结版本。这样做能让同一批数据服务于视频理解、检索、报告结构化和质量管理,而不必为每个模型另起一份互相矛盾的标签。

模型评价要特别防止“相邻帧泄漏”和“中心内随机划分过度乐观”。完整视频常有强烈时间相关性,随机抽帧会把几乎相同的画面分到不同集合;同一受试者的多次检查也可能让模型在测试时见到熟悉的解剖或设备特征。更合理的方案是按受试者或检查隔离,并设置未参与训练的采集环境或设备作为外部测试。REAL-Colon研究同时采用不同折数的划分来考察数据量和未见视频泛化,说明一个单一随机切分不足以支撑完整结论1。在项目书中应把划分单位、随机种子、排除规则和外部验证条件列为交付物,而不是留给使用方猜测。

对已核验能力的表达也需要克制。公司能力边界可支持围绕医疗数据的目录匹配、项目规格、标注与质量交付进行沟通,但不能把源需求中的视频、报告对齐、算法路线或数量口径写成现货、独立认证或已完成临床成果。尤其是动态内镜视频与通用静态医学影像的工具链、接口和验收方式可能不同,应在项目评估中单独确认。若后续需要平台、标注人力、私有化部署或接口联调,应拆成不同模块,分别列出输入、责任、日志、存储和退出方式。

验收不只看“标得多不多”

一个可复用的验收包至少应回答六个问题:视频是否能被完整回放,阶段边界是否有定义且连续,关键帧是否能回到原始时间戳,报告字段是否能回到对应片段,争议和不可见状态是否被保留,导出的标签是否能在目标训练工具中读取。对于病灶分割,还要检查坐标系、图像方向和掩膜格式;对于报告生成,还要检查字段遗漏、否定语义和人工复核入口;对于质量控制,还要检查每个问题能否追踪到规范版本和责任环节。

“是否达标”应按预先约定的抽样单位和阈值判断,并把失败样本类型单独列出。若任务是阶段分割,不能只报告总体准确率,因为长时间的正常观察会掩盖短时活检事件的失败;若任务是关键帧覆盖,不能只报告图片数量,因为重复截图会掩盖关键发现缺失;若任务是报告关联,不能只报告文本相似度,因为一个关键否定词或解剖位置错误可能改变医学含义。验收结果应区分数据质量、标注一致性、模型研究效果和临床可用性,后者需要独立的前瞻性研究,不能由数据交付自动推出。

从业务上看,这种拆分让采购方获得的是可复现的研究基础,而不是一个含糊的“内镜数据包”。研发团队可以基于完整视频研究时间轴和关键帧抽取,临床研究者可以审查报告与证据的对应,数据治理人员可以核对脱敏、授权和版本,质量管理人员可以把不可见、争议和失败类型回流到下一轮规范。它也让供应方的能力表述有边界:哪些是可评估的目录和交付流程,哪些是需要专项试点的动态视频任务,哪些更不能被表述为诊断、治疗或监管结论。

消化道内镜AI真正难的地方,不只是把画面送入更大的模型,而是把检查过程变成一组有时间、有位置、有语义、有责任记录的数据对象。只有当临床任务、视频质量、阶段标签、关键帧、报告链接、专家仲裁和独立验证被同时写进规格,数据才可能从“看起来丰富”变成可训练、可复核、可比较的研究资产。对于涉及病灶检测、操作质控和结构化报告的项目,先完成小规模脱敏试点和任务级验收,再决定是否扩大规模,通常比先承诺一个大而全的数据包更稳妥。

参考来源

  1. A temporal convolutional neural network-based approach and a benchmark for temporal segmentation of full colonoscopy videos
  2. GastroHUN: An Endoscopy Dataset of Complete Systematic Screening Protocol for the Stomach
  3. Automated overview of complete endoscopies with unsupervised learning
  4. Quality indicators in esophagogastroduodenoscopy
  5. The Saudi Gastroenterology Association guidelines for quality endoscopy practice