MEDICAL DATA RESEARCH
手术室非接触交互如何从“能识别”走向“可安全验收”:毫米波雷达手势数据的设计、标注与边缘部署
面向医疗AI研发与数据采购团队,拆解手术室非接触交互中的毫米波雷达输入、动作分段、身体干扰、开放集拒识、专家标注、边缘部署与风险验收,并明确受控研究原型与真实临床使用之间的证据边界。
手术操作者一手持器械、另一手也可能处于无菌操作状态时,如何在不离开手术位、不触碰公共面板的前提下浏览影像、翻页或完成经过批准的设备控制?这不是把“手势识别准确率”再提高几个百分点就能解决的问题。真正的工程难点是:雷达看到的身体运动如何被切分为可解释事件,事件如何映射到有限且不易误触发的命令,以及这些命令如何在无菌流程、遮挡、噪声和边缘算力受限的条件下接受验证。
一项围绕MIMO调频连续波毫米波雷达的技术研究,给出了一个值得拆解的医疗场景:用非接触感知支持手术室中的页面切换、悬停确认和数字输入。其研究主体不是患者诊断,也没有把雷达回波当作疾病标签;它面对的是医疗环境中的人机交互任务。这个边界很重要。术中交互系统可以减少操作者离开无菌区域去操作影像或控制终端的需要,但它不能因此被表述为已经改善手术结局、降低感染率或获得临床批准。已有综述也将术中非接触图像控制视为一个涉及工作流、传感器、人因和安全验证的系统问题,而不是单一分类模型问题。1
本文以这一技术需求为入口,讨论如何把它改写成可采购、可采集、可标注、可验收的数据与研发规格。文章中的阈值、测试矩阵和安全闸门属于建议设计;不同雷达、安装位置、控制对象和医疗机构必须重新试采和验证。本文不提供患者诊断、治疗或用药建议。
还要把源研究本身的证据口径写进项目记录:原论文使用60 GHz级MIMO FMCW雷达、受控手势区域和嵌入式原型,验证的是手势/数字交互、边缘运行及模拟控制界面功能,并非真实手术中的前瞻性临床评价。它可以作为信号链与算法拆解的工程起点,但不能直接变成真实患者安全、关键设备控制安全或医疗器械性能承诺。
一、先把医疗任务说清楚:这是“操作控制”,不是“医学判断”
源研究所描述的临床工作流可以拆成四层。第一层是操作者在手术区域保持手位和器械状态;第二层是通过挥动、悬停或空中书写等有限动作改变界面状态;第三层是系统把动作转成页面、控件、数字或光标事件;第四层才是经授权的终端执行显示或环境控制。这里的临床任务是无菌条件下的信息访问与设备交互,解剖部位和病种并不是模型标签。被感知的主体主要是操作者的手、前臂和身体散射回波,而不是患者的器官、病灶或生理指标。
因此,需求说明应明确“输入模态—输出事件”的边界。输入不是一张普通摄像头照片,而可以是FMCW MIMO雷达的I/Q采样、距离谱、距离—角度图、距离—多普勒或多维雷达数据立方体,同时带有帧时间戳、雷达安装姿态、固件和采集会话信息。输出也不应只是“数字3的类别概率”,而应是带时间的交互事件:动作是否开始、何时结束、属于哪一类手势、目标控件是什么、置信度如何、是否拒识、当前界面状态是否允许执行。
在粒度上,至少要分开三个问题。第一是检测:当前是否出现了可能需要处理的动作;第二是分段:有效动作的起止帧在哪里,进入和离开手势区的冗余运动是否应排除;第三是决策:该段动作是否足以触发某一个命令。把这三步压成一个总准确率,会掩盖“动作分对了但起止错了”“类别分对了但界面状态不允许执行”“未知动作被强行分入已知类别”等高风险错误。
若要进入真实术中,还存在动作占用和工作流约束。例如操作者可能单手持器械、双手持器械、手臂被无菌布或设备局部遮挡,旁边还有助手、麻醉人员和移动设备。RadSense研究以Doppler雷达支持一只手或双手忙碌时的医学影像交互,在模拟手术室中用四类动作控制影像,并报告了受控实验中的识别精度。2这一结果说明“雷达可以用于无菌影像交互”的可行性,但并不等于在真实手术、不同设备和不同团队中已经完成临床验证。
图1 手术室毫米波雷达交互数据链路(技术示意,不表示真实患者、已完成实验或临床诊断结论)。
二、数据设计的核心:正样本之外,必须认真采“不会触发”的动作
医疗交互数据最容易犯的错误,是把数据集做成一组干净的手势视频或一批标注好的雷达轨迹。对控制系统而言,负样本和边界样本往往比再增加一类标准手势更有价值。数据设计应至少包含五类片段:无命令背景、有效命令、身体或器械干扰、动作含义不确定、训练集之外的未知手势。无命令背景不能只是在空房间里静止,还要覆盖正常转身、调整器械、擦拭、递接物品、弯腰、抬臂和多人经过等容易产生回波的动作。
场景矩阵应按医疗环境而不是普通智能家居来组织。第一维是雷达相对操作者的位置、俯仰角、距离和遮挡关系;第二维是手套、无菌衣、袖口、器械和无菌布对动作的影响;第三维是灯光、显示器、金属设备、移动人员和背景杂波;第四维是操作者的手部占用、惯用手、动作速度和动作幅度;第五维是设备批次、固件、采样参数和网络状态。每一次采集都应记录可用于分层分析的元数据,但不应为了追求“丰富画像”而收集不必要的身份信息。
纵向配对在这里不是患者随访,而是同一操作者在不同会话、不同雷达安装状态、不同任务阶段中的重复动作。这样的配对可以帮助判断模型究竟学到了手势语义,还是记住了某位操作者的手形、某个房间的背景或某一台雷达的固定噪声。训练、验证和测试至少要按操作者隔离;若目标是多机构部署,还应进一步留出场地、设备批次和时间窗口。近期临床场景FMCW研究采用留一受试者交叉验证,在八名参与者和十一类手势上报告了检测与分类结果,并把边缘处理速度纳入评价。3这类设计比随机打散帧数据更接近跨人的真实问题,但参与者规模仍不足以代表所有手术团队和所有工作流。
标签本体需要把动作、语义和安全状态拆开。可以设置“背景”“候选动作”“有效挥动”“悬停确认”“空中数字”“身体干扰”“器械干扰”“多人干扰”“未知动作”“歧义片段”和“取消/回退”一级标签,再在有效动作下挂接目标页面、控件和允许的界面状态。对每段轨迹记录起止帧、主要动作、备选解释、是否可执行以及分歧原因。若一个动作在当前页面上没有合法含义,应标为拒识或无效,而不是为了提高分类率强行映射到最近的命令。
数据卡还应说明雷达的工作频段、天线配置、帧率、距离分辨率、角度估计方法、有效探测范围、安装位置、采集时的背景控制、标签覆盖和已知缺失。医疗场景的“数据颗粒度”不是越细越好:对于安全控制,事件级命令和毫秒级时间关系比患者级标签更重要;对于算法研究,原始回波和中间特征要能回溯;对于交付和审计,固件、阈值、模型版本及命令日志必须可追踪。
三、算法路线应分层:先排除身体干扰,再判断动作语义
源研究采用的路线具有清晰的工程启发。它先对雷达三维数据做杂波抑制,再形成一维距离谱和二维距离—角度谱,提取候选目标与连通域,利用空间属性区分手势目标和身体干扰;之后估计手势质心轨迹,用自适应方法切除进入和离开手势区的冗余段,对轨迹做平移、尺度归一化和重采样,最后用轻量时序网络完成数字或动作分类。这种先缩小搜索范围、再把高维回波压成低维运动轨迹的思路,适合边缘计算,但每一步都可能引入偏差,不能只看最后的分类结果。
在信号层,背景估计不能假设手术室永远静止。人员走动、金属设备移动和设备姿态变化会使背景分布缓慢漂移;过强的自适应更新又可能把持续的手部动作当成背景削弱。距离目标检测、恒虚警阈值和角度估计需要通过不同距离、不同反射体和不同遮挡条件验证。对身体干扰的定义也不能只包括完整的人体,还应包含手臂、肘部、器械和多人同时出现时的局部散射。高分辨率并不自动意味着低误触发,复杂场景下的信噪比、遮挡和多径仍需独立测试。
在分段层,固定的“动作前后停顿”规则可能在不同操作者之间失效。源研究用速度变化与双阈值方法寻找有效轨迹起止,这可作为候选方案,但医疗系统还应加入最短持续时间、最大允许时长、连续命令冲突和动作取消条件。对持续控制和离散控制要分开设计:翻页可以是一次离散事件,悬停确认则需要时间窗与状态机,空中书写还涉及连续轨迹分段。把所有动作都当作一帧分类,会丢掉控制语义。
在模型层,可以采用“检测器—分段器—分类器—命令闸门”的四段式结构。检测器判断是否存在可能动作,分段器输出候选区间,分类器给出动作及置信度,命令闸门结合界面状态、安全规则和人工确认决定是否执行。轻量LSTM、TCN或其他时序模型可用于资源受限的边缘节点;较新的跨人研究把Mamba状态空间模块与原始雷达数据立方体结合,在受控跨人实验中报告了94.28%的平均识别准确率和2.55%的标准差。4这类结果提示跨人泛化是独立研究问题,但不应被解读为跨医院、跨设备或真实术中效果。
复杂场景研究也显示,融合距离、速度、角度和时间信息能够比单一特征表达更完整的动作,并在其设定下报告了97.28%的十四类手势识别准确率。5但该研究主要针对视距内的单手单动作,作者也指出连续手势和非视距场景仍需研究。对于手术室数据,模型路线应优先支持拒识、延迟可控、断连可恢复和可解释日志,而不是只追求一个封闭集的最高准确率。
四、专家标注不是“画框”:要把工作流和使用错误纳入标签
标注主体至少需要三种角色。第一是熟悉医疗工作流的人因或临床流程专家,负责判断动作何时具有操作意义、哪些控件属于高风险、什么情况下必须人工确认;第二是经过训练的数据标注人员,负责按规范标定帧边界、动作类别、干扰来源和界面状态;第三是雷达与机器学习质量人员,负责检查信号完整性、时空连续性、模型输入和标签的一致性。三者不能由同一套默认规则替代,也不能把算法置信度直接当成人工真值。
标注协议要写出“什么时候开始”和“什么时候结束”。以悬停为例,手进入控件区域不一定等于确认开始;需要定义进入距离、稳定时间、离开冷却时间和取消条件。以空中数字为例,第一笔有效运动、短暂停顿、最后一笔结束和手离开交互区都可能成为边界。若两名标注人员对边界帧意见不同,应保留区间、分歧类型和仲裁理由,而不是只留下一个看似精确的单帧答案。
质量检查应采用盲审、交叉复核和专家仲裁相结合的方式。对正样本,检查动作是否与雷达轨迹和界面语义一致;对负样本,重点检查是否存在可能误触发的相似运动;对连续轨迹,检查标签在时间上是否跳变;对多设备或多通道数据,检查时间戳、坐标和设备状态是否对齐。可以报告类别级精确率、召回率、F1、事件边界误差和标注一致性,但不要把人工一致性设为一个脱离任务定义的统一数字。
验收指标要与临床风险相关。建议至少报告每小时误触发次数、每次任务漏命令率、命令到界面反馈的P50/P95延迟、连续命令冲突率、未知动作拒识率、断连恢复时间、设备重启后的状态恢复、功耗和日志完整率。对于页面导航和影像浏览,误触发和延迟的权重可能不同;对于可能改变关键设备状态的命令,宁可进入确认或人工接管,也不能用“平均准确率高”掩盖少数高代价错误。
FDA在2026年更新的人因与可用性工程指导中强调,应围绕预期用户、预期用途和使用环境开展风险导向的设计与评估,以降低使用错误及其可能造成的伤害。6IEC 62366-1同样把医疗器械可用性工程定义为分析、规定、开发和评价与安全相关的过程,强调对正确使用和使用错误的风险进行处理。7对毫米波交互系统而言,这意味着手势标签、界面状态、错误提示、确认机制和替代操作都属于系统安全的一部分,不能把验证工作外包给分类器指标。
图2 从标签定义到临床交互验收的四层质量闭环(技术示意,不表示真实患者、已完成实验或临床诊断结论)。
五、边缘部署的验收:模型输出不能直接替代设备安全逻辑
源研究把信号处理和轻量网络部署到资源受限的嵌入式处理器,并通过无线链路向显示与应用模块发送手势事件。这个架构对工程实施的启发是,原始雷达数据尽可能在边缘完成初步处理,输出结构化事件而不是持续上传全部回波;但它也带来新的验收对象:帧丢失、时间戳漂移、温度变化、存储写满、无线断连、固件升级和异常重启都可能改变交互行为。
建议把交互模型与关键设备控制逻辑隔离。模型只输出“候选事件+置信度+时间+目标控件”,由独立的命令闸门检查当前页面、操作者状态、允许的动作序列和是否需要确认。对高风险或不可逆操作设置二次确认、超时取消、人工接管和硬件急停;对模型失联、置信度不足或状态冲突,默认不执行而不是猜测。医疗设备本体仍应由其既有安全控制、权限管理和报警机制负责,手势模型不能成为单点失效源。
部署前可采用三阶段验证。第一阶段是台架与回放验证,使用带有完整元数据的雷达片段重现阈值、固件和模型版本,检查输出是否可重复。第二阶段是模拟手术室影子模式,系统只记录预测,不驱动实际控制,比较预测事件与人工操作和界面状态。第三阶段才是在限定功能和限定人员下进行前瞻性工作流试用,逐步扩大动作类别和控制范围。每次更换雷达位置、设备批次、固件、采样配置或标签体系,都应触发再验证,而不是沿用旧的准确率。
研究论文中的实验效果必须与临床效果分开。RadSense的模拟手术室研究、临床场景FMCW研究和跨人雷达研究分别说明了无菌交互、边缘运行和跨用户泛化的不同技术侧面;它们的参与者数量、动作集合、传感器配置、数据划分和测试环境均不相同。源研究所报告的嵌入式延迟、内存和识别率,也只能说明其受控系统的工程表现,不能推出真实患者安全、手术时长、感染率或医疗结局改善。采购方应把“研究性能”“系统验收”和“临床使用评价”设为三份不同记录。
六、对数据采购与研发协作的实际含义
如果把这一需求写成数据项目,采购文件应先提出任务本体和风险边界,再讨论数据量。最小规格可以包括:雷达原始或可复现中间数据、帧级时间戳、动作起止、手势类别、身体/器械干扰、未知和歧义标签、界面状态、设备与安装元数据、标注版本、复核记录和数据卡。若同时需要影像导航,应单独说明影像数据是否只用于界面回放、是否需要真实患者数据、如何授权和脱敏;不能因为系统控制的是影像界面,就默认可以采购或复用患者影像。
验收批次应保留按人员、场地、设备、手部占用和干扰条件分层的统计。交付方应提供训练/验证/测试划分规则,证明同一会话或高度相似轨迹没有跨集合泄漏;对未知手势和空闲背景给出单独的拒识与误触发结果;对边缘部署给出延迟分位数、资源占用、断连和重启行为;对标签质量提供盲审、仲裁、边界误差和版本记录。商业授权、数据来源和个人信息处理必须通过书面项目文件确认,技术文章不替代合同或伦理审批。
原论文原型中的控制对象包括页面、虚拟按钮以及灯光、空调、电话等模拟界面,论文报告的是受控系统功能与嵌入式运行测试;它没有证明在真实术中控制关键设备的安全性。对具备医疗数据基础设施能力的服务商而言,较可行的切入点是把需求规格化、建立数据卡和标签体系、组织匿名化采集与标注、实施质量复核、输出可追溯数据包,并协助研发团队做外部验证。根据已核验的公司定位,朗慧的能力边界是AI数据基础设施与流程服务,覆盖采集、处理、标注、质检和数据交付;这并不等于已经拥有特定毫米波雷达现货、完成了该手术室系统或取得医疗器械认证。实际项目仍需先做设备适配、样例评估、试采和书面验收确认。
结语:把“非接触”变成可审计的医疗交互工程
手术室非接触交互的价值,不在于把手势识别包装成新的诊疗能力,而在于把操作者、无菌环境、信息界面和设备控制之间的摩擦降到可管理范围。MIMO毫米波雷达提供了不依赖可见光、可在一定遮挡下感知运动的技术路径,但它同样会面对身体干扰、多径、多人、设备漂移和跨人泛化问题。只有当数据设计包含不会触发的动作,标签定义包含歧义和拒识,模型输出经过命令闸门,验收指标覆盖误触发、延迟和回退,系统才有可能从论文中的受控实验走向可审计的医疗工程。
对研发和采购团队,最值得保留的判断是三点。第一,临床任务先于模型:先明确谁在什么状态下控制什么对象,再决定采集哪些雷达模态。第二,安全事件先于平均准确率:把错误命令、未知动作和断连恢复写进验收,而不是事后补充。第三,能力声明先于营销表述:研究结果、服务商的流程能力、医疗器械合规和真实临床效果必须分开记录。这样形成的数据链,才既能支持算法迭代,也能经得起跨人员、跨设备和跨场景的复核。
参考来源
- Advances in the development and application of non-contact intraoperative image control systems
- RadSense: Enabling one hand and no hands interaction for sterile manipulation of medical images using Doppler radar
- Real-Time Hand Gesture Recognition in Clinical Settings: A Low-Power FMCW Radar Integrated Sensor System with Multiple Feature Fusion
- End-to-end Cross-person Gesture Recognition Via Mamba Fusion Network and Millimeter-wave Radar
- Millimeter wave gesture recognition using multi-feature fusion models in complex scenes
- Applying Human Factors and Usability Engineering to Medical Devices
- IEC 62366-1:2015 Medical devices — Part 1: Application of usability engineering to medical devices

