跳至正文
朗慧科技

MEDICAL DATA RESEARCH

精神心理健康面部视频数据:先把“可比任务”写成可验收标准

面向精神心理健康研究的面部视频数据,本文从临床组与对照组配对、任务与刺激可比性、视频质量、诊断来源、受试者级划分和外部验证,整理可复核的数据规格与验收边界。

临床文本与纵向多模态AI辅助整理 · 研发交流

当研究团队希望用面部视频分析精神心理健康相关信号时,最容易被忽略的问题不是选哪一种网络,而是两段视频究竟能不能比较。一个临床组参与者与一个对照组参与者都在镜头前说话,并不意味着他们接受了相同的情绪刺激;两个人露出相似表情,也不意味着任务难度、谈话压力或诊断背景相近。若这些关系没有进入数据结构,模型可能学到的是摄像设备、场景、语言或录制流程,而不是研究者真正想分析的面部动态。

因此,这类数据不应被笼统地称为“情绪识别数据”。更准确的定义是:围绕精神心理健康研究,收集带有任务上下文和临床分组信息的面部视频,并以任务类型、难度和情绪刺激的可比性建立配对关系。配对的目标是让模型在相近的观察条件下比较群体差异,而不是要求两个人呈现同一种情绪。这个区别决定了入组表、视频元数据、专家判断和最终验收的写法。

先定义临床任务,再决定采集什么

源需求包含四个层次。第一层是研究任务:数据可用于临床组与非临床对照组的区分,也可以支持后续的症状估计或行为表征,但“精神心理健康”本身不是一个足够精确的模型终点。开始采集前,需要说明是做二分类、连续严重度估计,还是研究面部动作与某种临床表型之间的关系。公开研究已经显示,不同任务的标签不能互换。早期音视频研究常把访谈、朗读、元音发声和叙事任务与抑郁量表分数联系起来;AVEC 系列数据也把具体任务和量表标签作为研究设计的一部分,而不是只保留一段无上下文的视频。1

第二层是临床分组。临床组应记录源文件所要求的明确诊断名称,并记录其来源层级;研究筛查结果或参与者自述只能作为另列的证据字段,不能替代明确诊断。对照组不能简单写成“健康”,更稳妥的字段是“无已知明确诊断”以及实际采用的筛查方式。诊断名称、量表分数、测试结果和诊断来源并不是同一个字段。缺少某一项时,应编码为缺失或未知,而不是为了填满表格把不确定信息改成阴性。这样既减少标签噪声,也避免把研究样本误读成临床确诊队列。

第三层是配对关系。每一对视频至少要有两段任务描述、任务类型、难度判断、情绪刺激类型与强度、配对理由和判断状态。两位参与者可以完成同一份量表,也可以围绕相同或足够相近的话题自由讲述;任务顺序可以不同,但差异要记录。认知测试可以通过任务结构和难度匹配,若有得分则作为辅助证据,而不是把得分缺失的样本直接剔除。配对理由应说明“为什么可比”,不应写成“为什么表情相似”。在精神心理研究中,刺激相似而反应不同往往正是要保留的观察差异。

第四层是纵向与重复关系。同一参与者可以出现在多个配对组中,但必须保留受试者级关系键。后续训练、验证和测试划分不能只随机切分视频文件;同一参与者的不同任务、同一段视频的剪辑版本以及同一配对关系都应留在同一划分侧。否则模型可能通过身份、背景或录制条件获得捷径,测试分数就不能代表对新参与者的泛化能力。

从临床任务、视频质量到受试者级验证的配对数据链路查看完整技术图(可放大)

图1|从临床任务到可训练视频配对数据的技术示意,不表示真实患者、现货数据、已完成实验或临床诊断结论。

视频质量不是只有分辨率

面部视频的技术门槛应写成一组可复核字段,而不是一句“画面清晰”。源需求以正脸为主,允许有限的左右或上下偏转,最佳范围与最大范围应分别记录;头部倾斜不作硬性限制,但仍需在元数据中保留可用性判断。面部区域的原始有效高度需要达到设定下限,低清画面放大不能替代采集时的有效分辨率。这样做的目的不是追求摄影指标,而是避免眼周、口周和下颌运动在压缩与放大后变成不可解释的纹理。这里的分辨率、时长、偏转和帧率数值属于本源技术规格的项目验收条件,不是精神心理疾病诊断的通用临床标准;研究终点或采集设备变化时,应重新确认其适用性。

有效时长、帧率和连续性也应拆开验收。有效时长是完成质量门后可用于分析的时间,不等于文件容器的总时长;卡顿、长时间遮挡、镜头切换和任务外空白段都要单独记录。25 fps 可以作为优先条件,但略低帧率不必自动否决,应根据研究任务判断时间分辨率是否仍然足够。若研究要分析瞬时动作,帧率与同步要求会比只做片段级分类更严格。完整视频优先于剪辑片段,因为完整上下文有助于判断刺激何时出现、参与者是否完成任务以及表情变化是否来自任务本身。

遮挡与音频同样会改变任务含义。眼镜可以接受,口罩或其他明显遮挡面部的情况应按需求排除或单独分层。极端光照会同时影响人和算法对面部动作的判断。无声视频可以纳入,但应将音频状态写清;有清晰人声的视频可以支持语音内容、停顿、韵律与面部动态的联合研究,却不能在没有授权和标注设计时默认把音频当成可用标签。任务说明、量表名称、测试结果、诊断来源和缺失原因应与视频键绑定,而不是散落在交付说明里。

公开数据集的做法说明了质量控制与研究目标之间的关系。一个面向青少年心理状态的预印本数据集在采集时统一设备与场景,并以至少20秒、卡顿、完整面部和光照等条件筛选视频;这些是该研究的工程选择,不是所有临床视频项目的通用医学阈值,而且该工作截至本文写作仍是预印本,不能当作同行评审后的临床证据。6 另一项中文多模态数据集研究则把信号质量、视听同步、面部跟踪和模态完整性与情绪、行为标注一起评估,说明视频质量应与标签质量共同进入数据卡,而不是只在交付后抽看几个文件。5

模型路线应围绕配对结构,而不是追逐表情标签

一个可实施的算法路线可以从四层特征开始。第一层是面部可见性与几何质量,包括人脸检测、关键点、头部姿态、裁剪稳定性和遮挡状态。这些变量既可以作为输入,也可以作为质量协变量。第二层是面部动作与外观的时间变化,例如动作单元、眼睑与嘴部运动、局部纹理及其速度和持续时间。第三层是视频上下文,包括说话或沉默片段、任务阶段和刺激出现的相对时间。第四层才是可选的音频或文本特征。若使用语言内容,必须明确它代表任务刺激、个人叙述还是诊断相关信息,并防止文字本身泄露组别。

在建模上,可以先用片段级时序编码器获得视频表示,再在受试者级聚合。若研究问题确实是临床组与对照组的区分,可以把配对键作为分析设计信息,采用配对比较、分层采样或混合效应模型,避免把同一对视频当成两个完全独立的随机样本。若目标是连续症状估计,则应直接预测量表或严重度分数,并报告标签来源、分布和测量误差。既有研究中,连续严重度估计在特定数据上可能比简单的患者—健康二分类更合适,但这只是某一研究与语料的结果,不能据此推断所有精神心理障碍都应改用回归任务。3

自监督学习或迁移学习可以减少对逐帧人工情绪标签的依赖,但不能消除临床设计问题。无标签视频仍可能含有身份、设备、场景和语言偏差;预训练模型也可能把这些因素编码进表示。较合理的做法是先在不含测试受试者的未标注数据上学习一般面部动态,再用冻结的质量规则和版本化标签进行下游训练。模型输出应保留置信度、不确定状态和失效原因,不把热力图或注意力图写成心理机制的证据。

公开研究也提醒我们区分“预定义情绪标签”和“临床诊断标签”。一项手机自拍视频研究收集了多种预先规定的情绪,并将参与者被要求表达的情绪作为视频标签,再比较模型与人工观察者的识别表现。7 这类数据适合研究面部情绪识别或人机一致性,但它与由医生诊断、量表或筛查建立的精神心理临床标签不是同一种任务。将两者直接拼接,会把“应该表达什么”与“临床状态是什么”混为一谈。

对于临床组与对照组视频,模型评估至少应区分三种问题。第一是能否在固定受试者级划分上完成预定的分类、排序或回归;第二是换设备、换任务、换语言或换采集条件后是否保持合理表现;第三是输出是否有助于临床工作流。前两者可以是算法研究的验收,第三者必须另行设计临床验证,不能由单一数据集的 AUC、F1 或误差直接推出。2025 年的系统综述汇总了面部和微表情用于精神与神经疾病研究的不同路线,指出研究人群、样本量和输入模态差异很大;即使文献中报告的数值看起来较高,也不能忽略偏倚评估与外推限制。4

专家标注要判断任务关系,而不是替参与者“读表情”

源需求只要求数据提供方进行一轮人工判断,确认两段视频在任务类型、难度和情绪刺激方面具有可比性,不要求逐帧标注或复杂评分。这一要求适合把采购边界控制在可实施范围内,但“一轮判断”不等于可以省略判定规则。至少应先用小批样本试标,写出任务类型的允许差异、难度的判断依据、情绪刺激强度的分层方式和不能确定时的退出规则。

人工表应把观察对象拆开。任务类型回答两段视频是否做了同类活动;任务难度回答完成活动所需的认知或互动负担是否接近;刺激类型与强度回答参与者面对的内容是否可比;最终表情或情绪反应则不应作为配对通过条件。若谈话内容不完整、任务得分缺失或刺激强度无法判断,标注者应选择未知或不确定,并保留原始理由。对于可能影响研究结论的边界样本,可以进入仲裁队列,而不是在交付前静默改写。

临床标签也要由具有相应职责的人员核对。数据提供方可以整理诊断名称和来源字段,但不能把非专业人员的猜测变成医学诊断。若项目需要把诊断分为亚型、共病或严重度层级,应由研究方先提供标签定义和证据层级,再决定谁能审核。视频标注员不应因为面部表情或说话方式就推断某人患有某种障碍。面部动作是可观察行为,诊断是临床判断,两者必须在数据字典中分栏。

如果后续研究需要动作单元、关键点或连续情绪曲线,可以另行扩展标注方案,但不应将它们悄悄混入本次最低交付。逐帧标注会带来更高的人员资质、盲审和一致性要求;有些面部动作在不同文化、语言和任务中含义并不稳定,若没有可靠的定义,增加标签数量反而会增加偏差。一个简洁、可追溯的“任务可比/不可比/不确定”关系标签,往往比未经验证的细粒度情绪词典更适合作为首批数据的质量门。

专家判断、视频质控与独立验证的三道闸门查看完整技术图(可放大)

图2|标注、质量与独立验证的技术示意,不表示真实患者、实验完成、诊断准确率或监管批准。

偏差、泄漏与外部验证必须写进验收

这类数据至少有五类偏差需要主动检查。第一是人群偏差:若优先中文和亚裔参与者,研究结果的适用范围就不能自然扩大到其他语言和人群。第二是任务偏差:临床组与对照组若接受了不同访谈、不同顺序或不同主持方式,模型可能只学到刺激差异。第三是设备偏差:画面分辨率、摄像头、背景、光线和压缩设置如果与分组绑定,会形成容易但无医学意义的捷径。第四是标签偏差:不同诊断来源、量表版本和筛查阈值混在一起,会使“临床组”内部含义不稳定。第五是重复参与者偏差:同一人的多个视频跨越训练与测试,会让结果看起来比真实泛化更好。

因此,数据划分应优先按受试者,再按配对关系和任务家族冻结。若同一参与者出现在不同配对组中,所有相关视频都应沿用同一划分。训练前还应检查各划分在任务、语言、设备、性别、年龄段和诊断来源上的分布,必要时采用分层抽样或在结果中给出不平衡说明。对小样本亚组,宁可报告不确定性和样本量,也不要用一个整体分数掩盖无数据支持的外推。

内部留出评估可以使用预先约定的敏感度、特异度、AUC、F1、平均绝对误差或校准指标,但指标要与任务对应。类别不平衡时,准确率不应单独承担结论;连续分数要报告误差分布,而不是只报一个平均值;模型输出若要解释为概率,应检查校准。研究报告还需要说明参与者级划分、基线、样本单位、缺失处理、视频有效时长和可用模态。2025 年面部多模态研究在 E-DAIC 上使用了临床访谈的提取视觉特征,包括面部特征、眼动、头姿和动作单元;该数据集出于隐私保护直接提供特征而非原始视频,且其 PHQ-8 分层属于该研究的标签设计。2 这说明特征交付和原始视频交付是两种不同的隐私与复现权衡,不能在方案中混写。

外部验证应改变至少一个重要条件,例如换采集设备、换任务主持方式、换语言或换来源人群。若所有条件都来自同一批参与者和同一套脚本,随机切分只能回答“模型是否记住了这批数据中的模式”,不能回答“是否能迁移到新场景”。外部验证没有通过时,不必把数据集判定为无价值;它可能仍适合方法学研究,但结论应限定为该数据来源和该任务。

从试点到交付:把验收写成可回放的业务闭环

实施上,第一阶段应做小批试采或样例评估,验证数据字典和任务配对表能否被算法、临床研究和质量人员共同理解。样例中应同时包含合格、退回和不确定情形;不要只展示最清晰、最容易配对的视频。第二阶段冻结入组与配对规则,统一录入受试者键、视频键、配对键、任务字段、诊断来源、质量字段和缺失原因。第三阶段按版本交付视频或约定的特征文件,并附关系表、数据字典、质量摘要、退回记录、修订日志和文件校验信息。第四阶段由接收方在目标训练环境中打开样例,确认时长、帧率、编码、音频、时间戳、关系键和标签映射都能被实际读取。

验收不应只写“视频可播放”。更有操作性的检查包括:面部有效区域是否达到约定分辨率;有效时长是否扣除了不可用片段;头部偏转与遮挡是否正确分层;任务说明是否与配对理由相互对应;诊断名称是否保留来源层级;无法确定的信息是否没有被默认为阴性;重复受试者是否能被算法侧识别;随机划分后是否仍不存在同一人的跨集合泄漏;交付版本能否根据日志回放。若样本不满足条件,应给出退回或剔除原因,而不是只给一个总通过率。

业务逻辑上,需求方购买的不是“表情相似的视频数量”,而是一套能支撑特定研究问题的数据关系。数量扩大之前,应先确认首批样本是否能回答任务可比性、标签来源和外部验证三个问题。若研究目标从二分类改成症状估计,从单模态面部改成音视频融合,或从成人队列扩展到青少年和多语言人群,数据规格、伦理与验收都应重新评估。不同用途不能用同一份模糊数据字典覆盖。

按已核验的公司定位,朗慧将自身放在 AI 数据基础设施与流程服务的位置,LangData 覆盖采集、处理、标注、质检和数据交付,医疗栏目提供按模态与任务组织的数据评估入口。这些能力适合支撑数据字典、状态流转、质量记录、版本交付和样例验收等流程;它们不等于已经拥有某一精神心理疾病队列,也不证明已有现成的临床专家、授权视频或经过独立验证的诊断模型。精神心理领域的来源授权、伦理要求、专业审核配置、可提供模态和实际交付范围,仍需按具体项目书面确认。

结语:配对关系是研究价值的一部分

精神心理健康面部视频项目的难点,不是把摄像头对准参与者后再寻找一个分类器,而是把临床分组、任务刺激、视频质量和研究终点组织成可复核的关系。临床组与对照组可以在相近任务下呈现不同反应;配对的价值在于控制观察条件,而不是制造相同表情。只要把诊断来源、任务可比性、不确定状态、受试者级划分和外部验证写进数据规范,后续算法才有机会回答真正的研究问题。

这也给数据采购和研发协作提供了一个实际判断标准:先看是否能交付可解释的关系键和质量证据,再看模型名称与样本规模。研究指标可以支持下一轮假设,不能替代临床验证;数据流程可以降低重复沟通,不能替代伦理、授权和专业判断。对这一类高敏感、强上下文的医学需求,边界写得越清楚,数据越可能在模型训练、复现实验和后续独立验证中持续可用。

参考来源

  1. Automatic recognition of depression based on audio and video: A review
  2. Diagnosis of depression based on facial multimodal data
  3. Automated facial video-based recognition of depression and anxiety symptom severity: cross-corpus validation
  4. AI-based recognition of facial and micro-expressions for the diagnosis of mental and neurological disorders: A systematic review
  5. MindTS-MMD: A Chinese Multimodal Dataset for Emotion Expression Analysis in Children with Tourette Syndrome
  6. Faces of the Mind: Unveiling Mental Health States Through Facial Expressions in 11,427 Adolescents
  7. Facial Emotion Recognition of 16 Distinct Emotions From Smartphone Videos