一种基于多模态信息融合的抑郁风险评分方法及系统
本发明涉及人工智能及心理健康评估,具体为一种基于多模态信息融合的抑郁风险评分方法及系统。
背景技术:
1、随着现代社会生活节奏加快、学习和工作压力增加,抑郁问题在不同年龄群体中均呈现出较高的发生率。据世界卫生组织统计,全球抑郁症患者数量已超过数亿人,抑郁症已成为导致全球疾病负担加重的重要因素之一。然而,抑郁症的早期识别率仍然较低,大量患者未能获得及时干预和治疗。因此,如何及时、准确地发现抑郁倾向,并为早期干预和心理健康管理提供辅助依据,已经成为公共卫生和人工智能交叉领域中的重要研究课题。
2、传统的抑郁风险评估主要依赖临床访谈和量表测评,例如汉密尔顿抑郁量表、贝克抑郁量表和患者健康问卷等。这些方法虽然具有较好的临床效度,但存在明显局限性:一方面,量表评估结果受被试者主观报告意愿和回忆偏差影响较大,部分患者可能因病耻感而刻意隐瞒或低估自身症状;另一方面,量表评估需要经过专业培训的评估人员实施,评估周期较长,难以在大规模人群筛查中高效开展。此外,传统评估方法难以实现长期、连续的心理状态监测,无法满足数字化心理健康管理的需求。
3、随着计算机视觉、语音信号处理和深度学习技术的发展,基于行为信号的自动抑郁风险评分方法逐渐成为研究方向和热点。心理学和行为医学研究表明,抑郁状态往往会在个体的面部表情、眼神变化、头部动作、语音语调、语速、停顿以及声音能量等方面有所体现。具体而言,抑郁个体可能出现面部表情变化幅度减小、眼神交流减少、头部动作迟缓、语调平缓单调、语速降低、停顿增多、声音能量下降等现象。这些外在行为信号可以被视为反映个体内在心理状态的重要客观指标,为自动抑郁风险评分提供了理论基础。
4、在此背景下,利用人工智能方法对视频和音频数据进行分析,从而实现抑郁程度自动预测,具有重要的研究意义和应用价值。相比传统量表评估,自动抑郁风险评分方法可以从被试者自然表达过程中提取客观行为特征,减少完全依赖主观报告所带来的偏差;相比人工访谈分析,自动风险评分方法能够提高筛查效率,降低人力成本,并为长期心理状态监测提供技术支持。尤其是在高校学生心理健康筛查、互联网心理咨询辅助、远程医疗和社区心理服务等场景中,自动抑郁风险评分具有较好的应用前景。
5、现有的自动抑郁风险评分技术主要包括基于视频、基于音频和多模态融合三类。相关研究已从人工特征逐步发展到深度学习、注意力机制和transformer模型,但在特征表征、鲁棒性、融合机制和可解释性方面仍存在一些不足之处。
6、在基于视频的抑郁风险评分方面,早期方法主要是利用面部表情、动作单元、头部姿态和眼神等人工特征。有些学者利用动态面部外观描述子建模抑郁相关变化,随后depressionnet、depnet等采用深度网络自动提取视觉特征。近年来,lscaformer、depressformer等进一步利用注意力机制和transformer建模长短期时序信息。此类方法能够有效捕捉面部外观及动态变化,但多数方法仍将视频整体特征直接映射为抑郁类别或严重程度,对具体抑郁行为及其出现位置缺乏显式建模,模型可解释性有限。同时,视频特征容易受到光照、遮挡、姿态变化和面部动作不明显等因素影响,在复杂场景下的稳定性和泛化能力仍有不足。
7、在基于音频的抑郁风险评分方面,传统方法主要采用基频、能量、语速、停顿和梅尔频率倒谱系数等声学特征,近年来逐渐转向卷积网络、循环网络和深度语音模型。muzammel等利用深度神经网络学习抑郁相关声学表示,tao等学者通过transformer建模语音与面部信息。音频能够反映语调平缓、语速减慢和停顿增多等抑郁表现,但容易受到背景噪声、录音设备和环境混响影响。此外,不同个体在音色、方言、语速和表达习惯上差异较大,使声学特征与抑郁程度之间的对应关系不够稳定,单一音频模态的预测精度通常低于视频模态。
8、在多模态抑郁风险评分方面,研究者通过融合视频、音频和文本信息提高评估性能。niu等学者利用多模态时空表示进行抑郁检测,lmtformer、caiinet、depmstat等采用注意力或跨模态transformer建立模态间交互,dynmultidep则进一步引入动态融合机制。多模态方法能够利用不同信息源的互补性,但视频、音频在数据结构、时间尺度和语义层次上存在较大差异,容易产生特征对齐困难、信息冗余和模态冲突。同时,不同样本中各模态可靠性并不一致,而现有模型对模态质量的自适应判断能力仍然有限。例如,当视频受到严重遮挡或光照不均时,视频模态的可靠性下降,但现有融合方法往往对各个模态同等对待,未能有效区分可靠模态与不可靠模态。
9、综上所述,现有技术中缺乏一种能够有效融合视频和音频信息、自适应处理模态可靠性差异、且具备良好可解释性的抑郁风险评分方法及系统。
技术实现思路
1、本发明的目的在于提供一种基于多模态信息融合的抑郁风险评分方法及系统,旨在改善现有抑郁风险评分方法中,单模态特征易受环境干扰、多模态融合时特征对齐困难且无法自适应调节各模态贡献,导致融合稳定性差、预测精度低、模型可解释性不足的问题。
2、本发明是这样实现的:
3、为了实现上述目的,按照本发明的一个方面,本发明提供一种基于多模态信息融合的抑郁风险评分方法,包括以下步骤:
4、s1、获取包含被试者面部图像和语音信息的原始视频数据,并对所述原始视频数据进行预处理,分别得到视频模态输入数据和音频模态输入数据;
5、s2、将所述视频模态输入数据输入视频时序特征提取网络,提取视频全局特征,并根据所述视频全局特征获得视频模态预测分数;将所述音频模态输入数据输入预训练语音编码器,提取音频全局特征,并根据所述音频全局特征获得音频模态预测分数;
6、s3、将所述视频全局特征、音频全局特征、视频模态预测分数和音频模态预测分数进行融合处理,以视频模态预测分数作为基础预测值,利用音频全局特征以及视频全局特征与音频全局特征之间的跨模态交互信息获得残差修正量,将基础预测值与残差修正量相加,得到多模态抑郁风险评分结果。
7、优选的,所述步骤s1具体包括:
8、对于视频模态,对所述原始视频数据进行人脸检测,定位连续视频帧中的面部区域,对检测得到的人脸图像进行裁剪、对齐和尺寸统一,按照预设的时间长度或帧数将连续的人脸图像组织成视频片段,作为视频模态输入数据;
9、对于音频模态,从所述原始视频数据中分离音频信号,对所述音频信号进行重采样、幅值归一化以及固定长度截取或补齐处理,作为音频模态输入数据。
10、优选的,所述视频时序特征提取网络包括粗粒度特征提取模块、三维patchembedding模块、多尺度transformer编码器和视频回归头;
11、所述步骤s2中,提取视频全局特征并获得视频模态预测分数,具体包括:
12、s211:将所述视频模态输入数据输入所述粗粒度特征提取模块,通过三维卷积在时间、高度和宽度三个维度建立局部感受野,提取粗粒度时空特征;
13、s212:将所述粗粒度时空特征输入所述三维patch embedding模块,通过三维卷积将所述粗粒度时空特征转换为三维嵌入特征,将所述三维嵌入特征展平为时空token序列;
14、s213:将所述时空token序列输入所述多尺度transformer编码器,通过多尺度多头自注意力机制、多尺度全局特征聚合和多尺度时空特征重标定进行深层时序建模,得到增强后的视频时空特征;
15、s214:对所述增强后的视频时空特征进行全局聚合,得到视频全局特征;
16、s215:将所述视频全局特征输入所述视频回归头,获得视频模态预测分数。
17、优选的,所述多尺度全局特征聚合表示为:
18、
19、其中,为输入所述多尺度全局特征聚合模块的视频特征,表示卷积核尺寸为的三维卷积操作,表示填充操作,分别为经不同尺度三维卷积处理后的中间特征,不同尺度的三维卷积分别用于捕获不同范围的时空变化及不同特征通道之间的信息交互;
20、所述多尺度时空特征重标定为:沿通道维度对视频特征进行聚合,得到时空响应特征,分别采用不同尺度的三维卷积对所述时空响应进行处理,通过sigmoid函数生成时空权重图,利用所述时空权重图对原始时空特征进行逐元素重标定:
21、
22、其中, 分别为不同尺度三维卷积对进行处理后得到的特征,为sigmoid函数,为所述多尺度时空特征重标定模块的输入特征,表示逐元素乘法,为重标定后输出的视频时空特征。
23、优选的,所述步骤s2中,提取音频全局特征并获得音频模态预测分数,具体包括:
24、s221:将所述音频模态输入数据输入所述预训练语音编码器,所述预训练语音编码器通过卷积特征提取模块从音频波形中提取低层声学表示,通过transformer编码器对语音上下文进行建模,输出帧级音频特征序列;
25、s222:对所述帧级音频特征序列进行时间维度上的注意力聚合,得到音频全局特征;
26、s223:将所述音频全局特征输入音频回归头,获得音频模态预测分数。
27、优选的,所述步骤s3具体包括:
28、s31:通过视频投影网络和音频投影网络分别将所述视频全局特征和所述音频全局特征映射到相同维度的融合特征空间,得到投影后视频特征和投影后音频特征;
29、s32:根据所述投影后音频特征生成针对视频模态的第一门控权重,利用所述第一门控权重对所述投影后视频特征进行残差式门控调制,得到门控后视频特征;根据所述投影后视频特征生成针对音频模态的第二门控权重,利用所述第二门控权重对所述投影后音频特征进行残差式门控调制,得到门控后音频特征;
30、s33:计算所述投影后视频特征与所述投影后音频特征之间的逐元素乘积,得到双线性交互特征;
31、s34:将所述门控后视频特征、所述门控后音频特征、所述双线性交互特征、所述视频模态预测分数和所述音频模态预测分数进行拼接,得到融合向量;
32、s35:将所述融合向量输入融合回归网络,得到未约束的残差修正量,采用双曲正切函数对所述未约束的残差修正量进行幅度约束,得到残差修正量;
33、s36:将所述视频模态预测分数与所述残差修正量相加,得到多模态抑郁风险评分结果。
34、优选的,所述步骤s32中:
35、根据所述投影后音频特征生成针对视频模态的第一门控权重,利用所述第一门控权重对所述投影后视频特征进行残差式门控调制,得到门控后视频特征,具体为:
36、
37、其中,为第一门控权重,为sigmoid函数,和为可学习参数,为投影后音频特征,为门控后视频特征,为投影后视频特征,表示逐元素乘法;
38、根据所述投影后视频特征生成针对音频模态的第二门控权重,利用所述第二门控权重对所述投影后音频特征进行残差式门控调制,得到门控后音频特征,具体为:
39、
40、其中,为第二门控权重,为门控后音频特征,和为可学习参数。
41、优选的,所述步骤s35中,采用双曲正切函数对所述未约束的残差修正量进行幅度约束,得到残差修正量,具体为:
42、
43、其中,为融合模块产生的残差修正量,表示预设的最大修正幅度,为融合向量,和为可学习参数,为双曲正切函数;
44、所述s36中所述多模态抑郁风险评分结果为:
45、;
46、其中,为多模态抑郁风险评分结果,为视频模态预测分数。
47、按照本发明的第二方面,本发明提供一种基于多模态信息融合的抑郁风险评分系统,用于上述基于多模态信息融合的抑郁风险评分方法,包括:
48、数据获取与预处理模块,用于获取包含被试者面部图像和语音信息的原始视频数据,并对所述原始视频数据进行预处理,分别得到视频模态输入数据和音频模态输入数据;
49、特征提取模块,用于将所述视频模态输入数据输入视频时序特征提取网络,提取视频全局特征,并根据所述视频全局特征获得视频模态预测分数;以及将所述音频模态输入数据输入预训练语音编码器,提取音频全局特征,并根据所述音频全局特征获得音频模态预测分数;
50、多模态融合评分模块,用于将所述视频全局特征、所述音频全局特征、所述视频模态预测分数和所述音频模态预测分数进行融合处理,以所述视频模态预测分数作为基础预测值,利用所述音频全局特征以及所述视频全局特征与所述音频全局特征之间的跨模态交互信息获得残差修正量,将所述基础预测值与所述残差修正量相加,得到多模态抑郁风险评分结果。
51、优选的,所述多模态融合评分模块包括:
52、特征投影单元,用于通过视频投影网络和音频投影网络分别将所述视频全局特征和所述音频全局特征映射到相同维度的融合特征空间,得到投影后视频特征和投影后音频特征;
53、跨模态门控单元,用于根据所述投影后音频特征生成针对视频模态的第一门控权重,利用所述第一门控权重对所述投影后视频特征进行残差式门控调制,得到门控后视频特征;以及根据所述投影后视频特征生成针对音频模态的第二门控权重,利用所述第二门控权重对所述投影后音频特征进行残差式门控调制,得到门控后音频特征;
54、双线性交互单元,用于计算所述投影后视频特征与所述投影后音频特征之间的逐元素乘积,得到双线性交互特征;
55、特征拼接单元,用于将所述门控后视频特征、所述门控后音频特征、所述双线性交互特征、所述视频模态预测分数和所述音频模态预测分数进行拼接,得到融合向量;
56、残差修正单元,用于将所述融合向量输入融合回归网络,得到未约束的残差修正量,采用双曲正切函数对所述未约束的残差修正量进行幅度约束,得到残差修正量;
57、评分输出单元,用于将所述视频模态预测分数与所述残差修正量相加,得到多模态抑郁风险评分结果。
58、与现有技术相比,本发明的有益效果是:
59、本发明提供的基于多模态信息融合的抑郁风险评分方法及系统,与现有技术相比,具有以下有益效果:
60、1、本发明通过视频分支中采用多尺度时空特征重标定机制,增强与抑郁状态相关的关键时间片段和面部区域,抑制背景变化、姿态偏移等干扰信息;通过音频分支中采用预训练语音编码器提取高层语音表示,有效缓解个体音色、方言和表达习惯差异带来的影响,从而提高了单模态特征的鲁棒性,降低了环境干扰对特征提取的影响。
61、2、本发明通过特征投影网络将视频和音频特征映射到相同维度的融合特征空间,解决了特征分布不一致带来的对齐困难;通过双向残差式门控机制,根据模态间的信息进行自适应特征增强或抑制,避免某一模态质量下降时对整体预测产生过大负面影响;通过视频主导的残差式融合策略,以视频预测结果为基础值,利用音频特征及跨模态交互信息学习有限幅度的残差修正量,避免不可靠模态对预测结果的过度干扰,从而实现了模态贡献的自适应调节,提升了融合稳定性。
62、3、本发明通过多模态融合充分利用视频和音频的互补性,并通过逐元素乘积构建双线性交互特征,增强双模态共同响应,从而提升了预测精度。
63、4、本发明通过设计视频主导的残差式融合策略,使残差修正量的大小可直接反映音频模态对视频基础预测的修正作用,模型的决策过程具备可解释性;同时通过grad-cam可视化显示模型响应区域集中于眼部、嘴部及面部表情变化区域,便于临床人员理解和信任模型输出。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com