基于双分支多尺度3D坐标注意力的抑郁症识别方法及系统

本发明属于深度学习和医学图像处理，尤其涉及基于双分支多尺度3d坐标注意力的抑郁症识别方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、近年来随着深度学习技术的发展，计算机视觉技术逐步被应用到抑郁症识别领域中去。因为深度学习模型可以直接从原始图像或视频序列中自动学习判别能力更强的多层次特征，大幅降低了对人工特征设计与领域先验知识的依赖，所以目前基于深度学习的方法进行抑郁症的识别已成为主流技术手段之一。

3、目前基于深度学习技术的面部抑郁症识别方法仍然存在一些问题，比如说多数模型对面部特征的建模方式较为单一，从而难以精准定位与抑郁高度相关的面部区域与关键时间片段。同时，固定感受野的卷积结构无法适配面部的多尺度动态变化。此外，多数模型对面部动态信息关注不够，导致与抑郁相关的关键特征无法被充分提取从而导致抑郁症识别的精确性和可解释性不够强。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了基于双分支多尺度3d坐标注意力的抑郁症识别方法及系统，可以精确定位于抑郁症识别相关的面部特征，同时适配面部多尺度动态变化，提取更多的面部动态信息，从而提升抑郁症识别的精确性和可解释性。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、第一方面，公开了基于双分支多尺度3d坐标注意力的抑郁症识别系统，包括：

4、面部视频采集与数据预处理模块，被配置为：获取面部视频并通过数据预处理完成人脸标准化，输出人脸标准化的面部视频；

5、深度学习网络模块，被配置为：构建双分支多尺度3d坐标注意力深度学习网络，所述网络包括：

6、3d卷积层及最大池化层，用于对输入的人脸标准化的面部视频进行基础时空特征提取，输出初始面部特征；

7、掩码层，用于对初始面部特征抑制背景噪声、强化面部关键区域特征，生成双分支公共输入特征；

8、主干特征分支，以 3d 残差网络为骨干，嵌入多尺度 3d 坐标注意力模块，对掩码层输出的特征提取多感受野、带时空位置感知的面部静态特征；

9、帧间差分动态分支，通过时域差分运算与尺度校准，对掩码层输出的特征提取面部微表情动态特征，输出与主干特征分支尺寸匹配的动态特征；

10、拼接层，将双分支特征在通道维度拼接，通过卷积层完成特征融合，再经自适应池化与全连接层映射，输出抑郁预测结果。

11、作为进一步的技术方案，还包括：训练优化步骤，采用均方误差损失与平滑l1损失加权融合作为总损失函数，以平均绝对误差与均方根误差作为性能评估指标。

12、作为进一步的技术方案，对初始面部特征抑制背景噪声、强化面部关键区域特征时，包括：

13、对给定特征，首先沿通道维度执行平均池化与最大池化，以提取空间维度的全局背景与显著轮廓特征；

14、采用残差连接机制：用掩码对给定特征进行加权筛选，再把加权后的结果加回给定特征。

15、作为进一步的技术方案，在主干特征分支中，对输入特征进行映射，随后，通过维度控制层将拼接后的特征进行融合与压缩，再经过坐标注意力模块之后利用得到的三个正交轴注意力权重对多尺度特征图进行逐像素重加权。

16、作为进一步的技术方案，帧间差分动态分支的末端引入了自适应校准机制。

17、作为进一步的技术方案，通过数据预处理完成人脸标准化的过程包括：

18、获取面部访谈视频，确保面部特征的清晰度与动态信息的完整性；

19、通过帧提取单元，对视频进行逐帧解码，将连续视频拆解为单帧图像序列，同时对图像序列进行初步筛选，剔除无效帧、模糊帧与黑屏帧；

20、人脸处理单元采用人脸检测器与面部关键点预测器，对单帧图像进行人脸区域定位与姿态对齐；

21、将对齐后的面部图像统一裁剪缩放，完成空间维度的标准化；

22、针对人脸检测失效的场景，配置容错裁剪机制，通过预设的面部中心右偏与扩大截取策略，自适应截取面部区域。

23、作为进一步的技术方案，对单帧图像进行人脸区域定位与姿态对齐：通过人脸检测器定位图像中的面部区域，再利用面部关键点预测器获取面部轮廓、五官关键特征点坐标，基于关键特征点坐标完成面部姿态校正。

24、第二方面，公开了基于双分支多尺度3d坐标注意力的抑郁症识别方法，包括：

25、获取面部视频并通过数据预处理完成人脸标准化，输出人脸标准化的面部视频；

26、构建双分支多尺度3d坐标注意力深度学习网络，所述网络包括：

27、3d卷积层及最大池化层，用于对输入的人脸标准化的面部视频进行基础时空特征提取，输出初始面部特征；

28、掩码层，用于对初始面部特征抑制背景噪声、强化面部关键区域特征，生成双分支公共输入特征；

29、主干特征分支，以 3d 残差网络为骨干，嵌入多尺度 3d 坐标注意力模块，对掩码层输出的特征提取多感受野、带时空位置感知的面部静态特征；

30、帧间差分动态分支，通过时域差分运算与尺度校准，对掩码层输出的特征提取面部微表情动态特征，输出与主干特征分支尺寸匹配的动态特征；

31、拼接层，将双分支特征在通道维度拼接，通过卷积层完成特征融合，再经自适应池化与全连接层映射，输出抑郁预测结果。

32、以上一个或多个技术方案存在以下有益效果：

33、本发明技术方案以面部视频为输入，通过数据预处理完成人脸标准化，然后将视频序列输入到网络中，采用主干分支提取带时空坐标感知的多尺度静态特征以及并行帧间差分支提取面部动态特征的模式，结合面部引导掩码抑制背景干扰，经双分支特征融合实现抑郁程度端到端回归评估，可以大幅提升抑郁症识别精度与模型可解释性。

34、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

1.基于双分支多尺度3d坐标注意力的抑郁症识别系统，其特征是，包括：

2.如权利要求1所述的基于双分支多尺度3d坐标注意力的抑郁症识别系统，其特征是，还包括：训练优化步骤，采用均方误差损失与平滑l1损失加权融合作为总损失函数，以平均绝对误差与均方根误差作为性能评估指标。

3.如权利要求1所述的基于双分支多尺度3d坐标注意力的抑郁症识别系统，其特征是，对初始面部特征抑制背景噪声、强化面部关键区域特征时，包括：

4.如权利要求1所述的基于双分支多尺度3d坐标注意力的抑郁症识别系统，其特征是，在主干特征分支中，对输入特征进行映射，随后，通过维度控制层将拼接后的特征进行融合与压缩，再经过坐标注意力模块之后利用得到的三个正交轴注意力权重对多尺度特征图进行逐像素重加权。

5.如权利要求1所述的基于双分支多尺度3d坐标注意力的抑郁症识别系统，其特征是，通过数据预处理完成人脸标准化的过程包括：

6.如权利要求5所述的基于双分支多尺度3d坐标注意力的抑郁症识别系统，其特征是，对单帧图像进行人脸区域定位与姿态对齐：通过人脸检测器定位图像中的面部区域，再利用面部关键点预测器获取面部轮廓、五官关键特征点坐标，基于关键特征点坐标完成面部姿态校正。

7.基于双分支多尺度3d坐标注意力的抑郁症识别方法，其特征是，包括：

8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求6所述的方法。

9.一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求6所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行上述权利要求6所述方法的步骤。