基于面部特征的抑郁症识别系统

1.本发明涉及抑郁症识别技术领域，特别是涉及基于面部特征的抑郁症识别系统。


背景技术：

2.本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
3.面部表情是人与人沟通的过程中最丰富的部分，是内心情绪的反映。研究表明，抑郁症患者的面部模仿能力与正常人有着明显的差异。目前医生主要通过不同的量表和临床访谈来判断患者是否患有抑郁症以及抑郁症的严重程度。然而这取决于医生的主观经验以及患者的认知能力，具有一定程度的局限性。
4.随着计算机视觉技术的发展与完善，借助计算机视觉技术辅助医生进行抑郁症识别或早期筛查成为了一种可能。因此，如何利用面部特征高效、准确地识别抑郁症成为行业内亟待解决的问题。


技术实现要素：

5.为了解决现有技术的不足，本发明提供了基于面部特征的抑郁症识别系统；该方法根据抑郁症患者的面部表情自愿模仿图像提取出面部特征，设计了带有动态注意力的抑郁症识别神经网络模型，并对其进行了训练和评估。
6.基于面部特征的抑郁症识别系统，包括：
7.获取模块，其被配置为：获取受试者的面部表情图像；
8.预处理模块，其被配置为：对采集的面部表情图像进行人脸检测，得到人脸区域图像；将检测到的人脸区域图像进行人脸对齐处理，得到对齐后的人脸区域图像；将对齐后的人脸区域图像进行特征提取，提取出若干种人脸几何特征；
9.特征融合模块，其被配置为：将所有的人脸几何特征进行特征融合，得到融合后的人脸几何特征；
10.抑郁症识别模块，其被配置为：将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输出最终的抑郁症识别结果。
11.与现有技术相比，本发明的有益效果是：
12.(1)本发明根据抑郁症患者的面部模仿能力的下降，提取出面部动作单元、眼睛注视估计和二维与三维关键点位置等面部几何特征，构建了一个高效的抑郁症识别方法，为抑郁症的早期识别和辅助临床诊疗提供便捷可靠的筛查手段；
13.(2)本发明是基于残差神经网络，加入了内外双层动态注意力机制，构建了基于面部特征的抑郁症识别神经网络模型。位置编码生成器peg(positional encoding generator)能生成隐式的位置编码来为权重变化模块提供位置信息，权重变化模块把注意力放在了重要的特征上，能有效越过训练瓶颈，动态调整模型的输入，有效地避免了无关特征对抑郁症识别的干扰，提高了抑郁症识别的效率，本发明对抑郁症测试集的识别准确率高达85％以上。
附图说明
14.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
15.图1为实施例一的方法流程图；
16.图2为实施例一的混淆矩阵；
17.图3为实施例一的抑郁症识别神经网络模型内部结构示意图。
具体实施方式
18.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
19.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
20.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
21.本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
22.实施例一
23.本实施例提供了基于面部特征的抑郁症识别系统；
24.如图1所示，基于面部特征的抑郁症识别系统，包括：
25.获取模块，其被配置为：获取受试者的面部表情图像；
26.预处理模块，其被配置为：对采集的面部表情图像进行人脸检测，得到人脸区域图像；将检测到的人脸区域图像进行人脸对齐处理，得到对齐后的人脸区域图像；将对齐后的人脸区域图像进行特征提取，提取出若干种人脸几何特征；
27.特征融合模块，其被配置为：将所有的人脸几何特征进行特征融合，得到融合后的人脸几何特征；
28.抑郁症识别模块，其被配置为：将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输出最终的抑郁症识别结果。
29.进一步地，所述获取受试者的面部表情图像，受试者须坐立于相机前方，正对镜头，背靠绿色幕布，在医生指导下模仿电脑生成的表情静态图像。当受试者的面部表情稳定时，使用固定好的相机对受试者进行正面拍摄，并将图像保存。
30.进一步地，所述对采集的面部表情图像进行人脸检测，得到人脸区域图像，具体包括：
31.将采集到的面部表情图像转换成灰度图，使用opencv库加载haar级联分类器进行人脸检测，将图像中包含完整人脸的部分裁剪成224
×
224(单位为像素)的正方形图像。
32.进一步地，所述将检测到的人脸区域图像进行人脸对齐处理，得到对齐后的人脸
区域图像，具体包括：
33.使用dlib库提供的68点关键点信息检测的模型来实现人脸对齐操作。
34.进一步地，所述将对齐后的人脸区域图像进行特征提取，提取出若干种人脸几何特征，具体包括：
35.使用开源工具openface 2.0对面部表情图像进行面部特征提取，获得若干种面部几何特征，并存储在csv文件里；其中，若干种面部几何特征，包括：面部动作单元、眼睛注视估计、二维关键点位与三维关键点位置。
36.进一步地，所述将所有的人脸几何特征进行特征融合，得到融合后的人脸几何特征，特征融合的方式采用串联融合。
37.进一步地，如图3所示，所述将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输出最终的抑郁症识别结果，其中，训练后的的抑郁症识别神经网络模型，具体网络结构包括：
38.依次连接的输入层、第一卷积块、第一压缩激励模块se1(squeeze-and-excitation，se)、第二卷积块、第二压缩激励模块se2、第三卷积块、第三压缩激励模块se2、第四卷积块、第四压缩激励模块se2、第五卷积块、第五压缩激励模块se2、位置编码生成器peg(positional encoding generator)和平均池化层，所述平均池化层的输出端分别与权重变化模块的输入端和全连接层d1的输入端连接，权重变化模块的输出端还与输入层的输入端连接。
39.进一步地，训练后的抑郁症识别神经网络模型，其主干网络选择残差神经网络resnet-50。
40.其中，第一卷积块，包括一层卷积层conv1；
41.其中，第二卷积块，包括依次连接的卷积层conv2_1、卷积层conv2_2和卷积层conv2_3；
42.其中，第三卷积块，包括依次连接的卷积层conv3_1、卷积层conv3_2、卷积层conv3_3和卷积层conv3_4；
43.其中，第四卷积块，包括依次连接的卷积层conv4_1、卷积层conv4_2、卷积层conv4_3、卷积层conv4_4、卷积层conv4_5和卷积层conv4_6；
44.其中，第五卷积块，包括依次连接的卷积层conv5_1、卷积层conv5_2和卷积层conv5_3。
45.应理解地，resnet-50由5个组卷积块堆叠而成，输出的通道随着卷积块的堆叠而不断增加。假设原始数据的输入为x，x由batchsize、步长以及特征长度组成。为了使原始数据能进行卷积计算，首先进行了维度的扩张。此时模型的输入x
input
可以被定义为x
input
＝[bs,1,1,fl]，其中bs为batch size，fl为特征长度。
[0046]
进一步地，所述第一压缩激励模块se1、第二压缩激励模块se2、第三压缩激励模块se3、第四压缩激励模块se4和第五压缩激励模块se5，其内部结构是一致的；其中，第一压缩激励模块se1，包括：依次连接的全局平均池化层、全连接层c1和全连接层c2；其中全局平均池化层作为压缩部分，用于对特征进行压缩；其中，全连接层c1和全连接层c2作为激励部分，全连接层c1用于压缩特征，全连接层c2用于恢复特征。
[0047]
应理解地，在每个卷积块后添加se模块，可以获取重要的通道以及内层注意力。第
一压缩激励模块se1、第二压缩激励模块se2、第三压缩激励模块se3、第四压缩激励模块se4和第五压缩激励模块se5均包括压缩和激励两部分。压缩部分是一个全局平均池化层，特征会被压缩为1
×1×
c的向量，其中c为通道数。激励部分由两个全连接层组成，通过设置缩放参数r压缩特征。第一个全连接层压缩通道，第二个全连接层恢复通道。第一个全连接层利用relu函数激活和第二个全连接层利用sigmoid函数激活。
[0048]
进一步地，所述第一压缩激励模块se1、第二压缩激励模块se2、第三压缩激励模块se3、第四压缩激励模块se4和第五压缩激励模块se5，其内部工作原理是一致的；其中，第一压缩激励模块se1，的公式如下：
[0049]
squeeze＝avgpool(xi)；
[0050]
excitaion＝sigmoid(fc1(relu(fc2(squeeze))))；
[0051]
se＝xi⊙
excitaion；
[0052]
其中，xi表示第i层的卷积块输出特征，
⊙
表示矩阵点乘，fc1和fc2分别表示第一层和第二层的全连接层。
[0053]
进一步地，所述位置编码生成器peg(positional encoding generator)，生成隐式的位置编码来为权重变化模块提供位置信息。将位置编码生成器peg放置在第五压缩激励模块se5之后，平均池化层之前。
[0054]
为了适配位置编码生成器peg的输入，并且保持通道数不变，将数据的最后2维合为1维。此时第3维的特征大小与输入x
input
的大小都相同，都为1。
[0055]
在完成位置编码生成器peg的运算后，重新扩充维度，并进行平均池化操作。
[0056]
进一步地，所述权重变化模块，包括：依次连接的全连接层f1和sigmoid激活函数层；全连接层f1的作用是将平均池化后的输出特征降维到与输入特征长度fl相同；sigmoid激活函数层的作用是将全连接层f1的输出压缩到0至1之间。
[0057]
进一步地，所述权重变化模块的流程如下：
[0058]
首先判断当前迭代周期epoch；
[0059]
如果当前进行的是第一个迭代周期epoch，那么输入特征x
input
与一个大小相同的全为1矩阵w1逐点相乘，大小不变；
[0060]
如果当前迭代周期epoch是更替参数n的倍数，那么权重更新w
t
，输入的特征会与权重逐点相乘；
[0061]
如果当前迭代周期epoch不是更替参数n的倍数，那么权重为上一个epoch的权重w
t-1
，输入的特征会与其逐点相乘。
[0062]
进一步地，所述权重变化模块的公式如下：
[0063][0064]
应理解地，所述权重变化模块，为抑郁症识别神经网络模型提供外层注意力，根据特征的重要程度动态调整数据输入，提高模型的性能。在模型训练过程中，不重要的特征的值在sigmoid函数作用不断缩小，重要的特征得以尽可能保留重要性。
[0065]
进一步地，所述将人脸几何特征，输入到训练后的抑郁症识别神经网络模型中，输
出最终的抑郁症识别结果，其中，训练后的抑郁症识别神经网络模型，具体训练过程包括：
[0066]
构建训练集和测试集；
[0067]
将训练集输入到训练后的抑郁症识别神经网络模型，对模型进行训练，当模型的损失函数值不再降低时，停止训练，得到初步训练后的抑郁症识别神经网络模型；
[0068]
将测试集输入到初步训练后的抑郁症识别神经网络模型进行测试，当准确率高于设定阈值时，停止测试，得到最终训练后的抑郁症识别神经网络模型；否则更换训练集，重新进行训练和测试。
[0069]
进一步地，所述对模型进行训练，是将训练集输入到抑郁症识别神经网络模型，batchsize设置为64，学习率设置为1e-4，epoch设置为60，优化器选用adam。损失函数使用负对数似然损失函数(negative log likelihood，nll)，公式为：
[0070][0071]
其中，n表示类别数量；k表示类别序号；yk表示真实标签；pk表示softmax分类器的输出。在模型训练的过程中，模型持续进行迭代优化模型的参数。
[0072]
进一步地，所述将测试集输入到初步训练后的抑郁症识别神经网络模型进行测试，采用准确率(accuracy)评价指标在测试集上进行预测。
[0073]
准确率指的是预测正确的样本数占所有的样本数的比例。
[0074]
准确率越高，模型效果越好，准确率(accuracy)评价指标的公式如下：
[0075][0076]
其中，tp表示正确预测的病例组，tn表示正确预测的对照组，fp表示错误预测的对照组，fn表示错误预测的病例组。
[0077]
进一步地，所述构建训练集和测试集，具体包括：构建抑郁症患者面部表情自愿模仿数据集，具体为进行了面部表情自愿模仿实验并且分别采集了病例组82例和正常组82例人脸表情模仿图像。面部表情自愿模仿实验的受试者年龄在18岁到65岁之间。在进行实验之前，所有受试者都需要填写了一份评估计划，其中包含健康史、年龄、性别、教育状况和就业状况等个人信息。病例组受试者均符合《精神疾病诊断和统计手册》(dsm-iv)筛查规则，且无其他精神障碍疾病。正常组受试者的hamd-24评分低于8分，并且没有精神病史。在面部表情自愿模仿实验中，受试者须坐立于相机前方，正对镜头，背靠绿色幕布，在医生指导下模仿电脑生成的表情静态图像。当受试者的面部表情稳定时，使用固定好的相机对受试者进行正面拍摄，并将这些图像保存。对病例组和正常组的图像分别进行标注，将病例组标注为0，将正常组标注为1；
[0078]
对数据集采用随机划分的模式，将数据集80％用做训练集，20％用做测试集。
[0079]
如图2所示，在混淆矩阵中，测试集包含的总的样本数为164个，病例组样本82个，正常组82个；其中病例组预测为病例组的数量为61个，预测为正常组的数量为21个；正常组预测为正常组的数量为79个，预测为病例组的数量为3个；该混淆矩阵所示的准确率为(61 79)/164＝85％。
[0080]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修
改、等同替换、改进等，均应包含在本发明的保护范围之内。