一种基于表情情感计算的老年人健康监测方法及系统

1.本发明属于计算机视觉技术领域，具体涉及一种基于表情情感计算的老年人健康监测方法及系统。


背景技术：

2.人脸表情是最直接、最有效的情感识别模式，它在机器人、医疗和人机交互系统中都有广泛应用。而随着老龄人口的增多，对老年人人脸面部表情进行分类识别，辅助老年人日常生活也受到越来越多的关注。但是目前的人脸表情识别还存在一些问题，尤其在人脸表情多姿态和动态的情况下，识别准确度较低。


技术实现要素：

3.为解决现有技术中的不足，本发明提供一种基于表情情感计算的老年人健康监测方法及系统，能在人脸表情多姿态和动态的情况下，提高识别准确度。
4.为达到上述目的，本发明所采用的技术方案是：
5.第一方面，提供一种基于表情情感计算的老年人健康监测方法，包括：实时采集老年人的人脸图像；将采集的人脸图像输入构建的基于表情情感计算的老年人健康监测模型，输出基于人脸图像的老年人生理健康信号和心理健康信号。
6.进一步地，所述基于表情情感计算的老年人健康监测模型，首先基于提出的区域导航多任务训练模块定位人脸图像的关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取；再利用提取好的表情特征训练时空运动增强网络，完成多姿态和动态人脸表情识别；最后将得到的表情信息转化为生理健康信号和心理健康信号。
7.进一步地，基于提出的区域导航多任务训练模块定位人脸图像的关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取，包括：利用区域导航网络定位人脸表情关键区域，引入注意力机制使得姿态和表情信息丰富区域特征能够拥有高权重，突出关键区域的特征：
[0008][0009]
其中，f表示突出的关键区域的特征；αi表示第i个可学习的注意力权重；fi表示第i个人脸表情区域特征；n表示人脸表情区域特征数量；
[0010]
利用多任务学习方法联合训练人脸表情和人脸姿态，完成表情特征提取。
[0011]
进一步地，所述区域导航网络，与分类网络共享卷积层进行特征提取，使用锚点机制同时预测多个区域建议{r'1,r'2,...,r'a}，每个锚点都与滑动窗口的位置，纵横比和框比例有关；找到表情信息量最丰富的区域，表情信息量最丰富的区域的信息满足：
[0012]
for any r1,r2∈a,if c(r1)》c(r2),i(r1)》i(r2)
ꢀꢀ
(6)
[0013]
其中，r1,r2为a个区域中的任意两个矩形区域，i表示矩形区域的表情信息量，c表示矩形区域为正确表情的概率；
[0014]
为了使得最终的结果满足上述关系，从a个区域中选出m个区域，对于每个区域ri∈am，区域导航网络都会评估其信息i，然后将区域ri传输到区域导航网络中进行学习，计算区域ri能正确分类表情的概率c；以优化区域导航网络使得{i(r1),i(r2),...,i(rm)}和{c(r1),c(r2),...,c(rm)}具有相同的顺序。
[0015]
进一步地，所述时空运动增强网络是考虑时间尺度，对经过迁移学习训练后的残差神经网络进行改进得到的改进的残差神经网络；
[0016]
所述时空运动增强网络，利用历史帧的外观和运动信息来去除当前帧的噪声部分，并补全当前帧中的运动丢失信息，增加当前帧的表情运动信息。
[0017]
进一步地，所述时空运动增强网络基于经典的resnet网络，包括一个卷积层、八个残差块，每个残差块有两个卷积层；分别为卷积层一、残差块一、残差块二、残差块三、残差块四、残差块五、残差块六、残差块七、残差块八，所述残差块一、残差块二、残差块三、残差块四、残差块五、残差块六、残差块七、残差块八均由两个级联的卷积层组成；所述时空运动增强网络还包括池化层一、池化层二和全连接层一。
[0018]
进一步地，所述时空运动增强网络在全连接层一后进行dropout操作，用于提高泛化能力。
[0019]
进一步地，卷积层一用于对表情图像进行第一层特征提取，采用的卷积核为7
×
7，残差块一、残差块二、残差块三、残差块四、残差块五、残差块六、残差块七、残差块八中引入残差边，用于通过加深层数来提高训练效果，同时避免梯度消失问题，采用的卷积核为3
×
3，池化层用于缩小参数矩阵的尺寸，其中池化层一采用最大池化，池化层二采用平均池化，全连接层用于将特征映射到样本标记空间，时空运动增强网络采用leaky relu激活函数。
[0020]
进一步地，按照医疗健康判断标准，在得到表情信息后，将其转化为生理健康信号ph和心理健康信号ps。
[0021]
第二方面，提供一种基于表情情感计算的老年人健康监测系统，包括：图像采集模块，用于实时采集老年人的人脸图像；监测模块，用于将采集的人脸图像输入构建的基于表情情感计算的老年人健康监测模型，输出基于人脸图像的老年人生理健康信号和心理健康信号。
[0022]
与现有技术相比，本发明所达到的有益效果：
[0023]
(1)本发明通过实时采集老年人的人脸图像，将采集的人脸图像输入构建的基于表情情感计算的老年人健康监测模型，输出基于人脸图像的老年人生理健康信号和心理健康信号，能在人脸表情多姿态和动态的情况下，提高识别准确度；
[0024]
(2)本发明所使用的区域导航多任务训练模块，用以定位表情关键区域，联合训练表情和姿态，提高学习表情特征和姿态特征的能力；
[0025]
(3)本发明所使用的时空运动增强网络提高了模型的泛化能力，同时考虑图像之间的时空关系，补全静态图像的动态信息；
[0026]
(4)本发明在卷积层使用leaky relu激活函数提高了收敛速度；在全连接层一后dropout操作，提高了泛化能力，同时降低了过拟合。
附图说明
[0027]
图1是本发明实施例提供的一种基于表情情感计算的老年人健康监测方法的主要
流程示意图；
[0028]
图2是本发明实施例中区域导航多任务训练模块的结构图；
[0029]
图3是本发明实施例中时空运动增强网络结构图；
[0030]
图4是使用本发明实施例所述方法对老年人健康进行实时监测的应用场景。
具体实施方式
[0031]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0032]
实施例一：
[0033]
如图1～图4所示，一种基于表情情感计算的老年人健康监测方法，包括：实时采集老年人的人脸图像；将采集的人脸图像输入构建的基于表情情感计算的老年人健康监测模型，输出基于人脸图像的老年人生理健康信号和心理健康信号。所述基于表情情感计算的老年人健康监测模型，首先基于提出的区域导航多任务训练模块定位人脸图像的关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取；再利用提取好的表情特征训练时空运动增强网络，完成多姿态和动态人脸表情识别；最后将得到的表情信息转化为生理健康信号和心理健康信号。
[0034]
如图1所示，首先构建人脸样本数据集，然后利用区域导航多任务训练模块以定位关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取，最后利用提取好的表情特征训练时空运动增强网络，完成多姿态和动态人脸表情识别。具体包括以下步骤：
[0035]
s1，构建样本人脸的图像数据集
[0036]
从现有的人脸表情数据库中获取人脸表情图像数据集，并进行数据集预处理，具体包括以下过程：
[0037]
获取ibug网站提供的lfpw、afw等样本人脸数据集。
[0038]
s2，提出区域导航多任务训练模块以定位关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取。
[0039]
s21，利用区域导航网络定位人脸表情关键区域，引入注意力机制对全局特征和局部特征进行加权，突出关键区域的特征。具体包括以下步骤：
[0040]
首先输入人脸图像x，利用导航网络生成表情局部区域：{r'1,r'2,...,r'a}和其信息量{i'1,i'2,...,i'a}；
[0041]
使用非极大值抑制去除信息冗余并重置信息量：
[0042][0043]
其中，r
′
t
代表第t个矩形区域，i
′
t
代表第t个矩形区域的表情信息量，a代表矩形区域的数量；
[0044]
选置信度最高的m个区域：学习计算其置信度：
[0045]
{c1,c2,...,cm}＝c({r1,r2,...,rm})
ꢀꢀ
(2)
[0046]
其中，ri代表的是第i个矩形区域，ci代表第i个矩形区域为正确表情的概率；
[0047]
将整张表情图片与表情关键区域进行特征提取，对提取到的特征进行squeeze操
作，使得特征编码为一个初步特征并保持特征的感受野不变。其可以表示：
[0048][0049]
其中，s为squeeze操作，fi为经共享卷积层后提取的特征，h、w是特征f的空间维度，fi(i，j)代表的是空间维度坐标是(i，j)的特征；
[0050]
随后使用fc层来估计每个区域特征的注意权重，并传入sigmoid函数，将权重置于0～1之间，对于每个特征的权重可以定义为：
[0051]
αm＝σ(wf×
f'i)
ꢀꢀ
(4)
[0052]
其中，wf为全连接层参数，σ为sigmoid函数，表示初步特征。
[0053]
最后将注意力权重与第一分支的fi进行加权，最终聚合的特征f如下：
[0054][0055]
其中αi表示第i个可学习的注意力权重；fi表示第i个人脸表情区域特征；n表示人脸表情区域特征数量；
[0056]
s22，利用多任务学习方法联合训练表情识别和姿态识别人脸表情。
[0057]
使用多任务学习方法，联合训练表情识别和姿态识别两个任务，使得特征从两个任务中学到更多有用信息。
[0058]
首先提出区域导航网络，使用锚点机制同时预测多个区域建议{r'1,r'2,...,r'a}，每个锚点都与滑动窗口的位置，纵横比和框比例有关。找到表情信息量最丰富的区域，此时区域的信息来应该满足：
[0059]
for any r1,r2∈a,if c(r1)》c(r2),i(r1)》i(r2)
ꢀꢀ
(6)
[0060]
其中，r1,r2为a个区域中的任意两个矩形区域，i表示矩形区域的表情信息量，c表示矩形区域为正确表情的概率；
[0061]
为了使得最终的结果满足上述关系，从a个区域中选出m个区域，对于每个区域ri∈am，区域导航网络都会评估其信息i，然后将区域ri传输到区域导航网络中进行学习，计算区域ri能正确分类表情的概率c；以优化区域导航网络使得{i(r1),i(r2),...,i(rm)}和{c(r1),c(r2),...,c(rm)}具有相同的顺序。
[0062]
s3，利用提取好的表情特征训练时空运动增强网络，完成多姿态和动态人脸表情识别，考虑时间尺度对迁移学习训练后的残差神经网络进行改进，利用历史帧的外观和运动信息来去除当前帧的噪声部分，并补全当前帧中的运动丢失信息，增加当前帧表情运动信息。
[0063]
在动态表情中，人脸表情的运动区域大致为前一帧与当前帧的运动差，可以通过运动区域来发现人脸的局部运动细节，提高帧级别表情特征质量。使用上下帧的特征差来建模运动区域特征。
[0064]
ms-celeb-1m数据集是一个包含有8.5万个人的脸(380万张人脸)的大型数据库，主要用作人脸验证。由于人脸表情为人脸的属性之一，与imagenet等数据集相比ms-celeb-1m数据集更适合表情识别任务。同时为了使得模型更兼容视频人脸表情识别任务，分别使用人脸识别数据集ms-celeb-1m和静态人脸表情识别数据集fer2013对模型进行迁移学习
训练。
[0065]
如s3所述，考虑时间尺度，在此，本实施例使用上下帧原始特征差x
i,k,t-x
i,k,t-1
和上一帧精炼后的特征和当前帧特征的特征差x
i,k,t-s
i,k,t-1
来对迁移学习训练后的残差神经网络进行改进。
[0066]
时空运动增强网络基于经典的resnet网络，包括一个卷积层、八个残差块(每个残差块有两个卷积层)，分别为卷积层一、残差块一、残差块二、残差块三、残差块四、残差块五、、残差块六、残差块七、残差块八池化层一、池化层二、全连接层一，其中，残差块一、残差块二、残差块三、残差块四、残差块五、残差块六、残差块七、残差块八均由两个级联的卷积层组成。迁移学习训练后的残差神经网络具体结构如图2所示。
[0067]
卷积层和池化层进行信息的提取和筛除，卷积层一对表情图像进行第一层特征提取，采用的卷积核为7
×
7，步长设置为2，填充设置为3。在残差块一、二、三、四、五、六、七、八中各包括两个堆叠的卷积层，并引入残差边，可以较为稳定地通过加深层数来提高训练效果，同时还可以避免梯度消失问题，采用两个3
×
3卷积层的串联相当于1个5
×
5的卷积层，同时卷积层参数量远少于5
×
5的卷积层，能够减少整个网络的训练时间。池化层一的池化核为3
×
3，池化层二采用自适应池化，输出512
×1×
1；池化层可以缩小参数矩阵的尺寸，其中池化层一采用最大池化，池化层二采用平均池化，全连接层将特征映射到样本标记空间。
[0068]
在全连接层一后进行dropout操作，提高泛化能力。激活函数选择leakyrelu：
[0069][0070]
其中，xi表示卷积后的第i个区域特征，yi表示非线性映射后得到的第i个区域特征；
[0071]
leakyrelu函数相较于传统的relu函数，收敛速度更快。
[0072]
s4，在经神经网络训练得到表情信息后，按照医疗健康判断标准，将其转化为生理健康信号ph、心理健康信号ps，通过设定健康阈值的方式与标准做对比，再进一步分成四种健康信号：生理正状态(ph )、生理负状态(ph-)、心理正状态(ps )、心理负状态(ps-)。(具体标准：将健康默认值设为ph 和ps ，对6秒内采样得到的表情信息做一个综合判断，若老人痛苦的表情占到整体表情的75％，则认定老人当下可能在承受生理痛苦，并将生理健康信号修改为ph-；若连续十五天采样得到的表情信号80％以上都是伤心，则认定老人这段时间心里有些抑郁，并将心理健康信号修改为ps-)。
[0073]
实施例二：
[0074]
基于实施例一所述的一种基于表情情感计算的老年人健康监测方法，本实施例提供一种基于表情情感计算的老年人健康监测系统，包括：图像采集模块，用于实时采集老年人的人脸图像；监测模块，用于将采集的人脸图像输入构建的基于表情情感计算的老年人健康监测模型，输出基于人脸图像的老年人生理健康信号和心理健康信号。
[0075]
本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的
方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0076]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0077]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0078]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0079]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0080]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。