一种基于表情情感计算的老年人健康监测方法及系统

技术特征：
1.一种基于表情情感计算的老年人健康监测方法，其特征在于，包括：实时采集老年人的人脸图像；将采集的人脸图像输入构建的基于表情情感计算的老年人健康监测模型，输出基于人脸图像的老年人生理健康信号和心理健康信号。2.根据权利要求1所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述基于表情情感计算的老年人健康监测模型，首先基于提出的区域导航多任务训练模块定位人脸图像的关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取；再利用提取好的表情特征训练时空运动增强网络，完成多姿态和动态人脸表情识别；最后将得到的表情信息转化为生理健康信号和心理健康信号。3.根据权利要求2所述的基于表情情感计算的老年人健康监测方法，其特征在于，基于提出的区域导航多任务训练模块定位人脸图像的关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取，包括：利用区域导航网络定位人脸表情关键区域，引入注意力机制使得姿态和表情信息丰富区域特征能够拥有高权重，突出关键区域的特征：其中，f表示突出的关键区域的特征；α
i
表示第i个可学习的注意力权重；f
i
表示第i个人脸表情区域特征；n表示人脸表情区域特征数量；利用多任务学习方法联合训练人脸表情和人脸姿态，完成表情特征提取。4.根据权利要求3所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述区域导航网络，与分类网络共享卷积层进行特征提取，使用锚点机制同时预测多个区域建议{r'1,r'2,...,r'
a
}，每个锚点都与滑动窗口的位置，纵横比和框比例有关；找到表情信息量最丰富的区域，表情信息量最丰富的区域的信息满足：for any r1,r2∈a,if c(r1)>c(r2),i(r1)>i(r2)
ꢀꢀ
(6)其中，r1,r2为a个区域中的任意两个矩形区域，i表示矩形区域的表情信息量，c表示矩形区域为正确表情的概率；为了使得最终的结果满足上述关系，从a个区域中选出m个区域，对于每个区域r
i
∈a
m
，区域导航网络都会评估其信息i，然后将区域r
i
传输到区域导航网络中进行学习，计算区域r
i
能正确分类表情的概率c；以优化区域导航网络使得{i(r1),i(r2),...,i(r
m
)}和{c(r1),c(r2),...,c(r
m
)}具有相同的顺序。5.根据权利要求3所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述时空运动增强网络是考虑时间尺度，对经过迁移学习训练后的残差神经网络进行改进得到的改进的残差神经网络；所述时空运动增强网络，利用历史帧的外观和运动信息来去除当前帧的噪声部分，并补全当前帧中的运动丢失信息，增加当前帧的表情运动信息。6.根据权利要求5所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述时空运动增强网络基于经典的resnet网络，包括一个卷积层、八个残差块，每个残差块有两个卷积层；分别为卷积层一、残差块一、残差块二、残差块三、残差块四、残差块五、残差块六、残差块七、残差块八，所述残差块一、残差块二、残差块三、残差块四、残差块五、残差块
六、残差块七、残差块八均由两个级联的卷积层组成；所述时空运动增强网络还包括池化层一、池化层二和全连接层一。7.根据权利要求6所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述时空运动增强网络在全连接层一后进行dropout操作，用于提高泛化能力。8.根据权利要求6所述的基于表情情感计算的老年人健康监测方法，其特征在于，卷积层一用于对表情图像进行第一层特征提取，采用的卷积核为7
×
7，残差块一、残差块二、残差块三、残差块四、残差块五、残差块六、残差块七、残差块八中引入残差边，用于通过加深层数来提高训练效果，同时避免梯度消失问题，采用的卷积核为3
×
3，池化层用于缩小参数矩阵的尺寸，其中池化层一采用最大池化，池化层二采用平均池化，全连接层用于将特征映射到样本标记空间，时空运动增强网络采用leaky relu激活函数。9.根据权利要求3所述的基于表情情感计算的老年人健康监测方法，其特征在于，按照医疗健康判断标准，在得到表情信息后，将其转化为生理健康信号ph和心理健康信号ps。10.一种基于表情情感计算的老年人健康监测系统，其特征在于，包括：图像采集模块，用于实时采集老年人的人脸图像；监测模块，用于将采集的人脸图像输入构建的基于表情情感计算的老年人健康监测模型，输出基于人脸图像的老年人生理健康信号和心理健康信号。

技术总结
本发明公开了计算机视觉技术领域的一种基于表情情感计算的老年人健康监测方法及系统，方法包括实时采集老年人的人脸图像；将采集的人脸图像输入构建的基于表情情感计算的老年人健康监测模型，输出基于人脸图像的老年人生理健康信号和心理健康信号。基于表情情感计算的老年人健康监测模型基于提出的区域导航多任务训练模块以定位关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取，利用提取好的表情特征训练时空运动增强网络，完成多姿态和动态人脸表情识别，将得到表情信息转化为生理健康信号和心理健康信号。本发明能识别出自然场景下面部姿态实时变化的老年人表情信息，提高识别准确度，进一步监测出老年人的健康信号。人的健康信号。人的健康信号。


技术研发人员：姚潇 曾远林 张鸿 张雨溪 王晨 姚秀伟 刘小峰
受保护的技术使用者：河海大学
技术研发日：2022.07.29
技术公布日：2022/11/18