一种基于情绪数据计算个体心理异常的健康评估方法与流程

1.本发明涉及心理健康评估技术领域，具体来说，涉及一种基于情绪数据计算个体心理异常的健康评估方法。


背景技术：

2.情绪是人们心理状态的最直观的表达，心理医生在对情绪用户进行情绪管理分析诊断时，主要是进行当面的精神检查。例如，通过一些问话及一些话题的问答来评估情绪和心理的各项内容。进一步地，心理医生还会通过自己的经验去判断情绪用户的心理是否异常以及异常的严重程度等，并开出心理疏导建议或者是药物处方等，因此情绪是用来检测心理健康状态的有效手段。
3.面部表情可以最直观地反映出人们的情绪状态和心理活动，是表达情绪的重要方式。目前基于视觉感知的人类情感的研究主要集中在面部，心理学家研究不同文化之间的面部行为模式，定义了6类基本情绪（快乐、悲伤、厌恶、惊讶、愤怒和恐惧）。传统的表情识别研究大多采用手工特征或浅层学习，随着应用环境转向具有挑战性的真实场景，神经网络越来越多地被用于特征提取，并取得了超前的识别精度，在表情识别中应用广泛的深度学习技术有卷积神经网络（convolutionalneural networks，cnn）、深度置信网络（deepbelief network，dbn）、递归神经网络（recursiveneural network，rnn）等。
4.例如，现有技术cn113625870a公开了一种基于语言想象的脑-机接口控制系统和方法，具体公开了采用共空间模式(csp)进行想象语言和非想象语言的区分，采用经验模态分解(emd)进行信号重构，再采用离散小波分析(dwt)计算其标准差和均方根，生成包含112个特征值的特征向量，提高语言想象分类准确性，从而提高脑-机接口的性能。但是，该技术需要用到空间协方差矩阵进行计算，计算量较大，对于硬件设备的要求较高，实时计算反馈速度较慢，数据反馈存在延时。
5.然而，有心理研究表明，面部表情本身可能包含误导性信息，特别是应用于互动和社交场景时。而通过观察身体姿势、动作、语调等不同的表现形式能提高对情绪状态的判断能力。此外，在真实环境中，距离、姿势、光照等因素会对面部情绪的识别产生很大影响，人脸分辨率不高，面部特征模糊，会降低面部表情识别率。
6.因此，现有的人脸识别和表情识别技术能够从一幅图像中提取出人脸部分并识别出人脸的表情，将人脸的表情类型作为结果进行输出，但其作为一种算法，其应用远远滞后于研究，并没有在社会活动交互过程中表现其应有的应用价值，且无法完整高效的体现出情绪识别心理状态健康领域的应用程度。
7.例如在车辆驾驶领域，即在车辆行驶过程中，驾驶员的情绪状态是与车辆安全驾驶相关的一个重要因素。驾驶员在悲观情绪或疲劳状态等消极状态下易出现注意力不集中、识别能力下降等情况，进而危及个人及公众的交通安全，因此对驾驶员进行情绪检测能够预防驾驶员消极、情绪波动或疲劳出现的交通事故。然而，现有针对驾驶员心理健康的检测方法都不够全面高效，有待进一步的改进。
8.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

9.针对相关技术中的问题，本发明提出一种基于情绪数据计算个体心理异常的健康评估方法，以克服现有相关技术所存在的上述技术问题。
10.为此，本发明采用的具体技术方案如下：一种基于情绪数据计算个体心理异常的健康评估方法，该方法包括以下步骤：s1、利用毫米波雷达进行用户心跳监测获取心率数据；包括以下步骤：s11、对原始雷达回波信号进行预处理，实现心肺信号的初步分离；s12、利用自适应变分模态分解的心跳信号提取算法，提取心跳信号；包括以下步骤：s121、根据采样频率设定二次惩罚因子；s122、对原始信号进行变分模态分解并计算每个本征模函数分量与原始信号的相关系数；s123、设置相关系数阈值，若相关系数最小值小于阈值则停止分解，得到本征模函数分量，取其中最大的相关系数对应的本征模函数分量作为心跳信号；s13、利用线性调频z变换的频谱细化算法计算得到心率数据；s2、利用摄像头对用户进行实时监测，获取影像数据；s3、将监测获取的数据导入心理健康模型，生成心理状态评估报告；s4、根据所述心理状态评估报告对用户进行合理化建议及干预。
11.进一步的，所述步骤s3将监测获取的数据导入心理健康模型，生成心理状态评估报告，包括以下步骤：s31、利用卷积神经网络模型对所述影像数据进行识别分析，生成用户的情绪数据；s32、综合所述情绪数据与心率数据形成个体状态数据；s33、利用心理健康模型对所述个体状态数据进行实时评价，并生成心理状态评估报告。
12.进一步的，所述利用卷积神经网络模型对所述影像数据进行识别分析，生成用户的情绪数据，包括以下步骤：s311、获取已标注的情绪数据集与个体情绪标注集，构建卷积神经网络并进行训练与个人定制；s312、使用多任务卷积神经网络对所述影像数据进行面部检测与面部和身体视频序列尺寸处理；s313、利用深度可分离卷积神经网络进行面部特征提取；s314、利用行为识别卷积神经网络进行姿态特征提取；s315、采用求加权和的方式将面部特征与姿态特征进行融合得到情绪数据。
13.进一步的，所述获取已标注的情绪数据集与个体情绪标注集，构建卷积神经网络并进行训练与个人定制，包括以下步骤：s3111、获取大量标注后的情绪数据形成情绪数据集；
s3112、对所述情绪数据集进行增强处理；s3113、将增强后的所述情绪数据集按照1：1的比例划分为训练集与测试集；s3114、利用原始的情绪数据集与所述训练集构建卷积神经网络进行训练，并利用所述测试集进行测试；s3115、采集用户个人的图像数据进行对应标注形成个体情绪标注集；s3116、将所述个体情绪标注集导入至所述卷积神经网络进行学习与测试，实现模型识别的个人定制。
14.进一步的，所述对所述情绪数据集进行增强处理包括颜色处理、旋转处理以及镜像处理。
15.进一步的，所述利用心理健康模型对所述个体状态数据进行实时评价，生成心理状态评估报告，包括以下步骤：s331、将所述个体状态数据进行分类标注处理，形成量化评价指标；s332、根据所述量化评价指标计算心理健康状态评价值；s333、根据所述情绪数据的分类类型与所述心理健康状态评价值形成心理状态评估报告。
16.进一步的，将所述个体状态数据进行分类标注处理，形成量化评价指标，包括以下步骤：s3311、将所述情绪数据划分为积极、中性、消极及愤怒四个类型，并将积极的评分范围划分为[90，100]，中性评分范围划分为[70，90），消极评分范围划分为[60，70），愤怒的评分范围划分为[0，60）；s3312、将所述心率数据根据预先测量的用户个体常态心率进行指标量化处理，表达式为：m=100 a-b式中，m表示心率数据的量化指标；a表示用户个体常态心率的正常值；b表示实时监测的用户个体心率。
[0017]
进一步的，所述根据所述量化评价指标计算心理健康状态评价值的表达式为：p=αm βn式中，p表示心理健康状态的评价值；α和β分别表示心率数据和情绪数据的权重；m表示心率数据的量化指标；n表示情绪数据的量化指标。
[0018]
进一步的，所述心率数据权重α为0.4，所述情绪数据权重β为0.6。
[0019]
本发明的有益效果为：通过毫米波雷达心率监测与用户个体情绪数据的分析识别，能够形成全面精确的心理健康评估模型，从而对用户个体进行实时高效的心理健康状态分析，通过合理化建议及干预有效缓解心理异常状态下用户的消极情绪，进而避免因情绪低落或波动程度过大造成的不良危害，保证个人及社会的安全稳定。
[0020]
通过非接触式的毫米波雷达心跳检测技术，能够准确快速的检测用户的心率状态，同时通过自适应变分模态分解的方法，有效避免呼吸的强干扰对心跳信号造成干扰，进
而大幅提高心率检测精度；配合远程监控式人体情绪分析识别技术，能够针对用户面部表情数据及姿态数据进行融合分析，从而有效提高个体情绪识别的全面性与精确性，避免具体应用时面部数据或姿态数据不清晰造成的影响，从而提高用户个体心理健康状态评估的精确性。
[0021]
通过权重系数将心率数据和情绪数据进行联立，相对于单因素评价的方法，具有更高的准确性，具体来说，由于权重系数小于1，则减小了单因素波动的干扰，例如，心率因紧张发生波动时，波动值的影响会由于系数小于1而降低，同时，另一因素（情绪数据）也可作用于评价系数。提高了评价算法的稳定性和可靠性。
附图说明
[0022]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]
图1是根据本发明实施例的一种基于情绪数据计算个体心理异常的健康评估方法的流程图。
具体实施方式
[0024]
根据本发明的实施例，提供了一种基于情绪数据计算个体心理异常的健康评估方法。
[0025]
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于情绪数据计算个体心理异常的健康评估方法，该方法包括以下步骤：s1、利用毫米波雷达进行用户心跳监测，获取心率数据；毫米波雷达具有体积小、空间分辨率高、大带宽等优点，毫米波波长较短，对胸壁位移这类微小运动具有更高灵敏度。通过2.4ghz、5.8ghz和60ghz三种多普勒雷达对比，验证了一个事实：雷达工作频率越高，对小位移检测灵敏度越高。因此，77ghz毫米波雷达已被广泛应用于车载雷达、人体姿态识别、体征检测等领域。
[0026]
其中，步骤s1包括以下步骤：s11、对原始雷达回波信号进行预处理，实现心肺信号的初步分离；预处理步骤包括去除背景噪声和多项式趋势、带通滤波。由于雷达测量范围内除受试者胸壁运动外还存在大量静止物体，通过减去原始雷达回波数据的平均值来去除静止背景噪声。另外，由于热噪声和时间漂移引起的发射单元幅值的不稳定导致回波数据呈现严重的多项式趋势，通过减去最小二乘法拟合的曲线来去除多项式趋势。
[0027]
此外，基于呼吸频率典型范围为0.1hz~0.3hz，心率范围为1hz~3hz这一事实，带通滤波器选取巴特沃斯滤波器，其通带范围设置为0.8hz~4.0 h，并应用于去除噪声后的心肺信号，得到预处理后的信号。
[0028]
s12、利用自适应变分模态分解的心跳信号提取算法，提取心跳信号；变分模态分解（vmd）作为一种完全非递归的自适应信号处理算法，通过迭代计算每个本征模态分量的中心频率和带宽，以每个模态估计带宽之和最小为准测来确定变分模
态模型的最优解，自适应分解信号。
[0029]
其中，步骤s12包括以下步骤：s121、根据采样频率设定二次惩罚因子；s122、对原始信号进行变分模态分解（vmd）并计算每个本征模函数（imf）分量与原始信号的相关系数；其中，本征模函数被定义为一个调幅-调频信号，其表达式为：式中，、分别表示瞬时幅值和相位，则的瞬时频率为。
[0030]
s123、设置相关系数阈值，若相关系数最小值小于阈值则停止分解，得到本征模函数分量，取其中最大的相关系数对应的本征模函数分量作为心跳信号。
[0031]
s13、利用线性调频z变换的频谱细化算法计算得到心率数据。
[0032]
线性调频z变换（czt）由rabiner等人提出，相比传统的fft只能得到粗略的“全体频谱”，czt能实现信号的窄带分析，显著提高频率估计准确性。czt本质是计算沿z平面上一段螺旋线周线等角度间隔采样的有限采样点的z变换值。
[0033]
s2、利用摄像头对用户进行实时监测，获取影像数据；s3、将监测获取的数据导入心理健康模型，生成心理状态评估报告，包括以下步骤：s31、利用卷积神经网络模型对所述影像数据进行识别分析，生成用户的情绪数据，包括以下步骤：s311、获取已标注的情绪数据集与个体情绪标注集，构建卷积神经网络并进行训练与个人定制，包括以下步骤：s3111、获取大量标注后的情绪数据形成情绪数据集；s3112、对所述情绪数据集进行增强处理；其中，所述对所述情绪数据集进行增强处理包括颜色处理、旋转处理以及镜像处理。
[0034]
s3113、将增强后的所述情绪数据集按照1：1的比例划分为训练集与测试集；s3114、利用原始的情绪数据集与所述训练集构建卷积神经网络进行训练，并利用所述测试集进行测试；s3115、采集用户个人的图像数据进行对应标注形成个体情绪标注集；s3116、将所述个体情绪标注集导入至所述卷积神经网络进行学习与测试，实现模型识别的个人定制。
[0035]
s312、使用多任务卷积神经网络（mtcnn）对所述影像数据进行面部检测与面部和身体视频序列尺寸处理；为了提供面部通道的输入流，使用多任务卷积神经网络mtcnn进行面部检测。将所有帧通过mtcnn得到面部图像，并调整为48
×
48像素，双通道中的身体通道输入为视频序列，所有视频帧尺寸统一调整为510
×
786像素。
[0036]
s313、利用深度可分离卷积神经网络进行面部特征提取；
面部通道为获得面部表情信息，使用深度可分离卷积神经网络mini-xception进行特征提取。mini-xception的网络模型来源于xcep-tion架构，深度可分离卷积能更加有效地利用模型参数，残差连接模块能加快收敛过程，通过mini-xception能自动提取面部输入的有效特征，为与身体通道的融合做准备，训练阶段学习率设置为0.1，批量大小32，使用早停法防止过拟合。
[0037]
s314、利用行为识别卷积神经网络（c3d网络）进行姿态特征提取；为了获得姿态情绪信息﹐使用c3d网络进行特征提取。研究表明，外观和运动信息都对从身体表达中感知情绪起重要作用。同时，对于视频序列，有效的时空信息也很关键。c3d能简单高效地学习时空特征，关注外观和运动信息，适合用于身体姿态情绪特征的提取。
[0038]
s315、采用求加权和的方式将面部特征与姿态特征进行融合得到情绪数据。
[0039]
将两个通道融合进行分类，采用加权和的决策层融合：使用神经网络学习特征后，在全连接层后获得类别的后验概率，将面部和身体两个通道输出的后验概率求加权和。因为面部表情是主要模式，因此面部通道和身体通道的权重分别设置为0.7和0.3。
[0040]
s32、综合所述情绪数据与心率数据形成个体状态数据；s33、利用心理健康模型对所述个体状态数据进行实时评价，并生成心理状态评估报告，包括以下步骤：s331、将所述个体状态数据进行分类标注处理，形成量化评价指标，包括以下步骤：s3311、将所述情绪数据划分为积极、中性、消极及愤怒四个类型，并将积极的评分范围划分为[90，100]，中性评分范围划分为[70，90），消极评分范围划分为[60，70），愤怒的评分范围划分为[0，60）；s3312、将所述心率数据根据预先测量的用户个体常态心率进行指标量化处理，表达式为：m=100 a-b式中，m表示心率数据的量化指标；a表示用户个体常态心率的正常值；b表示实时监测的用户个体心率。
[0041]
s332、根据所述量化评价指标计算心理健康状态评价值；s333、根据所述情绪数据的分类类型与所述心理健康状态评价值形成心理状态评估报告。
[0042]
所述根据所述量化评价指标计算心理健康状态评价值的表达式为：p=0.4m 0.6n式中，p表示心理健康状态的评价值；m表示心率数据的量化指标；n表示情绪数据的量化指标。
[0043]
此外，根据情绪的类型，也将心理健康状态评价值划分为四个等级，即将评分范围处于[90，100]内定义为乐观心态，评分范围处于[70，90）定义为稳定心态，评分范围处于[60，70）定义为悲观心态，而将评分范围处于[0，60）定义为焦躁状态，分别输出不同的分数
及等级，对用户行为与现有情绪与心态进行精确的分析，达到提醒干预的目的。
[0044]
s4、根据所述心理状态评估报告对用户进行合理化建议及干预。
[0045]
向用户输出的心理状态评估报告中，根据四个等级区间分别对用户进行不同类型或不同程度的建议与干预，该方式可由用户自行设置，例如该用户在乐观心态时可选择静音操作、播放音乐等方式，有助于保持积极的心态，而在悲观心态或焦躁状态时，可选择进行语音提醒等措施，同时可自行选择语音的类型或自己输入安抚的话语，因此能够针对不同用户进行全面的定制，更加符合不同用户不同心理状态前提下的合理化干预，避免出现刺激或进一步影响用户心态的问题出现。
[0046]
综上所述，借助于本发明的上述技术方案，通过毫米波雷达心率监测与用户个体情绪数据的分析识别，能够形成全面精确的心理健康评估模型，从而对用户个体进行实时高效的心理健康状态分析，通过合理化建议及干预有效缓解心理异常状态下用户的消极情绪，进而避免因情绪低落或波动程度过大造成的不良危害，保证个人及社会的安全稳定。
[0047]
通过非接触式的毫米波雷达心跳检测技术，能够准确快速的检测用户的心率状态，同时通过自适应变分模态分解的方法，有效避免呼吸的强干扰对心跳信号造成干扰，进而大幅提高心率检测精度；配合远程监控式人体情绪分析识别技术，能够针对用户面部表情数据及姿态数据进行融合分析，从而有效提高个体情绪识别的全面性与精确性，避免具体应用时面部数据或姿态数据不清晰造成的影响，从而提高用户个体心理健康状态评估的精确性。
[0048]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。