情绪识别方法、装置、电子设备和存储介质与流程

1.本发明涉及情绪识别技术领域，尤其涉及一种情绪识别方法、装置、电子设备和存储介质。


背景技术：

2.情绪识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。
3.现有技术中，基于深度学习模型的情绪识别方法，往往基于计算机视觉通用识别技术，通过图像或者视频进行七类基础表情的分类任务或者情绪定量分数的回归任务。
4.然而，基于深度学习模型的情绪识别方法没有考虑到每种情绪的特点，无法特异性识别与情绪高度相关的表情动作。且单纯基于模型的情绪识别方法容易受到训练集的约束，脱离训练样本后，在实践过程中难以应对复杂多变的场景和环境。


技术实现要素：

5.本发明提供一种情绪识别方法、装置、电子设备和存储介质，用以解决现有技术中基于深度学习模型的情绪识别方法没有考虑到每种情绪的特点，无法特异性识别与情绪高度相关的表情动作的缺陷。
6.本发明提供一种情绪识别方法，包括：
7.提取待识别视频的情绪特征；
8.将各情绪类别的预设情绪特征与所述待识别视频的情绪特征进行特征匹配，将与所述情绪特征相匹配的预设情绪特征所属的情绪类别，确定为所述待识别视频的情绪类别；
9.所述各情绪类别的预设情绪特征是对所述各情绪类别下的样本视频进行情绪识别过程中自适应提取的，所述预设情绪特征的提取方式与所述待识别视频的情绪特征的提取方式一致。
10.根据本发明提供的一种情绪识别方法，所述提取待识别视频的情绪特征，包括：
11.提取所述待识别视频中各帧图像的图像特征；
12.基于自编码器，对所述待识别视频中各帧图像的图像特征进行情绪特征提取，得到所述待识别视频的情绪特征；
13.所述自编码器是基于所述各情绪类别下的样本视频，联合情绪分类器训练得到的。
14.根据本发明提供的一种情绪识别方法，所述自编码器的确定步骤包括：
15.基于初始编码器，对所述样本视频中各帧图像的图像特征进行情绪特征提取，得到所述样本视频的预测情绪特征；
16.基于初始分类器，应用所述样本视频的预测情绪特征进行情绪分类，得到所述样本视频的预测情绪类别；
17.基于所述样本视频所属的情绪类别，以及所述样本视频的预测情绪类别，对所述初始编码器和所述初始分类器进行参数迭代，基于参数迭代完成的初始编码器确定所述自编码器。
18.根据本发明提供的一种情绪识别方法，所述提取所述待识别视频中各帧图像的图像特征，包括：
19.提取所述待识别视频中的各帧图像的静态特征；
20.基于所述各帧图像以及所述各帧图像的下一帧图像进行静态特征比对，得到所述各帧图像的动态特征；
21.基于所述各帧图像的静态特征和动态特征，确定所述各帧图像的图像特征。
22.根据本发明提供的一种情绪识别方法，所述提取所述待识别视频中的各帧图像的静态特征，包括：
23.基于所述各帧图像的人脸关键点信息，构建所述各帧图像的面部特征；
24.基于所述各帧图像的眼部关键点信息，构建所述各帧图像的眼部特征；
25.基于所述各帧图像的面部特征和眼部特征，确定所述各帧图像的静态特征。
26.根据本发明提供的一种情绪识别方法，在所述提取所述待识别视频中各帧图像的图像特征之后，还包括：
27.基于所述各帧图像的图像特征，确定所述各帧图像分别对应的情绪类别和情绪强度；
28.基于所述各帧图像分别对应的情绪类别和情绪强度，生成所述待识别视频的实时情绪变化信息。
29.根据本发明提供的一种情绪识别方法，所述基于所述各帧图像的图像特征，确定所述各帧图像分别对应的情绪类别和情绪强度，包括：
30.基于所述各帧图像的图像特征中的静态特征，确定所述各帧图像分别对应的情绪类别；
31.基于所述各帧图像的图像特征中的动态特征，确定所述各帧图像分别对应的情绪强度。
32.本发明还提供一种情绪识别装置，包括：
33.提取单元，用于提取待识别视频的情绪特征；
34.匹配单元，用于将各情绪类别的预设情绪特征与所述待识别视频的情绪特征进行特征匹配，将与所述情绪特征相匹配的预设情绪特征所属的情绪类别，确定为所述待识别视频的情绪类别；
35.所述各情绪类别的预设情绪特征是对所述各情绪类别下的样本视频进行情绪识别过程中自适应提取的，所述预设情绪特征的提取方式与所述待识别视频的情绪特征的提取方式一致。
36.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述情绪识别方法。
37.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述情绪识别方法。
38.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述情绪识别方法。
39.本发明提供的情绪识别方法、装置、电子设备和存储介质，各情绪类别的预设情绪特征是对各情绪类别下的样本视频进行情绪识别过程中自适应提取的，与各情绪类别强关联，通过将各情绪类别的预设情绪特征与待识别视频的情绪特征进行特征匹配确定待识别视频的情绪类别，此过程相较于单纯基于模型的情绪识别方法不容易受到训练集的约束，脱离训练样本后，在实践过程中可以应对复杂多变的场景和环境，可以保证情绪识别的准确性和可靠性。
附图说明
40.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明提供的情绪识别方法的流程示意图之一；
42.图2是本发明提供的情绪识别方法中步骤110的流程示意图；
43.图3是本发明提供的自编码器的确定步骤的流程示意图；
44.图4是本发明提供的情绪识别方法中步骤111的流程示意图；
45.图5是本发明提供的获取动态特征的流程示意图；
46.图6是本发明提供的情绪识别方法中步骤1111的流程示意图；
47.图7是本发明提供的生成实时情绪变化信息的流程示意图；
48.图8是本发明提供的情绪识别方法中步骤111-1的流程示意图；
49.图9是本发明提供的情绪识别方法的流程示意图之二；
50.图10是本发明提供的情绪识别装置的结构示意图；
51.图11是本发明提供的电子设备的结构示意图。
具体实施方式
52.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.相关技术中，主要有基于量表评估和基于深度学习模型的情绪识别方法，其中，基于量表评估的情绪识别方法对评估的主体较为敏感，情绪评估时用户的主观的判断对结果有较大影响，且不同水平医生有较大的差距，而用户自我评估时由于全程选择固定选项，无法进一步深入了解，情绪识别的效果较差。
54.基于深度学习模型的情绪识别方法，需要借助外部设备来监测用户的行为数据，且需经过多个模型预测的推理时间较长，不适用于大面积推广，另一方面，预设规则需要大量的先验知识，并且深度学习模型没有自适应权重，情绪识别的效果较差。
55.对此，本发明提供一种情绪识别方法，图1是本发明提供的情绪识别的流程示意图
之一，如图1所示，该方法包括：
56.步骤110，提取待识别视频的情绪特征。
57.具体地，待识别视频即需要进行情绪识别的视频，此处的视频数据可以是预先拍摄并存储的视频，也可以是实时采集的视频流，本发明实施例对此不作具体限定。
58.在获取到待识别视频后，可以提取待识别视频的情绪特征，此处提取待识别视频的情绪特征可以基于特征编码模型提取待识别视频中各帧图像的情绪特征，此处的特征编码模型可以是transformer模型，也可以是级联结构的多层卷积神经网络(convolutional neural network，cnn)，还可以是深度神经网络(deep neural networks，dnn)和cnn的组合结构等，本发明实施例对此不作具体限定。
59.步骤120，将各情绪类别的预设情绪特征与所述待识别视频的情绪特征进行特征匹配，将与所述情绪特征相匹配的预设情绪特征所属的情绪类别，确定为所述待识别视频的情绪类别；
60.所述各情绪类别的预设情绪特征是对所述各情绪类别下的样本视频进行情绪识别过程中自适应提取的，所述预设情绪特征的提取方式与所述待识别视频的情绪特征的提取方式一致。
61.具体地，在提取待识别视频的情绪特征后，可以将各情绪类别的预设情绪特征与待识别视频的情绪特征进行特征匹配。
62.此处的各情绪类别的预设情绪特征是对各情绪类别下的样本视频进行情绪识别过程中自适应提取的。此处的样本视频可以是预先拍摄并存储的视频，也可以是实时采集的视频流。此处的情绪类别可以是开心、愤怒、哀怨、惊讶、厌恶、恐惧和中立中的任意一种；以抑郁情绪为例，情绪类别可以是分析被测人员是否有抑郁情绪，本发明实施例对此不作具体限定。
63.可以理解的是，对各情绪类别下的样本视频进行情绪识别过程中自适应提取，使得各情绪类别的预设情绪特征的获取不再依赖人为的特征选取，而是完全由情绪识别所应用的模型根据实际情绪识别需求进行自适应的提取，由此得到预设情绪特征与各种情绪类别之间强关联，可以脱离训练样本后，在实践过程中可以应对复杂多变的场景和环境。以抑郁情绪为例，采用hamd-17(hamilton depression scale，汉密顿抑郁量表)，则自适应提取得到的预设抑郁情绪特征对应有17个子场景，其中，可以将自适应提取得到的预设抑郁情绪特征分别存储至构建的特征知识库对应的位置中。
64.此处，预设情绪特征的提取方式与待识别视频的情绪特征的提取方式一致，即待识别视频的情绪特征的提取方式也是进行情绪识别的过程中自适应提取的，由此，待识别视频的情绪特征，与预设情绪特征属于同一个特征空间，可以直接通过特征匹配的方式进行比对。
65.此处将各情绪类别的预设情绪特征与待识别视频的情绪特征进行特征匹配可以采用余弦相似度，也可以采用pearson相关系数等方法，本发明实施例对此不作具体限定。
66.可以理解的是，各情绪类别的预设情绪特征与待识别视频的情绪特征之间的余弦相似度可以反映各情绪类别的预设情绪特征与待识别视频的情绪特征之间的匹配情况，各情绪类别的预设情绪特征与待识别视频的情绪特征之间的余弦相似度越高，则各情绪类别的预设情绪特征与待识别视频的情绪特征越匹配；各情绪类别的预设情绪特征与待识别视
频的情绪特征之间的余弦相似度越低，则各情绪类别的预设情绪特征与待识别视频的情绪特征越不匹配。
67.在将各情绪类别的预设情绪特征与待识别视频的情绪特征进行特征匹配后，可以将与情绪特征相匹配的预设情绪特征所属的情绪类别，确定为待识别视频的情绪类别。
68.本发明实施例提供的方法，各情绪类别的预设情绪特征是对各情绪类别下的样本视频进行情绪识别过程中自适应提取的，与各情绪类别强关联，通过将各情绪类别的预设情绪特征与待识别视频的情绪特征进行特征匹配确定待识别视频的情绪类别，此过程相较于单纯基于模型的情绪识别方法不容易受到训练集的约束，脱离训练样本后，在实践过程中可以应对复杂多变的场景和环境，可以保证情绪识别的准确性和可靠性。
69.基于上述任一实施例，本发明实施例所提供的情绪识别方法，可应用于抑郁情绪的识别和定量分析。并且，本发明实施例基于情绪识别所得的抑郁情绪的严重程度，可以应用到临床诊断中，作为医生进行抑郁症诊断的参考因素。此外，本发明实施例基于情绪识别所得的抑郁情绪的严重程度，还可以应用到病历质检中，将自动化分析得到的抑郁情绪的严重程度，与病历中记载的由医生诊断得到的患者抑郁症的严重程度进行比对，从而检验病历质量，本发明实施例对此不作具体限定。
70.基于上述实施例，图2是本发明提供的情绪识别方法中步骤110的流程示意图，如图2所示，步骤110包括：
71.步骤111，提取所述待识别视频中各帧图像的图像特征；
72.步骤112，基于自编码器，对所述待识别视频中各帧图像的图像特征进行情绪特征提取，得到所述待识别视频的情绪特征；
73.所述自编码器是基于所述各情绪类别下的样本视频，联合情绪分类器训练得到的。
74.具体地，为了能够提取待识别视频的情绪特征，需要在步骤112执行之前提取待识别视频中各帧图像的图像特征，并通过如下步骤获取自编码器：
75.可以预先收集各情绪类别下的样本视频以及各情绪类别，还可以预先构建情绪分类器，此处的情绪分类器用于对自编码器提取到的待识别视频中各帧图像的图像特征进行情绪识别。
76.此外，可以构建初始自编码器，随后，可以基于各情绪类别下的样本视频，联合情绪分类器对初始自编码器进行训练，并将训练完成后的初始自编码器作为自编码器。
77.在此过程中，可以将初始自编码和初始情绪分类器作为初始分类模型，初始分类模型即训练自编码器的初始模型。此处，初始自编码器可以是cnn、dnn等结构，初始情绪分类器可以是softmax层，本发明实施例对此不作具体限定。
78.在得到包括初始自编码和初始情绪分类器的初始分类模型后，即可应用预先收集好的各情绪类别下的样本视频以及各情绪类别，对初始分类模型进行训练：
79.首先，将各情绪类别下的样本视频输入至初始自编码器中，由初始自编码器对各情绪类别下的样本视频进行特征提取，得到并输出各情绪类别下的样本视频的初始情绪特征。可以理解的是，初始自编码器是初始分类模型训练之前的初始模型，为与初始分类模型输出的情绪特征相区别，此处由初始自编码器输出的情绪特征记为初始情绪特征。
80.其次，将初始情绪特征输入至初始情绪分类器中，由初始情绪分类器对初始情绪
特征进行情绪识别，得到并输出情绪分类结果。
81.在基于初始分类模型得到情绪分类结果，即可将情绪分类结果与预先收集的各情绪类别进行比较，根据此两者之间的差异程度计算得到损失函数值，并基于损失函数值对于将初始分类模型视为整体进行参数迭代，将完成参数迭代之后的初始分类模型记为情绪分类模型。
82.可以理解的是，情绪分类结果与预先收集的各情绪类别的差异程度越大，损失函数值越大；情绪分类结果与预先收集的各情绪类别的差异程度越小，损失函数值越小。
83.参数迭代后的情绪分类模型，与初始分类模型具备相同的结构，因此情绪分类模型可以划分为两个部分，对于参数迭代后的初始自编码器和参数迭代后的初始情绪分类器。针对其中参数迭代后的初始自编码器，可以直接将这一部分作为自编码器。
84.即，在自编码器的训练过程中，学习到了对待识别视频进行情绪特征提取，以提取能够用于后续情绪识别的情绪特征的功能。
85.在训练得到自编码器后，可以对提取得到的待识别视频中各帧图像的图像特征进行情绪特征提取，得到待识别视频的情绪特征。
86.基于上述实施例，图3是本发明提供的自编码器的确定步骤的流程示意图，如图3所示，所述自编码器的确定步骤包括：
87.步骤310，基于初始编码器，对所述样本视频中各帧图像的图像特征进行情绪特征提取，得到所述样本视频的预测情绪特征；
88.步骤320，基于初始分类器，应用所述样本视频的预测情绪特征进行情绪分类，得到所述样本视频的预测情绪类别；
89.步骤330，基于所述样本视频所属的情绪类别，以及所述样本视频的预测情绪类别，对所述初始编码器和所述初始分类器进行参数迭代，基于参数迭代完成的初始编码器确定所述自编码器。
90.具体地，初始编码器和初始分类器即训练自编码器所需的初始模型，初始编码器的模型参数可以是预先设置好的，也可以是初始化得到的，初始分类器的模型参数可以是预先设置好的，也可以是初始化得到的，本发明实施例对此不作具体限定。
91.初始编码器和初始分类器的训练需要样本视频中各帧图像的图像特征、样本视频的预测情绪特征，以及样本视频所属的情绪类别。其中，样本视频的预测情绪特征可以根据预先训练好的初始编码器，对样本视频中各帧图像的图像特征进行情绪特征提取得到的。
92.在得到样本视频的预测情绪特征之后，即可将样本视频的预测情绪特征输入至初始分类器中，由初始分类器应用样本视频的预测情绪特征进行情绪分类，得到样本视频的预测情绪类别。
93.在得到样本视频的预测情绪类别之后，即可将样本视频的预测情绪类别与预先收集的样本视频所属的情绪类别进行比较，根据此两者之间的差异程度计算得到损失函数值，并基于损失函数值对初始编码器和初始分类器进行参数迭代，将参数迭代完成之后的初始编码器记为自编码器。
94.可以理解都是，样本视频的预测情绪类别与预先收集的样本视频所属的情绪类别的差异程度越大，损失函数值越大；样本视频的预测情绪类别与预先收集的样本视频所属的情绪类别的差异程度越小，损失函数值越小。
95.本发明实施例提供的方法，将初始编码器和初始分类器视为整体进行参数迭代，可以进一步提高后续进行情绪识别时的自编码器的可靠性，保证情绪识别的准确性。
96.基于上述实施例，图4是本发明提供的情绪识别方法中步骤111的流程示意图，如图4所示，步骤111包括：
97.步骤1111，提取所述待识别视频中的各帧图像的静态特征；
98.步骤1112，基于所述各帧图像以及所述各帧图像的下一帧图像进行静态特征比对，得到所述各帧图像的动态特征；
99.步骤1113，基于所述各帧图像的静态特征和动态特征，确定所述各帧图像的图像特征。
100.具体地，各帧图像的图像特征可以包括静态特征和动态特征两个层面。
101.可以提取待识别视频中的各帧图像的静态特征，此处的静态特征是指待识别视频中的各帧图像中的人脸的全局特征，可以包括面部特征和眼部特征。此处，可以每秒提取待识别视频中的5帧图像的静态特征，也可以每秒提取待识别视频中的10帧图像的静态特征，还可以每秒提取待识别视频中的8帧图像的静态特征，本发明实施例对此不作具体限定。
102.图5是本发明提供的获取动态特征的流程示意图，如图5所示，在提取得到待识别视频中的各帧图像的静态特征之后，可以基于各帧图像以及各帧图像的下一帧图像进行静态特征比对，即可以基于各帧图像以及各帧图像的下一帧图像的静态特征之间的残差，得到各帧图像的动态特征。此处的动态特征是指待识别视频中的各帧图像中人脸的动态层面的特征，可以是人脸的au(action unit)活跃度，例如，可以根据时间轴绘制出相应au的情绪振幅频谱图。此处的情绪振幅频谱图和心电图类似，可以通过观察情绪振幅频谱图来观察用户面部各个部位的变化，有利于提高情绪识别的效率。
103.在得到各帧图像的静态特征和动态特征之后，可以基于各帧图像的静态特征和动态特征，确定各帧图像的图像特征。
104.本发明实施例提供的方法，得到的各帧图像的图像特征既包含了静态层面的特征信息，又包含了动态层面的特征信息，提高了后续情绪识别的准确性。
105.基于上述实施例，图6是本发明提供的情绪识别方法中步骤1111的流程示意图，如图6所示，步骤1111包括：
106.步骤1111-1，基于所述各帧图像的人脸关键点信息，构建所述各帧图像的面部特征；
107.步骤1111-2，基于所述各帧图像的眼部关键点信息，构建所述各帧图像的眼部特征；
108.步骤1111-3，基于所述各帧图像的面部特征和眼部特征，确定所述各帧图像的静态特征。
109.具体地，可以基于各帧图像的人脸关键点信息，构建各帧图像的面部特征，例如，可以通过开源人脸检测算法openface提取64个人脸3d关键点信息，然后可以利用64个人脸3d关键点信息构建各帧图像的面部特征。此处的面部关键点信息可以包括嘴巴的开合度，也可以包括嘴巴的紧张度，还可以包括嘴巴的开合度、嘴巴的紧张度和眉头的紧张度，本发明实施例对此不作具体限定。
110.也可以基于各帧图像的眼部关键点信息，构建各帧图像的眼部特征，例如，可以通
过开源人脸检测算法openface和光流法提取32个人脸3d关键点信息，然后可以利用32个人脸3d关键点信息构建各帧图像的眼部特征。此处的眼部关键点信息可以包括眼部的开合度和眨眼频率，也可以包括眼部的开合度和视线方向分布，还可以包括眼部的开合度、眨眼频率和视线方向分布，本发明实施例对此不作具体限定。此处的视线方向分布可以包括上、下、左、右、左下、右下等，本发明实施例对此不作具体限定。
111.在得到面部特征和眼部特征之后，可以基于各帧图像的面部特征和眼部特征，确定各帧图像的静态特征。
112.本发明实施例提供的方法，得到的各帧图像的静态特征包括了面部特征和眼部特征，提高了各帧图像的静态特征的丰富度，有利于提高后续情绪识别的准确性。
113.相关技术中基于多模态的情绪识别方法，采用了多个模态信息进行融合的方法，却只能输出一个情绪定量得分，造成各个模态可解释性信息的丢失。
114.针对上述问题，本发明实施例对各个模态的信息进行了可解释性分析。
115.基于上述实施例，图7是本发明提供的生成实时情绪变化信息的流程示意图，如图7所示，在步骤111之后，还包括：
116.步骤111-1，基于所述各帧图像的图像特征，确定所述各帧图像分别对应的情绪类别和情绪强度；
117.步骤111-2，基于所述各帧图像分别对应的情绪类别和情绪强度，生成所述待识别视频的实时情绪变化信息。
118.具体地，在提取到待识别视频中各帧图像的图像特征之后，可以基于各帧图像的图像特征中包含的静态特征和动态特征，确定各帧图像分别对应的情绪类别和情绪强度。
119.此处的情绪类别可以是开心、愤怒、哀怨、惊讶、厌恶、恐惧和中立中的任意一种；以抑郁情绪为例，情绪类别可以是分析被测人员是否有抑郁情绪，本发明实施例对此不作具体限定。
120.以抑郁情绪为例，此处的情绪强度可以是确定被测人员抑郁情绪的严重程度，情绪强度可以根据hamd量表公式确定，情绪强度可以分为无-轻-中-重四种严重程度的抑郁情绪，本发明实施例对此不作具体限定。
121.在得到各帧图像分别对应的情绪类别和情绪强度之后，可以将各帧图像分别对应的情绪类别和情绪强度进行可视化展示，生成待识别视频的实时情绪变化信息。此处的实时情绪变化信息反映了各帧图像分别对应的情绪类别和情绪强度的变化情况。
122.本发明实施例提供的方法，基于各帧图像分别对应的情绪类别和情绪强度，生成待识别视频的实时情绪变化信息，实时情绪变化信息可以提高情绪分析的便捷性。
123.基于上述实施例，图8是本发明提供的情绪识别方法中步骤111-1的流程示意图，如图8所示，步骤111-1包括：
124.步骤810，基于所述各帧图像的图像特征中的静态特征，确定所述各帧图像分别对应的情绪类别；
125.步骤820，基于所述各帧图像的图像特征中的动态特征，确定所述各帧图像分别对应的情绪强度。
126.具体地，在得到各帧图像的图像特征中的静态特征和动态特征之后，可以基于各帧图像的图像特征中的静态特征，确定各帧图像分别对应的情绪类别，例如，可以将各帧图
像的图像特征输入至分类层中，由分类层输出各帧图像分别对应的情绪类别。此处的分类层可以是softmax层，也可以是sigmoid层，本发明实施例对此不作具体限定。
127.可以将各帧图像的图像特征中的动态特征输入至回归层中，由回归层输出各帧图像分别对应的情绪强度，此处的回归层可以是cnn，也可以是dnn，还可以是cnn和dnn的组合结构等，本发明实施例对此不作具体限定。
128.基于上述任一实施例，图9是本发明提供的情绪识别方法的流程示意图之二，如图9所示，该方法包括：
129.第一步，可以基于各帧图像的人脸关键点信息，构建各帧图像的面部特征；再基于各帧图像的眼部关键点信息，构建各帧图像的眼部特征；最后，可以基于各帧图像的面部特征和眼部特征，确定各帧图像的静态特征。
130.第二步，可以基于各帧图像以及各帧图像的下一帧图像进行静态特征比对，得到各帧图像的动态特征；然后，可以基于各帧图像的静态特征和动态特征，确定各帧图像的图像特征。
131.第三步，可以基于自编码器，对待识别视频中各帧图像的图像特征进行情绪特征提取，得到待识别视频的情绪特征；自编码器是基于各情绪类别下的样本视频，联合情绪分类器训练得到的。
132.第四步，将各情绪类别的预设情绪特征与待识别视频的情绪特征进行特征匹配，将与情绪特征相匹配的预设情绪特征所属的情绪类别，确定为待识别视频的情绪类别。各情绪类别的预设情绪特征是对各情绪类别下的样本视频进行情绪识别过程中自适应提取的，预设情绪特征的提取方式与待识别视频的情绪特征的提取方式一致。
133.第五步，还可以基于各帧图像的图像特征，确定各帧图像分别对应的情绪类别和情绪强度；基于各帧图像分别对应的情绪类别和情绪强度，生成待识别视频的实时情绪变化信息。
134.下面对本发明提供的情绪识别装置进行描述，下文描述的情绪识别装置与上文描述的情绪识别方法可相互对应参照。
135.基于上述任一实施例，本发明提供一种情绪识别装置，图10是本发明提供的情绪识别装置的结构示意图，如图10所示，该装置包括：
136.提取单元1010，用于提取待识别视频的情绪特征；
137.匹配单元1020，用于将各情绪类别的预设情绪特征与所述待识别视频的情绪特征进行特征匹配，将与所述情绪特征相匹配的预设情绪特征所属的情绪类别，确定为所述待识别视频的情绪类别；
138.所述各情绪类别的预设情绪特征是对所述各情绪类别下的样本视频进行情绪识别过程中自适应提取的，所述预设情绪特征的提取方式与所述待识别视频的情绪特征的提取方式一致。
139.本发明实施例提供的装置，各情绪类别的预设情绪特征是对各情绪类别下的样本视频进行情绪识别过程中自适应提取的，与各情绪类别强关联，通过将各情绪类别的预设情绪特征与待识别视频的情绪特征进行特征匹配确定待识别视频的情绪类别，此过程相较于单纯基于模型的情绪识别方法不容易受到训练集的约束，脱离训练样本后，在实践过程中可以应对复杂多变的场景和环境，可以保证情绪识别的准确性和可靠性。
140.基于上述任一实施例，提取单元具体包括：
141.提取图像特征单元，用于提取所述待识别视频中各帧图像的图像特征；
142.确定情绪特征单元，用于基于自编码器，对所述待识别视频中各帧图像的图像特征进行情绪特征提取，得到所述待识别视频的情绪特征；
143.所述自编码器是基于所述各情绪类别下的样本视频，联合情绪分类器训练得到的。
144.基于上述任一实施例，所述自编码器的确定步骤包括：
145.基于初始编码器，对所述样本视频中各帧图像的图像特征进行情绪特征提取，得到所述样本视频的预测情绪特征；
146.基于初始分类器，应用所述样本视频的预测情绪特征进行情绪分类，得到所述样本视频的预测情绪类别；
147.基于所述样本视频所属的情绪类别，以及所述样本视频的预测情绪类别，对所述初始编码器和所述初始分类器进行参数迭代，基于参数迭代完成的初始编码器确定所述自编码器。
148.基于上述任一实施例，提取图像特征单元具体用于：
149.提取静态特征单元，用于提取所述待识别视频中的各帧图像的静态特征；
150.提取动态特征单元，用于基于所述各帧图像以及所述各帧图像的下一帧图像进行静态特征比对，得到所述各帧图像的动态特征；
151.提取图像特征单元，用于基于所述各帧图像的静态特征和动态特征，确定所述各帧图像的图像特征。
152.基于上述任一实施例，提取静态特征单元具体用于：
153.构建面部特征单元，用于基于所述各帧图像的人脸关键点信息，构建所述各帧图像的面部特征；
154.构建眼部特征单元，用于基于所述各帧图像的眼部关键点信息，构建所述各帧图像的眼部特征；
155.确定静态特征单元，用于基于所述各帧图像的面部特征和眼部特征，确定所述各帧图像的静态特征。
156.基于上述任一实施例，在提取图像特征单元之后，还包括：
157.确定类别和强度单元，用于基于所述各帧图像的图像特征，确定所述各帧图像分别对应的情绪类别和情绪强度；
158.生成实时情绪变化信息单元，用于基于所述各帧图像分别对应的情绪类别和情绪强度，生成所述待识别视频的实时情绪变化信息。
159.基于上述任一实施例，确定类别和强度单元具体用于：
160.基于所述各帧图像的图像特征中的静态特征，确定所述各帧图像分别对应的情绪类别；
161.基于所述各帧图像的图像特征中的动态特征，确定所述各帧图像分别对应的情绪强度。
162.图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(communications interface)1120、存储器(memory)
1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行情绪识别方法，该方法包括：提取待识别视频的情绪特征；将各情绪类别的预设情绪特征与所述待识别视频的情绪特征进行特征匹配，将与所述情绪特征相匹配的预设情绪特征所属的情绪类别，确定为所述待识别视频的情绪类别；所述各情绪类别的预设情绪特征是对所述各情绪类别下的样本视频进行情绪识别过程中自适应提取的，所述预设情绪特征的提取方式与所述待识别视频的情绪特征的提取方式一致。
163.此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
164.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的情绪识别方法，该方法包括：提取待识别视频的情绪特征；将各情绪类别的预设情绪特征与所述待识别视频的情绪特征进行特征匹配，将与所述情绪特征相匹配的预设情绪特征所属的情绪类别，确定为所述待识别视频的情绪类别；所述各情绪类别的预设情绪特征是对所述各情绪类别下的样本视频进行情绪识别过程中自适应提取的，所述预设情绪特征的提取方式与所述待识别视频的情绪特征的提取方式一致。
165.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的情绪识别方法，该方法包括：提取待识别视频的情绪特征；将各情绪类别的预设情绪特征与所述待识别视频的情绪特征进行特征匹配，将与所述情绪特征相匹配的预设情绪特征所属的情绪类别，确定为所述待识别视频的情绪类别；所述各情绪类别的预设情绪特征是对所述各情绪类别下的样本视频进行情绪识别过程中自适应提取的，所述预设情绪特征的提取方式与所述待识别视频的情绪特征的提取方式一致。
166.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
167.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指
令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
168.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。