情绪类型识别方法、装置及电子设备与流程

1.本技术涉及大数据处理领域，具体而言，涉及一种情绪类型识别方法、装置及电子设备。


背景技术：

2.从视频图像中识别出人员的情绪对人员监控十分重要，传统的情绪识别方案中，通常仅通过对人脸关键信息进行识别，以确定人员情绪类型，但是这种分类方式较为粗放，识别准确度低。


技术实现要素：

3.为了克服现有技术中的上述不足，本技术的目的在于提供一种情绪类型识别方法，包括：获取监控视频图像，所述监控视频图像包括至少一个目标人员；对所述监控视频图像进行特征提取，得到所述目标人员的表情关键信息和行动关键信息，所述行动关键信息用于指示所述目标人员的类型；在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量；根据所述第一关联特征向量和第二关联特征向量，对所述表情关键信息和行动关键信息进行调整；根据调整后表情关键信息和调整后行动关键信息，确定所述目标人员的情绪分类信息。
4.可选地，所述在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量，包括：获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，以得到所述表情关键信息对应的第一候选框位置特征和所述行动关键信息对应的第二候选框位置特征；根据所述第一候选框位置特征，在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量；根据所述第二候选框位置特征，在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量。
5.可选地，所述获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，以得到所述表情关键信息对应的第一候选框位置特征和所述行动关键信息对应的第二候选框位置特征，包括：获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信
息，得到所述表情关键信息对应的第一位置关键点信息和所述行动关键信息对应的第二位置关键点信息；根据所述第一位置关键点信息，对所述监控视频图像中的数据进行特征提取，得到所述表情关键信息对应的第一候选框位置特征；根据所述第二位置关键点信息，对所述监控视频图像中的数据进行特征提取，得到所述行动关键信息对应的第二候选框位置特征。
6.可选地，所述根据所述第一候选框位置特征，在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，包括：在所述表情关键信息中提取出用于特征关联的表情关键信息，得到第一映射特征向量和第一特征值向量；在所述行动关键信息中提取出用于特征关联的行动关键信息，得到第一索引特征向量；获取所述表情关键信息的特征处理通道数量；将所述第一映射特征向量与第一索引特征向量进行融合，得到第一中间特征向量；计算所述第一中间特征向量与所述特征处理通道数量的比值，得到所述第一关联特征向量；将所述第一关联特征向量与所述第一候选框位置特征进行融合，得到第二中间特征向量；对所述第二中间特征向量进行归一化处理，得到第一权重，所述第一权重用于指示所述表情关键信息中的特征与所述行动关键信息的关联关系；根据所述第一权重，对所述第一特征值向量进行加权，得到所述第一关联特征向量。
7.可选地，所述根据所述第二候选框位置特征，在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量，包括：在所述行动关键信息中提取出用于特征关联的行动关键信息，得到第二映射特征向量和第二特征值向量；在所述表情关键信息中提取出用于特征关联的表情关键信息，得到第二索引特征向量；将所述第二映射特征向量与第二索引特征向量进行特征关联，得到第二关联特征向量，并将所述第二关联特征向量、第二候选框位置特征和第二特征值向量进行融合，得到第二关联特征向量。
8.可选地，所述根据所述第一关联特征向量和第二关联特征向量，对所述表情关键信息和行动关键信息进行调整，包括：获取所述第一关联特征向量对应的第二权重；根据所述第二权重，对所述第一关联特征向量进行加权，将加权后第一关联特征向量作为所述表情关键信息中需要消除的表情关键信息，得到目标表情关键信息；根据所述第二关联特征向量，在所述行动关键信息中筛选出需要消除的行动关键信息，得到目标行动关键信息；
在所述表情关键信息中删除所述目标表情关键信息，得到调整后表情关键信息，并在所述行动关键信息中删除所述目标行动关键信息，得到调整后行动关键信息。
9.可选地，所述根据调整后表情关键信息和调整后行动关键信息，确定所述目标人员的情绪分类信息，包括：对所述调整后表情关键信息和调整后行动关键信息进行特征提取，并对提取到的表情关键信息和行动关键信息进行调整；返回执行所述对所述调整后表情关键信息和调整后行动关键信息进行特征提取的步骤，直至所述表情关键信息的调整次数达到预设次数，得到目标调整后表情关键信息；采用训练后识别模型对所述目标调整后表情关键信息进行识别，得到所述目标人员的情绪分类信息。
10.本技术的另一目的在于提供一种情绪类型识别装置，所述装置包括：数据获取模块，用于获取监控视频图像，所述监控视频图像包括至少一个目标人员；特征提取模块，用于对所述监控视频图像进行特征提取，得到所述目标人员的表情关键信息和行动关键信息，所述行动关键信息用于指示所述目标人员的类型；特征处理模块，用于在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量；特征调整模块，用于根据所述第一关联特征向量和第二关联特征向量，对所述表情关键信息和行动关键信息进行调整；分类处理模块，用于根据调整后表情关键信息和调整后行动关键信息，确定所述目标人员的情绪分类信息。
11.本技术的另一目的在于提供一种电子设备，包括处理器及机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现本技术提供的情绪类型识别方法。
12.本技术的另一目的在于提供一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被一个或多个处理器执行时，实现本技术提供的情绪类型识别方法。
13.相对于现有技术而言，本技术具有以下有益效果：本技术提供的情绪类型识别方法、装置及电子设备，通过提取监控视频图像的表情关键信息和行动关键信息，从而对表情和行动的特征信息进行调整，再根据调整后的关键信息识进行情绪分类识别，如此可以实现更准确的情绪分类识别。
附图说明
14.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
15.图1为本技术实施例提供的电子设备的示意图；
图2为本技术实施例提供的情绪类型识别方法的示意图；图3为本技术实施例提供的情绪类型识别装置的示意图。
具体实施方式
16.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
17.请参照图1，图1是本技术实施例提供的电子设备100的方框示意图。所述电子设备100包括情绪类型识别装置110、机器可读存储介质120、处理器130。
18.所述机器可读存储介质120、处理器130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述情绪类型识别装置110包括至少一个可以软件或固件（firmware）的形式存储于所述机器可读存储介质120中或固化在所述电子设备100的操作系统（operating system，os）中的软件功能模块。所述处理器130用于执行所述机器可读存储介质120中存储的可执行模块，例如所述情绪类型识别装置110所包括的软件功能模块及计算机程序等。
19.其中，所述机器可读存储介质120可以是，但不限于，随机存取存储器（random access memory，ram），只读存储器（read only memory，rom），可编程只读存储器（programmable read
‑
only memory，prom），可擦除只读存储器（erasable programmable read
‑
only memory，eprom），电可擦除只读存储器（electric erasable programmable read
‑
only memory，eeprom）等。其中，机器可读存储介质120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。
20.所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器（central processing unit，简称cpu）、网络处理器（network processor，简称np）等；还可以是数字信号处理器（dsp）、专用集成电路（asic）、现场可编程门阵列（fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
21.请参照图2，图2为应用于图1所示的电子设备100的一种情绪类型识别方法的流程图，以下将对所述方法包括各个步骤进行详细阐述。
22.步骤a01，获取监控视频图像，所述监控视频图像包括至少一个目标人员。
23.步骤a02，对所述监控视频图像进行特征提取，得到所述目标人员的表情关键信息和行动关键信息，所述行动关键信息用于指示所述目标人员的类型。
24.步骤a03，在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量。
25.步骤a04，根据所述第一关联特征向量和第二关联特征向量，对所述表情关键信息和行动关键信息进行调整。
26.步骤a05，根据调整后表情关键信息和调整后行动关键信息，确定所述目标人员的
情绪分类信息。
27.基于上述分析，本实施例提供的情绪类型识别方法，通过提取监控视频图像的表情关键信息和行动关键信息，从而对表情和行动的特征信息进行调整，再根据调整后的关键信息识进行情绪分类识别，如此可以实现更准确的情绪分类识别。
28.可选地，在本实施例中，所述在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量，包括以下步骤：获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，以得到所述表情关键信息对应的第一候选框位置特征和所述行动关键信息对应的第二候选框位置特征。
29.根据所述第一候选框位置特征，在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量。
30.根据所述第二候选框位置特征，在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量。
31.可选地，在本实施例中，所述获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，以得到所述表情关键信息对应的第一候选框位置特征和所述行动关键信息对应的第二候选框位置特征，，包括以下步骤：获取所述表情关键信息和行动关键信息在所述监控视频图像中的位置关键点信息，得到所述表情关键信息对应的第一位置关键点信息和所述行动关键信息对应的第二位置关键点信息。
32.根据所述第一位置关键点信息，对所述监控视频图像中的数据进行特征提取，得到所述表情关键信息对应的第一候选框位置特征。
33.根据所述第二位置关键点信息，对所述监控视频图像中的数据进行特征提取，得到所述行动关键信息对应的第二候选框位置特征。
34.可选地，在本实施例中，所述根据所述第一候选框位置特征，在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，包括以下步骤：在所述表情关键信息中提取出用于特征关联的表情关键信息，得到第一映射特征向量和第一特征值向量。
35.在所述行动关键信息中提取出用于特征关联的行动关键信息，得到第一索引特征向量。
36.获取所述表情关键信息的特征处理通道数量。
37.将所述第一映射特征向量与第一索引特征向量进行融合，得到第一中间特征向量。
38.计算所述第一中间特征向量与所述特征处理通道数量的比值，得到所述第一关联特征向量。
39.将所述第一关联特征向量与所述第一候选框位置特征进行融合，得到第二中间特征向量。
40.对所述第二中间特征向量进行归一化处理，得到第一权重，所述第一权重用于指示所述表情关键信息中的特征与所述行动关键信息的关联关系。
41.根据所述第一权重，对所述第一特征值向量进行加权，得到所述第一关联特征向量。
42.可选地，在本实施例中，所述根据所述第二候选框位置特征，在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量，包括以下步骤：在所述行动关键信息中提取出用于特征关联的行动关键信息，得到第二映射特征向量和第二特征值向量。
43.在所述表情关键信息中提取出用于特征关联的表情关键信息，得到第二索引特征向量。
44.将所述第二映射特征向量与第二索引特征向量进行特征关联，得到第二关联特征向量，并将所述第二关联特征向量、第二候选框位置特征和第二特征值向量进行融合，得到第二关联特征向量。
45.可选地，在本实施例中，所述根据所述第一关联特征向量和第二关联特征向量，对所述表情关键信息和行动关键信息进行调整，包括以下步骤：获取所述第一关联特征向量对应的第二权重。
46.根据所述第二权重，对所述第一关联特征向量进行加权，将加权后第一关联特征向量作为所述表情关键信息中需要消除的表情关键信息，得到目标表情关键信息。
47.根据所述第二关联特征向量，在所述行动关键信息中筛选出需要消除的行动关键信息，得到目标行动关键信息。
48.在所述表情关键信息中删除所述目标表情关键信息，得到调整后表情关键信息，并在所述行动关键信息中删除所述目标行动关键信息，得到调整后行动关键信息。
49.可选地，在本实施例中，所述根据调整后表情关键信息和调整后行动关键信息，确定所述目标人员的情绪分类信息，包括以下步骤：对所述调整后表情关键信息和调整后行动关键信息进行特征提取，并对提取到的表情关键信息和行动关键信息进行调整。
50.返回执行所述对所述调整后表情关键信息和调整后行动关键信息进行特征提取的步骤，直至所述表情关键信息的调整次数达到预设次数，得到目标调整后表情关键信息。
51.采用训练后识别模型对所述目标调整后表情关键信息进行识别，得到所述目标人员的情绪分类信息。
52.请参照图3，本实施例还提供一种情绪类型识别装置110，情绪类型识别装置110包括至少一个可以软件形式存储于机器可读存储介质中的功能模块。从功能上划分，情绪类型识别装置110可以包括数据获取模块111、特征提取模块112、特征处理模块113、特征调整模块114及分类处理模块115。
53.数据获取模块111，用于获取监控视频图像，所述监控视频图像包括至少一个目标人员。
54.特征提取模块112，用于对所述监控视频图像进行特征提取，得到所述目标人员的表情关键信息和行动关键信息，所述行动关键信息用于指示所述目标人员的类型。
55.特征处理模块113，用于在所述表情关键信息中识别出与所述行动关键信息关联的特征，得到第一关联特征向量，并在所述行动关键信息中识别出与所述表情关键信息关联的特征，得到第二关联特征向量。
56.特征调整模块114，用于根据所述第一关联特征向量和第二关联特征向量，对所述表情关键信息和行动关键信息进行调整。
57.分类处理模块115，用于根据调整后表情关键信息和调整后行动关键信息，确定所述目标人员的情绪分类信息。
58.综上所述，本技术提供的情绪类型识别方法、装置及电子设备，通过提取监控视频图像的表情关键信息和行动关键信息，从而对表情和行动的特征信息进行调整，再根据调整后的关键信息识进行情绪分类识别，如此可以实现更准确的情绪分类识别。
59.以上所述，仅为本技术的各种实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。