一种提升准确率的表情识别方法、装置、存储介质及设备与流程

1.本技术涉及人脸识别技术领域，具体而言，涉及一种提升准确率的表情识别方法、装置、存储介质及设备。


背景技术：

2.人脸表情识别，可以帮助计算机识别出反映人类情绪甚至思维的表情，从而准确识别人类的情感，实现高质量人机交互。
3.目前的表情识别方式，通常仅仅是针对人脸部分的图像进行识别，但现有的方式，忽略了同样能够反映人类部分情绪的姿态信息，不利于识别差异细微的表情。


技术实现要素：

4.本技术实施例的目的在于提供一种提升准确率的表情识别方法、装置、存储介质及设备，以通过姿态信息辅助人脸部分进行表情识别，提升表情识别的准确率。
5.为了实现上述目的，本技术的实施例通过如下方式实现：
6.第一方面，本技术实施例提供一种提升准确率的表情识别方法，包括：获取目标人脸图像，其中，目标人脸图像内包含同一人物的脸部、脖子和双肩的图像；根据所述目标人脸图像，确定出人物的上身姿态；结合所述上身姿态，对所述脸部区域进行表情识别，确定出所述目标人脸图像中的人脸表情。
7.在本技术实施例中，通过获取目标人脸图像(包含同一人物的脸部、脖子和双肩的图像)，进一步确定出人物的上身姿态，从而结合上身姿态对脸部区域进行表情识别，确定出目标人脸图像中的人脸表情。这样的方式可以利用目标人脸图像中人物的上身姿态辅助脸部区域进行表情识别，从而能够对差异细微的人脸表情进行准确识别，有效提升人脸表情识别的准确率。
8.结合第一方面，在第一方面的第一种可能的实现方式中，根据所述目标人脸图像，确定出人物的上身姿态，包括：从所述目标人脸图像中确定出脸部区域、脖子区域和双肩区域；根据所述脸部区域确定出用于表征人物头部方向的第一参数，根据所述脖子区域确定出用于表征人物脖子方向的第二参数，根据所述双肩区域确定出用于表征人物肩膀方向的第三参数，所述第一参数、所述第二参数和所述第三参数均为矢量方向；基于所述第一参数、所述第二参数和所述第三参数，确定出人物的上身姿态。
9.在该实现方式中，通过从目标人脸图像中确定出脸部区域、脖子区域和双肩区域，进一步基于脸部区域确定出用于表征人物头部方向的第一参数，基于脖子区域确定出用于表征人物脖子方向的第二参数，基于双肩区域确定出用于表征人物肩膀方向的第三参数，从而确定出人物的上身姿态。通过这样的方式可以利用脸部区域、脖子区域和双肩区域，分别识别人物头部方向、人物脖子方向、人物肩膀方向，从而准确确定出人物的上身姿态，并且这几种特征能够较好地反映人物的情绪，例如侧偏头、回头、仰头、低头及其组合等，搭配其面部表情(特别是眼睛的视线、眼神，以及嘴角的形态等)，更有利于准确识别出该人物的
真实表情和情绪。
10.结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，根据所述脸部区域确定出用于表征人物头部方向的第一参数，包括：从所述脸部区域中确定出眉心关键点、鼻梁中线、下颌中点、双侧颌线；基于所述眉心关键点和所述下颌中点，确定出中点连线；若所述鼻梁中线和所述中点连线的方向一致，基于所述双侧颌线对所述中点连线的方向进行调节，确定出所述第一参数；若所述鼻梁中线和所述中点连线的方向不一致，基于所述鼻梁中线和所述双侧颌线，对所述中点连线的方向进行调节，得到所述第一参数。
11.在该实现方式中，从脸部区域中确定出眉心关键点、鼻梁中线、下颌中点、双侧颌线；确定出眉心关键点与下颌中点的中点连线，并判断鼻梁中线(即鼻梁正中的沿线)和中点连线的方向是否一致。若一致，说明人物的头部不存在偏头、转头等情况，因此可以基于双侧颌线(双侧颌线可以反映人物是否抬头或低头)对中点连线的方向进行调节，从而确定出第一参数。若不一致，说明人物的头部存在偏头和/或转头的情况，利用鼻梁中线和双侧颌线可以确定出人物的偏头角度和转头角度，从而对中点连线的方向进行调节。基于此种方式可以准确确定出第一参数(矢量方向)。
12.结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，根据所述脖子区域确定出用于表征人物脖子方向的第二参数，包括：确定出所述脖子区域的边沿轮廓；基于所述脖子区域的边沿轮廓中第一线条和第二线条，确定出脖子中线，作为所述第二参数，其中，所述第一线条和所述第二线条均为脖子的侧沿。
13.在该实现方式中，通过确定出脖子区域的边沿轮廓；利用其中第一线条和第二线条(第一线条和第二线条均为脖子的侧沿线)，确定出脖子中线，作为第二参数。人物脖子方向在反映人物情绪的姿态中，主要以左右侧偏的形式存在，因此，可以简单地以脖子的侧沿线快速准确地确定脖子方向。
14.结合第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，根据所述双肩区域确定出用于表征人物肩膀方向的第三参数，包括：从所述双肩区域中确定出左肩点和右肩点；连接所述左肩点和所述右肩点确定出双肩连线，作为所述第三参数。
15.在该实现方式中，通过从双肩区域中确定出左肩点和右肩点；连接左肩点和右肩点确定出双肩连线，作为第三参数。由于在反映人物情绪的姿态中，肩膀姿态的作用有限，更主要用于确定人的身体方向(配合脖子方向)，可以确定人物身体姿势的基础，从而对人物的头部姿态起到校准的作用，有利于更加准确地确定出人物的上身姿态。
16.结合第一方面的第一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述第一参数为中点连线，所述第二参数为脖子中线，所述第三参数为双肩连线，基于所述第一参数、所述第二参数和所述第三参数，确定出人物的上身姿态，包括：基于所述双肩连线和所述脖子中线，确定出人物的身体姿态；基于所述中点连线，确定出人物的头部姿态；根据所述身体姿态和所述头部姿态，确定出用于表征人物上身姿势与头部姿势的上身姿态。
17.在该实现方式中，基于双肩连线和脖子中线可以确定出人物的身体姿态；而基于中点连线可以确定出人物的头部姿态；进一步根据身体姿态和头部姿态，可以确定出用于
表征人物上身姿势与头部姿势的上身姿态。这样可以利用身体姿态对头部姿态起到修正的作用，并且也能够辅助头部姿态，更完善地表现人物的上身姿态，从而对于人脸表情的识别起到更显著的作用。
18.结合第一方面，或者结合第一方面的第一种至第五种中任一可能的实现方式，在第一方面的第六种可能的实现方式中，结合所述上身姿态，对所述脸部区域进行表情识别，确定出所述目标人脸图像中的人脸表情，包括：对所述目标人脸图像进行表情识别，得到表情分量；基于所述上身姿态确定出姿态分量；基于所述表情分量和所述姿态分量，确定出反映人物姿势和面部神态的人脸表情。
19.在该实现方式中，通过对目标人脸图像进行表情识别，可以得到表情分量；配合基于上身姿态确定出的姿态分量，可以进一步确定出反映人物姿势和面部神态的人脸表情，从而使得表情识别能够考虑到人物的上身姿态所蕴含的情绪特征，配合面部表情的识别，从而区分差异细微的不同表情，使得表情识别更加精准。
20.第二方面，本技术实施例提供一种提升准确率的表情识别装置，包括：图像获取单元，用于获取目标人脸图像，其中，目标人脸图像内包含同一人物的脸部、脖子和双肩的图像；姿态识别单元，用于根据所述目标人脸图像，确定出人物的上身姿态；表情识别单元，用于结合所述上身姿态，对所述脸部区域进行表情识别，确定出所述目标人脸图像中的人脸表情。
21.第三方面，本技术实施例提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面或第一方面的可能的实现方式中任一项所述的提升准确率的表情识别方法。
22.第四方面，本技术实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现第一方面或第一方面的可能的实现方式中任一项所述的提升准确率的表情识别方法。
23.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
24.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相去关的附图。
25.图1为本技术实施例提供的一种提升准确率的表情识别方法的流程图。
26.图2为本技术实施例提供的步骤s20的子流程图。
27.图3为本技术实施例提供的一种提升准确率的表情识别装置的示意图。
28.图4为本技术实施例提供的一种电子设备的结构框图。
29.图标：10-表情识别装置；11-图像获取单元；12-姿态识别单元；13-表情识别单元；20-电子设备；21-存储器；22-通信模块；23-总线；24-处理器。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
31.请参阅图1，图1为本技术实施例提供的一种提升准确率的表情识别方法的流程图。
32.在本实施例中，提升准确率的表情识别方法可以由电子设备执行，方法包括步骤s10、步骤s20和步骤s30。
33.为了实现对表情的准确识别，本技术实施例中将结合人物的上身姿态(上身姿态可以反映人物的一部分情绪，对于区分存在细微差别的不同表情有着不错的效果)，配合对人脸区域的面部表情，实现对人脸表情的准确识别。基于此，电子设备可以执行步骤s10。
34.步骤s10：获取目标人脸图像，其中，目标人脸图像内包含同一人物的脸部、脖子和双肩的图像。
35.在本实施例中，电子设备可以获取目标人脸图像，此目标人脸图像内包含同一人物的脸部、脖子和双肩的图像。目标人脸图像可以是电子设备通过接收其他设备发送的目标人脸图像，也可以是与电子设备连接的摄像机构拍摄的图像作为目标人脸图像，此处不作限定。
36.获取目标人脸图像之后，电子设备可以执行步骤s20。
37.步骤s20：根据所述目标人脸图像，确定出人物的上身姿态。
38.在本实施例中，电子设备可以根据目标人脸图像确定出人物的上身姿态。
39.请参阅图2，示例性的，步骤s20可以包括步骤s21、步骤s22和步骤s23。
40.在本实施例中，为了确定出人物的上身姿态，电子设备可以执行步骤s21。
41.步骤s21：从所述目标人脸图像中确定出脸部区域、脖子区域和双肩区域。
42.在本实施例中，电子设备可以从目标人脸图像中分别确定出脸部区域、脖子区域和双肩区域。此处，电子设备可以采用边缘检测的方式，从目标人脸图像中分别检测出脸部区域、脖子区域和双肩区域，由于此种技术(边缘检测技术，在检测人脸中已有很多应用，而对于脖子区域和肩膀区域的检测则非常简单，此处不作赘述)目前已经非常成熟，且并非本方案中重点改进的方法部分，因此，此处不作赘述。当然，在其他一些可能的实现方式中，也可也采用其他的方式确定脸部区域、脖子区域和双肩区域，此处不作限定。
43.确定出脸部区域、脖子区域和双肩区域之后，电子设备可以执行步骤s22。
44.步骤s22：根据所述脸部区域确定出用于表征人物头部方向的第一参数，根据所述脖子区域确定出用于表征人物脖子方向的第二参数，根据所述双肩区域确定出用于表征人物肩膀方向的第三参数，所述第一参数、所述第二参数和所述第三参数均为矢量方向。
45.首先，电子设备可以根据脸部区域确定出用于表征人物头部方向的第一参数。
46.示例性的，电子设备可以从脸部区域中确定出眉心关键点、鼻梁中线、下颌中点、双侧颌线。而后，电子设备可以基于眉心关键点和所述下颌中点，确定出中点连线。
47.由于人物的头部可以存在上下左右及周向偏转(抬头、低头、向左侧或右侧将头偏向肩膀、向左转或右转头部)以及多个动作的结合，因此，为了准确确定出表征人物头部方向的第一参数，电子设备可以先判断鼻梁中线和中点连线的方向是否一致，以此区分不同情况并对应处理。
48.若鼻梁中线和中点连线的方向一致，说明人物的头部不存在偏头、转头等情况(可
能存在抬头或低头的情况)，因此，可以利用双侧颌线确定是否存在抬头或低头的情况，并基于双侧颌线对中点连线的方向进行调节，确定出第一参数。
49.若鼻梁中线和中点连线的方向不一致，说明人物的头部存在偏头和/或转头的情况，那么，电子设备可以基于鼻梁中线和双侧颌线，确定出人物的偏头角度和转头角度，以利用偏头角度和转头角度对中点连线的方向进行调节，得到第一参数。
50.需要说明的是，本实施例中的第一参数可以定义为矢量方向，从而更好地描述头部方向。
51.通过从脸部区域中确定出眉心关键点、鼻梁中线、下颌中点、双侧颌线；确定出眉心关键点与下颌中点的中点连线，并判断鼻梁中线(即鼻梁正中的沿线)和中点连线的方向是否一致。若一致，说明人物的头部不存在偏头、转头等情况，因此可以基于双侧颌线(双侧颌线可以反映人物是否抬头或低头)对中点连线的方向进行调节，从而确定出第一参数。若不一致，说明人物的头部存在偏头和/或转头的情况，利用鼻梁中线和双侧颌线可以确定出人物的偏头角度和转头角度，从而对中点连线的方向进行调节。基于此种方式可以准确确定出第一参数。
52.其次，电子设备可以根据脖子区域确定出用于表征人物脖子方向的第二参数。
53.示例性的，电子设备可以确定出脖子区域的边沿轮廓(目标人脸图像中脖子区域无遮挡，例如，无高领毛衣、围脖等的遮挡，脖子区域的边沿轮廓存在两条侧沿线，即第一线条和第二线条)，并基于脖子区域的边沿轮廓中第一线条和第二线条，确定出脖子中线，作为第二参数，其中，第一线条和所述第二线条均为脖子的侧沿。
54.人物脖子方向在反映人物情绪的姿态中，主要以左右侧偏的形式存在，因此，可以简单地以脖子的侧沿线快速准确地确定脖子方向。当然，本实施例中的第二参数同样定义为矢量方向，从而更好地描述脖子方向，由于脖子方向主要以左右侧偏的形式表现，因此，可以将第二参数在坐标系中的两个轴的坐标设定为固定值。
55.而后，电子设备可以根据双肩区域确定出用于表征人物肩膀方向的第三参数。
56.示例性的，电子设备可以从双肩区域中确定出左肩点和右肩点，然后连接左肩点和右肩点确定出双肩连线，作为第三参数。
57.由于在反映人物情绪的姿态中，肩膀姿态的作用有限，更主要用于确定人的身体方向(配合脖子方向)，可以确定人物身体姿势的基础，从而对人物的头部姿态起到校准的作用，有利于更加准确地确定出人物的上身姿态。当然，本实施例中的第三参数同样定义为矢量方向，从而更好地描述肩膀方向。由于肩膀方向主要以左右肩膀的高低来表现，因此，可以将第三参数在坐标系中的两个轴的坐标设定为固定值(第三参数相对固定的两个轴与第二参数相对固定的两个轴，一个轴相同，一个轴不同)。
58.确定出第一参数、第二参数和第三参数后，电子设备可以执行步骤s23。
59.步骤s23：基于所述第一参数、所述第二参数和所述第三参数，确定出人物的上身姿态。
60.在本实施例中，电子设备可以利用第一参数、第二参数和第三参数确定出人物的上身姿态。
61.通过从目标人脸图像中确定出脸部区域、脖子区域和双肩区域，进一步基于脸部区域确定出用于表征人物头部方向的第一参数，基于脖子区域确定出用于表征人物脖子方
向的第二参数，基于双肩区域确定出用于表征人物肩膀方向的第三参数，从而确定出人物的上身姿态。通过这样的方式可以利用脸部区域、脖子区域和双肩区域，分别识别人物头部方向、人物脖子方向、人物肩膀方向，从而准确确定出人物的上身姿态，并且这几种特征能够较好地反映人物的情绪，例如侧偏头、回头、仰头、低头及其组合等，搭配其面部表情(特别是眼睛的视线、眼神，以及嘴角的形态等)，更有利于准确识别出该人物的真实表情和情绪。
62.示例性的，以第一参数为中点连线，第二参数为脖子中线，第三参数为双肩连线为例，电子设备可以基于双肩连线和脖子中线，确定出人物的身体姿态。而后电子设备可以基于中点连线，确定出人物的头部姿态。由于肩膀和脖子可以视为头部的基座，因此，身体姿态和头部姿态在一定程度上相互关联。基于此，电子设备可以根据身体姿态和头部姿态，进一步确定出用于表征人物上身姿势与头部姿势的上身姿态。
63.这样可以利用身体姿态对头部姿态起到修正的作用，并且也能够辅助头部姿态，更完善地表现人物的上身姿态，从而对于人脸表情的识别起到更显著的作用。
64.需要说明的是，本实施例中提供的确定人物的上身姿态的方式，进士示例性的一种，在其他一些可能的实现方式中，还可以采用其他的方式进行确定，例如，可以采用模型，识别目标人脸图像中的上身姿态，现有技术中已经存在针对人脸图像识别人物头部姿态的模型，在此基础上，可以通过新增子模型的方式，训练用于识别人脸图像(含人脸、脖子、肩膀部分的图像)中身体姿态(主要是以肩部方向和颈部方向为基础的身体姿势)，此处不做赘述。
65.确定出人物的上身姿态后，电子设备可以执行步骤s30。
66.步骤s30：结合所述上身姿态，对所述脸部区域进行表情识别，确定出所述目标人脸图像中的人脸表情。
67.在本实施例中，电子设备可以结合上身姿态对脸部区域进行表情识别，确定出目标人脸图像中的人脸表情。
68.示例性的，电子设备可以对目标人脸图像进行表情识别，得到表情分量。由于表情识别的方式，目前已经有很多，此处对目标人脸图像进行表情识别的方式(主要用于实现面部表情识别)，可以采用现有的表情识别方法，例如通过传统的图像识别方法识别人脸表情得到表情分量，也可以通过深度学习的方式实现表情的识别，以得到相应的表情分量，此处不作限定。例如，此表情分量可以为揭示此目标人脸图像中面部表情在多种表情类别中概率的参数。
69.以及，电子设备也可以基于上身姿态确定出姿态分量。此姿态分量可以为揭示此目标人脸图像中上身姿态所对应的多种表情类别中概率的参数。
70.而后，电子设备可以基于表情分量和姿态分量，确定出反映人物姿势和面部神态的人脸表情。此处，电子设备可以基于表情分量和姿态分量各自对应的概率(甚至还可以考虑二者结合起来对应的表情类别的概率)，进行整合，从而准确确定出人物的表情。
71.通过对目标人脸图像进行表情识别，可以得到表情分量；配合基于上身姿态确定出的姿态分量，可以进一步确定出反映人物姿势和面部神态的人脸表情，从而使得表情识别能够考虑到人物的上身姿态所蕴含的情绪特征，配合面部表情的识别，从而区分差异细微的不同表情，使得表情识别更加精准。
72.请参阅图3，本技术实施例提供一种提升准确率的表情识别装置10，包括：
73.图像获取单元11，用于获取目标人脸图像，其中，目标人脸图像内包含同一人物的脸部、脖子和双肩的图像。
74.姿态识别单元12，用于根据所述目标人脸图像，确定出人物的上身姿态。
75.表情识别单元13，用于结合所述上身姿态，对所述脸部区域进行表情识别，确定出所述目标人脸图像中的人脸表情。
76.在本实施例中，所述姿态识别单元12，还用于从所述目标人脸图像中确定出脸部区域、脖子区域和双肩区域；根据所述脸部区域确定出用于表征人物头部方向的第一参数，根据所述脖子区域确定出用于表征人物脖子方向的第二参数，根据所述双肩区域确定出用于表征人物肩膀方向的第三参数，所述第一参数、所述第二参数和所述第三参数均为矢量方向；基于所述第一参数、所述第二参数和所述第三参数，确定出人物的上身姿态。
77.在本实施例中，所述姿态识别单元12，还用于从所述脸部区域中确定出眉心关键点、鼻梁中线、下颌中点、双侧颌线；基于所述眉心关键点和所述下颌中点，确定出中点连线；若所述鼻梁中线和所述中点连线的方向一致，基于所述双侧颌线对所述中点连线进行调节，确定出所述第一参数；若所述鼻梁中线和所述中点连线的方向不一致，基于所述鼻梁中线和所述双侧颌线，对所述中点连线的方向进行调节，得到所述第一参数。
78.在本实施例中，所述姿态识别单元12，还用于根据所述脖子区域确定出用于表征人物脖子方向的第二参数，包括：确定出所述脖子区域的边沿轮廓；基于所述脖子区域的边沿轮廓中第一线条和第二线条，确定出脖子中线，作为所述第二参数，其中，所述第一线条和所述第二线条均为脖子的侧沿。
79.在本实施例中，所述姿态识别单元12，还用于从所述双肩区域中确定出左肩点和右肩点；连接所述左肩点和所述右肩点确定出双肩连线，作为所述第三参数。
80.在本实施例中，所述第一参数为中点连线，所述第二参数为脖子中线，所述第三参数为双肩连线，所述姿态识别单元12，还用于基于所述双肩连线和所述脖子中线，确定出人物的身体姿态；基于所述中点连线，确定出人物的头部姿态；根据所述身体姿态和所述头部姿态，确定出用于表征人物上身姿势与头部姿势的上身姿态。
81.在本实施例中，所述表情识别单元13，还用于对所述目标人脸图像进行表情识别，得到表情分量；基于所述上身姿态确定出姿态分量；基于所述表情分量和所述姿态分量，确定出反映人物姿势和面部神态的人脸表情。
82.请参阅图4，图4为本技术实施例提供的一种电子设备20的结构框图。
83.在本实施例中，电子设备20可以为服务器，例如云服务器、服务器集群等；也可以为终端，例如个人电脑、智能手机等，此处不作限定。
84.示例性的，电子设备20可以包括：通过网络与外界连接的通信模块22、用于执行程序指令的一个或多个处理器24、总线23和不同形式的存储器21，例如，磁盘、rom、或ram，或其任意组合。存储器21、通信模块22、处理器24之间可以通过总线23连接。
85.示例性的，存储器21中存储有程序。处理器24可以从存储器21调用并运行这些程序，从而便可以通过运行程序而实现提升准确率的表情识别方法。
86.本技术实施例提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行本实施例中的提升准确率的表情识别方法。
87.综上所述，本技术实施例提供一种提升准确率的表情识别方法、装置、存储介质及设备，通过获取目标人脸图像(包含同一人物的脸部、脖子和双肩的图像)，进一步确定出人物的上身姿态，从而结合上身姿态对脸部区域进行表情识别，确定出目标人脸图像中的人脸表情。这样的方式可以利用目标人脸图像中人物的上身姿态辅助脸部区域进行表情识别，从而能够对差异细微的人脸表情进行准确识别，有效提升人脸表情识别的准确率。
88.在本技术所提供的实施例中，应该理解到，所揭露的装置及方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
89.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
90.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。