表情信息处理方法、表情识别方法、装置、设备及介质与流程

1.本技术涉及图像处理技术领域，具体而言，涉及一种表情信息处理方法、表情识别方法、装置、设备及介质。


背景技术：

2.脸部表情作为鉴别情感的主要标志，在沟通交流中起着重要的作用。例如，利用脸部表情可以推断对象的心理状态，实现人机之间的智能交互。因此，如何准确识别出脸部表情是需要解决的问题。
3.现有技术中，对象的面部表情按照肌肉群的运动来划分可以被分成几十种面部的动作单元(action unit，简称au)，对象的任意表情都可以拆解为一组不同强度的au的组合。一般通过手工设计或者深度卷积网络直接从脸部图像的整个面部区域获取au信息，并基于au信息识别出对象的脸部表情。
4.但是，从整张脸部图像中提取au信息的方式，容易引入更多的噪声，不利于au的判别。


技术实现要素：

5.本技术的目的包括，例如，提供了一种表情信息处理方法、表情识别方法、装置、设备及介质，其能够利用脸部表情识别网络，自动获取待识别脸部图像中，与各动作单元对应的待识别区域，进一步基于该待识别区域获取目标对象的子表情，避免了过多无关噪声的引入。
6.本技术的实施例可以这样实现：
7.第一方面，本技术实施例提供一种表情信息处理方法，所述方法包括：
8.获取待识别脸部图像，所述待识别脸部图像包括：目标对象的脸部图像信息；
9.基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定所述待识别脸部图像中与各所述动作单元对应的待识别区域，确定各所述待识别区域与对应的动作单元的匹配信息，并根据所述匹配信息确定所述待识别脸部图像的至少一个子表情，其中，所述至少一个子表情的组合用于表征所述目标对象的表情，各所述动作单元分别用于表征所述目标对象的一种子表情。
10.第二方面，本技术实施例提供一种表情识别方法，包括：
11.获取待识别脸部图像的至少一个子表情；
12.根据所述至少一个子表情，确定所述待识别脸部图像的脸部表情。
13.第三方面，本技术实施例提供一种人脸表情信息提取装置，包括：
14.图像获取模块，用于获取待识别脸部图像，所述待识别脸部图像包括：目标对象的脸部图像信息。
15.表情提取模块，用于基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定所述待识别脸部图像中与各所述动作单元对应的待识别区域，确定各所述待识
别区域与对应的动作单元的匹配信息，并根据所述匹配信息确定所述待识别脸部图像的至少一个子表情，其中，所述至少一个子表情的组合用于表征所述目标对象的表情，各所述动作单元分别用于表征所述目标对象的一种子表情。
16.第四方面，本技术实施例还提供一种人脸表情识别装置，包括：
17.动作单元获取模块，用于获取待识别脸部图像的至少一个子表情。
18.表情确定模块，用于根据所述至少一个子表情，确定所述待识别脸部图像的脸部表情。
19.第五方面，本技术实施例提供一种处理设备，所述处理设备包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述处理设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面中任一项所述的表情信息处理方法或者第二方面中所述的表情识别方法的步骤。
20.第六方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面中任一项所述的表情信息处理方法或者第二方面中所述的表情识别方法的步骤。
21.本技术实施例的有益效果包括：
22.采用本技术提供的表情信息处理方法、表情识别方法、装置、设备及介质，首先，通过脸部表情识别网络，确定了多个与动作单元对应的多个待识别区域，再在各待识别区域内确定待识别脸部图像中的子表情，这种表情信息提取方式的粒度细化到了与动作单元对应的待识别区域，通过待识别区域与预设的动作单元的匹配确定对象的子表情，避免了直接根据对象的整张脸部图像提取信息所引入的噪声。其次，待识别区域是由脸部表情识别网络自动确定的，au区域划分更灵活，与au关注区域更贴近，提高了表情信息提取的准确度。
附图说明
23.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
24.图1为本技术实施例提供的表情信息处理方法的步骤流程示意图；
25.图2为本技术实施例提供的表情信息处理方法的流程图；
26.图3为本技术实施例提供的表情信息处理方法的又一步骤流程示意图；
27.图4为本技术实施例提供的表情信息处理方法的又一步骤流程示意图；
28.图5为本技术实施例提供的表情信息处理方法的又一步骤流程示意图；
29.图6为本技术实施例提供的表情信息处理方法的又一步骤流程示意图；
30.图7为本技术实施例提供的表情信息处理方法的又一步骤流程示意图；
31.图8为本技术实施例提供的表情信息处理方法的又一步骤流程示意图；
32.图9为本技术实施例提供的表情信息处理方法的又一步骤流程示意图；
33.图10为本技术实施例提供的表情识别方法的步骤流程示意图；
34.图11为本技术实施例提供的表情信息处理装置的结构示意图；
35.图12为本技术实施例提供的表情识别装置的结构示意图；
36.图13为本技术实施例提供的处理设备的结构示意图。
37.图标：201-待识别脸部图像；202-编码器；203-掩码解码器；204-面部特征解码器；205-脸部掩码矩阵；2051-第一脸部掩码矩阵；2052-第二脸部掩码矩阵；2053-第n脸部掩码矩阵；206-前景特征矩阵；2061-第一前景特征矩阵；2062-第二前景特征矩阵；2063-第n前景特征矩阵；207-待识别区域；2071-第一待识别区域；2072-第二待识别区域；2073-第n待识别区域；208-识别网络；2081-第一识别模块；2082-第二识别模块；2083-第n识别模块；2084-第一匹配信息；2085-第二匹配信息；2086-第n匹配信息；110-表情信息处理装置；1101-图像获取模块；1102-表情提取模块；1103-网络训练模块；1104-编码器预训练模块；120-表情识别装置；1201-动作单元获取模块；1202-表情确定模块；2001-处理器；2002-存储介质；2003-总线。
具体实施方式
38.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
39.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
40.需要说明的是，在不冲突的情况下，本技术的实施例中的特征可以相互结合。
41.au是组成对象的脸部表情的基石，为提取脸部的au信息，近年来做出了诸多探索。早期的方法大多通过人工规则定义的方式构建面部特征，如局部二值模式、小波特征等，然后在此基础上使用分类算法进行au信息的提取与检测，这种方式不仅提取效率和质量较低，且准确性较差。
42.为提升au信息提取的准确性，深度学习也被应用于au信息的提取，通常的流程是利用卷积神经网络从脸部图像中，获取全局的面部特征，再基于该面部特征进行分类或回归，以确定au信息的检测结果。但是，直接提取全局的面部特征的方式，容易使提取的特征中包含除需提取的目标au外的过多干扰噪声，给卷积神经网络带来更大的压力，降低au检测的准确率。
43.基于此，申请人经研究，提出了一种表情信息处理方法、表情识别方法、装置、设备及介质，能够利用脸部表情识别网络，自动确定出与各动作单元对应的待识别区域，在该待识别区域上获取au信息，避免了其他au的干扰，提高了au检测的准确性。
44.需要说明的是，对象可以是人类或类人的游戏角色，均具有相应的五官，并能够适应地改变表情。
45.面部表情编码系统(facs)是一种分析人脸微表情的系统，facs根据脸部解剖学的特点，将脸部划分成若干既相互独立又相互联系的au，并分析了这些au的运动特征及其所
控制的主要区域，以及与之相关的表情。
46.为了准确的提取待识别脸部图像的au信息，本技术实施例提供了一种表情信息处理方法。在获取了au信息的基础上，还可以利用本技术实施例提供的表情识别方法，进一步确定待识别脸部图像中目标对象的表情。
47.如下结合多个具体的应用示例，对本技术实施例提供的一种表情信息处理方法、表情识别方法、装置、设备及介质进行解释说明。
48.图1所示为本技术实施例提供的一种表情信息处理方法的步骤流程示意图，本方法的执行主体可以是具有计算、处理能力的计算机设备。如图1所示，该方法包括如下步骤：
49.s101，获取待识别脸部图像。
50.待识别脸部图像包括：目标对象的脸部图像信息。
51.待识别脸部图像可以是经过处理后，仅包含单张目标脸部图像信息与少量背景信息的图像，其大小可以是256
×
256。
52.待识别脸部图像可由公开脸部数据集获得，例如，yale数据库、feret数据库等，当然，不以此为限。
53.可选地，不同待识别脸部图像中的目标对象可以不同，所包含的表情也可以不同。
54.s102，基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定待识别脸部图像中与各动作单元对应的待识别区域，确定各待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像的至少一个子表情。
55.其中，至少一个子表情的组合用于表征目标对象的表情，各动作单元分别用于表征目标对象的一种子表情。
56.动作单元可以是上述面部表情编码系统中所包含的45个动作单元中的至少一个，每个动作单元均可以作为脸部表情识别网络需识别的一种子表情。根据目标对象上识别出的至少一种动作单元的组合，可以确定目标对象的表情。可选地，其具体数量可以根据需要进行设置，本技术在此不做限定。
57.脸部表情识别网络可以是深度卷积神经网络，经过训练后，将输入的待识别脸部图像中目标对象所包含的动作单元识别出来。
58.示例性地，facs中，au4为皱眉，au5为上眼睑抬升，au7为眼轮匝肌收紧，若脸部表情识别网络在目标对象上仅识别到了au5，则目标对象的表情可能是厌恶或者惊讶。若脸部表情识别网络在目标对象上同时识别到了au5和au7，则目标对象的表情可能是恐惧。而若脸部表情识别网络在目标对象上同时识别到了au4和au7，则目标对象的表情可能是愤怒或者掩饰愤怒。
59.可选地，脸部表情识别网络在识别目标对象的动作单元时，首先确定了与各动作单元相对应的待识别区域。其中，待识别区域可以是仅包含对应的动作单元区域的目标对象的信息的图像，例如，若动作单元为au17，表示推动下唇向上，则待识别区域可以是包括目标对象的嘴唇的区域。
60.值得说明的是，动作单元与待识别区域之间还可以是多对一的关系，多个动作单元可能对应同一待识别区。示例性地，au12拉动嘴角倾斜向上，au13急剧的嘴唇拉动，au14收紧嘴角所对应的均为目标对象的嘴唇区域，在标记脸部图像中的位置信息相近。
61.然后，脸部表情识别网络对各待识别区域进行识别，检测待识别区域中是否与动
作单元所表示的子表情相匹配，并根据匹配结果，输出匹配信息。该匹配信息可以用于描述目标对象包含的动作单元的数量以及名称。
62.在本实施例中，通过脸部表情识别网络对与各动作单元对应的待识别区域进行检测，确定目标对象包含的动作单元情况，避免了引入其他动作单元区域带来的噪声，au定义的粒度更细，提升了表情信息提取的准确度。
63.上述脸部表情识别网络可以包括：编码器、分别与编码器连接的掩码解码器和面部特征解码器以及识别网络，识别网络中包括：与各动作单元对应的识别模块。
64.编码器可以是一个深度卷积神经网络，可以是resnet50的前三个卷积模块。resnet50是一种包含4个卷积模块的用于特征提取的深度残差网络，在本技术实施例中，仅保留了前三个网络，可以保留目标对象的更多纹理信息。
65.掩码解码器可以由一个多层卷积模块组成，每个卷积模块由一个卷积层加一个instancenorm构成，用于从输入的脸部特征向量中获取对应的动作单元对应的注意力区域。
66.面部特征解码器可以由一个类似resnet残差结构的卷积模块来实现，每个卷积模块由两个卷积和instancenorm交替组成，用于获取关注重点在对应的动作单元的脸部信息。
67.需要说明的是，上述掩码解码器、面部特征解码器，以及下述识别网络均设置了au标签，au标签相同的掩码解码器、面部特征解码器、识别网络具有对应关系。
68.图2所示为本技术实施例提供的表情信息处理方法的流程图，如图2所示，首先，将待识别脸部图像201输入至脸部表情识别网络的编码器202中，得到脸部特征向量，该脸部特征向量可以用于描述待识别脸部图像201中目标对象的表情相关的特征信息。
69.接下来，可以将脸部特征向量输入至掩码解码器203、面部特征解码器204这两个支路中，得到多个与预设的各动作单元相对应的脸部掩码矩阵205，以及前景特征矩阵206。在本技术实施例中，以预设动作单元的数量为n个为例，可得到相互对应的第一脸部掩码矩阵2051与第一前景特征矩阵2061、相互对应的第二脸部掩码矩阵2052与第二前景特征矩阵2062
…
相互对应的第n脸部掩码矩阵2053与第n前景特征矩阵2063。
70.进一步地，将上述脸部掩码矩阵205与对应的前景特征矩阵206分别相乘，得到了第一待识别区域2071、第二待识别区域2072
…
第n待识别区域2073，待识别区域207仅包括对应的动作单元所在的区域的脸部图像。
71.最后，将上述待识别区域207输入至识别网络208中，由对应于各动作单元的第一识别模块2081、第二识别模块2082
…
第n识别模块2083分别对上述待识别区域207进行特征提取，得到各待识别区域207的特征信息，将其与各待识别区域207对应的动作单元所表征的子表情的特征信息进行比对处理，得到了第一匹配信息2084、第二匹配信息2085
…
第n匹配信息2086。上述各匹配信息可以是比对处理的二分类结果，用于描述待识别脸部图像中是否存在各动作单元所对应的子表情。
72.可选地，在确定待识别脸部图像201的匹配结果之前，还可以对脸部表情识别初始网络进行训练，以提升匹配信息的准确度，其训练过程在下述实施例中详述。
73.可选地，如图3所示，上述步骤s202中，基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定待识别脸部图像中与各动作单元对应的待识别区域，确定各
待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像的至少一个子表情，可由下述步骤s301至s303实现。
74.s301，将待识别脸部图像输入编码器中，得到脸部特征向量。
75.脸部特征向量用于描述目标对象的表情相关的特征信息。
76.将输入的待识别脸部图像的分辨率由256
×
256降至16
×
16，并将待识别脸部图像包含的3个通道转换为512特征通道，得到脸部特征向量。
77.该脸部特征向量保留了目标对象相关的各种特征信息，例如，表情、动作单元、纹理、形状等信息。
78.s302，将脸部特征向量分别输入掩码解码器和面部特征解码器中，由掩码解码器和面部特征解码器基于预设的多个动作单元得到待识别脸部图像中与各动作单元对应的待识别区域。
79.进一步地，将上述脸部特征图像分别输入至掩码解码器、面部特征解码器进行解码。由上述描述可知，掩码解码器、面部特征解码器的数量分别与动作单元的数量相同，并且根据设置的au标签，与动作单元有着对应的关系。
80.对掩码解码器、面部特征解码器的解码结果进一步处理，可以得到对应于多个动作单元的待识别区域，各待识别区域仅包括了对应的动作单元所包含的区域。
81.s303，将各待识别区域分别输入识别网络中对应的识别模块，由识别模块确定待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像是否具有对应的动作单元所表征的子表情。
82.识别网络可以是一个多层卷积网络，由多个识别模块组成，每个识别模块对应于一个au标签，用于识别该au标签对应的动作单元所表征的子表情。
83.识别网络可以对au标签与自身相同的待识别区域建立对应关系，对该待识别区域进行识别，确定待识别区域是否有au标签对应的子表情出现，根据识别结果输出匹配信息。例如，若au标签为au12拉动嘴角倾斜向上，则待识别区域为嘴唇区域，识别网络对该嘴唇区域进行识别，识别是否有拉动嘴角向上的子表情出现，并根据识别结果输出对应的匹配信息。
84.在本实施例中，先由编码器获取待识别脸部图像中的脸部特征向量，再由掩码解码器、面部特征解码器确定待识别区域，最后确定匹配信息。在确保了脸部特性纹理信息不丢失的前提下，获取了待识别区域，提高了au识别的准确性。
85.可选地，如图4所示，上述步骤s302中，将脸部特征向量分别输入掩码解码器和面部特征解码器中，由掩码解码器和面部特征解码器基于预设的多个动作单元得到待识别脸部图像中与各动作单元对应的待识别区域，可由下述步骤s401至s403实现。
86.s401，将脸部特征向量输入至掩码解码器中，得到与各动作单元对应的多个脸部掩码矩阵，脸部掩码矩阵用于描述动作单元对应的目标对象的脸部位置。
87.由上述实施例可知，掩码解码器可以由多层卷积模块组成，其中，最后一个卷积模块可以采用sigmoid激活函数将输出的脸部掩码矩阵激活到[0，1]范围内。
[0088]
可选地，脸部掩码矩阵的大小可以是256
×
256，每个像素位置的值代表该位置的重要程度，越接近0代表重要性越低，越接近1则代表该位置的重要性越高，可以理解的是，在脸部掩码矩阵对应的动作单元所在的脸部区域，像素值最高。也就是说，脸部掩码矩阵的
作用相当于蒙版，仅保留其对应的au所关注的脸部区域，弱化或消除其他脸部区域。
[0089]
s402，将脸部特征向量输入面部特征解码器中，得到与各动作单元对应的多个前景特征矩阵，前景特征矩阵用于描述动作单元对应的表情单元特征，以及表情单元特征与目标对象的脸部的关联关系。
[0090]
面部特征解码器可以是类似resnet残差结构的卷积模块，其中，最后一层卷积模块可以采用leakyrelu作为激活函数，并在最后一层卷积模块的基础上加上残差连接，将512特征通道的脸部特征向量映射为3特征通道、rgb模式的前景图。
[0091]
在此基础上，对上述前景图进一步采用sigmoid激活，将输出结果激活到[0，1]范围内，得到与各面部特征解码器对应的动作单元相同的前景特征矩阵。该前景特征矩阵的大小可以为256
×
256，每个像素位置的值代表该位置的重要程度，越接近0代表重要性越低，越接近1则代表该位置的重要性越高。
[0092]
由于各前景特征矩阵由对应于不同动作单元的面部特征解码器生成，因此，各前景特征矩阵也与动作单元具有对应关系，包含了从整张目标对象的脸部中提取的面部信息，但是以前景特征矩阵对应的动作单元的特征信息为主。
[0093]
s403，根据各脸部掩码矩阵以及对应的各前景特征矩阵，确定待识别脸部图像中与各动作单元对应的待识别区域。
[0094]
由此，根据对应于相同au标签的脸部掩码矩阵、前景特征矩阵，就可以确定对应于该au标签的待识别区域。因此，各待识别区域仅包括对应的au所在的区域，而不包括目标对象的脸部的其他区域。
[0095]
在本实施例中，通过掩码解码器、面部特征解码器，分别获取了对应于各au的脸部掩码矩阵、前景特征矩阵，进一步确定了待识别区域，通过这种方式降低了与各待识别区域无关的au的区域的重要性，以使后续的识别网络能够更关注与au的有关的区域，提高了au信息提取的准确性。
[0096]
可选地，上述步骤s403中，根据各脸部掩码矩阵以及对应的各前景特征矩阵，确定待识别脸部图像中与各动作单元对应的待识别区域，可以包括：
[0097]
将与第一动作单元对应的第一脸部掩码矩阵与第一前景特征矩阵相乘，得到第一动作单元对应的待识别区域。
[0098]
其中，第一动作单元为多个动作单元中的任意一个动作单元，第一前景特征矩阵为多个前景特征矩阵中与第一动作单元对应的前景特征矩阵。
[0099]
将上述对应于第一动作单元的第一脸部掩码矩阵与第一前景特征矩阵相乘。由于第一脸部掩码矩阵的相当于一个蒙版，相乘后能够使得第一前景特征矩阵仅保留第一动作单元所在区域、强化后的脸部特征，作为第一动作单元的待识别区域。
[0100]
对于对应于同一动作单元的脸部掩码矩阵、前景特征矩阵，均可以将二者相乘，得到仅包括脸部掩码矩阵、前景特征矩阵对应的动作单元所在区域的待识别区域。
[0101]
示例性地，若第一动作单元为au24嘴唇相互按压，则au标签为au24的掩码解码器输出的脸部掩码矩阵在目标对象的嘴唇的区域的数值更接近于1，au标签为au24的面部特征解码器输出的前景特征矩阵包含了目标对象的脸部的前景特征，其中，au24对应的嘴唇的特征被突出处理，数值相对于其他区域更高。然后，将对应于au24的脸部掩码矩阵、前景特征矩阵相乘，得到了仅包含目标对象的嘴唇区域的待识别区域的图像。
[0102]
在本实施例中，通过将各对应于同一动作单元的脸部掩码矩阵、前景特征矩阵相乘，得到了对应的待识别区域，通过这种处理，完全消弭了与待识别区域无关au的特征的影响，避免了噪声的引入，提高了表情信息提取的准确率。
[0103]
可选地，如图5所示，上述步骤s303中，将各待识别区域分别输入识别网络中对应的识别模块，由识别模块确定待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像是否具有对应的动作单元所表征的子表情，可由下述步骤s501至s502实现：
[0104]
s501，将第二动作单元对应的待识别区域输入识别网络中与第二动作单元对应的第二识别模块，由第二识别模块分别提取待识别区域的特征信息以及第二动作单元所表征的子表情的特征信息，并对待识别区域的特征信息以及第二动作单元所表征的子表情的特征信息进行比对处理，得到匹配信息。
[0105]
第二动作单元为多个动作单元中的任意一个动作单元。
[0106]
由上述实施例可知，识别网络中包含了多个识别模块，识别模块的数量与预设的动作单元的数量相等，每一模块用于识别其au标签所对应的动作单元。
[0107]
各识别网络中可以预存储其对应的动作单元所表征的子表情的特征信息，将各对应的待识别区域输入后，各识别网络对输入的待识别区域进行特征提取，将提取的特征信息与预存储的子表情的特征信息进行比对处理，输出匹配信息。
[0108]
示例性地，若第二动作单元为au9皱鼻，则第二识别区域包括了鼻子两侧、下眼睑周围以及两眉中部的脸部区域。第二识别模块预先存储了au9所表征的皱眉的特征信息，将其与由第二识别区域中提取的特征信息进行比对处理，确定二者的相似度。
[0109]
s502，若匹配信息为预设匹配值，则确定待识别脸部图像具有第二动作单元所表征的子表情。
[0110]
可选地，匹配信息可以是比对处理的二分类结果，用“1”或“0”分别表示待识别区域内“存在”或“不存在”对应的动作单元所表征的子表情。
[0111]
示例性地，在比对处理后，若第二动作单元所表征的子表情的特征信息与第二识别区域中提取的特征信息的相似度大于预设阈值，则匹配结果可以输出预设匹配值“1”，否则，输出“0”。
[0112]
在本实施例中，通过各动作单元对应的识别模块对待识别脸部图像进行特征提取、比对处理，确定了匹配信息，从而专注、准确的检测出各动作单元对应的子表示是否出现。
[0113]
下述步骤s601至s603可以在上述步骤s201前执行，也可以在上述步骤s202之前执行，用于训练脸部表情识别网络，其具体的执行流程本技术在此不做限定。
[0114]
可选地，如图6所示，本技术实施例提供的表情信息处理方法还可以包括如下步骤：
[0115]
s601，构建脸部表情识别初始网络。
[0116]
脸部表情识别初始网络包括：初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络。
[0117]
脸部表情识别初始网络中包括的初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络，各层的参数尚未进行优化，导致输入的待识别脸部图像与匹配信
息之间的映射关系并不准确，因此，需初步构建脸部表情识别初始网络后，对其训练。
[0118]
s602，获取脸部表情标记数据集，脸部表情标记数据集包括：多个标记脸部图像以及各标记脸部图像的标签信息。
[0119]
标签信息包括：多个动作单元的标识以及各动作单元在标记脸部图像中的位置信息。
[0120]
脸部表情识别初始网络的训练过程是有监督的，可以用带有标记脸部图像以及对应的标签信息进行训练。
[0121]
如前述实施例所述，不同的动作单元可能对应的脸部区域相同。
[0122]
s603，根据脸部表情标记数据集，对脸部表情识别初始网络进行训练，得到脸部表情识别网络。
[0123]
将脸部表情标记数据集中的标记脸部图像作为待识别脸部图像输入，得到匹配信息，据此对脸部表情识别初始网络进行多次训练，当匹配信息所对应的各动作单元与输入的标记脸部图像对应的标签信息的相似度大于预设阈值时，可以认为网络训练完成，将训练完成的脸部表情识别初始网络作为脸部表情识别网络。
[0124]
在本实施例中，构建脸部表情识别初始网络并利用脸部表情标记数据集进行训练，提升了脸部表情识别网络对脸部表情信息提取的准确度。
[0125]
可选地，如图7所示，上述步骤s603中，根据脸部表情标记数据集，对脸部表情识别初始网络进行训练，得到脸部表情识别网络，可由下述步骤s701至s702实现。
[0126]
s701，将各标记脸部图像输入至脸部表情识别初始网络中，基于脸部表情识别初始网络中的初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络，得到多个训练匹配信息。
[0127]
将脸部表情标记数据集中的标记脸部图像作为待识别脸部图像输入，经过初始编码器，得到标记脸部特征向量。
[0128]
再将标记脸部特征向量分别输入至初始掩码解码器、初始面部特征解码器中，得到对应于各动作单元的标记脸部掩码矩阵以及前景特征矩阵。
[0129]
进一步地，将各对应于同一动作单元的标记脸部掩码矩阵以及前景特征矩阵相乘，得到对应于各动作单元的标记待识别区域。
[0130]
最后，将各标记待识别区域输入至初始识别网络进行特征提取、识别，输出了对应于输入标记脸部图像的训练匹配信息，用于表征标记脸部图像中包含的动作单元名称。
[0131]
s702，根据训练匹配信息以及标记脸部图像的标签信息，对脸部表情识别初始网络中的初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络进行修正，得到脸部表情识别网络。
[0132]
根据上述对标记脸部图像输出的训练匹配信息，以及该标记脸部图像的标签信息，对脸部表情识别初始网络进行修正，示例性地，若某一识别模块对应的动作单元为au16拉动下唇向下，且匹配结果为“存在”，标记脸部图像也对应了该动作单元对应的标识和位置信息，则根据位置信息对对应于同一动作单元的初始掩码解码器、初始面部特征解码器的参数进行修正，以使其更关注于该动作单元所在的脸部区域。
[0133]
或者，若某一识别模块对应的动作单元为au17推动下唇向上，且匹配结果为“不存在”，但标记脸部图像对应的动作单元中包含au17，则对初始编码器、初始识别网络的参数
进行修正，以使其特征提取、识别时更准确。
[0134]
在本实施例中，根据上述对标记脸部图像输出的训练匹配信息，以及该标记脸部图像的标签信息，对脸部表情识别初始网络进行修正，强化了各初始掩码解码器、初始面部特征解码器对各自对应的动作单元的关注程度，提高了脸部表情信息提取的准确率。
[0135]
下述步骤s801至s804可在上述步骤s601之前执行，预训练得到一个较为鲁棒的脸部表情特征提取器，还可以进一步在上述步骤s702之后执行，用于进一步提升特征提取的准确度。
[0136]
可选地，如图8所示，本技术实施例提供的表情信息处理方法还可以包括如下步骤：
[0137]
s801，构建预训练编码器。
[0138]
如前述实施例所述，预训练编码器可以是resnet50的前三个卷积模块，用于提取输入的待识别脸部图像的特征。在本实施例中，预训练编码器提取的脸部特征尚不准确，需通过预训练对其参数进行修正。
[0139]
s802，获取表情数据集。
[0140]
表情数据集包括：多帧表情不同的脸部图像。
[0141]
表情数据集中可以包括多帧已标注表情信息的脸部图像，示例性地，表情数据库中多张脸部图像的表情可以包括：高兴、伤心、生气、厌恶、中性、惊讶、害怕等，当然，不以此为限。
[0142]
s803，利用表情数据集，生成多个三元组，各三元组包括：三帧表情不同的脸部图像。
[0143]
任选上述表情数据集中三帧表情不同或相同的脸部图像，构成三元组。例如：《伤心，伤心，高兴》、《生气、厌恶、中性》等，当然，不以此为限。
[0144]
可选地，各三元组对应的脸部可以为同一对象，以减少脸部之间的差异对训练结果的影响。
[0145]
s804，根据三元组，对预训练编码器进行表情相似度训练，得到初始编码器。
[0146]
可选地，可以采用相似度比较的方式，将三元组输入至预训练编码器中，以使预训练编码器通过三元组内各图像的比较进行训练，学习到表情变化之间的细粒度特征，得到了初始编码器。
[0147]
在本实施例中，利用构建的三元组对预训练编码器进行训练，进一步提升初始编码器对脸部的特征信息的捕捉能力。
[0148]
可选地，如图9所示，上述步骤s201中，获取待识别脸部图像，可由下述步骤s901至s903实现。
[0149]
s901，获取输入脸部图像。
[0150]
输入脸部图像可以由上述实施例中的公开数据集获得，还可以由摄像头采集，或者从视频中截取，其具体获取方式在此不做限定。
[0151]
s902，对输入脸部图像进行脸部检测，确定输入脸部图像的目标脸部区域。
[0152]
使用脸部检测方法，例如，opencv中的hear模型、dlib检测等方法，对输入脸部图像进行检测，确定输入脸部图像中是否包括目标对象的脸部，以及目标对象的脸部所在的区域。
[0153]
可选地，可以通过方框的坐标表示目标对象的脸部所在的区域。
[0154]
若某一张输入脸部图像中不存在可识别的脸部图像，则将该张输入脸部图像删除。
[0155]
s903，根据目标脸部区域，对输入脸部图像进行脸部对齐以及裁剪处理，得到待识别脸部图像。
[0156]
进一步地，对上述目标对象的脸部区域进行检测，得到脸部关键点信息，用于标记面部各无关的轮廓位置，包括眉毛、眼睛、鼻子、嘴巴等，示例性地，脸部关键点可以为68个，依次编号为0-67。
[0157]
获取脸部关键点信息后，可以对脸部进行对齐处理，实现各目标对象的脸部的空间归一化，以使后续的脸部表情识别网络提取到的特征与五官的位置无关。
[0158]
示例性地，若目标对象的脸部区域内的脸部是倾斜的，则可以利用左眼角l(关键点编号36)，和右眼角r(关键点编号45)的位置计算两眼中心点位置cc以及两眼角的坐标差值(δx，δy)计算出脸部对齐所需的旋转角度θ。
[0159]
可选地，旋转角度θ以及两眼中心点位置cc可分别由下式计算：
[0160][0161][0162]
其中，(xr，yr)表示目标对象的脸部的右眼角位置坐标，(x
l
，y
l
)表示目标对象的脸部的左眼角位置坐标，(xc，yc)表示两眼中心点位置坐标。
[0163]
这样，将目标对象的脸部绕两眼中心点位置坐标旋转角度θ，得到对齐后的脸部图像。
[0164]
在此基础上，可以再次对对齐后的脸部图像进行脸部关键点检测，确定目标对象的脸部的框。
[0165]
最后，对目标对象的脸部框外的脸部图像进行裁剪，得到待识别脸部图像。
[0166]
在本实施例中，对输入脸部图像进行了一系列预处理，以使后续模型获取的脸部信息更够更清晰，降低了目标对象的位置、背景信息对脸部表情信息提取的影响。
[0167]
如图10所示，本技术实施例还提供一种表情识别方法，可以包括如下步骤：
[0168]
s1001，获取待识别脸部图像的至少一个子表情。
[0169]
利用上述实施例中的表情信息处理方法，可以对待识别脸部图像进行提取，得到匹配信息。并根据匹配信息，确定目标对象的脸部所包含的动作单元，也就是子表情的数量及名称。
[0170]
s1002，根据至少一个子表情，确定待识别脸部图像的脸部表情。
[0171]
进一步地，根据上述子表情的组合，确定目标对象的当前表情。示例性地，若识别出的动作单元包括：au20嘴角拉伸、au5上眼睑上升，则目标对象的表情可能是恐惧。
[0172]
脸部的动作单元是具有关联性的，为避免检测出相互矛盾的动作单元，影响对目标对象的表情的准确判断，可选地，可以构建表情分类网络，将au之间的依赖作为约束项进行训练，在识别时以相互依赖关系密切的多个动作单元所对应的表情作为最终表情类型。
[0173]
可选地，还可以将各动作单元与各表情类型均分配数值，并通过卷积神经网络建
立动作单元与表情类型的映射关系，最终根据各动作单元的权重，经过卷积神经网络后，确定具体的表情类型。
[0174]
在本实施例中，根据上述表情信息处理方法，进一步确定了目标对象的表情信息，从而实现了对目标对象的表情的准确识别。
[0175]
参阅图11，本技术实施例还提供一种表情信息处理装置110，包括：
[0176]
图像获取模块1101，用于获取待识别脸部图像，待识别脸部图像包括：目标对象的脸部图像信息。
[0177]
表情提取模块1102，用于基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定待识别脸部图像中与各动作单元对应的待识别区域，确定各待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像的至少一个子表情，其中，至少一个子表情的组合用于表征目标对象的表情，各动作单元分别用于表征目标对象的一种子表情。
[0178]
表情提取模块1102具体还用于，将待识别脸部图像输入编码器中，得到脸部特征向量，脸部特征向量用于描述目标对象的表情相关的特征信息；将脸部特征向量分别输入掩码解码器和面部特征解码器中，由掩码解码器和面部特征解码器基于预设的多个动作单元得到待识别脸部图像中与各动作单元对应的待识别区域；将各待识别区域分别输入识别网络中对应的识别模块，由识别模块确定待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像是否具有对应的动作单元所表征的子表情。
[0179]
表情提取模块1102具体还用于，将脸部特征向量输入至掩码解码器中，得到与各动作单元对应的多个脸部掩码矩阵，脸部掩码矩阵用于描述动作单元对应的目标对象的脸部位置；将脸部特征向量输入面部特征解码器中，得到与各动作单元对应的多个前景特征矩阵，前景特征矩阵用于描述动作单元对应的表情单元特征，以及表情单元特征与目标对象的脸部的关联关系；根据各脸部掩码矩阵以及对应的各前景特征矩阵，确定待识别脸部图像中与各动作单元对应的待识别区域。
[0180]
表情提取模块1102具体还用于，将与第一动作单元对应的第一脸部掩码矩阵与第一前景特征矩阵相乘，得到第一动作单元对应的待识别区域，其中，第一动作单元为多个动作单元中的任意一个动作单元，第一前景特征矩阵为多个前景特征矩阵中与第一动作单元对应的前景特征矩阵。
[0181]
表情提取模块1102具体还用于，将第二动作单元对应的待识别区域输入识别网络中与第二动作单元对应的第二识别模块，由第二识别模块分别提取待识别区域的特征信息以及第二动作单元所表征的子表情的特征信息，并对待识别区域的特征信息以及第二动作单元所表征的子表情的特征信息进行比对处理，得到匹配信息，第二动作单元为多个动作单元中的任意一个动作单元；若匹配信息为预设匹配值，则确定待识别脸部图像具有第二动作单元所表征的子表情。
[0182]
网络训练模块1103，用于构建脸部表情识别初始网络，脸部表情识别初始网络包括：初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络；获取脸部表情标记数据集，脸部表情标记数据集包括：多个标记脸部图像以及各标记脸部图像的标签信息，标签信息包括：多个动作单元的标识以及各动作单元在标记脸部图像中的位置信息；根据脸部表情标记数据集，对脸部表情识别初始网络进行训练，得到脸部表情识别网络。
[0183]
网络训练模块1103具体还用于，将各标记脸部图像输入至脸部表情识别初始网络中，基于脸部表情识别初始网络中的初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络，得到多个训练匹配信息；根据训练匹配信息以及标记脸部图像的标签信息，对脸部表情识别初始网络中的初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络进行修正，得到脸部表情识别网络。
[0184]
编码器预训练模块1104，用于构建预训练编码器；获取表情数据集，表情数据集包括：多帧表情不同的脸部图像；利用表情数据集，生成多个三元组，各三元组包括：三帧表情不同的脸部图像；根据三元组，对预训练编码器进行表情相似度训练，得到初始编码器。
[0185]
图像获取模块1101具体还用于，获取输入脸部图像；对输入脸部图像进行脸部检测，确定输入脸部图像的目标脸部区域；根据目标脸部区域，对输入脸部图像进行脸部对齐以及裁剪处理，得到待识别脸部图像。
[0186]
参阅图12，本技术实施例还提供一种表情识别装置120，包括：
[0187]
动作单元获取模块1201，用于获取待识别脸部图像的至少一个子表情。
[0188]
表情确定模块1202，用于根据至少一个子表情，确定待识别脸部图像的脸部表情。
[0189]
图13示出了本技术实施例所提供的一种电子设备的结构示意图，包括：处理器2001、存储介质2002和总线2003，存储介质2002存储有处理器2001可执行的机器可读指令，当电子设备运行如实施例中的一种表情信息处理方法或表情识别方法时，处理器2001与存储介质2002之间通过总线2003通信，处理器2001执行机器可读指令，处理器2001表情信息处理方法项的前序部分，以执行以下步骤：
[0190]
获取待识别脸部图像，待识别脸部图像包括：目标对象的脸部图像信息；基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定待识别脸部图像中与各动作单元对应的待识别区域，确定各待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像的至少一个子表情，其中，至少一个子表情的组合用于表征目标对象的表情，各动作单元分别用于表征目标对象的一种子表情。
[0191]
在一个可行的实施方案中，脸部表情识别网络包括：编码器、分别与编码器连接的掩码解码器和面部特征解码器以及识别网络，识别网络中包括：与各动作单元对应的识别模块。
[0192]
处理器2001在执行基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定待识别脸部图像中与各动作单元对应的待识别区域，确定各待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像的至少一个子表情时，具体用于：
[0193]
将待识别脸部图像输入编码器中，得到脸部特征向量，脸部特征向量用于描述目标对象的表情相关的特征信息；将脸部特征向量分别输入掩码解码器和面部特征解码器中，由掩码解码器和面部特征解码器基于预设的多个动作单元得到待识别脸部图像中与各动作单元对应的待识别区域；将各待识别区域分别输入识别网络中对应的识别模块，由识别模块确定待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像是否具有对应的动作单元所表征的子表情。
[0194]
处理器2001在执行将脸部特征向量分别输入掩码解码器和面部特征解码器中，由掩码解码器和面部特征解码器基于预设的多个动作单元得到待识别脸部图像中与各动作
单元对应的待识别区域时，具体用于：
[0195]
将脸部特征向量输入至掩码解码器中，得到与各动作单元对应的多个脸部掩码矩阵，脸部掩码矩阵用于描述动作单元对应的目标对象的脸部位置；将脸部特征向量输入面部特征解码器中，得到与各动作单元对应的多个前景特征矩阵，前景特征矩阵用于描述动作单元对应的表情单元特征，以及表情单元特征与目标对象的脸部的关联关系；根据各脸部掩码矩阵以及对应的各前景特征矩阵，确定待识别脸部图像中与各动作单元对应的待识别区域。
[0196]
处理器2001在执行根据各脸部掩码矩阵以及对应的各前景特征矩阵，确定待识别脸部图像中与各动作单元对应的待识别区域时，具体用于：
[0197]
将与第一动作单元对应的第一脸部掩码矩阵与第一前景特征矩阵相乘，得到第一动作单元对应的待识别区域，其中，第一动作单元为多个动作单元中的任意一个动作单元，第一前景特征矩阵为多个前景特征矩阵中与第一动作单元对应的前景特征矩阵。
[0198]
处理器2001在执行将各待识别区域分别输入识别网络中对应的识别模块，由识别模块确定待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像是否具有对应的动作单元所表征的子表情时，具体用于：
[0199]
将第二动作单元对应的待识别区域输入识别网络中与第二动作单元对应的第二识别模块，由第二识别模块分别提取待识别区域的特征信息以及第二动作单元所表征的子表情的特征信息，并对待识别区域的特征信息以及第二动作单元所表征的子表情的特征信息进行比对处理，得到匹配信息，第二动作单元为多个动作单元中的任意一个动作单元；若匹配信息为预设匹配值，则确定待识别脸部图像具有第二动作单元所表征的子表情。
[0200]
在一个可行的实施方案中，还包括：构建脸部表情识别初始网络，脸部表情识别初始网络包括：初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络；获取脸部表情标记数据集，脸部表情标记数据集包括：多个标记脸部图像以及各标记脸部图像的标签信息，标签信息包括：多个动作单元的标识以及各动作单元在标记脸部图像中的位置信息；根据脸部表情标记数据集，对脸部表情识别初始网络进行训练，得到脸部表情识别网络。
[0201]
处理器2001在执行根据脸部表情标记数据集，对脸部表情识别初始网络进行训练，得到脸部表情识别网络时，具体用于：
[0202]
将各标记脸部图像输入至脸部表情识别初始网络中，基于脸部表情识别初始网络中的初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络，得到多个训练匹配信息；根据训练匹配信息以及标记脸部图像的标签信息，对脸部表情识别初始网络中的初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络进行修正，得到脸部表情识别网络。
[0203]
在一个可行的实施方案中，还包括：构建预训练编码器；获取表情数据集，表情数据集包括：多帧表情不同的脸部图像；利用表情数据集，生成多个三元组，各三元组包括：三帧表情不同的脸部图像；根据三元组，对预训练编码器进行表情相似度训练，得到初始编码器。
[0204]
处理器2001在执行获取待识别脸部图像时，具体用于：
[0205]
获取输入脸部图像；对输入脸部图像进行脸部检测，确定输入脸部图像的目标脸
部区域；根据目标脸部区域，对输入脸部图像进行脸部对齐以及裁剪处理，得到待识别脸部图像。
[0206]
处理器2001表情识别方法项的前序部分，以执行以下步骤：
[0207]
获取待识别脸部图像的至少一个子表情；根据至少一个子表情，确定待识别脸部图像的脸部表情。
[0208]
处理器2001在执行根据至少一个子表情，确定待识别脸部图像的人脸表情时，具体用于：
[0209]
将至少一个子表情输入至预先训练的表情分类网络中，根据各子表情间的依赖关系，确定待识别脸部图像的人脸表情。
[0210]
通过上述方式，将表情信息提取方式的粒度细化到了与动作单元对应的待识别区域，通过待识别区域与预设的动作单元的匹配确定人脸的子表情，避免了直接根据整张人脸提取信息所引入的噪声提高了表情信息提取的准确度。
[0211]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行，处理器执行以下步骤：
[0212]
获取待识别脸部图像，待识别脸部图像包括：目标对象的脸部图像信息；基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定待识别脸部图像中与各动作单元对应的待识别区域，确定各待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像的至少一个子表情，其中，至少一个子表情的组合用于表征目标对象的表情，各动作单元分别用于表征目标对象的一种子表情。
[0213]
在一个可行的实施方案中，脸部表情识别网络包括：编码器、分别与编码器连接的掩码解码器和面部特征解码器以及识别网络，识别网络中包括：与各动作单元对应的识别模块。
[0214]
处理器在执行基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定待识别脸部图像中与各动作单元对应的待识别区域，确定各待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像的至少一个子表情时，具体用于：
[0215]
将待识别脸部图像输入编码器中，得到脸部特征向量，脸部特征向量用于描述目标对象的表情相关的特征信息；将脸部特征向量分别输入掩码解码器和面部特征解码器中，由掩码解码器和面部特征解码器基于预设的多个动作单元得到待识别脸部图像中与各动作单元对应的待识别区域；将各待识别区域分别输入识别网络中对应的识别模块，由识别模块确定待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像是否具有对应的动作单元所表征的子表情。
[0216]
处理器在执行将脸部特征向量分别输入掩码解码器和面部特征解码器中，由掩码解码器和面部特征解码器基于预设的多个动作单元得到待识别脸部图像中与各动作单元对应的待识别区域时，具体用于：
[0217]
将脸部特征向量输入至掩码解码器中，得到与各动作单元对应的多个脸部掩码矩阵，脸部掩码矩阵用于描述动作单元对应的目标对象的脸部位置；将脸部特征向量输入面部特征解码器中，得到与各动作单元对应的多个前景特征矩阵，前景特征矩阵用于描述动作单元对应的表情单元特征，以及表情单元特征与目标对象的脸部的关联关系；根据各脸部掩码矩阵以及对应的各前景特征矩阵，确定待识别脸部图像中与各动作单元对应的待识
别区域。
[0218]
处理器在执行根据各脸部掩码矩阵以及对应的各前景特征矩阵，确定待识别脸部图像中与各动作单元对应的待识别区域时，具体用于：
[0219]
将与第一动作单元对应的第一脸部掩码矩阵与第一前景特征矩阵相乘，得到第一动作单元对应的待识别区域，其中，第一动作单元为多个动作单元中的任意一个动作单元，第一前景特征矩阵为多个前景特征矩阵中与第一动作单元对应的前景特征矩阵。
[0220]
处理器在执行将各待识别区域分别输入识别网络中对应的识别模块，由识别模块确定待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像是否具有对应的动作单元所表征的子表情时，具体用于：
[0221]
将第二动作单元对应的待识别区域输入识别网络中与第二动作单元对应的第二识别模块，由第二识别模块分别提取待识别区域的特征信息以及第二动作单元所表征的子表情的特征信息，并对待识别区域的特征信息以及第二动作单元所表征的子表情的特征信息进行比对处理，得到匹配信息，第二动作单元为多个动作单元中的任意一个动作单元；若匹配信息为预设匹配值，则确定待识别脸部图像具有第二动作单元所表征的子表情。
[0222]
在一个可行的实施方案中，还包括：构建脸部表情识别初始网络，脸部表情识别初始网络包括：初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络；获取脸部表情标记数据集，脸部表情标记数据集包括：多个标记脸部图像以及各标记脸部图像的标签信息，标签信息包括：多个动作单元的标识以及各动作单元在标记脸部图像中的位置信息；根据脸部表情标记数据集，对脸部表情识别初始网络进行训练，得到脸部表情识别网络。
[0223]
处理器在执行根据脸部表情标记数据集，对脸部表情识别初始网络进行训练，得到脸部表情识别网络时，具体用于：
[0224]
将各标记脸部图像输入至脸部表情识别初始网络中，基于脸部表情识别初始网络中的初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络，得到多个训练匹配信息；根据训练匹配信息以及标记脸部图像的标签信息，对脸部表情识别初始网络中的初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络进行修正，得到脸部表情识别网络。
[0225]
在一个可行的实施方案中，还包括：构建预训练编码器；获取表情数据集，表情数据集包括：多帧表情不同的脸部图像；利用表情数据集，生成多个三元组，各三元组包括：三帧表情不同的脸部图像；根据三元组，对预训练编码器进行表情相似度训练，得到初始编码器。
[0226]
处理器在执行获取待识别脸部图像时，具体用于：
[0227]
获取输入脸部图像；对输入脸部图像进行脸部检测，确定输入脸部图像的目标脸部区域；根据目标脸部区域，对输入脸部图像进行脸部对齐以及裁剪处理，得到待识别脸部图像。
[0228]
处理器表情识别方法项的前序部分，以执行以下步骤：
[0229]
获取待识别脸部图像的至少一个子表情；根据至少一个子表情，确定待识别脸部图像的脸部表情。
[0230]
处理器在执行根据至少一个子表情，确定待识别脸部图像的人脸表情时，具体用
于：
[0231]
将至少一个子表情输入至预先训练的表情分类网络中，根据各子表情间的依赖关系，确定待识别脸部图像的脸部表情。
[0232]
通过上述方式，将表情信息提取方式的粒度细化到了与动作单元对应的待识别区域，通过待识别区域与预设的动作单元的匹配确定脸部的子表情，避免了直接根据整张脸部提取信息所引入的噪声提高了表情信息提取的准确度。
[0233]
在本技术实施例中，该计算机程序被处理器运行时还可以执行其它机器可读指令，以执行如实施例中其它所述的方法，关于具体执行的方法步骤和原理参见实施例的说明，在此不再详细赘述。
[0234]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0235]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0236]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0237]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0238]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0239]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。