一种模型训练方法、表情识别方法以及装置与流程

1.本说明书涉及图像处理技术领域，尤其涉及一种模型训练方法、表情识别方法以及装置。


背景技术：

2.由于面部表情可以用来判断用户的心理状态或者情绪状态，而基于用户不同的情绪状态，可以采用对应的策略来执行业务，以提高业务效率。因此，表情识别技术被广泛的应用在各种业务场景中，例如，智能辅导系统、服务机器人、驾驶员疲劳监测系统等等。
3.在现有技术中，对于表情识别主要是依赖于机器学习的方法，通过对图像或者视频中的表情图像，进行特征提取，通过模型计算识别等方法，确定表情识别结果。
4.目前机器学习方法均是将不同类型的表情作为独立的类别进行区分，更多的是从关注不同的外部因素，来提高识别准确率。例如，通过考虑遮挡、用户头部姿态、用户身份信息等因素，提高模型识别准确率。但是，现有技术却忽略了面部表情之间潜在的联系与区别，导致识别准确率难以提高。


技术实现要素：

5.本说明书实施例提供一种模型训练方法、表情识别方法以及装置，以部分解决上述现有技术存在的问题。
6.本说明书实施例采用下述技术方案：
7.本说明书提供的一种模型训练方法，包括：
8.获取若干面部图像及其表情类别标签，确定各训练样本；
9.针对每个训练样本，对该训练样本进行特征提取，确定初始特征向量；
10.将所述初始特征向量，分别输入待训练的识别模型中的各潜特征分支网络，确定该训练样本的各潜特征向量，并根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失；
11.根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向量的关联权重，并根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失；
12.根据该训练样本各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果；
13.根据所述识别结果以及该训练样本的表情类别标签，确定分类损失，并根据所述分类损失、所述潜特征关联损失以及所述潜特征分布损失，对所述识别模型进行训练，所述识别模型用于识别表情类别，以用于执行业务。
14.可选地，针对每个训练样本，对该训练样本进行特征提取，确定初始特征向量，具体包括：
15.将各训练样本划分为多个训练子集；
16.依次对各训练子集中的每个训练样本，确定该训练样本的初始特征向量。
17.可选地，并根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失，具体包括：
18.针对每个潜特征分支网络，确定已存储的该潜特征分支网络输出的潜特征向量的分布中心，其中，所述分布中心为根据该潜特征分支网络已输出的，其他训练子集的潜特征向量确定的；
19.根据所述分布中心，以及该潜特征分支网络输出的该训练样本的潜特征向量，确定该训练样本对应该潜特征分支网络的损失；
20.根据训练样本对应各潜特征分支网络的损失，确定潜特征分布损失。
21.可选地，所述方法还包括：
22.对于当前训练阶段的当前训练子集，当通过该潜特征分支网络确定所述当前训练子集中各训练样本的潜特征向量时，根据所述当前训练子集中各训练样本的潜特征向量，更新所述已存储的分布中心。
23.可选地，根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向量的关联权重，具体包括：
24.确定该训练样本的两两潜特征向量之间的相似度；
25.根据确定出的各相似度，确定所述初始特征向量提取出的潜特征向量对应的距离矩阵；
26.根据所述距离矩阵，确定待训练的所述识别模型中关联权重层的输入，并输入所述关联权重层，确定各潜特征向量对应的关联权重。
27.可选地，确定该训练样本的两两潜特征向量之间的相似度，具体包括：
28.将确定出的各潜特征向量，分别对应输入待训练的所述识别模型中的各注意力权分支网络，确定归一化的各潜特征向量的注意力加权结果；
29.确定两两潜特征向量的注意力加权结果之间的相似度。
30.可选地，根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失，具体包括：
31.根据该训练样本的表情类别标签，确定已存储的所述表情类别标签的关联权重分布，其中，所述表情类别标签的关联权重分布，根据当前训练阶段之前确定出的，各训练子集中所述表情类别标签对应的各其他训练样本的关联权重确定；
32.根据该训练样本的各潜特征向量的关联权重，确定该训练样本的关联权重分布；
33.根据所述表情类别标签的关联权重分布以及该训练样本的关联权重分布，确定潜特征关联损失；
34.其中，所述关联权重分布用于表征不同表情类别中各潜特征向量之间的关系。
35.可选地，根据所述识别结果以及该训练样本的表情类别标签，确定分类损失，并根据所述分类损失、所述潜特征关联损失以及所述潜特征分布损失，对所述识别模型进行训练，具体包括：
36.根据各训练样本分别对应的分类损失、所述潜特征关联损失以及所述潜特征分布损失，确定各训练样本对应的总损失；
37.以所述总损失最小为训练目标，调整待训练的所述识别模型的模型参数。
38.本说明书提供一种表情识别方法，包括：
39.获取待识别的面部图像，并对所述面部图像进行特征提取，确定初始特征向量；
40.根据预先训练的识别模型中的各潜特征分支网络，对所述初始特征向量进行提取，确定各潜特征向量，其中，各潜特征向量分布一致性，通过训练所述识别模型过程中对各潜特征分支网络输出的潜特征向量的分布中心进行约束；
41.根据各潜特征向量之间的相似度，确定各潜特征向量的关联权重，其中，所述关联权重为通过训练所述识别模型过程中，基于对不同表情类别标签中潜特征向量的关联权重分布进行约束确定出的；
42.根据各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果，根据所述识别结果执行业务。
43.可选地，根据各潜特征向量之间的相似度，确定各潜特征向量的关联权重，具体包括：
44.确定两两潜特征向量之间的相似度；
45.根据确定出的各相似度，确定所述初始特征向量提取出的潜特征向量对应的距离矩阵；
46.根据所述距离矩阵，确定所述识别模型中关联权重层的输入，并输入所述关联权重层，确定各潜特征对应的关联权重。
47.可选地，确定两两潜特征向量之间的相似度，具体包括：
48.将确定出的各潜特征向量，分别对应输入所述识别模型中的各注意力权分支网络，确定归一化的各潜特征向量的注意力加权结果；
49.确定两两潜特征向量的注意力加权结果之间的相似度。
50.可选地，基于各关联加权后的潜特征向量，确定重构特征向量，具体包括：
51.针对每个潜特征向量，根据该潜特征向量对应的关联权重，对该潜特征向量进行加权，确定关联加权后的该潜特征；
52.对关联加权后的各潜特征，相应位置的向量元素进行相加，确定重构特征向量。
53.可选地，通过所述识别模型中的分类层，确定识别结果，具体包括：
54.将所述重构特征向量，输入所述识别模型中的分类层，确定所述待识别的面部图像在各预设表情分类上的预测结果；
55.根据各预设表情分类上的预测结果，确定识别结果。
56.本说明书提供一种模型训练装置，包括：
57.样本确定模块，获取若干面部图像及其表情类别标签，确定各训练样本；
58.特征提取模块，针对每个训练样本，对该训练样本进行特征提取，确定初始特征向量；
59.特征分割模块，将所述初始特征向量，分别输入待训练的识别模型中的各潜特征分支网络，确定该训练样本的各潜特征向量，并根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失；
60.关联确定模块，根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向
量的关联权重，并根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失；
61.重组识别模块，根据该训练样本各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果；
62.参数调整模块，根据所述识别结果以及该训练样本的表情类别标签，确定分类损失，并根据所述分类损失、所述潜特征关联损失以及所述潜特征分布损失，对所述识别模型进行训练，所述识别模型用于识别表情类别，以用于执行业务。
63.本说明书提供一种表情识别装置，包括：
64.特征提取模块，获取待识别的面部图像，并对所述面部图像进行特征提取，确定初始特征向量；
65.特征分割模块，根据预先训练的识别模型中的各潜特征分支网络，对所述初始特征向量进行提取，确定各潜特征向量，其中，各潜特征向量分布一致性，通过训练所述识别模型过程中对各潜特征分支网络输出的潜特征向量的分布中心进行约束；
66.关联确定模块，根据各潜特征向量之间的相似度，确定各潜特征向量的关联权重，其中，所述关联权重为通过训练所述识别模型过程中，基于对不同表情类别标签中潜特征向量的关联权重分布进行约束确定出的；
67.重组识别模块，根据各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果，根据所述识别结果执行业务。
68.本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的模型训练或表情识别方法。
69.本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的模型训练或表情识别方法。
70.本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
71.在本说明书中，通过将从面部图像提取出的初始特征向量进一步提取，确定各潜特征向量，并在训练识别模型时，对相同潜特征分支网络输出的潜特征向量的分布中心进行约束，以及对每种表情类别标签的关联权重分布进行约束，分别确定潜特征分布损失以及潜特征关联损失。并根据各关联加权的潜特征向量确定重构特征向量，通过分类层确定该面部图像的识别结果。以根据该识别结果与该面部表情的表情类别标签确定分类损失。并基于三种损失调整该识别模型的参数。
72.从上述方法中可以看出，本方法可以明确在同一训练样本中，不同潜特征向量自身对识别该训练样本对应的表情类别的重要性，以及各潜特征向量间的关联性。并对相同表情类别标签对应的潜特征向量的关联权重分布进行约束，以实现对不同表情的准确识别。能够训练得到准确的识别模型，使得能够对具有相似特征的面部表情进行区分，通过该识别模型得到的面部图像的识别结果也更准确。
附图说明
73.此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
74.图1为本说明书实施例提供的模型训练方法的流程示意图；
75.图2为本说明书提供的一种确定潜特征分布损失的示意图；
76.图3为本说明书提供的一种确定潜特征关联损失的示意图；
77.图4为本说明书提供的一种确定重构特征向量的示意图；
78.图5为本说明书实施例提供的一种识别模型的结构示意图；
79.图6为本说明书实施例提供的一种表情识别方法的流程示意图；
80.图7为本说明书实施例提供的一种模型训练装置的结构示意图；
81.图8为本说明书实施例提供的一种表情识别装置的结构示意图；
82.图9为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
83.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
84.以下结合附图，详细说明本说明书各实施例提供的技术方案。
85.图1为本说明书实施例提供的模型训练方法的流程示意图，包括：
86.s100：获取若干面部图像及其表情类别标签，确定各训练样本。
87.在本说明书提供的一个或多个实施例中，该模型训练方法可由服务器执行。该服务器可通过该模型训练方法，分多个训练阶段来对用于识别人的面部表情的识别模型进行训练。在每一个训练阶段，该服务器可根据各训练样本对该识别模型进行一次训练。本说明书中的训练阶段可对应模型训练领域的epoch概念。在对该识别模型进行训练时，训练阶段的数量可根据需要设置，本说明书在此不做限制。
88.在本说明书中，由于训练的该识别模型用于识别人的面部表情，因此，在本说明书提供的一个或多个实施例中，该服务器首先可获取若干面部图像及其表情类别标签，以确定各训练样本。其中，获取的若干面部图像可以是对应不同人的不同表情的图像，该表情类别标签为对应人的各种面部表情类别的标签。面部表情类别可以包括：愤怒、吃惊、厌恶、悲伤、平静、惊恐等人的各种情绪对应的表情。具体怎样对人的面部表情进行分类以确定各表情类别标签可根据需要设置，本说明书在此不做限制。
89.在本说明书提供的一个或多个实施例中，为了排除图像中人的面部以外的部分图像的影响，该服务器可对各面部图像进行裁剪，裁去面部以外的部分图像。该服务器可通过将各面部图像输入多任务卷积神经网络(multi
‑
task conv olutional neural network，mtcnn)等方法对面部图像进行裁剪。
90.在本说明书提供的一个或多个实施例中，为了丰富训练样本，模拟在实际进行表情识别时，可能出现的各种情况，例如存在遮挡导致人的面部展示不全、用于识别的人的图
像模糊等情况。该服务器还可对各面部图像进行随机裁剪、翻转、模糊等操作。
91.s102：针对每个训练样本，对该训练样本进行特征提取，确定初始特征向量。
92.在本说明书提供的一个或多个实施例中，该服务器可针对每个训练样本，对该训练样本进行特征提取，以确定特征向量。
93.在本说明书提供的一个或多个实施例中，为了减少该服务器的运算负荷，该服务器还可将各训练样本划分为多个训练子集。本说明书中的训练子集可对应模型训练领域的batch概念。在每个训练阶段中，该服务器可分别根据各训练子集对该识别模型进行训练。因此，该服务器还可以依次对各训练子集中的每个训练样本，确定该训练样本的初始特征向量。
94.在本说明书提供的一个或多个实施例中，在对该训练样本进行特征提取时，该服务器可将该训练样本输入该待训练的识别模型中的特征提取层，以进行特征提取，确定该训练样本的初始特征向量。
95.其中，该特征提取层可以是现有的可对图像进行特征提取的特征提取网络，例如，该特征提取层可以是残差网络(residual network，resnet)，或者，也可以是特征金字塔网络(feature pyramid networks，fpn)网络、卷积神经网络(convolutional neural networks，cnn)等其他的特征提取网络，具体可根据需要设置，本说明书在此不做限制。
96.在本说明书提供的一个或多个实施例中，以该特征提取层是残差网络中的resnet18为例进行说明，由于该resnet18的最后一层全连接层会对特征进行聚合，使得输出的初始特征向量的特征维度降低，而各特征维度的特征复杂度增加，这不利于后续步骤中在基于该初始特征向量得到各潜特征向量后，对潜特征向量的分析和学习。因此，在本说明书一个或多个实施例中，可将resnet18网络的最后一层全连接层去除，该服务器可将该训练样本输入去除最后一层全连接层的resnet18，来确定该训练样本对应的初始特征向量。
97.s104：将所述初始特征向量，分别输入待训练的识别模型中的各潜特征分支网络，确定该训练样本的各潜特征向量，并根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失。
98.在本说明书提供的一个或多个实施例中，该待训练的识别模型可包含多个潜特征分支网络。该服务器在得到该训练样本对应的特征向量后，可将该特征向量分别输入待训练的识别模型中的各潜特征分支网络，以确定各潜特征分支网络分别输出的该训练样本的各潜特征向量，以根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失。
99.其中，该潜特征分支网络的数量可根据需要设置，本说明书在此不做限制。该潜特征分支网络具体可以是由一个全连接层、一个归一化层以及一个激活函数层组成的分支网络。该激活函数可根据需要设置，例如该激活函数可为relu激活函数。
100.在本说明书提供的一个或多个实施例中，该服务器可针对每个潜特征向量，根据该潜特征向量的各特征维度对应的特征值，确定该潜特征向量的分布中心。例如，该服务器可将该潜特征向量的各特征维度中，特征值最高的特征维度，作为该潜特征向量的分布中心。
101.在本说明书提供的一个或多个实施例中，该服务器可根据存储的当前训练阶段
内，该训练样本所属训练子集的前一个或多个其他训练子集中，各训练样本的各潜特征向量的分布中心，确定潜特征分布损失。
102.在本说明书提供的一个或多个实施例中，该服务器具体可针对每个潜特征分支网络，确定已存储的该潜特征分支网络输出的潜特征向量的分布中心。其中，该分布中心为根据该潜特征分支网络已输出的，其他训练子集的潜特征向量确定的。即该潜特征分支网络已输出的，其他训练子集的潜特征向量分别对应的分布中心。该服务器可根据已存储的各其他训练子集的潜特征向量对应的分布中心，以及该潜特征分支网络输出的该训练样本的潜特征向量的分布中心，确定该训练样本对应该潜特征分支网络的损失。之后，该服务器可根据训练样本对应各潜特征分支网络的损失，确定潜特征分布损失。
103.为了使相同潜特征分支网络输出的不同训练样本对应的潜特征向量的特征分布以及分布中心相同或相近，在本说明书提供的一个或多个实施例中，在确定该潜特征分支网络的损失时，该服务器可根据已存储的各分布中心，以及该潜特征分支网络当前输出的潜特征向量的分布中心间的差异，确定该潜特征分支网络的损失。以根据各潜特征分支网络对应的损失，调整该识别模型的参数，使得该识别模型中同一潜特征分支网络输出的，不同训练样本对应的潜特征向量的分布中心相同或尽可能相近。
104.在本说明书提供的一个或多个实施例中，该服务器可针对每个潜特征分支网络，根据该潜特征分支网络输出的其他训练子集的各训练样本的潜特征向量，以及各潜特征向量的分布中心，确定该潜特征分支网络输出的潜特征向量对应的目标分布中心。并根据该潜特征分支网络当前输出的潜特征向量的分布中心与其对应的目标分布中心的差异，确定该潜特征分支网络的损失。
105.以根据当前训练阶段内，该训练样本所属训练子集的前一个训练子集中各训练样本的各潜特征向量的分布中心，确定潜特征分布损失为例进行说明。该服务器可将该前一个训练子集作为该训练样本所属训练子集的关联训练子集，并针对每个潜特征分支网络，将该关联训练子集包含的各训练样本中，该潜特征分支网络输出的各潜特征向量，作为该潜特征分支网络的关联潜特征向量。之后，该服务器可将该潜特征分支网络的各关联潜特征向量的分布中心求平均，得到该潜特征分支网络对应的各分布中心的平均维度，并将该平均维度作为该潜特征分支网络的目标分布中心。
106.图2为本说明书提供的一种确定潜特征分布损失的示意图。如图，a、b、c表示前一个训练子集中，各训练样本的各潜特征向量的分布中心。基于分布中心a、b、c，得到目标分布中心t后，该服务器可根据该训练样本的分布中心n与其对应的目标分布中心t间的差值l，确定潜特征分布损失。
107.以该识别模型包含的潜特征分支网络的数量是2为例，假设该关联训练子集中包含a、b、c、d，4个训练样本，潜特征向量的维度为10，潜特征分支网络1输出了4个训练样本分别对应的：潜特征向量a1(分布中心为第3维度)、潜特征向量b1(分布中心为第4维度)、潜特征向量c1(分布中心为第3维度)、潜特征向量d1(分布中心为第6维度)。潜特征分支网络2输出了4个训练样本分别对应的：潜特征向量a2(分布中心为第4维度)、潜特征向量b2(分布中心为第4维度)、潜特征向量c2(分布中心为第6维度)、潜特征向量d2(分布中心为第6维度)。则潜特征分支网络1对应的目标分布中心为：(3 4 3 6)/4＝4，即第4维度。潜特征分支网络2对应的目标分布中心为：(4 4 6 6)/4＝5，即第5维度。
108.在本说明书提供的一个或多个实施例中，该服务器可针每个潜特征分支网络，确定该潜特征分支网络当前输出的潜特征向量的分布中心与其对应的目标分布中心的差值，并将得到的差值的平方作为该潜特征分支网络的损失。在得到各潜特征分支网络的损失后，可对各潜特征分支网络的损失求和，得到该训练样本对应的潜特征分布损失。
109.在本说明书提供的一个或多个实施例中，确定潜特征分布损失的公式可具体如下：
[0110][0111]
其中，n表示该训练样本对应的潜特征向量的数量，即潜特征分支网络的数量，也同样是该训练样本对应的分布中心的数量。loss
la
表示该训练样本对应的潜特征分布损失。f
j
表示第j个潜特征分支网络输出的特征向量对应的分布中心，c
j
表示第j个潜特征分支网络对应的目标分布中心。
[0112]
s106：根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向量的关联权重，并根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失。
[0113]
由于从面部表情的细节特征来看，一些不同面部表情间也存在相似特征，例如，悲伤和厌恶整体上看是存在较大差异，但在局部存在相同特征，比如说，二者都包含皱眉这一特征。而仅根据面部表情整体对人的面部表情进行分析识别，可能会由于几个不同的面部表情都包含相同的局部特征，使得识别得到的人的面部表情的结果不够准确。
[0114]
因此，为了从更细节的潜特征来对人的不同表情进行分析学习，并学习相同表情下不同潜特征向量间的关联性，以基于不同表情的潜特征向量及各表情自身所包含的潜特征向量间的关联性，实现更细节更准确地对表情进行区分。在本说明书提供的一个或多个实施例中，该服务器可根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向量的关联权重，并根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失。
[0115]
在本说明书提供的一个或多个实施例中，该服务器在确定各潜特征向量的关联权重时，具体可先确定该训练样本的两两潜特征向量之间的相似度，根据确定出的各相似度，确定从该初始特征向量提取出的潜特征向量对应的距离矩阵。之后，根据得到的距离矩阵，确定待训练的该识别模型中关联权重层的输入，并将该距离矩阵输入该关联权重层，确定各潜特征向量对应的关联权重。即针对每个潜特征向量，根据该潜特征向量分别与其他潜特征向量的相似度，确定该潜特征向量的关联权重。
[0116]
其中，该关联权重层为全连接层。
[0117]
在本说明书提供的一个或多个实施例中，在确定潜特征关联损失时，该服务器可根据该训练样本的表情类别标签，确定已存储的该表情类别标签的各关联权重分布，其中，该表情类别标签的各关联权重分布，可根据当前训练阶段之前确定出的，各训练子集中，该表情类别标签对应的各其他训练样本的各潜特征向量的关联权重确定。该服务器可根据该训练样本的各潜特征向量的关联权重，确定该训练样本的关联权重分布，并根据该表情类别标签的各关联权重分布以及该训练样本的关联权重分布，确定潜特征关联损失。
[0118]
其中，该关联权重分布用于表征不同表情类别中各潜特征向量之间的关系。该表情类别标签的各关联权重分布具体可以是根据当前训练阶段之前的一个训练阶段中，各训练子集中该表情类别标签对应的各其他训练样本的关联权重确定的。
[0119]
在本说明书提供的一个或多个实施例中，该服务器可根据该训练样本对应的表情类别标签，确定当前训练阶段之前的一个训练阶段，即前一个训练阶段中，各训练子集中该表情类别标签对应的各其他训练样本的关联权重，以确定该前一个训练阶段的各训练样本对应的各关联权重分布。
[0120]
在本说明书提供的一个或多个实施例中，该服务器在根据该表情类别标签的关联权重分布以及该训练样本的关联权重分布，确定潜特征关联损失时，可先根据该表情类别标签的各关联权重分布，确定该表情类别标签对应的目标关联权重分布。再根据确定出的目标关联权重分布以及该训练样本的关联权重分布，确定潜特征关联损失。
[0121]
在本说明书提供的一个或多个实施例中，在确定目标关联权重分布时，该服务器可针对每个表情类别标签，确定前一个训练阶段中，表情类别标签为该表情类别标签的各训练样本的各潜特征向量的关联权重，并针对每个训练样本，根据该训练样本的各潜特征向量的关联权重，确定该训练样本对应的关联权重分布。然后根据各训练样本对应的关联权重分布，确定该表情类别标签的目标关联权重分布。
[0122]
具体的，在确定目标关联权重分布时，该服务器可针对该表情类别标签对应的各训练样本的关联权重分布的每个维度，对该维度上各关联权重分布的特征值求平均，得到该特征维度的特征均值。并根据各维度的特征均值，确定目标关联权重分布。即，对该表情类别标签对应的各训练样本的关联权重分布，在各特征维度上对各关联权重分布特征值求平均，得到目标关联权重分布。
[0123]
在本说明书中，通过根据当前训练阶段的训练样本的关联权重分布以及前一个训练阶段的训练样本的目标关联权重分布，来确定潜特征关联损失，以根据得到的潜特征关联损失调整该识别模型的参数，能够约束不同训练阶段的对应相同表情类别标签的训练样本的关联权重分布，使得不同训练阶段中，相同表情类别标签对应的关联权重分布相同或相似，进一步使得该识别模型对面部表情的识别更准确。
[0124]
图3为本说明书提供的一种确定潜特征关联损失的示意图。如图，d、e、f均为微笑表情类别标签对应的三个训练样本的关联权重分布，基于关联权重分布d、e、f可得到目标关联权重分布g。图中o表示该训练样本的关联权重分布。该服务器基于该关联权重分布o各分布维度对应的分布值，与该目标关联权重分布g各分布维度对应的分布值间的差值l1，即图3中阴影对应的差值，确定该训练样本的潜特征关联损失。图3中的箭头用于确定该训练样本的关联权重分布o到目标关联权重分布g的差值。
[0125]
s108：根据该训练样本各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果。
[0126]
在本说明书提供的一个或多个实施例中，该服务器可根据该训练样本的各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过该识别模型中的分类层，确定识别结果。
[0127]
其中，该识别结果至少包括对该训练样本识别得到的表情类别以及该表情类别对
应的概率。
[0128]
图4为本说明书提供的一种确定重构特征向量的示意图。如图，该服务器在确定出两两潜特征向量之间的相似度后，可确定距离矩阵，基于距离矩阵确定各潜特征向量的关联权重。其中，距离矩阵中各矩形表示两个潜特征向量间的距离。确定距离矩阵之后，该服务器可基于得到的各关联权重对各潜特征向量进行加权，得到关联加权后的潜特征向量，以基于各关联加权后的潜特征向量确定重构特征向量。图中，不同颜色填充表示不同关联权重的大小不同。
[0129]
s110：根据所述识别结果以及该训练样本的表情类别标签，确定分类损失，并根据所述分类损失、所述潜特征关联损失以及所述潜特征分布损失，对所述识别模型进行训练，所述识别模型用于识别表情类别，以用于执行业务。
[0130]
在本说明书提供的一个或多个实施例中，该服务器可根据该识别结果以及该训练样本的表情类别标签，确定分类损失，并根据该分类损失、该潜特征关联损失以及该潜特征分布损失，对该识别模型进行训练，该识别模型用于识别表情类别，以用于执行业务。
[0131]
在本说明书提供的一个或多个实施例中，可通过交叉熵损失函数确定分类损失，确定分类损失的公式可具体如下：
[0132]
l
ce
＝
‑
xlogy
[0133]
其中，l
ce
表示该训练样本对应的分类损失，x表示该训练样本的表情类别标签对应的标签值，y示该识别结果对应的表情类别的概率。
[0134]
在本说明书提供的一个或多个实施例中，该训练样本的表情类别标签对应的标签值，可根据该训练样本的识别结果对应的表情类别与该表训练样本的表情类别标签的匹配情况确定。当该识别结果对应的表情类别与该训练样本的表情类别标签相同时，该服务器可确定该训练样本的表情类别标签对应的标签值为1，当该识别结果对应的表情类别与该训练样本的表情类别标签不同时，该服务器可确定该训练样本的表情类别标签对应的标签值为0。
[0135]
在本说明书提供的一个或多个实施例中，该服务器可根据得到的分类损失、潜特征关联损失以及潜特征分布损失，确定总损失，并以总损失最小为目标，调整该识别模型的参数。
[0136]
在本说明书提供的一个或多个实施例中，该服务器在确定总损失时，可对得到的分类损失、潜特征关联损失以及潜特征分布损失求和，得到总损失。
[0137]
基于图1所示的模型训练方法，将从面部图像提取出的初始特征向量进一步提取，确定各潜特征向量，并在训练识别模型时，对相同潜特征分支网络输出的潜特征向量的分布中心进行约束，以及对每种表情类别标签的关联权重分布进行约束，分别确定潜特征分布损失以及潜特征关联损失。并根据各关联加权的潜特征向量确定重构特征向量，通过分类层确定该面部图像的识别结果。以根据该识别结果与该面部表情的表情类别标签确定分类损失。并基于三种损失调整该识别模型的参数。可以明确在同一训练样本中，不同潜特征向量自身对识别该训练样本对应的表情类别的重要性，以及各潜特征向量间的关联性。并对相同表情类别标签对应的潜特征向量的关联权重分布进行约束，以实现对不同表情的准确识别。能够训练得到准确的识别模型，使得能够对具有相似特征的面部表情进行区分，通过该识别模型得到的面部图像的识别结果也更准确。
[0138]
另外，在步骤s104中，对于当前训练阶段的当前训练子集，当通过该潜特征分支网络确定当前训练子集中各训练样本的潜特征向量时，该服务器还可以根据当前训练子集中各训练样本的潜特征向量，更新已存储的分布中心。以便于在根据后续训练子集对该识别模型进行训练时，根据更新后的分布中心确定潜特征分布损失。
[0139]
由于在第一个训练阶段根据第一个训练子集对该识别模型进行训练时，各潜特征分支并没有对应的分布中心，因此，该服务器可先不确定潜特征分布损失，待根据第二个训练子集及后续的训练子集对该识别模型进行训练时，再根据存储的分布中心确定潜特征分布损失。
[0140]
另外，在本说明书提供的一个或多个实施例中，该服务器还可以在根据一个训练子集的训练样本对该识别模型训练结束后，确定该训练子集对应的潜特征分布损失。
[0141]
该服务器可针对该训练子集的每个训练样本的每个潜特征向量，确定该潜特征向量的分布中心与其目标分布中心的差值，并确定该差值的平方。之后，该服务器可通过对该训练样本中各潜特征向量对应的差值的平方进行求和，得到第一和值。在得到各训练样本对应的第一和值后，该服务器可对各训练样本的第一和值求和，得到第二和值，作为该训练子集对应的潜特征分布损失。
[0142]
则确定潜特征分布损失的公式还可以具体如下：
[0143][0144]
其中，n表示一个训练子集中训练样本的数量，n表示在一个训练样本中潜特征向量对应的分布中心的数量。loss
la
表示该训练子集对应的潜特征分布损失。表示该训练子集的第i个训练样本中，第j个潜特征向量对应的分布中心，c
j
表示目标分布中心。
[0145]
另外，在步骤s106中，该服务器在确定潜特征关联损失时，具体可先确定该表情类别标签的关联权重分布及其目标关联权重分布的差值，并确定得到的差值的平方作为该训练样本的潜特征关联损失。
[0146]
在本说明书提供的一个或多个实施例中，确定潜特征关联损失的公式可具体如下：
[0147]
l
distri
＝(l
‑
w)2[0148]
其中，l表示该训练样本的关联权重分布，w表示该表情类别标签的目标关联权重分布，l
distri
表示该训练样本的潜特征关联损失。
[0149]
在本说明书提供的一个或多个实施例中，在确定潜特征关联损失时，该服务器还可以在得到一个训练阶段的所有训练子集的潜特征向量的关联特征分布后，再根据各训练子集的潜特征向量的关联特征分布，确定该训练子集对应的潜特征关联损失。
[0150]
在确定潜特征关联损失时，该服务器可针对该训练阶段的各训练子集中的每种表情类别标签对应的每个训练样本，根据该训练样本的关联权重分布及其目标关联权重分布的差值，并确定该差值的平方，之后，该服务器可对该表情类别标签对应的各训练样本的差值的平方求和，得到该表情类别标签对应的样本差值平方和。在得到各表情类别标签对应的样本差值平方和后，该服务器可对各表情类别标签对应的样本差值平方和求和，得到标签和，作为该训练阶段对应的潜特征关联损失。
[0151]
在本说明书提供的一个或多个实施例中，确定潜特征关联损失的公式可具体如下：
[0152][0153]
其中，n表示一个训练阶段包含的所有训练样本中包含的表情类别标签的种类数量，l
i
表示第i个训练样本的关联权重分布，w
i
表示该第i个训练样本对应的目标关联权重分布，l
distri
表示潜特征关联损失。
[0154]
当然，也可以确定各训练子集对应的潜特征关联损失，本说明书在此不做限制。
[0155]
在本说明书提供的一个或多个实施例中，在步骤s106中确定该训练样本的两两潜特征向量之间的相似度时，具体的，该服务器可先将确定出的各潜特征向量，并将各潜特征向量分别对应输入待训练的该识别模型中的各注意力权分支网络，确定归一化的各潜特征向量的注意力加权结果，得到注意力加权后的潜特征向量。然后，确定两两潜特征向量的注意力加权结果之间的相似度，即确定两两注意力加权后的潜特征向量间的相似度。
[0156]
在本说明书提供的一个或多个实施例中，在确定归一化的各潜特征向量的注意力加权结果时，具体的，该服务器可针对每个潜特征向量，将该潜特征向量输入该潜特征向量对应的注意力权分支网络，以确定该注意力权分支网络输出的该潜特征向量的注意力权重，并根据该注意力权重对该潜特征向量进行加权，确定经过注意力加权后的潜特征向量，作为该潜特征向量的注意力加权结果。
[0157]
其中，该注意力权分支网络，可由一个全连接层和一个激活函数层构成，还激活函数层可以为sigmoid激活函数，以对该注意力权分支网络输出的注意力权重进行归一化，将各注意力权重映射到(0，1)之间。
[0158]
通过将各潜特征向量分别对应输入待训练的该识别模型中的各注意力权分支网络，得到注意力加权后的潜特征向量，能够明确各潜特征向量自身的权重，以及在对该潜特征向量对应的表情类别的识别时，其自身的重要性。并且，通过突出各潜特征向量间的差异，使得相似度低的潜特征向量间的差异更大，在确定两两潜特征向量的注意力加权结果之间的相似度时，能够更清晰准确地确定不同注意力加权后的潜特征向量间的相似度。
[0159]
另外，在本说明书步骤s110中，该服务器还可以在确定出一个训练子集中各训练样本对应的分类损失后，对各分类损失求和，以确定该训练子集对应的分类损失。
[0160]
则确定分类损失的公式还可以具体如下：
[0161][0162]
其中，l
ce
表示该训练样本对应的分类损失，x
i
表示该训练子集中第i个训练样本的表情类别标签对应的标签值，y
i
表示该训练子集中第i个训练样本的识别结果对应的表情类别的概率。n表示训练样本的数量。
[0163]
当然，该服务器还可以确定各训练阶段对应的分类损失，本说明书在此不做限制。
[0164]
在本说明书提供的一个或多个实施例中，确定总损失的公式可具体如下：
[0165]
l
total
＝l
ce
γ1loss
la
γ2l
distri
[0166]
其中，l
total
表示总损失，γ1与γ2为预设的权值。loss
la
表示该训练样本的潜特征
分布损失。l
distri
表示该训练样本的潜特征关联损失。
[0167]
由于在对该识别模型进行训练时，对于潜特征分布损失，可以针对每个训练样本确定潜特征分布损失，也可以针对每个训练子集确定潜特征分布损失。对于潜特征关联损失，可针对每个训练样本确定潜特征关联损失，也可以针对每个训练阶段确定潜特征关联损失。而分类损失也可灵活地对一个训练样本、一个训练子集或一个训练阶段确定。
[0168]
因此，该服务器也可以灵活确定总损失。
[0169]
在本说明书一个或多个实施例中，该服务器在确定该表情类别标签的关联权重分布及其目标关联权重分布的差值时，可针对关联权重分布的每个维度的特征值，确定该特征值与目标关联权重分布中对应维度的特征值的差值。该服务器可确定每个训练样本对应的总损失，也可以确定每个训练子集对应的总损失，当确定每个训练子集对应的总损失时，该服务器可根据该训练子集中各训练样本的潜特征分布损失之和、该训练子集中各训练样本的潜特征关联损失之和以及训练子集中各训练样本的分类损失之和，确定总损失。
[0170]
当然，也可以确定每个训练阶段对应的总损失。当确定每个训练阶段对应的总损失时，该服务器可根据该训练阶段中各训练子集的潜特征分布损失之和、该训练阶段中各训练子集的潜特征关联损失之和以及训练阶段中各训练子集的分类损失之和，确定总损失。
[0171]
当然也可以采用其他的将各训练样本、训练子集或训练阶段对应的潜特征分布损失、潜特征关联损失以及分类损失组合确定总损失的方式，例如，根据一个训练阶段对应的潜特征关联损失、该训练阶段最后一个训练子集对应的潜特征分布损失，以及该训练阶段对应的分布损失确定总损失。具体可根据需要设置，本说明书在此不做限制。
[0172]
图5为本说明书实施例提供的一种识别模型的结构示意图。如图，该识别模型包括特征提取层、潜特征分支网络、注意力分支网络、关联权重层以及分类层。其中，a1、a2、a3、
……
an表示各潜特征向量，b1、b2、b3、
……
bn表示各注意力加权结果，c1、c2、c3、
……
cn表示各关联权重，d1、d2、d3、
……
dn表示各关联加权后的潜特征向量。可见，该服务器将训练样本输入该特征提取层，能够获得初始特征向量。之后，该初始特征向量被输入到各潜特征分支网络，分别得到各潜特征分支网络输出的潜特征向量。将各潜特征向量分别输入各注意力权分支网络后，得到各潜特征向量对应的注意力加权结果，将各注意力加权结果输入关联权重层后，得到各经过注意力加权后的潜特征向量的关联权重。根据各关联权重，对各经过注意力加权后的潜特征向量再次进行加权，得到关联加权后的潜特征向量。之后，通过对各关联加权后的潜特征向量进行重构，得到该训练样本对应的重构特征向量。最后，将该重构特征向量输入分类层，得到该训练样本的识别结果。
[0173]
图6为本说明书实施例提供的一种表情识别方法的流程示意图，包括：
[0174]
s200：获取待识别的面部图像，并对所述面部图像进行特征提取，确定初始特征向量。
[0175]
在本说明书提供的一个或多个实施例中，该的表情识别方法可由该服务器执行。该服务器可获取待识别的面部图像，并对该面部图像进行特征提取，确定初始特征向量。
[0176]
s202：根据预先训练的识别模型中的各潜特征分支网络，对所述初始特征向量进行提取，确定各潜特征向量，其中，各潜特征向量分布一致性，通过训练所述识别模型过程中对各潜特征分支网络输出的潜特征向量的分布中心进行约束。
[0177]
在本说明书提供的一个或多个实施例中，在得到初始向量后，该服务器可根据预先训练的识别模型中的各潜特征分支网络，对该初始特征向量进行提取，以确定各潜特征向量，其中，各潜特征向量分布一致性，通过训练该识别模型过程中对各潜特征分支网络输出的潜特征向量的分布中心进行约束。
[0178]
s204：根据各潜特征向量之间的相似度，确定各潜特征向量的关联权重，其中，所述关联权重为通过训练所述识别模型过程中，基于对不同表情类别标签中潜特征向量的关联权重分布进行约束确定出的。
[0179]
在本说明书提供的一个或多个实施例中，该服务器可根据各潜特征向量之间的相似度，确定各潜特征向量的关联权重，其中，该关联权重为通过训练该识别模型的过程中，基于对不同表情类别标签中潜特征向量的关联权重分布进行约束确定出的。
[0180]
在本说明书提供的一个或多个实施例中，在确定关联权重时，该服务器可确定两两潜特征向量之间的相似度，并根据确定出的各相似度，确定该初始特征向量提取出的潜特征向量对应的距离矩阵，以根据该距离矩阵，确定该识别模型中关联权重层的输入，并输入该关联权重层，确定各潜特征向量对应的关联权重。
[0181]
在本说明书提供的一个或多个实施例中，该服务器可将确定出的各潜特征向量，分别对应输入所述识别模型中的各注意力权分支网络，确定归一化的各潜特征向量的注意力加权结果，以确定两两潜特征向量的注意力加权结果之间的相似度。
[0182]
s206：根据各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果，根据所述识别结果执行业务。
[0183]
在本说明书提供的一个或多个实施例中，该服务器可根据各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过该识别模型中的分类层，确定识别结果，根据得到的识别结果执行业务。
[0184]
在本说明书提供的一个或多个实施例中，该服务器在确定重构特征向量时，可针对每个潜特征向量，根据该潜特征向量对应的关联权重，对该潜特征向量进行加权，确定关联加权后的该潜特征向量，并对关联加权后的各潜特征向量，相应位置的向量元素进行相加，确定重构特征向量。
[0185]
其中，该向量元素即潜特征向量各特征维度对应的特征值。
[0186]
在本说明书提供的一个或多个实施例中，该服务器在确定识别结果时，可将该重构特征向量，输入该识别模型中的分类层，确定该待识别的面部图像在各预设表情分类上的预测结果，以根据各预设表情分类上的预测结果，确定识别结果。
[0187]
基于图1所示的模型训练方法，能够通过训练得到的识别模型，对待识别的面部图像进行识别，能够得到准确度识别结果。
[0188]
本说明书实施例还对应提供一种模型训练装置的结构示意图，如图7所示。
[0189]
图7为本说明书实施例提供的一种模型训练装置的结构示意图，所述装置包括：
[0190]
样本确定模块300，获取若干面部图像及其表情类别标签，确定各训练样本；
[0191]
特征提取模块301，针对每个训练样本，对该训练样本进行特征提取，确定初始特征向量；
[0192]
特征分割模块302，用于将所述初始特征向量，分别输入待训练的识别模型中的各
潜特征分支网络，确定该训练样本的各潜特征向量，并根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失；
[0193]
关联确定模块303，用于根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向量的关联权重，并根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失；
[0194]
重组识别模块304，用于根据该训练样本各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果；
[0195]
参数调整模块305，用于根据所述识别结果以及该训练样本的表情类别标签，确定分类损失，并根据所述分类损失、所述潜特征关联损失以及所述潜特征分布损失，对所述识别模型进行训练，所述识别模型用于识别表情类别，以用于执行业务。
[0196]
可选地，所述特征提取模块301，还用于将各训练样本划分为多个训练子集，依次对各训练子集中的每个训练样本，确定该训练样本的初始特征向量。
[0197]
可选地，所述特征分割模块302，还用于针对每个潜特征分支网络，确定已存储的该潜特征分支网络输出的潜特征向量的分布中心，其中，所述分布中心为根据该潜特征分支网络已输出的，其他训练子集的潜特征向量确定的，根据所述分布中心，以及该潜特征分支网络输出的该训练样本的潜特征向量，确定该训练样本对应该潜特征分支网络的损失，根据训练样本对应各潜特征分支网络的损失，确定潜特征分布损失。
[0198]
所述装置还包括：
[0199]
更新模块306，用于对于当前训练阶段的当前训练子集，当通过该潜特征分支网络确定所述当前训练子集中各训练样本的潜特征向量时，根据所述当前训练子集中各训练样本的潜特征向量，更新所述已存储的分布中心。
[0200]
可选地，所述关联确定模块303，还用于确定该训练样本的两两潜特征向量之间的相似度，根据确定出的各相似度，确定所述初始特征向量提取出的潜特征向量对应的距离矩阵，根据所述距离矩阵，确定待训练的所述识别模型中关联权重层的输入，并输入所述关联权重层，确定各潜特征对应的关联权重。
[0201]
可选地，所述关联确定模块303，还用于将确定出的各潜特征向量，分别对应输入待训练的所述识别模型中的各注意力权分支网络，确定归一化的各潜特征向量的注意力加权结果，确定两两潜特征向量的注意力加权结果之间的相似度。
[0202]
可选地，所述关联确定模块303，还用于根据该训练样本的表情类别标签，确定已存储的所述表情类别标签的关联权重分布，其中，所述表情类别标签的关联权重分布，根据当前训练阶段之前确定出的，各训练子集中所述表情类别标签对应的各其他训练样本的关联权重确定，根据该训练样本的各潜特征向量的关联权重，确定该训练样本的关联权重分布，根据所述表情类别标签的关联权重分布以及该训练样本的关联权重分布，确定潜特征关联损失，其中，所述关联权重分布用于表征不同表情类别中各潜特征向量之间的关系。
[0203]
可选地，所述参数调整模块305，还用于根据各训练样本分别对应的分类损失、所述潜特征关联损失以及所述潜特征分布损失，确定各训练样本对应的总损失，以所述总损失最小为训练目标，调整待训练的所述识别模型的模型参数。
[0204]
基于图6所示的模型训练方法，本说明书实施例还对应提供一种模型训练装置的
结构示意图，如图8所示。
[0205]
图8为本说明书实施例提供的一种表情识别装置的结构示意图，所述装置包括：
[0206]
特征提取模块400，用于获取待识别的面部图像，并对所述面部图像进行特征提取，确定初始特征向量；
[0207]
特征分割模块401，用于根据预先训练的识别模型中的各潜特征分支网络，对所述初始特征向量进行提取，确定各潜特征向量，其中，各潜特征向量分布一致性，通过训练所述识别模型过程中对各潜特征分支网络输出的潜特征向量的分布中心进行约束；
[0208]
关联确定模块402，用于根据各潜特征向量之间的相似度，确定各潜特征向量的关联权重，其中，所述关联权重为通过训练所述识别模型过程中，基于对不同表情类别标签中潜特征向量的关联权重分布进行约束确定出的；
[0209]
重组识别模块403，用于根据各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果，根据所述识别结果执行业务。
[0210]
可选地，所述关联确定模块402，还用于确定两两潜特征向量之间的相似度，根据确定出的各相似度，确定所述初始特征向量提取出的潜特征向量对应的距离矩阵，根据所述距离矩阵，确定所述识别模型中关联权重层的输入，并输入所述关联权重层，确定各潜特征向量对应的关联权重。
[0211]
可选地，所述关联确定模块402，还用于将确定出的各潜特征向量，分别对应输入所述识别模型中的各注意力权分支网络，确定归一化的各潜特征向量的注意力加权结果，确定两两潜特征向量的注意力加权结果之间的相似度。
[0212]
可选地，所述重组识别模块403，还用于针对每个潜特征向量，根据该潜特征向量对应的关联权重，对该潜特征向量进行加权，确定关联加权后的该潜特征向量，对关联加权后的各潜特征向量，相应位置的向量元素进行相加，确定重构特征向量。
[0213]
可选地，所述重组识别模块403，还用于将所述重构特征向量，输入所述识别模型中的分类层，确定所述待识别的面部图像在各预设表情分类上的预测结果，根据各预设表情分类上的预测结果，确定识别结果。
[0214]
本说明书还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述提供的模型训练方法或表情识别方法。
[0215]
基于上述提供的模型训练方法、表情识别方法，本说明书实施例还提供了图9所示的电子设备的结构示意图。如图9，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述的模型训练方法或表情识别方法。
[0216]
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
[0217]
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。
设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very
‑
high
‑
speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
[0218]
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0219]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0220]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0221]
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0222]
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0223]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0224]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0225]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0226]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0227]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0228]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0229]
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0230]
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程
序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0231]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0232]
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。