模型训练方法、装置与存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种模型训练方法、装置与存储介质。


背景技术：

2.中医望诊过程中，注重眼神的观察，通过眼神初步判断患者的精神状态并缩小病因范围，对“神”的定义标准没有特别统一的标准，受到中医流派、诊断习惯等影响，且一直主要依靠医生的直接目测进行判断，主观性较强，精确性和一致性较差。在面诊客观化中，如何通过自动化技术手段检测和提取眼神特征成为一种迫切的需求。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种模型训练方法、装置与存储介质，本技术通过眼部区域的特征训练用于对眼神识别的眼神识别模型，提高眼神识别的准确性和智能化程度。
4.第一方面，本技术提供一种模型训练方法，所述方法包括：
5.获取包括眼部区域的样本图像，并将所述样本图像输入眼神识别模型，所述眼神识别模型包括第一分类网络和第二分类网络；
6.通过所述第一分类网络对所述眼部区域的特征进行分类，获得所述样本图像的预测特征分类，并根据所述样本图像的预测特征分类和所述样本图像的实际特征分类之间的差异，确定所述第一分类网络对应的损失值；
7.通过所述第一分类网络对所述样本图像进行卷积处理，获得用于表示所述眼部区域的特征的特征图；
8.将所述特征图输入所述第二分类网络，获得所述样本图像的预测眼神分类，并根据所述样本图像的预测眼神分类和所述样本图像的实际眼神分类之间的差异，确定所述第二分类网络对应的损失值；
9.基于所述第一分类网络对应的损失值和所述第二分类网络对应的损失值，调整所述眼神识别模型的参数。
10.结合第一方面，在一些实施例中，所述基于所述第一分类网络对应的损失值和所述第二分类网络对应的损失值，调整所述眼神识别模型的参数，包括：
11.对所述第一分类网络对应的损失值和所述第二分类网络对应的损失值进行加权求和，获得总损失值，并根据所述总损失值调整所述眼神识别模型的参数；或者，基于所述第一分类网络对应的损失值调整所述第一分类网络的参数，以及基于所述第二分类网络对应的损失值调整所述第二分类网络的参数。
12.结合第一方面，在一些实施例中，所述第一分类网络包括级联的多个卷积层；
13.所述通过所述第一分类网络对所述样本图像进行卷积处理，获得用于表示所述眼部区域的特征的特征图，包括：
14.通过所述级联的所述多个卷积层依次对所述样本图像进行卷积处理，并将最后一
个卷积层输出的特征图确定为用于表示所述眼部区域的特征的特征图。
15.结合第一方面，在一些实施例中，所述第一分类网络包括第一分类子网络、第二分类子网络以及第三分类子网络；
16.所述通过所述第一分类网络对所述眼部区域的特征进行分类，获得所述样本图像的预测特征分类，并根据所述样本图像的预测特征分类和所述样本图像的实际特征分类之间的差异，确定所述第一分类网络对应的损失值，包括：
17.通过所述第一分类子网络对所述眼部区域的眼睑特征进行分类，获得所述样本图像的预测眼睑特征分类，根据所述样本图像的预测眼睑特征分类和所述样本图像的实际眼睑特征分类，确定所述第一分类子网络对应的损失值；
18.通过所述第二分类子网络对所述眼部区域的白睛颜色特征进行分类，获得所述样本图像的预测白睛颜色分类，根据所述样本图像的预测白睛颜色分类和所述样本图像的实际白睛颜色分类，确定所述第二分类子网络对应的损失值；
19.通过所述第三分类子网络对所述眼部区域的眼圈特征进行分类，获得所述样本图像的预测眼圈特征分类，根据所述样本图像的预测眼圈特征分类和所述样本图像的实际眼圈特征分类，确定所述第三分类子网络对应的损失值；
20.将所述第一分类子网络对应的损失值、所述第二分类子网络对应的损失值以及所述第三分类子网络对应的损失值确定为所述第一分类网络对应的损失值。
21.结合第一方面，在一些实施例中，所述从所述第一分类网络获取用于表示所述眼部区域的特征的特征图，包括：
22.从所述第一分类子网络获取用于表示所述眼部区域的眼睑特征的第一特征图；从所述第二分类子网络获取用于表示所述眼部区域的白睛颜色特征的第二特征图；以及，从所述第三分类子网络获取用于表示所述眼部区域的眼圈特征的第三特征图；将所述第一特征图、所述第二特征图以及所述第三特征图进行融合，获得用于表示所述眼部区域的特征的所述特征图。
23.结合第一方面，在一些实施例中，所述第一分类子网络包括依次级联的多个卷积层以及第一全连接层和第二全连接层；
24.所述通过所述第一分类子网络对所述眼部区域的眼睑特征进行分类，获得所述样本图像的预测眼睑特征分类，根据所述样本图像的预测眼睑特征分类和所述样本图像的实际眼睑特征分类，确定所述第一分类子网络对应的损失值，包括：
25.通过所述多个卷积层对所述样本图像的眼部区域的眼睑特征进行提取，获得用于表示所述眼部区域的眼睑特征的第一特征图；
26.分别将所述第一特征图输入所述第一全连接层和所述第二全连接层；
27.通过所述第一全连接层对所述眼部区域的上眼睑特征进行分类，获得预测上眼睑特征分类，根据所述样本图像的预测上眼睑特征分类和所述样本图像的实际上眼睑特征分类，确定第一损失值；
28.通过所述第二全连接层对所述眼部区域的下眼睑特征进行分类，获得预测下眼睑特征分类，根据所述样本图像的预测下眼睑特征分类和所述样本图像的实际下眼睑特征分类，确定第二损失值；
29.将所述第一损失值和所述第二损失值相加，获得所述第一分类子网络对应的损失
值。
30.结合第一方面，在一些实施例中，所述通过所述第三分类子网络对所述眼部区域的眼圈特征进行分类，获得所述样本图像的预测眼圈特征分类之前，还包括：
31.获取所述样本图像中针对所述眼部区域的下眼睑区域的掩膜图像；
32.所述通过所述第三分类子网络对所述眼部区域的眼圈特征进行分类，获得所述样本图像的预测眼圈特征分类，包括：
33.将所述样本图像和所述掩膜图像输入所述第三分类子网络，以对所述眼部区域的眼圈特征进行分类，获得所述样本图像的预测眼圈特征分类。
34.第二方面，本技术提供一种模型训练装置，该装置包括：
35.第一获取单元，用于获取包括眼部区域的样本图像，并将所述样本图像输入眼神识别模型，所述眼神识别模型包括第一分类网络和第二分类网络；
36.第一分类单元，用于通过所述第一分类网络对所述眼部区域的特征进行分类，获得所述样本图像的预测特征分类，并根据所述样本图像的预测特征分类和所述样本图像的实际特征分类之间的差异，确定所述第一分类网络对应的损失值；
37.第二获取单元，用于通过所述第一分类网络对所述样本图像进行卷积处理，获得用于表示所述眼部区域的特征的特征图；
38.第二分类单元，用于将所述特征图输入所述第二分类网络，获得所述样本图像的预测眼神分类，并根据所述样本图像的预测眼神分类和所述样本图像的实际眼神分类之间的差异，确定所述第二分类网络对应的损失值；
39.模型训练单元，用于基于所述第一分类网络对应的损失值和所述第二分类网络对应的损失值，调整所述眼神识别模型的参数。
40.结合第二方面，在一些实施例中，所述模型训练单元具体用于：对所述第一分类网络对应的损失值和所述第二分类网络对应的损失值进行加权求和，获得总损失值，并根据所述总损失值调整所述眼神识别模型的参数；或者，基于所述第一分类网络对应的损失值调整所述第一分类网络的参数，以及基于所述第二分类网络对应的损失值调整所述第二分类网络的参数。
41.结合第二方面，在一些实施例中，所述第一分类网络包括级联的多个卷积层；
42.所述第二获取单元具体用于：通过所述级联的所述多个卷积层依次对所述样本图像进行卷积处理，并将最后一个卷积层输出的特征图确定为用于表示所述眼部区域的特征的特征图。
43.结合第二方面，在一些实施例中，所述第一分类网络包括第一分类子网络、第二分类子网络以及第三分类子网络；
44.所述第一分类单元具体用于：通过所述第一分类子网络对所述眼部区域的眼睑特征进行分类，获得所述样本图像的预测眼睑特征分类，根据所述样本图像的预测眼睑特征分类和所述样本图像的实际眼睑特征分类，确定所述第一分类子网络对应的损失值；
45.通过所述第二分类子网络对所述眼部区域的白睛颜色特征进行分类，获得所述样本图像的预测白睛颜色分类，根据所述样本图像的预测白睛颜色分类和所述样本图像的实际白睛颜色分类，确定所述第二分类子网络对应的损失值；
46.通过所述第三分类子网络对所述眼部区域的眼圈特征进行分类，获得所述样本图
像的预测眼圈特征分类，根据所述样本图像的预测眼圈特征分类和所述样本图像的实际眼圈特征分类，确定所述第三分类子网络对应的损失值；
47.将所述第一分类子网络对应的损失值、所述第二分类子网络对应的损失值以及所述第三分类子网络对应的损失值确定为所述第一分类网络对应的损失值。
48.结合第二方面，在一些实施例中，所述第二获取单元具体用于：从所述第一分类子网络获取用于表示所述眼部区域的眼睑特征的第一特征图；从所述第二分类子网络获取用于表示所述眼部区域的白睛颜色特征的第二特征图；以及，从所述第三分类子网络获取用于表示所述眼部区域的眼圈特征的第三特征图；将所述第一特征图、所述第二特征图以及所述第三特征图进行融合，获得用于表示所述眼部区域的特征的所述特征图。
49.结合第二方面，在一些实施例中，所述第一分类子网络包括依次级联的多个卷积层以及第一全连接层和第二全连接层；
50.所述第一分类单元具体用于：通过所述多个卷积层对所述样本图像的眼部区域的眼睑特征进行提取，获得用于表示所述眼部区域的眼睑特征的第一特征图；
51.分别将所述第一特征图输入所述第一全连接层和所述第二全连接层；
52.通过所述第一全连接层对所述眼部区域的上眼睑特征进行分类，获得预测上眼睑特征分类，根据所述样本图像的预测上眼睑特征分类和所述样本图像的实际上眼睑特征分类，确定第一损失值；
53.通过所述第二全连接层对所述眼部区域的下眼睑特征进行分类，获得预测下眼睑特征分类，根据所述样本图像的预测下眼睑特征分类和所述样本图像的实际下眼睑特征分类，确定第二损失值；
54.将所述第一损失值和所述第二损失值相加，获得所述第一分类子网络对应的损失值。
55.结合第二方面，在一些实施例中，所述装置还包括第三获取单元，该第三获取单元用于，获取所述样本图像中针对所述眼部区域的下眼睑区域的掩膜图像；
56.所述第一分类单元具体用于将所述样本图像和所述掩膜图像输入所述第三分类子网络，以对所述眼部区域的眼圈特征进行分类，获得所述样本图像的预测眼圈特征分类。
57.第三方面，本技术提供一种模型训练装置，包括处理器、存储器以及通信接口，该处理器、存储器和通信接口相互连接，其中，该通信接口用于接收和发送数据，该存储器用于存储程序代码，该处理器用于调用该程序代码，执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
58.第四方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序；当该计算机程序在一个或多个处理器上运行时，使得该终端设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
59.本技术实施例中，通过第一分类网络对眼部区域的特征进行分类，获得预测特征分类，并根据预测特征分类和实际特征分类之间的差异，确定第一分类网络对应的损失值，进一步，将第一分类网络中用于表示眼部区域的特征的特征图输入第二分类网络，得到预测眼神分类，并根据预测眼神分类和实际眼神分类之间的差异，确定第二分类网络对应的损失值，从而基于第一分类网络对应的损失值和第二分类网络对应的损失值训练眼神识别模型。本技术基于眼部区域的特征联合训练用于对眼部区域的特征进行分类的第一分类网
络和用于对眼神进行分类的第二分类网络，从而提高眼神识别模型对眼神识别的准确性，并且不需要人工识别眼神，因此也提高了眼神识别的智能化程度。
附图说明
60.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。
61.图1为本技术实施例提供的一种模型训练方法的流程示意图；
62.图2为本技术实施例提供的眼部区域的图像获取示意图；
63.图3为本技术实施例提供的眼神识别模型的示意图；
64.图4为本技术实施例提供的一种模型训练装置的示意图；
65.图5为本技术实施例提供的另一种模型训练装置的示意图。
具体实施方式
66.下面结合附图对本发明作进一步详细描述。
67.本技术以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。
68.在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”。
69.本技术实施例提供了一种模型训练方法，为了更清楚地描述本技术的方案，下面对本技术涉及的一些附图作进一步介绍。
70.请参阅图1，图1为本技术实施例提供的一种模型训练方法的流程示意图。如图1所示，所述方法包括以下步骤：
71.步骤101，获取包括眼部区域的样本图像，并将所述样本图像输入眼神识别模型，所述眼神识别模型包括第一分类网络和第二分类网络；
72.本技术实施例中，获取多张包括眼部区域的样本图像，该样本图像用于对眼神识别模型进行训练。具体可选的，样本图像的获取方式可以是，如图2所示，对包含人脸的图像进行人脸关键点提取，获得包含眼部区域的样本图像。比如，可以使用已训练的人脸关键点模型对包含人脸的图像进行眼部关键点提取，得到包含眼部区域的样本图像，即该样本图像包含眉毛、上下眼睑与眼眶区域。
73.每张样本图像都被标注了眼部实际特征分类和实际眼神分类，其中，眼部特征分类包括眼睑特征分类、白睛颜色分类以及眼圈特征分类等。眼睑特征分类还可以进一步包括上眼睑特征分类和下眼睑特征分类，上眼睑特征分类可以包括浮肿或正常；下眼睑特征分类可以包括浮肿或正常。白睛颜色分类可以包括：黄色、赤色或白色中的一种。眼圈特征
分类可以包括有黑眼圈或者无黑眼圈。眼神分类可以包括有神、无神或假神中的一种。
74.将所获取的样本图像输入眼神识别模型，该眼神识别模型可以包括第一分类网络和第二分类网络，该第一分类网络可以用于对眼部区域的特征进行分类，该第二分类网络可以基于第一分类网络的特征图，进一步对眼部区域的眼神进行分类。其中，该第一分类网络和第二分类网络可以为卷积神经网络。
75.步骤102，通过所述第一分类网络对所述眼部区域的特征进行分类，获得所述样本图像的预测特征分类，并根据所述样本图像的预测特征分类和所述样本图像的实际特征分类之间的差异，确定所述第一分类网络对应的损失值；
76.本技术实施例中，该第一分类网络可以包括多个卷积层、全局平均池化(global average pooling，gap)层以及全连接层，通过该第一分类网络实现对眼部区域的特征进行分类，获得样本图像的预测特征分类，进一步，基于损失函数，根据样本图像的预测特征分类和样本图像的实际特征分类之间的差异，确定第一分类网络对应的损失值。
77.可选的，如图3所示，该第一分类网络可以包括第一分类子网络、第二分类子网络以及第三分类子网络，该第一分类子网络、第二分类子网络以及第三分类子网络可以实现对眼部区域不同特征的分类。
78.示例性的，通过该第一分类子网络可以对眼部区域的眼睑特征进行分类，获得样本图像的预测眼睑特征分类，进一步，根据样本图像的预测眼睑特征分类和样本图像被标注的实际眼睑特征分类，确定该第一分类子网络对应的损失值。可选的，该第一分类子网络可以是多任务分类的分类网络，如图3所示，任务一可以用于对眼部区域的上眼睑特征进行分类，任务二可以用于对眼部区域的下眼睑特征进行分类。上眼睑特征主要判断两眼上眼睑下垂情况是否一致；下眼睑特征主要判断两眼下眼睑浮肿情况是否一致。该第一分类子网络可以包括多个卷积层、池化层(例如gap层)、用于对上眼睑特征进行分类的全连接层(本技术将其称为第一全连接层)、以及用于对下眼睑特征进行分类的全连接层(本技术将其称为第二全连接层)；任务一和任务二共用卷积层和池化层的网络参数，两个全连接层分别独立。在对第一分类子网络进行训练时，通过卷积层对该样本图像进行特征提取，获得特征向量，然后通过gap层对该特征向量进行全局池化操作，实现降维，最后通过全连接层实现对眼睑特征的分类，即计算该样本图像的预测眼睑特征分类，基于该预测眼睑特征分类和该样本图像被标注的实际眼睑特征分类，计算该第一分类子网络对应的损失值。如图3所示，第一分类子网络为两任务分类的分类子网络，在计算第一分类子网络对应的损失值时，可以将两任务的交叉熵损失cross entropy loss相加，得到第一分类子网络对应的损失值。
79.示例性的，通过该第二分类子网络可以对眼部区域的白睛颜色特征进行分类，获得样本图像的预测白睛颜色分类，进一步，根据样本图像的预测白睛颜色分类和样本图像被标注的实际白睛颜色分类，确定该第二分类子网络对应的损失值。该第二分类子网络可以是一个深度学习网络，该第二分类子网络用于对白睛颜色进行分类，白睛颜色分类可以包括赤色、黄色和白色，因此，该第二分类子网络可以是一个三分类网络。具体可选的，如图3所示，该第二分类子网络可以包括多个卷积层、池化层(例如gap层)以及全连接层，其中，在对第二分类子网络进行训练时，通过卷积层对该样本图像进行特征提取，获得特征向量，然后通过gap层对该特征向量进行全局池化操作，实现降维，最后通过全连接层计算该样本
图像中白睛颜色的预测白睛颜色分类，基于该预测白睛颜色分类和该样本图像被标注的实际白睛颜色分类，计算该第二分类子网络对应的损失值。
80.示例性的，通过该第三分类子网络可以对眼部区域的眼圈特征进行分类，获得样本图像的预测眼圈特征分类，进一步，根据样本图像的预测眼圈特征分类和样本图像被标注的实际眼圈特征分类，确定该第三分类子网络对应的损失值。具体可选的，该第三分类子网络可以是用于对是否包含黑眼圈特征进行分类，因此，该第三分类子网络可以是一个二分类网络。
81.具体可选的，由于判断眼部区域的黑眼圈特征需要参考下眼睑区域以外的肤色，因此不能只提取下眼睑区域的图片进行训练，还需要参考其他区域，因此需要输入样本图像，另外，对黑眼圈特征的判断还需要重点关注下眼睑区域，因此本技术可以再输入一个用于指示下眼睑区域的二值图，即掩膜图像，如图3所示，该掩膜图像可以用白色代表下眼睑区域，用黑色代表除下眼睑区域以外的其他区域，其中，该掩膜图像用于指示重点关注该下眼睑区域。其中，掩膜图像的获取方式可以是通过关键点检测得到，根据眼部周围关键点，生成该二值图。将样本图像和掩膜图像输入到第三分类子网络进行训练，以对眼部区域是否包含黑眼圈进行判断，获得样本图像的预测眼圈特征分类，例如，包含黑眼圈或不包含黑眼圈。
82.如图3所示，该第三分类子网络可以包括多个卷积层、池化层(例如gap层)以及全连接层，其中，在对第三分类子网络进行训练时，通过卷积层对该样本图像进行特征提取，获得特征向量，然后通过gap层对该特征向量进行全局池化操作，实现降维，最后通过全连接层计算该样本图像中预测黑眼圈特征分类，基于该预测黑眼圈特征分类和该样本图像被标注的实际黑眼圈特征分类，计算该第三分类子网络对应的损失值。
83.步骤103，通过所述第一分类网络对所述样本图像进行卷积处理，获得用于表示所述眼部区域的特征的特征图；
84.步骤104，将所述特征图输入所述第二分类网络，获得所述样本图像的预测眼神分类，并根据所述样本图像的预测眼神分类和所述样本图像的实际眼神分类之间的差异，确定所述第二分类网络对应的损失值。
85.本技术实施例中，该第一分类网络可以包括级联的多个卷积层，样本图像依次经过该多个卷积层进行处理，从而提取眼部区域的特征。本技术实施例中，可以获取级联的多个卷积层的最后一个卷积层输出的特征图，作为用于表示眼部区域的特征的特征图，并将该特征图输入到第二分类网络进行眼神识别，通过该第二分类网络获得样本图像的预测眼神分类，并根据样本图像的预测眼神分类和样本图像被标注的实际眼神分类之间的差异，确定第二分类网络对应的损失值。可以理解的是，本技术也可以将多个卷积层中其他卷积层输出的特征图作为用于表示眼部区域的特征的特征图，并将该特征图输入到第二分类网络进行眼神识别，本技术不作限定。
86.可选的，如图3所示，该第一分类网络可以包括第一分类子网络、第二分类子网络以及第三分类子网络，获取第一分类子网络的最后一个卷积层输出的用于表示样本图像中眼睑特征的第一特征图；获取第二分类子网络的最后一个卷积层输出的用于表示样本图像中白睛颜色特征的第二特征图；获取第三分类子网络的最后一个卷积层输出的用于表示样本图像中眼圈特征的第三特征图。该眼圈特征可以是黑眼圈特征。
87.进一步，可以将第一特征图、第二特征图以及第三特征图进行融合，获得融合后的特征图，并将融合后的特征图输入该第二分类网络进行眼神分类。可选的，该第二分类网络可以是一个深度学习网络，该第二分类网络可以用于训练眼部区域的特征和眼神状态的关系，该第二分类网络用于对眼神状态进行分类，眼神分类可以包括有神、无神以及假神，因此，该第二分类网络可以是一个三分类网络。具体可选的，该第二分类网络可以包括多个卷积层、池化层(例如gap层以及全连接层。其中，在对第二分类网络进行训练时，将融合后的特征图输入卷积层，通过卷积层对该样本图像进行特征提取，获得特征向量，然后通过gap层对该特征向量进行全局池化操作，实现降维，最后通过全连接层对眼神进行分类，获得预测眼神分类，基于该预测眼神分类和该样本图像被标注的实际眼神分类，计算该第二分类网络对应的损失值。
88.步骤105，基于所述第一分类网络对应的损失值和所述第二分类网络对应的损失值，调整所述眼神识别模型的参数。
89.本技术实施例中，第一分类网络和第二分类网络可以联合进行训练，也可以分开进行训练。如果第一分类网络和第二分类网络联合进行训练，则对第一分类网络对应的损失值和第二分类网络对应的损失值进行加权求和，获得总损失值，并根据该总损失值调整眼神识别模型的参数，即调整第一分类网络的参数和第二分类网络的参数，如此迭代循环，直到所得到的总损失值小于或者等于预设值时停止训练。如果第一分类网络和第二分类网络分开进行训练，则基于第一分类网络对应的损失值调整该第一分类网络的参数，以及基于第二分类网络对应的损失值调整第二分类网络的参数，如此迭代训练，直到所得到的损失值小于或者等于预设值时停止训练。可以理解的是，可以根据计算机图像处理器(graphics processing unit，gpu)性能决定是否将第一分类网络和第二分类网络联合进行训练，比如，计算机的gpu性能比较好，可以联合训练第一分类网络和第二分类网络。
90.可选的，如果第一分类网络包括第一分类子网络、第二分类子网络以及第三分类子网络，在对眼神识别模型进行训练时，可以基于第一分类子网络对应的损失值、第二分类子网络对应的损失值、第三分类子网络对应的损失值以及第二分类网络对应的损失值，调整眼神识别模型的参数。示例性的，可以将各个子网络和第二分类网络联合进行训练，即对第一分类子网络对应的损失值、第二分类子网络对应的损失值、第三分类子网络对应的损失值以及第二分类网络对应的损失值进行加权求和，得到总损失值，并根据该总损失值调整眼神识别模型的参数，即调整第一分类网络的参数和第二分类网络的参数，如此迭代循环，直到所得到的总损失值小于或者等于预设值时停止训练。示例性的，可以将各个子网络和第二分类网络分开进行训练，比如，基于第一分类子网络对应的损失值调整该第一分类子网络的参数，如此迭代训练，直到所得到的损失值小于或者等于预设值时停止训练，基于第二分类子网络对应的损失值调整该第二分类子网络的参数，如此迭代训练，直到所得到的损失值小于或者等于预设值时停止训练，基于第三分类子网络对应的损失值调整该第三分类子网络的参数，如此迭代训练，直到所得到的损失值小于或者等于预设值时停止训练，基于第二分类网络对应的损失值调整该第二分类网络的参数，如此迭代训练，直到所得到的损失值小于或者等于预设值时停止训练。
91.该训练后的第一分类子网络能够对图像中的眼睑特征进行提取，该训练后的第二分类子网络能够对图像中的白睛颜色特征进行提取，该训练后的第三分类子网络能够对图
像中的眼圈特征进行提取。训练后的第二分类网络能够基于眼部特征实现眼神分类。
92.通过以上步骤训练得到眼神识别模型，在使用该训练后的眼神识别模型时，被检查者由他人拍照或自己拍照，得到待检测图片，该待检测图片可以包括整个人脸。进一步通过人脸关键点模型对包含人脸的待检测图片进行眼部关键点提取，得到包含眼部区域的目标图片。可以将该目标图片输入到训练后的眼神识别模型中的第一分类子网络进行上眼睑特征和下眼睑特征的提取，并获取第一分类子网络中最后一个卷积层输出的第四特征图。将目标图片输入到第二分类子网络进行白睛颜色特征的提取，并获取第二分类子网络中最后一个卷积层输出的第五特征图。将目标图片输入到第三分类子网络中进行眼圈特征提取，并获取第三分类子网络中最后一个卷积层输出的第六特征图。最后，将所获取的第四特征图、第五特征图以及第六特征图输入到第二分类网络进行眼神状态的分类，获得被检查者的眼神状态。
93.本技术实施例中，通过第一分类网络对眼部区域的特征进行分类，获得预测特征分类，并根据预测特征分类和实际特征分类之间的差异，确定第一分类网络对应的损失值，进一步，将第一分类网络中用于表示眼部区域的特征的特征图输入第二分类网络，得到预测眼神分类，并根据预测眼神分类和实际眼神分类之间的差异，确定第二分类网络对应的损失值，从而基于第一分类网络对应的损失值和第二分类网络对应的损失值训练眼神识别模型。本技术基于眼部区域的特征联合训练用于对眼部区域的特征进行分类的第一分类网络和用于对眼神进行分类的第二分类网络，从而提高眼神识别模型对眼神识别的准确性，并且不需要人工识别眼神，因此也提高了眼神识别的智能化程度。
94.请参见图4，为本技术实施例提供了一种模型训练装置的结构示意图。如图4所示，该模型训练装置可以包括：
95.第一获取单元10，用于获取包括眼部区域的样本图像，并将所述样本图像输入眼神识别模型，所述眼神识别模型包括第一分类网络和第二分类网络；
96.第一分类单元11，用于通过所述第一分类网络对所述眼部区域的特征进行分类，获得所述样本图像的预测特征分类，并根据所述样本图像的预测特征分类和所述样本图像的实际特征分类之间的差异，确定所述第一分类网络对应的损失值；
97.第二获取单元12，用于通过所述第一分类网络对所述样本图像进行卷积处理，获得用于表示所述眼部区域的特征的特征图；
98.第二分类单元13，用于将所述特征图输入所述第二分类网络，获得所述样本图像的预测眼神分类，并根据所述样本图像的预测眼神分类和所述样本图像的实际眼神分类之间的差异，确定所述第二分类网络对应的损失值；
99.模型训练单元14，用于基于所述第一分类网络对应的损失值和所述第二分类网络对应的损失值，调整所述眼神识别模型的参数。
100.在一种可能的设计中，所述模型训练单元14具体用于：对所述第一分类网络对应的损失值和所述第二分类网络对应的损失值进行加权求和，获得总损失值，并根据所述总损失值调整所述眼神识别模型的参数；或者，基于所述第一分类网络对应的损失值调整所述第一分类网络的参数，以及基于所述第二分类网络对应的损失值调整所述第二分类网络的参数。
101.在一种可能的设计中，所述第一分类网络包括级联的多个卷积层；
102.所述第二获取单元12具体用于：通过所述级联的所述多个卷积层依次对所述样本图像进行卷积处理，并将最后一个卷积层输出的特征图确定为用于表示所述眼部区域的特征的特征图。
103.在一种可能的设计中，所述第一分类网络包括第一分类子网络、第二分类子网络以及第三分类子网络；
104.所述第一分类单元11具体用于：通过所述第一分类子网络对所述眼部区域的眼睑特征进行分类，获得所述样本图像的预测眼睑特征分类，根据所述样本图像的预测眼睑特征分类和所述样本图像的实际眼睑特征分类，确定所述第一分类子网络对应的损失值；
105.通过所述第二分类子网络对所述眼部区域的白睛颜色特征进行分类，获得所述样本图像的预测白睛颜色分类，根据所述样本图像的预测白睛颜色分类和所述样本图像的实际白睛颜色分类，确定所述第二分类子网络对应的损失值；
106.通过所述第三分类子网络对所述眼部区域的眼圈特征进行分类，获得所述样本图像的预测眼圈特征分类，根据所述样本图像的预测眼圈特征分类和所述样本图像的实际眼圈特征分类，确定所述第三分类子网络对应的损失值；
107.将所述第一分类子网络对应的损失值、所述第二分类子网络对应的损失值以及所述第三分类子网络对应的损失值确定为所述第一分类网络对应的损失值。
108.在一种可能的设计中，所述第二获取单元12具体用于：从所述第一分类子网络获取用于表示所述眼部区域的眼睑特征的第一特征图；从所述第二分类子网络获取用于表示所述眼部区域的白睛颜色特征的第二特征图；以及，从所述第三分类子网络获取用于表示所述眼部区域的眼圈特征的第三特征图；将所述第一特征图、所述第二特征图以及所述第三特征图进行融合，获得用于表示所述眼部区域的特征的所述特征图。
109.在一种可能的设计中，所述第一分类子网络包括依次级联的多个卷积层以及第一全连接层和第二全连接层；
110.所述第一分类单元具体用于：通过所述多个卷积层对所述样本图像的眼部区域的眼睑特征进行提取，获得用于表示所述眼部区域的眼睑特征的第一特征图；
111.分别将所述第一特征图输入所述第一全连接层和所述第二全连接层；
112.通过所述第一全连接层对所述眼部区域的上眼睑特征进行分类，获得预测上眼睑特征分类，根据所述样本图像的预测上眼睑特征分类和所述样本图像的实际上眼睑特征分类，确定第一损失值；
113.通过所述第二全连接层对所述眼部区域的下眼睑特征进行分类，获得预测下眼睑特征分类，根据所述样本图像的预测下眼睑特征分类和所述样本图像的实际下眼睑特征分类，确定第二损失值；
114.将所述第一损失值和所述第二损失值相加，获得所述第一分类子网络对应的损失值。
115.在一种可能的设计中，所述装置还包括第三获取单元，该第三获取单元用于，获取所述样本图像中针对所述眼部区域的下眼睑区域的掩膜图像；
116.所述第一分类单元11具体用于将所述样本图像和所述掩膜图像输入所述第三分类子网络，以对所述眼部区域的眼圈特征进行分类，获得所述样本图像的预测眼圈特征分类。
117.其中，图4所示装置实施例的具体描述可以参照前述图1所示方法实施例的具体说明，在此不进行赘述。
118.请参照图5，为本技术实施例提供的另一种模型训练装置的结构示意图，如图5所示，该模型训练装置1000可以包括：至少一个处理器1001，例如cpu，至少一个通信接口1003，存储器1004，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。通信接口1003可选的可以包括标准的有线接口、无线接口(如wi
‑
fi接口)。存储器1004可以是高速ram存储器，也可以是非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。存储器1004可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图5所示，作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信单元以及程序指令。
119.在图5所示的模型训练装置1000中，处理器1001可以用于加载存储器1004中存储的程序指令，并具体执行以下操作：
120.获取包括眼部区域的样本图像，并将所述样本图像输入眼神识别模型，所述眼神识别模型包括第一分类网络和第二分类网络；
121.通过所述第一分类网络对所述眼部区域的特征进行分类，获得所述样本图像的预测特征分类，并根据所述样本图像的预测特征分类和所述样本图像的实际特征分类之间的差异，确定所述第一分类网络对应的损失值；
122.通过所述第一分类网络对所述样本图像进行卷积处理，获得用于表示所述眼部区域的特征的特征图；
123.将所述特征图输入所述第二分类网络，获得所述样本图像的预测眼神分类，并根据所述样本图像的预测眼神分类和所述样本图像的实际眼神分类之间的差异，确定所述第二分类网络对应的损失值；
124.基于所述第一分类网络对应的损失值和所述第二分类网络对应的损失值，调整所述眼神识别模型的参数。
125.需要说明的是，具体执行过程可以参见图1所示方法实施例的具体说明，在此不进行赘述。
126.本技术实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1所示实施例的方法步骤，具体执行过程可以参见图1所示实施例的具体说明，在此不进行赘述。
127.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本技术实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软
盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘)等。
128.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。