头部姿态信息确定模型的训练方法、信息确定方法及装置与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种头部姿态信息确定模型的训练方法、信息确定方法及装置。


背景技术：

2.头部姿态估计是指计算机通过对输入图像或者视频序列进行分析预测，估计对象的头部姿态在三维空间中的旋转朝向。现如今，头部姿态估计被广泛应用于人机交互、生物识别、智能驾驶等领域。比如，车载智能系统通过检测头部姿态来判断驾驶员的疲劳状态，并在检测到驾驶员严重疲劳驾驶时发出警示信号。
3.现有头部姿态估计方法主要包括基于模型的方法和基于外观的方法。其中，基于模型的方法首先采集头部模型的3d特征点以及投影图像上对应的2d特征点，然后使用n点透视法建立3d特征点和2d特征点之间的投影方程，进而基于投影方程估计对象的头部姿态。基于外观的方法认为通过外观获得的头部姿态和真实头部姿态存在某种特定的关系，从而运用统计或概率的方法训练关系模型来预测头部姿态，其通常使用神经网络提取输入图像中的人脸特征，然后在全连接层将人脸特征映射至三维旋转空间。然而，基于模型的方法严重依赖人脸特征点的检测精度，在实际应用场景中，人脸特征点的检测精度会受到光照条件、复杂背景以及遮挡等外界因素的影响，导致基于模型的头部姿态估计方法的检测精度较差。现有基于外观的方法，将头部姿态识别问题转化为回归分类问题，该方法主要依赖于训练数据的好坏以及神经网络的设计优劣。在对关系模型的训练中，通常采用欧拉角来表征三维旋转，虽然简单直观，但是容易遭遇万向锁歧义的问题，即虽然两个旋转在欧拉角表征下的距离很大，但是在旋转空间中的距离确很小。比如，预测的欧拉角为[100
°
，90
°
，-100
°
]，真实的欧拉角为[0
°
，90
°
，0
°
]，在欧拉角表征下的距离高达66.67
°
，但在旋转空间中，两个欧拉角确实相等的。因此，现有基于欧拉角表征三维旋转的训练方法将导致头部姿态的估计精度较低。并且，在对关系模型的训练中，训练数据出现不均衡的现象，常用的头部姿态训练数据集中，前脸样本占比远大于侧脸、仰头、低头、歪头等大姿态训练数据，如此也将导致大姿态的估计精度较低。


技术实现要素：

[0004]
本技术实施例提供一种头部姿态信息确定模型的训练方法、信息确定方法及装置，可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。
[0005]
本技术实施例提供了一种头部姿态信息确定模型的训练方法，包括：
[0006]
获取样本图像集；样本图像集中每张样本图像携带有标注头部姿态信息，标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息；
[0007]
将样本图像集输入待训练模型，得到每张样本图像的预测头部姿态信息；
[0008]
基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型。
[0009]
进一步地，基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型之前，还包括：
[0010]
根据每张样本图像的标注头部姿态信息，确定每张样本图像的权重信息。
[0011]
进一步地，基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型，包括：
[0012]
基于每张样本图像的标注头部姿态信息、预测头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型。
[0013]
进一步地，基于每张样本图像的标注头部姿态信息、预测头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型，包括：
[0014]
根据每张样本图像的标注头部姿态信息和预测头部姿态信息，确定每张样本图像的误差头部姿态信息；
[0015]
基于每张样本图像的误差头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型。
[0016]
进一步地，基于每张样本图像的误差头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型，包括：
[0017]
基于预设损失函数、每张样本图像的误差头部姿态信息和权重信息确定每张样本图像的样本损失；
[0018]
基于每张样本图像的样本损失对待训练模型进行训练，得到头部姿态信息确定模型；
[0019]
其中，目标样本图像的权重信息对目标样本图像的样本损失的影响程度大于非目标样本图像的权重信息对非目标样本图像的样本损失的影响程度；目标样本图像为样本图像集中权重信息大于预设阈值的图像，非目标样本图像为样本图像集中权重信息小于预设阈值的图像。
[0020]
进一步地，预设损失函数的表达式为：
[0021][0022]
α∈[0,1]
[0023]
其中，n为样本图像集中的图像数量，n为样本图像集中的样本图像，l为样本损失，α为预设超参数，q
ni
为标注头部姿态信息，q
ni
为预测头部姿态信息，《
·
》为向量点积运算符号，|
·
|为绝对值运算符号。
[0024]
相应地，本技术实施例提供了一种头部姿态信息确定模型的训练装置，包括：
[0025]
第一获取模块，用于获取样本图像集；样本图像集中每张样本图像携带有标注头部姿态信息，标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息；
[0026]
第一输入模块，用于将样本图像集输入待训练模型，得到每张样本图像的预测头部姿态信息；
[0027]
训练模块，用于基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型。
[0028]
进一步地，训练装置还包括：
[0029]
确定模块，用于在基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型之前，
[0030]
根据每张样本图像的标注头部姿态信息，确定每张样本图像的权重信息。
[0031]
进一步地，训练模块，用于基于每张样本图像的标注头部姿态信息、预测头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型。
[0032]
进一步地，训练模块，包括：
[0033]
第一确定子模块，用于根据每张样本图像的标注头部姿态信息和预测头部姿态信息，确定每张样本图像的误差头部姿态信息；
[0034]
第二确定子模块，用于基于每张样本图像的误差头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型。
[0035]
进一步地，第二确定子模块，包括：
[0036]
确定单元，用于基于预设损失函数、每张样本图像的误差头部姿态信息和权重信息确定每张样本图像的样本损失；
[0037]
训练单元，用于基于每张样本图像的样本损失对待训练模型进行训练，得到头部姿态信息确定模型；
[0038]
其中，目标样本图像的权重信息对目标样本图像的样本损失的影响程度大于非目标样本图像的权重信息对非目标样本图像的样本损失的影响程度；目标样本图像为样本图像集中权重信息大于预设阈值的图像，非目标样本图像为样本图像集中权重信息小于预设阈值的图像。
[0039]
进一步地，预设损失函数的表达式为：
[0040][0041]
α∈[0,1]
[0042]
其中，n为样本图像集中的图像数量，n为样本图像集中的样本图像，l为样本损失，α为预设超参数，q
ni
为标注头部姿态信息，q
nj
为预测头部姿态信息，《
·
》为向量点积运算符号，|
·
|为绝对值运算符号。
[0043]
相应地，本技术实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述头部姿态信息确定模型的训练方法。
[0044]
相应地，本技术实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述头部姿态信息确定模型的训练方法。
[0045]
本技术实施例提供了一种头部姿态信息的确定方法，包括：
[0046]
获取待处理图像；
[0047]
将待处理图像输入上述头部姿态信息确定模型的训练方法得到的头部姿态信息确定模型，得到待处理图像的目标头部姿态信息。
[0048]
相应地，本技术实施例提供了一种头部姿态信息的确定装置，包括：
[0049]
第二获取模块，用于获取待处理图像；
[0050]
第二输入模块，用于将待处理图像输入上述头部姿态信息确定模型的训练方法得到的头部姿态信息确定模型，得到待处理图像的目标头部姿态信息。
[0051]
相应地，本技术实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述头部姿态信息的确定方法。
[0052]
相应地，本技术实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述头部姿态信息的确定方法。
[0053]
本技术实施例具有如下有益效果：
[0054]
本技术实施例所公开的一种头部姿态信息确定模型的训练方法、信息确定方法及装置，包括获取样本图像集，其中，样本图像集中每张样本图像携带有标注头部姿态信息，标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息，将样本图像集输入待训练模型，得到每张样本图像的预测头部姿态信息，并基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型。基于本技术实施例使用四元数信息表征对象的头部姿态信息，可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。
附图说明
[0055]
为了更清楚地说明本技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0056]
图1是本技术实施例所提供的一种应用环境的示意图；
[0057]
图2是本技术实施例提供的一种头部姿态信息确定模型的训练方法的流程示意图；
[0058]
图3是本技术实施例提供的一种头部姿态信息确定模型的训练装置的结构示意图；
[0059]
图4是本技术实施例提供的另一种头部姿态信息确定模型的训练方法的流程示意图；
[0060]
图5是本技术实施例提供的一种样本图像集中每个样本图像的权重信息的示意图；
[0061]
图6是本技术实施例提供的另一种头部姿态信息确定模型的训练装置的结构示意图；
[0062]
图7是本技术实施例提供的一种头部姿态信息的确定方法的流程示意图；
[0063]
图8是本技术实施例提供的一种头部姿态信息的确定装置的结构示意图；
[0064]
图9是本技术实施例提供的一种头部姿态估计的框架图；
[0065]
图10是本技术实施例提供的一种基于头部姿态估计模型和头部姿态信息确定模型的检测精度对比图。
具体实施方式
[0066]
为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例作进一步地详细描述。显然，所描述的实施例仅仅是本技术一个实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0067]
此处所称的“实施例”是指可包含于本技术至少一个实现方式中的特定特征、结构或特性。在本技术实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”和“为”以及他们的任何变形，意图在于覆盖不排他的包含。
[0068]
实施例一
[0069]
请参阅图1，其所示为本技术实施例所提供的一种应用环境的示意图，包括服务器101和终端103。
[0070]
在一种可选的实施方式中，服务器可以用于训练可以进行头部姿态信息确定的头部姿态信息确定模型。具体的，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0071]
在一个可选的实施例中，终端103可以结合服务器101训练出的图像头部姿态信息确定模型进行头部姿态信息确定处理。具体的，终端103可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux系统、windows系统、unix系统等。
[0072]
此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如头部姿态确定模型的训练，也可以在终端103上实现。
[0073]
本说明书实施例中，上述服务器101以及终端103可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
[0074]
下面介绍本技术一种头部姿态信息确定模型的训练方法的具体实施例，图2是本技术实施例提供的一种头部姿态信息确定模型的训练方法的流程示意图，本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法包括：
[0075]
s201：获取样本图像集；样本图像集中每张样本图像携带有标注头部姿态信息，标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息。
[0076]
本技术实施例中，可以通过电子设备获取样本图像集中的样本图像，或者，电子设备可以从其他设备处获取样本图像。例如，电子设备可以从摄像设备、监控设备等设备处获取样本图像。在一些实现方式中，上述样本图像可以是视频中的一帧。同样地，样本图像集可以是通过电子设备获取的，也可以是通过其他设备获取并综合至电子设备处的。可选地，样本图像集可以包括正脸图像、侧脸图像、仰头图像、低头图像等其他含有脸部面向不同方向的头部图像。
[0077]
三维旋转的表征方式可以有欧拉角、四元数、轴角以及旋转矩阵。根据旋转的定义，两个旋转的组合仍然为一个旋转，旋转的大小可以由其对应的轴角大小来表示，因此可以得到旋转矩阵下两个旋转的测地距离：
[0078][0079]
其中，tr(
·
)可以表示矩阵的迹，r
2t
可以为r2的转置矩阵，由于旋转矩阵是一个正交矩阵，所以其转置矩阵r
2t
＝r
2-1
，r1r
2t
可以表示旋转矩阵r1减去旋转矩阵r2的误差旋转矩阵。从物理角度来看，两个旋转矩阵的测地距离为误差旋转矩阵对应的轴角大小。
[0080]
本技术实施例中，样本图像集中每张样本图像可以携带有标注头部姿态信息，该标注头部姿态信息可以是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息。该标注头部姿态信息可以是技术人员人工标注的四元数信息，使用人工标注的方法主要是为了尽量提高样本图像标注的准确性，使得样本图像在后期训练模型的过程中可以尽量避免因为标注错误使得训练得到的模型不满足要求等不良后果。并且，使用四元数信息表征对象的头部姿态信息，可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。
[0081]
本技术实施例中选用四元数作为三维旋转的表征，根据罗德里格斯公式，可以将旋转矩阵转化为四元数信息，具体可以采用如下转化方式：
[0082]
r≡exp(uθ)
[0083][0084]
其中，r可以表示旋转矩阵，q可以表示四元数信息，u可以表示旋转轴，θ可以表示轴角。
[0085]
在一种可选的实施方式中，样本图像集中样本图像n的标注四元数信息q
ni
可以表示为：
[0086][0087]
s203：将样本图像集输入待训练模型，得到每张样本图像的预测头部姿态信息。
[0088]
图3是本技术实施例提供的一种确定每张样本图像的预测头部姿态信息的方法的流程示意图，如图3所示，包括：
[0089]
s301：构建预设机器学习模型，确定该预设机器学习模型的学习率，优化器类型以及训练截止条件。
[0090]
本技术实施例中，预设机器学习模型的学习率可以是指作为监督学习以及深度学
习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。当学习率设置的过小时，收敛过程将变得十分缓慢。而当学习设置的过大时，梯度可能会在最小值附近来回震荡，甚至可能无法收敛。在固定学习率的情况下，当到达收敛状态时，会在最优值附近一个较大的区域内摆动；而当随着迭代轮次的增加而减小学习率，会使得在收敛时，在最优值附近一个更小的区域内摆动。因此，选择一个合适的学习率，对于模型的训练将至关重要。本技术实施例中，预设机器学习模型的学习率可以是设置的固定值，也可以是随着迭代轮次的增加而变动的值。可选的，学习率可以是一个固定值0.001，其可以是一个实验值。
[0091]
本技术实施例中，预设机器学习模型的优化器可以是用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数，优化器类型可以是radam优化器，还可以是adam优化器，也可以是其他合适的优化器。
[0092]
本公开实施例中，预设机器学习模型的训练截止条件可以是当图像的样本损失满足某个条件，也可以迭代轮次满足某个条件，在满足训练截止条件的时候，就可以停止对当前模型的训练。
[0093]
s303：基于预设机器学习模型，对样本图像集中的每张样本图像进行预测头部姿态信息的预测操作，得到每张样本图像的预测头部姿态信息。
[0094]
本技术实施例中，利用预设机器学习模型对输入的样本图像进行预测，预测样本图像中对象的头部的预测四元数信息。
[0095]
在一种可选的实施方式中，样本图像集中样本图像n的预测四元数信息q
nj
可以表示为：
[0096][0097]
s205：基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型。
[0098]
若给定两个四元数qi＝(q
iw
,q
ix
,q
iy
,q
iz
)和qj＝(q
jw
,q
jx
,q
jy
,q
jz
)，那么这两个四元数之间的误差四元数的计算可以采用如下公式：
[0099][0100]
其中，q
ew
＝q
iwqjw
q
ixqjx
q
iyqjy
q
izqjz
可以表示两个四元数的轴角，该两个四元数的测地距离可以采用如下公式确定：
[0101]
d2(qi,qj)＝2*arccos(|q
ew
|)＝2*arccos(|q
iwqjw
q
ixqjx
q
iyqjy
q
izqjz
|)＝2*arccos(|《qi,qj》|)其中，《
·
》可以表示向量点积运算，|
·
|可以表示绝对值运算，如此可以避免四元数的双射性即q＝-q。
[0102]
本技术实施例中，在构建预设机器学习模型的时候，除了需要设置预设机器学习模型的学习率，优化器类型以及训练截止条件，还需要设置损失函数，以便在合适的时间内收敛到局部最小值。
[0103]
本技术实施例中，可以根据每张样本图像的标注头部姿态信息和预测头部姿态信
息，确定每张样本图像的误差头部姿态信息，并基于每张样本图像的误差头部姿态信息对待训练模型进行训练，得到头部姿态确定模型。
[0104]
在一种可选的实施方式中，可以基于预设损失函数以及每张样本图像的误差头部姿态信息，确定每张样本图像的样本损失，进而基于每张样本图像的样本损失对待训练模型进行训练，得到头部姿态信息确定模型，预设损失函数具体可以采用如下公式：
[0105][0106]
其中，n为样本图像集中的图像数量，n为样本图像集中的样本图像，l为样本损失，q
ni
为标注头部姿态信息，q
nj
为预测头部姿态信息，《
·
》为向量点积运算符号，|
·
|为绝对值运算符号。
[0107]
采用本技术实施例提供的头部姿态信息确定模型的训练方法，使用四元数信息表征对象的头部姿态信息，可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。并且，通过基于样本图像集中每张样本图像的样本损失对待训练模型进行训练，可以提高模型训练的精度和效率。
[0108]
本技术实施例还提供的一种头部姿态信息确定模型的训练装置，图3是本技术实施例提供的一种头部姿态信息确定模型的训练装置的结构示意图，如图3所示，该装置可以包括：
[0109]
第一获取模块301可以用于获取样本图像集；样本图像集中每张样本图像携带有标注头部姿态信息，标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息；
[0110]
第一输入模块303可以用于将样本图像集输入待训练模型，得到每张样本图像的预测头部姿态信息；
[0111]
训练模块305可以用于基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型。
[0112]
本技术实施例中的装置与方法实施例基于同样的申请构思。
[0113]
采用本技术实施例提供的头部姿态信息确定模型的训练装置，使用四元数信息表征对象的头部姿态信息，可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。
[0114]
本技术实施例还提供的一种电子设备，电子设备可设置于服务器之中以保存用于实现方法实施例中的一种头部姿态信息确定模型的训练方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该存储器加载并执行以实现上述的头部姿态信息确定模型的训练方法。
[0115]
本技术实施例还提供的一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种头部姿态信息确定模型的训练方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述头部姿态信息确定模型的训练方法。
[0116]
可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：u盘、只读存储器(rom，read-only memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代
码的介质。
[0117]
下面介绍本技术一种头部姿态信息确定模型的训练方法的具体实施例，图4是本技术实施例提供的另一种头部姿态信息确定模型的训练方法的流程示意图，本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图4所示，该方法包括：
[0118]
s401:获取样本图像集；样本图像集中每张样本图像携带有标注头部姿态信息，标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息。
[0119]
本技术实施例中，可以通过电子设备获取样本图像集中的样本图像，或者，电子设备可以从其他设备处获取样本图像。例如，电子设备可以从摄像设备、监控设备等设备处获取样本图像。在一些实现方式中，上述样本图像可以是视频中的一帧。同样地，样本图像集可以是通过电子设备获取的，也可以是通过其他设备获取并综合至电子设备处的。可选地，样本图像集可以包括正脸图像、侧脸图像、仰头图像、低头图像等其他含有脸部面向不同方向的头部图像。
[0120]
本技术实施例中，样本图像集中每张样本图像可以携带有标注头部姿态信息，该标注头部姿态信息可以是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息。该标注头部姿态信息可以是技术人员人工标注的四元数信息，使用人工标注的方法主要是为了尽量提高样本图像标注的准确性，使得样本图像在后期训练模型的过程中可以尽量避免因为标注错误使得训练得到的模型不满足要求等不良后果。并且，使用四元数信息表征对象的头部姿态信息，可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。
[0121]
在一种可选的实施方式中，样本图像集中样本图像n的标注四元数信息q
ni
可以表示为：
[0122][0123]
s403：将样本图像集输入待训练模型，得到每张样本图像的预测头部姿态信息。
[0124]
本技术实施例中，可以采用如图3所示的步骤确定每张样本图像的预测头部姿态信息。此处不再赘述。
[0125]
在一种可选的实施方式中，样本图像集中样本图像n的预测四元数信息q
nj
可以表示为：
[0126][0127]
s405：根据每张样本图像的标注头部姿态信息，确定每张样本图像的权重信息。
[0128]
常用的样本图像集中总是会包含许多正脸图像，缺乏大姿态的样本图像，如侧脸图像、仰头图像、低头图像等图像。并且大姿态的样本图像由于自遮挡等原因，难以从中提取到准确的头部特征。由于要使得最后得到的头部姿态信息确定模型能够尽量识别出某些自遮挡较为严重的图像，比如说侧脸图像、仰头图像、低头图像，使其训练好的头部姿态确定模型在识别准确率上具有较好的表现，可以根据每张样本图像的标准头部姿态信息，确定每张样本图像的权重信息，以结合每张样本图像的标注头部姿态信息和预测头部姿态信
息，对待训练模型进行训练，得到识别准确率较高的头部姿态信息确定模型。可选地，可以将大姿态的样本图像的权重信息设置的较高，使得模型更重视大姿态的样本图像。
[0129]
在一种可选的实施方式中，可以采用如下公式确定每张样本图像的权重信息：
[0130]
wn＝1-αcos(θ)＝1 α-2α(q
niw
)2[0131]
其中，α可以为预设超参数，α∈[0,1]。具体地，α可以等于0.5。图5是本技术实施例提供的一种样本图像集中每个样本图像的权重信息的示意图。
[0132]
s405：基于每张样本图像的标注头部姿态信息、预测头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型。
[0133]
本技术实施例中，可以基于每张样本图像的标注头部姿态信息和预测头部姿态信息，确定每张样本图像的误差头部姿态信息，并基于每张样本图像的误差头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型。
[0134]
可选地，可以基于预设损失函数、每张样本图像的误差头部姿态信息和权重信息确定每张样本图像的样本损失，进而基于每张样本图像的样本损失对待训练模型进行训练，得到头部姿态信息确定模型。其中，目标样本图像的权重信息对目标样本图像的样本损失的影响程度大于非目标样本图像的权重信息对非目标样本图像的样本损失的影响程度；目标样本图像为样本图像集中权重信息大于预设阈值的图像，非目标样本图像为样本图像集中权重信息小于预设阈值的图像。也即是，目标图像为大姿态图像，如侧脸图像、仰头图像、低头图像等图像，非目标图像为小姿态图像，如正脸图像。预设损失函数的表达式可以为：
[0135][0136]
α∈[0,1]
[0137]
其中，n为样本图像集中的图像数量，n为样本图像集中的样本图像，l为样本损失，α为预设超参数，q
ni
为标注头部姿态信息，q
nj
为预测头部姿态信息，《
·
》为向量点积运算符号，|
·
|为绝对值运算符号。
[0138]
采用本技术实施例所提供的头部姿态信息确定模型的训练方法，通过使用四元数信息表征对象的头部姿态信息，可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。并且，通过基于样本图像的姿态大小分配样本图像的权重信息，可以缓解数据不均衡，提高对占比较小的大姿态样本图像的重视程度，可以提高头部姿态信息确定模型的训练精度，改善头部姿态信息确定模型在大姿态人脸图像上表现。
[0139]
本技术实施例还提供的另一种头部姿态信息确定模型的训练装置，图6是本技术实施例提供的另一种头部姿态信息确定模型的训练装置的结构示意图，如图6所示，该装置可以包括：
[0140]
第一获取模块601可以用于获取样本图像集；样本图像集中每张样本图像携带有标注头部姿态信息，标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息；
[0141]
第一输入模块603可以用于将样本图像集输入待训练模型，得到每张样本图像的预测头部姿态信息；
[0142]
确定模块605可以用于根据每张样本图像的标注头部姿态信息，确定每张样本图
像的权重信息。
[0143]
训练模块607可以用于基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型。
[0144]
本技术实施例中，训练模块607可以用于基于每张样本图像的标注头部姿态信息、预测头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型。
[0145]
本技术实施例中，训练模块607可以包括：
[0146]
第一确定子模块可以用于根据每张样本图像的标注头部姿态信息和预测头部姿态信息，确定每张样本图像的误差头部姿态信息；
[0147]
第二确定子模块可以用于基于每张样本图像的误差头部姿态信息和权重信息对待训练模型进行训练，得到头部姿态确定模型。
[0148]
本技术实施例中，第二确定子模块可以包括：
[0149]
确定单元，用于基于预设损失函数、每张样本图像的误差头部姿态信息和权重信息确定每张样本图像的样本损失；
[0150]
训练单元，用于基于每张样本图像的样本损失对待训练模型进行训练，得到头部姿态信息确定模型；
[0151]
其中，目标样本图像的权重信息对目标样本图像的样本损失的影响程度大于非目标样本图像的权重信息对非目标样本图像的样本损失的影响程度；目标样本图像为样本图像集中权重信息大于预设阈值的图像，非目标样本图像为样本图像集中权重信息小于预设阈值的图像。
[0152]
进一步地，预设损失函数的表达式为：
[0153][0154]
α∈[0,1]
[0155]
其中，n为样本图像集中的图像数量，n为样本图像集中的样本图像，l为样本损失，α为预设超参数，q
ni
为标注头部姿态信息，q
nj
为预测头部姿态信息，《
·
》为向量点积运算符号，|
·
|为绝对值运算符号。
[0156]
本技术实施例中的装置与方法实施例基于同样的申请构思。
[0157]
采用本技术实施例提供的头部姿态信息确定模型的训练装置，通过使用四元数信息表征对象的头部姿态信息，可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。并且，通过基于样本图像的姿态大小分配样本图像的权重信息，可以缓解数据不均衡，提高对占比较小的大姿态样本图像的重视程度，可以提高头部姿态信息确定模型的训练精度，改善头部姿态信息确定模型在大姿态人脸图像上表现。
[0158]
本技术实施例还提供的一种电子设备，电子设备可设置于服务器之中以保存用于实现方法实施例中的一种头部姿态信息确定模型的训练方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该存储器加载并执行以实现上述的头部姿态信息确定模型的训练方法。
[0159]
本技术实施例还提供的一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种头部姿态信息确定模型的训练方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器
加载并执行以实现上述头部姿态信息确定模型的训练方法。
[0160]
可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：u盘、只读存储器(rom，read-only memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0161]
下面介绍本技术一种头部姿态信息的确定方法的具体实施例，图7是本技术实施例提供的一种头部姿态信息的确定方法的流程示意图，本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图7所示，该方法包括：
[0162]
s701：获取待处理图像；
[0163]
本技术实施例中，待处理图像可以是正脸图像、侧脸图像、仰头图像、低头图像等其他含有脸部面向不同方向的头部图像。
[0164]
s703:将待处理图像输入头部姿态信息确定模型的训练方法得到的头部姿态信息确定模型，得到待处理图像的目标头部姿态信息。
[0165]
本技术实施例还提供的一种头部姿态信息的确定装置，图8是本技术实施例提供的一种头部姿态信息的确定装置的结构示意图，如图8所示，该装置可以包括：
[0166]
第二获取模块801用于获取待处理图像；
[0167]
第二输入模块803用于将待处理图像输入头部姿态信息确定模型的训练方法得到的头部姿态信息确定模型，得到待处理图像的目标头部姿态信息。
[0168]
本技术实施例还提供的一种电子设备，电子设备可设置于服务器之中以保存用于实现方法实施例中的一种头部姿态信息确定模型的训练方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该存储器加载并执行以实现上述的头部姿态信息的确定方法。
[0169]
本技术实施例还提供的一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种头部姿态信息确定模型的训练方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述头部姿态信息的确定方法。
[0170]
可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：u盘、只读存储器(rom，read-only memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0171]
实施例二
[0172]
图9是本技术实施例提供的一种头部姿态估计的框架图，在该头部姿态估计模型fasnet下，可以基于欧拉角来监督头部姿态特征的学习。
[0173]
头部姿态估计模型的输入可以为：64
×
64
×
3的rgb图像。其中，64可以表示图像的长和宽，3可以表示图像的三个颜色通道。
[0174]
头部姿态估计模型的输入可以为输出：3。其中，3可以表示头部姿态对应的欧拉
角。
[0175]
在特征编码模块，输入可以为切割好的64
×
64
×
3图像，经过骨干网络的特征提取，可以得到三组不同尺度的8
×8×
64的初级特征，即特征向量。为了尽可能提取出更多图像信息，骨干网络可以分为两条支路，一条支路的激活函数为relu函数，另一条支路的激活函数为tanh函数。两条支路在每一个尺度上分别可以得到8
×8×
32的初级特征，连接起来便可以得到64维度的初级特征。进而可以将这些初级特征送入特征聚合模块。
[0176]
在特征聚合模块，输入可以是三组不同尺度的特征向量，输出可以是3组长度为16的特征向量。其使用胶囊网络来获取特征与特征之间的空间位置关系。其中，胶囊网络是指将个体神经元替换成一组神经元组成的向量，这些向量就被称为胶囊，其使用动态路由的方法，暴露特征中宝贵的空间信息。
[0177]
在姿态预测模块，采用欧拉角来表现旋转，可以将角度划分为连续的区间，每个区间对应为一个类别，这样就将回归问题转化为分类问题，在预测分类的概率因子pk的同时，也预测偏移因子ηk和尺度因子δk，具体公式如下：
[0178][0179]
其中，v可以表示区域总长度，sk可以为k阶段的均分不重叠的角度区域个数。
[0180]
在损失模块，采用平均绝对误差损失函数，具体公式如下：
[0181][0182]
其中，可以表示头部图像样本总数，p和p’可以分别表示第i个样本的预测欧拉角和真值欧拉角，损失函数的目标在于让预测欧拉角和真值欧拉角尽可能的接近。
[0183]
图10是本技术实施例提供的一种基于头部姿态估计模型和头部姿态信息确定模型的检测精度对比图。如图10所示，本技术中的头部姿态信息确定模组在大姿态头部图像的检测精度高于头部姿态估计模型的检测精度。
[0184]
由上述本技术提供的头部姿态信息确定模型的训练方法、头部姿态信息的确定方法、装置、电子设备或存储介质的实施例可见，本技术中方法包括获取样本图像集，其中，样本图像集中每张样本图像携带有标注头部姿态信息，标注头部姿态信息是将对象的头部从正脸图位置转动至非正脸图位置得到的四元数信息，将样本图像集输入待训练模型，得到每张样本图像的预测头部姿态信息，并基于每张样本图像的标注头部姿态信息和预测头部姿态信息对待训练模型进行训练，得到头部姿态确定模型。基于本技术实施例使用四元数信息表征对象的头部姿态信息，可以规避采用欧拉角表征对象的头部姿态信息产生的歧义性问题。
[0185]
在本发明中，除非另有明确的规定和限定，术语“相连”、“连接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的相连或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0186]
需要说明的是：上述本技术实施例的先后顺序仅仅为了描述，不代表实施例的优
劣，且上述本说明书对特定的实施例进行了描述，其他实施例也在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果，在某些实施方式中，多任务并行处理也是可以的或者可能是有利的。
[0187]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于装置的实施例而言，由于其基于相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0188]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。