一种视线检测方法、装置、设备及介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种视线检测方法、装置、设备及介质。


背景技术：

2.在人机交互、自动驾驶、安防监控等应用中，视线检测起到越来越重要的作用。视线检测是监测在三维空间中人眼注视方向的技术，相关技术中，一般采用3d视线检测方法和基于深度学习的视线检测方法中任意一种进行视线检测时，但这些检测方法均不能持续保持高精度和高效率。


技术实现要素：

3.为了解决上述技术问题，本发明提供一种视线检测方法、装置、设备及介质，可以实现在全工况条件下，提高视线检测的精度和效率。
4.为了达到上述申请的目的，本技术提供了一种视线检测方法，该方法包括：
5.获取目标对象的脸部图像；
6.根据目标对象的脸部图像确定目标对象的头部姿态；
7.若头部姿态中的偏航角和俯仰角满足预设条件，对脸部图像进行三维视线分析处理，确定目标对象的视线；
8.若偏航角和俯仰角中任意一个不满足预设条件，利用预设视线识别模型对脸部图像进行视线分析处理，确定目标对象的视线。
9.在一种可能的实现方式中，获取目标对象的脸部图像之前，该方法还可以包括：
10.利用目标相机采集目标对象的图像数据；
11.获取目标对象的脸部图像包括：
12.从目标对象的图像数据中提取目标对象的脸部图像。
13.在一种可能的实施例中，利用目标相机采集目标对象的图像数据之前，该方法还可以包括：
14.标定目标相机的内参和畸变系数；
15.根据目标对象的脸部图像确定目标对象的头部姿态包括：
16.从目标对象的脸部图像中提取人脸特征点；
17.确定人脸特征点的二维坐标；
18.基于预设三维人脸模型确定人脸特征点的三维坐标；
19.根据内参、畸变系数、人脸特征点的二维坐标和人脸特征点的三维坐标，确定目标对象的头部姿态。
20.在一种可能的实施例中，对脸部图像进行三维视线分析处理，确定目标对象的视线可以包括：
21.从人脸特征点中确定第一目标点、第二目标点和第三目标点，其中，第一目标点和第二目标点是目标对象双眼的对称点，第三目标点为目标对象左眼眼睑或右眼眼睑的中心
点；
22.确定第一目标点的三维坐标、第二目标点的三维坐标和第三目标点的三维坐标；
23.根据第一目标点的三维坐标、第二目标点的三维坐标和第三目标点的三维坐标，确定目标平面；
24.根据第一目标点的三维坐标和第二目标点的三维坐标，确定第四目标点的三维坐标，第四目标点位于第一目标点和第二目标点的连线上，且位于目标对象脸部的对称轴上；
25.确定目标平面的法线；
26.确定过第四目标点的三维坐标且平行于法线的直线为目标对象的视线。
27.在一种可能的实现方式中，利用预设视线识别模型对脸部图像进行视线分析处理，确定目标对象的视线包括：
28.利用预设视线识别模型中的卷积层对脸部图像进行特征提取处理，得到脸部图像对应的特征信息；
29.利用预设视线识别模型中的全连接层对脸部图像对应的特征信息进行视线回归处理，确定目标对象的视线。
30.在一种可能的实现方式中，预设条件包括预设偏航角范围和预设俯仰角范围。预设偏航角范围为
‑
45度至45度，预设俯仰角范围为
‑
20度至20度。
31.另一方面，本技术还提供一种视线检测装置，该装置包括：
32.脸部图像获取模块，用于获取目标对象的脸部图像；
33.头部姿态确定模块，用于根据所述目标对象的脸部图像确定所述目标对象的头部姿态；
34.第一视线分析模块，用于在所述头部姿态中的偏航角和俯仰角满足预设条件时，对所述脸部图像进行三维视线分析处理，确定所述目标对象的视线；
35.第二视线分析模块，用于在所述头部姿态中的偏航角和俯仰角中任意一个不满足预设条件时，利用预设视线识别模型对所述脸部图像进行视线分析处理，确定所述目标对象的视线。
36.另一方面，本技术还提供一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由所述处理器加载并执行以实现上述的视线检测方法。
37.另一方面，本技术还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的视线检测方法。
38.另一方面，本技术还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现上述的视线检测方法。
39.另一方面，本技术还提供一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现上述的视线检测方法。
40.实施本技术，具有如下有益效果：
41.本技术通过获取目标对象的脸部图像，根据所述目标对象的脸部图像确定所述目标对象的头部姿态，若所述头部姿态中的偏航角和俯仰角满足预设条件，对所述脸部图像
进行三维视线分析处理，确定所述目标对象的视线，可以在偏航角和俯仰角在预设角度范围内时，保证视线检测的精度，并提高视线检测效率；若所述偏航角和所述俯仰角中任意一个不满足所述预设条件，利用预设视线识别模型对所述脸部图像进行视线分析处理，确定所述目标对象的视线，可以解决预设视线识别模型训练时因样本不均衡导致的噪声问题，提高视线检测的精度。
附图说明
42.为了更清楚地说明本技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
43.图1为本技术实施例提供的一种视线检测方法的流程示意图；
44.图2为本技术另一实施例提供的一种视线检测方法的流程示意图；
45.图3为本技术另一实施例提供的一种视线检测方法的流程示意图；
46.图4为本技术实施例提供的一种对脸部图像进行三维视线分析处理，确定目标对象视线的流程示意图；
47.图5为本技术实施例提供的一种利用预设视线识别模型对脸部图像进行视线分析处理，确定目标对象视线的流程示意图；
48.图6为本技术实施例提供的一种视线检测装置的结构示意图；
49.图7为本技术实施例提供的一种用于视线检测的电子设备结构示意图。
具体实施方式
50.为了使本技术领域的人员更好地理解本技术中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
51.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
52.为了实现本技术的技术方案，让更多的工程技术工作者容易了解和应用本技术，将结合具体的实施例，进一步阐述本技术的工作原理。
53.以下介绍本技术一种视线检测方法的实施例，图1是本技术实施例提供的一种视线检测方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序
仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。具体的，如图1所示，该方法可以包括：
54.s101：获取目标对象的脸部图像。
55.本说明书实施例中，目标对象可以是指需要进行视线检测的对象，例如，可以是人、狗等，本公开不作限定。需要说明的是，本公开以下以人作为目标对象进行介绍。
56.在一个示例中，可以从图像采集设备采集的多媒体数据中获取目标对象的脸部图像。该多媒体数据可以包括视频流数据和图像数据。当图像采集设备采集的多媒体数据为视频流数据时，可以先对视频流数据进行视频帧处理，得到单帧图像数据。从采集的图像数据或者经过视频帧处理得到的单帧图像数据中提取目标对象的脸部图像。目标对象的脸部图像还可以是从后台服务器获取的，本公开对此不作限定。
57.s103：根据目标对象的脸部图像确定目标对象的头部姿态信息。
58.本说明书实施例中，目标对象的头部姿态可以是指目标对象的头部朝向，头部朝向可以用头部的姿态角进行表示。头部的姿态角可以包括俯仰角和偏航角，俯仰角表征目标对象抬头或低头的角度，偏航角表征目标对象转头的角度。
59.实际应用中，可以根据目标对象的脸部图像确定目标对象的人脸特征点，再根据人脸特征点确定目标对象头部的俯仰角和偏航角。
60.s105：判断头部姿态中的偏航角和俯仰角是否满足预设条件。
61.本说明书实施例中，预设条件可以包括预设偏航角范围和预设俯仰角范围。头部姿态中的偏航角和俯仰角满足预设条件，是指偏航角满足预设偏航角范围，并且俯仰角满足预设范围。预设偏航角范围和预设俯仰角范围的中间值可以为0度，预设偏航角范围的两个端点值与0度的差值可以不大于第一预设数值，例如第一预设数值为45度，预设偏航角范围为
‑
45度至45度，或者第一预设数值为45度，预设偏航角范围为
‑
44度至45度，对此，本公开不作限定。预设俯仰角的两个端点值与0度的差值可以不大于第二预设数值，例如第二预设数值为20度，预设俯仰角范围可以为
‑
20度至20度，或者第二预设数值为20度，预设俯仰角范围为
‑
20度至19度，对此，本公开不作限定。
62.在一个优选的实施例中，预设偏航角范围可以为
‑
45度至45度，预设俯仰角范围可以为
‑
20度至20度。
63.s107：若偏航角和俯仰角满足预设条件，对脸部图像进行三维视线分析处理，确定目标对象的视线。
64.本说明书实施例中，对脸部图像进行三维视线分析处理，是指利用三维空间中脸部图像的目标点坐标，进行视线的分析处理。其中，目标点坐标是指脸部图像预设部位的点的坐标了，例如，目标点坐标可以为左右嘴角点的坐标、眼部轮廓线上八个位置点的坐标等。本公开对视线的分析处理方法不作限定。
65.s109：若偏航角和俯仰角中任意一个不满足预设条件，利用预设视线识别模型对脸部图像进行视线分析处理，确定目标对象的视线。
66.本说明书实施例中，预设视线识别模型是指预先利用训练数据和训练数据对应的视线标签，对预设神经网络模型进行训练，得到的视线识别模型。其中，预设神经网络模型可以是残差神经网络resnet、卷积神经网络lenet等，对此，本公开不作限定。
67.实际应用中，训练数据和训练数据对应的视线标签可以与头部姿态有对应关系，
采用头部姿态中的偏航角和俯仰角不满足预设条件的多媒体数据作为训练数据。偏航角和俯仰角中任意一个不满足预设条件可以是指偏航角不满足预设偏航角范围，和/或俯仰角不满足预设俯仰角范围，例如预设偏航角范围为
‑
45度至45度，预设俯仰角范围为
‑
20度至20度时。在偏航角为60度、俯仰角为10度时，可以确定偏航角和俯仰角中任意一个不满足预设条件。
68.上述实施例，通过获取目标对象的脸部图像，根据目标对象的脸部图像确定目标对象的头部姿态，若头部姿态中的偏航角和俯仰角满足预设条件，对脸部图像进行三维视线分析处理，确定目标对象的视线，可以在头部姿态的偏航角和俯仰角满足预设条件时，利用数据处理量较小的三维视线分析处理方法，确定目标对象的视线，在提高数据处理效率的同时，可以保证目标对象视线结果的准确性；在头部姿态中的偏航角和俯仰角中任意一个不满足预设条件时，利用预设视线识别模型对脸部图像进行视线分析处理，可以在偏航角和俯仰角中任意一个不满足预设条件时，对目标对象的视线进行准确分析，预设视线识别模型仅需针对偏航角和俯仰角中任意一个不满足预设条件的脸部图像进行视线分析处理，在保证准确性的同时，可以大大提高数据处理效率。
69.图2是根据一示例性实施例示出的一种视线检测方法的流程示意图。在一种可能的实现方式中，在步骤s101，获取目标对象的脸部图像之前，该方法还可以包括：
70.s201：利用目标相机采集目标对象的图像数据。
71.本说明书实施例中，目标对象的图像数据至少包含目标对象的脸部图像。
72.步骤s101，获取目标对象的脸部图像可以包括：
73.s203：从目标对象的图像数据中提取目标对象的脸部图像。
74.本说明书实施例中，可以通过对目标对象的图像数据进行感兴趣区域检测，对图像数据中的人脸区域进行定位，再检测人脸区域中的人脸特征点，人脸特征点是指人脸区域的关键特征点，根据该关键特征点可以确定目标对象的脸部图像。
75.该实施例中，利用目标相机采集目标对象的图像数据，从目标对象的图像数据中提取目标对象的脸部图像，可以实现对目标对象脸部图像的确定。
76.图3是根据一示例性实施例示出的一种视线检测方法的流程示意图。在一种可能的实现方式中，利用目标相机采集目标对象的图像数据之前，该方法还可以包括：
77.s301：标定目标相机的内参和畸变系数。
78.实际使用中，目标相机的内参可以分别是fx、fy、u0和v0，其中，fx和fy分别是目标相机的焦点在图像横轴和图像纵轴上的投影，u0和v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。畸变系数可以包括径向畸变系数和切向畸变系数，径向畸变发生在相机坐标系转图像坐标系的过程中，切向畸变发生在相机制作过程中，由于感光元平面跟透镜不平行，将出现切向畸变。
79.在该实施例中，步骤s103，根据目标对象的脸部图像确定目标对象的头部姿态可以包括：
80.s1031：从目标对象的脸部图像中提取人脸特征点。
81.本说明书实施例中，人脸特征点是指脸部图像中各个部位的关键点，可以是轮廓点或角点。提取的人脸特征点可以为预设数量个。可以利用预设的特征点提取模型对脸部图像中的人脸特征点进行提取，例如可以通过dlib人脸关键点检测器，进行人脸特征点的
提取。
82.实际应用中，人脸特征点的数量可以为14个、21个、29个、68个等等，人脸特征点可以是位于13条轮廓线上的点，该13条轮廓线可以是外轮廓、左眉、右眉、鼻梁、鼻边界、左上眼皮、右上眼皮、右下眼皮、上嘴唇上边、下嘴唇上边，对此，本技术不作限定。
83.s1033：确定人脸特征点的二维坐标。
84.本说明书实施例中，人脸特征点的二维坐标是指人脸特征点在二维坐标系中的坐标，该二维坐标系可以包括图像坐标系。
85.实际应用中，人脸特征点的二维坐标可以根据目标相机内参中的u0和v0确定。
86.s1035：基于预设三维人脸模型确定人脸特征点的三维坐标。
87.本说明书实施例中，人脸特征点的三维坐标是指人脸特征点在三维坐标系中的坐标，该三维坐标系可以包括世界坐标系。预设三维人脸模型可以是三维通用头部刚体模型，即在世界坐标系中，建立一个头部的模型，该模型在世界坐标系中的各个关键点的坐标是固定的且已知的。
88.实际应用中，人脸特征点个数是依据预设三维人脸模型上关键点的个数从目标对象的脸部图像中进行提取的，例如预设三维人脸模型中人脸面部有68个关键点，在提取人脸特征点时，所需提取的人脸特征点个数即为68个，并且，该68个人脸特征点在脸部的部位，与预设三维人脸模型中关键点在人脸上的部位一致。根据人脸特征点和预设三维人脸模型中关键点的对应关系，以及人脸特征点的二维坐标进行坐标转换，确定人脸特征点在世界坐标系中的三维坐标。
89.s1037：根据内参、畸变系数、人脸特征点的二维坐标和人脸特征点的三维坐标，确定目标对象的头部姿态。
90.实际应用中，可以根据目标相机的内参fx、fy、u0和v0，其中，fx和fy分别是目标相机的焦点在图像横轴和图像纵轴上的投影，u0和v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数
91.本说明书实施例中，可以结合目标相机的内参fx、fy、u0和v0、畸变系数，求解人脸特征点在图像坐标系中的坐标到世界坐标系中的坐标的几何变换关系，在求解该几何变换关系时，利用多个在图像坐标系中的点坐标与对应的世界坐标系中的点坐标，构建多项式方程，求解得到目标对象的头部姿态。
92.该实施例中，通过获取目标相机的内参和畸变系数，从目标对象的脸部图像中提取人脸特征点，确定人脸特征点的二维坐标，基于预设三维人脸模型确定人脸特征点的三维坐标，根据内参、畸变系数、人脸特征点的二维坐标和人脸特征点的三维坐标，确定所述目标对象的头部姿态，实现目标对象的头部姿态分析处理。
93.图4是根据一示例性实施例示出的一种对脸部图像进行三维视线分析处理，确定目标对象视线的流程示意图。在一种可能的实现方式中，步骤s107，对脸部图像进行三维视线分析处理，确定目标对象的视线可以包括：
94.s1071：从人脸特征点中确定第一目标点、第二目标点和第三目标点。
95.本说明书实施例中，第一目标点和第二目标点可以是目标对象双眼的对称点。第三目标点可以为目标对象左眼眼睑或右眼眼睑的中心点。在眼部区域确定第一目标点、第二目标点和第三目标点，可以提高后续视线检测的精确性。
96.s1073：确定第一目标点的三维坐标、第二目标点的三维坐标和第三目标点的三维坐标。
97.通过s1035步骤中，基于预设三维人脸模型确定人脸特征点的三维坐标，可以确定全量人脸特征点的三维坐标。在确定第一目标点、第二目标点和第三目标点之后，可以从全量人脸特征点的三维坐标中提取第一目标点的三维坐标、第二目标点的三维坐标和第三目标点的三维坐标。
98.s1075：根据第一目标点的三维坐标、第二目标点的三维坐标和第三目标点的三维坐标，确定目标平面。
99.根据三个不在同一直线上的点确定同一平面原理，根据第一目标点的三维坐标、第二目标点的三维坐标和第三目标点的三维坐标，确定目标平面。该目标平面垂直于目标对象的视线。
100.s1077：根据第一目标点的三维坐标和第二目标点的三维坐标，确定第四目标点的三维坐标。
101.本说明书实施例中，第四目标点位于第一目标点和第二目标点的连线上，例如，第四目标点为第一目标点和第二目标点连线的中点。根据第四目标点与第一目标点、第二目标点的位置关系，第一目标点的三维坐标和第二目标点的三维坐标，确定第四目标点的三维坐标。
102.第四目标点位于第一目标点和第二目标点的连线上，且位于目标对象脸部的对称轴上。
103.s1079：确定目标平面的法线。
104.本说明书实施例中，目标平面是指人脸所平行的平面，目标平面垂直于目标对象的视线，目标平面的法线平行或重合于目标平面的视线。
105.s1081：确定过第四目标点且平行于法线的直线为目标对象的视线。
106.本说明书实施例中，第四目标点在目标对象的视线上，目标平面的法线平行或重合于目标平面的视线，根据第四目标点的三维坐标和目标平面的位置，可以确定目标对象的视线。
107.上述实施例，通过从人脸特征点中确定第一目标点、第二目标点和第三目标点，确定该第一目标点、第二目标点和第三目标点各自的坐标，根据该第一目标点、第二目标点和第三目标点各自的坐标，确定目标平面，根据第一目标点和第二目标点的三维坐标，确定第四目标点的三维坐标，再确定目标平面的法线，确定过第四目标点的三维坐标且平行于法线的直线为目标对象的视线，可以利用简单的数学原理，确定目标对象的视线，可以在保证得到的视线结果准确性的同时，大大提高目标对象视线分析的处理效率。
108.图5是根据一示例性实施例示出的一种利用预设视线识别模型对脸部图像进行视线分析处理，确定目标对象视线的流程示意图。在一种可能的实现方式中，s109步骤中利用预设视线识别模型对脸部图像进行视线分析处理，确定目标对象的视线可以包括：
109.s1091：利用预设视线识别模型中的卷积层对脸部图像进行特征提取处理，得到脸部图像对应的特征信息。
110.本说明书实施例中，预设视线识别模型中的卷积层的数量为至少一个，
111.s1093：利用预设视线识别模型中的全连接层对脸部图像对应的特征信息进行视
线回归处理，确定目标对象的视线。
112.本说明书实施例中，预设视线识别模型可以是resnet网络模型或者lenet
‑
5网络模型，该模型可以包括至少一个卷积层、至少一个池化层和至少一个全连接层。可以利用卷积层中的卷积核对脸部图像进行特征提取，利用全连接层对脸部图像对应的特征信息进行视线回归处理。
113.实际应用中，利用预设视线识别模型进行目标对象的视线分析处理之前，需要先对训练数据和训练数据对应的视线标签进行训练，得到预设视线识别模型。在获取训练数据时，可以先对大量的图像数据进行分类，第一类型图像数据为头部姿态中的偏航角和俯仰角满足预设条件的图像数据，第二类型图像数据为头部姿态中的偏航角和俯仰角任意一个不满足预设条件的图像数据，将第二类型图像数据作为训练数据，并获取第二类型图像数据对应的视线标签，对第二类型图像数据和对应的视线标签进行训练，得到预设视线识别模型，可以大大提高预设视线识别模型的训练效率。
114.图6是根据一示例性实施例示出的一种视线检测装置结构图。参照图6，该装置可以包括：
115.脸部图像获取模块401，用于获取目标对象的脸部图像。
116.头部姿态确定模块403，用于根据目标对象的脸部图像确定目标对象的头部姿态。
117.判断模块405，用于判断头部姿态中的偏航角和俯仰角是否满足预设条件。
118.第一视线分析模块407，用于在头部姿态中的偏航角和俯仰角满足预设条件时，对脸部图像进行三维视线分析处理，确定目标对象的视线。
119.第二视线分析模块409，用于在头部姿态中的偏航角和俯仰角中任意一个不满足预设条件时，利用预设视线识别模型对脸部图像进行视线分析处理，确定目标对象的视线。
120.通过获取目标对象的脸部图像，根据目标对象的脸部图像确定目标对象的头部姿态，若头部姿态中的偏航角和俯仰角满足预设条件，对脸部图像进行三维视线分析处理，确定目标对象的视线，可以在头部姿态的偏航角和俯仰角满足预设条件时，利用数据处理量较小的三维视线分析处理方法，确定目标对象的视线，在提高数据处理效率的同时，可以保证目标对象视线结果的准确性；在头部姿态中的偏航角和俯仰角中任意一个不满足预设条件时，利用预设视线识别模型对脸部图像进行视线分析处理，可以在偏航角和俯仰角中任意一个不满足预设条件时，对目标对象的视线进行准确分析，预设视线识别模型仅需针对偏航角和俯仰角中任意一个不满足预设条件的脸部图像进行视线分析处理，在保证准确性的同时，可以大大提高数据处理效率。
121.在一些实施例中，该装置还可以包括：
122.图像数据采集模块，用于利用目标相机采集目标对象的图像数据。
123.相应的，脸部图像获取模块401，可以用于从目标对象的图像数据中提取目标对象的脸部图像。
124.该实施例中，利用图像数据采集模块和脸部图像获取模块，可以实现对目标对象脸部图像的确定。
125.在一些实施例中，该装置还可以包括：
126.参数标定模块，用于标定目标相机的内参和畸变系数。
127.头部姿态确定模块403，可以包括：
128.特征点提取单元，用于从目标对象的脸部图像中提取人脸特征点。
129.坐标确定单元，用于确定人脸特征点的二维坐标。
130.三维坐标确定单元，用于基于预设三维人脸模型确定人脸特征点的三维坐标。
131.头部姿态确定单元，用于根据内参、畸变系数、人脸特征点的二维坐标和人脸特征点的三维坐标，确定目标对象的头部姿态。
132.在一些实施例中，第一视线分析模块405可以包括：
133.目标点确定单元，用于从人脸特征点中确定第一目标点、第二目标点和第三目标点，其中，第一目标点和第二目标点是目标对象双眼的对称点，第三目标点为目标对象左眼眼睑或右眼眼睑的中心点。
134.坐标确定单元，用于确定第一目标点的三维坐标、第二目标点的三维坐标和第三目标点的三维坐标。
135.目标平面确定单元，用于根据第一目标点的三维坐标、第二目标点的三维坐标和第三目标点的三维坐标，确定目标平面。
136.第四目标点确定单元，用于根据第一目标点的三维坐标和第二目标点的三维坐标，确定第四目标点，第四目标点位于第一目标点和第二目标点的连线上，且位于目标对象脸部的对称轴上。
137.发现确定单元，用于确定目标平面的法线。
138.视线确定单元，用于确定过第四目标点且平行于法线的直线为目标对象的视线。
139.在一些实施例中，第二视线分析模块407可以包括：
140.第一处理单元，用于利用预设视线识别模型中的卷积层对脸部图像进行特征提取处理，得到脸部图像对应的特征信息。
141.第二处理单元，用于利用预设视线识别模型中的全连接层对脸部图像对应的特征信息进行视线回归处理，确定目标对象的视线。
142.本技术另一方面还提供一种电子设备的实施例，图7示出了一种用于视线检测的电子设备的结构图，该电子设备可以是服务器，该电子设备可以包括系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视线检测的方法。
143.本技术另一方面还提供一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的视线检测方法。计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
144.本技术另一方面还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的视线检测方法。
145.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
146.类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如本发明的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
147.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
148.此外，本领域的技术人员能够理解，尽管在此所述的实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
149.本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(如计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，也可以在载体信号上提供，或者以任何其他形式提供。
150.应该注意的是，上述实施例是对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或者步骤等。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序，可将这些单词解释为名称。