视线的检测方法、装置、车辆、存储介质及程序产品与流程

本公开涉及智能座舱，尤其涉及一种视线的检测方法、装置、车辆、存储介质及程序产品。

背景技术：

1、驾驶员的视线偏离前方道路是导致交通事故的主要原因之一，为了确保驾驶员的驾驶安全，需要对驾驶员的视线进行检测。

技术实现思路

1、本公开提供一种视线的检测方法、装置、车辆、存储介质及程序产品，以解决相关技术中的问题。

2、本公开的第一方面实施例提出一种视线的检测方法，该方法包括：

3、获取目标对象的面部图像及目标对象的至少一个眼部图像；

4、对面部图像及至少一个眼部图像进行视觉特征提取，得到面部图像的面部视觉特征、至少一个眼部图像的眼部视觉特征；面部视觉特征及眼部视觉特征由同一个视觉特征提取网络提取得到；

5、根据面部视觉特征及眼部视觉特征，确定目标对象的目标视线参数。

6、在一些实施例中，至少一个眼部图像包括左眼图像及右眼图像，获取目标对象的面部图像及目标对象的至少一个眼部图像包括：

7、利用图像采集装置，对目标对象进行图像采集，得到目标图像；

8、构建虚拟相机坐标系；虚拟相机坐标系的水平轴方向与世界坐标系的水平轴方向一致；

9、根据目标图像及虚拟相机坐标系，确定面部图像、左眼图像及右眼图像。

10、在一些实施例中，根据目标图像及虚拟相机坐标系，确定面部图像、左眼图像及右眼图像包括：

11、利用虚拟相机坐标系，对目标图像进行空间变换，得到面部图像；面部图像包含目标对象的面部旋转信息；

12、对面部图像进行左眼分割处理及右眼分割处理，得到左眼图像及右眼图像。

13、在一些实施例中，至少一个眼部图像包括左眼图像及右眼图像，眼部视觉特征包括左眼视觉特征及右眼视觉特征，视觉特征提取网络包括多层视觉特征提取层，对面部图像及至少一个眼部图像进行视觉特征提取，得到面部图像的面部视觉特征、至少一个眼部图像的眼部视觉特征包括：

14、按照预设顺序，依次将面部图像、左眼图像及右眼图像输入至多层视觉特征提取层中进行逐层视觉特征提取，得到面部视觉特征、左眼视觉特征及右眼视觉特征。

15、在一些实施例中，眼部视觉特征包括左眼视觉特征及右眼视觉特征，根据面部视觉特征及眼部视觉特征，确定目标对象的目标视线参数包括：

16、按照通道维度，对面部视觉特征、左眼视觉特征及右眼视觉特征进行特征融合，得到目标融合特征；

17、利用视线检测参数，对目标融合特征进行视线检测，得到目标视线参数；视线检测参数为根据训练数据学习融合特征与视线参数之间的映射关系得到的。

18、在一些实施例中，按照通道维度，对面部视觉特征、左眼视觉特征及右眼视觉特征进行特征融合，得到目标融合特征包括：

19、按照通道维度，对面部视觉特征、左眼视觉特征及右眼视觉特征进行特征拼接，得到拼接特征；

20、根据预设维度条件，对拼接特征进行降维处理，得到第一融合特征；

21、以面部视觉特征为查询向量，以左眼视觉特征及右眼视觉特征为键值向量，对查询向量与键值向量进行多头注意力分析，得到第二融合特征；

22、对第一融合特征及第二融合特征进行加和处理，得到目标融合特征。

23、在一些实施例中，至少一个眼部图像包括左眼图像及右眼图像，眼部视觉特征包括左眼视觉特征及右眼视觉特征，视线检测模型包括视觉特征提取网络，视线检测模型还包括特征融合网络及视线预测网络；

24、视觉特征提取网络与特征融合网络连接，视线预测网络与特征融合网络连接；

25、特征融合网络用于对面部视觉特征、左眼视觉特征及右眼视觉特征进行特征融合，得到目标融合特征；

26、视线预测网络用于对目标融合特征进行视线检测，得到目标视线参数。

27、在一些实施例中，视线检测模型的训练方法包括：

28、获取面部图像样本、左眼图像样本及右眼图像样本；

29、利用面部图像样本、左眼图像样本及右眼图像样本，对初始视线检测模型进行训练，得到视线检测模型。

30、在一些实施例中，利用面部图像样本、左眼图像样本及右眼图像样本，对初始视线检测模型进行训练，得到视线检测模型包括：

31、将面部图像样本、左眼图像样本及右眼图像样本输入初始视线检测模型中进行视线检测，得到预测视线参数；

32、根据预测视线参数与目标标签之间差异，确定初始视线检测模型的目标损失；

33、以目标损失满足预设训练条件为目标，调整初始视线检测模型中的模型参数，得到视线检测模型。

34、在一些实施例中，预测视线参数包括初始视线预测网络中的第一视线预测层输出的第一预测视线参数及初始视线预测网络中的多个第二视线预测层输出的第二预测视线参数，初始视线检测模型包括初始视线预测网络，第一视线预测层为最后一层视线预测层，多个第二视线预测层在第一视线预测之前的视线预测层，根据预测视线参数与目标标签之间差异，确定初始视线检测模型的目标损失包括：

35、根据第一预测视线参数、第二预测视线参数分别与目标标签之间差异，确定第一预测视线参数与目标标签之间的第一损失及第二预测视线参数与目标标签之间的第二损失；

36、对第一损失与第二损失进行加权求和，得到目标损失。

37、在一些实施例中，目标视线参数包括水平视线分量参数及垂直视线分量参数。

38、本公开的第二方面实施例提出了一种视线的检测装置，装置包括：

39、获取单元，用于获取目标对象的面部图像及目标对象的至少一个眼部图像；

40、提取单元，用于对面部图像及至少一个眼部图像进行视觉特征提取，得到面部图像的面部视觉特征、至少一个眼部图像的眼部视觉特征；面部视觉特征及眼部视觉特征由同一个视觉特征提取网络提取得到；

41、确定单元，用于根据面部视觉特征及眼部视觉特征，确定目标对象的目标视线参数。

42、在一些实施例中，至少一个眼部图像包括左眼图像及右眼图像，获取单元还用于：

43、利用图像采集装置，对目标对象进行图像采集，得到目标图像；

44、构建虚拟相机坐标系；虚拟相机坐标系的水平轴方向与世界坐标系的水平轴方向一致；

45、根据目标图像及虚拟相机坐标系，确定面部图像、左眼图像及右眼图像。

46、在一些实施例中，获取单元还用于：

47、利用虚拟相机坐标系，对目标图像进行空间变换，得到面部图像；面部图像包含目标对象的面部旋转信息；

48、对面部图像进行左眼分割处理及右眼分割处理，得到左眼图像及右眼图像。

49、在一些实施例中，至少一个眼部图像包括左眼图像及右眼图像，眼部视觉特征包括左眼视觉特征及右眼视觉特征，视觉特征提取网络包括多层视觉特征提取层，提取单元还用于：

50、按照预设顺序，依次将面部图像、左眼图像及右眼图像输入至多层视觉特征提取层中进行逐层视觉特征提取，得到面部视觉特征、左眼视觉特征及右眼视觉特征。

51、在一些实施例中，眼部视觉特征包括左眼视觉特征及右眼视觉特征，确定单元还用于：

52、按照通道维度，对面部视觉特征、左眼视觉特征及右眼视觉特征进行特征融合，得到目标融合特征；

53、利用视线检测参数，对目标融合特征进行视线检测，得到目标视线参数；视线检测参数为根据训练数据学习融合特征与视线参数之间的映射关系得到的。

54、在一些实施例中，确定单元还用于：

55、按照通道维度，对面部视觉特征、左眼视觉特征及右眼视觉特征进行特征拼接，得到拼接特征；

56、根据预设维度条件，对拼接特征进行降维处理，得到第一融合特征；

57、以面部视觉特征为查询向量，以左眼视觉特征及右眼视觉特征为键值向量，对查询向量与键值向量进行多头注意力分析，得到第二融合特征；

58、对第一融合特征及第二融合特征进行加和处理，得到目标融合特征。

59、在一些实施例中，至少一个眼部图像包括左眼图像及右眼图像，眼部视觉特征包括左眼视觉特征及右眼视觉特征，视线检测模型包括视觉特征提取网络，视线检测模型还包括特征融合网络及视线预测网络；

60、视觉特征提取网络与特征融合网络连接，视线预测网络与特征融合网络连接；

61、特征融合网络用于对面部视觉特征、左眼视觉特征及右眼视觉特征进行特征融合，得到目标融合特征；

62、视线预测网络用于对目标融合特征进行视线检测，得到目标视线参数。

63、在一些实施例中，装置还包括：

64、获取单元还用于，获取面部图像样本、左眼图像样本及右眼图像样本；

65、训练单元，用于利用面部图像样本、左眼图像样本及右眼图像样本，对初始视线检测模型进行训练，得到视线检测模型。

66、在一些实施例中，训练单元还用于：

67、将面部图像样本、左眼图像样本及右眼图像样本输入初始视线检测模型中进行视线检测，得到预测视线参数；

68、根据预测视线参数与目标标签之间差异，确定初始视线检测模型的目标损失；

69、以目标损失满足预设训练条件为目标，调整初始视线检测模型中的模型参数，得到视线检测模型。

70、在一些实施例中，预测视线参数包括初始视线预测网络中的第一视线预测层输出的第一预测视线参数及初始视线预测网络中的多个第二视线预测层输出的第二预测视线参数，初始视线检测模型包括初始视线预测网络，第一视线预测层为最后一层视线预测层，多个第二视线预测层在第一视线预测之前的视线预测层，训练单元还用于：

71、根据第一预测视线参数、第二预测视线参数分别与目标标签之间差异，确定第一预测视线参数与目标标签之间的第一损失及第二预测视线参数与目标标签之间的第二损失；

72、对第一损失与第二损失进行加权求和，得到目标损失。

73、在一些实施例中，目标视线参数包括水平视线分量参数及垂直视线分量参数。

74、本公开的第三方面实施例提出了一种车辆，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：实现本公开第一方面实施例中描述的方法。

75、本公开的第四方面实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例中描述的方法。

76、本公开的第五方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行本公开第一方面实施例中描述的方法。

77、本公开的第六方面实施例提出了一种程序产品，包括计算机指令，计算机指令用于使计算机执行本公开第一方面中任一项实施例描述的方法。

78、综上，根据本公开提出的视线的检测方法，该方法包括获取目标对象的面部图像及目标对象的至少一个眼部图像；对面部图像及至少一个眼部图像进行视觉特征提取，得到面部图像的面部视觉特征、至少一个眼部图像的眼部视觉特征；面部视觉特征及眼部视觉特征由同一个视觉特征提取网络提取得到；根据面部视觉特征及眼部视觉特征，确定目标对象的目标视线参数。采用同一个视觉特征提取网络对面部图像及至少一个眼部图像分别进行特征提取，相较于分别使用至少两个独立的视觉特征提取网络对面部图像及至少一个眼部图像分别进行特征提取的方式，可以降低视觉特征提取网络的模型参数量，提高视觉特征提取网络的适配性。

79、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。