视线估计方法、装置、存储介质和程序产品与流程

本公开涉及计算机，尤其涉及一种视线估计方法、装置、存储介质和程序产品。

背景技术：

1、视线估计技术在人机交互、辅助驾驶等领域应用广泛，其精度高度依赖图像采集设备与显示屏幕之间位姿关系的准确标定。

2、现有标定方案多需引入标定板或多目视觉模组等高成本硬件，配合繁琐的离线校准流程。设备一旦位移，标定参数即失效，实时复校困难。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供一种视线估计方法、装置、存储介质和程序产品。

2、根据本公开实施例的第一方面，提供一种视线估计方法，包括：

3、获取目标对象的面部图像；

4、将所述目标对象的面部图像输入至预先训练好的视线估计模型中，得到所述目标对象的目标视线方向；

5、其中，所述视线估计模型是基于训练样本集训练得到的，所述训练样本集包括参考对象的面部图像以及对应的视线方向真值标签；所述视线方向真值标签是利用显示屏幕与图像采集设备之间的位姿参数以及所述参考对象的面部图像，对所述参考对象在所述显示屏幕上注视的目标点进行空间方位标定得到的；

6、所述位姿参数通过以下方式预先标定：

7、利用平面反射元件对所述显示屏幕的显示内容进行光路折转，并通过所述图像采集设备采集所述显示内容的屏幕虚像；根据所述屏幕虚像与物理屏幕坐标系之间的映射关系，得到所述位姿参数。

8、上述技术方案采用的平面反射元件成本低廉、易于获取，通过平面反射元件对显示屏幕的显示内容进行光路折转，利用图像采集设备采集屏幕虚像并将其映射至三维的物理屏幕坐标系，能够简单、快速且精准地标定图像采集设备与屏幕间位姿参数，以快速构建出可靠的视线方向真值标签，进而提高视线估计模型的可靠性，实现对视线方向的精准估计。

9、在一些可能的实施方式中，所述图像采集设备设置于所述显示屏幕的上方，所述平面反射元件倾斜设置于所述显示屏幕显示面一侧，使得所述图像采集设备能够捕获经由所述平面反射元件反射的所述显示屏幕的虚像。

10、在上述技术方案中，图像采集设备能够捕获完整的虚像，进而实现对图像采集设备与屏幕间位姿参数的精准标定。

11、在一些可能的实施方式中，所述根据所述屏幕虚像与物理屏幕坐标系之间的映射关系，得到所述位姿参数，包括：

12、获取所述屏幕虚像中的编码图案在物理屏幕坐标系中对应的第一坐标；

13、对所述屏幕虚像中的编码图案进行检测与解码，获取所述编码图案在图像坐标系下的第二坐标；

14、根据所述第一坐标和所述第二坐标，确定所述位姿参数。

15、在上述技术方案中，可以基于屏幕虚像与物理屏幕坐标系之间的映射关系，快速且精准地得到图像采集设备与屏幕间位姿参数。

16、在一些可能的实施方式中，所述根据所述第一坐标和所述第二坐标，确定所述位姿参数，包括：

17、基于所述图像采集设备的成像几何模型，建立所述编码图案在图像坐标系下的第二坐标与在物理屏幕坐标系下的第一坐标之间的映射关系；

18、根据所述映射关系，确定所述图像采集设备相对于所述显示屏幕的旋转矩阵和平移向量；

19、根据所述旋转矩阵和所述平移向量，确定所述位姿参数。

20、通过上述技术方案，可实现位姿参数的高效精准标定

21、在一些可能的实施方式中，所述视线方向真值标签通过以下方式得到：

22、在所述参考对象注视所述显示屏幕上的目标点时，采集所述参考对象的面部图像，并获取所述目标点在物理屏幕坐标系下的屏幕坐标；

23、根据所述位姿参数，将所述屏幕坐标转换至所述图像采集设备的相机坐标系下，得到所述目标点在相机坐标系下的三维空间位置；

24、确定所述参考对象的人脸中心点在所述相机坐标系下的三维空间位置；

25、根据所述目标点的三维空间位置与所述人脸中心点的三维空间位置，确定从所述人脸中心点指向所述目标点的向量；

26、根据所述向量，确定所述视线方向真值标签。

27、通过上述技术方案，可为每个目标点构建相应的面部图像与视线方向真值标签，形成训练样本集中的一条或多条训练样本。

28、在一些可能的实施方式中，所述视线估计模型包括：

29、面部编码器，用于对所述面部图像提取面部多尺度特征；

30、左眼编码器，用于对所述面部图像中的左眼区域图像提取左眼多尺度特征；

31、右眼编码器，用于对所述面部图像中的右眼区域图像提取右眼多尺度特征；

32、跨模态融合模块，用于根据所述面部多尺度特征、所述左眼多尺度特征和所述右眼多尺度特征，得到融合特征；

33、回归模块，用于根据所述融合特征，回归得到所述目标视线方向。

34、在上述技术方案中，利用上述的视线估计模型，通过面部、左眼和右眼三路编码器分别提取多尺度特征，可充分捕捉面部全局语义与眼部局部细节，提升视线方向估计的精度与鲁棒性。

35、在一些可能的实施方式中，所述跨模态融合模块包括transformer编码器。

36、在上述技术方案中，可有效整合面部整体语义信息与眼部局部细节特征，提高视线方向判断的准确性与泛化性。

37、在一些可能的实施方式中，所述面部编码器、所述左眼编码器和所述右眼编码器为基于自监督学习预训练的视觉transformer编码器。

38、在上述技术方案中，可以利用自监督预训练习得的通用视觉先验，在降低标注依赖的同时，确保特征提取的精度与稳定性。

39、根据本公开实施例的第二方面，提供一种视线估计装置，包括：

40、获取模块，用于获取目标对象的面部图像；

41、处理模块，用于将所述目标对象的面部图像输入至预先训练好的视线估计模型中，得到所述目标对象的目标视线方向；

42、其中，所述视线估计模型是基于训练样本集训练得到的，所述训练样本集包括参考对象的面部图像以及对应的视线方向真值标签；所述视线方向真值标签是利用显示屏幕与图像采集设备之间的位姿参数以及所述参考对象的面部图像，对所述参考对象在所述显示屏幕上注视的目标点进行空间方位标定得到的；

43、所述位姿参数通过以下方式预先标定：

44、利用平面反射元件对所述显示屏幕的显示内容进行光路折转，并通过所述图像采集设备采集所述显示内容的屏幕虚像；根据所述屏幕虚像与物理屏幕坐标系之间的映射关系，得到所述位姿参数。

45、根据本公开实施例的第三方面，提供一种视线估计装置，包括：

46、处理器；

47、用于存储处理器可执行指令的存储器；

48、其中，所述处理器被配置为执行所述存储器中的所述可执行指令，以实现本公开第一方面所提的视线估计方法的步骤。

49、根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本公开第一方面所提的视线估计方法的步骤。

50、根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开第一方面所提的视线估计方法的步骤。

51、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。