眼动追踪方法、电子设备及计算机可读存储介质与流程

本申请涉及眼动追踪，尤其是一种眼动追踪方法、电子设备及计算机可读存储介质。

背景技术：

1、眼动追踪技术通过分析眼球图像来估计用户的注视方向，是虚拟现实交互、疲劳驾驶检测、认知心理学研究等领域的关键技术。随着摄像头帧率的不断提升，高动态场景下的精细眼动分析对算法的实时性提出了更高要求。然而，现有眼动算法普遍采用串行流水线架构，对每一帧图像依次执行瞳孔检测、眼球模型参数估计和注视点估计。当摄像头帧率达到1000hz时，单帧处理时间窗口被压缩至1ms，现有串行架构难以在该时间约束下完成计算，导致实际可用帧率受限于算法处理速度，无法满足超高帧率实时追踪的端到端延迟要求。

技术实现思路

1、本申请的目的是提供一种眼动追踪方法、电子设备及计算机可读存储介质，可以提高眼动追踪的实时性，降低端到端延迟。

2、本申请实施例提供一种眼动追踪方法，包括：

3、获取通过连续采集得到的多帧眼球图像；

4、对所述眼球图像进行帧内并行处理，得到相应的注视点坐标参数；所述帧内并行处理中的各个处理步骤的时间窗口至少部分重叠；

5、根据所述注视点坐标参数，生成连续的眼动轨迹数据流。

6、在一些实施例中，所述对所述眼球图像进行帧内并行处理，包括：

7、对当前帧的眼球图像进行瞳孔检测，并行根据上一帧的眼球图像的模型参数，对所述当前帧的眼球图像进行模型参数预测，得到近似模型参数；

8、在瞳孔检测过程中，根据所述近似模型参数，对所述当前帧的眼球图像进行模型参数初估和注视点初估，得到初估模型参数和初估注视点坐标参数；

9、在瞳孔检测完成时，根据所述初估模型参数与瞳孔检测得到所述当前帧的眼球图像的瞳孔轮廓参数之间的偏离程度，确定所述当前帧的眼球图像的模型参数，并行根据所述当前帧的眼球图像的瞳孔轮廓参数，对所述当前帧的眼球图像进行注视点重估，得到重估注视点坐标参数；

10、根据所述初估注视点坐标参数与所述重估注视点坐标参数之间的偏离程度，确定所述当前帧的眼球图像的注视点坐标参数。

11、在一些实施例中，所述眼球图像的模型参数被缓存于其一双缓存区，所述眼球图像的瞳孔轮廓参数被缓存于另一双缓存区，所述双缓存区包含第一缓存子区和第二缓存子区，所述第一缓存子区和所述第二缓存子区交替作为写入目标和读取来源。

12、在一些实施例中，所述根据所述初估模型参数与瞳孔检测得到所述当前帧的眼球图像的瞳孔轮廓参数之间的偏离程度，确定所述当前帧的眼球图像的模型参数，包括：

13、将所述初估模型参数映射为对应的初估瞳孔轮廓参数；

14、在所述初估瞳孔轮廓参数与所述当前帧的眼球图像的瞳孔轮廓参数之间的偏离值超过预设的轮廓参数偏离阈值时，根据所述当前帧的眼球图像的瞳孔轮廓参数，对所述初估模型参数进行微调，得到所述当前帧的眼球图像的模型参数，反之，以所述初估模型参数作为所述当前帧的眼球图像的模型参数。

15、在一些实施例中，所述根据所述初估注视点坐标参数与所述重估注视点坐标参数之间的偏离程度，确定所述当前帧的眼球图像的注视点坐标参数，包括：

16、在所述初估注视点坐标参数与所述重估注视点坐标参数之间的偏离值超过预设的坐标参数偏离阈值时，以所述重估注视点坐标参数作为所述当前帧的眼球图像的注视点坐标参数，反之，以所述初估注视点坐标参数作为所述当前帧的眼球图像的注视点坐标参数。

17、在一些实施例中，所述瞳孔检测处理包括粗定位处理和精细分割处理，在预设的时间窗口内，在所述瞳孔检测的平均时长大于所述模型参数预测和所述模型参数初估两者的平均综合时长时，并行执行所述粗定位处理和所述精细分割处理。

18、在一些实施例中，在所述对所述眼球图像进行帧内并行处理之前，还包括：

19、根据所述眼球图像的采集顺序，将所述眼球图像存入缓存队列；

20、从所述缓存队列中取出所述眼球图像，并分发至相应的并行处理单元，以在所述并行处理单元中对所述眼球图像进行帧内并行处理。

21、在一些实施例中，所述眼动追踪方法，还包括：

22、检测处理器的运行负载；

23、在所述运行负载超过预设的负载阈值时，降低所述并行处理单元的运行数量，和/或降低分发所述眼球图像的频率。

24、本申请实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的眼动追踪方法。

25、本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的眼动追踪方法。

26、本申请的有益效果：在提取眼球图像的注视点坐标参数时，通过帧内并行处理，在部分处理步骤之间存在数据依赖的场景下，确保提取注视点坐标参数过程中的各个处理步骤的时间窗口至少部分重叠，使得单帧眼球图像的整体处理时间大幅缩短，能够满足高速摄像头所要求的极短时间窗口，提高眼动追踪的实时性，降低端到端延迟。

1.一种眼动追踪方法，其特征在于，包括：

2.根据权利要求1所述的眼动追踪方法，其特征在于，所述眼球图像的模型参数被缓存于其一双缓存区，所述眼球图像的瞳孔轮廓参数被缓存于另一双缓存区，所述双缓存区包含第一缓存子区和第二缓存子区，所述第一缓存子区和所述第二缓存子区交替作为写入目标和读取来源。

3.根据权利要求1所述的眼动追踪方法，其特征在于，所述根据所述初估模型参数与瞳孔检测得到所述当前帧的眼球图像的瞳孔轮廓参数之间的偏离程度，确定所述当前帧的眼球图像的模型参数，包括：

4.根据权利要求1所述的眼动追踪方法，其特征在于，所述根据所述初估注视点坐标参数与所述重估注视点坐标参数之间的偏离程度，确定所述当前帧的眼球图像的注视点坐标参数，包括：

5.根据权利要求1所述的眼动追踪方法，其特征在于，所述瞳孔检测处理包括粗定位处理和精细分割处理，在预设的时间窗口内，在所述瞳孔检测的平均时长大于所述模型参数预测和所述模型参数初估两者的平均综合时长时，并行执行所述粗定位处理和所述精细分割处理。

6.根据权利要求1所述的眼动追踪方法，其特征在于，在所述对所述眼球图像进行帧内并行处理之前，还包括：

7.根据权利要求6所述的眼动追踪方法，其特征在于，还包括：

8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的眼动追踪方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的眼动追踪方法。