一种瞳孔追踪方法及装置与流程

技术特征：
1.一种瞳孔追踪方法，其特征在于，包括以下步骤：输入图像后，s1、获取当前帧的图像，当前帧的图像包括彩色图像和深度图像；s2、判断上一帧的彩色图像中是否存在人脸，如果是，则根据最新的瞳孔预测位置确定当前帧的彩色图像的人脸区域，然后执行下一步；如果上一帧的彩色图像中没有人脸，或者没有上一帧的图像，则在当前帧的彩色图像中检测人脸区域，如果检测到人脸区域则执行下一步；s3、获得当前帧的人脸区域后，在人脸区域内进行瞳孔定位，获取当前帧的瞳孔位置，并将当前帧的瞳孔位置存入瞳孔位置数据集合中；s4、使用瞳孔位置预测方程进行瞳孔位置的预测，并输出瞳孔预测结果。2.根据权利要求1所述的瞳孔追踪方法，其特征在于：所述步骤s2中，如果在当前帧的彩色图像中没有检测到人脸区域，则结束对当前帧的处理，并获取下一帧的图像，然后返回步骤s1，对下一帧进行处理。3.根据权利要求1所述的瞳孔追踪方法，其特征在于：所述步骤s3中，通过瞳孔定位获得彩色图像中的左眼坐标和右眼坐标后，将左眼坐标(x
l
,y
l
,z
l
)和右眼坐标(x
r
,y
r
,z
r
)转换为作为当前帧的瞳孔位置p，并保存至瞳孔位置数据集合中，其中，x
m
、y
m
、z
m
为双眼中点坐标，θ、r为x
r-x
m
、y
r-y
m
、z
r-z
m
的极坐标表示。4.根据权利要求1所述的瞳孔追踪方法，其特征在于：所述步骤s4中，瞳孔位置预测的具体步骤如下：s401、将当前时间代入瞳孔位置预测方程中，计算出瞳孔预测位置；s402、将得到的瞳孔预测位置和当前帧的瞳孔位置进行比较，如果瞳孔预测位置中左眼和右眼之间的距离和当前帧的瞳孔位置中右眼和右眼之间的距离，这两者的平均值小于或等于设定阈值，则用当前帧的瞳孔位置覆盖瞳孔位置数据集合中最早一帧的瞳孔位置；如果瞳孔预测位置中左眼和右眼之间的距离和当前帧的瞳孔位置中右眼和右眼之间的距离，这两者的平均值大于设定阈值，则认为当前帧和上一帧分别为不同使用者的脸的图像，此时对瞳孔位置数据集合进行初始化；s403、基于瞳孔位置数据集合，对瞳孔位置预测方程进行更新，然后使用更新后的瞳孔位置预测方程进行瞳孔位置预测，将当前时间代入更新后的瞳孔位置预测方程中进行计算，即得到瞳孔预测位置。5.根据权利要求1所述的瞳孔追踪方法，其特征在于：所述瞳孔位置预测方程为：q＝t2×
a t
×
b c，式中的q表示和时间t相对应的瞳孔预测位置，a、b、c为拟合系数，所述步骤s403中，瞳孔位置预测方程更新的步骤如下：基于瞳孔位置数据集合，求解方程组{(t
i2
×
a t
i
×
b c-q
i
)
×
w
|ti-in|
)＝0|1≤i≤n}，确定拟合系数a、b、c，式中的t
i
为第t
i
帧图像的成像时间，q
i
为瞳孔位置数据集合s中和成像时间t
i
相对应的瞳孔位置，w为时间加权系数；当n＝1时，令a＝b＝0，求解方程组{(t
i2
×
a t
i
×
b c-q
i
)
×
w
|ti-in|
)＝0|，解出c；当n＝2时，令a＝0，求解方程组{(t
i2
×
a t
i
×
b c-q
i
)
×
w
|ti-in|
)＝0|，解出b、c；当n＞2时，用最小二乘法求解方程组{(t
i2
×
a t
i
×
b c-q
i
)
×
w
|ti-in|
)＝0|，解出a、b、c；瞳孔位置数据集合每更新一次，即对瞳孔位置预测方程更新一次，然后使用更新后的
瞳孔位置预测方程进行瞳孔位置预测。6.根据权利要求1所述的瞳孔追踪方法，其特征在于：步骤s2中，根据瞳孔预测位置确定当前帧的人脸区域的方法如下：a、用最新的瞳孔位置预测方程计算当前帧的瞳孔预测位置；b、将上一帧的瞳孔位置和当前帧的瞳孔预测位置投影到当前帧的彩色图像上，获得上一帧的2d瞳孔位置到当前帧的2d瞳孔位置的仿射变换关系；c、根据获得的仿射变换关系，将上一帧的人脸区域进行仿射变换，得到当前帧的人脸区域。7.一种瞳孔追踪装置，其特征在于，包括：图像获取单元，用于获取当前帧的图像；人脸区域获取单元，用于获取当前帧的人脸区域；瞳孔定位单元，用于在人脸区域中进行瞳孔定位，获取当前帧的瞳孔位置；瞳孔位置预测单元，用于使用瞳孔位置预测方程对瞳孔位置进行预测。8.根据权利要求7所述的瞳孔追踪装置，其特征在于：所述人脸区域获取单元获取当前帧的人脸区域的过程为：判断上一帧的彩色图像中是否存在人脸，如果是，则根据最新的瞳孔预测位置确定当前帧的彩色图像的人脸区域；如果上一帧的彩色图像中没有人脸，或者没有上一帧的图像，则在当前帧的彩色图像中检测人脸区域。9.根据权利要求7所述的瞳孔追踪装置，其特征在于：所述瞳孔定位单元进行瞳孔定位的过程为：在人脸区域内进行瞳孔定位，获得左眼坐标和右眼坐标后，将左眼坐标(x
l
,y
l
,z
l
)和右眼坐标(x
r
,y
r
,z
r
)转换为作为当前帧的瞳孔位置p，并保存至瞳孔位置数据集合中。10.根据权利要求7所述的瞳孔追踪装置，其特征在于：所述瞳孔位置预测单元预测瞳孔位置的过程为：将当前时间代入瞳孔位置预测方程中，计算出瞳孔预测位置；将得到的瞳孔预测位置和当前帧的瞳孔位置进行比较，如果瞳孔预测位置中左眼和右眼之间的距离和当前帧的瞳孔位置中右眼和右眼之间的距离，这两者的平均值小于或等于设定阈值，则用当前帧的瞳孔位置覆盖瞳孔位置数据集合中最早一帧的瞳孔位置；如果瞳孔预测位置中左眼和右眼之间的距离和当前帧的瞳孔位置中右眼和右眼之间的距离，这两者的平均值大于设定阈值，则认为当前帧和上一帧分别为不同使用者的脸的图像，此时对瞳孔位置数据集合进行初始化；基于瞳孔位置数据集合，对瞳孔位置预测方程进行更新，将当前时间代入更新后的瞳孔位置预测方程中进行计算，得到瞳孔预测位置；所述瞳孔位置预测方程为：q＝t2×
a t
×
b c，式中的q表示和时间t相对应的瞳孔预测位置，a、b、c为拟合系数，瞳孔位置预测方程更新的步骤如下：基于瞳孔位置数据集合，求解方程组{(t
i2
×
a t
i
×
b c-q
i
)
×
w
|ti-in|
)＝0|1≤i≤n}，确定拟合系数a、b、c，式中的t
i
为第t
i
帧图像的成像时间，q
i
为瞳孔位置数据集合s中和成像时间t
i
相对应的瞳孔位置，w为时间加权系数；当n＝1时，令a＝b＝0，求解方程组{(t
i2
×
a t
i
×
b c-q
i
)
×
w
|ti-in|
)＝0|，解出c；当n＝2时，令a＝0，求解方程组{(t
i2
×
a t
i
×
b c-q
i
)
×
w
|ti-in|
)＝0|，解出b、c；
当n＞2时，用最小二乘法求解方程组{(t
i2
×
a t
i
×
b c-q
i
)
×
w
|ti-in|
)＝0|，解出a、b、c。

技术总结
本发明公开了一种瞳孔追踪方法及装置，方法包括以下步骤：输入图像后，获取当前帧的图像，当前帧的图像包括彩色图像和深度图像；判断上一帧的彩色图像中是否存在人脸，如果是，则根据上一帧的瞳孔预测位置确定当前帧的人脸区域，然后执行下一步；如果上一帧的彩色图像中没有人脸，或者没有上一帧的图像，则在当前帧的彩色图像中检测人脸区域，如果检测到人脸区域则执行下一步；获得当前帧的人脸区域后，在人脸区域内进行瞳孔定位，获取当前帧的瞳孔位置，并将当前帧的瞳孔位置存入瞳孔位置数据集合中；使用瞳孔位置预测方程进行瞳孔位置的预测，并输出瞳孔预测结果。本发明实现了瞳孔定位追踪的高精度、高帧率及低延时。高帧率及低延时。高帧率及低延时。


技术研发人员：黄晋 柯志麟 姚王泮
受保护的技术使用者：广州图语信息科技有限公司
技术研发日：2022.11.07
技术公布日：2022/12/30