一种眼球追踪方法及系统与流程

1.本发明属于人脸特征识别领域，具体涉及一种眼球追踪方法及系统。


背景技术：

2.眼球追踪(eye-tracking)通过记录人在处理视觉信息时的眼球运动轨迹和瞳孔变化等特征，可以收集研究对象在视觉认知方面的重要信息。眼球运动的异常不仅与大脑功能区的病理结构改变有关，也反映了患者认知功能的衰退。目前认为特征性的眼动变化与其病理改变相符合，然而现有方法中，大多追踪技术需要佩戴眼动仪等专业设备才能实现，成本高、操作不便，并且只能识别眼睛位置，反应速度慢。
3.因此亟待需要一种眼球追踪方案，可以辅助自闭症的诊断和临床鉴别诊断。


技术实现要素：

4.为了实现上述需求，本发明提供了一种眼球追踪方法及系统，旨在解决当前缺乏科学适用的关于眼球跟踪的手段和技术方法，能够准确获取瞳孔的位置变化，为辅助自闭症的诊断和临床鉴别诊断提供技术支持。
5.本发明的目的是采用下述技术方案实现的：
6.一种眼球追踪方法，包括：
7.获取待处理的面部图像，对所述待处理的面部图像进行归一化处理；
8.定位归一化的面部图像中的眼睛位置，确定眼睛范围；
9.将眼睛范围内瞳孔和周边颜色的颜色值进行二值化，采用预先定义的rgb颜色模型，通过基于rgb颜色模型的图像提取方法与图像的二值化相结合的方法，找到去除瞳孔附近噪声图像的位置信息；
10.获得瞳孔相对于眼睛的位置坐标。
11.优选的，所述对待处理的面部图像进行归一化处理包括：
12.采集原始面部图像并缩放所述原始面部图像的尺寸至预设特定值，获得放缩图像；
13.计算所述放缩图像的像素的均值和方差值；
14.获取所述放缩图像的每一个像素值，将所述放缩图像的每一个像素值与其均值相减，再除以方差，获得归一化面部图像；
15.其中，所述采集的原始面部图像通过安装有摄像头的终端设备拍摄获得，并为采集的原始面部图像添加标签，按照对应标签进行存储。
16.优选的，所述定位面部图像中的眼睛位置，确定眼睛范围包括：
17.将经过归一化处理后的面部图像输入预先建立的深度学习模型，提取眼睛图像特征；
18.将眼睛图像特征生成的特征图维度放缩到计算获取的维度；
19.将放缩后的眼睛图像特征输入均方误差损失函数进行计算，定义检测框与标签值
的误差系数为p1，置信度损失为p2，关键点损失和的误差系数为p3；
20.其中，p1＞p2＞p3；
21.根据p1、p2和p3获取损失值；
22.根据损失值获取损失值梯度并进行反向传播，获得眼睛整体定位结果和单点准确位置信息；
23.基于眼睛整体定位结果和单点准确位置信息，确定眼睛范围。
24.进一步地，所述将经过归一化处理后的面部图像输入预先建立的深度学习模型，提取眼睛图像特征包括：
25.将经过归一化处理后的面部图像输入预先建立的深度学习模型，通过所述深度学习模型中的卷积神经网络对输入的归一化图像信息进行深度学习；
26.根据所述深度学习的结果提取所述眼睛图像特征；
27.其中，所述深度学习模型基于面部图像数据训练获得。
28.进一步地，所述将眼睛图像特征生成的特征图维度放缩到计算获取的维度包括：
29.将所述特征图的维度放缩到(5 c 2*k)维度；
30.其中，5为检测框的坐标x，y，w，h和置信度，c为物体类别，k为想要获取的关键点数量。
31.优选的，所述rgb颜色模型通过下式定义：
32.(r(x,y)-g(x,y)) (r(x,y)-b(x,y))》t
33.式中，r、g、b分别代表红色、绿色和蓝色，即三基色；r(x,y)为红色分量的值，g(x,y)为绿色分量的值，b(x,y)为蓝色分量的值，t为所选取的阈值。
34.优选的，所述通过基于rgb颜色模型的图像提取方法与图像的二值化相结合的方法，找到去除瞳孔附近噪声图像的位置信息包括：
35.对眼睛范围内的瞳孔和周边非瞳孔区域的颜色值并进行降噪和二值化处理，获得灰度增强后的二值化图像；
36.提取瞳孔在二值化图像中眼睛范围内的位置信息矩阵a；在矩阵a中，瞳孔区域色彩值为1，非瞳孔区域色彩值为0；
37.令：
[0038][0039]
式中，imr矩阵为rgb颜色模型的原始rgb图像中红基色层的各像素的值；img矩阵指rgb颜色模型的原始rgb图像中绿基色层的各像素的值；imb矩阵指rgb颜色模型的原始rgb图像中蓝基色层的各像素的值；
[0040]
通过上式分别去除了不同色层中除瞳孔区域外其他区域的噪声图像。
[0041]
一种眼球追踪系统，包括：
[0042]
处理模块，用于获取待处理的面部图像，对所述待处理的面部图像进行归一化处理；
[0043]
范围确定模块，用于定位归一化的面部图像中的眼睛位置，确定眼睛范围；
[0044]
追踪模块，用于将眼睛范围内瞳孔和周边颜色的颜色值进行二值化，采用预先定义的rgb颜色模型，通过基于rgb颜色模型的图像提取方法与图像的二值化相结合的方法，找到去除瞳孔附近噪声图像的位置信息；
[0045]
定位模块，用于获得瞳孔相对于眼睛的位置坐标。
[0046]
与最接近的现有技术比，本发明的有益效果为：
[0047]
本发明公开了一该追踪方法及系统，将眼睛范围内瞳孔和周边颜色的颜色值进行二值化，采用预先定义的rgb颜色模型，通过基于rgb颜色模型的图像提取方法与图像的二值化相结合的方法，找到去除瞳孔附近噪声图像的位置信息；从而获得瞳孔相对于眼睛的位置坐标。有效降低硬件设备的要求，解决了大多追踪技术需要佩戴眼动仪等专业设备才能实现，成本高、操作不便，并且只能识别眼睛位置，反应速度慢的缺陷。
[0048]
本发明能够实时、准确地记录人们在不同场景下观察信息时眼球的运动情况，可以辅助自闭症的诊断和临床鉴别诊断，在心理、教育等领域有广大应用前景。
附图说明
[0049]
图1示出了本发明实施例提供的一种眼球追踪的流程示意图。
具体实施方式
[0050]
下面结合附图对本发明的具体实施方式做进一步的详细说明。
[0051]
为了具体了解本发明提供的技术方案，将在下面的实施例中对本发明的技术方案做出详细的描述和说明。显然，本发明提供的实施例并不限定于本领域的技术人员所熟习的特殊细节。本发明的较佳实施例详细描述如下，除这些描述外，本发明还可以具有其他实施方式。
[0052]
实施例1：
[0053]
如图1所示，本发明提供的一种眼球追踪方法，包括以下步骤：
[0054]
s1获取待处理的面部图像，对所述待处理的面部图像进行归一化处理；
[0055]
s2定位归一化的面部图像中的眼睛位置，确定眼睛范围；
[0056]
s3将眼睛范围内瞳孔和周边颜色的颜色值进行二值化，采用预先定义的rgb颜色模型，通过基于rgb颜色模型的图像提取方法与图像的二值化相结合的方法，找到去除瞳孔附近噪声图像的位置信息；
[0057]
s4获得瞳孔相对于眼睛的位置坐标。
[0058]
步骤s1中，对待处理的面部图像进行归一化处理包括：
[0059]
采集原始面部图像并缩放所述原始面部图像的尺寸至预设特定值，获得放缩图像；
[0060]
计算所述放缩图像的像素的均值和方差值；
[0061]
获取所述放缩图像的每一个像素值，将所述放缩图像的每一个像素值与其均值相减，再除以方差，获得归一化面部图像；
[0062]
其中，所述采集的原始面部图像通过安装有摄像头的终端设备拍摄获得，并为采集的原始面部图像添加标签，按照对应标签进行存储。
[0063]
步骤s2中，定位面部图像中的眼睛位置，确定眼睛范围包括：
[0064]
首先，将经过归一化处理后的面部图像输入预先建立的深度学习模型，通过所述深度学习模型中的卷积神经网络对输入的归一化图像信息进行深度学习；根据所述深度学习的结果提取所述眼睛图像特征；
[0065]
其中，所述深度学习模型基于面部图像数据训练获得。
[0066]
深度学习模型的预先建立具体包括：
[0067]
先取出面部图像进行手动标点，作为模型的训练数据集，假设表示图像的上所有特征点形状，利用级联回归建立模型。
[0068][0069]
其中，表示迭代前预测出的特征形状(坐标组成的向量)，表示更新后预测的特征形状，t表示级联级数，i为面部图像，r
t
为当前形状与真实形状的残差，(i,s
(t)
)为当前级联层的残差形状或坐标。
[0070]
通过级联的方式学习r
t
，求出效果最优的模型，其算法步骤如下：
[0071]
(1)先初始化r0，设训练数据为学习率0《λ《1(λ∈r
2p
)，利用下式对进行初始化。
[0072][0073]
(2)迭代更新r
t
：
[0074][0075]
(3)通过r
ik
得到回归方程后进行迭代，更新如下：
[0076][0077]
(4)循环更新参数r
t
和直到收敛或达到设定迭代次数，最后输出：
[0078]
训练出模型后，对图片进行标点，获得眼睛图像特征。
[0079]
然后，将眼睛图像特征生成的特征图维度放缩到计算获取的维度；
[0080]
将所述特征图的维度放缩到(5 c 2*k)维度；
[0081]
其中，5为检测框的坐标x，y，w，h和置信度，c为物体类别，k为想要获取的关键点数量。
[0082]
具体地，通过卷积层将获取的特征图维度放缩到5 c 2*k维，其中c为物体类别(一般为1，代表只获得某一类物体的关键点，如眼睛)，k为想要获取的关键点数量。以眼睛2点关键点为例，c为1，k为2，则卷积层需要将特征纬度放缩为16维，其中2为眼部检测框的坐标x，y，w，h和置信度score，2*k中的2个关键点的坐标kx，ky；x，y，w，h，kx，ky均为坐标相对于人脸图片宽和高的比值。
[0083]
再次，将放缩后的眼睛图像特征输入均方误差损失函数进行计算，定义检测框与标签值的误差系数为p1，置信度损失为p2，关键点损失和的误差系数为p3；
[0084]
其中，p1＞p2＞p3；
[0085]
根据p1、p2和p3获取损失值；
[0086]
根据损失值获取损失值梯度并进行反向传播，获得眼睛整体定位结果和单点准确位置信息；
[0087]
基于眼睛整体定位结果和单点准确位置信息，确定眼睛范围。
[0088]
步骤s3中，所述rgb颜色模型通过下式定义：
[0089]
(r(x,y)-g(x,y)) (r(x,y)-b(x,y))》t
[0090]
式中，r、g、b分别代表红色、绿色和蓝色，即三基色；r(x,y)为红色分量的值，g(x,y)为绿色分量的值，b(x,y)为蓝色分量的值，t为所选取的阈值。
[0091]
通过基于rgb颜色模型的图像提取方法与图像的二值化相结合的方法，找到去除瞳孔附近噪声图像的位置信息包括：
[0092]
1、对眼睛范围内的瞳孔和周边非瞳孔区域的颜色值并进行降噪和二值化处理，获得灰度增强后的二值化图像；图像灰度等级从0～255，共有256级，图像的二值化就是在256级中选取某一个值作为阈值t，那么大于此阈值的像素将定为1，小于此阈值的像素定为0。若像素为1，代表灰度级为255；若像素为0，代表灰度级为0。先将图像灰度增强，再将图像进行二值化后，这比与原图直接进行二值化的图像更清晰。
[0093]
2、提取瞳孔在二值化图像中眼睛范围内的位置信息矩阵a；在矩阵a中，瞳孔区域色彩值为1，非瞳孔区域色彩值为0；
[0094]
令：
[0095][0096]
式中，imr矩阵为rgb颜色模型的原始rgb图像中红基色层的各像素的值；img矩阵指rgb颜色模型的原始rgb图像中绿基色层的各像素的值；imb矩阵指rgb颜色模型的原始rgb图像中蓝基色层的各像素的值；
[0097]
3、通过上式分别去除了不同色层中除瞳孔区域外其他区域的噪声图像。即将这3层合并到一个矩阵中，得到最后提取的瞳孔图像。以此计算出瞳孔相对于眼睛的位置坐标。
[0098]
实施例2：
[0099]
基于同一技术构思，本发明还提供一种眼球追踪系统，包括：
[0100]
处理模块，用于获取待处理的面部图像，对所述待处理的面部图像进行归一化处理；
[0101]
范围确定模块，用于定位归一化的面部图像中的眼睛位置，确定眼睛范围；
[0102]
追踪模块，用于将眼睛范围内瞳孔和周边颜色的颜色值进行二值化，采用预先定义的rgb颜色模型，通过基于rgb颜色模型的图像提取方法与图像的二值化相结合的方法，找到去除瞳孔附近噪声图像的位置信息；
[0103]
定位模块，用于获得瞳孔相对于眼睛的位置坐标。
[0104]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0105]
最后应当说明的是：以上实施例仅用以说明本技术的技术方案而非对其保护范围的限制，尽管参照上述实施例对本技术进行了详细的说明，所属领域的普通技术人员应当理解：本领域技术人员阅读本技术后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，这些变更、修改或者等同替换，其均在其申请待批的权利要求范围之内。