基于虚拟现实的眼球追踪方法和系统与流程

1.本发明涉及人工智能和虚拟现实设备技术领域，具体涉及一种基于虚拟现实的眼球追踪方法和系统。


背景技术：

2.随着计算机视觉、人工智能技术和数字化技术的迅速发展、眼球追踪技术已成为当前热点研究领域，能够应用于现实中的各个场景之下。随着虚拟现实技术的发展，在虚拟现实应用场景中，眼球追踪技术多方面、多层次的应用已经成为一种趋势。现有技术通常采用红外相机利用光学技术进行眼球视线的追踪，然而此类方法通常难以实现实时追踪，会导致虚拟现实设备的渲染操作延缓，因此有其他技术方案提出通过眼部周围细节特征变化信息对眼球视线进行追踪。
3.现有通过眼部周围细节特征变化信息来实现眼球视线追踪的技术方案存在的问题在于：较为准确的眼部周围细节特征获取过程的计算量过大，且会提取到较多冗余无关信息，计算效率较低，无法提高眼球追踪的速度；而快速的眼部周围细节特征获取过程准确率较低，导致眼球视线追踪的效果变差。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于虚拟现实的眼球追踪方法和系统，所采用的技术方案具体如下：
5.第一方面，本发明一个实施例提供了一种基于虚拟现实的眼球追踪方法：
6.构建扇形lbp算子在眼部周围区域移动提取眼部周围特征，其中扇形lbp算子圆心在眼球感兴趣区域边缘线上移动，扇形lbp算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形lbp算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个lbp码，每个扇形的所有半径线段对应的lbp码构成一组lbp码；所有lbp码构成眼部周围细节特征描述矩阵；获取睑缘关键像素点坐标序列和瞳孔中心点坐标；
7.根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；
8.将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
9.优选地，获取眼球感兴趣区域的外眼角点和内眼角点，外眼角点和内眼角点的连线为眼球感兴趣区域的基准线段；扇形lbp算子在眼球感兴趣区域上边缘线移动时，其圆心位置为过基准线段上像素点的垂线与眼球感兴趣区域上边缘线的交点。
10.优选地，根据预测帧的眼球视线方向类别确定提取预测帧实际眼部周围细节特征描述矩阵时扇形lbp算子的半径。
11.优选地，眼部周围细节特征描述矩阵的一行为一组lbp码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度；根据相同眼球视线方向类别训练样本、指定行置零前后眼球视线方向类别置信度的变化量调整该眼球视线方向类别指定行对应扇形lbp算子的半径。
12.优选地，训练用户指令信息分类网络，输入预测帧的眼球视线方向类别，输出用户指令信息；根据用户指令信息虚拟现实设备执行对应操作。
13.第二方面，本发明另一个实施例提供了一种基于虚拟现实的眼球追踪系统。系统包括：
14.眼部周围细节特征描述矩阵获取模块，用于构建扇形lbp算子在眼周区域移动提取眼部周围特征，其中扇形lbp算子圆心在眼球感兴趣区域边缘线上移动，扇形lbp算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形lbp算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个lbp码，每个扇形的所有半径线段对应的lbp码构成一组lbp码；所有lbp码构成眼部周围细节特征描述矩阵；
15.预测帧眼部信息获取模块，用于获取睑缘关键像素点坐标序列和瞳孔中心点坐标；根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；
16.眼球视线方向类别获取模块，用于将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
17.优选地，眼部周围细节特征描述矩阵获取模块，还用于获取眼球感兴趣区域的外眼角点和内眼角点，外眼角点和内眼角点的连线为眼球感兴趣区域的基准线段；扇形lbp算子在眼球感兴趣区域上边缘线移动时，其圆心位置为过基准线段上像素点的吹线与眼球感兴趣区域上边缘线的交点。
18.优选地，眼球视线方向类别获取模块，还用于根据预测帧的眼球视线方向类别确定提取预测帧实际眼部周围细节特征描述矩阵时扇形lbp算子的半径。
19.优选地，眼球视线方向类别获取模块，还用于眼部周围细节特征描述矩阵的一行为一组lbp码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度；根据相同眼球视线方向类别训练样本、指定行置零前后眼球视线方向类别置信度的变化量调整该眼球视线方向类别指定行对应扇形lbp算子的半径。
20.优选地，所述眼球视线方向类别获取模块还用于训练用户指令信息分类网络，输入预测帧的眼球视线方向类别，输出用户指令信息；根据用户指令信息虚拟现实设备执行对应操作。
21.本发明实施例至少具有如下有益效果：本发明通过改进lbp算子，构建扇形lbp算子获得眼部周围细节特征描述矩阵；获得睑缘关键像素点坐标序列和瞳孔中心点坐标；预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，同时，获得预测帧的眼球视线方向类别；将预测帧的眼球视线方向类别输入用户指令信息分类网络获得用户指令信息，同时在虚拟设备中执行相应的操作。本发明在保证准确率的情况下，提高计算效率、眼部周围细节特征的表征能力以及眼球视线方向追踪的准确率；考虑用户反馈信息对用户指令生成过程进行修正，提高虚拟现实设备的泛化能力及用户指令生成的准确率。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
23.图1为本发明的方法流程图。
具体实施方式
24.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于虚拟现实的眼球追踪方法和系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
25.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
26.下面结合附图具体的说明本发明所提供的一种基于虚拟现实的眼球追踪方法的具体方案。
27.实施例1
28.本发明的主要应用场景为：应用于虚拟现实场景下，一般用于vr头显设备中，用户需要在使用前对vr头显设备进行校准，通常采用多个位置固定十字的方式进行校准，校准后vr头显设备即可适应不同用户的眼睛大小等属性；本实施例主要对眼球追踪算法进行设计，对眼球追踪后的视差校正、虚拟场景渲染等操作均采用现有公知技术。
29.请参阅图1，其示出了本发明一个实施例提供的一种基于虚拟现实的眼球追踪方法流程图，该方法包括以下步骤：
30.首先，构建扇形lbp算子在眼部周围区域移动提取眼部周围特征，其中扇形lbp算子圆心在眼球感兴趣区域边缘线上移动，扇形lbp算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形lbp算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个lbp码，每个扇形的所有半径线段对应的lbp码构成一组lbp码；所有lbp码构成眼部周围细节特征描述矩阵；获取睑缘关键像素点坐标序列和瞳孔中心点坐标。
31.获取用户的眼部ir图像，通过ir光照射眼睛，并结合ir反射敏感的相机进行用户眼部ir图像采集处理，从而得到用户眼部的ir图像。获取待处理的用户眼部ir图像，便于后续基于用户眼部图像进行瞳孔识别和眼部周围细节特征提取。
32.眼部周围细节特征提取具体为：
33.1.首先构建眼睛roi区域提取网络，该网络采用类似于语义分割网络的架构，即架构为编码器-解码器，输入为眼部ir图像，输出为眼部roi区域图像；眼部roi区域提取网络训练方式为，采用多个用户的眼部ir图像作为训练数据集，采用人为像素级标注的roi区域图像作为标签数据，其中，眼部roi区域包括眼球区域和眼部周围细节区域，眼球roi区域像素点像素值标注为1，眼部周围细节区域像素点像素值标注为0。
34.2.获取眼部roi区域图像，为二值图像，基于像素坐标系取像素值为1的像素点中u
min
和u
max
对应两像素点，设为外眼角点a(u
min
，va)和内眼角点b(u
max
，vb)，连接外眼角点a和内眼角点b作为眼球roi区域基准线段l
ab
。
35.3.构建扇形lbp算子在眼部ir图像中进行特征提取，所述扇形lbp算子具体为：设置扇形角度为θ，考虑某位置的眼部周围组织的运动通常仅跟其附近的眼部组织协同，因此为避免其他位置组织对特征描述造成干扰，将特征提取算子设置为扇形，优选地，在本实施例中θ取45
°
，实施者可根据实际需要对θ值进行调整，该调整主要与计算速度相关，若需要较快的计算速度，则θ设置较大，同理，若不太关注计算速度，则θ设置较小以提高特征描述的精度，θ取值范围设置为(30
°
，90
°
)；选择距离基准线段l
ab
最远的像素值为1的像素点，并设该距离为d
max
，取扇形的预设半径r＝0.5d
max
，即默认眼部周围细节特征不会超过该区域；扇形lbp算子的圆心初始位于外眼角点a，且扇形区域刚好被基准线段l
ab
的延长线切分，则扇形lbp算子移动路径为由外眼角点a沿眼球感兴趣区域边缘线移动至内眼角点b，再由内眼角点b沿另一条眼球感兴趣区域边缘线返回外眼角点a；移动以基准线段l
ab
作为参考，即扇形lbp算子圆心每次移动位置为过基准线段l
ab
单个像素点的垂线与眼球感兴趣区域边缘线的交点，则移动参考路径长度为2d
ab
，d
ab
为由外眼角点a到内眼角点b基准线段上的像素点个数，其扇形区域总旋转角度应为360
°
以确保眼部周围细节特征均被提取，即扇形lbp算子每移动一个位置，对应的预设单次旋转角度为π/d
ab
。
36.4.利用lbp算子提取的特征本质上是纹理特征，即以中心像素点的灰度值为阈值，范围内周围像素的灰度值与中心的灰度值进行比较，若周围像素大于中心像素值，则该像素点的位置被标记为1，否则为0，进而构成了lbp码，lbp码为二进制编码，可反映眼部周围细节区域的局部纹理信息；将扇形lbp算子移动时获取的多组lbp码作为矩阵的行信息，即可获取眼部周围细节特征描述矩阵，矩阵尺寸为(2d
ab
－2)
×
k，其中，(2d
ab
－2)为行数，k为列数，列数由实施者自行设置，为获取扇形圆心到扇形弧度边缘线的若干条半径线段的个数，优选地，本实施例中k条半径线段均匀分布在扇形区域内，将扇形区域等分为k-1个子区域，半径线段与扇形弧度边缘线的交点即为用于描述的像素点，需要说明的是，对于交点不在整数位置上的情况，进行插值运算即可；获取眼部周围细节特征描述矩阵，矩阵的某行元素为对应位置的扇形lbp算子获取的一组lbp码；同时，获得睑缘关键像素点坐标序列和瞳孔中心点坐标，与眼部周围细节特征描述矩阵作为识别眼球视线方向的信息；其中，睑缘关键像素点坐标序列包括内、外眼角点和过瞳孔中心点的基准线段l
ab
的垂线与上下睑缘的交点的坐标。
37.进一步地，根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标。
38.将连续时序上的多帧眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标作为输入，送入tcn网络进行预测，滑窗长度等参数由实施者自行设置，优选地，本实施例设置滑窗长度为3；输出为预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；该tcn网络的训练采用多个连续时序上的多帧眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标作为训练数据集，采用预测帧的真实眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标作为标签数据，采用均方误差损失函数进行训练监督；此处采用tcn网络的目的在于，由于预测帧，即下一帧的眼球运动可通过连续时序上多帧眼部周围细节特征变化情况进行预测，而采用预测的方式可以一定程度上解决vr渲染速度难以匹配用户眼动运动速度的问题，对场景进行提前渲染。
39.最后，将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
40.在tcn网络后添加眼球视线方向分类网络以获取眼球视线方向类别信息，眼球视线方向分类网络采用全连接层结合softmax函数进行分类即可；将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
41.为确保基于上述预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行眼球视线方向类别信息分类和预测的准确率，以眼球视线方向的分类结果作为额外的监督损失对上述tcn网络和眼球视线方向分类网络进行训练，采用交叉熵损失函数即可。
42.眼部周围细节特征描述矩阵的一行为一组lbp码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别的置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度，其中指定行为眼部周围细节特征描述矩阵的任意一行，其他数据包括睑缘关键像素点坐标序列和瞳孔中心点坐标；将训练样本的眼部周围细节特征描述矩阵的指定行置零前和置零后的眼球视线方向类别置信度进行对比，仅对比置零前后相同眼球视线方向类别的置信度变化，变化量设为对于同一眼球视线方向类别，采用多个训练样本的眼部周围细节特征描述矩阵进行上述操作，对各个眼部细节特征描述矩阵在同一行置零时对应变化量均值设为将变化量均值通过函数进行映射；即若置信度变小，为正，在函数映射时为大于1的映射值；反之，若置信度变大，为负，在函数映射时为小于1的映射值；根据眼球视线方向类别将眼部周围细节特征描述矩阵各行对应的扇形lbp算子的半径调整为即对眼球视线方向类别分类影像大的眼部周围组织，获取较大范围的眼部周围特征，对眼球视线方向类别分类影像小的眼部周围组织，获取较小范围的眼部周围特征。
43.在实际使用过程中，利用半径调整后的扇形lbp算子，提取预测帧实际眼部周围细
节特征，获得预测帧实际眼部周围细节特征描述矩阵，结合预测帧之前连续时序上多帧眼部周围细节特征描述矩阵进行后续帧的预测。
44.将预测帧眼球视线方向类别输入用户指令信息分类网络，输出用户指令信息，虚拟现实设备根据用户指令信息执行对应操作。
45.用户指令信息分类网络训练过程具体为：以用户反馈信息作为用户指令信息分类网络的额外监督，将用户反馈信息分为积极反馈和消极反馈，当用户指令信息符合用户想要发出的指令时，用户给予积极反馈，反之，当用户指令信息不符合用户想要发出的指令时，用户给予积极反馈；而用户指令除自身具体类别外，也隶属于积极指令和消极指令两类，采用二值交叉熵作为损失函数对分类网络进行监督，则分类网络的损失函数为l＝l1 l2，l1为标签类别损失，采用交叉熵损失函数；l2为反馈信息损失，采用二值交叉熵损失函数。基于用户习惯进行修正获取用户指令信息，便于虚拟现实设备基于用户指令信息执行对应操作。
46.实施例2
47.本实施例提供了一种系统实施例。一种基于虚拟现实的眼球追踪系统，该系统包括：眼部周围细节特征描述矩阵获取模块，用于构建扇形lbp算子在眼周区域移动提取眼部周围特征，其中扇形lbp算子圆心在眼球感兴趣区域边缘线上移动，扇形lbp算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形lbp算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个lbp码，每个扇形的所有半径线段对应的lbp码构成一组lbp码；所有lbp码构成眼部周围细节特征描述矩阵；
48.预测帧眼部信息获取模块，用于获取睑缘关键像素点坐标序列和瞳孔中心点坐标；根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；
49.眼球视线方向类别获取模块，用于将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
50.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
51.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
52.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。