基于虚拟现实的眼球追踪方法和系统与流程

技术特征：
1.一种基于虚拟现实的眼球追踪方法，其特征在于，该方法包括：构建扇形lbp算子在眼部周围区域移动提取眼部周围特征，其中扇形lbp算子圆心在眼球感兴趣区域边缘线上移动，扇形lbp算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形lbp算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个lbp码，每个扇形的所有半径线段对应的lbp码构成一组lbp码；所有lbp码构成眼部周围细节特征描述矩阵；获取睑缘关键像素点坐标序列和瞳孔中心点坐标；根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取眼球感兴趣区域的外眼角点和内眼角点，外眼角点和内眼角点的连线为眼球感兴趣区域的基准线段；扇形lbp算子在眼球感兴趣区域上边缘线移动时，其圆心位置为过基准线段上像素点的垂线与眼球感兴趣区域上边缘线的交点。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预测帧的眼球视线方向类别确定提取预测帧实际眼部周围细节特征描述矩阵时扇形lbp算子的半径。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：眼部周围细节特征描述矩阵的一行为一组lbp码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度；根据相同眼球视线方向类别训练样本、指定行置零前后眼球视线方向类别置信度的变化量调整该眼球视线方向类别指定行对应扇形lbp算子的半径。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：训练用户指令信息分类网络，输入预测帧的眼球视线方向类别，输出用户指令信息；根据用户指令信息虚拟现实设备执行对应操作。6.一种基于虚拟现实的眼球追踪系统，其特征在于，该系统包括：眼部周围细节特征描述矩阵获取模块，用于构建扇形lbp算子在眼周区域移动提取眼部周围特征，其中扇形lbp算子圆心在眼球感兴趣区域边缘线上移动，扇形lbp算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形lbp算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个lbp码，每个扇形的所有半径线段对应的lbp码构成一组lbp码；所有lbp码构成眼部周围细节特征描述矩阵；预测帧眼部信息获取模块，用于获取睑缘关键像素点坐标序列和瞳孔中心点坐标；根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；眼球视线方向类别获取模块，用于将预测帧的眼部周围细节特征描述矩阵、睑缘关键
像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。7.根据权利要求6所述的系统，其特征在于，所述眼部周围细节特征描述矩阵获取模块，还用于获取眼球感兴趣区域的外眼角点和内眼角点，外眼角点和内眼角点的连线为眼球感兴趣区域的基准线段；扇形lbp算子在眼球感兴趣区域上边缘线移动时，其圆心位置为过基准线段上像素点的垂线与眼球感兴趣区域上边缘线的交点。8.根据权利要求6所述的系统，其特征在于，所述眼球视线方向类别获取模块，还用于根据预测帧的眼球视线方向类别确定提取预测帧实际眼部周围细节特征描述矩阵时扇形lbp算子的半径。9.根据权利要求6所述的系统，其特征在于，所述眼球视线方向类别获取模块，还用于眼部周围细节特征描述矩阵的一行为一组lbp码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度；根据相同眼球视线方向类别训练样本、指定行置前零后眼球视线方向类别置信度的变化量调整该眼球视线方向类别指定行对应扇形lbp算子的半径。10.根据权利要求6所述的系统，其特征在于，所述眼球视线方向类别获取模块还用于训练用户指令信息分类网络，输入预测帧的眼球视线方向类别，输出用户指令信息；根据用户指令信息虚拟现实设备执行对应操作。

技术总结
本发明涉及人工智能和虚拟现实设备技术领域，具体涉及一种基于虚拟现实的眼球追踪方法和系统。该方法包括：构建扇形LBP算子，获得眼部周围细节特征描述矩阵；获取睑缘关键像素点坐标序列和瞳孔中心点坐标；预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；根据预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获得预测帧的眼球视线方向类别；根据预测帧的眼球视线方向类别获得用户指令信息，同时在虚拟设备中执行相应的操作。本发明能够提高计算效率及眼部周围细节特征的表征能力，提高眼球视线方向追踪的准确率以及提高虚拟现实设备的泛化能力及用户指令生成的准确率。生成的准确率。生成的准确率。


技术研发人员：王瑞娟 陈慧民 王灏
受保护的技术使用者：郑州大学
技术研发日：2021.10.23
技术公布日：2022/1/25