一种分布偏移感知的双眼RGB-D视线追踪方法

本发明涉及计算机视觉、人机交互和视线追踪，具体涉及一种利用双眼rgb-d图像和头部姿态数据进行分布偏移感知、跨模态融合及稳定推理的视线追踪方法。

背景技术：

1、非接触式视线追踪通过摄像设备采集人脸或眼部图像，并利用图像处理或学习模型确定用户的注视方向，可应用于人机交互、驾驶状态分析和辅助医疗等场景。现有基于外观的方法通常以单目或双目rgb图像作为主要输入，利用卷积网络学习眼部纹理与视线方向之间的映射关系。

2、然而，眼部rgb图像容易受到光照变化、反光、遮挡和个体眼型差异影响，二维纹理难以独立提供稳定的空间几何约束。不同对象或数据划分之间还可能存在明显的头部姿态分布差异，固定结构的卷积主干难以同时兼顾常规姿态和大幅度偏转姿态。另一方面，眼部视觉特征与头部姿态特征的数据形态和语义层级不同，直接拼接难以充分建模二者的条件关联。对于连续视频，逐帧预测还容易因单帧噪声产生非自然跳变。因此，需要一种能够联合利用双眼外观、深度几何和头部姿态信息，并对姿态分布变化和连续输出波动进行处理的视线追踪方案。

技术实现思路

1、针对现有视线追踪方法主要依赖眼部rgb外观信息、对头部姿态分布变化适应能力不足、眼部视觉特征与头部姿态特征融合不充分以及连续视线输出易发生波动的问题，本发明提供一种分布偏移感知的双眼rgb-d视线追踪方法。本发明联合利用双眼rgb图像、眼部深度图像和头部姿态数据，根据目标数据的头部姿态分布偏移程度选择相应的特征提取主干，并通过姿态条件跨模态融合和三维视线向量稳定化处理，输出待追踪对象的三维视线方向。

2、本发明的技术方案包括以下步骤：

3、步骤a、获取并预处理待追踪对象的左右眼rgb图像、对应深度图像及头部姿态数据；

4、步骤b、根据参考数据与目标数据的头部姿态分布偏移量及预设阈值，确定普通特征提取主干或包含空间自适应模块的特征提取主干，包括以下步骤：

5、步骤b1、利用参考数据的头部姿态均值和标准差，对目标数据与参考数据的头部姿态均值差进行标准化，并计算头部姿态分布偏移量；

6、步骤b2、将头部姿态分布偏移量与预设阈值进行比较，低于预设阈值时选择普通特征提取主干，否则选择包含空间自适应模块的特征提取主干；

7、步骤b3、利用所述空间自适应模块预测二维采样偏移并执行可变形卷积，通过通道权重对可变形卷积输出进行加权；

8、步骤c、构建双眼几何增强特征，包括以下步骤：

9、步骤c1、将左右眼rgb图像分别与对应深度图像沿通道维组合，形成左右眼rgb-d数据；

10、步骤c2、利用所确定的参数共享双眼主干分别提取左眼特征和右眼特征；

11、步骤c3、将左右眼的特征沿通道维拼接，并经1×1卷积、归一化和非线性激活处理，获得双眼几何增强特征；

12、步骤d、对双眼几何增强特征与头部姿态数据进行姿态条件跨模态融合，包括以下步骤：

13、步骤d1、对头部姿态数据进行特征编码和维度对齐，并将所得姿态条件特征与双眼几何增强特征组合形成公共查询；

14、步骤d2、以公共查询作为查询特征，分别以双眼几何增强特征和姿态条件特征作为两条交叉注意力分支的键特征和值特征，执行双路通道交叉注意力；

15、步骤d3、将两条交叉注意力分支的输出进行聚合和前馈重构，并与双眼几何增强特征进行残差相加，获得姿态条件跨模态融合特征；

16、步骤e、根据姿态条件跨模态融合特征预测并稳定输出三维视线方向，包括以下步骤：

17、步骤e1、根据姿态条件跨模态融合特征预测视线偏航角和视线俯仰角，并将所述视线偏航角和视线俯仰角转换为三维视线向量；

18、步骤e2、对多个模型检查点输出的三维视线向量进行平均和单位化，获得检查点融合视线向量；

19、步骤e3、对滑动时间窗口内的检查点融合视线向量进行平均和单位化，稳定输出待追踪对象的三维视线方向。

20、本发明通过双眼rgb-d联合输入补充眼部空间几何信息，以头部姿态分布偏移量驱动普通主干网络与空间自适应主干网络的选择，使模型特征提取能力与目标数据的姿态变化程度相匹配；通过公共查询驱动的双路通道交叉注意力机制建立眼部视觉与头部姿态条件之间的显式关联，并通过三维视线向量层级的多检查点融合与时序平滑处理降低连续预测过程的结果波动，进而提升复杂姿态与连续场景下视线追踪结果的适应性与稳定性。

1.一种分布偏移感知的双眼rgb-d视线追踪方法，其特征在于，包括以下步骤：