一种光流跟踪与均值漂移的AR跟踪注册方法及相关装置

本申请涉及ar三维跟踪注册，特别是涉及一种光流跟踪与均值漂移的ar跟踪注册方法及相关装置。

背景技术：

1、ar将虚拟信息叠加到现实世界，实现对现实世界的增强。主流基于视觉特征的增强现实三维跟踪注册方法通过特征点提取、匹配及跟踪进行姿态估计完成虚实融合注册。然而，现有方法存在运算速率低、稳定性较差以及受复杂环境影响等问题。

2、因此，如何提升ar三维跟踪注册的速度与稳定性，实现目标丢失后的快速重定位，是亟需要解决的技术问题。

技术实现思路

1、本申请的目的是提供一种光流跟踪与均值漂移的ar跟踪注册方法及相关装置，可提升ar三维跟踪注册的速度与稳定性，实现目标丢失后的快速重定位。

2、为实现上述目的，本申请提供了如下方案：

3、第一方面，本申请提供了一种光流跟踪与均值漂移的ar跟踪注册方法，包括：

4、获取视频流，选取视频流中的初始帧并框选待注册目标区域作为模板图像。

5、对所述模板图像和所述视频流中的当前帧图像进行ar特征检测与匹配，得到若干特征点匹配对。

6、对若干所述特征点匹配对进行提纯和初始化，得到当前帧的光流初始特征点集及对应的三维空间坐标点集。

7、采用金字塔光流逐帧跟踪法，跟踪当前帧的目标区域，更新光流初始特征点集在当前帧的二维坐标；当采用金字塔光流逐帧跟踪法跟踪的当前帧的目标区域丢失时，进行均值漂移重定位所述目标区域并恢复光流跟踪。

8、基于更新后的光流初始特征点集在当前帧的二维坐标和所述三维空间坐标点集，求解当前帧的相机位姿。

9、根据所述相机位姿在当前帧的对应区域进行ar虚拟内容的实时渲染。

10、第二方面，本申请提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现前文所述的光流跟踪与均值漂移的ar跟踪注册方法。

11、第三方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现前文所述的光流跟踪与均值漂移的ar跟踪注册方法。

12、第四方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前文所述的光流跟踪与均值漂移的ar跟踪注册方法。

13、根据本申请提供的具体实施例，本申请具有了以下技术效果：

14、本申请提供了一种光流跟踪与均值漂移的ar跟踪注册方法及相关装置，通过获取视频流，选取初始帧并框选待注册目标区域作为模板图像，并对模板图像和当前帧图像进行ar特征检测与匹配，解决了目标区域快速定义与跨帧特征关联的启动问题，实现了无需离线训练的零样本模板初始化，为后续跟踪提供了可靠的稀疏特征先验。通过对特征点匹配对进行提纯和初始化，获得光流初始特征点集及对应的三维空间坐标点集，并采用金字塔光流逐帧跟踪法更新特征点在当前帧的二维坐标，再基于更新后的二维坐标与三维空间坐标点集求解当前帧相机位姿，解决了二维跟踪与三维位姿估计在动态场景下的耦合难题，实现了光流特征点集的帧间平滑追踪与相机六自由度位姿的实时联合解算，在保证计算轻量化的同时，有效应对了大位移和尺度变化，为虚实融合提供了帧级稳定的几何对齐基准。当金字塔光流逐帧跟踪的目标区域丢失时，通过均值漂移重定位目标区域并恢复光流跟踪，解决了光流因遮挡或快速运动导致的不可逆丢失问题，实现了基于颜色分布的非特征依赖快速重捕获，与光流主跟踪形成常态跟踪加异常自愈的闭环机制，显著提升了长时复杂场景下的系统生存能力，避免因单次跟踪失败而整体重启。

1.一种光流跟踪与均值漂移的ar跟踪注册方法，其特征在于，所述方法包括：

2.根据权利要求1所述的光流跟踪与均值漂移的ar跟踪注册方法，其特征在于，当采用金字塔光流逐帧跟踪法跟踪的当前帧的目标区域丢失时，进行均值漂移重定位所述目标区域并恢复光流跟踪，具体包括：

3.根据权利要求2所述的光流跟踪与均值漂移的ar跟踪注册方法，其特征在于，若均值漂移重定位失败，则基于所述模板图像执行全局模板匹配重定位；

4.根据权利要求3所述的光流跟踪与均值漂移的ar跟踪注册方法，其特征在于，所述全局模板匹配重定位，具体包括：

5.根据权利要求2所述的光流跟踪与均值漂移的ar跟踪注册方法，其特征在于，在均值漂移重定位所述目标区域的过程中，还包括目标颜色直方图模型更新：

6.根据权利要求1所述的光流跟踪与均值漂移的ar跟踪注册方法，其特征在于，对所述模板图像和所述当前帧图像进行ar特征检测与匹配，得到若干特征点匹配对，具体包括：

7.根据权利要求1所述的光流跟踪与均值漂移的ar跟踪注册方法，其特征在于，对若干所述特征点匹配对进行提纯和初始化，得到当前帧的光流初始特征点集及对应的三维空间坐标点集，具体包括：

8.一种计算机设备，包括：存储器、处理器以及存储在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的光流跟踪与均值漂移的ar跟踪注册方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的光流跟踪与均值漂移的ar跟踪注册方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的光流跟踪与均值漂移的ar跟踪注册方法。