一种基于增强现实的平滑跟踪方法与流程

技术特征：
1.一种基于增强现实的平滑跟踪方法，其特征在于：包括以下步骤：s01：提取待识别图片的特征描述子；s02：对抓取的视频帧图像进行处理，找到识别图片；s03：计算从标志物坐标系到相机坐标系的变换矩阵；s04：平滑跟踪方法对矩阵后处理；s05：计算虚拟物件在相机坐标系下的坐标，并绘制三维图形生成虚拟图形帧；s06：获得增强现实环境的合成视频帧，将其输出到显示屏上。2.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤s01中，利用不变性描述子orb特征点检测器对相机拍摄的每一张图像进行特征点检测，并用不变性orb描述子来描述每一个特征点。3.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤s02中，对抓取的视频帧图像处理包括以下步骤：s02.1：对视频帧图像进行图像灰度处理和二值化处理；s02.2：对视频帧图像进行图像标记；s02.3：对视频帧图像进行轮廓提取，获得识别图片。4.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤s03中，变换矩阵m的获取方式由计算每一帧视频数据流，并经过旋转变换r和平移变换t获得。5.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤s04中，平滑跟踪方法对矩阵后处理还包括以下步骤：s04.1：计算n个变换矩阵的平均值，对获取到的变换矩阵m做处理，将获取到的n个变换矩阵m存放于数组，这个数组为m
t
，接着通过以下公式计算得到m
ave
，表示在n个变换矩阵m相加得到的平均值，其计算公式为：s04.2：取平均值和下一帧计算得到的变换矩阵的绝对值，绝对值的计算方式为：初始化变量i,j,delta_times,δ,t；if(delta_times>t)m
t 1
＝m
ave
，其中，δ为阈值，|m
ave
[i][j]-m
t 1
[i][j]|为变换矩阵的绝对值；s04.3：计算绝对值超过阈值的次数，计算绝对值|m
ave
[i][j]-m
t 1
[i][j]|与阈值δ，并对超过的次数进行计算，记为：delta_times，if(delta_times>t)m
t 1
＝m
ave
，t表示设定的超
出阈值δ的次数。s04.4：比较超过阈值的次数与设定阈值的次数，当delta_times大于设定的t，则下一帧的变换矩阵选取上述所计算的矩阵的平均值m
ave
；如果没有大于设定的t，说明变换矩阵在该帧下变化平滑，那么下一帧的变换矩阵还是原来的m
t 1
。6.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤s05中，绘制三维图形生成虚拟图形帧包括以下步骤：s05.1：获取标志物坐标系和图像坐标系中对应的标志物顶点坐标，采用二维可视偏码中得到编码值；s05.2：检索对应该编码的三维模型，获得三维模型的顶点数组；s05.3：将顶点数组中的顶点与变化矩阵乘积，即为相机坐标系下的坐标数组；s05.4：将三维图像存储在帧缓存中，生成虚拟图像帧。7.根据权利要求1所述的一种基于增强现实的平滑跟踪方法，其特征在于，所述步骤s06中，合成视频帧是通过虚实合成模块将获得虚拟图形帧与二维可视编码编织物的视频帧进行合成获得。

技术总结
本发明公开了一种基于增强现实的平滑跟踪方法，包括以下步骤：S01：提取待识别图片的特征描述子；S02：对抓取的视频帧图像进行处理，找到识别图片；S03：计算从标志物坐标系到相机坐标系的变换矩阵；S04：平滑跟踪方法对矩阵后处理；S05：计算虚拟物件在相机坐标系下的坐标，并绘制三维图形生成虚拟图形帧；S06：获得增强现实环境的合成视频帧，将其输出到显示屏上。本发明中，该平滑跟踪方法通过对图片上特征点的描述，获取到对应的平滑变换矩阵，并采用平滑跟踪技术对图片的特征进行跟踪，可以识别到图片上较弱的纹理特点，从而显著的减少了虚拟物件跟踪的抖动和不稳定现象，可以更好的提升增强现实的体验感。的提升增强现实的体验感。的提升增强现实的体验感。


技术研发人员：陈广
受保护的技术使用者：惟亚（上海）数字科技有限公司
技术研发日：2020.05.14
技术公布日：2021/11/19