一种基于增强现实的平滑跟踪方法与流程

1.本发明涉及增强现实技术技术领域，尤其涉及一种基于增强现实的平滑跟踪方法。


背景技术：

2.增强现实是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，为图片和视频的处理提供了重要的作用。
3.目前，对于图片识别与跟踪的无标记增强现实方法，通常是通过提取识别图片的特征点来作为虚拟物件注册的基准，这就需要对识别图片要求较高的纹理特点，当识别图片的纹理比较弱时，虚拟物件会出现跟踪不稳定和抖动的现象，从而导致用户无法获得更好的增强现实的体验感。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于增强现实的平滑跟踪方法。
5.为了实现上述目的，本发明采用了如下技术方案：一种基于增强现实的平滑跟踪方法，包括以下步骤：
6.s01：提取待识别图片的特征描述子；
7.s02：对抓取的视频帧图像进行处理，找到识别图片；
8.s03：计算从标志物坐标系到相机坐标系的变换矩阵；
9.s04：平滑跟踪方法对矩阵后处理；
10.s05：计算虚拟物件在相机坐标系下的坐标，并绘制三维图形生成虚拟图形帧；
11.s06：获得增强现实环境的合成视频帧，将其输出到显示屏上。
12.作为上述技术方案的进一步描述：
13.所述步骤s01中，利用不变性描述子orb特征点检测器对相机拍摄的每一张图像进行特征点检测，并用不变性orb描述子来描述每一个特征点。
14.作为上述技术方案的进一步描述：
15.所述步骤s02中，对抓取的视频帧图像处理包括以下步骤：
16.s02.1：对视频帧图像进行图像灰度处理和二值化处理；
17.s02.2：对视频帧图像进行图像标记；
18.s02.3：对视频帧图像进行轮廓提取，获得识别图片。
19.作为上述技术方案的进一步描述：
20.所述步骤s03中，变换矩阵m的获取方式由计算每一帧视频数据流，并经过旋转变换r和平移变换t获得。
21.作为上述技术方案的进一步描述：
22.所述步骤s04中，平滑跟踪方法对矩阵后处理还包括以下步骤：
23.s04.1：计算n个变换矩阵的平均值，对获取到的变换矩阵m做处理，将获取到的n个变换矩阵m存放于数组，这个数组为m
t
，接着通过以下公式计算得到m
ave
，表示在n个变换矩阵m矩阵相加得到的平均值，其计算公式为：
24.s04.2：取平均值和下一帧计算得到的变换矩阵的绝对值，绝对值的计算方式为：初始化变量i,j,delta_times,δ,t；
[0025][0026]
if(delta_times>t)m
t 1
＝m
ave
，其中，δ为阈值，|m
ave
[i][j]-m
t 1
[i][j]|为变换矩阵的绝对值；
[0027]
s04.3：计算绝对值超过阈值的次数，计算绝对值|m
ave
[i][j]-m
t 1
[i][j]|与阈值δ，并对超过的次数进行计算，记为：delta_times，if(delta_times>t)m
t 1
＝m
ave
，t表示设定的超出阈值δ的次数。
[0028]
s04.4：比较超过阈值的次数与设定阈值的次数，当delta_times大于设定的t，则下一帧的变换矩阵选取上述所计算的矩阵的平均值m
ave
；
[0029]
如果没有大于设定的t，说明变换矩阵在该帧下变化平滑，那么下一帧的变换矩阵还是原来的m
t 1
[0030]
作为上述技术方案的进一步描述：
[0031]
所述步骤s05中，绘制三维图形生成虚拟图形帧包括以下步骤：
[0032]
s05.1：获取标志物坐标系和图像坐标系中对应的标志物顶点坐标，采用二维可视偏码中得到编码值；
[0033]
s05.2：检索对应该编码的三维模型，获得三维模型的顶点数组；
[0034]
s05.3：将顶点数组中的顶点与变化矩阵乘积，即为相机坐标系下的坐标数组；
[0035]
s05.4：将三维图像存储在帧缓存中，生成虚拟图像帧。
[0036]
作为上述技术方案的进一步描述：
[0037]
所述步骤s06中，合成视频帧是通过虚实合成模块将获得虚拟图形帧与二维可视编码编织物的视频帧进行合成获得。
[0038]
有益效果
[0039]
本发明提供了一种基于增强现实的平滑跟踪方法。具备以下有益效果：
[0040]
(1)：该平滑跟踪方法通过对图片上特征点的描述，获取到对应的平滑变换矩阵，并作为下一帧虚拟物件的映射矩阵，并采用平滑跟踪技术对图片的特征进行跟踪，可以识
别到图片上较弱的纹理特点，并看到虚拟物件平滑跟踪的效果，从而显著的减少了虚拟物件跟踪的抖动和不稳定现象，可以更好的提升增强现实的体验感。
附图说明
[0041]
图1为本发明提出的一种基于增强现实的平滑跟踪方法的流程示意图；
[0042]
图2为本发明中平滑跟踪方法后处理的流程示意图。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0044]
如图1-图2所示，一种基于增强现实的平滑跟踪方法：包括以下步骤：
[0045]
s01：提取待识别图片的特征描述子；
[0046]
s02：对抓取的视频帧图像进行处理，找到识别图片；
[0047]
s03：计算从标志物坐标系到相机坐标系的变换矩阵；
[0048]
s04：平滑跟踪方法对矩阵后处理；
[0049]
s05：计算虚拟物件在相机坐标系下的坐标，并绘制三维图形生成虚拟图形帧；
[0050]
s06：获得增强现实环境的合成视频帧，将其输出到显示屏上。
[0051]
步骤s01中，利用不变性描述子orb特征点检测器对相机拍摄的每一张图像进行特征点检测，并用不变性orb描述子来描述每一个特征点。
[0052]
步骤s02中，对抓取的视频帧图像处理包括以下步骤：
[0053]
s02.1：对视频帧图像进行图像灰度处理和二值化处理；
[0054]
s02.2：对视频帧图像进行图像标记；
[0055]
s02.3：对视频帧图像进行轮廓提取，获得识别图片。
[0056]
步骤s03中，变换矩阵m的获取方式由计算每一帧视频数据流，并经过旋转变换r和平移变换t获得。
[0057]
其特步骤s04中，平滑跟踪方法对矩阵后处理还包括以下步骤：
[0058]
s04.1：计算n个变换矩阵的平均值，对获取到的变换矩阵m做处理，将获取到的n个变换矩阵m存放于数组，这个数组为m
t
，接着通过以下公式计算得到m
ave
，表示在n个变换矩阵m矩阵相加得到的平均值，其计算公式为：
[0059]
s04.2：取平均值和下一帧计算得到的变换矩阵的绝对值，绝对值的计算方式为：初始化变量i,j,delta_times,δ,t；
[0060][0061]
if(delta_times>t)m
t 1
＝m
ave
，其中，δ为阈值，|m
ave
[i][j]-m
t 1
[i][j]|为变换矩阵的绝对值；
[0062]
s04.3：计算绝对值超过阈值的次数，计算绝对值|m
ave
[i][j]-m
t 1
[i][j]|与阈值δ，并对超过的次数进行计算，记为：delta_times，if(delta_times>t)m
t 1
＝m
ave
，t表示设定的超出阈值δ的次数。
[0063]
s04.4：比较超过阈值的次数与设定阈值的次数，当delta_times大于设定的t，则下一帧的变换矩阵选取上述所计算的矩阵的平均值m
ave
；
[0064]
如果没有大于设定的t，说明变换矩阵在该帧下变化平滑，那么下一帧的变换矩阵还是原来的m
t 1
。
[0065]
步骤s05中，绘制三维图形生成虚拟图形帧包括以下步骤：
[0066]
s05.1：获取标志物坐标系和图像坐标系中对应的标志物顶点坐标，采用二维可视偏码中得到编码值；
[0067]
s05.2：检索对应该编码的三维模型，获得三维模型的顶点数组；
[0068]
s05.3：将顶点数组中的顶点与变化矩阵乘积，即为相机坐标系下的坐标数组；
[0069]
s05.4：将三维图像存储在帧缓存中，生成虚拟图像帧。
[0070]
步骤s06中，合成视频帧是通过虚实合成模块将获得虚拟图形帧与二维可视编码编织物的视频帧进行合成获得。
[0071]
作为上述实施方式的其中一个实施例：
[0072]
假设获得的变换矩阵m是一个3*4的矩阵，矩阵的具体特征如下：该变换矩阵中，包含的信息有旋转变换r和平移变换t；
[0073]
通过公式计算n个变换矩阵m相加得到的平均值，其中，上述n为决定要存放数组的个数，值越大，越考虑整体变化下的平均值，n通常可以为3-7，遍历两个循环后，取平均值和下一帧计算得到的变换矩阵的绝对值|m
ave
[i][j]-m
t 1
[i][j]|，判断该绝对值是否大于阈值δ，这里的阈值δ通常可以为0.001-0.01，如果越小则说明对下一帧的变换矩阵m
t 1
的要求变化较小，如果绝对值|m
ave
[i][j]-m
t 1
[i][j]|计算超过阈值δ，则对此计数delta_times，并且该delta_times最大为12；
[0074]
if(delta_times>t)m
t 1
＝m
ave
；上述t表示设定的超出阈值δ的次数，通常为可以取2-12；
[0075]
整个语句表示，当delta_times大于设定的t，则下一帧的变换矩阵m选取上述所计算的矩阵的平均值m
ave
；如果没有大于设定的t，说明变换矩阵在该帧下变化平滑，那么下一帧的变换矩阵还是原来的m
t 1
，利用上述的平滑跟踪方法，即可获取到的平滑变换矩阵作为下一帧虚拟物件的映射矩阵，最后可以清除的看到虚拟物件平滑跟踪的效果，提升了用户的体验效果。
[0076]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0077]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。