一种基于特征点的平面跟踪方法、系统与流程

1.本发明涉及平面跟踪领域，具体指有一种基于特征点的平面跟踪方法、系统。


背景技术：

2.基于平面图的视觉跟踪，简称平面跟踪。在视频中进行平面跟踪时，因为目标区域在视频帧间移动过快，可能会导致跟踪失败，那么需要能够及时的重新找回跟踪目标。
3.然而，重新找回跟踪目标的过程中，往往会遇到平面中的物体抖动、变形、变色等情况，难以得到精确的单应性矩阵，从而无法得到稳定的跟踪效果，影响其鲁棒性。
4.针对上述的现有技术存在的问题设计一种基于特征点的平面跟踪方法、系统是本发明研究的目的。


技术实现要素：

5.针对上述现有技术存在的问题，本发明在于提供一种基于特征点的平面跟踪方法、系统，能够有效解决上述现有技术存在的问题。
6.本发明的技术方案是：
7.一种基于特征点的平面跟踪方法，包含以下步骤：
8.视频获取步骤：获取初始视频文件，并指定所述初始视频文件的特定关键帧图像作为初始帧；
9.角点获取步骤：获取所述初始帧中的待跟踪的目标区域，裁剪出有效区域，提取有效区域的角点；
10.筛选步骤：将第i
‑
1帧图像中所述有效区域的角点与在第i帧的所述对应角点关联为角点对，筛选合格的所述角点对，定义为最终匹配点对，通过所述最终匹配点对计算最终单应性矩阵；
11.优化步骤：利用所述最终单应性矩阵对所述最终匹配点对正运算，获取第i
‑
1帧中每一所述最终匹配点对为中心的第一预设尺寸的图像块，通过最终单应性矩阵将所述图像块中的每一像素映射到所述第i帧图像，计算第i帧图像中对应扩展图像块的互相关匹配值，定义所述互相关匹配值最大的像素的坐标为平面跟踪到的坐标。
12.所述筛选步骤具体包含：
13.第一次筛选步骤：预测第i
‑
1帧图像对应所述有效区域的角点在第i帧的对应角点，将第i
‑
1帧图像中所述有效区域的角点与在第i帧的所述对应角点关联为角点对，筛选出合格的所述角点对，根据所述角点对计算得到第一单应性矩阵；
14.第二次筛选步骤：利用所述第一单应性矩阵对所述第i
‑
1帧图像对应所述有效区域的角点正运算并对计算结果逆运算，筛选合格的角点对，得到第一匹配点对，通过所述第一匹配点对计算第二单应性矩阵；
15.第三次筛选步骤：利用所述第二单应性矩阵对所述第i
‑
1帧图像对应所述有效区域的角点正运算，筛选第一匹配点对得到最终匹配点对，通过所述最终匹配点对计算最终
单应性矩阵。
16.进一步地，所述第一次筛选步骤具体为：
17.预测第i
‑
1帧图像对应所述有效区域的角点在第i帧的对应角点，将第i
‑
1帧图像中所述有效区域的角点与在第i帧的所述对应角点关联为角点对，得到所述第i
‑
1帧图像对应所述有效区域的角点和第i帧图像对应所述有效区域的角点的每一运动轨迹，计算每一所述运动轨迹的欧式距离，所述欧式距离小于等于第一预设阈值的角点对定义为合格的角点对，统计所述角点对的数量，
18.若所述运动轨迹的欧式距离小于等于第一预设阈值的角点对的数量大于第二预设阈值，则判定为跟踪成功，根据所述角点对计算得到第一单应性矩阵。
19.进一步地，预测第i
‑
1帧图像对应所述有效区域的角点在第i帧的对应角点之前，
20.获取第i
‑
1帧图像与第i帧图像、提取第i
‑
1帧图像对应所述有效区域的角点与第i帧图像对应所述有效区域的角点，通过所述第i
‑
1帧图像、所述第i帧图像和所述第i
‑
1帧图像对应所述有效区域的角点。
21.进一步地，所述第一预设阈值为3
‑
5，所述第二预设阈值为8
‑
12。
22.进一步地，通过klt稀疏光流法预测第i
‑
1帧图像对应所述有效区域的角点在第i帧的对应角点。
23.进一步地，所述第二次筛选步骤中，筛选合格的角点对具体为：
24.筛选所述角点对留在所述第i
‑
1帧图像内的角点对。
25.进一步地，所述第三次筛选步骤中，筛选第一匹配点对得到最终匹配点对具体为：
26.获取第i
‑
1帧中所述第一匹配点为中心的第一预设尺寸的待计算图像块，计算所述待计算图像块的方差，筛选所述方差小于阈值的所述第一匹配点对，得到最终匹配点对。
27.进一步地，所述优化步骤中，通过图像算法计算第i帧图像中对应扩展图像块的互相关匹配值具体为：
28.获取所述第i帧图像中对应所述第二匹配点为中心的第二预设尺寸的扩展图像块，在所述扩展图像块中按每一像素逐行计算互相关匹配值，其中，所述第二预设尺寸大于所述第一预设尺寸。
29.进一步地，所述第一预设尺寸为6*6
‑
10*10，所述第二预设尺寸为12*12
‑
16*16。
30.进一步提供一种基于特征点的平面跟踪系统，包含以下模块：
31.视频获取模块：用于获取初始视频文件，并指定所述初始视频文件的特定关键帧图像作为初始帧；
32.角点获取模块：用于获取所述初始帧中的待跟踪的目标区域，裁剪出有效区域，提取有效区域的角点；
33.筛选模块：用于将第i
‑
1帧图像中所述有效区域的角点与在第i帧的所述对应角点关联为角点对，筛选合格的所述角点对，定义为最终匹配点对，通过所述最终匹配点对计算最终单应性矩阵；
34.优化模块：用于利用所述最终单应性矩阵对所述最终匹配点对正运算，获取第i
‑
1帧中每一所述最终匹配点对为中心的第一预设尺寸的图像块，通过最终单应性矩阵将所述图像块中的每一像素映射到所述第i帧图像，通过图像算法计算第i帧图像中对应扩展图像块的互相关匹配值，定义所述互相关匹配值最大的像素的坐标为平面跟踪到的坐标。
35.因此，本发明提供以下的效果和/或优点：
36.本发明通过获取初始帧中的有效区域的角点，对该角点进行多次筛选，最终得到平稳的最终匹配点对，再对匹配点对的位置进行优化，从而得到最相关的坐标作为跟踪到的点，减小了点对的偏移误差，增强了平面跟踪的稳定性。
37.本发明通过跟踪算法跟踪角点的位置移动，从而剔除移动过大的角点，；通过第一单应性矩阵的正运算和逆运算，结合rematch算法，能够将偏移量过大的的点剔除；再通过第二单应性矩阵结合相应的图像块的方差，滤除方差过大的点，能够为后续的步骤提供更加平稳的跟踪，减小偏移误差，提高本发明的实用性。
38.本发明通过优化步骤，将最终单应性矩阵将所述图像块中的每一像素映射到所述第i帧图像，通过图像算法计算第i帧图像中对应扩展图像块的互相关匹配值，定义所述互相关匹配值最大的像素的坐标为平面跟踪到的坐标，能够找到最相关的像素，大大提高相关性，从而提高跟踪效果。
39.本发明稳定性高，具备鲁棒性，防止计算过程因为点的丢失等情况而出现退出等情况。
40.应当明白，本发明的上文的概述和下面的详细说明是示例性和解释性的，并且意在提供对如要求保护的本发明的进一步的解释。
附图说明
41.图1为本方法的流程示意图。
42.图2为本方法需要跟踪的初始帧的示例图。
43.图3为待跟踪的目标区域的示意图。
44.图4为待跟踪的目标的有效区域的示意图。
45.图5为第一次筛选步骤的前后示意图。。
46.图6为第二次筛选步骤的前后示意图。
47.图7为图像块和扩展图像块的示意图。
48.图8为第一次互相关匹配的区域的示意图。
49.图9为第二次互相关匹配的区域的示意图。
具体实施方式
50.为了便于本领域技术人员理解，现将实施例结合附图对本发明的结构作进一步详细描述：
51.参考图1，一种基于特征点的平面跟踪方法，包含以下步骤：
52.s1，视频获取步骤：获取初始视频文件，并指定所述初始视频文件的特定关键帧图像作为初始帧；
53.s2，角点获取步骤：获取初始帧中的待跟踪的目标区域，裁剪出有效区域，提取有效区域角点。其中，待跟踪的目标区域为用户选定的区域。
54.图2是本方法需要跟踪的初始帧，本方法选取了视频中女生上半生区域作为需要跟踪的平面，为了排除背景区域的干扰，我们只裁剪出区域内的图像为后续特征提取作准备，因为那些区域的特征点稀疏或者是不存在，最终我们得到图3所示的胸口碎花的关键区
域作为待跟踪的目标区域，图3中的框体表示该框体内的图像为目标区域。本发明跟踪的有效区域具有一定的复杂性，例如该花纹与衣服的底色具有一定的区别，纹理也有区别。通过用户输入需要剪裁的区域，如图4所示，得到有效区域。提取有效区域的角点，得到的结果如图5所示，其中，图5中增加的方形点阵边框为角点，角点的数量较多，一般大于20个。
55.角点就是极值点，即在某方面属性特别突出的点。角点可以是两条线的交叉处，也可以是位于相邻的两个主要方向不同的事物上的点。
56.s3，筛选步骤：将第i
‑
1帧图像中所述有效区域的角点与在第i帧的所述对应角点关联为角点对，筛选合格的所述角点对，定义为最终匹配点对，通过所述最终匹配点对计算最终单应性矩阵。
57.筛选步骤具体为：
58.第一次筛选步骤：获取第i
‑
1帧图像与第i帧图像、提取第i
‑
1帧图像对应所述有效区域的角点与第i帧图像对应所述有效区域的角点，通过所述第i
‑
1帧图像、所述第i帧图像和所述第i
‑
1帧图像对应所述有效区域的角点，通过klt稀疏光流法预测第i
‑
1帧图像对应所述有效区域的角点在第i帧的对应角点，将第i
‑
1帧图像中所述有效区域的角点与在第i帧的所述对应角点关联为角点对，得到所述第i
‑
1帧图像对应所述有效区域的角点和第i帧图像对应所述有效区域的角点的每一运动轨迹，计算每一所述运动轨迹的欧式距离，所述欧式距离小于等于第一预设阈值的角点对定义为合格的角点对，统计所述角点对的数量，
59.所述第一预设阈值为3
‑
5，
60.若所述运动轨迹的欧式距离小于等于第一预设阈值的角点对的数量大于第二预设阈值，所述第二预设阈值为8
‑
12，则判定为跟踪成功，根据所述角点对计算得到第一单应性矩阵。
61.因为我们知悉初始帧的信息，所以我们接下来就开始跟踪有效区域在第i帧中的关键点的位置。这里使用klt稀疏光流法进行跟踪和预测，根据第i
‑
1帧的角点预测得到第i帧角点的移动位置，通过计算得到的前后帧相应点的一个偏移误差阈值来过滤部分不合格的点。首先，通过klt稀疏光流法预测第i
‑
1帧图像对应所述有效区域的角点，得到这些角点在在第i帧的位置，然后将第i
‑
1帧图像的角点分别连接第i帧图像的角点，得到一系列连线，这些连线就是角点的每一运动轨迹。本实施例中，klt稀疏光流法为现有技术的直接采用。接下来，计算这些运动轨迹的距离，本实施例采用的是欧式距离，如果某一个运动轨迹的欧式距离过长，则认为跟踪错误，删减掉这些角点，能够使后续的跟踪更加平稳。如果大部分运动轨迹的欧式距离都过大，则认为跟踪失败，退出本方法。最后，根据这些合格的角点对去计算得到第一单应性矩阵。单应性矩阵homogeneous是射影几何中的一个术语，又称之为射影变换。本质上是一个数学概念，一般所说的单应矩阵是平面上的单应性矩阵，主要用来解决变换实现图像从一个视图变换到另一个视图的转换。
62.本实施例中，若所述运动轨迹的欧式距离小于等于4的角点对的数量大于10，则判定为跟踪成功。在其他实施例中，第一预设阈值也可以是3
‑
5中的任意数值，第二预设阈值也可以是8
‑
12中的任意数值。
63.图5的右图为角点经过第一次筛选步骤后得到的结果，可以看到，图5中的方框内的角点被筛除。
64.第二次筛选步骤：利用所述第一单应性矩阵对所述第i
‑
1帧图像对应所述有效区
域的角点正运算并对计算结果逆运算，筛选所述角点对留在所述第i
‑
1帧图像内的角点对，得到第一匹配点对，通过所述第一匹配点对计算第二单应性矩阵。
65.使用计算得到的第一单应性矩阵将第i
‑
1帧的点变换到第i帧，然后又将计算到的第i帧的点逆变换会前一帧，结合rematch算法，筛除掉那些被变换到第i帧图像边界外的点，因为正常的配对点都应该处于前后帧的图像空间内部。这样能够使得位移过大的点被滤除。
66.参考图6，经过第二次筛选步骤后，右图方框中的角点对被删除，筛选后剩下右图内的第一匹配点对。
67.第三次筛选步骤：利用所述第二单应性矩阵对所述第i
‑
1帧图像对应所述有效区域的角点正运算，获取第i
‑
1帧中所述第一匹配点为中心的第一预设尺寸的待计算图像块，计算所述待计算图像块的方差，筛选所述方差小于阈值的所述第一匹配点对，得到最终匹配点对，通过所述最终匹配点对计算最终单应性矩阵。
68.此步骤中，第二次筛选步骤剩下来成对的点又重新计算得到第二单应性矩阵，这个时候利用第二单应性矩阵再把前一帧的角点变换到当前帧，这个时候统计每个点在当前帧中以自身为中心的局部8*8的图像块的方差，如果方差低于设定阈值，那么我们认为它的纹理过于简单不适合用于跟踪或者就是变换误差导致的，对它进行去除。
69.本实施例中，筛选所述方差小于8的所述第一匹配点对。在其他实施例中也可以是7
‑
9中的任意数值。
70.s4，优化步骤：利用所述最终单应性矩阵对利用所述最终单应性矩阵对所述最终匹配点对正运算，获取第i
‑
1帧中每一所述最终匹配点对为中心的第一预设尺寸的图像块，通过最终单应性矩阵将所述图像块中的每一像素映射到所述第i帧图像，获取所述第i帧图像中对应所述第二匹配点为中心的第二预设尺寸的扩展图像块，在所述扩展图像块中按每一像素逐行计算互相关匹配值，其中，所述第二预设尺寸大于所述第一预设尺寸，定义所述互相关匹配值最大的像素的坐标为平面跟踪到的坐标。
71.下面对优化步骤进行举例说明，由于物体在不同的时间会出现转动、移动、扭曲等情况，体现在视频中的第i
‑
1帧图像和第i帧图像之间也会出现转动、移动、扭曲等情况，当出现这些情况，需要跟踪的点的坐标也需要进行一定的转换。以第i
‑
1帧每个点为中心，提取8*8大小的图像块，进行透视变化，这个时候我们得到了新的8*8的图像块，此时它表示的是在当前帧空间上它应该的样子，然后在预测的第i帧点的中心的14*14的范围内进行扩展得到14*14的扩展图像块，如图7所示。然后进行互相关匹配，也就是以步长为1，以8*8在14*14的范围内进行逐块的相关性计算，如图8所示，首先以第一行第一列的像素进行8*8区域的相关性计算，然后，如图9所示，以第一行第二列的像素进行8*8区域的相关性计算，直至所有像素均进行相关性计算，此时能够得到一序列的互相关匹配值，互相关匹配值最大的像素点的坐标，即为物体在第i帧最后可能的位置。那么，定位到的点位置就是预测当前帧的点优化后的位置了。
72.进一步地，本实施例中所述第一预设尺寸为8*8，在其他实施例也可以6*6或者10*10，所述第二预设尺寸为14*14，在其他实施例中也可以是12*12或者16*16。
73.进一步提供一种基于特征点的平面跟踪系统，包含以下模块：
74.视频获取模块：用于获取初始视频文件，并指定所述初始视频文件的特定关键帧
图像作为初始帧；
75.角点获取模块：用于获取所述初始帧中的待跟踪的目标区域，裁剪出有效区域，提取有效区域的角点；
76.筛选模块：用于将第i
‑
1帧图像中所述有效区域的角点与在第i帧的所述对应角点关联为角点对，筛选合格的所述角点对，定义为最终匹配点对，通过所述最终匹配点对计算最终单应性矩阵；
77.优化模块：用于利用所述最终单应性矩阵对所述最终匹配点对正运算，获取第i
‑
1帧中每一所述最终匹配点对为中心的第一预设尺寸的图像块，通过最终单应性矩阵将所述图像块中的每一像素映射到所述第i帧图像，通过图像算法计算第i帧图像中对应扩展图像块的互相关匹配值，定义所述互相关匹配值最大的像素的坐标为平面跟踪到的坐标。
78.本系统的功能与上述方法相同，在此不展开详细描述。
79.以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属于本发明的涵盖范围。