一种适用于平面跟踪的特征点优化方法、系统与流程

1.本发明涉及平面跟踪领域，具体指有一种适用于平面跟踪的特征点优化方法、系统。


背景技术：

2.基于平面图的视觉跟踪，简称平面跟踪。在视频中进行平面跟踪时，因为目标区域在视频帧间移动过快，可能会导致跟踪失败，那么需要能够及时的重新找回跟踪目标。
3.然而，重新找回跟踪目标的过程中，往往会遇到平面中的物体抖动、变形、变色等情况，难以得到精确的单应性矩阵，从而无法得到稳定的跟踪效果，影响其鲁棒性。
4.针对上述的现有技术存在的问题设计一种适用于平面跟踪的特征点优化方法、系统是本发明研究的目的。


技术实现要素：

5.针对上述现有技术存在的问题，本发明在于提供一种适用于平面跟踪的特征点优化方法、系统，能够有效解决上述现有技术存在的问题。
6.本发明的技术方案是：
7.一种适用于平面跟踪的特征点优化方法，包含以下步骤：
8.待跟踪区域获取步骤：获取初始视频文件，获取所述初始视频文件的指定关键帧中的待跟踪区域；
9.第一次筛选步骤：预测第i
‑
1帧图像对应所述待跟踪区域的角点在第i帧的对应角点，将第i
‑
1帧图像中所述待跟踪区域的角点与在第i帧的所述对应角点关联为角点对，筛选出合格的所述角点对，根据所述角点对计算得到第一单应性矩阵；
10.第二次筛选步骤：利用所述第一单应性矩阵对所述第i
‑
1帧图像对应所述待跟踪区域的角点正运算并对计算结果逆运算，筛选合格的角点对，得到第一匹配点对，通过所述第一匹配点对计算第二单应性矩阵；
11.第三次筛选步骤：利用所述第二单应性矩阵对所述第i
‑
1帧图像对应所述待跟踪区域的角点正运算，筛选第一匹配点对得到第二匹配点对，以所述第二匹配点对作为平面跟踪的特征点。
12.进一步地，所述第一次筛选步骤具体为：
13.预测第i
‑
1帧图像对应所述待跟踪区域的角点在第i帧的对应角点，将第i
‑
1帧图像中所述待跟踪区域的角点与在第i帧的所述对应角点关联为角点对，得到所述第i
‑
1帧图像对应所述待跟踪区域的角点和第i帧图像对应所述待跟踪区域的角点的每一运动轨迹，计算每一所述运动轨迹的欧式距离，所述欧式距离小于等于第一预设阈值的角点对定义为合格的角点对，统计所述角点对的数量，
14.若所述运动轨迹的欧式距离小于等于第一预设阈值的角点对的数量大于第二预设阈值，则判定为跟踪成功，根据所述角点对计算得到第一单应性矩阵。
15.进一步地，预测所述第i
‑
1帧的角点在第i帧的位置之前，
16.获取第i
‑
1帧图像与第i帧图像、提取第i
‑
1帧图像对应所述待跟踪区域的角点与第i帧图像对应所述待跟踪区域的角点，通过所述第i
‑
1帧图像、所述第i帧图像和所述第i
‑
1帧图像对应所述待跟踪区域的角点。
17.进一步地，所述第一预设阈值为3
‑
5，所述第二预设阈值为8
‑
12。
18.进一步地，通过klt稀疏光流法预测第i
‑
1帧图像对应所述待跟踪区域的角点在第i帧的位置。
19.进一步地，所述第二次筛选步骤中，筛选合格的角点对具体为：
20.筛选所述角点对留在所述第i
‑
1帧图像内的角点对。
21.进一步地，所述第三次筛选步骤中，筛选第一匹配点对得到第二匹配点对具体为：
22.获取第i
‑
1帧中所述第一匹配点为中心的第一预设尺寸的待计算图像块，计算所述待计算图像块的方差，筛选所述方差小于阈值的所述第一匹配点对，得到第二匹配点对。
23.进一步提供一种适用于平面跟踪的特征点优化系统，包含以下模块：
24.待跟踪区域获取模块：用于获取初始视频文件，获取所述初始视频文件的指定关键帧中的待跟踪区域；
25.第一次筛选模块：用于预测第i
‑
1帧图像对应所述待跟踪区域的角点在第i帧的对应角点，将第i
‑
1帧图像中所述待跟踪区域的角点与在第i帧的所述对应角点关联为角点对，筛选出合格的所述角点对，根据所述角点对计算得到第一单应性矩阵；
26.第二次筛选模块：用于利用所述第一单应性矩阵对所述第i
‑
1帧图像对应所述待跟踪区域的角点正运算并对计算结果逆运算，筛选合格的角点对，得到第一匹配点对，通过所述第一匹配点对计算第二单应性矩阵；
27.第三次筛选模块：用于利用所述第二单应性矩阵对所述第i
‑
1帧图像对应所述待跟踪区域的角点正运算，筛选第一匹配点对得到第二匹配点对。
28.因此，本发明提供以下的效果和/或优点：
29.本发明通过获取初始帧中的待跟踪区域的角点，对该角点进行多次筛选，最终得到平稳的第二匹配点对，再对匹配点对的位置进行优化，从而得到最相关的一系列点作为平面跟踪到的特征点。
30.本发明通过跟踪算法跟踪角点的位置移动，从而剔除移动过大的角点；通过第一单应性矩阵的正运算和逆运算，结合rematch算法，能够将偏移量过大的的点剔除；再通过第二单应性矩阵结合相应的图像块的方差，滤除方差过大的点，能够为后续的步骤提供更加平稳的跟踪，减小偏移误差，提高本发明的实用性。
31.本发明稳定性高，具备鲁棒性，防止计算过程因为点的丢失等情况而出现退出等情况。
32.应当明白，本发明的上文的概述和下面的详细说明是示例性和解释性的，并且意在提供对如要求保护的本发明的进一步的解释。
附图说明
33.图1为本方法的流程示意图。
34.图2为本方法需要跟踪的初始帧的示例图。
35.图3为待跟踪的目标区域的示意图。
36.图4为待跟踪的目标的待跟踪区域的示意图。
37.图5为第一次筛选步骤的前后示意图。。
38.图6为第二次筛选步骤的前后示意图。
具体实施方式
39.为了便于本领域技术人员理解，现将实施例结合附图对本发明的结构作进一步详细描述：
40.参考图1，一种适用于平面跟踪的特征点优化方法，包含以下步骤：
41.s1，待跟踪区域获取步骤：获取初始视频文件，获取所述初始视频文件的指定关键帧中的待跟踪区域；其中，待跟踪区域为用户选定的区域。
42.图2是本方法需要跟踪的初始帧，本方法选取了视频中女生上半生区域作为需要跟踪的平面，为了排除背景区域的干扰，我们只裁剪出区域内的图像为后续特征提取作准备，因为那些区域的特征点稀疏或者是不存在，最终我们得到图3所示的胸口碎花的关键区域作为待跟踪的目标区域，图3中的框体表示该框体内的图像为目标区域。本发明跟踪的待跟踪区域具有一定的复杂性，例如该花纹与衣服的底色具有一定的区别，纹理也有区别。通过用户输入需要剪裁的区域，如图4所示，得到待跟踪区域。角点的数量较多，一般大于20个。
43.角点就是极值点，即在某方面属性特别突出的点。角点可以是两条线的交叉处，也可以是位于相邻的两个主要方向不同的事物上的点。
44.s2，第一次筛选步骤：获取第i
‑
1帧图像与第i帧图像、提取第i
‑
1帧图像对应所述待跟踪区域的角点与第i帧图像对应所述待跟踪区域的角点，通过所述第i
‑
1帧图像、所述第i帧图像和所述第i
‑
1帧图像对应所述待跟踪区域的角点，通过klt稀疏光流法预测第i
‑
1帧图像对应所述待跟踪区域的角点在第i帧的对应角点，将第i
‑
1帧图像中所述待跟踪区域的角点与在第i帧的所述对应角点关联为角点对，得到所述第i
‑
1帧图像对应所述待跟踪区域的角点和第i帧图像对应所述待跟踪区域的角点的每一运动轨迹，计算每一所述运动轨迹的欧式距离，所述欧式距离小于等于第一预设阈值的角点对定义为合格的角点对，统计所述角点对的数量，
45.所述第一预设阈值为3
‑
5，
46.若所述运动轨迹的欧式距离小于等于第一预设阈值的角点对的数量大于第二预设阈值，所述第二预设阈值为8
‑
12，则判定为跟踪成功，根据所述角点对计算得到第一单应性矩阵。
47.因为我们知悉初始帧的信息，所以我们接下来就开始跟踪待跟踪区域在第i帧中的关键点的位置。这里使用klt稀疏光流法进行跟踪和预测，根据第i
‑
1帧的角点预测得到第i帧角点的移动位置，通过计算得到的前后帧相应点的一个偏移误差阈值来过滤部分不合格的点。首先，通过klt稀疏光流法预测第i
‑
1帧图像对应所述待跟踪区域的角点，得到这些角点在在第i帧的位置，然后将第i
‑
1帧图像的角点分别连接第i帧图像的角点，得到一系列连线，这些连线就是角点的每一运动轨迹。本实施例中，klt稀疏光流法为现有技术的直接采用。接下来，计算这些运动轨迹的距离，本实施例采用的是欧式距离，如果某一个运动
轨迹的欧式距离过长，则认为跟踪错误，删减掉这些角点，能够使后续的跟踪更加平稳。如果大部分运动轨迹的欧式距离都过大，则认为跟踪失败，退出本方法。最后，根据这些合格的角点对去计算得到第一单应性矩阵。单应性矩阵homogeneous是射影几何中的一个术语，又称之为射影变换。本质上是一个数学概念，一般所说的单应矩阵是平面上的单应性矩阵，主要用来解决变换实现图像从一个视图变换到另一个视图的转换。
48.本实施例中，若所述运动轨迹的欧式距离小于等于4的角点对的数量大于10，则判定为跟踪成功。在其他实施例中，第一预设阈值也可以是3
‑
5中的任意数值，第二预设阈值也可以是8
‑
12中的任意数值。
49.图5的右图为角点经过第一次筛选步骤后得到的结果，可以看到，图5中的方框内的角点被筛除。
50.s3，第二次筛选步骤：利用所述第一单应性矩阵对所述第i
‑
1帧图像对应所述待跟踪区域的角点正运算并对计算结果逆运算，筛选所述角点对留在所述第i
‑
1帧图像内的角点对，得到第一匹配点对，通过所述第一匹配点对计算第二单应性矩阵。
51.使用计算得到的第一单应性矩阵将第i
‑
1帧的点变换到第i帧，然后又将计算到的第i帧的点逆变换会前一帧，结合rematch算法，筛除掉那些被变换到第i帧图像边界外的点，因为正常的配对点都应该处于前后帧的图像空间内部。这样能够使得位移过大的点被滤除。
52.参考图6，经过第二次筛选步骤后，右图方框中的角点对被删除，筛选后剩下右图内的第一匹配点对。
53.s4，第三次筛选步骤：利用所述第二单应性矩阵对所述第i
‑
1帧图像对应所述待跟踪区域的角点正运算，获取第i
‑
1帧中所述第一匹配点为中心的第一预设尺寸的待计算图像块，计算所述待计算图像块的方差，筛选所述方差小于阈值的所述第一匹配点对，得到第二匹配点对，，以所述第二匹配点对作为平面跟踪的特征点。
54.此步骤中，第二次筛选步骤剩下来成对的点又重新计算得到第二单应性矩阵，这个时候利用第二单应性矩阵再把前一帧的角点变换到当前帧，这个时候统计每个点在当前帧中以自身为中心的局部8*8的图像块的方差，如果方差低于设定阈值，那么我们认为它的纹理过于简单不适合用于跟踪或者就是变换误差导致的，对它进行去除，得到最相关的一系列点作为平面跟踪到的特征点，减小了特征点对的偏移误差，增强了平面跟踪的稳定性。
55.本实施例中，筛选所述方差小于8的所述第一匹配点对。在其他实施例中也可以是7
‑
9中的任意数值。
56.进一步提供一种适用于平面跟踪的特征点优化系统，包含以下模块：
57.待跟踪区域获取模块：用于获取初始视频文件，获取所述初始视频文件的指定关键帧中的待跟踪区域；
58.第一次筛选模块：用于预测第i
‑
1帧图像对应所述待跟踪区域的角点在第i帧的对应角点，将第i
‑
1帧图像中所述待跟踪区域的角点与在第i帧的所述对应角点关联为角点对，筛选出合格的所述角点对，根据所述角点对计算得到第一单应性矩阵；
59.第二次筛选模块：用于利用所述第一单应性矩阵对所述第i
‑
1帧图像对应所述待跟踪区域的角点正运算并对计算结果逆运算，筛选合格的角点对，得到第一匹配点对，通过所述第一匹配点对计算第二单应性矩阵；
60.第三次筛选模块：用于利用所述第二单应性矩阵对所述第i
‑
1帧图像对应所述待跟踪区域的角点正运算，筛选第一匹配点对得到第二匹配点对，以所述第二匹配点对作为平面跟踪的特征点。
61.本系统的功能与上述方法相同，在此不展开详细描述。
62.以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属于本发明的涵盖范围。