一种图像跟踪方法与流程

1.本发明涉及计算机视觉及图像处理技术领域，具体而言，涉及一种图像跟踪方法。


背景技术：

2.在计算机视觉系统中，经常需要对图像进行处理，特别是对图像中的物体进行识别和跟踪。图像跟踪主要是通过图像处理技术在图像中搜索运动目标的位置，通过对目标的检测定位而实现跟踪，图像跟踪技术广泛应用于安全监控、军事应用、医疗诊断、智能导航、增强现实、人机交互等各个领域中，在计算机视觉领域有着至关重要的地位。
3.目前，常用的图像跟踪方法通过在每幅图像中提取若干具有稳定和鲁棒性强的像素点作为图像的特征像素点，然后使用目标跟踪算法如光流法对这些特征像素点在不同图像间进行匹配实现目标跟踪。一方面传统图像跟踪算法对图像进行全局遍历，运算量大，存在较大的时延，导致跟踪效率降低，另一方面，特征像素点在目标图像的匹配度较低，跟踪准确率不高。因此，如何快速准确的实现对目标图像的跟踪，是图像跟踪技术发展过程中亟待解决的技术问题之一。


技术实现要素：

4.为了解决上述技术问题至少之一，本发明的实施例提出了一种图像跟踪方法，包括以下步骤：s101，根据预设的模板图像，确定待跟踪的视频图像序列的第i帧图像对应的相机外参矩阵mi；s102，在所述模板图像中，选取图像特征点p，以所述图像特征点p为中心，确定第一预设大小的第一图像区域，根据所述第一图像区域中的像素点确定所述图像特征点p的区域特征向量；s103，根据所述图像特征点p的坐标、相机内参矩阵m、所述待跟踪的视频图像序列的第i帧图像对应的相机外参矩阵mi以及图像坐标与世界坐标的空间对应关系，计算所述图像特征点p在所述待跟踪的视频图像序列的第i 1帧图像中对应的像素点sp；s104，在所述待跟踪的视频图像序列的第i 1帧图像中，以所述像素点sp为中心，确定第二预设大小的第二图像区域，在所述第二图像区域中确定所述图像特征点p在所述待跟踪的视频图像序列的第i 1帧图像中对应的匹配特征点；s105，重复步骤s102至s104，确定所述模板图像中的多个图像特征点在所述待跟踪的视频图像序列的第i 1帧图像中对应的匹配特征点，根据所述多个匹配特征点确定所述待跟踪的视频图像序列的第i 1帧图像对应的相机外参矩阵m
i 1
；s106，令i＝i 1，重复步骤s103至s105，直至所述待跟踪的视频图像序列的最后一帧图像。
5.优选地，所述步骤s101，具体为：对所述模板图像及所述待跟踪的视频图像序列的第i帧图像进行灰度转换，分别提取所述模板图像和所述待跟踪的视频图像序列的第i帧图像中的图像特征点；对所述模板图像和所述待跟踪的视频图像序列的第i帧图像中的图像特征点进行匹配，根据图像坐标与世界坐标的空间对应关系，计算确定所述待跟踪的视频图像序列的第i帧图像对应的相机外参矩阵mi。
6.优选地，所述步骤s102，具体为：在所述模板图像中，选取图像特征点p，根据第一
预设值t，确定以所述图像特征点p为中心，边长为2t 1的正方形区域为所述第一图像区域；遍历所述第一图像区域中的像素点，根据以下公式确定所述图像特征点p的区域特征向量vlen：
[0007][0008]
其中，esum为所述第一图像区域中每个像素点值之和，esum2为所述第一图像区域中每个像素点值的平方之和，enum为所述第一图像区域中的像素点个数之和。
[0009]
优选地，所述步骤s103，具体为：根据所述图像特征点p的坐标、相机内参矩阵m、所述待跟踪的视频图像序列的第i帧图像对应的相机外参矩阵mi以及图像坐标与世界坐标的空间对应关系，计算所述图像特征点p在所述待跟踪的视频图像序列的第i帧图像中对应的像素点p'；根据所述像素点p'的坐标，确定所述待跟踪的视频图像序列的第i 1帧图像中对应相同坐标的像素点为所述图像特征点p在所述待跟踪的视频图像序列的第i 1帧图像中对应的像素点sp。
[0010]
优选地，所述步骤s104，具体为：在所述待跟踪的视频图像序列的第i 1帧图像中，根据第二预设值t'，确定以所述像素点sp为中心，边长为2t' 1的正文形区域为所述第二图像区域，其中，t'》t；在所述第二图像区域中，设置一窗口区域，所述窗口区域为边长为2t 1的正方形区域；根据所述窗口区域中的像素点，确定所述窗口区域的中心像素点的区域特征向量和匹配值；在所述第二图像区域中，以n个像素为单位依次移动所述窗口区域，使所述窗口区域遍历所述第二图像区域；根据所述窗口区域每次移动后，所述窗口区域中的像素点，记录当前所述窗口区域的中心像素点对应的区域特征向量和匹配值；确定所述匹配值取得最大值时对应的所述窗口区域的中心像素点pw，为所述图像特征点p在所述待跟踪的视频图像序列的第i 1帧图像中对应的匹配点。
[0011]
优选地，所述根据所述窗口区域中的像素点，确定所述窗口区域的中心像素点的区域特征向量和匹配值的步骤，具体为：根据所述窗口区域中的像素点，通过以下公式确定当前所述窗口区域的中心像素点对应的区域特征向量wlen：
[0012][0013]
若wlen的值为0，则令匹配值matchv的值为0；若wlen的值不为0，则通过以下公式确定当前所述窗口区域的中心像素点对应的匹配值matchv：
[0014][0015]
其中，wsum为所述窗口区域中每个像素点值之和，wsum2为所述窗口区域中每个像素点值的平方之和，sum3为所述窗口区域中像素点值与所述第一图像区域中像素点值的乘积，wsum3＝sum3-wsum
×
esum/enum。
[0016]
优选地，所述步骤s105，具体为：重复步骤s102至s104，确定所述模板图像中的多个图像特征点在所述待跟踪的视频图像序列的第i 1帧图像中对应的匹配特征点，得到匹配特征点集合；根据所述匹配特征点集合，通过pnp算法确定所述待跟踪的视频图像序列的第i 1帧图像对应的相机外参矩阵m
i 1
。
[0017]
优选地，所述提取所述模板图像和所述待跟踪的视频图像序列的第i帧图像中的图像特征点为sift特征点、surf特征点、orb特征点、hog特征点、fast特征点、brisk特征点或lbp特征点。
[0018]
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
[0019]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0020]
图1是本发明的实施例的图像跟踪方法的流程示意图。
具体实施方式
[0021]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
[0022]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0023]
本发明实施例提出一种图像特征区域检测方法，如图1所示，包括以下步骤：s101、根据预设的模板图像，确定待跟踪的视频图像序列的第i帧图像对应的相机外参矩阵mi；s102、在所述模板图像中，选取图像特征点p，以所述图像特征点p为中心，确定第一预设大小的第一图像区域，根据所述第一图像区域中的像素点确定所述图像特征点p的区域特征向量；s103、根据所述图像特征点p的坐标、相机内参矩阵m、所述待跟踪的视频图像序列的第i帧图像对应的相机外参矩阵mi以及图像坐标与世界坐标的空间对应关系，计算所述图像特征点p在所述待跟踪的视频图像序列的第i 1帧图像中对应的像素点sp；s104、在所述待跟踪的视频图像序列的第i 1帧图像中，以所述像素点sp为中心，确定第二预设大小的第二图像区域，在所述第二图像区域中确定所述图像特征点p在所述待跟踪的视频图像序列的第i 1帧图像中对应的匹配特征点；s105、重复步骤s102至s104，确定所述模板图像中的多个图像特征点在所述待跟踪的视频图像序列的第i 1帧图像中对应的匹配特征点，根据所述多个匹配特征点确定所述待跟踪的视频图像序列的第i 1帧图像对应的相机外参矩阵m
i 1
；s106、令i＝i 1，重复步骤s103至s105，直至所述待跟踪的视频图像序列的最后一帧图像。
[0024]
在该技术方案中，根据预设的模板图像，通过特征点匹配，确定待跟踪的视频图像序列{v1,v2,...vn}中的第i帧图像vi对应的相机外参矩阵mi，其中，i为自然数，且1≤i＜n，第i帧图像可以是视频图像序列的第一帧图像，也可以是视频图像序列中间的任一帧图像，例如，当i＝1时，表示从待跟踪视频图像序列的第一帧开始跟踪；进一步地，根据待跟踪的视频图像序列的第i帧图像vi对应的相机外参矩阵mi，在第i 1帧图像v
i 1
中的特定区域确定模板图像中的多个图像特征点对应的匹配特征点，从而计算得到第i 1帧图像v
i 1
对应的相机外参矩阵m
i 1
，实现目标图像跟踪，依此类推，根据当前帧图像对应的相机外参矩阵，通过
匹配特征点依次确定下一帧图像的外参矩阵，至直待跟踪的视频图像序列的最后一帧，完成对视频图像中目标图像的跟踪。
[0025]
在上述技术方案中，步骤s101，具体为：对所述模板图像及所述待跟踪的视频图像序列的第i帧图像进行灰度转换，分别提取所述模板图像和所述待跟踪的视频图像序列的第i帧图像中的图像特征点；对所述模板图像和所述待跟踪的视频图像序列的第i帧图像中的图像特征点进行匹配，根据图像坐标与世界坐标的空间对应关系，计算确定所述待跟踪的视频图像序列的第i帧图像对应的相机外参矩阵mi。
[0026]
在该技术方案中，对模板图像和待跟踪的视频图像序列{v1,v2,...vn}的第i帧图像进行灰度转换，去除色彩信息以减少运算量，分别提取模板图像和待跟踪的视频图像序列{v1,v2,...vn}的第i帧图像vi中的图像特征点，例如，sift特征点、surf特征点、orb特征点、hog特征点、fast特征点、brisk特征点或lbp特征点，根据特征点匹配算法，例如暴力匹配算法(brute-force算法)，对模板图像及i帧图像vi中的图像特征点进行匹配，根据图像坐标与世界坐标的空间对应关系，计算确定待跟踪的视频图像序列的第i帧图像vi对应的相机外参矩阵mi。
[0027]
在上述技术方案中，步骤s102，具体为：在所述模板图像中，选取图像特征点p，根据第一预设值t，确定以所述图像特征点p为中心，边长为2t 1的正方形区域为所述第一图像区域；遍历所述第一图像区域中的像素点，根据以下公式确定所述图像特征点p的区域特征向量vlen：
[0028][0029]
其中，esum为所述第一图像区域中每个像素点值之和，esum2为所述第一图像区域中每个像素点值的平方之和，enum为所述第一图像区域中的像素点个数之和。
[0030]
在该技术方案中，在模板图像的图像特征点中选取任一图像特征点p，根据第一预设值t，确定以图像特征点p为中心，边长为2t 1的正方形区域为所述第一图像区域e，其中，若模板图像的宽度为swidth，高度为sheight，则1＜t＜min(swidth,sheight)4-1，通常t值越大，运算量越大，运算误差越大，遍历第一图像区域e中的像素点，确定图像特征点p的区域特征向量vlen。
[0031]
在上述技术方案中，步骤s103，具体为：根据所述图像特征点p的坐标、相机内参矩阵m、所述待跟踪的视频图像序列的第i帧图像对应的相机外参矩阵mi以及图像坐标与世界坐标的空间对应关系，计算所述图像特征点p在所述待跟踪的视频图像序列的第i帧图像中对应的像素点p'；根据所述像素点p'的坐标，确定所述待跟踪的视频图像序列的第i 1帧图像中对应相同坐标的像素点为所述图像特征点p在所述待跟踪的视频图像序列的第i 1帧图像中对应的像素点sp。
[0032]
在该技术方案中，根据图像特征点p在模板图像中的坐标，结合相机内参矩阵m、待跟踪的视频图像序列的第i帧图像对应的相机外参矩阵mi以及图像坐标与世界坐标的空间对应关系，计算确定图像特征点p在待跟踪的视频图像序列的第i帧图像中对应的像素点p'。需要说明的是，如果在步骤s101中的特征点匹配过程中，已经确定特征点p在待跟踪的视频图像序列的第i帧图像中匹配的特征点，则确定该匹配的特征点为图像特征点p在待跟踪的视频图像序列的第i帧图像中对应的像素点p'。根据像素点p'在待跟踪的视频图像序
列的第i帧图像中的坐标，确定待跟踪的视频图像序列的第i 1帧图像中对应相同坐标的像素点为图像特征点p在待跟踪的视频图像序列的第i 1帧图像中对应的像素点sp。
[0033]
在上述技术方案中，步骤s104，具体为：在待跟踪的视频图像序列的第i 1帧图像中，根据第二预设值t'，确定以像素点sp为中心，边长为2t' 1的正文形区域为第二图像区域，其中，t'》t；在第二图像区域中，设置一窗口区域，窗口区域为边长为2t 1的正方形区域；根据窗口区域中的像素点，确定窗口区域的中心像素点的区域特征向量和匹配值；在第二图像区域中，以n个像素为单位依次移动窗口区域，使窗口区域遍历第二图像区域；根据窗口区域每次移动后，窗口区域中的像素点，记录当前窗口区域的中心像素点对应的区域特征向量和匹配值；确定匹配值取得最大值时对应的窗口区域的中心像素点pw，为图像特征点p在待跟踪的视频图像序列的第i 1帧图像中对应的匹配点。
[0034]
在该技术方案中，在待跟踪的视频图像序列的第i 1帧图像中，根据第二预设值t'，确定以像素点sp为中心，边长为2t' 1的正文形区域为第二图像区域se，其中，t'》t，例如，t'＝2t，通常t'值越大，运算量越大，运算误差越大；
[0035]
在第二图像区域se中，设置一窗口区域w，窗口区域w为边长为2t 1的正方形区域，即窗口区域w的尺寸与第一图像区域e相同，且窗口区域w始终位于第二图像区域se中；在第二图像区域se中，以n个像素为单位依次移动窗口区域w，使窗口区域遍历第二图像区域，例如，以窗口区域w左上角顶点与第二图像区域se左上角顶点重合位置为起点，每次移动以1个像素为单位，向右水平移动窗口区域w，至窗口区域w右上角顶点与第二图像区域se右上角顶点重合位置后，再将窗口区域w垂直下移1个像素，以1个像素为单位，向左水平移动窗口区域w，至窗口区域w左侧边缘与第二图像区域se左侧边缘重合，以此类推，至窗口区域w右下角顶点与第二图像区域se右下角顶点位置重合，完成对第二图像区域se的遍历。需要说明的是，此处仅描述一种遍历方式进行示意性说明，其它遍历方式亦可达到相同的技术效果，此处不做限定。
[0036]
根据窗口区域w的初始位置及每次移动后的窗口区域中的像素点，确定当前窗口区域w的中心像素点的区域特征向量和匹配值，具体地，根据所述窗口区域中的像素点，通过以下公式确定当前所述窗口区域的中心像素点对应的区域特征向量wlen：
[0037][0038]
若wlen的值为0，则令匹配值matchv的值为0；若wlen的值不为0，则通过以下公式确定当前所述窗口区域的中心像素点对应的匹配值matchv：
[0039][0040]
其中，wsum为所述窗口区域中每个像素点值之和，wsum2为所述窗口区域中每个像素点值的平方之和，sum3为所述窗口区域中像素点值与所述第一图像区域中像素点值的乘积，wsum3＝sum3-wsum
×
esum/enum。
[0041]
确定所述匹配值matchv取得最大值时对应的窗口区域的中心像素点pw，为图像特征点p在待跟踪的视频图像序列的第i 1帧图像中对应的匹配点。
[0042]
在上述技术方案中，步骤s105，具体为：重复步骤s102至s104，确定所述模板图像中的多个图像特征点在所述待跟踪的视频图像序列的第i 1帧图像中对应的匹配特征点，得到匹配特征点集合；根据所述匹配特征点集合，通过pnp算法确定所述待跟踪的视频图像序列的第i 1帧图像对应的相机外参矩阵m
i 1
。
[0043]
在该技术方案中，在模板图像中选取多个图像特征点，重复步骤s102至s104，确定所述模板图像中的多个图像特征点在所述待跟踪的视频图像序列的第i 1帧图像中对应的匹配特征点，得到匹配特征点集合，通过pnp(perspective-n-point)算法确定所述待跟踪的视频图像序列的第i 1帧图像对应的相机外参矩阵m
i 1
，即完成第i帧图像的下一帧图像的跟踪，并可以据此继续对下一帧图像进行跟踪。
[0044]
在上述技术方案中，完成上述步骤s105后，令i＝i 1，重复步骤s103至s105，对下一帧图像进行跟踪，直至所述待跟踪的视频图像序列的最后一帧图像，从而完成对待跟踪视频图像的跟踪。
[0045]
本发明的实施例提供的图像跟踪方法，通过选取模板图像中的图像特征点，计算图像特征点的区域特征向量，在待跟踪的视频图像序列中的图像帧中的特定区域确定对应匹配的图像特征点，从而实现对视频图像中目标图像的跟踪。本发明提供的图像跟踪方法，将待跟踪的目标图像的图像特征点区域特征化、向量化，提升了图像特征匹配运算效率，提高了特征点跟踪精度，同时缩小了图像跟踪匹配范围，减少匹配算法的运算量，有效地提升了运算效率。
[0046]
在本发明中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0047]
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0048]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。