一种基于光流点的视频目标跟踪方法与流程

1.本发明涉及视频目标追踪领域，具体地说，是一种基于光流点的视频目标跟踪方法。


背景技术：

2.运动目标跟踪是计算机视觉领域的核心技术之一，也是安防监控、人机交互、智能交通、航空航天、医学诊断等多个领域的关键应用技术。目前为止，视觉跟踪已经形成了一套基本理论，并积累了大量的研究成果。常见的运动目标跟踪技术包括基于检测的跟踪、基于匹配的跟踪、基于滤波的跟踪、基于融合的跟踪等。这些方法分别从不同的角度分析视觉跟踪过程的特性，并建立相应模型来处理，但是单一的跟踪方法都存在一定的局限性或者固有的缺陷。比如常规的基于匹配的算法，具有跟踪稳定、精度高的特点，但是由于目标表观模型一般是基于全局特征或者是基于区域块特征的，导致搜索区域较大，计算量大、实时性较差，且当目标的尺寸、外形及姿态发生变化或者目标被遮挡时，目标模型更新不及时或更新过度都会影响算法的稳定性和有效性。
3.光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度，光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法，通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。


技术实现要素：

4.发明目的：本发明目的在于针对现有技术的不足，提供一种基于光流点的视频目标跟踪方法。
5.技术方案：本发明所述一种基于光流点的视频目标跟踪方法，包括以下步骤：
6.s1、分解待处理视频，将待处理视频逐帧分解；
7.s2、取待处理视频的第一帧，人工选取目标图形，采用直线逼近法粗选目标图形的边际标记点集；
8.s3、使用orb算子检测特征关键点并计算得到对应的特征描述向量，得到初始关键点集，同时识别目标图形的灰度梯度；
9.s4、将边际标记点集与初始关键点集进行重合比较，根据二者的对应点间的游离度为各个点进行加权，游离度越低权重越高，加权值区间为0～1，加权值超过0.5的点为重点光流点；
10.s5、继续取第二帧到第六百帧，重复s2～s4的步骤，同时将第一帧到第六百帧获得的边际标记点集及初始关键点集根据第一帧到第六百帧获得的灰度梯度进行立体排布，并根据立体排布中体现的灰度梯度变量获得第一帧到第六百帧的光流度中重点光流点变化趋势，得到初始特征库；
11.s6、后续视频中需要追踪目标图形时，根据初始特征库抓取当前追踪帧中的重点
光流点，采用金字塔lucas-kanade光流法进行前向光流和后向光流评估，随后使用orb算法检测并描述当前帧视频图像，得到关键点集；
12.s7、对s6中获得的关键点集中取三组三点定位构型来与初始特征库复向查验，确认其符合目标图形的重点光流点权重定义，从而完成对的视频目标的追踪定位。
13.作为优选的，s4中获取重点光流点后将各个重点光流点在s5中获得的立体排布中复配，标记目标图形在立体排布状态下的几何中心点，将获得的几何中心点纳入初始特征库。
14.作为优选的，s7中取三组三点定位构型来与初始特征库复向查验的同时将几何中心点与选取的三组三点定位构型进行重合匹配查验。
15.作为优选的，s4中，加权值超过0.75的点为重点光流点。
16.本发明相比于现有技术具有以下有益效果：将光流法追踪与rgb灰度追踪定位有效整合，可以在准备阶段构建数据量更大且更贴合目标实际立体构型的初始特征库，并将边际标记点集与初始关键点集进行重合比较，根据二者的对应点间的游离度为各个点进行加权，游离度越低权重越高，加权值区间为0～1，加权值超过0.5的点为重点光流点，通过将关键点集与初始特征库复向查验的方式即可确认追踪的准确性，计算量极大减小，从而使得追踪计算效率更高，有效降低了视频实时追踪过程中的延迟。
具体实施方式
17.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
19.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，也可以是成一体；可以是机械连接，也可以是电连接，也可以是通讯连接；可以是直接连接，也可以通过中间媒介的间接连接，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
20.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
21.实施例1：一种基于光流点的视频目标跟踪方法，包括以下步骤：
22.s1、分解待处理视频，将待处理视频逐帧分解；
23.s2、取待处理视频的第一帧，人工选取目标图形，采用直线逼近法粗选目标图形的边际标记点集；
24.s3、使用orb算子检测特征关键点并计算得到对应的特征描述向量，得到初始关键点集，同时识别目标图形的灰度梯度；
25.s4、将边际标记点集与初始关键点集进行重合比较，根据二者的对应点间的游离度为各个点进行加权，游离度越低权重越高，加权值区间为0～1，加权值超过0.5的点为重点光流点；
26.s5、继续取第二帧到第六百帧，重复s2～s4的步骤，同时将第一帧到第六百帧获得的边际标记点集及初始关键点集根据第一帧到第六百帧获得的灰度梯度进行立体排布，并根据立体排布中体现的灰度梯度变量获得第一帧到第六百帧的光流度中重点光流点变化趋势，得到初始特征库；
27.s6、后续视频中需要追踪目标图形时，根据初始特征库抓取当前追踪帧中的重点光流点，采用金字塔lucas-kanade光流法进行前向光流和后向光流评估，随后使用orb算法检测并描述当前帧视频图像，得到关键点集；
28.s7、对s6中获得的关键点集中取三组三点定位构型来与初始特征库复向查验，确认其符合目标图形的重点光流点权重定义，从而完成对的视频目标的追踪定位。
29.实施例2：一种基于光流点的视频目标跟踪方法，包括以下步骤：
30.s1、分解待处理视频，将待处理视频逐帧分解；
31.s2、取待处理视频的第一帧，人工选取目标图形，采用直线逼近法粗选目标图形的边际标记点集；
32.s3、使用orb算子检测特征关键点并计算得到对应的特征描述向量，得到初始关键点集，同时识别目标图形的灰度梯度；
33.s4、将边际标记点集与初始关键点集进行重合比较，根据二者的对应点间的游离度为各个点进行加权，游离度越低权重越高，加权值区间为0～1，加权值超过0.5的点为重点光流点；
34.s5、继续取第二帧到第六百帧，重复s2～s4的步骤，同时将第一帧到第六百帧获得的边际标记点集及初始关键点集根据第一帧到第六百帧获得的灰度梯度进行立体排布，将各个重点光流点在立体排布中复配，标记目标图形在立体排布状态下的几何中心点，并根据立体排布中体现的灰度梯度变量获得第一帧到第六百帧的光流度中重点光流点变化趋势，得到初始特征库，同时将获得的几何中心点纳入初始特征库；
35.s6、后续视频中需要追踪目标图形时，根据初始特征库抓取当前追踪帧中的重点光流点，采用金字塔lucas-kanade光流法进行前向光流和后向光流评估，随后使用orb算法检测并描述当前帧视频图像，得到关键点集；
36.s7、对s6中获得的关键点集中取三组三点定位构型来与初始特征库复向查验，确认其符合目标图形的重点光流点权重定义，同时将几何中心点与选取的三组三点定位构型进行重合匹配查验，从而完成对的视频目标的追踪定位。
37.实施例3：一种基于光流点的视频目标跟踪方法，包括以下步骤：
38.s1、分解待处理视频，将待处理视频逐帧分解；
39.s2、取待处理视频的第一帧，人工选取目标图形，采用直线逼近法粗选目标图形的边际标记点集；
40.s3、使用orb算子检测特征关键点并计算得到对应的特征描述向量，得到初始关键
点集，同时识别目标图形的灰度梯度；
41.s4、将边际标记点集与初始关键点集进行重合比较，根据二者的对应点间的游离度为各个点进行加权，游离度越低权重越高，加权值区间为0～1，加权值超过0.75的点为重点光流点；
42.s5、继续取第二帧到第六百帧，重复s2～s4的步骤，同时将第一帧到第六百帧获得的边际标记点集及初始关键点集根据第一帧到第六百帧获得的灰度梯度进行立体排布，将各个重点光流点在立体排布中复配，标记目标图形在立体排布状态下的几何中心点，并根据立体排布中体现的灰度梯度变量获得第一帧到第六百帧的光流度中重点光流点变化趋势，得到初始特征库，同时将获得的几何中心点纳入初始特征库；
43.s6、后续视频中需要追踪目标图形时，根据初始特征库抓取当前追踪帧中的重点光流点，采用金字塔lucas-kanade光流法进行前向光流和后向光流评估，随后使用orb算法检测并描述当前帧视频图像，得到关键点集；
44.s7、对s6中获得的关键点集中取三组三点定位构型来与初始特征库复向查验，确认其符合目标图形的重点光流点权重定义，同时将几何中心点与选取的三组三点定位构型进行重合匹配查验，从而完成对的视频目标的追踪定位。
45.这一技术方案的优点在于将光流法追踪与rgb灰度追踪定位有效整合，可以在准备阶段构建数据量更大且更贴合目标实际立体构型的初始特征库，并将边际标记点集与初始关键点集进行重合比较，根据二者的对应点间的游离度为各个点进行加权，游离度越低权重越高，加权值区间为0～1，加权值超过0.5的点为重点光流点，通过将关键点集与初始特征库复向查验的方式即可确认追踪的准确性，计算量极大减小，从而使得追踪计算效率更高，有效降低了视频实时追踪过程中的延迟。
46.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一特征和第二特征直接接触，或第一特征和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可以是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度低于第二特征。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述，意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。
47.而且，描述的具体特征、结构、材料或者特点可以在任意一个或者多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
48.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。