一种基于智能摄像机的高速视觉系统及其目标跟踪算法的制作方法

1.本发明涉及视觉跟踪领域，尤其涉及一种基于智能摄像机的高速视觉系统及其目标跟踪算法。


背景技术：

2.随着计算机视觉技术的迅速发展，目标跟踪问题受到越来越多学者的关注。目标视觉跟踪技术作为计算机视觉技术中至关重要的组成部分，在视频监控、现代交通系统、人机交互、辅助医疗诊断和国防安全等领域都发挥着其自身极其重要的作用。过去几十年中，人们对视觉跟踪技术投入了持续的努力，该技术已经有了显著发展，但是，在复杂、多变的自然场景中，视觉跟踪技术仍面临诸多挑战，目标运动过程中的表现、尺度及旋转角度不断变化是跟踪失败的主要原因，因此如何构建鲁棒的表观模型及实现目标的快速搜索是当前研究的热点。
3.经申请人研究发现，现有技术中的视觉跟踪系统有专利申请cn102301313a、cn106845425a、jp2015142791a，然而这些方案只能识别近距离且运动速度较低的目标，还有专利申请wo2007040920a2，然而该方案算法较复杂，对系统性能要求过高，这些典型的现有技术方案都难以满足实际应用中用户对高速视觉跟踪的需求。


技术实现要素：

4.本发明的目的在于，针对在所存在的不足，提出了一种基于智能摄像机的高速视觉系统及其目标跟踪算法。
5.为了克服现有技术的不足，本发明采用如下技术方案：一种基于智能摄像机的高速视觉系统，系统包括：处理模块、图像获取模块、云台控制模块；所述云台控制模块设在与智能摄像机连接的云台上，所述处理模块和图像获取模块设于智能摄像机上；所述图像获取模块、云台控制模块均与所述处理模块通讯连接；所述处理模块通过图像获取模块获得图像，从图像获取要跟踪的目标，当所述目标位于图像中部预设区域时采用第一目标跟踪算法跟踪目标，当目标位于图像边缘预设区域时切换为第二目标跟踪算法跟踪目标，同时处理模块根据计算出目标的运动速度、运动方向和位置，向云台控制模块发送控制云台旋转的第一控制命令，直到目标位于图像中部预设区域，处理模块向云台控制模块发送停止云台旋转的第二控制命令，并切换为第一目标跟踪算法继续跟踪目标。
6.进一步的，所述第一目标跟踪算法对处理模块的资源占用比第二目标跟踪算法少。
7.一种基于智能摄像机的高速视觉系统的目标跟踪算法，其应用于所述的高速视觉系统，包括以下步骤：步骤1，处理模块通过图像获取模块获得图像；步骤2，在图像中选择跟踪的目标；所述选择包括由处理模块自动选择，具体为：处
理模块识别采用第一目标跟踪算法对连续相邻帧图像进行比较，并根据比较结果确定图像中的移动目标为跟踪的目标；所述第一目标跟踪算法包括以下步骤2.1~步骤2.5：步骤2.1，在视频中选取相邻的三帧图像，并获取前一帧图像灰度值，其中(x,y)为像素点在图像的x-y平面直角坐标系中的位置；步骤2.2，对相邻的两帧图像的灰度值做差，分别得到当前帧与前一帧图像灰度差，当前帧与后一帧图像灰度差，及前一帧与后一帧图像灰度差；步骤2.3，令当前帧与前一帧图像的差分图像灰度值、当前帧与后一帧图像的差分图像灰度值及前一帧与后一帧图像的差分图像灰度值分别满足下列式子：;；
其中为前一帧图像内的最大灰度值，为前一帧图像内的最小灰度值，为当前帧图像内的最大灰度值，为当前帧图像内的最小灰度值，为后一帧图像内的最大灰度值，为后一帧图像内的最小灰度值；步骤2.4，获取、与的均值，令为灰度值大于等于的像素点，其中、、分别为对应的、、中的最大灰度值，根据下式获取预备前景图像，预备前景图像像素点的灰度值为：；将当前帧图像中与灰度值为255的位置相同的部分作为前景；步骤2.5，获取前景轮廓并基于前景轮廓获取目标跟踪框；步骤3，处理模块计算目标的运动速度、运动方向和其位置，并判断目标是否移到图像边缘预设区域，是则执行步骤4，否则返回步骤2继续执行；步骤4，处理模块将第一目标跟踪算法切换为第二目标跟踪算法获取目标，同时根据所述运动速度、运动方向和所述位置向云台控制模块发送控制云台旋转的第一控制命令，以使得所述目标始终处于智能摄像机获得的图像中；步骤5，处理模块判断目标是否从图像边缘预设区域移位到图像中部预设区域，是则切换为第一目标跟踪算法继续跟踪目标，同时向云台控制模块发送停止云台旋转的第二控制命令，否则返回步骤4继续执行。
8.进一步的，所述第二目标跟踪算法为光流法。
9.本发明所取得的有益效果是：本发明在要跟踪的目标处于图像中部预设区域时采用第一目标跟踪算法，在处于图像边缘预设区域时采用第二目标跟踪算法，即在背景相对静止时采用第一目标跟踪算法，在背景相对运动时采用第二目标跟踪算法，通过区别设置避免了只采用一种跟踪算法要么识别精度不够，要么对系统性能要求过高导致处理速度过慢的问题。进一步的，本发明的第一目标跟踪算法对处理模块的资源占用比第二目标跟踪算法少，使得系统在资源有限情况下能最大化的提高识别精度和运算速度，满足了用户对高速视觉系统目标跟踪的需求。
附图说明
10.从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
11.图1为本发明各个模块的关系示意图。
12.图2为本发明图像中部预设区域与边缘预设区域划分示意图。
13.图3为本发明的实施例二算法流程示意图。
14.图4为本发明的实施例二算法流程中步骤2示意图。
15.图5为本发明图像中目标跟踪框与边缘预设区域关系示意图。
具体实施方式
16.为了使得本发明的目的技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。以下描述旨在将所有此类附加的系统、方法、特征和优点都包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。
17.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位，以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
18.实施例一，一种基于智能摄像机的高速视觉系统，系统包括：处理模块、图像获取模块、云台控制模块；所述云台控制模块设在与智能摄像机连接的云台上，所述处理模块和图像获取模块设于智能摄像机上；如图1所示，所述图像获取模块、云台控制模块均与所述处理模块通讯连接；所述处理模块通过图像获取模块获得图像，从图像获取要跟踪的目标，当所述目标位于图像中部预设区域时采用第一目标跟踪算法跟踪目标，当目标位于图像边缘预设区域时切换为第二目标跟踪算法跟踪目标，同时处理模块根据计算出目标的运动速度、运动方向和位置，向云台控制模块发送控制云台旋转的第一控制命令，直到目标位于图像中部预设区域，处理模块向云台控制模块发送停止云台旋转的第二控制命令，并切换为第一目标跟踪算法继续跟踪目标。其中图像中部预设区域和图像边缘预设区域的设置可参考图2，图2矩形内框中的区域为图像中部预设区域，内框外的区域为图像边缘预设区域，也可通过圆形、椭圆形来设置内框，图2的矩形仅作为优选实施例，本发明对此不作限制。
19.进一步的，还包括与处理模块连接的人机交互模块，连接关系参见图1，所述人机交互模块为所述智能摄像机上的触摸屏或外部输入设备，所述获取要跟踪的目标可以通过人机交互模块的用户手动选择获取。在系统使用手动选择获取跟踪目标时，处理模块根据用户的选择提取目标特征，并使用基于特征的图像匹配法作为第一目标跟踪算法跟踪图像中的目标。
20.进一步的，所述第一目标跟踪算法对处理模块的资源占用比第二目标跟踪算法
少。例如第一目标跟踪算法可采用背影减法、帧差法等，第二目标跟踪算法可采用光流法、hog与svm目标检测法等，本实施例对此不作限定。
21.本实施例在要跟踪的目标处于图像中部预设区域时采用第一目标跟踪算法，在处于图像边缘预设区域时采用第二目标跟踪算法，即在背景相对静止时采用第一目标跟踪算法，在背景相对运动时采用第二目标跟踪算法，通过区别设置避免了只采用一种跟踪算法要么识别精度不够，要么对系统性能要求过高导致处理速度过慢的问题。
22.实施例二，本实施例为上述实施例的进一步描述应当理解本实施例包括前述全部技术特征并作进一步具体描述：一种基于智能摄像机的高速视觉系统的目标跟踪算法，其应用于所述的高速视觉系统，包括以下步骤：步骤1，处理模块通过图像获取模块获得图像；步骤2，在图像中选择跟踪的目标；所述选择由处理模块自动选择；自动选择为：处理模块识别采用第一目标跟踪算法对连续相邻帧图像进行比较，并根据比较结果确定图像中的移动目标为跟踪的目标；所述第一目标跟踪算法包括以下步骤2.1~步骤2.5：步骤2.1，在视频中选取相邻的三帧图像，并获取前一帧图像灰度值，其中(x,y)为像素点在图像的x-y平面直角坐标系中的位置；步骤2.2，对相邻的两帧图像的灰度值做差，分别得到当前帧与前一帧图像灰度差，当前帧与后一帧图像灰度差，及前一帧与后一帧图像灰度差；步骤2.3，令当前帧与前一帧图像的差分图像灰度值、当前帧与后一帧图像的差分图像灰度值及前一帧与后一帧图像的差分图像灰度值分别满足下列式子：;；
即为在情况下的像素点；为在情况下的像素点；其中为前一帧图像内的最大灰度值，为前一帧图像内的最小灰度值，为当前帧图像内的最大灰度值，为当前帧图像内的最小灰度值，为后一帧图像内的最大灰度值，为后一帧图像内的最小灰度值；本实施例并未将灰度差小于阈值的部分统一为一个灰度，此举目的为保留更多目标图像数据，为提高目标轮廓提取精度做准备。
23.步骤2.4，获取、与的均值，令为灰度值大于等于的像素点，其中、、分别为对应的、、中的最大灰度值，根据下式获取预备前景图像，预备前景图像像素点的灰度值为：；即将与的部分高亮，交集外的部分变暗，同时将当前帧图像中与灰度值为255的位置相同的部分作为前景；步骤2.5，获取前景轮廓并基于前景轮廓获取目标跟踪框；步骤3，处理模块计算目标的运动速度、运动方向和其位置，并判断目标是否移到
图像边缘预设区域，是则执行步骤4，否则返回步骤2继续执行；步骤4，处理模块使用第二目标跟踪算法获取目标，同时根据所述运动速度、运动方向和所述位置向云台控制模块发送控制云台旋转的第一控制命令，以使得所述目标始终处于智能摄像机获得的图像中；步骤5，处理模块判断目标是否从图像边缘预设区域移位到图像中部预设区域，是则执行步骤6，否则返回步骤4继续执行；步骤6，处理模块切换为第一目标跟踪算法继续跟踪目标，同时向云台控制模块发送停止云台旋转的第二控制命令。
24.本实施例的步骤1~步骤6参见图3及图4。优选的，在本实施例步骤2.1一开始可先对图像进行预处理，例如进行直方图均衡化或者中值滤波，以去除数据噪声，以获得更清晰的细节。本实施例采用的第一目标跟踪算法改进了现有技术检测方法的适应性，可得到更清晰的前景轮廓。
25.进一步的，所述第二目标跟踪算法为光流法，包括如下步骤：设t时刻图像上像素点(x,y)的亮度为l(x,y,t)，依据图像的亮度信息求取图像中像素点的亮度沿x、y、t方向（即图像的x-y平面直角坐标系的x轴y轴方向以及时间变量t变化的方向）的偏导数，令、分别为目标运动在图像中产生的光流沿x轴的速度矢量和y轴的速度矢量；依据式子 =0求取u和v；根据u、v及像素点(x,y)位置获取目标运动的最新位置=(ut x,vt y)。
26.进一步的，所述第二目标跟踪算法可采用l-k光流法、clg光流法等改进型的光流法，光流法可用于计算图像序列的像素或特征点的运动，并且可以提供密集（点对点）像素或特征点的对应关系。由于智能摄像机移动或监测图像中的对象发生运动都会产生光流，因此选用光流法提取前景目标以适用智能摄像机移动的情况。
27.进一步的，可先获取前景图像的质心，再根据质心及前景图像轮廓获取目标跟踪框；具体的，前景图像质心坐标(xz,yz)的获取方式为：令，，，h(x,y)为前景图像轮廓围绕形成的图像内部像素点的灰度值，n为前景图像轮廓围绕形成的图像x轴上的最大值，m为前景图像轮廓围绕形成的图像y轴上的最大值，则，。由于图像中各像素点的像素值分布一般是不均匀的，因此本发明通过采用质点反映图像中像素值分布集中的位置，能够客观的反映图像的核心位置，为获取准确的目标跟踪框提供了有力的基础。在获取质心位置后，根据所述质心及前景图像轮廓上与质心距离x或y方向上最远的像素点位置获取目标跟踪框的大小参数，例如长宽参数，从而获得目标跟踪框。
28.进一步的，处理模块根据目标跟踪框单位时间内移动距离和方向计算目标运动速度、运动方向和其位置，在所述目标跟踪框与图像边缘预设区域存在交集时，系统认为目标已位于图像边缘预设区域，反之，系统认为目标位于图像中部预设区域。例如图5中的汽车由于目标跟踪框位于内框之内因此系统认为其位于图像中部预设区域。
29.进一步的，本发明的图像帧可根据目标移动情况以不同的频率捕获图像帧。例如，当目标移动速度大于预设阈值时，可以以较高的频率捕获较多的图像帧，而当目标移动速度小于预设阈值时，可以较低频率捕获较少数量的图像帧，以避免移动速度较慢时获取过多无用信息占用系统资源。
30.虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。
31.在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
32.综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。