一种多源复合立体视觉传感器动态跟踪方法与流程

1.本发明涉及多目标跟踪技术领域，尤其涉及一种多源复合立体视觉传感器动态跟踪方法。


背景技术：

2.多目标跟踪，就是指对图像序列中的目标进行多检测、提取、识别和跟踪，通过获得目标的运动参数，如位置、速度以及运动轨迹，从而使人们更好的理解和描述目标的行为，多目标跟踪是近些年新兴起的科学技术，它涉及到了随机统计、数学优化、图像处理、模式识别、人工智能、自动控制等多种学科，是当今国际上研究的热门方向，无论是在军用还是民用领域，多目标跟踪技术都有着十分广泛的应用,如控制预警、海洋监测、战场监视、智能交通、人机互动等。
3.多源复合立体视觉传感器是应用于无人驾驶领域的重要传感器之一，其具备可见光与红外波段的立体成像与测距功能，其至少包含两个可见光相机与两个红外相机，并具备多波段融合功能以及一定的感知功能，可以工作在昼夜环境下，尤其采用无主动照明的车载多源复合立体视觉传感器更具备一定的隐蔽性，具有更加广泛的应用场景。
4.常见的目标跟踪方法有很多，包括相关跟踪方法、基于模型的跟踪方法和基于特征的跟踪方法等，但这些方法大都存在一定缺陷，导致目标跟踪效率低，跟踪过程耗时长，且精准度不高，还容易出现跟踪丢失的现象，跟踪效果较差，无法进行广泛应用，而目前将多源复合立体视觉传感器应用于多目标跟踪的研究还不多，因此，本发明提出一种多源复合立体视觉传感器动态跟踪方法以解决现有技术中存在的问题。


技术实现要素：

5.针对上述问题，本发明的目的在于提出一种多源复合立体视觉传感器动态跟踪方法，解决常见的目标跟踪方法存在跟踪效率低、跟踪过程耗时长、精准度不高以及容易出现跟踪丢失的问题。
6.为了实现本发明的目的，本发明通过以下技术方案实现：一种多源复合立体视觉传感器动态跟踪方法，包括以下步骤：
7.步骤一：先对多源复合立体视觉传感器进行安装，并使传感器的拍摄视觉朝向带跟踪目标场景，再开启多源复合立体视觉传感器对待跟踪目标场景的左右视角进行实时拍摄，并将拍摄的视频图像数据网络传输至存储器中存储；
8.步骤二：先对存储器中存储的视频图像进行采集，接着基于隶属函数的模糊规则对采集的图像进行平滑处理，再利用图像均衡技术对采集的图像进行均衡化处理；
9.步骤三：对预处理后的右视角图像进行单目目标提取，并进行二值化处理，再对左右视角图像进行双目目标提取，并进行二值化处理，得到单目运动目标图像和双目运动目标图像；
10.步骤四：先利用多源复合立体视觉传感器的多波段融合功能将单目运动目标图像
与双目目标图像融合拼接，再利用相邻帧差法或光流法提取融合拼接图像中的运动目标深度信息，然后应用基于运动检测的目标跟踪方法跟踪运动目标，并在每一帧中将运动目标框选标记，实现多目标跟踪。
11.进一步改进在于：所述步骤一中，所述多源复合立体视觉传感器上设有两个可见光相机，对待跟踪目标场景进行实时拍摄时，利用多源复合立体视觉传感器上的两个可见光相机分别拍摄待跟踪目标场景的左视角图和右视角图。
12.进一步改进在于：所述步骤二中，平滑处理具体为：先计算采集图像上不同方向的模糊差分，接着对邻近像素值的贡献进行加权，并使用计算得到的模糊差分进行模糊平滑处理，得到平滑的视频图像。
13.进一步改进在于：所述步骤二中，均衡化处理具体为：通过图像均衡技术统计采集图像的像素值，并计算像素值占比灰度等级的概率以及每个灰度等级的累计概率，再对累计概率进行灰度等级的映射，得到均衡化的视频图像。
14.进一步改进在于：所述步骤三中，进行单目目标提取的具体步骤为：先在右视角图上应用背景加权累加法对图像背景进行更新，再利用背景差法提取运动目标并进行二值化处理，获得单目运动目标图像。
15.进一步改进在于：所述步骤三中，进行双目目标提取的具体步骤为：对左右视角图像进行立体匹配，得到直观反应目标深度信息的视差图，在视差图上应用背景差法提取运动目标并进行二值化处理，获得双目运动目标图像。
16.进一步改进在于：所述步骤四中，利用相邻帧差法提取运动目标时，先用融合拼接图像中相邻的两帧做差，接着根据差值判别两帧图形像中区别特征，将区别特征提取出来作用运动目标。
17.进一步改进在于：所述相邻帧差法的具体操作为：先输入一帧图像，再将该图像与前一帧图像做差得到差分图像，接着对得到的差分图像设置阈值并进行二值化处理，然后用连通域分析算法对二值化的图像进行分析，舍去其中面积小于标准值的区域，并保留面积大与标准值的区域作为目标区域，即运动目标。
18.进一步改进在于：所述步骤四中，利用光流法提取运动目标时，先用低通滤波器来提取单一的目标信息，然后将目标分割出来，再利用整合算法来生成二维的运动流场，最后在二维的运动流场提取运动目标。
19.本发明的有益效果为：本发明采用运动检测与立体视觉相结合的方法对视频图像中的运动目标进行跟踪，视野更为开阔，且双目视觉形成的视差图可以处理遮挡，跟踪效率高，提高了跟踪效果，通过对视频图像进行平滑处理和均衡化处理，使图像更为清晰，给后续的目标提取工作带来便捷，通过立体视觉可以提取出目标的深度信息，根据计算可以得到目标距离，相比常见的目标跟踪方法减小了误差，实现对多目标进行实时跟踪，并避免跟踪过程中发生跟踪丢失的情况，可以实际应用于多种领域。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可
以根据这些附图获得其他的附图。
21.图1是本发明的方法流程示意图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得所有其他实施例，都属于本发明保护的范围。
23.实施例一
24.参见图1，本实施例提供了一种多源复合立体视觉传感器动态跟踪方法，包括以下步骤：
25.步骤一：先对多源复合立体视觉传感器进行安装，并使传感器的拍摄视觉朝向带跟踪目标场景，再开启多源复合立体视觉传感器对待跟踪目标场景的左右视角进行实时拍摄，并将拍摄的视频图像数据网络传输至存储器中存储，多源复合立体视觉传感器上设有两个可见光相机，对待跟踪目标场景进行实时拍摄时，利用多源复合立体视觉传感器上的两个可见光相机分别拍摄待跟踪目标场景的左视角图和右视角图，采用两个可见光相机对跟踪目标场景进行拍摄，双目视觉形成的视差图可以处理遮挡；
26.步骤二：先对存储器中存储的视频图像进行采集，接着基于隶属函数的模糊规则对采集的图像进行平滑处理，再利用图像均衡技术对采集的图像进行均衡化处理，平滑处理具体为：先计算采集图像上不同方向的模糊差分，接着对邻近像素值的贡献进行加权，并使用计算得到的模糊差分进行模糊平滑处理，得到平滑的视频图像，通过对视频图像进行平滑处理和均衡化处理，使图像更为清晰，给后续的目标提取工作带来便捷；
27.均衡化处理具体为：通过图像均衡技术统计采集图像的像素值，并计算像素值占比灰度等级的概率以及每个灰度等级的累计概率，再对累计概率进行灰度等级的映射，得到均衡化的视频图像；
28.步骤三：对预处理后的右视角图像进行单目目标提取，并进行二值化处理，再对左右视角图像进行双目目标提取，并进行二值化处理，得到单目运动目标图像和双目运动目标图像，进行单目目标提取的具体步骤为：先在右视角图上应用背景加权累加法对图像背景进行更新，再利用背景差法提取运动目标并进行二值化处理，获得单目运动目标图像，采用运动检测与立体视觉相结合的方法对视频图像中的运动目标进行跟踪，视野更为开阔，提高了跟踪效果；
29.进行双目目标提取的具体步骤为：对左右视角图像进行立体匹配，得到直观反应目标深度信息的视差图，在视差图上应用背景差法提取运动目标并进行二值化处理，获得双目运动目标图像；
30.步骤四：先利用多源复合立体视觉传感器的多波段融合功能将单目运动目标图像与双目目标图像融合拼接，再利用相邻帧差法提取融合拼接图像中的运动目标深度信息，然后应用基于运动检测的目标跟踪方法跟踪运动目标，并在每一帧中将运动目标框选标记，实现多目标跟踪，利用相邻帧差法提取运动目标时，先用融合拼接图像中相邻的两帧做差，接着根据差值判别两帧图形像中区别特征，将区别特征提取出来作用运动目标，相邻帧
差法的具体操作为：先输入一帧图像，再将该图像与前一帧图像做差得到差分图像，接着对得到的差分图像设置阈值并进行二值化处理，然后用连通域分析算法对二值化的图像进行分析，舍去其中面积小于标准值的区域，并保留面积大与标准值的区域作为目标区域，即运动目标，通过将单目运动目标图像与双目目标图像融合拼接，并给予立体视觉提取运动目标的深度信息，可以根据计算得到目标距离，相比常见的目标跟踪方法减小了误差，实现对多目标进行实时跟踪。
31.实施例二
32.参见图1，本实施例提供了一种多源复合立体视觉传感器动态跟踪方法，包括以下步骤：
33.步骤一：先对多源复合立体视觉传感器进行安装，并使传感器的拍摄视觉朝向带跟踪目标场景，再开启多源复合立体视觉传感器对待跟踪目标场景的左右视角进行实时拍摄，并将拍摄的视频图像数据网络传输至存储器中存储，多源复合立体视觉传感器上设有两个可见光相机，对待跟踪目标场景进行实时拍摄时，利用多源复合立体视觉传感器上的两个可见光相机分别拍摄待跟踪目标场景的左视角图和右视角图，采用两个可见光相机对跟踪目标场景进行拍摄，双目视觉形成的视差图可以处理遮挡；
34.步骤二：先对存储器中存储的视频图像进行采集，接着基于隶属函数的模糊规则对采集的图像进行平滑处理，再利用图像均衡技术对采集的图像进行均衡化处理，平滑处理具体为：先计算采集图像上不同方向的模糊差分，接着对邻近像素值的贡献进行加权，并使用计算得到的模糊差分进行模糊平滑处理，得到平滑的视频图像，通过对视频图像进行平滑处理和均衡化处理，使图像更为清晰，给后续的目标提取工作带来便捷；
35.均衡化处理具体为：通过图像均衡技术统计采集图像的像素值，并计算像素值占比灰度等级的概率以及每个灰度等级的累计概率，再对累计概率进行灰度等级的映射，得到均衡化的视频图像；
36.步骤三：对预处理后的右视角图像进行单目目标提取，并进行二值化处理，再对左右视角图像进行双目目标提取，并进行二值化处理，得到单目运动目标图像和双目运动目标图像，进行单目目标提取的具体步骤为：先在右视角图上应用背景加权累加法对图像背景进行更新，再利用背景差法提取运动目标并进行二值化处理，获得单目运动目标图像，采用运动检测与立体视觉相结合的方法对视频图像中的运动目标进行跟踪，视野更为开阔，提高了跟踪效果；
37.进行双目目标提取的具体步骤为：对左右视角图像进行立体匹配，得到直观反应目标深度信息的视差图，在视差图上应用背景差法提取运动目标并进行二值化处理，获得双目运动目标图像；
38.步骤四：先利用多源复合立体视觉传感器的多波段融合功能将单目运动目标图像与双目目标图像融合拼接，再利用光流法提取融合拼接图像中的运动目标深度信息，然后应用基于运动检测的目标跟踪方法跟踪运动目标，并在每一帧中将运动目标框选标记，实现多目标跟踪，利用光流法提取运动目标时，先用低通滤波器来提取单一的目标信息，然后将目标分割出来，再利用整合算法来生成二维的运动流场，最后在二维的运动流场提取运动目标，通过将单目运动目标图像与双目目标图像融合拼接，并给予立体视觉提取运动目标的深度信息，可以根据计算得到目标距离，相比常见的目标跟踪方法减小了误差，实现对
多目标进行实时跟踪。
39.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。