基于双目视觉的障碍物检测及人员跟随算法的制作方法

1.本发明涉及图像处理技术领域，尤其涉及基于双目视觉的障碍物检测及人员跟随算法。


背景技术：

2.智能机器人是人工智能的重要载体，不仅在工业领域、在日常生活和工作的各个领域都有着广泛应用。智能机器人目标检测技术是智能机器人认识其所处环境的能力，是智能机器人完成任务所必需的技能之一，也是待解决的难题。
3.在2013年之后，随着计算机技术的飞速发展，障碍物目标检测识别领域提出了基于卷积神经网络的深度学习算法。并且随着计算机技术的不断进步和计算机语言的发展,基于卷积神经网络的障碍物目标检测与识别算法也不断的进步发展。逐步将传统的障碍物目标检测识别算法进行替代，成为障碍物目标检测识别领域主流的主流算法。
4.对于人类和动物来说，在看一幅图片的时候可以很快的检测和识别图片中的目标物，而不需要反复地去扫描同一幅图片。基于以上的思考，joseph redmon等人提出了yolo算法。该算法将目标检测与识别看成是一类回归问题，通过回归的方法去检测目标物的具体位置并判断他的类别。这种回归的方式只需要用单一的网络就可以一次性确定目标的边框同时识别目标的类别。
5.kcf全称为kernel correlation filter核相关滤波算法。是在2014年由joao f.henriques,rui caseiro,pedro martins,和jorge batista提出来的，这个算法不论是在跟踪效果还是跟踪速度上都有十分亮眼的表现，所以引起了一大批的学者对这个算法进行研究以及工业界也在陆续把这个算法应用在实际场景当中。kcf是一种鉴别式追踪方法，这类方法一般都是在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，当然越靠近目标的区域为正样本的可能性越大。
6.采用滑动窗口的目标检测算法并不知道要检测的目标大小是什么规模，所以需要设置不同大小和比例的窗口去滑动，而且还要选取合适的步长。但是这样会产生很多的子区域，如果步长或窗口不合适,就会错过目标,如果过于精细,无疑会产生巨大的计算量和复杂的分类计算。yolo算法通过分割再回归的朴素思想取代了滑动窗口思想的重复检测，取得了开创性突破。


技术实现要素：

7.本发明的目的是提供基于双目视觉的障碍物检测及人员跟随算法，其可以解决背景技术中涉及的技术问题。
8.为实现上述目的，本发明的技术方案为：
9.一种基于双目视觉的障碍物检测及人员跟随算法，包括：
10.障碍物检测算法，具体包括如下步骤：
11.训练图形标注，使用imagelabel对障碍物数据集进行标注；
12.训练特征模型，利用yolo算法采用卷积网络对标注的障碍物数据集进行提取特征，然后使用全连接层来得到预测值，网络结构参考goolenet模型，包含24个卷积层和2个全连接层；对于卷积层，使用1x1卷积来做channle reduction，然后紧跟3x3卷积；对于卷积层和全连接层，采用leaky relu激活函数：max(x,0.1x)；最后一层采用线性激活函数；
13.读取深度相机数据，系统通过ros启动相机驱动，发布相机ros节点，包括相机图像和深度信息；
14.将所述相机图像分成s
×
s的格子，将划分后的图片放入深度神经网络，判断每一个格子是否有目标、边框、类别的存在；
15.将预测的边框作非最大抑制找出最好的边框，即障碍物检测对象；
16.人员跟随算法，具体包括如下步骤：
17.读取深度相机数据；
18.计算hog描述子；
19.使用svm分类器识别人体；
20.使用kcf滤波算法进行人体跟踪。
21.作为本发明的一种改进，将所述相机图像分成448x448的格子。
22.作为本发明的一种改进，计算hog描述子步骤具体包括：
23.通过订阅ros节点获取彩色图像信息；
24.灰度化，将图像看做一个x,y,z的三维图像；
25.采用gamma校正法对输入图像进行颜色空间的标准化；
26.计算图像每个像素的梯度。
27.分格分块地统计每个像素的梯度，形成梯度直方图，得到最终的可供分类使用的特征向量。
28.作为本发明的一种改进，使用svm分类器识别人体步骤具体包括：使用滑动窗口算法，对每个图像小窗口调用预训练的人体识别检测器识别hog特征，寻找到需要识别的人体目标。
29.作为本发明的一种改进，使用kcf滤波算法进行人体跟踪步骤具体包括：
30.通过循环偏移构建出分类器的训练样本，从而使得数据矩阵变成一个循环矩阵，然后基于循环矩阵的特性把问题的求解变换到了离散傅里叶变换域，从而避免了矩阵求逆的过程，降低了算法复杂度；
31.结合循环矩阵的特性，使用核函数对训练样本的循环矩阵进行快速快速训练并快速检测。
32.本发明提供的基于双目视觉的障碍物检测及人员跟随算法的有益效果在于：通过深度相机的彩色信息，进行图像上的实时障碍物检测及人员跟随；通过图像的划分，减少障碍物检测次数，有效加快障碍物识别效率；通过核相关滤波加快跟踪算法运行效率和鲁棒性。
附图说明
33.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。下文描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
34.图1为本发明的障碍物算法流程图；
35.图2为本发明的障碍物算法网络设计图；
36.图3为本发明的人员跟随算法流程图；
37.图4为本发明的kcf算法流程图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
39.本发明提供了种基于双目视觉的障碍物检测及人员跟随算法，包括：
40.结合图1和2所示，障碍物检测算法，具体包括如下步骤：
41.训练图形标注，使用imagelabel对障碍物数据集进行标注；
42.训练特征模型，利用yolo算法采用卷积网络来提取标注的障碍物数据集的特征，然后使用全连接层来得到预测值，网络结构参考goolenet模型，包含24个卷积层和2个全连接层；对于卷积层，使用1x1卷积来做channle reduction，然后紧跟3x3卷积；对于卷积层和全连接层，采用leaky relu激活函数：max(x,0.1x)；最后一层采用线性激活函数；
43.读取深度相机数据，系统通过ros启动相机驱动，发布相机ros节点，包括相机图像和深度信息；
44.将所述相机图像分成s
×
s的格子，将划分后的图片放入深度神经网络，判断每一个格子是否有目标、边框、类别的存在；
45.需要进一步说明的是，将相机图像分成448x448格子。每个单元格会预测b个边界框(bounding box)以及边界框的置信度(confidence score)。所谓置信度其实包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。每个边界框的预测值实际上包含5个元素：(x,y,w,h,c)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高，而最后一个值是置信度。每一个单元格其还要给出预测出c个类别概率值，其表征的是由该单元格负责预测的边界框其目标属于各个类别的概率。
46.将预测的边框作非最大抑制(nms)找出最好的边框，即障碍物检测对象；
47.结合图3和4所示，人员跟随算法，具体包括如下步骤：
48.读取深度相机数据；
49.具体的，系统通过ros启动相机驱动，发布相机ros节点，包括相机图像和深度信息。
50.计算hog描述子；
51.需要进一步说明的是，具体包括如下步骤：
52.通过订阅ros节点获取彩色图像信息；
53.灰度化(将图像看做一个x,y,z(灰度)的三维图像)；
54.采用gamma校正法对输入图像进行颜色空间的标准化(归一化)；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；
55.计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰；
56.分格分块地统计每个像素的梯度，形成梯度直方图，得到最终的可供分类使用的特征向量。
57.使用svm分类器识别人体；
58.具体的，使用滑动窗口算法，对每个图像小窗口调用预训练的人体识别检测器识别hog特征，寻找到需要识别的人体目标。
59.使用kcf滤波算法进行人体跟踪。
60.具体的，通过循环偏移构建出分类器的训练样本，从而使得数据矩阵变成一个循环矩阵。然后基于循环矩阵的特性把问题的求解变换到了离散傅里叶变换域，从而避免了矩阵求逆的过程，降低了算法复杂度。结合循环矩阵的特性，使用核函数对训练样本的循环矩阵进行快速快速训练并快速检测。
61.本发明提供的基于双目视觉的障碍物检测及人员跟随算法的有益效果在于：通过深度相机的彩色信息，进行图像上的实时障碍物检测及人员跟随；通过图像的划分，减少障碍物检测次数，有效加快障碍物识别效率；通过核相关滤波加快跟踪算法运行效率和鲁棒性。
62.尽管本发明的实施方案已公开如上，但并不仅仅限于说明书和实施方案中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里所示出与描述的图例。