一种地面障碍物检测方法、系统、介质、设备及终端与流程

1.本发明属于计算机视觉、模式识别技术领域，尤其涉及一种地面障碍物检测方法、系统、介质、设备及终端。


背景技术：

2.目前，伴随自动化程度的提高，传统制造业的生产方式发生了深刻的变化，仓储物流的自动化己是大势所趋，生产由单一固定方式向具有较强适应性的柔性生产线过度。为了节约成本、提高经济效益，柔性制造系统和自动化仓储系统等先进的生产方式得到广泛应用，它们是以高智能化系统为决策中心，以机器人、自动化立体仓库、无人搬运车等为主要设备。其中，无人搬运设备以自动导引小车(agv)为标志，它将电子计算机科学、图像信号处理、自动控制等先进技术融合，是现代物流系统、柔性生产组织系统的关键设备。
3.agv小车的主要引导和导航方式主要有：坐标导引agv、电磁导引agv、光学导引agv、激光红外导航agv、视觉导航agv。视觉避障是视觉导航agv中的很重要模块，目前视觉避障常用的方式基于深度图像各种滤波算法，去除图像噪声，检测障碍物，定位障碍物，接着进行避障操作。虽然近些年来，深度图像滤波方法在去噪方面有很大的进步，但在该领域仍存在一些问题：产生噪声的原因很多，通过图像技术完全去除噪声显然是不现实的，噪点就会被误判为障碍物；为了寻找最近障碍物，需要遍历障碍物所有区域像素点，十分的耗费计算资源，计算效率低。
4.针对目前常用的图像滤波方法无法完全去除深度图像噪声的这个问题，目前主要解决方案有以下几种：
5.a、提升硬件方案，采用成像效果更好，低噪声的3d相机
6.通过更换3d深度相机使得深度图片成像更清晰，噪声更少，能够在一定程度上克服图像噪声对后续判断的不利影响。
7.b、增加更多的滤波层去剔除更多的噪声
8.对得到的深度图片进行更多层的滤波，层层叠加去除更多噪声。
9.针对目前由于遍历障碍物所有区域像素点，耗费计算资源的问题，目前主要解决方案有以下几种：
10.(1)更换更高级、性能能好的cpu
11.利用性能更好的cpu，在等量计算量的情况下，能够在一定程度上，提升计算效率。
12.(2)在处理终端中添加gpu以及dsp等设备
13.利用gpu和dsp等设备，可以利用gpu等多核并行计算，来较大幅度的提升计算效率。
14.(3)利用深度学习算法检测出障碍物
15.此方法对于固定场景下的障碍物可以较好识别，但过度依赖于训练模型，如果出现不在训练图片所包含的物体，则无法识别出障碍物。且目前边端深度学习设备成本较高，执行效率较低。
16.现有专利cn201710151701.9公开了一种利用深度摄像头避障的方法，当多角度虚拟平面接触障碍物时，获取所述多角度虚拟平面上的障碍物坐标；将所述障碍物坐标映射到所述摄像头高度所在水平平面上，生成映射坐标；利用所述映射坐标的数据取代摄像头高度所在水平平面上原来的该坐标上的坐标的数据，生成新避障地图。多角度虚拟平面接触障碍物时，获取多角度虚拟平面上的障碍物坐标，然后将障碍物坐标映射到摄像头高度的水平平面，生成映射坐标，最后生成更新避障地图。此方法计算量大，需要强大计算引擎支撑，而且避障地图不能实时更新，在未更新阶段的时候，会出现避障失败的情况。
17.现有专利201710233985.6公开了一种基于机器视觉的机器人主动避障方法，包括步骤有：获取视觉信息，视觉信息解算，障碍物检测、障碍物类型识别。现有专利还涉及一种基于机器视觉的机器人主动避障装置，将障碍物的检测、识别和避障结合，根据障碍物的不同采用不同的避障的策略。特别的，基于深度相机的障碍物的识别，将障碍物分为行人和非行人两种类型，采用主动式避障，确保避障安全，提高机器人的智能性与交互性。此方法计算量巨大，且过度依赖3d点云信息，3d点云信息没有进行预处理，遇到3d点云信息不准的情况，使得避障算法失效。
18.现有专利cn110826512a公开了一种地面障碍物检测方法、设备及计算机可读存储介质，此发明利用摄像头得到的图像信息，经过处理后将图像中障碍物分为第一轮廓和第二轮廓信息，通过对轮廓信息的分级来处理分析图像中障碍物的高低远近。此方法对每一层级的轮廓信息都进行深度信息结合水平视场角度、安装高度、安装角度、垂直视场角度、有效像素列数、有效像素行数等信息计算得到各个层级的极坐标，之后还要进行各种图像处理算法。这种方法显然是计算量巨大，实时性很差。
19.现有专利cn110526058a公开了一种在电梯间利用传感器获取rgb图像和深度图像信息，判断电梯坎区域是否有障碍物从而控制电梯门开关的系统。作者在对rgb图像和深度图像均要使用背景结构建模、前景检测、背景减法和形体滤波处理等操作。试用场景为相对固定的电梯间场景。该发明将rgb图像信息处理作为第一处理模块，深度图像信息处理作为第二处理模块，只有当第一和第二处理模块同时判断为是的时候，才认为存在障碍物，从而控制电梯门开关。但是，该发明背景结构建模、前景检测、背景减法和形体滤波处理的处理方法在固定场景下(如电梯间)可能取得较好结果，并不适用于通用场景(例如agv小车仓库避障场景)，且操作带来的大量计算量，影响系统实时性，需要对两种图像进行建模；仅仅只是形态滤波，并未对原始图像(rgb图像和深度图像)进行图像滤波，去除常见噪声；将rgb图像信息处理作为第一处理模块，深度图像信息处理作为第二处理模块，只有当第一和第二处理模块同时判断为是的时候，才认为存在障碍物，可选项中是加权值得到最终判断结果。
20.通过上述分析，现有技术存在的问题及缺陷为：
21.(1)通过现有图像技术无法完全去除噪声，噪点会被误判为障碍物；为寻找最近障碍物，需遍历障碍物所有区域像素点，十分耗费计算资源，计算效率低。
22.(2)现有障碍物检测方法过度依赖于训练模型，如果出现不在训练图片所包含的物体，则无法识别障碍物；且边端深度学习设备成本较高，执行效率低。
23.(3)现有障碍物检测方法计算量大，需要强大计算引擎支撑，而且避障地图不能实时更新，在未更新阶段的时候，会出现避障失败的情况。
24.(4)现有障碍物检测方法的实时性差，且过度依赖3d点云信息，3d点云信息未进行
预处理，遇到3d点云信息不准时算法会失效。


技术实现要素：

25.针对现有技术存在的问题，本发明提供了一种地面障碍物检测方法、系统、介质、设备及终端，尤其涉及一种基于深度摄像头的地面障碍物检测方法、系统、介质、设备及终端。
26.本发明是这样实现的，一种地面障碍物检测方法，所述地面障碍物检测方法包括：
27.采用中值滤波和高斯滤波相结合的方式对原始图像进行滤波，滤除图像噪声，并通过对图像连通域面积大小的判断剔除掉极小数的很小噪声点；对3d深度信息图进行缩放，利用图像处理技术中的各种形态学变换组合处理3d深度图像以及2d的rgb图片，实现基于深度图与rgb图的地面障碍物检测。
28.进一步，所述地面障碍物检测方法包括以下步骤：
29.步骤一，图像采集：利用rgb-d深度相机获取图像信息；
30.步骤二，图像预处理：采用中值滤波的方法对rgb和3d图像进行预处理后，再采用高斯滤波的方法对中值滤波后的图像进行预处理操作，滤除噪声；
31.步骤三，3d深度图避障：基于图像处理技术的深度图前景轮廓和rgb图前景轮廓进行高效图像算法操作，实现基于深度图与rgb图的避障。
32.进一步，所述步骤一中的图像信息包括2d rgb图像和3d深度图像；3d深度图像中的每个像素点为摄像头到图像中物体的距离，所述距离为深度信息。障碍物检测为检测出距离摄像头最近的物体距离。
33.所述步骤二中的中值滤波是将每一像素点的灰度值设置为所述点某邻域窗口内的所有像素点灰度值的中值。
34.进一步，所述步骤三中的深度图前景轮廓模型的构建包括：
35.(1)中值滤波：对深度图进行中值滤波，滤除图像类似椒盐的噪点；
36.(2)高斯滤波：对中值滤波结果进行高斯滤波，滤除图像高斯噪声；
37.(3)二值化：采用大津法进行二值化，将图像上的像素点的灰度值设置为0或255，实现将整个图像呈现出明显的黑白效果的过程；
38.(4)开运算：对得到的二值图进行形态学操作开运算，所述开运算为先腐蚀运算，再膨胀运算，除去孤立的小点和毛刺，而总的位置和形状不变；
39.(5)输出前景轮廓信息：开运算结束后，输出轮廓信息。
40.进一步，所述步骤三中的rgb图前景轮廓模型的构建包括：
41.(1)灰度化：对rgb图灰度化，得到灰度图；
42.(2)二值化：采用大津法进行二值化，将图像上的像素点的灰度值设置为0或255，实现将整个图像呈现出明显的黑白效果的过程；
43.(3)输出轮廓信息：二值化结束后，输出轮廓信息。
44.进一步，所述步骤三中的基于深度图与rgb图的避障包括：
45.(1)在分别利用深度图前景轮廓模型和rgb图前景轮廓模型得到2张轮廓信息图a和b后，将图a和图b进行“与”操作，得到两张图的共同前景轮廓区域，得到轮廓m1,m2…mn
，n个轮廓区域；
46.(2)设定阈值，遍历n个轮廓区域面积，大于阈值的轮廓区域保留，小于阈值的轮廓区域删除，并对保留轮廓n1,n2…nn
,依次计算轮廓内最近距离点。
47.其中，所述对保留轮廓n1,n2…nn
,依次计算轮廓内最近距离点包括：
48.1)对每个轮廓上的所有点进行排序；
49.2)获得轮廓上(x,y)坐标最小值和最大值分别为(xmin,ymin),(xmax,ymax)；
50.3)对(xmin,ymin),(xmax,ymax)两个点坐标均分为十等分，获得11个点坐标。
51.其中，所述十等分计算方法如下：
52.设(x0,y0)＝(xmin,ymin)，(x10,y10)＝(xmax,ymax)，则(x1,y1)＝(xmin (xmax-xmin)/10,xmin (xmax-xmin)/10)，11个点计算方法以此类推；
53.根据11个点的坐标获取11个点在深度图中对应的像素值11个，取其中最小值为距离相机最近障碍物的实际距离。
54.本发明的另一目的在于提供一种应用所述的地面障碍物检测方法的地面障碍物检测系统，所述地面障碍物检测系统包括：
55.图像采集模块，用于利用rgb-d深度相机获取图像信息；
56.图像预处理模块，用于采用中值滤波的方法对图像进行预处理后，再采用高斯滤波的方法对中值滤波后的图像进行预处理操作，滤除噪声；
57.3d深度图避障模块，用于分别构建基于图像处理技术的深度图前景轮廓模型和rgb图前景轮廓模型，实现基于深度图与rgb图的避障。
58.本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的地面障碍物检测方法的步骤。
59.本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的地面障碍物检测方法的步骤。
60.本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的地面障碍物检测系统。
61.结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
62.第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
63.本发明提供了一种实现3d深度相机实时避障的方法，采用图像处理技术高效完成计算过程。本发明提供了一种实现障碍物精准定位的方法，采用3d信息与2d信息相结合的方法实现障碍物准确定位。本发明还提供了一种降低障碍物误检率的方法，采用2种滤波方式对原始图像进行滤波，可以很好的滤除两种图像噪声，并通过对图像连通域面积大小的判断可以剔除掉部分的很小噪声点。
64.本发明提出了一种新的图像处理算法，避免对两种图像进行3d建模处理。本发明适当对3d深度信息图进行缩放，利用图像处理技术中巧妙新颖的各种形态学变换组合，高效处理3d深度图像以及2d的rgb图片，基本上不单独处理各个像素点，使得整体算法cpu使用率低且快速，算法可以对摄像头采集图像每帧实时运行检测。
65.本发明采用了2种滤波方式对3d深度图片进行滤波，首先采用中值滤波，通过实验，选择合适的滤波模板，可以很好的去除类似椒盐噪声的点状噪声；再采用高斯滤波，可以滤除自然界最常见的高斯噪声。之前业界常用算法中rgb图和深度图仅仅是或(加权)的关系来判断是否有障碍物，没有充分利用上两个图的有用的纹理信息，本发明更加深度的结合了两张图的纹理轮廓信息，提出了一种根据深度图十等分估算最近距离的新方法，具备更好的鲁棒性和可用性。
66.第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
67.本发明利用3d信息图和2d rgb图实时处理，当前图像一旦更新，立即判断是否有障碍物，无需更新地图即可发送操控agv小车运动指令，高效安全。本发明除了利用3d信息进行计算外，还辅助添加了2d的rgb图像信息，二者结合，使得最终检测数据更为稳定，结果也更可靠。与此同时，本发明针对3d信息也进行了图像预处理操作。本发明的算法简便高效，可以根据不同场景要求，调整计算图大小，工程实践上实时性可以很好的保证。本发明在仅仅具备cpu的边端机器上即可快速实时运行，不需要依赖dsp、npu、gpu等昂贵边端设备。
68.第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
69.本发明的技术方案转化后的预期收益和商业价值为：本发明可以很方便的不限制边端平台(linux、win)完美移植运行，极大的减少了当前agv领域硬件的成本问题，在同等检测效果下，此方法低功率，高效率的实时算法可以完美的运行在实际工业场景中。目前大多数avg导航小车中高成本的硬件(gpu、dsp、npu等)才能支持起软件算法上的巨大开销，本发明算法简洁、易于计算且cpu上即可高效完成，极大的降低了整车成本。
附图说明
70.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
71.图1是本发明实施例提供的地面障碍物检测方法流程图；
72.图2是本发明实施例提供的基于图像处理技术的深度图前景轮廓算法流程图；
73.图3是本发明实施例提供的基于图像处理技术的rgb图避障算法流程图；
74.图4是本发明实施例提供的基于深度图与rgb图避障算法流程图；
75.图5是本发明实施例提供的检测最终效果图。
具体实施方式
76.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
77.针对现有技术存在的问题，本发明提供了一种地面障碍物检测方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。
78.一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
79.如图1所示，本发明实施例提供的地面障碍物检测方法包括以下步骤：
80.s101，图像采集：利用rgb-d深度相机获取rgb图像和3d图像信息；
81.s102，图像预处理：采用中值滤波的方法对图像进行预处理后，再采用高斯滤波的方法对中值滤波后的图像进行预处理操作，滤除噪声；
82.s103，3d深度图避障：分别构建基于图像处理技术的深度图前景轮廓模型和rgb图前景轮廓模型，实现基于深度图与rgb图的避障。
83.作为优选实施例，本发明实施例提供的地面障碍物检测方法具体包括：
84.1、图像采集
85.利用rgb-d深度相机分别获取2d rgb图像和3d深度图像。
86.rgb-d深度相机获取的3d深度图像中的每个像素点为摄像头到图像中物体的距离，即深度信息。障碍物检测是要检测出距离摄像头最近的物体距离。
87.2、中值滤波
88.为了有效滤除图像中的噪音信号，本发明实施例采用中值滤波的方法对图像进行预处理操作，实现在滤除噪声的同时保护信号的边缘不被模糊。中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。
89.3、高斯滤波
90.为了有效滤除图像中的最为常见的高斯噪声信号，本发明实施例在中值滤波之后采用高斯滤波的方法对图像进行预处理操作，实现进一步滤除噪声。
91.4、3d深度图避障算法
92.4.1深度图避障算法简介
93.4.1.1深度图基本概念
94.depth map深度图是一张二维图片，每个像素都记录了从视点(viewpoint)到遮挡物表面(遮挡物就是阴影生成物体)的距离，这些像素对应的顶点对于观察者而言是“可见的”。
95.4.1.2避障算法基本思想
96.避障算法，顾名思义，是要避开障碍物，那么首先需要做的事情就是检测到距离摄像头最近的障碍物的位置。例如手中持有的杯子，即为距离摄像头最近的物体(前景物体)。通过对深度图的图像变换，定位到杯子在图中的位置，取出其像素值，即可找到障碍物距离摄像头的位置，完成检测过程。
97.4.2基于图像处理技术的深度图前景轮廓算法
98.图2给出了基于图像处理技术的深度图前景轮廓算法流程。本发明实施例提供的基于图像处理技术的深度图前景轮廓算法详细步骤描述如下：
99.(1)中值滤波
100.对深度图进行中值滤波，滤除图像类似椒盐的噪点。
101.(2)高斯滤波
102.对中值滤波结果进行高斯滤波，滤除图像高斯噪声。
103.(3)二值化
104.二值化采用的是大津法进行二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。
105.(4)开运算
106.对得到的二值图进行形态学操作开运算，开运算即先腐蚀运算，再膨胀运算，能够除去孤立的小点，毛刺，而总的位置和形状不变。
107.(5)输出前景轮廓信息
108.开运算结束后，输出即为轮廓信息。
109.4.3基于图像处理技术的rgb图前景轮廓算法
110.图3是本发明实施例提供的基于图像处理技术的rgb图避障算法流程。
111.详细步骤描述如下：
112.(1)灰度化
113.对rgb图灰度化，得到灰度图。
114.(2)二值化
115.二值化采用的是大津法进行二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。
116.(3)输出轮廓信息
117.二值化结束后，输出即为轮廓信息。
118.4.4基于深度图与rgb图避障算法
119.图4是基于深度图与rgb图避障算法流程图，在利用3和4算法得到2张轮廓信息图a和b后，详细操作步骤如下：
120.(1)图a和图b进行“与”操作，得到两张图的共同前景轮廓区域，得到轮廓m1,m2…mn
,n个轮廓区域。
121.(2)设定阈值，遍历n个轮廓区域面积，大于阈值的保留，小于阈值的删除。
122.(3)对保留轮廓n1,n2…nn
,依次计算轮廓内最近距离点，具体计算方式如下：
123.1)对每个轮廓上的所有点进行排序；
124.2)获得轮廓上(x,y)坐标最小值和最大值分别为(xmin,ymin),(xmax,ymax)；
125.3)对(xmin,ymin),(xmax,ymax)两个点均分为十等分，获得11个点坐标。
126.十等分计算方法如下：
127.设(x0,y0)＝(xmin,ymin)，(x10,y10)＝(xmax,ymax)，
128.则(x1,y1)＝(xmin (xmax-xmin)/10,xmin (xmax-xmin)/10)，11个点计算方法以此类推。
129.根据11个点的坐标获取11个点在深度图中对应的像素值11个，取其中最小值即为距离相机最近障碍物的实际距离。
130.图5是检测障碍物最终效果的3d深度图，框出来的是最终保留下来的三个轮廓，最终本发明只要计算这3个轮廓框中的最近距离，即杯子的深度信息，完成了最近障碍物距离测量。
131.本发明实施例提供的地面障碍物检测系统包括：
132.图像采集模块，用于利用rgb-d深度相机获取图像信息；
133.图像预处理模块，用于采用中值滤波的方法对图像进行预处理后，再采用高斯滤波的方法对中值滤波后的图像进行预处理操作，滤除噪声；
134.3d深度图避障模块，用于分别构建基于图像处理技术的深度图前景轮廓模型和rgb图前景轮廓模型，实现基于深度图与rgb图的避障。
135.二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用的应用实施例。
136.该避障算法已经成功运用到工厂场景下，负责运送货物的agv小车上，agv小车无故障运行多日。提供agv小车紧急制动暂停功能，由于算力要求低，可以实时每帧进行检测，遇到突发情况，诸如agv前突然掉落的障碍物，可以及时检测到障碍物。
137.三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
138.根据已有的避障算法可知，基于深度学习目标检测的避障算法，是通过对2d的rgb图像进行障碍物检测，检测出障碍物后在找到深度图中障碍物位置。再实际算法运行前，需要大量的不同障碍物类别的图片，并需需要进行标注，根据以往的经验数据，每一个类大概需要500张图片，那么n类就需要n*500张，人工手动标注十分费时，500张图片的标注约需2-3个小时。而且通过深度学习这种避障算法仅仅可以识别这n种障碍物，局限性十分明显。本算法不限制障碍物种类。
139.算法执行效率方面，算法时间复杂度与背景中提到的4篇专利的时间复杂度不是一个量级的，速度提升明显。
140.应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
141.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。