岩石、凹坑环境下的障碍检测方法以及存储介质和电子设备与流程

1.本发明涉及无人系统技术领域，涉及非结构化环境下的障碍检测方法以及存储介质和电子设备，尤其涉及岩石、凹坑环境下的障碍检测方法以及存储介质和电子设备


背景技术：

2.目前地面的障碍检测预警多围绕自动驾驶中行人车辆检测、道路红绿灯识别等进行研究，大多采用训练深度学习神经网络的方法结合图像或点云进行识别检测，能够较好地适应城市街道等结构化场景障碍检测预警，但上述方法在不确定性高、多样性丰富的非机构化环境中却难以取得理想的检测效果。
3.具有岩石、凹坑、斜坡和断层等障碍的野外属典型的非机构化环境。断层不常见且在主被动视觉图像中其特征都很明显，容易检测，因此国内外研究较少涉及断层的检测。凹坑、岩石和陡坡是非结构化环境表面常见结构，其中，凹坑分布范围广，面积大，形状较规则，是需要主要规避的障碍物之一；岩石分布范围广，大小形状不规则，难以用数学模型进行描述，是障碍表征算法研究的重点内容；陡坡的分布范围虽然比岩石和凹坑小，但容易使探测器倾倒而损坏。
4.对于形状规则的岩石、凹坑，例如边缘基本为圆或椭圆形的岩石、凹坑，可以建立数学描述，通过边缘检测算法可以直接提取岩石、凹坑边缘，对提取的边缘进行椭圆拟合后即可检测。olson提出了一种改进的受限hough变换算法，能够实现圆弧等简单几何特征的检测，但是该方法对于二次曲线的检测需要大量的试验才能获得较好的效果；johnson等人将广义hough变换的椭圆检测算法应用于near任务的岩石、凹坑检测中，准确率达80％。南加州大学的leroy等人在前人研究的基础上，提出了较为完备的基于椭圆拟合的岩石、凹坑检测算法，准确率接近95％，yang cheng利用canny检测子分段检测岩石、凹坑边缘曲线，并利用配对算法找出属于同一个岩石、凹坑边缘的曲线段，之后再拟合成椭圆检测出完整的岩石、凹坑。受光照强度、太阳高度角等条件的影响，岩石、凹坑会出现阴影区域，此时其部分边缘被阴影遮盖而在图像中无法检测出来，但岩石、凹坑与阴影为一对应的关系，因此可通过检测图像中的阴影实现岩石、凹坑检测，bandeira提出了基于岩石、凹坑阴影与光亮区域的边缘检测算法，相比于边缘检测算子，明暗区域能够更好的描述岩石、凹坑。此外还有基于模板的岩石、凹坑检测算法和基于遗传算法的岩石、凹坑检测算法，近年来，国内岩石、凹坑检测算法的研究成果主要包括郭烈等人的基于阴影的岩石、凹坑检测算法，丁萌等人的基于区域生长的岩石、凹坑检测算法；邵巍等人的基于高、低帽变换的岩石、凹坑检测算法；余萌等人的基于阴影区域配对的岩石、凹坑检测算法，取得了较好的效果。
5.然而，野外的岩石、凹坑的结构和形状具有很大的多变性和不确定性，而且长期恶劣的自然环境还会造成边缘风化模糊，目前的障碍检测方法无法适应结构形状多变无规则的岩石、凹坑，从而导致障碍识别错误率较高，且障碍检测精度也有待提高。


技术实现要素：

6.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提供一种岩石、凹坑环境下的障碍检测方法，以能够自主识别非结构环境障碍，提高障碍目标检测精度，支持无人系统前进提前预警。
7.本发明的第二个目的在于提供一种计算机可读存储介质。
8.本发明的第三个目的在于提供一种电子设备。
9.为达到上述目的，本发明通过以下技术方案实现：
10.岩石、凹坑环境下的障碍检测方法，包括：步骤s1，在接收tof相机点云数据后，首先通过最小二乘方法拟合三维特征点的局部平面，并对每个三维特征点进行法向量赋值；步骤s2，对彼此法向量指向差异大于90deg的相邻特征点做剔除处理；步骤s3，判别局部三维点的法向量，对跨尺度的三维特征进行归一化描述，量化其显著性，通过统计学方法来对逐点的法向指向转换至全局球面坐标系下进行统计分析，；步骤s4，将特征点的k近邻选择范围作为起始点来搜索兴趣子区域。首先，在k值较大的领域内随机选取特征点，并作一系列同心包络球体；步骤s5，进行点云兴趣区显著度评估，将兴趣子区域集合共划分4个显著度等级，根据显著度排序依次划分高、中、低起伏度的地形地貌，并将显著度最差的地貌保留作为预警标注。
11.可选的，所述步骤s1，包括：其法向量ni所对应的局部平面是根据特征点ωi和它的k个最近邻所拟合出的平面。
12.可选的，所述步骤s2中，邻域特征点相对拟合平面的法向量并非恒定，而是存在正负区别，即ni＝
±
[β1,β2,β0]
t
，对彼此法向量指向差异大于90deg(ni·
nj＜0)的相邻特征点做剔除处理。
[0013]
可选的，所述步骤s3，包括：通过判别局部三维点的法向量，可以间接推论地形的起伏程度，以数类经典的空间结构特征作为三维特征描述子，并借鉴了尺度空间下特征描述的方式。
[0014]
可选的，所述步骤s4中需要一个自适应的k近邻算法来根据拟合数据进行自身调整。
[0015]
可选的，所述步骤s5中，通过已完成训练的所述密集连接网络模型进行目标凹坑检测的步骤包括：通过当前所选特征点ωi进行同心球增长统计，便可以得到一个显著度极值s
max
(i)，并记录对应区域所包含的特征点集合bi。
[0016]
可选的，通过比较若干个所述边界框的置信度分数进行目标凹坑检测的步骤具体包括：步骤s51：获取置信度分数最高的边界框；步骤s52：将若干个所述边界框与置信度分数最高的所述边界框进行iou计算得到iou值，并将所述iou值经过权值函数运算得到相应的最终边界框分数，其中iou值为边界框与目标真值之间的重叠区域值；步骤s53：根据所述最终边界框分数值获取最准确的边界框，以通过最准确的所述边界框进行目标凹坑检测。
[0017]
为达到上述目的，本发明第二方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的岩石、凹坑环境下的障碍检测方法。
[0018]
为达到上述目的，本发明第三方面提供了一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述的岩石、凹
坑环境下的障碍检测方法。
[0019]
本发明至少具有以下技术效果之一：
[0020]
(1)通过判别局部三维点的法向量，可以间接推论地形的起伏程度，以数类经典的空间结构特征作为三维特征描述子，并借鉴尺度空间下特征描述的方式，对跨尺度的三维特征进行归一化描述，量化其显著性，通过统计学方法来对逐点的法向指向转换至全局球面坐标系下进行统计分析；
[0021]
(2)四个显著度等级划分对应了地形起伏度的评估判据，即根据显著度排序依次划分高、中、低起伏度的地形地貌，并将显著度最差的地貌保留作为预警标注；
[0022]
(3)可自主识别凸起、凹坑障碍，并在保持较好的检测速度的前提下，有效提升目标检测精度，且鲁棒性较好。
[0023]
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0024]
图1为局部兴趣区生成方法流程图；
[0025]
图2为法向量在全局球坐标系下的分量示意图；
[0026]
图3示出了几种典型地貌对应的点云、法向量及熵值；
[0027]
图4为同心包络球体不断增长的示意图。
具体实施方式
[0028]
下面详细描述本实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0029]
下面参考附图描述本实施例的岩石、凹坑环境下的障碍检测方法以及存储介质和电子设备。
[0030]
图1为本发明实施例提供的岩石、凹坑环境下的障碍检测方法的流程示意图。具体地，该方法的实施步骤如下：
[0031]
步骤s1，在接收tof相机点云数据后，首先通过最小二乘方法拟合三维特征点的局部平面，并对每个三维特征点进行法向量赋值。
[0032]
其中，步骤s1包括：其法向量ni所对应的局部平面是根据特征点ωi和它的k个最近邻所拟合出的平面。
[0033]
具体的，针对单一的三维特征点ωi＝[xi,yi,zi]
t
，其法向量ni所对应的局部平面是根据特征点ωi和它的k个最近邻所拟合，待拟合的平面可以描述为：
[0034]
z＝β0 β1x β2y
[0035]
则通过特征点ωi与其k领域所拟合的平面可以描述为一个的参数求解过程，即
[0036][0037]
上式可以通过最小二乘(least squares)求解，即
[0038][0039]
通过最小二乘方法拟合三维特征点的局部平面，可以得到当前估计点ωi以及k邻域特征点相对局部平面的法向量ni。
[0040]
步骤s2，对彼此法向量指向差异大于90deg的相邻特征点做剔除处理。
[0041]
其中，步骤s2中邻域特征点相对拟合平面的法向量并非恒定，而是存在正负区别，即ni＝
±
[β1,β2,β0]
t
，对彼此法向量指向差异大于90deg(ni·
nj＜0)的相邻特征点做剔除处理。
[0042]
具体的，在剔除后将平面法向量赋值至剩余特征点的法向量。当点云中局部区域掺杂较大噪声或局部曲率很大时，往往需要很多的激光点才能给出较好的拟合结果，由于k近邻算法通常需要人为指定k值的大小，而恒定的k值不足以应对上述情况，因此需要一个自适应的k近邻算法来根据拟合数据进行自身调整。回顾在式(1)中，矩阵a的条件数cond(a,2)可以衡量最小二乘的拟合效果的灵敏度，一个较高的条件数说明任何新增的特征点都会影响拟合结果，因此需要扩大k值来增加平面拟合的鲁棒性，在此处中对该过程的处理方式如下：首先给定一个广义条件数的门限阈值，在选择一个三维点后，不断增加k值直至三维点位置的组合矩阵a的广义条件数小于门限阈值。
[0043]
步骤s3，判别局部三维点的法向量，对跨尺度的三维特征进行归一化描述，量化其显著性，通过统计学方法来对逐点的法向指向转换至全局球面坐标系下进行统计分析。
[0044]
其中，步骤s3包括：通过判别局部三维点的法向量，可以间接推论地形的起伏程度，以数类经典的空间结构特征作为三维特征描述子，并借鉴了尺度空间下特征描述的方式。
[0045]
如图2所示，其中ni,nj分别表示特征点ωi,ωj的单位法向量，在球面坐标系下可以用角度分量(φ,θ)来描述。若当前观测点云ωn中含有n个特征点，则相应对应sn＝2n个角度分量。将法向量在球坐标系下的角度分量以二维直方图的形式进行统计，则可以得到如下的点云熵(entropy)
[0046][0047]
其中p(φ,θ)为落入统计区间的高度，其旨在度量当前观测点云中法向量的分布的规律程度，若当所观测的点云对应完全平坦的区域时，这时所观测点云在全局球坐标系下的法向量均相同，对应了一个较低的点云熵的同时也意味兴趣地貌所出现的概率较低。图3给出了一些规则/不规则地貌的观测点云、法向量和点云熵值。
[0048]
以图3a为例，其点云近乎完全平坦的平面，因此所对应的法向量完全一致也呈现完全单一化的指向分布，对应熵值也远小于所枚举的其他点云集(如图3b、图3c、图3d)。因
此，可以将统计熵值较高的点云集编目为兴趣区，其具体举措如下：
[0049]
由于在特征点的k近邻选择范围大小与所选特征点周围的点云平坦程度相关，因此在一定程度上也反应了局部曲率的显著程度，在本步骤中，将这些区域作为起始点来搜索兴趣子区域。首先，在k值较大的领域内随机选取特征点，并作一系列同心包络球体，其半径为r＝s
×
δr，其中δr为基础半径，s＝[1,2,...,s]为增长参数，图4给出了该过程的示意图。
[0050]
从图4a至图4c，同心包络球体按顺序增长，同时其包络的特征点个数也有所增加，在同心球增长的同时，统计所包络特征点的熵值，受二维图像中的显著区域识别判据的启发，在此使用一种在尺度空间下表征的熵值描述手段：
[0051]
y(bm)＝h(bm)
×
w(bm)
ꢀꢀ
(4)
[0052]
在此处中将上式命名为显著度函数。其中bm为落入当前同心球体的特征点集合，h(bm)为点云熵，w(bm)为尺度空间的表征，其表达式为
[0053][0054]
基于上式的兴趣区选择的背后思想主要有三个方面，其中h(bm)代表了局部区域的规则程度；旨在提炼在尺度空间中具有较好表现的局部区域；参数r(同心球的半径)旨在奖励大区域的局部区域来降低噪声的干扰；将以上三种因素联合考虑，便得到式(4)。
[0055]
通过当前所选特征点ωi进行同心球增长统计，便可以得到一个显著度极值s
max
(i)，并记录对应区域所包含的特征点集合bi。通过遍历当前观测点云ωn中k近邻最大的m个平面拟合区域，便可以得到一系列兴趣子区域b＝{b1,b2...,bm}的显著度y＝[y1,y2,...,ym]，在此基础上，进一步统计兴趣子区域显著度均值以及标准差：
[0056][0057][0058]
并根据μy,σy对显著度进行优劣评估，该过程的伪代码如下表所示：
[0059]
表1点云兴趣区评估算法流程图
[0060][0061][0062]
对兴趣子区域集合b共划分4个显著度等级。其中为预先设定的评估均值与标准差，当待评估的区域集合b的显著度均值高于预定阈值，同时标准差低于预设阈值时，便认为当前所评估的区域显著度最高。余下显著度等级划分方案按上述算法流程所示。其中四个显著度等级划分对应了地形起伏度的评估判据，即根据显著度排序依次划分高、中、低起伏度的地形地貌，并将显著度最差的地貌保留作为预警标注。具体地，可以将level1对应的兴趣子区域标注为斜坡地貌，将level2对应的兴趣子区域标注为岩石地貌，将level3对应的兴趣子区域标注为凹坑地貌，将level4对应的兴趣子区域保留作为预警标注。
[0063]
进一步地，本实施例还可提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，可实现上述的岩石、凹坑环境下的障碍检测方法。
[0064]
具体地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器、随机存取存储器、只读光盘、磁带、软盘和光数据存储设备等。
[0065]
进一步地，本实施例还可提供一种电子设备，其包括处理器和存储器，所述存储器
上存储有计算机程序，所述计算机程序被所述处理器执行时，可实现上述的岩石、凹坑环境下的障碍检测方法。
[0066]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0067]
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。