一种障碍物检测方法、装置、工程车辆及存储介质与流程

1.本发明属于障碍物检测技术领域，具体涉及一种障碍物检测方法、装置、工程车辆及存储介质。


背景技术：

2.矿山场景作业单一，是无人驾驶落地的最佳场景。为了实现无人车辆的安全驾驶，需要对矿山场景中的道路信息进行精确检测，从而为无人车辆提供有效的行驶路径规划。矿山场中的道路信息主要包括可行使区域、车辆、行人和落石等。
3.现有技术中，对障碍物的检测方法包括基于传统机器学习方法和基于深度学习方法。但是无论是基于传统机器学习方法对障碍物进行检，还是基于深度学习方法对障碍物进行检测，都存在对部分障碍物检测精度不高、不能区分动态物体和静态物体的问题。


技术实现要素：

4.为解决现有技术中的不足，本发明提供一种障碍物检测方法、装置、工程车辆及存储介质，能有效检测出无人驾驶车辆在行驶过程中遇到的障碍物属于静态障碍物还是动态障碍物，对障碍物的识别不受障碍物尺寸大小、距离远近和种类的限制，提升了无人驾驶车辆对环境的感知精度，实现精准避障，为无人驾驶车辆的安全行驶提供保障。
5.为达到上述目的，本发明所采用的技术方案是：
6.第一方面，提供一种障碍物检测方法，包括：对采集到的三维原始点云数据进行分离和聚类处理，获得非地面点聚类簇，并将非地面点聚类簇作为候选障碍物点集；采用构建的障碍物特征提取模型分别提取所述候选障碍物点集中的障碍物点特征、二维投影特征和体素化特征，并进行融合得到障碍物特征；对所述障碍物特征进行分类，得到障碍物检测结果。
7.进一步地，对采集到的原始点云数据进行分离和聚类处理，包括：对采集到的原始点云数据进行格栅化处理，得到格栅图；遍历格栅图，采用一致性检查和中值滤波对栅格内的点云数据进行处理，构建地面点和非地面点的二值图；对所述二值图进行聚类，得到非地面点聚类簇。
8.进一步地，所述格栅图是极坐标下的格栅图。
9.进一步地，采用一致性检查和中值滤波对栅格内的点云数据进行处理，包括：一致性检查，将相邻栅格的高度差和栅格高度差阈值进行比较，低于栅格高度差阈值表示该栅格属于地面，否则属于非地面；其中，相邻栅格的高度差是相邻两个栅格最大值的差值、相邻两个栅格中值的差值、相邻两个栅格最小值的差值中的任一种；中值滤波，遍历所有不包含任意原始点云数据的栅格，针对每个不包含任意原始点云数据的栅格，将与其相邻的四个栅格的中值作为该栅格的高度值，如果相邻的四个栅格是地面点，则中间栅格也设置为地面点；由此绘制“地面点-非地面点”的0、1二值图。
10.进一步地，对所述二值图进行聚类，包括：采用八连通域方法对“地面点-非地面
点”的0、1二值图进行聚类，将非地面点的xy平面离散为m
×
n的网格，初始化网格状态，将网格配置为两种初始状态，分别为空状态和已占用状态；然后，将单个网格选作中心网格，并且类簇id计数器加1，然后检查与中心网格相邻的八个网格的占用状态，并用当前类簇id标记；对m
×
n的网格中的每个网格重复此过程，直到为所有非空网格分配了类簇id，最终得到标记有类簇id的非地面点聚类簇，该聚类簇为候选障碍物点集。
11.进一步地，所述障碍物特征提取模型包括：全连接层、含有可变形卷积层的二维卷积神经网络、含有可变形卷积层的三维卷积神经网络、特征融合模块，所述全连接层，用于将候选障碍物点集中的每个点连接至前一层的所有点进行全连接处理，得到障碍物的点特征；所述二维卷积神经网络，用于对经过二维投影处理的障碍物的点特征进行包括二维可变形卷积在内的处理，得到障碍物的二维投影特征；所述三维卷积神经网络，用于对经过体素化处理的障碍物的点特征进行包括三维可变形卷积在内的处理，得到障碍物的体素化特征；所述特征融合模块，用于将障碍物的点特征、二维投影特征和体素化特征进行融合，得到障碍物特征。
12.进一步地，对经过二维投影处理的障碍物的点特征进行包括二维可变形卷积在内的处理，得到障碍物的二维投影特征，包括：对三维的障碍物的点特征进行二维投影处理，得到初始二维投影特征；利用第一二维卷积神经网络对所述初始二维投影特征进行特征提取，得到第一中间特征；利用第二二维卷积神经网络对所述第一中间特征进行特征提取，得到第一偏移量；利用所述第一偏移量对所述初始二维投影特征进行处理，得到障碍物的二维投影特征。
13.进一步地，所述障碍物的二维投影特征y(p0)的表达式如下：
[0014][0015]
其中，p0是初始二维投影特征上的每个点的位置坐标，r是二维卷积神经网络的卷积核，pn是在r中所在位置的枚举，δpn是第一偏移量，w和x是卷积符号。
[0016]
进一步地，对经过体素化处理的障碍物的点特征进行包括三维可变形卷积在内的处理，得到障碍物的体素化特征，包括：对障碍物的点特征进行体素化处理，得到初始体素化特征；利用第一三维卷积神经网络对所述初始体素化特征进行特征提取，得到第二中间特征；利用第二三维卷积神经网络对所述第二中间特征进行特征提取，得到第二偏移量；利用所述第二偏移量对所述初始体素化特征进行处理，得到障碍物的体素化特征。
[0017]
进一步地，所述障碍物的体素化特征的表达式如下：
[0018][0019]
其中，xi是临近点，x是中心点，δ(x)是所述第二偏移量，fi是xi的对应特征，g
deform
是核函数，是球形邻域。
[0020]
进一步地，对所述障碍物特征进行分类，得到障碍物检测结果，包括：通过第一分类器对所述障碍物特征进行分类，得到第一分类结果；通过第二分类器对所述障碍物特征进行分类，得到第二分类结果；根据第一分类结果、第一分类器的权重、第二分类结果、第二分类器的权重进行加权计算，得到障碍物检测结果。
[0021]
进一步地，所述第一分类器的权重、第二分类器的权重均通过以下方法获得：训练分类器，从第一次迭代开始，每个样本都赋予一个权重值，然后进行训练，根据训练中得到的分类器的误差率来计算该分类器的权重，并据此调整样本的各个权重值，作为下一次迭代的输入，其中，分类器的误差率em及分类器的权重αm，计算公式如下：
[0022]em
＝p(gm(xi)≠yi)
ꢀꢀ
(1)
[0023][0024]
其中，xi代表输入的障碍物特征，gm(xi)代表分类器的处理结果，yi代表预设分类结果，p代表概率。
[0025]
第二方面，提供一种障碍物检测装置，包括：候选障碍物点集确定模块，用于对采集到的三维原始点云数据进行分离和聚类处理，获得非地面点聚类簇，并将非地面点聚类簇作为候选障碍物点集；障碍物特征提取模块，用于采用构建的障碍物特征提取模型分别提取所述候选障碍物点集中的障碍物点特征、二维投影特征和体素化特征，并进行融合得到障碍物特征；障碍物特征分类模块，用于对所述障碍物特征进行分类，得到障碍物检测结果。
[0026]
第三方面，提供一种工程车辆，所述工程车辆配置有第二方面所述的障碍物检测装置。
[0027]
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行第一方面所述的方法。
[0028]
与现有技术相比，本发明所达到的有益效果：本发明通过对采集到的原始点云数据进行分离和聚类处理，将非地面点聚类簇作为候选障碍物点集；采用预先构建的障碍物特征提取模型分别提取候选障碍物点集中的障碍物点特征、二维投影特征和体素化特征，并进行融合得到障碍物特征；对所述障碍物特征进行分类，得到障碍物检测结果，可以有效检测出无人车辆在行驶过程中遇到的静态障碍物和动态障碍物，对障碍物的识别不受障碍物尺寸大小、距离远近和种类的限制，提升了无人驾驶车辆对环境的感知精度，精准避障，为无人驾驶车辆的安全行驶提供保障。
附图说明
[0029]
图1是本发明实施例提供的一种障碍物检测方法的主要流程示意图；
[0030]
图2是本发明实施例中分离地面点和非地面点的流程示意图；
[0031]
图3是本发明实施例中非地面点的聚类流程示意图；
[0032]
图4是本发明实施例中构建的障碍物特征提取模型的示意图；
[0033]
图5是本发明实施例中对障碍物特征进行分类的主要流程示意图；
[0034]
图6是本发明实施例提供的一种障碍物检测方法的优化流程示意图；
[0035]
图7是本发明实施例中二维可变形卷积流程示意图；
[0036]
图8是本发明实施例中二维可变形卷积处理过程的示意图；
[0037]
图9是本发明实施例中三维可变形卷积流程示意图；
[0038]
图10是本发明实施例中三维可变形卷积处理过程的示意图；
[0039]
图11是本发明实施例提供的一种障碍物检测装置的主要结构示意图；
[0040]
图12是本发明实施例提供的一种障碍物检测设备的主要结构示意图。
具体实施方式
[0041]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0042]
实施例一：
[0043]
如图1～图9所示，一种障碍物检测方法，包括：对采集到的三维原始点云数据进行分离和聚类处理，获得非地面点聚类簇，并将非地面点聚类簇作为候选障碍物点集；采用构建的障碍物特征提取模型分别提取所述候选障碍物点集中的障碍物点特征、二维投影特征和体素化特征，并进行融合得到障碍物特征；对所述障碍物特征进行分类，得到障碍物检测结果。
[0044]
s11、对采集到的三维原始点云数据进行分离和聚类处理，获得非地面点聚类簇，并将非地面点聚类簇作为候选障碍物点集。
[0045]
点云数据是指在一个三维坐标系统中的一组向量的集合。点云数据除了具有几何位置以外，有的还有强度信息。其中，强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
[0046]
本实施例中，原始点云数据是指激光雷达采集得到点云数据。上述激光雷达可以设置在汽车的车辆前方。
[0047]
本实施例中，原始点云数据的分离是指将地面点和非地面点进行分离，聚类是指将所有非地面点进行聚合，得到候选障碍物点集。
[0048]
对采集到的原始点云数据进行分离和聚类处理，将非地面点聚类簇作为候选障碍物点集，包括：对原始点云数据进行栅格化处理，得到栅格图；遍历栅格，采用一致性检查方法和中值滤波方法对栅格内的点云数据进行处理，构建地面点和非地面点的二值图；对二值图进行聚类，得到非地面点聚类簇作为候选障碍物点集。
[0049]
在本实施例中，获取激光雷达在无人驾驶车辆行驶过程中采集到的环境点云数据，并将上述环境点云数据进行坐标转换，得到车体坐标系下的原始点云数据。
[0050]
本实施例中，通过融合一致性检查和中值滤波算法对上述原始点云数据进行处理，分离出地面点和非地面点，构建地面点和非地面点的二值图。
[0051]
进一步的，对上述原始点云数据进行栅格化处理，遍历栅格，融合一致性检查方法和中值滤波方法分离出地面点和非地面点，构建“地面点-非地面点”的0、1二值图。
[0052]
如图2所示，本实施例提供的构建“地面点-非地面点”的0、1二值图的方法主要包括如下五个步骤：创建极坐标栅格图，栅格内点云数据最小值和点云数据高度差比较，一致性检查，中值滤波，分离地面点和非地面点。
[0053]
步骤一：创建极坐标栅格图的过程主要包括：获取激光雷达在无人驾驶车辆行驶过程中采集到的环境点云数据，并将上述环境点云数据进行坐标转换，得到车体坐标系下的原始点云数据。对上述原始点云数据进行栅格化处理，得到栅格图，其中，上述栅格图采用cell
×
bin形式表示，即栅格图是极坐标下的栅格图。
[0054]
步骤二：栅格内点云数据最小值和点云数据高度差比较的主要流程包括：遍历栅格，计算每个栅格内原始点云数据的最小值，判断所述原始点云数据的最小值是否小于点云最小值阈值，计算每个栅格内原始点云数据的高度差，判断所述原始点云数据的高度差是否小于点云高度差阈值，如果所述原始点云数据的最小值小于点云最小值阈值，且原始点云数据的高度差小于点云高度差阈值，则表示此栅格内的点属于地面点，即该栅格属于地面；如果原始点云数据的最小值不小于点云最小值阈值，和/或，原始点云数据的高度差不小于点云高度差阈值，则表示此栅格内的点属于非地面点，即该栅格属于非地面。其中，原始点云数据的高度差是该栅格内原始点云数据的最大值与最小值的差值。需要说明的是，最小值阈值，点云高度差阈值可以根据激光雷达采集到的环境点云数据进行设定。
[0055]
步骤三：一致性检查的处理流程主要包括：将上述步骤二中处理后的栅格进行一致性检查，将相邻栅格的高度差和栅格高度差阈值进行比较，低于栅格高度差阈值表示该栅格应属于地面，否则属于非地面。其中，相邻栅格的高度差可以是相邻两个栅格最大值的差值，相邻栅格的高度差也可以是相邻两个栅格中值的差值，相邻栅格的高度差还可以是相邻两个栅格最小值的差值。需要说明的是，栅格高度差阈值根据激光雷达采集到的环境数据进行设定。
[0056]
步骤四：中值滤波处理过程主要包括：通过中值滤波算法再次迭代不包含任意原始点云数据的栅格，对没有原始点云数据的栅格进行处理。具体地，遍历所有不包含点云数据的栅格，针对每个不包含点云数据的栅格，将其相邻的四个栅格的中值作为该栅格高度值，如果相邻的四个栅格是地面点，则中间栅格也设置为地面点。由此绘制“地面点-非地面点”的0、1二值图。
[0057]
步骤五：分离地面点和非地面点的处理流程主要包括：遍历栅格后，首先通过步骤二和步骤三对包含原始点云数据的栅格进行两次筛选，检测出第一组地面点和非地面点；然后通过步骤四对不包含点云数据的栅格进行进行筛选，检测出第二组地面点和非地面点；最后根据第一组地面点和第二组地面点绘制“地面点-非地面点”的0、1二值图。
[0058]
在一个实施方式中，对二值图进行聚类，得到非地面点聚类簇作为候选障碍物点集，包括：采用八连通域方法对上述实施方式中的“地面-非地面点”的0、1二值图进行聚类，获取非地面点聚类簇，将非地面点聚类簇作为候选障碍物点集。
[0059]
具体地，如图3所示，将非地面点的xy平面离散为m
×
n单元的网格，初始化网格状态，将网格配置为两种初始状态，分别为空状态和已占用状态。然后，将单个网格选作中心网格，并且类簇id计数器加1，然后检查该中心网格相邻的八个网格的占用状态，并用当前类簇id标记。对m
×
n网格中的每个网格重复此过程，直到为所有非空网格分配了类簇id，最终得到标记有类簇id的非地面点聚类簇，该聚类簇为候选障碍物点集。
[0060]
s12、采用构建的障碍物特征提取模型分别提取所述候选障碍物点集中的障碍物点特征、二维投影特征和体素化特征，并进行融合得到障碍物特征。
[0061]
本实施例中，将原始点云数据通过全连接层得到点特征，基于点云特征，分别通过二维卷积神经网络和三维卷积神经网络得到二维投影特征和体素化特征，将点云特征、二维投影特征和体素化特征融合，完成一种新的神经网络三维构建，以提取候选障碍物点集中的多种点云特征并进行融合，丰富了点云特征的多样性，以便更好地对候选障碍物点集进行分类。
[0062]
具体的，如图4所示，首先，将候选障碍物点集中的所有点连接至前一层的所有点进行全连接，得到点特征；
[0063]
然后，在点特征基础上，通过体素化，得到初始体素化特征，对初始体素化特征进行三维可变形卷积，再经过三维卷积得到目标体素化特征。
[0064]
同时，在点特征的基础上，通过二维投影，将三维点云投影到二维，得到初始二维投影特征，对初始二维投影特征进行二维可变形卷积，再通过二维卷积网络得到目标二维投影特征；
[0065]
最后将点特征、目标体素化特征和目标二维投影特征进行融合，丰富点云数据的特征多样性，来提升最终的三维检测性能，得到最终的行人、车辆、落石的三维结构特征，融合后的点云数据特征更有利于目标分类。
[0066]
s13、对所述障碍物特征进行分类，得到障碍物检测结果。
[0067]
在本实施例中，基于不同权重分配原则融合多种分类算法对步骤s12中提取的障碍物特征进行分类，提升分类结果的多样性和分类精度。
[0068]
对所述障碍物特征进行分类，得到障碍物检测结果，包括：通过第一分类算法对所述障碍物特征进行分类，得到第一分类结果；通过第二分类算法对所述障碍物特征进行分类，得到第二分类结果；将所述第一分类结果和所述第二分类结果分别与预设分类结果进行匹配，得到第一分类器的权重和第二分类器的权重；基于第一分类结果，第一分类器的权重，第二分类结果和第二分类器的权重进行加权计算，得到所述待检测数据的障碍物检测结果。
[0069]
具体的，如图5所示，通过支持向量机(support vector machine,svm)算法对步骤s12中提取的障碍物特征进行分类，得到第一分类结果。
[0070]
同时通过随机森林算法，让每棵决策树分类器在步骤s12中提取的障碍物特征中随机选择k个特征，根据k个特征进行决策，最后统计每棵决策树分类器做出的投票结果，投票最多的那个结果就是最终的第二分类结果。
[0071]
将第一分类结果和第二分类结果分别与预设分类结果进行匹配，得到不同的权重值。
[0072]
具体迭代的过程是一个相互依赖的过程，从第一次迭代开始，每个样本都赋予一个权重值，然后进行训练，根据训练出来的分类器的误差率来计算该分类器的权重，并据此调整样本的各个权重值，作为下一次迭代的输入，最终分类结果由支持向量机和随机森林的加权函数构成。
[0073]
在具体的计算过程中，首先计算不同分类器(随机森林或者支持向量机)的误差率em，计算公式如下：
[0074]em
＝p(gm(xi)≠yi) (1)
[0075]
其中，xi代表输入的障碍物特征，gm(xi)代表分类器的处理结果，yi代表预设分类结果，p代表概率。
[0076]
对于每个分类器(随机森林或者支持向量机)，需要计算其权重值，分类器的权重αm，计算公式如下：
[0077]
[0078]
最终，基于训练结果的优劣针对不同特征赋予两种分离器算法不同的权重值，得到更好的分类效果，最终将目标分为行人、车辆和落石，便于汽车灵活避障。
[0079]
本实施例提出的新的分类方法，即基于不同权重分配原则融合多种分类算法对特征数据进行分类，提升分类结果的多样性和分类精度，可以有效检测出无人车辆在行驶过程中遇到的静态障碍物和动态障碍物，对障碍物的识别不受障碍物尺寸大小、距离远近和种类的限制，提升了无人驾驶车辆对环境的感知精度，精准避障，为无人驾驶车辆的安全行驶提供保障。
[0080]
如图6所示，本实施例提供的障碍物检测方法对步骤“采用预先构建的障碍物特征提取模型分别提取候选障碍物点集中的障碍物点特征、二维投影特征和体素化特征，并进行融合得到障碍物特征”进行了优化，优化后为“采用预先构建的障碍物特征提取模型将所述候选障碍物点集中的每个点连接至前一层的所有点进行全连接，得到点特征；将所述点特征通过二维卷积神经网络处理，得到目标二维投影特征；将所述点特征通过三维卷积神经网络处理，得到目标体素化特征；将所述点特征，所述目标二维投影特征和所述目标体素化特征进行融合，得到障碍物特征”具体的，如图6所示，主要包括如下步骤。
[0081]
采用预先构建的障碍物特征提取模型将候选障碍物点集中的每个点连接至前一层的所有点进行全连接，得到点特征。将所述点特征通过二维卷积神经网络处理，得到目标二维投影特征。
[0082]
本实施例中，将所述点特征通过二维卷积神经网络处理，得到目标二维投影特征，包括：对所述点特征进二维投影处理，得到初始二维投影特征；对所述初始二维投影特征进行二维可变形卷积和二维卷积处理，得到目标二维投影特征。
[0083]
在上述点特征的基础上，通过二维投影，将三维点云投影到二维，得到初始二维投影特征，对初始二维投影特征进行二维可变形卷积，再通过二维卷积网络得到目标二维投影特征。
[0084]
由于落石和车辆大小差别很大，传统的卷积核通常是固定尺寸，固定大小，这就导致对障碍物检测的变化适应性差，检测效果不好，为了适应不同大小物体的比例，在二维卷积网络和三维卷积网络的卷积模块中加入可变形卷积(adaptive deformation)，对输入特征图每个采样点的位置都增加一个偏移量(offest)，从而可以有效地产生更具代表性和均匀分布的关键点特征，提取特征效果更好，尤其在远距离物体的识别上。
[0085]
其中，对所述初始二维投影特征进行二维可变形卷积和二维卷积处理，得到目标二维投影特征，包括：利用第一二维卷积神经网络对所述初始二维投影特征进行特征提取，得到第一中间特征；利用第二二维卷积神经网络对所述第一中间特征进行特征提取，得到第一偏移量；利用所述第一偏移量对所述初始二维投影特征进行处理，得到目标二维投影特征。
[0086]
具体的，如图7所示，首先将初始二维投影特征输入第一个二维卷积神经网络，利用第一个二维卷积神经网络提取特征，得到第一中间特征，将第一中间特征作为第二个二维卷积神经网络的输入得到偏移量δpn，从而使得每个输入初始二维投影特征的位置p0都有一个可以适应不同物体的几何形变的偏移量δpn，最终得到处理后的二维投影特征y(p0)，其中，p0代表二维投影特征里每个位置坐标。
[0087]
其中，目标二维投影特征y(p0)的公式如下：
[0088][0089]
其中，p0是初始二维投影特征上的每个点的位置坐标，r是二维卷积神经网络的卷积核，pn是在r中所在位置的枚举，δpn是第一偏移量，w和x是卷积符号。
[0090]
可变形卷积的处理过程示意图如图8所示，从图8中可以看出，在可变形网络的操作中，通过增加一个偏移量δpn对p0进行扩张，使得同样的位置p0变为y(p0)。针对矿区的不同大小的聚类，其输出特征图偏移量不同，所以障碍物提取的特征是自适应变化的。
[0091]
将所述点特征通过三维卷积神经网络处理，得到目标体素化特征。
[0092]
本实施例中，将所述点特征通过三维卷积神经网络处理，得到目标体素化特征，包括：对所述点特征进行体素化处理，得到初始体素化特征；对所述初始体素化特征进行三维可变形卷积和三维卷积处理，得到目标体素化特征。
[0093]
具体的，在点云特征基础上，通过体素化，得到初始体素化特征，对初始体素化特征进行三维可变形卷积，再经过三维卷积得到目标体素化特征。
[0094]
其中，对所述初始体素化特征进行三维可变形卷积和三维卷积处理，得到目标体素化特征，包括：利用第一三维卷积网络对所述初始体素化特征进行特征提取，得到第二中间特征；利用第二三维卷积网络对所述第二中间特征进行特征提取，得到第二偏移量；利用所述第二偏移量对所述初始体素化特征进行处理，得到目标体素化特征。
[0095]
具体的，三维可变形卷积主要流程如图9所示，首先将初始体素化特征通过第一个三维卷积网络提取第二中间特征，将第二中间特征作为输入，对第二中间特征再施加第二个三维卷积网络，得到偏移量δ(x)，从而使得每个体素化特征的位置都有一个可以适应不同物体的几何形变的偏移量δ(x)，最终得到处理后的体素化特征通过如下公式计算得到，三维可变形卷积处理过程示意图如图10所示。
[0096]
其中，所述障碍物的体素化特征的表达式如下：
[0097][0098]
其中，xi是临近点，x是中心点，δ(x)是所述第二偏移量，fi是xi的对应特征，g
deform
是核函数，是球形邻域。代表针对x的卷积过程，δ(x)根据邻域距离自适应变化，从而提取的特征可以适应局部几何形状。
[0099]
将所述点特征，所述目标二维投影特征和所述目标体素化特征进行融合，得到障碍物特征。
[0100]
最后将点云特征、目标体素化特征和目标二维投影特征进行融合，丰富点云数据的特征多样性，来提升最终的三维检测性能，得到最终的行人、车辆、落石的三维结构特征，融合后的点云数据特征更有利于目标分类。
[0101]
本实施例将原始点云数据通过全连接层得到点特征，基于点特征，分别通过二维卷积神经网络和三维卷积神经网络得到二维投影特征和体素化特征，将点特征、二维投影特征和体素化特征融合，完成一种新的神经网络三维构建，以提取候选障碍物点集中的多种点云特征并进行融合，丰富了点云特征的多样性，以便更好地对候选障碍物点集进行分类。其中，重点针对传统的卷积核通常是固定尺寸，固定大小，这就导致对障碍物检测的变
化适应性差，泛化能力差，对小障碍物检测精度不高的问题，构建二维可变形卷积和三维可变形卷积，并分别在二维卷积神经网络和三维卷积神经网络中添加可变形卷积进行优化，使得卷积核可以根据实际情况调整本身的形状，从而使得对候选障碍物点集的特征提取不受物体尺寸大小和距离远近的限制，更好提取障碍物特征。
[0102]
实施例二：
[0103]
基于实施例一所述的一种障碍物检测方法，本实施例提供一种障碍物检测装置，如图11所示，包括：候选障碍物点集确定模块，用于对采集到的三维原始点云数据进行分离和聚类处理，获得非地面点聚类簇，并将非地面点聚类簇作为候选障碍物点集；障碍物特征提取模块，用于采用构建的障碍物特征提取模型分别提取所述候选障碍物点集中的障碍物点特征、二维投影特征和体素化特征，并进行融合得到障碍物特征；障碍物特征分类模块，用于对所述障碍物特征进行分类，得到障碍物检测结果。
[0104]
实施例三：
[0105]
基于实施例一所述的一种障碍物检测方法，实施例二所述的一种障碍物检测装置，本实施例提供一种障碍物检测设备，本实施例提供的障碍物检测设备可以执行实施例一提供的障碍物检测方法的处理流程，如图12所示，障碍物检测设备包括：存储器、处理器、计算机程序；其中，计算机程序存储在存储器中，并被配置为由处理器执行如上所述的障碍物检测方法。
[0106]
实施例四：
[0107]
基于实施例一所述的一种障碍物检测方法，实施例二所述的一种障碍物检测装置，本实施例提供一种工程车辆，所述工程车辆配置有实施例二所述的障碍物检测装置。
[0108]
实施例五：
[0109]
基于实施例一所述的一种障碍物检测方法，实施例二所述的一种障碍物检测装置，本实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行实施例一所述的方法。
[0110]
本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0111]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0112]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0113]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0114]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0115]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。