面向酿造环境的天车三维障碍物检测方法及系统

1.本发明涉及障碍物检测技术领域，特别涉及一种面向酿造环境的天车三维障碍物检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
3.天车在工业生产过程中的重要作用日益凸显，天车是一种用于将物料从起始位置搬运到目标位置的特种运输设备，它将工人从繁重的搬运装卸劳动中解放了出来，促进了工业经济的发展。
4.但是，目前酿造行业中的天车通常采用人工遥控的方式进行控制，自动化水平较低，并且酿造环境较为复杂，厂房内存在大量的生产设备，工人工作环境与天车作业环境相互重叠，工人在操作天车作业时需时刻观察周围环境，避免天车吊运货物与生产设备或工人发生碰撞，整个过程完全依赖于工人经验，这导致了天车作业效率低下，并且存在安全隐患。


技术实现要素：

5.为了解决现有技术的不足，本发明提供了一种面向酿造环境的天车三维障碍物检测方法及系统，在适应酿酒厂天车的同时构建了大范围感知视野，对双激光雷达点云数据进行融合和预处理操作，创新性的提出了一种基于分区多段动态阈值的径向有界最近邻聚类算法，用于酿造环境三维障碍物检测，解决了传统方法存在的过分割、欠分割和不适用于双激光雷达场景的问题，实现了酿造环境中三维障碍物的实时准确检测。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明第一方面提供了一种面向酿造环境的天车三维障碍物检测方法。
8.一种面向酿造环境的天车三维障碍物检测方法，包括以下过程：
9.获取布置在传感器支架上的第一三维激光雷达和第二三维激光雷达的点云数据；
10.对两个三维激光雷达的点云数据进行点云融合，所述点云融合包括点云时间同步和点云拼接；
11.对融合后的点云数据进行预处理；
12.对预处理后的点云数据，根据改进的径向有界最近邻聚类算法进行三维障碍物检测；
13.其中，改进的径向有界最近邻聚类算法中，以某个激光雷达的坐标系原点为圆心，在xoy平面作同心圆，x轴为垂直于地面的轴向,每间预设距离作圆，将xoy平面划分为不同的段，其中di代表第i段区域内的点与原点在xoy平面上的投影距离，在段内使用该段最大同心圆半径所对应的最大间隙作为该段径向有界最近邻聚类的阈值半径。
14.作为可选的一种实现方式，两个三维激光雷达布置在传感器支架的对角线顶点位置，两个三维激光雷达均水平安装，激光线束在竖直方向上进行360度扫描，传感器支架固
定在天车的小车上，延伸至天车大车车身下方，传感器支架宽度小于天车小车宽度，传感器支架长度小于天车大车车身宽度。
15.作为可选的一种实现方式，第一三维激光雷达的点云为p1，第一三维激光雷达的点云为p2，融合后的点云数据pu＝p1 p
′2，其中，p
′2＝rp2 t，r为旋转矩阵，t为平移向量。
16.作为可选的一种实现方式，对融合后的点云数据进行预处理，包括：
17.进行感兴趣区域提取和点云降采样，通过半径滤波的方式滤除离群点，通过设置高度阈值的方式滤除地面点。
18.作为可选的一种实现方式，改进的径向有界最近邻聚类算法中，定义分区函数：
19.divzone1(x,y,z)＝0.072x2 0.072y
2-z220.divzone2(x,y,z)＝0.072x2 0.072(y 2.6)
2-(z 1.5)221.对于有效点云中的任意一点pi(xi,yi,zi)，若divzone1(xi,yi,zi)≥0，该点属于主分区或公共分区，依据di分区；若divzone1(xi,yi,zi)《0且divzone2(xi,yi,zi)≥0，该点属于拓展分区，依据d
′i分区，其中，di为点pi(xi,yi,zi)与第一三维激光雷达在xoy平面的投影距离，d
′i为点pi(xi,yi,zi)与第二三维激光雷达在xoy平面的投影距离。
22.作为可选的一种实现方式，对分区分段后的各段点云采用径向有界最近邻聚类算法处理得到点云簇集合，对点云簇集合中的每个点云簇求在xyz轴上的最大最小坐标，从而确定对应的长方体边界框的8个顶点坐标，进而确定点云簇所代表障碍物的长方体边界框；
23.对位于不同分段内的点云簇在x轴方向上进行结果聚合，x轴为垂直于地面的轴向，若两个三维障碍物在yoz平面上的投影存在交叉，则将这两个障碍物对应的点云簇合并为一个，将其视为同一障碍物。
24.作为可选的一种实现方式，所述阈值半径为三维激光雷达采集到的点云数据在该段内的最大固有间隙。
25.本发明第二方面提供了一种面向酿造环境的天车三维障碍物检测系统。
26.一种面向酿造环境的天车三维障碍物检测系统，包括：
27.数据获取模块，被配置为：获取布置在传感器支架上的第一三维激光雷达和第二三维激光雷达的点云数据；
28.点云融合模块，被配置为：对两个三维激光雷达的点云数据进行点云融合，所述点云融合包括点云时间同步和点云拼接；
29.点云预处理模块，被配置为：对融合后的点云数据进行预处理；
30.障碍物检测模块，被配置为：对预处理后的点云数据，根据改进的径向有界最近邻聚类算法进行三维障碍物检测；
31.其中，改进的径向有界最近邻聚类算法中，以某个激光雷达的坐标系原点为圆心，在xoy平面作同心圆，每间预设距离作圆，将xoy平面划分为不同的段，其中di代表第i段区域内的点与原点在xoy平面上的投影距离，在段内使用该段最大同心圆半径所对应的最大间隙作为该段径向有界最近邻聚类的阈值半径。
32.本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的面向酿造环境的天车三维障碍物检测方法中的步骤。
33.本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并
可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的面向酿造环境的天车三维障碍物检测方法中的步骤。
34.与现有技术相比，本发明的有益效果是：
35.本发明所述的面向酿造环境的天车三维障碍物检测方法及系统，在适应酿酒厂天车的同时构建了大范围感知视野，对双激光雷达点云数据进行融合和预处理操作，创新性的提出了一种基于分区多段动态阈值的径向有界最近邻聚类算法，用于酿造环境三维障碍物检测，解决了传统方法存在的过分割、欠分割和不适用于双激光雷达场景的问题，实现了酿造环境中三维障碍物的实时准确检测。
36.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
37.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
38.图1为本发明实施例1提供的传感器支架俯视图。
39.图2为本发明实施例1提供的传感器支架安装示意图。
40.图3为本发明实施例1提供的间隙计算辅助图。
41.图4为本发明实施例1提供的分段阈值设计示意图。
42.图5为本发明实施例1提供的双激光雷达分界圆锥面三维图。
43.图6为本发明实施例1提供的实验场景布置示意图。
44.图7为本发明实施例1提供的单障碍物场景第102帧点云检测结果对比图。
45.图8为本发明实施例1提供的多障碍物场景第26帧点云检测结果对比图。
46.图9为本发明实施例1提供的天车实物图。
47.图10为本发明实施例1提供的真实酿造环境下料箱障碍物检测结果。
48.其中，1-传感器支架，2-天车大车，3-天车小车。
具体实施方式
49.下面结合附图与实施例对本发明作进一步说明。
50.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
51.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
52.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
53.实施例1：
54.本发明实施例1提供了一种面向酿造环境的天车三维障碍物检测方法，包括以下内容：
55.s1：双激光雷达水平安装布局方案设计
56.用于安装双激光雷达的传感器支架俯视图如图1所示，将2个16线三维激光雷达布置在传感器支架的对角线顶点位置，三维激光雷达水平安装，激光线束在竖直方向上进行360度扫描。传感器支架焊接在天车小车上，延伸至天车大车车身下方，如图2所示，其中1为传感器支架，2为天车大车，3为天车小车。
57.为避免传感器支架的尺寸影响天车运行的极限位置，传感器支架宽度应小于天车小车宽度，传感器支架长度应小于天车大车车身宽度；同时，三维激光雷达应远离天车小车中心位置，避免中间负载直接出现在其视野正下方，遮挡其感知视野。基于以上两点考虑，本实施例将两个三维激光雷达在横向上的距离设置为1.5米，纵向上的距离设置为2.6米。
58.s2：双激光雷达点云融合
59.点云融合包括点云时间同步和点云拼接，本实施例采用ros系统中基于策略的时间同步器对双激光雷达数据进行时间同步，选择的具体策略为近似时间策略，从而可得经过时间同步的点云数据。点云拼接指对经过时间同步的点云数据进行空间转换，将来自不同三维激光雷达的点云数据转换到同一基准坐标系下。本实施例以三维激光雷达1的坐标系为基准坐标系，三维激光雷达2向三维激光雷达1变换，将三维激光雷达1、2产生的点云分别定义为p1、p2，如下式：
60.p1＝{pi|i＝0,...,n-1}＝{(xi,yi,zi)|i＝0,...,n-1}
ꢀꢀꢀ
(1)
61.p2＝{pj|j＝0,...,m-1}＝{(xj,yj,zj)|j＝0,...,m-1}
ꢀꢀꢀ
(2)
62.传感器布局决定了三维激光雷达2的点云向三维激光雷达1坐标系变换的欧拉角向量e＝(α,β,γ)
t
和平移向量t＝(t
x
,ty,tz)
t
，均为已知量，设欧拉角旋转顺序为z-y-x，由欧拉角向量可求旋转矩阵r，如下式：
[0063][0064]
所以三维激光雷达2的点云p2向三维激光雷达1坐标系转换的公式为：
[0065]
p
′2＝rp2 t
ꢀꢀꢀ
(4)
[0066]
则点云拼接后得到融合点云pu的计算公式为：
[0067]
pu＝p1 p
′2ꢀꢀꢀ
(5)
[0068]
s3：点云数据预处理
[0069]
本实施例通过感兴趣区域提取和点云降采样的方法提取有效区域点云，降低点云密度，以减轻后续算法压力。感兴趣区域提取通过对点云xyz轴坐标限制的方式过滤出感兴趣区域内的点。点云降采样则根据预先设置的网格尺寸对感兴趣区域所占有的三维空间进行三维体素网格划分，感兴趣区域点云中的每个点都会被划分到一个体素网格中，点云降采样以体素网格的质心代替体素网格内所有点，从而达到降低点云密度的目的。
[0070]
此外，三维激光雷达产生的点云数据中包含测量噪声和环境噪声造成的离群点，以及对于三维障碍物检测无意义的地面点，为此，本实施例通过半径滤波的方式滤除离群点，通过设置高度阈值的方式滤除地面点。
[0071]
s4：基于改进径向有界最近邻聚类算法的三维障碍物检测
[0072]
通过对双激光雷达点云数据进行点云融合和预处理操作后，本实施例得到了有效
的点云数据，采用聚类算法进行三维障碍物检测。针对传统径向有界最近邻聚类算法存在的欠分割、过分割和不适用与双激光雷达的问题，本实施例提出一种基于分区多段动态阈值的改进径向有界最近邻聚类算法，算法具体内容如下：
[0073]
s4.1：多段动态阈值设计。
[0074]
传统径向有界最近邻算法中的欠分割、过分割问题是固定的阈值半径处理分布不均的点云数据造成的，为此，本实施例依据三维激光雷达多激光线束之间的间隙设计动态阈值，图3给出某个时刻激光线束分布图，三维激光雷达与地面的距离为d，定义l1至l
15
分别为相邻激光线束所形成的间隙，l1计算公式为：
[0075]
l1＝2
×d×
tan 1
°ꢀꢀꢀ
(6)
[0076]
l2至l8的计算公式为：
[0077]
li＝d
×
[tan(2i-1)
°‑
tan(2i-3)
°
],i∈{2,3,...,8}
ꢀꢀꢀ
(7)
[0078]
l9至l
15
的计算公式为：
[0079]
l
i 7
＝li,i∈{2,3,...,8}
ꢀꢀꢀ
(8)
[0080]
显然，最大间隙l
max
在i为8或15时取得：
[0081]
l
max
＝l8＝l
15
＝d
×
(tan 15
°‑
tan 13
°
)＝d
×
0.037
ꢀꢀꢀ
(9)
[0082]
本实施例以最大间隙l
max
代替其他间隙，将其作为动态阈值的设计依据，进行分段阈值设计。以三维激光雷达1坐标系原点为圆心，在xoy平面作同心圆，每间隔3米作圆，将xoy平面划分为不同的段，如图4所示，其中di代表第i段区域内的点与原点在xoy平面上的投影距离。在段内使用该段最大同心圆半径所对应的最大间隙l
max
来作为该段径向有界最近邻聚类的阈值半径。该阈值半径代表威力登16线激光雷达采集到的点云数据在该段内的最大固有间隙，与环境无关。
[0083]
对于点云中的任意一点pi(xi,yi,zi)，pi与三维激光雷达1坐标系原点在xoy平面上的投影距离di可由下求出：
[0084][0085]
s4.2：分区设计
[0086]
对于只有三维激光雷达1可感知到的区域，将其定义为主分区，di即为点与三维激光雷达1在xoy平面的投影距离，所以采用di进行分段即可；对于三维激光雷达1和2均可感知到的区域，将其定义为公共分区，在只有三维激光雷达1的情况下，该区域内的点比较稀疏，三维激光雷达2的加入使得该区域的点云更加稠密，间隙也相应变小，采用di进行分段时所匹配到的阈值半径仍为该段的最大固有间隙，所以仍可采用di作为分段依据；对于只有三维激光雷达2可感知到的区域，将其定义为拓展分区，该分区内的点全部来自于三维激光雷达2，采用di进行分段无法得到合理的阈值半径，应根据点与三维激光雷达2在xoy平面的投影距离d
′i进行分段，三维激光雷达2在三维激光雷达1坐标系下的xy坐标为(0，-2.6)，所以d
′i的计算公式如下式所示：
[0087][0088]
为了便于对融合点云中的数据进行分区，需求出三维激光分界面方程，依据三维激光雷达原理可求出三维激光雷达1的分界圆锥面方程为：
[0089]
0.072x2 0.072y
2-z2＝0
ꢀꢀꢀ
(12)
[0090]
依据函数平移性质可推出三维激光雷达2的分界圆锥面方程为：
[0091]
0.072x2 0.072(y 2.6)
2-(z 1.5)2＝0
ꢀꢀꢀ
(13)
[0092]
基于公式(12)、(13)画出分界面三维图，如图5所示，其中o点处为三维激光雷达1中心位置，o'点为三维激光雷达2中心位置，浅色曲面为三维激光雷达1的分界圆锥面，深色曲面为三维激光雷达2的分界圆锥面。
[0093]
基于公式(12)、(13)，定义分区函数divzone1(x,y,z)、divzone2(x,y,z)，如下式所示：
[0094]
divzone1(x,y,z)＝0.072x2 0.072y
2-z2ꢀꢀꢀ
(14)
[0095]
divzone2(x,y,z)＝0.072x2 0.072(y 2.6)
2-(z 1.5)2ꢀꢀꢀ
(15)
[0096]
对于有效点云中的任意一点pi(xi,yi,zi)，若divzone1(xi,yi,zi)≥0，该点属于主分区或公共分区，依据di分区即可；若divzone1(xi,yi,zi)《0且divzone2(xi,yi,zi)≥0，该点属于拓展分区，依据d
′i分区即可。
[0097]
s4.3：结果聚合设计
[0098]
对分区分段后的各段点云采用传统径向有界最近邻聚类算法处理得到点云簇集合c，对c中的每个点云簇求其在xyz轴上的最大最小坐标，从而确定对应的长方体边界框的8个顶点坐标，进而确定点云簇所代表障碍物的长方体边界框。c中点云簇实际为各分段区域内点的聚类结果，当障碍物跨越多个分段时，此方法不完备。为此，基于酿酒厂不存在悬空障碍物的客观事实，本实施例对位于不同分段内的点云簇在x轴方向上进行结果聚合，x轴即垂直于地面的轴向。若两个三维障碍物在yoz平面上的投影存在交叉，则将这两个障碍物对应的点云簇合并为一个，将其视为同一障碍物。
[0099]
为验证本实施例所述方法的有效性，本实施例分别在实验室场景和真实酿造环境中进行实验。
[0100]
在实验室场景下按照所提出的双激光雷达水平安装布局方案布置实验场景，如图6所示，三维激光雷达1、2横向相距1.5米，纵向相距2.6米，高度均为1.5米，虽然安装高度与酿酒厂真实安装高度不一致，但这并不影响方法效果的验证。
[0101]
定义检出率为：
[0102][0103]
其中正确检测帧数指场景感兴趣区域内障碍物均被正确检测出的点云帧数。在单行人障碍物场景下，将传统径向有界最近邻聚类算法的阈值半径分别设置为0.1、0.3、0.6，传统算法与本实施例所述方法对比实验结果如表2所示。
[0104]
表2：单障碍物场景下算法对比结果。
[0105][0106]
由表2可见，单障碍物场景下本实施例方法检出率最高，当传统径向有界最近邻方法阈值为0.1时，第102帧点云检测结果对比图如图7所示。由图7可见，传统方法出现过分割问题，而改进后算法正确检测出了单行人障碍物。
[0107]
由表2可见，传统径向有界最近邻聚类方法在阈值为0.6时检出率比其他阈值半径高，因此，在多行人障碍物场景下，将传统方法阈值半径设置为0.6，只有当一帧点云中的多个障碍物都被检测出来才被视为正确检测帧，传统算法与本实施例方法对比实验结果如表3所示。
[0108]
表3：多障碍物场景下算法对比结果。
[0109][0110]
由表3可见，多障碍物场景下本实施例方法检出率最高，当传统径向有界最近邻方法阈值为0.6时，第26帧点云检测结果对比图如图8所示。由图8可见，传统方法出现欠分割问题，将2、3号障碍物检测为同一障碍物，而改进后算法正确检测出了多个行人障碍物。
[0111]
真实酿造环境中的天车实物如图9所示，在真实酿造环境中放置料箱障碍物，如图10中的(a)所示，当料箱障碍物进入雷达视野时，检测结果如图10中的(b)所示。
[0112]
实施例2：
[0113]
本发明实施例2提供了一种面向酿造环境的天车三维障碍物检测系统，包括：
[0114]
数据获取模块，被配置为：获取布置在传感器支架上的第一三维激光雷达和第二三维激光雷达的点云数据；
[0115]
点云融合模块，被配置为：对两个三维激光雷达的点云数据进行点云融合，所述点云融合包括点云时间同步和点云拼接；
[0116]
点云预处理模块，被配置为：对融合后的点云数据进行预处理；
[0117]
障碍物检测模块，被配置为：对预处理后的点云数据，根据改进的径向有界最近邻聚类算法进行三维障碍物检测；
[0118]
其中，改进的径向有界最近邻聚类算法中，以某个激光雷达的坐标系原点为圆心，
在xoy平面作同心圆，每间预设距离作圆，将xoy平面划分为不同的段，其中di代表第i段区域内的点与原点在xoy平面上的投影距离，在段内使用该段最大同心圆半径所对应的最大间隙作为该段径向有界最近邻聚类的阈值半径。
[0119]
所述系统的具体工作方法与实施例1提供的面向酿造环境的天车三维障碍物检测方法相同，这里不再赘述。
[0120]
实施例3：
[0121]
本发明实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例1所述的面向酿造环境的天车三维障碍物检测方法中的步骤。
[0122]
实施例4：
[0123]
本发明实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的面向酿造环境的天车三维障碍物检测方法中的步骤。
[0124]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0125]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0126]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0127]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0128]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0129]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。