一种基于直升机机载激光雷达的地面目标语义分割方法与流程

1.本发明涉及直升机机载激光雷达实时处理技术领域，更具体地说，涉及一种基于直升机机载激光雷达的地面目标语义分割方法。


背景技术：

2.激光雷达具有高测量精度、精细的时间和空间分辨率和远测量距离等优点，而直升机可以做低空、低速和机头方向不变的飞行及升降、悬停、俯仰、偏转等各种复杂动作，具有机动灵活的特点，很适合对各种复杂地形进行测量。因此，直升机载激光雷达在大地测量、森林勘探、城市建模、灾害评估等许多方面获得了日益广泛的应用。
3.随着人工智能以及直升机领域的快速发展，场景理解对于复杂动态场景中机器自动感知的安全性和有效性至关重要。直升机中通常配备有各种传感器，特别是激光雷达传感器在理解视觉环境中起着重要的作用，激光雷达系统用于收集稀疏的3d点云以重建实际场景中的环境并帮助自动系统做出决策以更好地理解场景，因此点云的场景语义理解对于直升机飞行至关重要；同时，研究发现，地面可以提供有用的信息，有效的消除数据稀疏性造成的模糊性，物体与地面之间的关系有利于语义分割预测，所以如何针对直升机飞行场景的点云语义进行有效分割以及如何分割地面并获得物体与地面之间的关系是研究的重点。
4.现有的方法分为基于深度学习和基于非深度学习两类，基于深度学习的方法对算力需求高、机载条件下难以同时满足实时性和低功耗要求；基于非深度学习的方法检测性能不佳，难以保障直升机飞行安全需要。
5.前面的叙述在于提供一般的背景信息，并不一定构成现有技术。


技术实现要素：

6.本发明的目的在于提供一种基于直升机机载激光雷达的地面目标语义分割方法，可以同时满足实时性和低功耗要求，检测性能较佳，保障了直升机飞行的安全需要。
7.本发明提供一种基于直升机机载激光雷达的地面目标语义分割方法，包括以下步骤：
8.s1：通过激光雷达获取实时点云，进行点云数据的采集，并进入s2步骤；
9.s2：将采集的点云数据进入降采样模块，保留点云特征的同时减少点云数据量，得到有效数据，并进入s3步骤；
10.s3：把经过降采样后获得的有效数据经过预处理变成深度学习网络的输入张量，并进入s4步骤；
11.s4：利用深度学习网络的方式将点云分为各个物体的点云簇，并进入s4步骤s5；
12.s5：通过knn推测原点云每一个点的分类情况，输出点云分割结果。
13.进一步地，步骤s1包括以下步骤：
14.s11：激光雷达发送udp包；
15.s12：server端收包解包进行舍去坏点进行坐标系转换；
16.s13：完成点云数据的采集。
17.进一步地，步骤s2包括以下步骤：
18.s21：使用x、y方向各256m的范围滤波；
19.s22：使用体素大小为0.5m的体素滤波。
20.进一步地，步骤s3包括以下步骤：
21.s31：使用鸟瞰图的方式把三维点云信息投影在二维平面上；
22.s32：获得一个训练和推理的深度学习网络的输入二维特征图。
23.进一步地，所述步骤s31：使用前视图的方式把三维点云信息投影在二维平面上。
24.进一步地，所述步骤s3还包括：
25.设立一个roi，激光雷达坐标系中为-128m《x≤128m，0《y≤256m，按照0.5mx0.5m空间对应一个统计单元，使用落入同一栅格的点云最高高度值，以及落入同一栅格的点云高度中位数，对高度信息进行编码，转化的三通道值为(x，y，z)，得到了一个三通道的二维特征图作为网络的输入。
26.进一步地，所述步骤s4还包括：
27.输入三通道的二维特征图，通过1乘1卷积核，输出通道为32通道，得出特征图；用32通道点云三维坐标张量特征图，经特征提取网络，通过1乘1卷积核，输出通道为64通道，再经特征提取网络，通过1乘1卷积核，输出通道为128通道，再经特征提取网络，通过1乘1卷积核，输出通道为256通道，再经特征提取网络，输出空洞空间卷积池化金字塔，再次得出特征图；通过双线性插值，预测得出特征图，用1通道点云三维坐标张量特征图，通过最邻近分类算法，随机条件场，得出点云分割结果。
28.进一步地，所述空洞空间卷积池化金字塔包括输出1乘1卷积核1空洞卷积、输出3乘3卷积核3空洞卷积、输出3乘3卷积核6空洞卷积、输出3乘3卷积核12空洞卷积、输出最大池化，通过特征图拼接再次得出1乘1卷积核1空洞卷积。
29.进一步地，步骤s12中坏点包括距离或者反射强度不合理的点和无效点。
30.本发明提供的基于直升机机载激光雷达的地面目标语义分割方法，基于图像网络进行优化，使之能够处理点云数据，降采样和预处理可以大幅降低需处理的数据量，在计算资源受限情况下，可以使用非深度学习方法处理，降低算力开销，保证了实时性和低功耗要求；准确的点云分割可以适应不同环境和地貌，检测性能较佳，保障了直升机飞行的安全需要；考虑到机载感知应用中，直升机的感知范围是自动驾驶车辆的几十至上百倍，为在不增加计算复杂度的情况下，为提高模型的感知范围，在mobilenet模型中加入aspp等网络结构；地面目标语义分割，将三维点云编码为二维鸟瞰图，使用落入同一栅格的点云最高高度值，以及落入同一栅格的点云高度中位数，对高度信息进行编码，保持简洁特性的同时，提高了对虚假噪点的分辨能力。
附图说明
31.图1为本发明实施例提供的基于直升机机载激光雷达的地面目标语义分割方法的算法模块图。
32.图2为图1中基于直升机机载激光雷达的地面目标语义分割方法的流程图。
33.图3为图1中基于直升机机载激光雷达的地面目标语义分割方法的步骤s4处理模块图。
具体实施方式
34.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
35.本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
36.实施例1
37.图1为本发明实施例提供的基于直升机机载激光雷达的地面目标语义分割方法的算法模块图。请参照图1，本发明实施例提供的基于直升机机载激光雷达的地面目标语义分割方法，包括以下步骤：
38.s1：通过激光雷达获取实时点云，进行点云数据的采集，并进入s2步骤；
39.s2：将采集的点云数据进入降采样模块，保留点云特征的同时减少点云数据量，得到有效数据，需要说明的是，通过降采样模块可以降低处理时间，并进入s3步骤；
40.s3：把经过降采样后获得的有效数据经过预处理变成深度学习网络的输入张量，需要说明的是，投影过程减少了数据维度和数据量，相较于三维数据的处理方式增强了算力依赖和时效性，并进入s4步骤；
41.s4：利用深度学习网络的方式将点云分为各个物体的点云簇；
42.s5：通过knn(最邻近分类算法)推测原点云每一个点的分类情况，输出点云分割结果。
43.本发明的基于直升机机载激光雷达的地面目标语义分割方法的算法，基于图像网络进行优化，使之能够处理点云数据，降采样和预处理可以大幅降低需处理的数据量，在计算资源受限情况下，可以使用非深度学习方法处理，降低算力开销，保证了实时性和低功耗要求；准确的点云分割可以适应不同环境和地貌，检测性能较佳，保障了直升机飞行的安全需要。
44.图2为图1中基于直升机机载激光雷达的地面目标语义分割方法的流程图。请参照图2，步骤s1包括以下步骤：
45.s11：激光雷达发送udp(用户数据包协议)包；
46.s12：server端收包解包进行舍去坏点进行坐标系转换；
47.具体地，坏点包括距离或者反射强度不合理的点和无效点。
48.s13：完成点云数据的采集。
49.步骤s2包括以下步骤：
50.s21：使用x、y方向各256m的范围滤波；
51.s22：使用体素大小为0.5m的体素滤波。
52.需要说明的是，通过降采样过程能有效地保留点云特征的同时减少点云数据量，降低处理时间。
53.步骤s3包括以下步骤：
54.s31：使用鸟瞰图的方式把三维点云信息投影在二维平面上或者用前视图的方式
把三维点云信息投影在二维平面上；
55.s32：获得一个训练和推理的深度学习网络的输入二维特征图。
56.需要说明的是，投影过程减少了数据维度和数据量，相较于三维数据的处理方式增强了算力依赖和时效性。
57.所述步骤s3还包括：
58.设立一个roi(感兴趣的区域)，激光雷达坐标系中为-128m《x≤128m，0《y≤256m，只转化这个范围内的点云，要把点云转化为像素坐标系，一定会有统计值的产生过程，按照0.5mx0.5m空间对应一个统计单元(例如图片的像素)，使用落入同一栅格的点云最高高度值，以及落入同一栅格的点云高度中位数，对高度信息进行编码(类比彩色图片的三通道为颜色空间的值，例如bgr颜色空间中的blue，green，red分量)，转化的三通道值为(x，y，z)，得到了一个三通道的二维特征图作为网络的输入。
59.图3为图1中基于直升机机载激光雷达的地面目标语义分割方法的步骤s4处理模块图。请参照图3，所述步骤s4包括以下步骤：
60.输入三通道的二维特征图，通过1乘1卷积核，输出通道为32通道，得出特征图；用32通道点云三维坐标张量特征图，经特征提取网络，通过1乘1卷积核，输出通道为64通道，再经特征提取网络，通过1乘1卷积核，输出通道为128通道，再经特征提取网络，通过1乘1卷积核，输出通道为256通道，再经特征提取网络，输出空洞空间卷积池化金字塔，再次得出特征图；通过双线性插值，预测得出特征图，用1通道点云三维坐标张量特征图，通过最邻近分类算法，随机条件场，得出点云分割结果。
61.具体地，所述空洞空间卷积池化金字塔包括输出1乘1卷积核1空洞卷积、输出3乘3卷积核3空洞卷积、输出3乘3卷积核6空洞卷积、输出3乘3卷积核12空洞卷积、输出最大池化，通过特征图拼接再次得出1乘1卷积核1空洞卷积。
62.基于上文的描述可知，本发明优点在于：
63.1、目前基于mobilenet aspp interp knn的深度学习点云感知网络模型，尚属首次；考虑到机载感知应用中，直升机的感知范围是自动驾驶车辆的几十至上百倍，为在不增加计算复杂度的情况下，为提高模型的感知范围，在mobilenet模型中加入aspp等网络结构；
64.2、将三维点云编码为二维鸟瞰图，编码方式通常取落入同一栅格的点云的最高高度值，但这种编码方式对虚假噪声点缺乏辨别能力，或将三维点云编码为三维栅格图，但这种方式会产生大量空栅格，造成计算资源浪费，本发明中使用落入同一栅格的点云最高高度值，以及落入同一栅格的点云高度中位数，对高度信息进行编码，保持简洁特性的同时，提高了对虚假噪点的分辨能力。
65.3、准确的点云分割可以适应不同环境和地貌，检测性能较佳，保障了直升机飞行的安全需要。
66.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。