一种挖掘机复杂环境下SLAM建图定位方法、系统及装置与流程

一种挖掘机复杂环境下slam建图定位方法、系统及装置
技术领域
1.本公开涉及图像识别技术领域，尤其涉及一种挖掘机复杂环境下slam建图定位方法、系统及装置。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.slam(simultaneous localization and mapping)是即时定位与地图构建的英文简称，也称为cml(concurrent mapping and localization)，并发建图与定位。slam要解决的问题是：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边逐步描绘出此环境完全的地图，同时一边决定机器人应该往哪个方向行进。
4.机器人slam技术是机器人领域的基础核心技术，基于激光雷达的slam技术是被广泛应用的一种方案，其中基于2d激光雷达的slam技术被广泛应用在家庭服务机器人领域。目前挖掘机一般工作在高度粉尘、地形复杂等场所，对操作者的生命健康和身体安全形成了极大的隐患，另外，矿场长时间作业要求会导致工人劳动强度大，用工成本高。
5.现有基于2d激光雷达的slam技术的一个缺点是只能探测2d平面的物体，而且对被测物体的要求较高，一些特殊的物体，如挖掘机挖掘对象则不能通过现有2d激光雷达有效探测出来。这样，基于2d激光雷达所建立的全局地图有可能无法满足挖掘机自主挖掘需求，这极大地限制了slam技术在挖掘机领域的应用。


技术实现要素：

6.本公开为了解决上述问题，提出了一种挖掘机复杂环境下slam建图定位方法、系统及装置，本公开能够提高挖掘机在复杂烟尘环境下的定位准确性。
7.根据一些实施例，本公开采用如下技术方案：
8.一种挖掘机复杂环境下slam建图定位方法，包括以下步骤：
9.获取挖掘对象的激光雷达数据；
10.获取挖掘对象的深度图像；
11.在激光雷达数据和深度图像所在的重合区域内，将激光雷达数据与深度图像进行坐标系转换，并将激光雷达数据和深度图像进行数据融合，得到挖掘对象的地图。
12.进一步地，所述激光雷达数据为带有运动畸变的点云数据，获取点云数据后进行数据预处理。
13.进一步地，所述数据预处理包括，根据激光雷达匀速运动模型消除畸变，得到无畸变点云。
14.进一步地，对无畸变点云采用顾及点云强度的主成分分析方法从关键点中提取特征点云，得到无畸变特征点云。
15.进一步地，利用精简顾及点云强度的smcgicp算法对无畸变特征点云和无畸变点
云进行配准，推估当前时刻下的激光雷达的位姿。
16.进一步地，利用smcgicp算法得到优化后的激光雷达位姿。
17.进一步地，所述获取挖掘对象的深度图像，包括图像预处理，对深度图像中的彩色图像进行特征提取，并将有深度值对应的特征角点存储为3d特征点，将无深度值对应的特征角点存储为2d特征点。
18.进一步地，通过特征匹配和2d/3d联合运动估计法得到深度相机的运动状态，得到当前时刻的深度相机位姿，确定关键帧。
19.进一步地，将关键帧对应的深度相机位姿进行整体优化，并建立挖局对象的三维地图。
20.一种挖掘机复杂环境下slam建图定位系统，包括：
21.雷达数据模块，被配置为，获取挖掘对象的激光雷达数据；
22.深度图像模块，被配置为，获取挖掘对象的深度图像；
23.数据融合模块，被配置为，在激光雷达数据和深度图像所在的重合区域内，将激光雷达数据与深度图像进行坐标系转换，并将激光雷达数据和深度图像进行数据融合，得到挖掘对象的地图。
24.一种挖掘机复杂环境下slam建图定位装置，包括：
25.服务器，用于对挖掘对象的激光雷达与深度相机相同采集区域内，根据激光雷达和深度相机采集数据进行数据融合，根据数据融合结果，对挖掘对象进行实时建图；
26.激光雷达，用于对挖掘机挖掘对象进行探测，从而获取到激光雷达的点云数据；
27.深度相机，用于对挖掘机挖掘对象进行探测，从而获取到深度相机的深度图像；
28.交换机，用于各设备间高速网络通信。
29.与现有技术相比，本公开的有益效果为：
30.本公开优化了传统icp的目标函数，从而增加了挖掘机在复杂烟尘环境下的定位准确性，精简了运算量，可以降低驾驶员的作业风险，提高挖掘效率，降低施工成本，弥补了传统slam技术在挖掘机上应用不足的情况，加快挖掘机无人化、自主化挖掘作业发展进程。
附图说明
31.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
32.图1是本实施例的激光雷达与深度相机在挖掘机上的安装布局图；
33.图2是本实施例的流程图；
34.图3是本实施例的步骤s1的具体框图；
35.图4是本实施例的步骤s2的具体框图；
36.图5是本实施例的步骤s3的具体框图；
37.图6是本实施例的smcgicp算法与传统mcgicp算法运行效率对比图；
38.图7是本实施例的传统mcgicp算法slam建图效果图；
39.图8是本实施例的smcgicp算法slam建图效果图。
40.其中，1、激光雷达；2、深度相机。
具体实施方式：
41.下面结合附图与实施例对本公开作进一步说明。
42.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
43.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
44.实施例1.
45.如图2所示，一种挖掘机复杂环境下slam建图定位方法，包括以下步骤：
46.s1.利用激光雷达对挖掘对象进行检测，获取挖掘对象的激光雷达数据；
47.s2.利用深度相机对挖掘对象进行检测，获取挖掘对象的深度图像；
48.s3.在激光雷达与深度相机的重合区域内，将激光雷达采集的激光雷达数据与深度相机采集的深度图像进行坐标系转换，并将激光雷达数据和深度图像进行数据融合，得到挖掘对象的地图。
49.具体的，
50.如图3所示，所述步骤s1具体包括以下步骤：
51.s11.利用3d激光雷达获取的点云数据是带有运动畸变的点云，需要进行点云预处理，根据激光雷达匀速运动模型消除畸变，而后采用顾及点云强度的主成分分析方法从关键点中提取特征点云；
52.s12.采用精简顾及点云强度的smcgicp算法对上一时刻的无畸变特征点云和当前时刻初步消除畸变的点云进行配准，估计激光雷达在这段时间的相对运动，进而推估当前时刻下雷达的位姿；
53.s13.采用smcgicp算法，将局部点云与全局地图进行配准，在更新地图同时得到优化后的雷达位姿。
54.进一步作为优选的实施方式，如图4所示，所述步骤s2具体包括以下步骤：
55.s21.图像预处理，服务器收到深度相机输出的彩色图像和深度图像，对彩色图像进行特征提取，并将有深度值对应的特征角点存储为3d特征点，将无深度值对应的特征角点对出为2d特征点；
56.s22.将k时刻的2d特征和3d特征与k
‑
1时刻的进行匹配，并根据匹配的特征点采用2d/3d联合运动估计方法粗略估计相机在[k
‑
1，k]时刻内的运动状态，得到k时刻下的相机位姿，最后确定当前帧是否为关键帧；
[0057]
s23.将创建的关键帧插入优化器中，对所有关键帧所对应的相机位姿进行整体优化，而后以优化后的相机位姿为参考，将各关键帧的全部点云信息附上颜色后建立挖掘对象的三维地图。
[0058]
进一步作为优选的实施方式，如图5所示，所述步骤s3具体包括以下步骤：
[0059]
s31.前期工作，采用张正友标定法快速标定相机内参。采用aruco标志实现激光雷达与深度相机安置参数的标定；
[0060]
s32.数据预处理，服务器收到的彩色图像和深度图像，对彩色图像进行特征提取，并将有深度值对应的特征角点存储为3d特征点，将无深度值对应的特征角点对出为2d特征点。服务器低频接收点云，并根据高频图像的帧间vo消除点云畸变；
[0061]
s33.运动估计，运动估计分为高频的深度相机帧间运动估计和低频激光雷达点云配准。相机帧间运动估计采用s22中的运动估计方法，并为点云的畸变消除提供初值。点云配准采用s12中的点云配准方法，优化位姿估计结果并为进一步消除点云的畸变提供初值。最后确定当前帧是否为关键帧；
[0062]
s34.地图构建与优化，通过估计点云颜色信息的smcgicp算法将局部点云与全局地图配准，在更新地图的同时获取优化后的激光雷达位姿。
[0063]
s35.回环检测，采用基于orb词典和点云相似性的环境识别方法进行闭环检测，若产生闭环则利用ba对闭环内所有载体轨迹和地图点进行整体优化，保证地图的一致性，并降低位姿漂移。
[0064]
进一步作为优选的实施方式，所述步骤s34主要包括以下算法：
[0065]
优化icp概率框架，其目标函数为：
[0066][0067]
上式中，将前后两帧点云进行顾及点云强度运算，将运算结果乘未优化的目标函数，当点云强度较弱时，匹配后的点云在全局地图中权重将减少，从而达到精简运算和增加挖掘机在烟尘环境下slam建图鲁棒性的目的。
[0068]
进一步作为优选的实施方式，将点云a，b中的某一点i表示为其中表示位置信息，表示附加的点云强度信息。设q＝[q
p
,q
d
]
t
为索引点，q与其k邻域点的局部协方差阵为将所有的沿法向投影至q的表面上，得到
[0069][0070]
其中u1、u1是局部协方差阵svd分解的u矩阵的前两列。将点云强度量测值表示为一维高斯分布并定义权值λ
i
为：
[0071][0072]
而后加权计算投影点的均值μ
p
和方差σ
d
，通过这种方法将点云强度信息融入平面方向的点位信息中：
[0073]
[0074][0075]
μ
p
和σ
d
描述了点云强度不确定度沿平面方向的分布，反映了邻域点l
i
与索引点q的相似性。为避免采样偏差引起的协方差矩阵的估计偏差，将σ
d
归一化得：
[0076][0077]
最后，将融入点云强度信息的协方差矩阵ω融入icp框架中：
[0078][0079]
将σ
i
代入目标函数中，利用非线性优化算法即可求解点云的相对变换
[0080]
进一步作为优选的实施方式，如图6为本发明smcgicp算法与传统mcgicp算法运行效率对比图，可以看出，本发明算法对比传统算法在cpu占用率上约有2～10％的领先。
[0081]
进一步作为优选的实施方式，如图7为传统mcgicp算法slam建图效果图。如图8为本发明smcgicp算法slam建图效果图，可以看出，本发明算法对比传统算法在效果上有明显提升，点云数量更加精简，地图更加准确。
[0082]
实施例2.
[0083]
一种挖掘机复杂环境下slam建图定位系统，其特征在于，
[0084]
雷达数据模块，被配置为，获取挖掘对象的激光雷达数据；
[0085]
深度图像模块，被配置为，获取挖掘对象的深度图像；
[0086]
数据融合模块，被配置为，在激光雷达数据和深度图像所在的重合区域内，将激光雷达数据与深度图像进行坐标系转换，并将激光雷达数据和深度图像进行数据融合，得到挖掘对象的地图。
[0087]
实施例3.
[0088]
一种挖掘机复杂环境下slam建图定位装置，包括：
[0089]
服务器，用于对挖掘对象的激光雷达与深度相机相同采集区域内，根据激光雷达和深度相机采集数据进行数据融合，根据数据融合结果，对挖掘对象进行实时建图；
[0090]
激光雷达，用于对挖掘机挖掘对象进行探测，从而获取到激光雷达的点云数据；
[0091]
深度相机，用于对挖掘机挖掘对象进行探测，从而获取到深度相机的深度图像；
[0092]
交换机，用于各设备间高速网络通信。
[0093]
具体的，
[0094]
如图1所示，一种挖掘机复杂环境下slam建图定位装置，包括服务器、激光雷达、深度相机和千兆交换机，所述服务器与千兆交换机通过六类双绞屏蔽网线连接，所述激光雷达和深度相机分别通过六类双绞屏蔽网线连接到千兆交换机上；
[0095]
所述服务器用于对挖掘机同一挖掘对象的激光雷达与深度相机相同采集区域内，根据激光雷达和深度相机采集数据进行数据融合，根据数据融合结果，对挖掘对象进行实时建图；
[0096]
所述激光雷达用于对挖掘机挖掘对象进行探测，从而获取到激光雷达的点云数据；
[0097]
所述深度相机用于对挖掘机挖掘对象进行探测，从而获取到深度相机的深度图像；
[0098]
所述千兆交换机用于各设备间高速网络通信；
[0099]
如图1，3d激光雷达安装在挖掘机驾驶室的顶部，深度相机安装在挖掘机驾驶室的前部。
[0100]
进一步作为优选的实施方式，所述激光雷达为3d激光雷达，线数为16线，所述3d激光雷达的视角为360
°
，所述3d激光雷达测量距离最长为100m，保证挖掘机的有效可检测范围。
[0101]
进一步作为优选的实施方式，所述深度相机的类型为双目tof深度相机，所述深度相机的像素为400万像素，所述深度相机的深度范围为0.2m
‑
20m，保证挖掘机的有效检测精度。
[0102]
由图1可知3d激光雷达与深度相机的安装关系，二者的视野区域存在重叠部分，优选地可以调整深度相机的方向，使二者的视野所形成的控件具有对称性。
[0103]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
[0104]
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。