自移动设备的控制方法及自移动设备与流程

本技术涉及自移动设备，特别是一种自移动设备的控制方法及自移动设备。

背景技术：

1、自移动设备，例如自动割草机，能够自主移动并完成工作任务，无需人工直接控制与操作，显著降低了对人力的依赖，因而日益受到用户的青睐。自移动设备实现自主移动的核心前提之一，是设备能够实时、准确地获取自身在作业环境中的位置信息，即定位能力。

2、相关技术中，单激光雷达定位技术，依赖几何结构，在空旷平面、长直走廊、对称结构等几何退化场景中，点云约束不足易引发位姿漂移。而单视觉定位技术，对光照、纹理极度敏感，弱光、强光、纯色墙面等场景易丢失特征跟踪。导致定位失效或精度下降，难以实现可靠定位。

技术实现思路

1、本技术提供一种自移动设备的控制方法及自移动设备，能有效提高定位精度，提升定位鲁棒性。

2、第一方面，本技术提供了一种自移动设备的控制方法，所述自移动设备包括：

3、非扫描式单帧脉冲成像传感器，被配置为获取所述自移动设备的周围环境的三维点云数据；以及

4、视觉传感器，被配置为获取所述自移动设备的周围环境的图像数据；

5、所述自移动设备的控制方法包括：

6、获取所述三维点云数据和所述图像数据；

7、至少根据所述三维点云数据和所述图像数据，确定所述自移动设备的位姿。

8、在其中一些实施方式中，所述至少根据所述三维点云数据和所述图像数据，确定所述自移动设备的位姿，包括：

9、至少基于所述三维点云数据和所述图像数据，通过紧耦合状态估计模型进行联合优化，求解出所述自移动设备的位姿。

10、在其中一些实施方式中，所述自移动设备还包括状态检测单元，所述状态检测单元被配置为检测所述自移动设备的运动状态数据；

11、所述至少根据所述三维点云数据和所述图像数据，确定所述自移动设备的位姿，包括：

12、根据所述三维点云数据、所述图像数据和所述运动状态数据，确定所述自移动设备的位姿。

13、在其中一些实施方式中，所述状态检测单元包括惯性测量单元；所述运动状态数据包括加速度和角速度；

14、和/或，所述状态检测单元包括轮式里程计；所述运动状态数据包括位移及偏航角。

15、在其中一些实施方式中，所述根据所述三维点云数据、所述图像数据和所述运动状态数据，确定所述自移动设备的位姿，包括以下步骤：

16、数据预处理：对所述三维点云数据、所述图像数据和所述运动状态数据进行时空对齐和运动畸变校正，以获得经预处理后的多源数据；

17、状态预测：根据所述运动状态数据，对所述自移动设备的当前时刻状态进行预测，输出先验状态估计；以及

18、紧耦合观测更新：根据所述多源数据和全局地图，确定所述三维点云数据的几何约束残差和所述图像数据的光度约束残差，基于所述几何约束残差和所述光度约束残差使用迭代误差状态滤波模型对所述先验状态估计进行联合更新，获得后验状态估计，以确定所述自移动设备的位姿。

19、在其中一些实施方式中，所述对所述三维点云数据、所述图像数据和所述运动状态数据进行时空对齐和运动畸变校正，以获得经预处理后的多源数据，包括：

20、根据所述运动状态数据，构建帧间运动模型，并根据所述帧间运动模型，对所述三维点云数据进行运动畸变校正；

21、和/或，根据时间戳将所述三维点云数据、所述图像数据和所述运动状态数据进行时间对齐；根据空间同步参数将所述三维点云数据、所述图像数据和所述运动状态数据进行空间对齐，投影至同一坐标系下；获得时空同步的多源数据。

22、在其中一些实施方式中，所述根据所述运动状态数据，对所述自移动设备的当前时刻状态进行预测，输出先验状态估计，包括：

23、根据所述运动状态数据，构建帧间运动模型；

24、以上一帧获得的所述后验状态估计为预测初始值，根据所述帧间运动模型对所述自移动设备的当前时刻状态进行预测，输出所述先验状态估计；

25、其中，所述先验状态估计包括先验位姿及其协方差矩阵。

26、在其中一些实施方式中，所述全局地图包括全局点云地图和全局视觉地图；

27、所述根据所述多源数据和全局地图，构建所述三维点云数据的几何约束残差和所述图像数据的光度约束残差，包括：

28、将经预处理后的所述三维点云数据投影至所述全局点云地图，检索邻近点以拟合局部平面，计算点到所述局部平面的距离残差，并构建所述距离残差的雅可比矩阵，以获得所述几何约束残差；

29、根据经预处理后的所述图像数据和所述全局视觉地图，计算当前图像帧与参考图像帧之间的光度误差残差，并构建所述光度误差残差的雅可比矩阵，以获得所述光度约束残差。

30、在其中一些实施方式中，所述迭代误差状态滤波模型为迭代误差状态卡尔曼滤波模型；

31、基于所述几何约束残差和所述光度约束残差使用迭代误差状态滤波模型对所述先验状态估计进行联合更新，获得后验状态估计，包括：

32、将所述几何约束残差和所述光度约束残差代入所述迭代误差状态卡尔曼滤波模型，对所述先验状态估计进行联合更新，获得所述后验状态估计；

33、其中，所述后验状态估计包括所述自移动设备的后验位姿及其协方差矩阵。

34、在其中一些实施方式中，所述全局地图包括全局点云地图和全局视觉地图；

35、所述自移动设备的控制方法还包括：

36、根据所述三维点云数据，对所述全局点云地图进行更新；

37、根据所述图像数据和所述三维点云数据，对所述全局视觉地图进行更新。

38、在其中一些实施方式中，所述自移动设备包括传感器模组，所述传感器模组包括安装壳体、所述非扫描式单帧脉冲成像传感器和所述视觉传感器；

39、所述非扫描式单帧脉冲成像传感器和所述视觉传感器均安装于所述安装壳体，且所述非扫描式单帧脉冲成像传感器和所述视觉传感器之间具有预设的外参标定关系；所述传感器模组被配置为能够作为一个整体安装于所述自移动设备上。

40、在其中一些实施方式中，所述视觉传感器为单目相机。

41、在其中一些实施方式中，所述自移动设备为自动割草机；所述自动割草机包括：

42、机身；

43、行走组件，安装于所述机身，包括行走轮及用于驱动所述行走轮移动的自驱电机；

44、割草组件，安装于所述机身，包括切割刀片及用于驱动所述切割刀片转动的割草电机；以及

45、控制模块，被配置为连接并控制所述自驱电机和所述割草电机。

46、第二方面，本技术还提供了一种自移动设备的控制方法，所述自移动设备包括传感器模组，所述传感器模组包括：

47、安装壳体；

48、激光雷达传感器，被配置为获取所述自移动设备的周围环境的三维点云数据；以及

49、视觉传感器，被配置为获取所述自移动设备的周围环境的图像数据；

50、其中，所述激光雷达传感器和所述视觉传感器均安装于所述安装壳体，且所述激光雷达传感器和所述视觉传感器之间具有预设的外参标定关系；所述传感器模组被配置为能够作为一个整体安装于所述自移动设备上；

51、所述自移动设备的控制方法包括：

52、获取所述三维点云数据和所述图像数据；

53、根据时间戳将所述三维点云数据和所述图像数据进行时间对齐；根据所述预设的外参标定关系将所述三维点云数据和所述图像数据进行空间对齐，投影至同一坐标系下；获得时空同步的多源数据；

54、基于所述多源数据，确定所述自移动设备的位姿。

55、第三方面，本技术提供了一种自移动设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的自移动设备的控制方法。

56、与现有技术相比，本技术具有如下有益效果：能有效提高定位精度，提升定位鲁棒性。