一种基于双目摄像头的虚拟激光点云生成与优化方法及装置与流程

本公开涉及具身机器人，尤其涉及一种基于双目摄像头的虚拟激光点云生成与优化方法及装置。

背景技术：

1、目前，具身机器人在执行导航、抓取、避障等任务时，高度依赖对环境的三维感知。激光雷达因其测距精度高、受光照影响小而成为主流三维感知传感器，但其高昂的成本、较高的功耗以及对安装空间的要求，严重限制了具身机器人在家庭、工厂、仓储和轻量级服务场景中的经济性部署。

技术实现思路

1、第一方面，本公开实施例提供了一种基于双目摄像头的虚拟激光点云生成与优化方法，该方法包括：

2、通过部署于具身机器人的双目摄像头对具身机器人所处环境进行图像采集，得到左右视角环境图像；

3、对左右视角环境图像进行预处理；

4、对预处理后的左右视角环境图像进行立体匹配，生成视差图；

5、根据视差图和双目摄像头的标定参数中的焦距、基线距离、主点坐标，生成具身机器人所处环境的虚拟激光点云；

6、对具身机器人所处环境的虚拟激光点云进行质量优化；

7、对质量优化后的虚拟激光点云进行语义标注，为其中的各点赋予语义类别标签；

8、将带有语义类别标签的虚拟激光点云转换为适配具身机器人待执行的目标任务的虚拟激光点云，以供具身机器人执行目标任务时调用。

9、在第一方面的一些可实现方式中，通过部署于具身机器人的双目摄像头对具身机器人所处环境进行图像采集，得到左右视角环境图像，包括：

10、通过同步信号线将同步信号发生器产生的硬件触发信号，分别传输至双目摄像头的左摄像头和右摄像头；

11、响应于同一硬件触发信号，控制左摄像头和右摄像头对具身机器人所处环境进行同步拍摄，得到左右视角环境图像。

12、在第一方面的一些可实现方式中，对左右视角环境图像进行预处理，包括：

13、根据双目摄像头的标定参数中的畸变系数对左右视角环境图像进行畸变校正，以消除镜头径向畸变和镜头切向畸变；

14、根据双目摄像头的标定参数中的旋转矩阵和平移向量对畸变校正后的左右视角环境图像进行立体校正，使左右视角环境图像中同一空间点的投影位置位于同一水平极线上；

15、对立体校正后的左右视角环境图像进行图像增强；图像增强包括去噪、对比度增强和光照补偿。

16、在第一方面的一些可实现方式中，对预处理后的左右视角环境图像进行立体匹配，生成视差图，包括：

17、针对预处理后的左右视角环境图像中的各像素，在设定的视差搜索范围内融合多特征进行混合代价计算，得到各像素在各视差值下的匹配代价；

18、构建预处理后的左右视角环境图像的图像金字塔，图像金字塔包含多个尺度层级；

19、在图像金字塔的最粗尺度层级上，对各像素在各视差值下的匹配代价进行动态规划聚合，得到最粗尺度层级的聚合代价，通过视差选择为最粗尺度层级上的各像素选取聚合代价最小的视差值，生成最粗尺度层级的视差图；

20、将上一尺度层级的视差图传播至相邻的较细尺度层级，作为较细尺度层级上各像素的初始视差估计，在较细尺度层级上，基于各像素的初始视差估计对视差搜索范围进行收缩，并在收缩后的视差搜索范围内重新计算各像素在各视差值下的匹配代价，对重新计算后的匹配代价进行动态规划聚合，得到较细尺度层级的聚合代价，通过视差选择为较细尺度层级上的各像素选取聚合代价最小的视差值，生成较细尺度层级的视差图；

21、逐级执行视差图传播、视差搜索范围收缩、匹配代价重新计算、动态规划聚合及视差选择，直至生成最细尺度层级的视差图；

22、在各尺度层级的动态规划聚合过程中，根据局部纹理丰富程度自适应调整视差平滑惩罚参数，以控制视差连续性；

23、对最细尺度层级的视差图执行左右一致性检测，将不一致像素标记为不可靠区域，采用邻域中的视差值对不可靠区域进行填充修正；

24、对填充修正后的视差图进行子像素插值处理；

25、采用深度学习网络对插值处理后的视差图进行增强处理，得到最终的视差图。

26、在第一方面的一些可实现方式中，根据视差图和双目摄像头的标定参数中的焦距、基线距离、主点坐标，生成具身机器人所处环境的虚拟激光点云，包括：

27、针对视差图中的各像素，基于像素的视差值、焦距中的水平方向焦距和基线距离计算像素的深度值；

28、根据像素的深度值、焦距和主点坐标，将像素的图像坐标从图像坐标系转换到相机坐标系，并结合深度值，得到空间点的三维坐标；

29、根据各空间点的三维坐标，生成具身机器人所处环境的虚拟激光点云。

30、在第一方面的一些可实现方式中，对具身机器人所处环境的虚拟激光点云进行质量优化，包括：

31、对虚拟激光点云进行去噪，并对去噪后的虚拟激光点云进行体素网格下采样，得到降密度虚拟激光点云；

32、检测降密度虚拟激光点云中的稀疏区域，从预处理后的左右视角环境图像中获取稀疏区域对应的语义信息；

33、根据语义信息确定稀疏区域所属的目标类别，并从降密度虚拟激光点云中提取稀疏区域边缘处已有点的几何分布特征；

34、根据稀疏区域边缘处已有点的几何分布特征和目标类别对应的几何补全先验，对稀疏区域进行补点；

35、从预处理后的左右视角环境图像中提取补点后的降密度虚拟激光点云中的各点对应像素的颜色信息，为各点赋予颜色属性，得到完整虚拟激光点云；

36、若存在历史优化虚拟激光点云，则将完整虚拟激光点云与历史优化虚拟激光点云进行配准融合，得到当前优化虚拟激光点云；若不存在历史优化虚拟激光点云，则将完整虚拟激光点云作为当前优化虚拟激光点云。

37、在第一方面的一些可实现方式中，根据稀疏区域边缘处已有点的几何分布特征和目标类别对应的几何补全先验，对稀疏区域进行补点，包括：

38、根据稀疏区域边缘处已有点的几何分布特征，提取稀疏区域边缘处已有点的法向、曲率与局部密度，并沿法向收缩构建包络曲面，以限定稀疏区域的可补点空间；

39、将目标类别对应的几何补全先验作用于可补点空间，以几何补全先验中的隐式形状场对可补点空间内各位置进行形状符合度计算，并以稀疏区域边缘处已有点的曲率作为隐式形状场的曲率约束边界条件，将形状符合度计算结果与曲率约束边界条件进行联立求解，得到可补点空间内的期望点密度分布与期望法向场；

40、根据期望点密度分布与期望法向场，在可补点空间内自稀疏区域边缘处已有点向稀疏区域内部进行空间推进，生成多个候选点，并根据稀疏区域边缘处已有点的局部密度调整候选点的间距；

41、对多个候选点与稀疏区域边缘处已有点进行冲突检测，剔除间距小于几何分布特征中的局部密度阈值的候选点，并根据稀疏区域边缘处已有点的法向对保留点进行位置微调，以优化几何连续性。

42、在第一方面的一些可实现方式中，对质量优化后的虚拟激光点云进行语义标注，为其中的各点赋予语义类别标签，包括：

43、采用二维语义分割网络对预处理后的左右视角环境图像进行像素级语义分割，得到各像素的二维语义类别标签；

44、采用三维语义分割网络对质量优化后的虚拟激光点云进行点级语义分割，得到各点的三维语义类别标签；

45、对各点对应像素的二维语义类别标签与各点的三维语义类别标签进行加权融合，得到各点的语义类别标签；

46、对各点的语义类别标签进行跨帧间一致性优化，消除相邻帧之间的语义类别标签跳变。

47、在第一方面的一些可实现方式中，将带有语义类别标签的虚拟激光点云转换为适配具身机器人待执行的目标任务的虚拟激光点云，包括：

48、根据具身机器人待执行的目标任务的坐标要求与数据格式要求，对带有语义类别标签的虚拟激光点云进行坐标转换和数据格式转换，生成适配目标任务的虚拟激光点云。

49、第二方面，本公开实施例提供了一种基于双目摄像头的虚拟激光点云生成与优化装置，该装置包括：

50、采集模块，用于通过部署于具身机器人的双目摄像头对具身机器人所处环境进行图像采集，得到左右视角环境图像；

51、预处理模块，用于对左右视角环境图像进行预处理；

52、匹配模块，用于对预处理后的左右视角环境图像进行立体匹配，生成视差图；

53、生成模块，用于根据视差图和双目摄像头的标定参数中的焦距、基线距离、主点坐标，生成具身机器人所处环境的虚拟激光点云；

54、优化模块，用于对具身机器人所处环境的虚拟激光点云进行质量优化；

55、标注模块，用于对质量优化后的虚拟激光点云进行语义标注，为其中的各点赋予语义类别标签；

56、转换模块，用于将带有语义类别标签的虚拟激光点云转换为适配具身机器人待执行的目标任务的虚拟激光点云，以供具身机器人执行目标任务时调用。

57、第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

58、第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如上所述的方法。

59、综上所述，本公开实施例通过部署于具身机器人的双轴摄像头采集左右视角环境图像，并依次进行预处理、立体匹配生成视差图、依据双轴摄像头的焦距、基线距离和主点坐标等标定参数实时生成虚拟激光点云，替代了成本高昂、功耗高、安装空间要求大的激光雷达以及作用距离受限、易受环境光干扰的深度相机，在保证三维感知精度的同时，显著降低了传感器的硬件成本、系统功耗与体积约束，使具身机器人能够经济地部署于家庭、工厂、仓储和轻量级服务场景；同时，通过对虚拟激光点云进行质量优化与语义标注，获得噪声更少、一致性更强且各点携带语义类别标签的高质量语义点云，增强了机器人对环境的语义理解能力；进一步将带语义类别标签的虚拟激光点云转换为与具身机器人待执行的目标任务相适配的形式，实现了感知数据与导航、抓取、避障等任务的直接对接，有效提升了任务执行的实时性、准确性与成功率。

60、应当理解， 技术实现要素： 部分中所描述的内容并非旨在限定本公开实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。