一种基于目标注意机制的轻量化视觉-点云语义地图构建方法与流程

本发明涉及自动驾驶与环境智能感知，具体涉及一种语义地图构建方法，特别是一种基于目标注意机制的轻量化视觉-点云语义地图构建方法。

背景技术：

1、在自动驾驶和移动机器人技术中，精确的环境感知与语义理解成为实现智能决策与导航的关键。语义地图不仅需要提供环境的三维几何信息，还需融合物体的类别、位置等高级语义信息，为路径规划、场景理解等任务提供支持。

2、当前技术在应用于车载平台、嵌入式设备等资源受限环境时面临显著挑战：

3、基于视觉slam的方法通常计算复杂度高，依赖大规模特征匹配与优化，难以满足实时性要求；

4、基于点云深度学习的方法（如pointnet++）虽然能直接处理三维数据，但对计算资源要求苛刻，难以在边缘设备实时运行。

5、此外，现有融合方法多为先各自处理后简单叠加，未能充分利用视觉信息与点云信息之间的互补特性，导致在动态复杂场景下语义标注精度有限、计算冗余度高。

6、因此，如何在保证语义感知精度的前提下，显著降低计算复杂度，实现资源受限平台上的实时视觉-点云语义地图构建，已成为本领域亟待解决的技术难题。

技术实现思路

1、为克服现有视觉-点云语义地图构建方法计算复杂度高、实时性差、难以在资源受限平台上部署的缺陷，本公开提供了一种基于目标注意机制的轻量化视觉-点云语义地图构建方法，该方法通过轻量化目标检测、注意机制引导的点云处理、以及跨模态特征融合，能够在显著降低计算资源消耗的同时，提升语义感知的精确性与系统实时性。

2、本公开提供的基于目标注意机制的轻量化视觉-点云语义地图构建方法，主要包括以下步骤：

3、s1，对视觉相机采集的图像，使用轻量化目标检测网络进行实时处理，输出图像中各类目标的类别标签和边界框，将其定义为“注意区域”；

4、s2，将激光雷达采集的三维点云数据，基于传感器标定参数投影至图像坐标系，然后，利用生成的注意区域作为引导，进行点云筛选，仅保留投影坐标落入任一目标边界框内的点云；

5、s3，在二维图像空间中，对筛选后的注意区域点云进行语义标注，将对应目标边界框的类别标签赋予框内的点云；

6、s4，对已标注的注意区域点云子集进行三维空间聚类，分离出表征目标主体的密集点云簇即主簇、与稀疏的背景噪声点云；计算主簇的平均深度，作为所在注意区域目标的精确距离；

7、s5，将步骤s3、s4获取的语义信息实时融合至原始视觉图像；

8、s6，通过逐帧处理与信息累积，构建起融合了三维空间信息与语义标签的轻量化视觉-点云语义地图。

9、进一步的，所述步骤s1具体方法包括：

10、将视觉相机采集的图像

ik输入轻量化改进后的yolov5s网络进行目标识别，网络输出一组识别结果，每个结果定义为注意区域

ai：

11、

12、其中，为边界框像素坐标，为目标类别标签，为检测置信度；

13、通过设定置信度阈值，筛选出高置信度的检测框作为有效的注意区域集合；

14、所述轻量化目标检测网络为：在yolov5s网络中引入ghost卷积模块以降低参数量与计算量，并引入坐标注意力模块以增强对目标空间位置的感知能力；具体包括：

15、在网络backbone部分，将标准卷积层部分替换为ghost模块，给定输入特征图，ghost卷积首先通过常规卷积生成m个少量本征特征图：，其中表示卷积操作，为卷积核；随后，对每个本征特征图应用一系列线性运算生成s个重构特征图：；最终输出特征图

fout由所有本征和重构特征图拼接而成，通道数为n=m×s；

16、在网络neck部分嵌入ca坐标注意力模块：对于输入特征图，ca模块分别沿高度和宽度方向进行池化，得到两个方向感知的特征向量：

17、

18、其中为第c个通道的特征；将两个向量拼接后通过卷积变换和激活函数，生成编码了精确位置信息的注意力权重，并与原始特征相乘，从而增强关键区域的特征响应。

19、进一步的，所述步骤s3具体包括：

20、获取注意区域的点云坐标；

21、判断点云投影点与目标边界检测框的从属关系：

22、

23、将所属注意区域

ai的类别标签统一赋予其关联的所有点云，完成初步的语义标注。

24、进一步的，所述步骤s4具体包括：

25、对每个已标注的注意区域点云子集

qi={pn}采用dbscan算法，设置邻域半径eps和最小点数min_samples两个参数；

26、对于点pn，其邻域定义为：，其中dist为欧氏距离；若，则pn被标记为核心点；通过核心点不断扩展，形成簇，无法归入任何簇的点标记为噪声；

27、主簇提取与距离计算：对

qi聚类后得到若干个簇{

ci(1),

ci(2),...}和噪声点集，选择包含点数最多的簇作为目标主簇，计算该主簇的平均深度作为该注意区域目标，即第i个目标的精确距离

di：

28、

29、其中，zc(p)为点p在相机坐标系下的深度值。

30、进一步的，所述步骤s6具体包括：

31、对连续多帧数据重复执行步骤s1至s5，并将每帧的处理结果与平台位姿信息相结合，集成到统一的全局坐标系下；

32、设第k帧时车载平台相对于全局坐标系{g}的位姿为，将第k帧中第i个目标的主簇点云变换到全局坐标系：

33、

34、其中，为相机到车体的固定变换，同时，保留每个点云簇的语义标签及其计算出的距离；

35、通过逐帧累积和集成，构建出包含丰富三维几何信息和语义标注的轻量化视觉-点云三维语义地图，用于自动驾驶的路径规划与决策；其中，语义标注包括：目标类别、历史位置或距离。

36、与现有技术相比，本公开的有益效果是：①计算效率高，实时性强：通过轻量化改进的目标检测模型和基于注意机制的引导筛选，避免了全场景、全点云的复杂计算，将主要计算资源集中在少数感兴趣目标上，显著降低了整体计算复杂度，使其能够在车载计算单元等资源受限平台上实时运行。

37、②语义感知精度高：创造性地将视觉目标检测的准确性与点云几何信息的精确性相结合。利用视觉检测框提供准确的二维语义范围，引导点云处理；再利用点云三维聚类（dbscan）优化目标主体提取，并计算精确距离。这种跨模态互补融合有效提升了语义标注的空间准确性和鲁棒性。

38、③系统实用性好：方法流程清晰，模块化程度高，易于在工程中实现与部署。生成的语义地图直观表达了环境中关键目标的类别、位置和距离，为自动驾驶的决策规划提供了可直接利用的高层次环境信息，具有良好的实用价值。