基于3D目标检测的机械臂农田作业空间感知方法与流程

本发明涉及计算机视觉，特别涉及基于3d目标检测的机械臂农田作业空间感知方法。

背景技术：

1、随着新一轮科技革命和产业变革的深入推进，农业正加速迈向智能化、精准化发展阶段。在此背景下，农机装备的智能升级成为推进农业现代化的重要支撑。然而，农机的农田作业环境复杂多变，给机械臂的精确控制带来了挑战。因此，如何利用传感器的信息对机械臂作业空间进行精确感知，是实现机械臂高效作业的基础。

2、基于上述背景，本专利设计基于多模态信息的3d目标检测模型，对摄像头和激光传感器捕捉的信息进行联合分析，实现对机械臂三维作业空间的动态感知。

技术实现思路

1、本发明提供基于3d目标检测的机械臂农田作业空间感知方法，对摄像头和激光传感器捕捉的信息进行联合分析，实现对机械臂三维作业空间的动态感知。

2、根据本公开的一方面，提供了基于3d目标检测的机械臂农田作业空间感知方法，其特征在于，所述方法包括：

3、获取摄像头采集的图像以及雷达点云信息；

4、采用voxelnet对雷达点云信息进行编码得到，swintransformer深度学习模型对采集的图像进行编码得到；其中，voxelnet是基于点云的端到端3d目标检测框架；

5、设计层次化场景建模模块整合点云与图像的多尺度特征；

6、设计实例引导融合模块igf引导特征融合，增强对目标实例的感知能力；目标实例包括施工车辆；

7、最后使用解码器和检测头在增强后的实例特征表征上进行边界框回归与分类，得到作业空间的3d目标信息，3d目标信息用于供机械臂进行运行轨迹规划。

8、在一种可能的实现方式中，层次化场景建模模块包括点到网格变换p2g和网格到区域变换g2r；

9、点到网格变换p2g将散乱的点云数据映射到具有明确空间位置的网格化特征上，其映射公式如下：，其中表示网格中的第k个点，是点云特征提取函数，是图像特征投影函数，msa为多头自注意力机制。

10、在一种可能的实现方式中，网格到区域变换g2r通过跨区域的自注意力shift-msa机制，将网格特征进一步转化为区域特征：；

11、shiftmsa为跨区域自注意力机制，将网格特征rm划分为若干不重叠窗口rm={r1,r2,…,rn}，跨区域自注意力机制是对每个窗口特征独立计算 msa（ri）并求和。

12、在一种可能的实现方式中，设计实例引导融合模块igf引导特征融合，包括：

13、基于生成目标实例热图的候选区域，选择前k个高响应区域生成候选实例集，每个实例q的特征信息通过可变形注意力机制与场景特征进行融合，得到增强的实例表示；deformatt是可变形注意力机制；

14、场景特征包括装草车或作业环境的3d坐标信息。

15、与现有技术相比，本发明的有益效果是：

16、本公开实施例的基于3d目标检测的机械臂农田作业空间感知方法，通过基于多模态信息的3d目标检测模型，设计层次化场景建模模块整合点云与图像的多尺度特征；设计实例引导融合模块igf引导特征融合，增强对目标实例的感知能力；目标实例包括施工车辆；最后使用解码器和检测头在增强后的实例特征表征上进行边界框回归与分类，得到作业空间的3d目标信息，3d目标信息用于供机械臂进行运行轨迹规划。实现对机械臂三维作业空间的动态感知。

1.基于3d目标检测的机械臂农田作业空间感知方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于3d目标检测的机械臂农田作业空间感知方法，其特征在于，层次化场景建模模块包括点到网格变换p2g和网格到区域变换g2r；

3.根据权利要求2所述的基于3d目标检测的机械臂农田作业空间感知方法，其特征在于，网格到区域变换g2r通过跨区域的自注意力shift-msa机制，将网格特征进一步转化为区域特征：；

4.根据权利要求3所述的基于3d目标检测的机械臂农田作业空间感知方法，其特征在于，设计实例引导融合模块igf引导特征融合，包括：