一种视觉引导涂胶中关键点识别方法及系统

本发明属于涂胶关键点识别相关，尤其涉及一种视觉引导涂胶中关键点识别方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、在自动涂胶与密封作业中，工业机器人通常按照预先示教或离线规划的轨迹运动。当工件位置、姿态或局部几何结构发生变化时，固定轨迹难以始终准确对应实际待涂胶区域，因此需要利用视觉信息获取局部位置和几何特征，为机器人在线轨迹调整提供视觉依据。

3、线结构光能够通过激光条纹在工件表面的形态变化反映局部轮廓。在线激光图像中，主要判别信息集中于细窄激光条纹及其邻域，关键点往往对应条纹转折、局部方向变化或轮廓结构变化位置。与一般自然图像相比，该类目标对绝对空间位置更加敏感。

4、通用关键点识别网络在该场景中存在两类矛盾：一方面，持续保持高分辨率特征有利于定位，但会增加计算量和在线部署成本；另一方面，采用轻量主干可以降低计算负担，但连续下采样会使末级特征空间分辨率明显降低，导致与精确坐标定位相关的局部空间响应被削弱。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了一种视觉引导涂胶中关键点识别方法及系统，在降低计算量的同时，提高了线激光条纹上关键点的位置表征能力和坐标定位精度。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种视觉引导涂胶中关键点识别方法，包括：

4、对采集的机械臂末端线激光图像进行区域定位，获得待识别候选框；

5、对待识别候选框，通过轻量网络分阶段逐步降低空间分辨率，得到深层特征；

6、对深层特征进行通道压缩，得到紧凑的特征表示，将紧凑的特征表示进行空间重构，逐级提高特征的空间分辨率，得到共享定位特征；

7、将共享定位特征通过关键点投影操作映射为待涂胶区域关键点的位置响应，得到待涂胶区域关键点的位置敏感特征；

8、基于待涂胶区域关键点的位置敏感特征，对每个关键点分别在x方向和y方向进行一维坐标分类，获得两个轴向的坐标预测分布；

9、根据坐标预测分布，通过峰值邻域的局部分布信息对坐标进行修正，得到对应关键点的最终二维坐标。

10、第二方面，本发明提供一种视觉引导涂胶中关键点识别系统，包括：

11、目标区域定位模块，被配置为：对采集的机械臂末端线激光图像进行区域定位，获得待识别候选框；

12、轻量主干特征提取模块，被配置为：对待识别候选框，通过轻量网络分阶段逐步降低空间分辨率，得到深层特征；

13、空间重构模块，被配置为：对深层特征进行通道压缩，得到紧凑的特征表示，将紧凑的特征表示进行空间重构，逐级提高特征的空间分辨率，得到共享定位特征；

14、关键点投影模块，被配置为：将共享定位特征通过关键点投影操作映射为待涂胶区域关键点的位置响应，得到待涂胶区域关键点的位置敏感特征；

15、预测模块，被配置为：基于待涂胶区域关键点的位置敏感特征，对每个关键点分别在x方向和y方向进行一维坐标分类，获得两个轴向的坐标预测分布；

16、识别模块，被配置为：根据坐标预测分布，通过峰值邻域的局部分布信息对坐标进行修正，得到对应关键点的最终二维坐标。

17、第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

18、第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

19、第五方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现完成第一方面所述的方法。

20、以上一个或多个技术方案存在以下有益效果：

21、在本发明中，对于线激光图像中，对应在条纹转折、局部方向变化或轮廓结构变化位置的关键点，首先通过轻量网络分阶段逐步降低空间分辨率，降低深层特征提取的计算负担，提高在线视觉处理效率；其次在空间重构之前执行通道压缩，降低高分辨率特征处理阶段的参数量和计算量；通过空间重构逐级提高特征的空间分辨率，能够提高低分辨率深层特征的空间采样密度和局部位置表征能力；然后将二维关键点定位转换为两个一维坐标分类问题，并结合峰值邻域的局部分布信息对坐标进行修正，改善坐标定位。本发明方案能够提高线激光条纹上关键点的位置表征能力和坐标定位精度。

22、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

1.一种视觉引导涂胶中关键点识别方法，其特征在于，包括：

2.如权利要求1所述的一种视觉引导涂胶中关键点识别方法，其特征在于，对深层特征进行通道压缩，得到紧凑的特征表示，将紧凑的特征表示进行空间重构，逐级提高特征的空间分辨率，得到共享定位特征，具体为：

3.如权利要求1所述的一种视觉引导涂胶中关键点识别方法，其特征在于，将共享定位特征通过关键点投影操作映射为待涂胶区域关键点的位置响应，得到待涂胶区域关键点的位置敏感特征，具体为：

4.如权利要求1所述的一种视觉引导涂胶中关键点识别方法，其特征在于，基于待涂胶区域关键点的位置敏感特征，对每个关键点分别在x方向和y方向进行一维坐标分类，获得两个轴向的坐标预测分布，具体为：

5.如权利要求1所述的一种视觉引导涂胶中关键点识别方法，其特征在于，根据坐标预测分布，通过峰值邻域的局部分布信息对坐标进行修正，得到对应关键点的最终二维坐标，具体为：

6.如权利要求1所述的一种视觉引导涂胶中关键点识别方法，其特征在于，所述待涂胶区域关键点包括左侧点、中心点和右侧点，所述中心点用于表征待涂胶区域的主要位置特征，左侧点和右侧点用于描述中心点两侧的局部结构。

7.一种视觉引导涂胶中关键点识别系统，其特征在于，包括：

8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现完成权利要求1-6任一项所述的方法。