基于改进YOLOv8n与双标定视觉检测的重载机械臂吊装控制方法与流程

本发明提供一种基于改进yolov8n与双标定视觉检测的重载机械臂吊装控制方法，属于重载机械臂吊装控制。

背景技术：

1、随着工业自动化和智能制造的快速发展，机械臂在重载物料搬运、装配等场景中的应用日益广泛；传统的重载机械臂抓取控制主要依靠示教编程或固定点位控制，需要预先设定抓取位置，系统缺乏环境感知和自适应能力，在实际生产环境中，由于待搬运装配物料的摆放位置存在随机性、形状存在多样性以及环境光照存在的不确定性，传统的重载机械臂控制方法往往难以满足柔性生产的需求。

2、近年来，随着计算机视觉和人工智能技术的发展，基于视觉引导的机械臂定位技术逐渐成为研究热点，现有的视觉引导定位系统主要采用2d视觉检测或简单的3d视觉检测方案，但在重载场景下仍存在诸多不足；传统2d视觉检测方法仅能采集平面图像，缺少深度尺寸，无法构建砝码三维模型，不能预判吊装路径障碍物，目前普通3d视觉检测配套方案未做边缘轻量化优化，导致深度学习模型参数量大，嵌入式设备运行卡顿，无法实时输出点位。此外，目前采用的重载机械臂在定位抓取重物过程中还存在以下问题：

3、视觉定位精度低：传统2d视觉无法获取深度信息，导致抓取点位计算不准确；现有相机标定和手眼标定方法存在累积误差，无法满足重载精密抓取要求；

4、目标识别效率低：传统图像处理方法在复杂工业背景下鲁棒性差，深度学习模型计算量大难以在嵌入式设备实时运行；

5、无动态避障能力：常规路径规划以货物吊点即重心作为轨迹规划轨迹，场景的三维立体环境和货物的立体空间姿态和吊装作业路径未做全面适应性和安全性规划，重物碰撞存在重大安全风险；

6、重载吊装安全机制缺失：目前常用视觉、雷达、机械臂控制无联动应急处理能力，无空间限位防护，全流程自主作业安全保障不足。

7、目前已有一些相关技术尝试解决上述问题。例如公开号为cn109676635a的专利公开一种基于视觉的机械臂定位抓取方法，通过rgb-d相机获取目标物体的三维信息，并利用点云处理算法进行目标识别和位姿估计，该方法虽然能够获取深度信息，但其目标识别算法基于传统的特征提取方法，在复杂工业场景下识别准确率有限；还有公开号为cn110948520a的专利提出一种基于深度学习的机械臂定位抓取位姿检测方法，利用卷积神经网络对目标物体进行识别和抓取点预测，该方法虽然采用了深度学习技术，但其相机标定方法较为简单，手眼标定精度不高，在重载精密抓取场景下定位误差较大；还有公开号为cn111890351a的专利公开一种工业机器人视觉引导系统，通过双目视觉实现三维重建和目标定位，该系统虽然具有较好的三维感知能力，但其计算复杂度较高，难以满足工业实时性要求，且未针对重载场景进行优化。

8、综上所述，目前迫切需要研发一种兼顾识别精度、实时运算、毫米级定位、动态避障与重载安全防护的吊装控制方案。

技术实现思路

1、本发明为了解决背景技术中存在的技术问题，采用的技术方案为：提供一种基于改进yolov8n与双标定视觉检测的重载机械臂吊装控制方法，包括如下的控制步骤：

2、步骤1：在机械臂延伸端安装3d相机，实时获取作业区域的彩色图像和深度图像，在机械臂底座安装激光雷达，采集车间环境障碍物距离数据；

3、步骤2：控制3d相机与激光雷达将采集信息发送至边缘计算处理器，边缘计算处理器通过内置的目标检测模型并行执行图像处理、坐标转换、点云三维建模，并将处理数据发送至工控机；

4、步骤3：工控机基于抓取点位信息，通过modbus协议与机械臂控制端进行通信，基于下发的点位指令、轨迹修正数据控制机械臂移动；

5、步骤4：工控机将机械臂移动数据发送至显示器，实现人工控制、任务下发、运行监控。

6、所述步骤2采用的目标检测模型具体为进行网络架构多模块协同改进与损失函数优化改进的yolov8n模型，所述网络架构多模块协同改进采用全网深度可分离卷积轻量化、局部可变形卷积畸变校正、全程ca坐标注意力抗干扰加权的分层协同优化策略。

7、所述全网深度可分离卷积轻量化的具体方法为：

8、对yolov8n主干网络、颈部网络的全部常规卷积进行替换改造，将原生标准cbs单元、bottleneck内部两级标准卷积统一替换为dw-cbs深度可分离卷积单元；

9、采用的dw-cbs深度可分离卷积单元将传统卷积的空间卷积与通道融合运算解耦，分为深度卷积和逐点卷积两级运算，其中：

10、深度卷积独立完成单通道空间纹理特征提取，适配明暗交替环境下工件基础特征采集；

11、逐点1×1卷积实现跨通道信息融合，补齐通道交互能力；

12、同步改造网络bottleneck模块时，保留bottleneck原生残差拓扑结构、短路连接逻辑不变，仅将模块内部两级卷积替换为dw-cbs。

13、所述局部可变形卷积畸变校正的具体方法为：

14、采用关键层局部嵌入可变形卷积deform-conv策略，嵌入位置限定为：主干网络末端sppf-dw模块输出之后、pan颈部网络输入之前，仅嵌入少量deform-conv可变形卷积模块，不进行全网替换；

15、采用的可变形卷积deform-conv策略通过前置偏移分支预测每个采样点的x、y二维偏移量，结合双线性插值完成自适应动态采样，贴合工件畸变轮廓与残缺外形。

16、所述全程ca坐标注意力抗干扰加权策略具体为：

17、在主干层网络每一级c2f-dw改造模块的输出端逐层级嵌入ca坐标注意力模块，ca坐标注意力同时集成通道维度权重编码与空间位置坐标编码，用于捕捉工件空间位置信息。

18、所述损失函数优化改进包括：

19、定义原yolov8n损失函数总损失由分类损失、置信度损失、边界框回归损失三部分加权组成，原yolov8n损失函数总损失的计算公式为：

20、；

21、为替换原yolov8n损失函数中ciou边界框损失，采用nwd-ciou混合损失函数，同时优化各损失的权重配比，以适配光照畸变工件检测场景，其中：

22、采用nwd+ciou加权融合损失替换原ciou边界框损失时，引入高斯沃尔什距离nwd损失，弥补iou对非重叠、畸变目标不敏感的缺陷，保留ciou距离收敛优势，包括：

23、计算ciou损失，计算公式为：

24、；

25、其中：为中心点欧式距离，为外接矩形对角线距离，为长宽比一致性系数；

26、计算nwd高斯沃尔什距离损失，计算公式为：

27、；

28、；

29、融合改进损失，计算公式为：

30、；

31、其中超参，；

32、计算改进后的yolov8n损失函数总损失，计算公式为：

33、。

34、所述步骤2进行坐标转换具体采用张正友和tsai-lenz双标定坐标转换方法，包括：

35、采用张正友相机内参标定，控制机械臂带动末端3d相机，采集20组不同俯仰、旋转位姿下的棋盘格标定板图像，提取每张图像棋盘格角点亚像素坐标，建立像素坐标与标定板世界坐标的对应方程组，通过最小二乘法来求解相关系数，消除镜头形变带来的深度计算误差，建立精准像素-相机坐标系映射关系；

36、使用tsai-lenz手眼标定方法完成相机坐标系-机械臂基坐标系转换，包括：

37、首先控制机械臂切换20组无重复末端tcp位姿，每组位姿下3d相机拍摄固定标定板；

38、对每组数据获取两组变换矩阵，包括相机相对标定板外参矩阵、机械臂基座相对末端tcp矩阵；

39、构建标准手眼方程，采用tsai两步法求解齐次变换矩阵，将得到表征相机相对机械臂末端的旋转矩阵、平移向量；

40、通过基坐标系进行坐标换算，换算公式为：

41、；

42、其中为相机坐标系三维坐标，得出吊装物中心在机械臂基坐标系下的三维吊装基准点。

43、所述步骤2进行点云三维建模的具体方法为：

44、3d相机输出像素深度图，匹配yolo识别的吊装物包围框，裁剪提取框内有效深度点云，剔除背景无效点；

45、基于标定内参矩阵将二维深度点转换为相机坐标系三维点集，依次采用直通滤波去除超远/超近距离噪点、统计滤波剔除孤立噪声点；

46、采用随机抽样一致性算法，分别拟合吊装物各曲面，求解吊装物中心三维坐标、吊装物高度、长度和厚度等信息；

47、将吊装物三维模型与激光雷达采集的车间全局环境点云融合，生成包含重物、障碍物的一体化车间空间三维地图。

48、所述步骤3具体基于吊装路径规划和动态避障算法来控制机械臂移动，包括：

49、以砝码吊装起点、卸料终点为约束，基于径规划算法生成初始吊装路径，强制设置吊钩安全抬升阈值，规避地面工装凸起；

50、激光雷达实时动态避障修正，激光雷达设定每50ms输出一圈360°环境测距数据，若检测到路径1.2m范围内新增障碍物，立即启动局部路径重规划；

51、工况约束优化，对规划轨迹做平滑插值处理，限制机械臂最大加、减速度，抑制货物转运时的惯性晃动；

52、划定吊装专属空间限位框，超出边界自动降速；

53、移动轨迹实时修正，工控机持续比对规划轨迹与机械臂实际tcp坐标，设定坐标偏差超2mm时逐点修正下发运动指令，防止货物偏移碰撞。

54、本发明相对于现有技术具备以下的有益效果：

55、一、硬件架构的改进：本发明构建集成末端眼在手上3d相机、底座激光雷达、边缘ai开发套件及重载机械臂的一体化安全吊装系统。采用双视觉数据源分工实现重物三维建模与全局环境避障，配置硬件直连分级急停模块，适配对应外形尺寸吊装物转运作业，实现视觉感知、环境探测与执行机构硬件层面的集成，提升整套吊装系统硬件集成度；

56、二、目标检测算法的改进：

57、本发明对网络开展结构性改进，主干采用深度可分离卷积完成轻量化改造，有效降低模型参数量与计算量，维持yolov8n原有轻量化特性，可适配工业现场明暗交替的干扰工况；在关键层局部嵌入可变形卷积，算力开销增加有限，能够校正光照畸变引发的轮廓失真与定位偏移；主干层级嵌入轻量化ca坐标注意力模块，几乎不带来时延增加，强化畸变工件弱特征，约束空间位置偏差，协同提升复杂工况下工件的召回率与定位精度；同时，本发明对损失函数进行优化，克服传统iou损失针对光影畸变、局部遮挡、轮廓残缺工件回归失效的缺陷；损失函数与可变形卷积提取的自适应畸变特征相适配，有效减小畸变工件的定位偏移误差，增强复杂光照条件下难样本的学习能力，降低目标漏检与误检概率；损失函数权重适配轻量化网络，不会提升模型训练负担，模型推理阶段不存在额外计算开销，满足边缘设备实时检测的使用需求；

58、三、分级联动安全控制的改进：本发明实现视觉、雷达、机械臂三重数据源联动实时监测，通过软件限位降速停机与物理硬件急停形成双重防护，搭建适配重载吊装的多层安全防护机制，有效规避重载作业中的碰撞风险，提升重载机械臂吊装作业过程的安全性与运行可靠性。