一种基于机器视觉的智能抱夹机器人装载控制方法及系统与流程

摘要: 本发明涉及机器人控制,具体涉及一种基于机器视觉的智能抱夹机器人装载控制方法及系统。背景技术:1、在压缩垃圾块自动化装载作业中,传统叉车作业时,多依靠人工经验或预...
一种基于机器视觉的智能抱夹机器人装载控制方法及系统与流程

本发明涉及机器人控制,具体涉及一种基于机器视觉的智能抱夹机器人装载控制方法及系统。

背景技术:

1、在压缩垃圾块自动化装载作业中,传统叉车作业时,多依靠人工经验或预设程序选择夹持点位,而通过夹持机器人则可以实现自动化装载作业,提高垃圾块装载效率。

2、公开号:cn121083638a,公开了用于杂乱场景抓取的混合夹持器控制方法和混合夹持器;获取针对当前抓取场景采集的颜色图像和深度图像;根据所述颜色图像进行目标检测和分割,得到目标物体所在位置和目标物体分割掩码;根据目标物体的类型、所述目标物体所在位置,确定目标抓取模式,所述目标抓取模式为:夹爪抓取、吸盘抓取和电磁铁抓取中的一者;根据所述目标物体分割掩码和所述深度图像,生成所述目标抓取模式对应的目标抓取姿态;根据所述目标抓取姿态生成无碰撞的抓取轨迹,并根据所述抓取轨迹控制混合夹持器按照所述目标抓取模式对所述目标物体进行抓取。

3、现有设备普遍采用固定夹持力作业,或者仅研究抓取轨迹,无法适配不同密实度物料的受力要求,力度过大会挤压破损松散垃圾,力度偏小则易出现夹持打滑、物料掉落,并且传统方案还缺乏对夹爪形变、接触压力的实时感知,导致装载效率低下。

技术实现思路

1、本发明的目的在于解决上述背景技术中提到的现有智能抱夹机器人普遍采用固定夹持力作业,无法适配不同密实度物料的受力要求,导致装载效率低下的问题,而提出一种基于机器视觉的智能抱夹机器人装载控制方法及系统。

2、本发明实施的第一方面,提供了一种基于机器视觉的智能抱夹机器人装载控制方法,所述方法包括:

3、获取目标垃圾块的原始图像,将所述原始图像输入至裂纹识别模型中进行识别得到裂纹占比,根据所述目标垃圾块的形态确定夹持点位;

4、根据所述裂纹占比对所述目标垃圾块进行松散预判断得到松散标签,将所述松散标签和所述夹持点位发送至夹持单元;

5、所述夹持单元根据所述松散标签确定初始夹持力度,所述夹持单元根据所述夹持点位和初始夹持力度对所述目标垃圾块执行数据采集得到多模态数据;所述多模态数据包括:触觉数据和气压数据;

6、将所述多模态数据输入至抓取力生成模型中得到自适应抓取力,根据所述自适应抓取力对所述初始夹持力度更新后进行装载控制。

7、通过视觉与裂纹识别模型判断垃圾块松散程度、规划夹持点位并设定初始夹持力,再结合触觉、气压多模态数据生成自适应抓取力,动态调整力度完成装载。可有效避免垃圾破损散落,提升抓取稳定性与作业效率,同时减少设备损耗,增强作业安全性与鲁棒性。

8、可选的,将所述多模态数据输入至抓取力生成模型中得到自适应抓取力,所述抓取力生成模型的工作流程包括:

9、根据所述多模态数据确定触觉数据和气压数据,将所述触觉数据输入至三维卷积模块中得到卷积触觉特征,池化所述卷积触觉特征得到池化触觉特征,展平所述池化触觉特征得到展平触觉特征,将所述气压数据输入至一维卷积模块中得到卷积气压特征;

10、将所述展平触觉特征和所述卷积气压特征输入至lstm网络中得到触觉时序特征和气压时序特征,拼接所述触觉时序特征与所述气压时序特征得到融合特征;

11、对所述融合特征进行特征提取得到全局特征,将所述全局特征输入至多层感知机中得到自适应抓取力。

12、可选的,将所述展平触觉特征和所述卷积气压特征输入至lstm网络中得到触觉时序特征和气压时序特征,所述lstm网络的工作流程包括:

13、初始化记忆细胞状态和隐藏状态得到初始隐藏特征,获取目标特征和初始记忆,根据所述初始隐藏状态和所述目标特征通过sigmoid激活函数计算得到遗忘门权重,根据所述遗忘门权重筛选所述初始记忆得到有效记忆;所述目标特征为所述展平触觉特征和所述卷积气压特征中的任一个;

14、根据所述初始隐藏状态和所述目标特征通过sigmoid激活函数计算得到输入门权重,通过双曲正切激活函数生成当前时刻的目标记忆,根据所述输入门权重对所述目标记忆筛选得到候选记忆;

15、将所述有效记忆与所述候选记忆进行加权融合后更新lstm核心的记忆细胞状态,完成当前网络整体记忆的迭代,将所述输入门权重与记忆细胞相乘得到当前时刻lstm输出的隐藏特征;

16、当迭代次数达到预设迭代次数,则输出触觉时序特征和气压时序特征。

17、可选的,对所述融合特征进行特征提取得到全局特征,包括:

18、获取可学习权重矩阵,将所述融合特征与可学习权重矩阵进行线性变换得到查询矩阵、键矩阵和值矩阵,将所述查询矩阵与所述键矩阵的转置做矩阵内积得到相似度;可学习权重矩阵包括:初始查询矩阵、初始键矩阵和初始值矩阵;

19、若相似度大于预设阈值,则通过缩放因子对所述相似度进行数值缩放得到缩放相似度,归一化所述缩放相似度得到注意力权重,将所述注意力权重与所述值矩阵加权求和得到注意力特征;

20、获取初始可学习权重矩阵,将所述注意力权重与所述初始可学习权重矩阵进行线性变换得到全局特征。

21、可选的,将所述全局特征输入至多层感知机中得到自适应抓取力,多层感知机的工作过程包括:

22、对所述全局特征进行多次线性运算和非线性激活得到低维特征向量,对所述低维特征向量进行最终线性计算得到标量数值,将所述标量数值作为自适应抓取力。

23、可选的,将所述原始图像输入至裂纹识别模型中进行识别得到裂纹占比,所述裂纹识别模型基于yolo11模型的改进包括:

24、将原始骨干网络中的c3k2模块替换为目标c3k2模块得到裂纹识别模型;

25、所述目标c3k2模块的工作过程包括:

26、获取原始张量,将所述原始张量输入至conv模块中得到第1张量,分割所述第1张量得到分支张量a和分支张量b,将所述分支张量b依次输入至多个目标模块中得到分支张量c;所述目标模块为融合深度可分离卷积与注意力机制的残差特征提取模块;

27、将所述第1张量、所述分支张量a和所述分支张量c进行拼接得到第2张量,将所述第2张量输入至卷积模块中得到第3张量,将所述第3张量作为所述目标c3k2模块的输出。

28、可选的,所述目标模块的工作过程包括:

29、获取原始图像,将所述原始图像依次输入至卷积层、深度可分离卷积层、激活层和卷积层中得到第1图像,将所述原始图像与所述第1图像进行相加得到第2图像,将所述第2图像输入至注意力机制中得到目标第2图像,将所述第2图像与所述目标第2图像相加得到第3图像,将所述第3图像输入至多层感知机中得到目标第3图像,将所述第3图像与所述目标第3图像相加得到第4图像,将所述第4图像作为所述目标模块的输出。

30、本发明实施的第二方面,提供了一种基于机器视觉的智能抱夹机器人装载控制系统,所述系统包括:

31、裂纹识别模块,用于获取目标垃圾块的原始图像,将所述原始图像输入至裂纹识别模型中进行识别得到裂纹占比,根据所述目标垃圾块的形态确定夹持点位;

32、松散判断模块,用于根据所述裂纹占比对所述目标垃圾块进行松散预判断得到松散标签,将所述松散标签和所述夹持点位发送至夹持单元;

33、夹持力确定模块,用于所述夹持单元根据所述松散标签确定初始夹持力度,所述夹持单元根据所述夹持点位和初始夹持力度对所述目标垃圾块执行数据采集得到多模态数据;所述多模态数据包括:触觉数据和气压数据;

34、装载控制模块,用于将所述多模态数据输入至抓取力生成模型中得到自适应抓取力,根据所述自适应抓取力对所述初始夹持力度更新后进行装载控制。

35、本发明的有益效果:

36、本发明提出了一种基于机器视觉的智能抱夹机器人装载控制方法,通过视觉图像与裂纹识别模型量化垃圾块裂纹占比、判定松散程度并选定合理夹持点位,以此确定初始夹持力度,再结合阵列压力传感器、气压传感器采集触觉与气压多模态数据,经抓取力生成模型输出自适应抓取力并动态更新夹持力度,完成装载作业;该流程可提前评估垃圾块结构完整性、规避应力集中问题,防止垃圾碎裂散落,既提升不同密实度垃圾块的抓取稳定性与作业效率,又降低设备磨损、延长使用寿命,提升整体作业鲁棒性和安全性。