布料抓取方法、装置、设备、机器人、介质和产品与流程

本公开涉及机器人检测与控制，尤其涉及一种布料抓取方法、装置、设备、机器人、介质和产品。

背景技术：

1、柔性布料自动抓取是纺织制造、服装加工、智能仓储和柔性材料生产等领域的环节。与刚性工件不同，柔性布料具有柔软、易变形、易褶皱和边界形状不固定等特点，在输送过程中容易产生卷曲、折叠、堆积和随机姿态变化，相关技术中机器人定位与抓取方法难以实现稳定自动化作业。

技术实现思路

1、针对上述技术问题，本公开提供了以下技术方案：

2、第一方面，提供一种布料抓取方法，所述方法包括：

3、响应于获取到输送装置上目标布料的轮廓点集，根据所述轮廓点集对应的轮廓几何形状对所述目标布料的轮廓点集进行多边形逼近处理得到逼近多边形，并将所述逼近多边形所包围的区域作为所述目标布料的主体区域，确定所述主体区域内满足安全间隔条件的位置作为所述目标布料的视觉抓取点；

4、基于预设的像素坐标系与机器人坐标系之间的映射关系，将所述视觉抓取点从所述像素坐标系转换到所述机器人坐标系，得到执行抓取点；

5、控制所述机器人的机械臂根据所述执行抓取点抓取所述目标布料。

6、本实施例中，在获得目标布料的轮廓点集之后，可以获取目标布料的轮廓的逼近多边形，提高获取目标布料主体区域的准确度，进而实现对不规则形态布料的自适应抓取点规划，保证抓取点位于安全受力区域，提高不规则形状柔性布料的抓取成功率。

7、在一实施例中，获取到输送装置上目标布料的轮廓点集，包括：

8、响应于获取到输送装置上目标布料的采集图像，对所述采集图像进行多阶段视觉检测，得到所述目标布料的分割掩膜；

9、根据所述分割掩膜获取所述目标布料的轮廓信息，所述目标布料的轮廓信息包括轮廓面积、质心位置和轮廓点集。

10、本实施例中，通过对采集图像进行多阶段视觉检测，可以提高复杂工况下布料轮廓检测的成功率和稳定性。

11、在一实施例中，对所述采集图像进行多阶段视觉检测，得到所述目标布料的分割掩膜，包括：

12、对所述采集图像执行背景差分检测，获取到满足第一预设条件的像素构成背景区域；

13、根据所述背景区域的轮廓确定面积大于或等于预设面积阈值的连通域作为运动前景区域；所述运动前景区域作为预设的语义分割模型的前景提示信息；所述前景提示信息包括以下至少一种：基于前景区域的连通域外接矩形生成的目标框提示，以及基于前景区域的连通域质心坐标生成的点提示；

14、将所述运动前景区域和所述采集图像输入到所述语义分割模型进行分割处理，得到所述语义分割模型输出的目标布料的分割掩膜。

15、本实施例中，通过背景差分能够快速筛选候选前景区域，减少后续分割模型的处理范围，提高整体检测效率；并利用前景检测结果引导语义分割模型，实现从粗分割递进到精细分割，以获取准确完整的分割掩膜。

16、在一实施例中，所述方法还包括：

17、响应于所述背景差分检测未获得所述运动前景区域，获取所述采集图像与预设的装置模板之间的差分图像；所述装置模板是指输送装置上没有布料时所拍摄的图像；对所述差分图像进行滤波处理后并采用自适应阈值分割所述差分图像，获得候选布料区域；

18、将所述候选布料区域作为所述语义分割模型的前景提示信息，输入到预设的语义分割模型进行分割处理，得到所述语义分割模型输出的目标布料的分割掩膜。

19、本实施例中，通过模板差分作为补充检测手段，在背景差分失效时仍能识别布料区域，提高检测鲁棒性；并利用前景检测结果引导语义分割模型，实现从粗分割递进到精细分割，以获取准确完整的分割掩膜。

20、在一实施例中，所述方法还包括：

21、响应于未获取到候选布料区域，基于上一帧采集图像对应检测结果中目标布料的长边长度、短边长度和质心位置生成包围框；所述包围框作为预设的语义分割模型的前景提示信息；

22、将所述包围框和所述采集图像输入到预设的语义分割模型进行分割处理，得到所述语义分割模型输出的目标布料的分割掩膜。

23、本实施例中，通过历史帧信息回退机制，在当前帧采集图像检测失败时维持目标布料跟踪的连续性，避免目标布料丢失；并利用前景检测结果引导语义分割模型，实现从粗分割递进到精细分割，以获取准确完整的分割掩膜。

24、在一实施例中，在得到所述目标布料的分割掩膜之后，所述方法还包括：

25、将当前采集图像对应的目标布料和历史采集图像对应的目标布料进行关联匹配，获得所述目标布料的连续运动轨迹。

26、本实施例中，通过多帧采集图像的目标布料关联跟踪，可以实现各目标布料的独立跟踪与运动预测。

27、在一实施例中，根据所述轮廓点集对应的轮廓几何形状对所述目标布料的轮廓点集进行多边形逼近处理得到逼近多边形，并将所述逼近多边形所包围的区域作为所述目标布料的主体区域，包括：

28、获取包围所述轮廓点集内所有轮廓点的最小凸多边形；

29、采用多个逼近精度分别对所述最小外接多边形或者最大内接多边形进行迭代搜索，得到各个逼近精度对应的逼近多边形；

30、确定对所述目标布料覆盖率最大的逼近多边形所在区域作为所述目标布料的主体区域。

31、本实施例中，通过多逼近精度迭代逼近得到贴合布料实际形状的主体区域，提高后续抓取点规划的准确性。

32、在一实施例中，所述方法还包括：

33、响应于没有获得最小外接多边形或者最大内接多边形，根据所述轮廓的几何形状进行补点处理，生成所述轮廓的边界关键点；

34、确定所述轮廓的边界关键点，作为所述视觉抓取点。

35、本实施例中，通过补点处理保证所有形态布料均能生成有效抓取点，提高系统鲁棒性。

36、在一实施例中，确定所述主体区域内满足安全间隔条件的位置作为所述目标布料的视觉抓取点，包括：

37、获取所述主体区域的最小外接矩形，所述最小外接矩形包括长边和短边；

38、获取所述最小外接矩形的两条短边的中点，作为所述目标布料的初始抓取点；

39、对所述主体区域执行距离变换处理，得到所述主体区域内各像素位置到轮廓边界的最短距离；

40、在所述初始抓取点的预设邻域范围内，搜索所述最短距离最大的位置作为所述视觉抓取点。

41、本实施例中，通过距离变换运算处理，可以在初始抓取点的邻域范围内搜索距边界最远的内部点，保证抓取点位于目标布料的安全稳定区域，提高不规则形状柔性布料的抓取成功率。

42、在一实施例中，所述预设邻域范围的半径与所述短边长度的比例为[10%，30%]。

43、本实施例中，通过设定合理的搜索半径，可以平衡搜索效率与优化效果。

44、在一实施例中，所述方法还包括：

45、响应于获取到多个执行抓取点，计算相邻执行抓取点之间的抓取点距离；

46、响应于所述执行抓取点距离小于预设安全间距阈值，对相邻执行抓取点进行合并处理，并利用合并后的抓取点替代所述执行抓取点。

47、本实施例中，通过抓取点合并优化处理，可以避免末端执行器干涉，保证多抓取点协同作业的安全性。

48、在一实施例中，所述预设安全间距阈值与末端执行器的尺寸比例为[1.2，1.5]。

49、在一实施例中，所述机器人的机械臂包括第一机械臂和第二机械臂；控制所述机器人的机械臂根据所述执行抓取点抓取所述目标布料，包括：

50、获取所述目标布料对应最小外接矩形的旋转角度，确定所述目标布料的姿态角；

51、根据所述目标布料的姿态角调整第一机械臂和第二机械臂上末端执行器的方向位姿，使所述末端执行器的抓取方向与所述目标布料的短边方向对齐；所述目标布料的姿态角基于所述最小外接矩形的旋转角度确定；

52、基于抓取任务队列中的位姿指令，基于所述第一机械臂和所述第二机械臂的当前位姿与规划轨迹进行空间干涉检测；

53、响应于通过空间干涉检测，控制所述第一机械臂和所述第二机械臂分别从安全位姿变换为抓取位姿以移动到所述目标布料的执行抓取点；

54、响应于抓取到所述目标布料，控制所述第一机械臂和所述第二机械臂从所述抓取位姿变换为放置位姿，最终返回到安全位姿变换。

55、本实施例中，通过设置机器人具有两条机械臂，可以利用双机械臂协同调度与碰撞预防，提高抓取效率的同时保证作业安全。

56、在一实施例中，所述机械臂的末端执行器包括丝杆和多个抓取机构，所述方法还包括：

57、基于所述目标布料的轮廓长边长度和所述丝杆的零位中心距，确定所述丝杆的定位距离，并将所述多个抓取机构均匀分布于所述目标布料的长边两侧。

58、本实施例中，通过姿态角自适应调整，使抓取方向与布料纹理方向对齐，提高抓取稳定性；通过丝杆自适应定位，自动适配不同尺寸布料的抓取操作，而无需手动频繁调整末端执行器间距，提高产线柔性与抓取稳定性。

59、第二方面，提供一种布料抓取装置，所述装置包括：

60、视觉抓取点确定模块，用于响应于获取到输送装置上目标布料的轮廓点集，根据所述轮廓点集对应的轮廓几何形状对所述目标布料的轮廓点集进行多边形逼近处理得到逼近多边形，并将所述逼近多边形所包围的区域作为所述目标布料的主体区域；

61、视觉抓取点确定模块，用于确定所述主体区域内满足安全间隔条件的位置作为所述目标布料的视觉抓取点；

62、执行抓取点确定模块，用于基于预设的像素坐标系与机器人坐标系之间的映射关系，将所述视觉抓取点从所述像素坐标系转换到所述机器人坐标系，得到执行抓取点；

63、目标布料抓取模块，用于控制所述机器人的机械臂根据所述执行抓取点抓取所述目标布料。

64、本实施例中，在获得目标布料的轮廓点集之后，可以获取目标布料的轮廓的逼近多边形，提高获取目标布料主体区域的准确度，进而实现对不规则形态布料的自适应抓取点规划，保证抓取点位于安全受力区域，提高不规则形状柔性布料的抓取成功率。

65、在一实施例中，所述视觉抓取点确定模块包括：

66、分割掩膜获取子模块，用于响应于获取到输送装置上目标布料的采集图像，对所述采集图像进行多阶段视觉检测，得到所述目标布料的分割掩膜；

67、布料轮廓获取子模块，用于根据所述分割掩膜获取所述目标布料的轮廓信息，所述目标布料的轮廓信息包括轮廓面积、质心位置和轮廓点集。

68、本实施例中，通过对采集图像进行多阶段视觉检测，可以提高复杂工况下布料轮廓检测的成功率和稳定性。

69、在一实施例中，所述分割掩膜获取子模块包括：

70、运动前景区域确定单元，用于对所述采集图像执行背景差分检测，获取到满足第一预设条件的像素构成运动前景区域；所述运动前景区域作为预设的语义分割模型的前景提示信息；所述前景提示信息包括以下至少一种：基于前景区域的连通域外接矩形生成的目标框提示，以及基于前景区域的连通域质心坐标生成的点提示；

71、分割掩膜确定单元，用于将所述运动前景区域和所述采集图像输入到所述语义分割模型进行分割处理，得到所述语义分割模型输出的目标布料的分割掩膜。

72、本实施例中，通过背景差分能够快速筛选候选前景区域，减少后续分割模型的处理范围，提高整体检测效率；并利用前景检测结果引导语义分割模型，实现从粗分割递进到精细分割，以获取准确完整的分割掩膜。

73、在一实施例中，所述分割掩膜获取子模块还包括：

74、差分图像获取单元，用于响应于所述背景差分检测未获得所述运动前景区域，获取所述采集图像与预设的装置模板之间的差分图像；所述装置模板是指输送装置上没有布料时所拍摄的图像；对所述差分图像进行滤波处理后并采用自适应阈值分割所述差分图像，获得候选布料区域；

75、分割掩膜获取单元，用于将所述候选布料区域作为所述语义分割模型的前景提示信息，输入到预设的语义分割模型进行分割处理，得到所述语义分割模型输出的目标布料的分割掩膜。

76、本实施例中，通过模板差分作为补充检测手段，在背景差分失效时仍能识别布料区域，提高检测鲁棒性；并利用前景检测结果引导语义分割模型，实现从粗分割递进到精细分割，以获取准确完整的分割掩膜。

77、在一实施例中，所述分割掩膜获取子模块还包括：

78、包围框生成单元，用于响应于未获取到候选布料区域，基于上一帧采集图像对应检测结果中目标布料的长边长度、短边长度和质心位置生成包围框，所述包围框作为预设的语义分割模型的前景提示信息；

79、分割掩膜获取单元，用于将所述包围框和所述采集图像输入到预设的语义分割模型进行分割处理，得到所述语义分割模型输出的目标布料的分割掩膜。

80、本实施例中，通过历史帧信息回退机制，在当前帧采集图像检测失败时维持目标布料跟踪的连续性，避免目标布料丢失；并利用前景检测结果引导语义分割模型，实现从粗分割递进到精细分割，以获取准确完整的分割掩膜。

81、在一实施例中，在得到所述目标布料的分割掩膜之后，所述视觉抓取点确定模块包括：

82、运动轨迹确定模块，用于将当前采集图像对应的目标布料和历史采集图像对应的目标布料进行关联匹配，获得所述目标布料的连续运动轨迹。

83、本实施例中，通过多帧采集图像的目标布料关联跟踪，可以实现各目标布料的独立跟踪与运动预测。

84、在一实施例中，所述视觉抓取点确定模块包括：

85、最小凸多边形获取子模块，用于获取包围所述轮廓点集内所有轮廓点的最小凸多边形；

86、逼近多边形确定子模块，用于采用多个逼近精度分别对所述最小外接多边形或者最大内接多边形进行迭代搜索，得到各个逼近精度对应的逼近多边形；

87、主体区域确定可模块，用于确定对所述目标布料覆盖率最大的逼近多边形所在区域作为所述目标布料的主体区域。

88、本实施例中，通过多逼近精度迭代逼近得到贴合布料实际形状的主体区域，提高后续抓取点规划的准确性。

89、在一实施例中，所述视觉抓取点确定模块包括：

90、边界关键点确定子模块，用于响应于没有获得最小外接多边形或者最大内接多边形，根据所述轮廓的几何形状进行补点处理，生成所述轮廓的边界关键点；

91、视觉抓取点确定子模块，用于确定所述轮廓的边界关键点，作为所述视觉抓取点。

92、本实施例中，通过补点处理保证所有形态布料均能生成有效抓取点，提高系统鲁棒性。

93、在一实施例中，所述视觉抓取点确定模块包括：

94、最小外接矩形获取子模块，用于获取所述主体区域的最小外接矩形，所述最小外接矩形包括长边和短边；

95、初始抓取点获取子模块，用于获取所述最小外接矩形的两条短边的中点，作为所述目标布料的初始抓取点；

96、最短距离确定子模块，用于对所述主体区域执行距离变换处理，得到所述主体区域内各像素位置到轮廓边界的最短距离；

97、视觉抓取点确定子模块，用于在所述初始抓取点的预设邻域范围内，搜索所述最短距离最大的位置作为所述视觉抓取点。

98、本实施例中，通过距离变换运算处理，可以在初始抓取点的邻域范围内搜索距边界最远的内部点，保证抓取点位于目标布料的安全稳定区域，提高不规则形状柔性布料的抓取成功率。

99、在一实施例中，所述预设邻域范围的半径与所述短边长度的比例为[10%，30%]。

100、本实施例中，通过设定合理的搜索半径，可以平衡搜索效率与优化效果。

101、在一实施例中，所述装置还包括：

102、抓取点距离获取模块，用于响应于获取到多个执行抓取点，计算相邻执行抓取点之间的抓取点距离；

103、执行抓取点确定模块，用于响应于所述执行抓取点距离小于预设安全间距阈值，对相邻执行抓取点进行合并处理，并利用合并后的抓取点替代所述执行抓取点。

104、本实施例中，通过抓取点合并优化处理，可以避免末端执行器干涉，保证多抓取点协同作业的安全性。

105、在一实施例中，所述预设安全间距阈值与末端执行器的尺寸比例为[1.2，1.5]。

106、在一实施例中，所述机器人的机械臂包括第一机械臂和第二机械臂；所述目标布料抓取模块包括：

107、姿态角获取子模块，用于获取所述目标布料对应最小外接矩形的旋转角度，确定所述目标布料的姿态角；

108、方向位姿调整子模块，用于根据所述目标布料的姿态角调整第一机械臂和第二机械臂上末端执行器的方向位姿，使所述末端执行器的抓取方向与所述目标布料的短边方向对齐；所述目标布料的姿态角基于所述最小外接矩形的旋转角度确定；

109、空间干涉检测子模块，用于基于抓取任务队列中的位姿指令，基于所述第一机械臂和所述第二机械臂的当前位姿与规划轨迹进行空间干涉检测；

110、抓取位姿切换子模块，用于响应于通过空间干涉检测，控制所述第一机械臂和所述第二机械臂分别从安全位姿变换为抓取位姿以移动到所述目标布料的执行抓取点；

111、位姿变换子模块，用于响应于抓取到所述目标布料，控制所述第一机械臂和所述第二机械臂从所述抓取位姿变换为放置位姿，最终返回到安全位姿变换。

112、本实施例中，通过设置机器人具有两条机械臂，可以利用双机械臂协同调度与碰撞预防，提高抓取效率的同时保证作业安全。

113、在一实施例中，所述机械臂的末端执行器包括丝杆和多个抓取机构，所述装置还包括：

114、定位距离确定模块，用于基于所述目标布料的轮廓长边长度和所述丝杆的零位中心距，确定所述丝杆的定位距离，并将所述多个抓取机构均匀分布于所述目标布料的长边两侧。

115、本实施例中，通过姿态角自适应调整，使抓取方向与布料纹理方向对齐，提高抓取稳定性；通过丝杆自适应定位，自动适配不同尺寸布料的抓取操作，而无需手动频繁调整末端执行器间距，提高产线柔性与抓取稳定性。

116、第三方面，提供一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时执行如第一方面任一项所述方法。

117、第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时执行如第一方面任一项所述方法。

118、第五方面，提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时执行如第一方面任一项所述方法。

119、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。