一种基于视觉定位的布料裁片自动分拣方法及装置与流程

摘要: 本发明涉及工业视觉,具体涉及一种基于视觉定位的布料裁片自动分拣方法及装置。背景技术:1、在纺织服装制造行业中,布料裁片的自动化分拣是连接裁剪与缝制工序的关键环节...
一种基于视觉定位的布料裁片自动分拣方法及装置与流程

本发明涉及工业视觉,具体涉及一种基于视觉定位的布料裁片自动分拣方法及装置。

背景技术:

1、在纺织服装制造行业中,布料裁片的自动化分拣是连接裁剪与缝制工序的关键环节。现有的布料裁片视觉分拣方案通常采用单帧图像瞬时定位的方式确定裁片位姿,并控制机械臂进行抓取。然而,在实际生产工况下,传送带持续运行产生的机械振动以及气流扰动会导致布料裁片发生连续的时序形变,单帧静态图像无法反映这种动态变化过程,导致识别时刻的位姿与实际抓取时刻的位姿存在显著偏差,进而造成定位精度下降。此外,传统抓取策略主要依赖图像的几何信息,未考虑布料本身的弹性模量、弯曲刚度等物理属性,对于薄软面料容易出现抓取形变过大或脱落等问题,难以满足规模化量产对稳定性和成功率的要求。

技术实现思路

1、本发明的目的在于克服现有技术的不足,本发明提供了一种基于视觉定位的布料裁片自动分拣方法及装置,通过连续采集多帧时序图像并构建时序轮廓序列,能够将裁片在传送带运动过程中的轮廓变化解耦为刚性运动分量与柔性形变分量,利用时序外推预测与实时偏差校正相结合的方式,显著提升了动态工况下的定位精度。

2、本发明实施例提供了一种基于视觉定位的布料裁片自动分拣方法,包括以下步骤:

3、s1、在传送带输送裁片的过程中,以预设帧率连续采集裁片的多帧时序图像,所述时序图像至少包括裁片在传送带上不同时刻的二维图像信息;

4、s2、对采集到的每一帧时序图像分别进行图像分割处理,提取每帧图像中裁片的外部轮廓点集,形成与采集时刻对应的时序轮廓序列;

5、s3、基于所述时序轮廓序列,分析裁片轮廓在相邻帧之间的位移变化规律,分离出裁片的刚性运动分量与柔性形变分量,并对柔性形变分量进行时序外推预测,结合实时观测数据进行预测偏差校正,得到裁片在抓取执行时刻的预测轮廓及对应的预测位姿参数;

6、s4、获取裁片的物理属性参数,根据所述预测轮廓与所述物理属性参数,在裁片内部生成多个候选抓取点,分别对每个候选抓取点在虚拟抓取条件下的裁片形变响应进行仿真评估,根据评估结果从多个候选抓取点中选定最优抓取点,并确定与所述最优抓取点对应的抓取姿态补偿参数;

7、s5、根据所述预测位姿参数控制机械臂调整末端执行器的空间位姿,按照所述最优抓取点和所述抓取姿态补偿参数执行抓取动作,并将抓取的裁片移送至目标料箱。

8、进一步的,所述基于所述时序轮廓序列,分析裁片轮廓在相邻帧之间的位移变化规律,分离出裁片的刚性运动分量与柔性形变分量,并对柔性形变分量进行时序外推预测,结合实时观测数据进行预测偏差校正,得到裁片在抓取执行时刻的预测轮廓及对应的预测位姿参数包括:

9、s31、对所述时序轮廓序列中的每一帧轮廓点集进行等量重采样,使每帧轮廓包含相同数量的轮廓特征点,按采集时间顺序排列形成轮廓特征点的时序变化序列;

10、s32、计算相邻帧之间各轮廓特征点的位移矢量,构建轮廓位移场,将所述轮廓位移场中的位移矢量分解为刚性运动位移分量与柔性形变位移分量;

11、s33、将所述柔性形变位移分量作为时序预测模型的输入,利用所述时序预测模型对裁片在未来抓取执行时刻的柔性形变状态进行外推预测,同时以所述刚性运动位移分量作为运动补偿基准,将外推预测结果与运动补偿基准叠加,得到裁片在抓取执行时刻的预测轮廓;

12、s34、根据所述预测轮廓计算裁片的预测质心坐标、预测主轴方向以及预测轮廓包围盒,并计算预测残差,根据所述预测残差生成反映预测可靠程度的形变置信度。

13、进一步的,所述计算相邻帧之间各轮廓特征点的位移矢量,构建轮廓位移场,将所述轮廓位移场中的位移矢量分解为刚性运动位移分量与柔性形变位移分量包括:

14、提取裁片轮廓的质心运动轨迹作为刚性运动参考,计算各轮廓特征点相对于质心的相对位移变化,将各轮廓特征点的总位移矢量中与质心运动方向一致的部分归类为刚性运动位移分量,将各轮廓特征点的总位移矢量中偏离质心运动方向且反映轮廓局部形变的部分归类为柔性形变位移分量,并统计柔性形变位移分量在时间序列上的波动周期和波动幅值。

15、进一步的,所述将所述柔性形变位移分量作为时序预测模型的输入,利用所述时序预测模型对裁片在未来抓取执行时刻的柔性形变状态进行外推预测,同时以所述刚性运动位移分量作为运动补偿基准,将外推预测结果与运动补偿基准叠加,得到裁片在抓取执行时刻的预测轮廓包括:

16、以当前时刻之前的连续多帧的柔性形变位移分量作为历史观测序列,采用时序分析方法提取所述历史观测序列中的周期变化规律和趋势变化规律,基于提取到的周期变化规律和趋势变化规律向后外推计算未来抓取执行时刻的柔性形变位移预测值;同时,随着新帧图像的不断采集,将新帧图像对应的柔性形变位移分量作为实时观测值,对已生成的外推预测结果进行修正更新。

17、进一步的,所述获取裁片的物理属性参数,根据所述预测轮廓与所述物理属性参数,在裁片内部生成多个候选抓取点,分别对每个候选抓取点在虚拟抓取条件下的裁片形变响应进行仿真评估,根据评估结果从多个候选抓取点中选定最优抓取点,并确定与所述最优抓取点对应的抓取姿态补偿参数包括:

18、s41、根据裁片的身份标识从预先建立的物理属性知识库中检索该裁片对应的物理属性参数并加载至系统缓存,所述物理属性包括弹性模量、弯曲刚度和表面摩擦系数;

19、s42、根据所述物理属性参数的弹性模量和弯曲刚度确定候选抓取点的分布策略,按照所述分布策略在所述预测轮廓的内部区域内生成多个候选抓取点;

20、s43、沿所述预测轮廓的周向提取各局部区域的轮廓曲率和轮廓宽度,根据所述弹性模量修正所述轮廓曲率得到各局部区域的刚性抵抗系数,根据所述弯曲刚度修正所述轮廓宽度得到各局部区域的抗弯稳定系数,由所述刚性抵抗系数和所述抗弯稳定系数构成裁片各局部区域的综合形变抵抗特征图谱;

21、s44、根据所述综合形变抵抗特征图谱获取候选抓取点的局部抗形变能力评价值,根据所述表面摩擦系数修正所述局部抗形变能力评价值,得到每个候选抓取点的综合抓取适宜度,并选取综合抓取适宜度最优的候选抓取点作为最优抓取点,根据所述预测轮廓在所述最优抓取点处的局部轮廓方向确定抓取姿态补偿参数。

22、进一步的,所述根据所述物理属性参数的弹性模量和弯曲刚度确定候选抓取点的分布策略,按照所述分布策略在所述预测轮廓的内部区域内生成多个候选抓取点包括:

23、计算所述弹性模量与所述弯曲刚度的乘积,根据所述乘积的数值将裁片划分为高柔性等级、中柔性等级或低柔性等级;

24、当裁片被划分为高柔性等级时,将所有候选抓取点集中生成于裁片质心周围的第一区域内;

25、当裁片被划分为中柔性等级时,将所有候选抓取点生成于裁片质心周围的第二区域内,所述第二区域的面积大于所述第一区域的面积;

26、当裁片被划分为低柔性等级时,将候选抓取点分散生成于所述预测轮廓的整个内部区域。

27、进一步的,所述对每个候选抓取点,分别模拟末端执行器在该点施加抓取力时裁片内部的应力分布状态,并计算在该抓取力作用下裁片各区域的预测形变位移量包括:

28、将裁片的预测轮廓内部区域离散化为由节点和连接节点的弹性单元组成的网络模型,各弹性单元的刚度系数根据所述弹性模量和弯曲刚度进行赋值;

29、依次选取每个候选抓取点作为受力加载点施加虚拟抓取力,求解所述网络模型中各节点的力平衡方程,记录每个候选抓取点作用下各节点的位移量和应力值,形成与候选抓取点一一对应的形变响应数据集。

30、进一步的,所述求解所述网络模型中各节点的力平衡方程包括:

31、针对当前选取的候选抓取点,将该点处施加的虚拟抓取力作为边界条件加载至所述网络模型中对应的节点上;

32、根据各弹性单元的刚度系数以及各节点之间的连接关系,建立所有节点的力平衡方程组;

33、采用迭代方法对所述力平衡方程组进行求解,每次迭代后更新各节点的位移量和应力值,直至满足收敛条件时停止迭代;

34、记录停止迭代时各节点的位移量和应力值,作为当前候选抓取点对应的形变响应数据。

35、进一步的,所述根据所述预测位姿参数控制机械臂调整末端执行器的空间位姿,按照所述最优抓取点和所述抓取姿态补偿参数执行抓取动作,并将抓取的裁片移送至目标料箱包括:

36、根据所述预测质心坐标和预测主轴方向控制机械臂末端执行器移动至预测抓取位置;

37、控制末端执行器按照所述抓取姿态补偿参数调整吸盘相对于裁片表面的吸附角度;

38、控制末端执行器以所述最优抓取点为中心执行吸附抓取动作;在抓取动作执行过程中,通过末端执行器上的力传感器实时检测抓取力数值,当检测到的抓取力数值低于预设阈值时判定为抓取失败,触发重试机制重新执行抓取动作;

39、当检测到的抓取力数值达到预设阈值时判定为抓取成功,将裁片移送至目标料箱,并通过料箱上的电子标签读写器确认裁片入箱。

40、本发明还提供了一种基于视觉定位的布料裁片自动分拣装置,包括:

41、数据采集模块:用于在传送带输送裁片的过程中,以预设帧率连续采集裁片的多帧时序图像,所述时序图像至少包括裁片在传送带上不同时刻的二维图像信息;

42、预处理模块:用于对采集到的每一帧时序图像分别进行图像分割处理,提取每帧图像中裁片的外部轮廓点集,形成与采集时刻对应的时序轮廓序列;

43、校正处理模块:用于基于所述时序轮廓序列,分析裁片轮廓在相邻帧之间的位移变化规律,分离出裁片的刚性运动分量与柔性形变分量,并对柔性形变分量进行时序外推预测,结合实时观测数据进行预测偏差校正,得到裁片在抓取执行时刻的预测轮廓及对应的预测位姿参数;

44、补偿计算模块:用于获取裁片的物理属性参数,根据所述预测轮廓与所述物理属性参数,在裁片内部生成多个候选抓取点,分别对每个候选抓取点在虚拟抓取条件下的裁片形变响应进行仿真评估,根据评估结果从多个候选抓取点中选定最优抓取点,并确定与所述最优抓取点对应的抓取姿态补偿参数;

45、调节模块:用于根据所述预测位姿参数控制机械臂调整末端执行器的空间位姿,按照所述最优抓取点和所述抓取姿态补偿参数执行抓取动作,并将抓取的裁片移送至目标料箱。

46、本发明公开了一种基于视觉定位的布料裁片自动分拣方法及装置,通过连续采集多帧时序图像并构建时序轮廓序列,能够将裁片在传送带运动过程中的轮廓变化解耦为刚性运动分量与柔性形变分量,利用时序外推预测与实时偏差校正相结合的方式,有效克服了单帧静态定位因机械振动和气流扰动导致的位姿失配问题,显著提升了动态工况下的定位精度。同时,本技术引入裁片的物理属性参数参与抓取决策,通过构建综合形变抵抗特征图谱并结合虚拟仿真评估,实现了抓取点位与抓取姿态的材质自适应匹配,避免了仅依赖几何信息造成的薄软面料抓取形变或脱落,大幅提高了分拣成功率与作业稳定性。