一种五金件智能分拣合包方法与流程

1.本发明涉及五金件分拣包装技术领域，更具体地说，涉及一种五金件智能分拣合包方法。


背景技术：

2.目前，随着人工智能的高速发展，在自动化的大潮流趋势中，定制家具企业多采用自动化流水线进行家具产品的生产和加工。
3.在定制家具五金件的制造、包装以及运输过程中，传统的五金件分拣过程是根据订单进行五金件的选取，再进行人工分解。这种包装生产方式主要是通过人工送料和控制包装，效率较低，常常会因为五金件体积小、品种多等因素，容易出现多装、漏装等现象，而且对于人工的依赖性过高；随着订单量的不断增大，时常会因为工作量过大导致订单不能及时出货；而工作量过大还会导致工作紧迫和劳动强度过大，而出现数量或者种类分拣出错，这种出错率就会不断增加。此外，对于不同订单的要求需要在各种五金件中分拣出不同数量、型号、包装方式的物件，这样繁琐的工作程序必会造成包装效率及准确率的降低。


技术实现要素：

4.为克服现有技术中的缺点与不足，本发明的目的在于提供一种五金件智能分拣合包方法；该方法能够节省大量人力，降低人工成本，提高五金件分拣包装的自动化程度，包装计数更精准，能缩短交货期和提高生产效率。
5.为了达到上述目的，本发明通过下述技术方案予以实现：一种五金件智能分拣合包方法，包括如下步骤：
6.s1、读取m个订单的订单信息，订单信息包括五金件信息；将m个订单的五金件信息，转化为订单五金件表达ir(r＝1，2，...，m)；
7.将多个种类五金件混合输送到视觉检测区域；
8.s2、获取视觉检测区域图像，将图像进行处理，采用sad算法进行区域合并；
9.s3、将区域合并后的图像输入到训练好的五金件识别模型中，得到图像中各种五金件的所在位置坐标；五金件识别模型是指：以yolov4模型为基础、训练时采用k-means 算法对锚框尺寸进行聚类和修正的模型；
10.s4、将订单五金件表达ir转换成指令m；工业机器人根据指令m抓取相应的五金件，并将五金件送出到订单对应位置实现分拣；
11.s5、将分拣好的五金件进行打包封装。
12.优选地，所述s3中，五金件识别模型训练包括如下步骤：
13.l1、从五金件图片中标注出五金件锚框，构建出锚框数据集δ；从锚框数据集中随机选取一个锚框作为第一个锚框聚类中心c1；
14.l2、在第s次迭代中，将除当前已有锚框聚类中心cz以外的锚框设为其余锚框；计算其余锚框到当前已有锚框聚类中心cz之间的iou值：
[0015][0016]
其中，gz表示第z个锚框聚类中心cz的面积，gk表示第k个其余锚框的面积，n表示其余锚框的数量；
[0017]
找出当前迭代中，各个其余锚框的最小iou值：
[0018]
d(s，k)＝min(iou(s，k))
[0019]
l3、计算其余锚框被选为下一个锚框聚类中心的概率p(s，k)：
[0020][0021]
其中，δ为当前迭代中其余锚框的集合；
[0022]
l4、在所有其余锚框已有迭代的概率p(s，k)中找出最大值，设定最大值对应的其余锚框为新的锚框聚类中心；
[0023]
l5、重复l2至l4进行下一次迭代，直至找出z
num
个锚框聚类中心cz，z＝1，2，...z
mum
；
[0024]
l6、分别计算各个其余锚框与z
num
个锚框聚类中心cz之间的iou值：
[0025][0026]
其中，gz表示第z个锚框聚类中心cz的面积，gk表示第k个其余锚框的面积，n表示其余锚框的数量；
[0027]
将各个其余锚框分别与iou值最大的目标锚框归为同一类，得到z
num
个锚框类别；
[0028]
l7、将各个锚框类别所有锚框的宽和高分别取均值，得到修正后的各个锚框类别的锚框的宽和高。
[0029]
优选地，所述s2中，采用sad算法进行区域合并，是指：
[0030]
s21、将图像每个像素点标记不同的标签；
[0031]
s22、随机选取一个像素点作为初始的区域an，n＝1；
[0032]
s23、计算像素点与相邻像素点之间的欧式距离dist；所述相邻是指横轴、纵轴、对角线相邻；
[0033][0034]
其中，xq和yq分别代表在第q个空间维度中两个像素点的像素值；
[0035]
s24、当欧式距离dist≤距离设定值时，将参与欧式距离dist计算的相邻像素点合并到区域an；将新合并到区域an的像素点的标签更新为区域an中像素点的现有标签；
[0036]
s25、计算区域an各个空间维度的像素均值pq；
[0037]
s26、计算新合并到区域an像素点的相邻像素点与区域an像素均值pi的绝对差值和sad：
[0038][0039]
其中，pq代表被选取像素点的像素值的集合；cq代表图像所有像素点的集合；oq代表与pq相邻的像素点的集合；
[0040]
当绝对差值和sad《sad设定值时，将参与绝对差值和sad计算的相邻像素点合并到区域an；将新合并到区域an的像素点的标签更新为区域an中像素点的现有标签；跳至s25，直至区域an中像素点与相邻像素点再无绝对差值和sad《sad设定值的情况；
[0041]
s27、随机选取一个未合并到任何区域的像素点作为下一个初始的区域an，n＝n 1；跳至s23进行下一个区域合并，直至所有像素点均被遍历合并。
[0042]
优选地，所述s2中，在采用sad算法进行区域合并之前，先对图像进行均值滤波处理，滤波核函数k(x，y)为：
[0043][0044]
其中，k(x，y)表示均值滤波后得到的图像，f(x，y)表示原始图像，m＝(2*ksize.width 1)*(2*ksize.height 1)；ksize.width代表滤波器窗口的宽度，ksize.height表示滤波器窗口的高度。
[0045]
优选地，所述s1中，订单五金件表达ir(r＝1，2，...，m)，是指：
[0046][0047]
其中，n表示第r个订单五金件总数；i表示五金件种类编号；j表示第r个订单中种类编号为i的五金件的数量，0≤j≤n；
[0048]
所述s4中，指令m，是指：
[0049]
m＝i1 i2 i3
…
im。
[0050]
优选地，所述s4，是指：将订单五金件表达ir转换成指令m；将各个订单的五金件分别与包装机的包装位置进行关联；工业机器人根据指令m抓取相应的五金件到分拣机盒中；分拣机盒设有可开合的底盖；将五金件所在的分拣机盒与包装机的包装位置进行关联；分拣机盒运动到与包装机中订单关联的包装位置时，将底盖打开，五金件倒入包装机订单关联的包装位置中预先制好的半成品袋内，分拣机盒循环传送回到待装五金件处。
[0051]
优选地，所述s5，是指：当包装机中任一包装位置已装入所有对应五金件；包装机将所述包装位置的半成品袋封口，制得成品袋装五金件；读取当前订单的订单信息；根据订单信息打印出相应标签，并将标签粘贴到成品袋装五金件上。
[0052]
与现有技术相比，本发明具有如下优点与有益效果：
[0053]
本发明一种五金件智能分拣合包方法，通过采集视觉检测区域图像，对图像进行区域合并计算，再传入五金件识别模型，五金件识别模型以yolov4模型为基础、针对于五金件而进行改良，通过kmeans 算法来确定符合五金件大小的锚框，能够提高模型精确度，从而快速确定所需五金件的位置；再通过工业机器人处理，进行五金件的智能分拣合包操作。相对于传统方法，本发明不仅能够节省大量人力，降低人工成本，能够提高五金件包装自动化程度，包装计数更精准，并且能缩短交货期和提高生产效率。
附图说明
[0054]
图1是本发明五金件智能分拣合包方法的流程图。
具体实施方式
[0055]
下面结合附图与具体实施方式对本发明作进一步详细的描述。
[0056]
实施例
[0057]
本实施例一种五金件智能分拣合包方法，如图1所示，包括如下步骤：
[0058]
s1、读取m个订单的订单信息，订单信息包括五金件信息；将m个订单的五金件信息，转化为订单五金件表达ir(r＝1，2，...，m)；
[0059]
订单五金件表达ir(r＝1，2，...，m)，是指：
[0060][0061]
其中，n表示第r个订单五金件总数；i表示五金件种类编号；j表示第r个订单中种类编号为i的五金件的数量，0≤j≤n。
[0062]
以订单五金件总数n为7的订单为例，假设该订单需要种类编号为1的五金件1个则可以表示为a
11
，种类编号为3五金件2个则可以表示为a
32
，种类编号为4的五金件3个则可以表示为a
43
，种类编号为5的五金件1个则可以表示为a
51
；
[0063]
对于该订单五金件表达ir可以表示为：
[0064]
i＝a
11
a
32
a
43
a
51
。
[0065]
将多个种类五金件混合输送到视觉检测区域。
[0066]
s2、获取视觉检测区域图像，将图像进行处理，采用sad算法进行区域合并。
[0067]
在采用sad算法进行区域合并之前，先对图像进行均值滤波处理，滤波核函数k(x，y)为：
[0068][0069]
其中，k(x，y)表示均值滤波后得到的图像，f(x，y)表示原始图像，m＝(2*ksize.width 1)*(2*ksize.height 1)；ksize.width代表滤波器窗口的宽度，ksize.height表示滤波器窗口的高度。
[0070]
采用sad算法进行区域合并，是指：
[0071]
s21、将图像每个像素点标记不同的标签；
[0072]
s22、随机选取一个像素点作为初始的区域an，n＝1；
[0073]
s23、计算像素点与相邻像素点之间的欧式距离dist；所述相邻是指横轴、纵轴、对角线相邻；
[0074][0075]
其中，xq和yq分别代表在第q个空间维度中两个像素点的像素值；
[0076]
s24、当欧式距离dist≤距离设定值时，将参与欧式距离dist计算的相邻像素点合并到区域an；将新合并到区域an的像素点的标签更新为区域an中像素点的现有标签；
[0077]
s25、计算区域an各个空间维度的像素均值pq；
[0078]
s26、计算新合并到区域an像素点的相邻像素点与区域an像素均值pi的绝对差值和sad(sum of absolute difference)：
[0079][0080]
其中，pq代表被选取像素点的像素值的集合；cq代表图像所有像素点的集合；oq代表与pq相邻的像素点的集合；
[0081]
当绝对差值和sad＜sad设定值时，将参与绝对差值和sad计算的相邻像素点合并到区域an；将新合并到区域an的像素点的标签更新为区域an中像素点的现有标签；跳至s25，直至区域an中像素点与相邻像素点再无绝对差值和sad＜sad设定值的情况；
[0082]
s27、随机选取一个未合并到任何区域的像素点作为下一个初始的区域an，n＝n 1；跳至s23进行下一个区域合并，直至所有像素点均被遍历合并。
[0083]
s3、将区域合并后的图像输入到训练好的五金件识别模型中，得到图像中各种五金件的所在位置坐标；五金件识别模型是指：以yolov4模型为基础、训练时采用k-means 算法对锚框尺寸进行聚类和修正的模型。此外，五金件识别模型还可在yolov4模型的基础上删除原特征网络中用来检测大物品特征的19*19尺度。
[0084]
五金件识别模型训练包括如下步骤：
[0085]
l1、从五金件图片中标注出五金件锚框，构建出锚框数据集δ；从锚框数据集δ中随机选取一个锚框作为第一个锚框聚类中心c1；
[0086]
l2、在第s次迭代中，将除当前已有锚框聚类中心cz以外的锚框设为其余锚框；计算其余锚框到当前已有锚框聚类中心cz之间的iou值：
[0087][0088]
其中，gz表示第z个锚框聚类中心cz的面积，gk表示第k个其余锚框的面积，n表示其余锚框的数量；
[0089]
找出当前迭代中，各个其余锚框的最小iou值：
[0090]
d(s，k)＝min(iou(s，k))
[0091]
l3、计算其余锚框被选为下一个锚框聚类中心的概率p(s，k)：
[0092][0093]
其中，δ为当前迭代中其余锚框的集合；
[0094]
l4、在所有其余锚框已有迭代的概率p(s，k)中找出最大值，设定最大值对应的其余锚框为新的锚框聚类中心；
[0095]
l5、重复l2至l4进行下一次迭代，直至找出z
num
个锚框聚类中心cz，z＝1，2，...z
num
；
[0096]
l6、分别计算各个其余锚框与z
num
个锚框聚类中心cz之间的iou值：
[0097][0098]
其中，gz表示第z个锚框聚类中心cz的面积，gk表示第k个其余锚框的面积，n表示其余锚框的数量；
[0099]
将各个其余锚框分别与iou值最大的目标锚框归为同一类，得到z
num
个锚框类别；
[0100]
l7、将各个锚框类别所有锚框的宽和高分别取均值，得到修正后的各个锚框类别的锚框的宽和高。
[0101]
——s4、工业机器人进行信息处理：将图像中各种五金件的所在位置坐标转变为以视觉检测区域相机中心为原点的相机三维坐标系下的坐标；以工业机器人底座坐标系作为三维世界坐标系，将相机三维坐标系下的坐标转变为三维世界坐标系下的坐标(xw，yw，zw)；确定工业机器人机械臂末端执行器到达坐标(xw，yw，zw)时的姿态(α，β，γ)；采用运动学逆解，通过坐标(xw，yw，zw)和姿态(α，β，γ)计算出抓取各个五金件时工业机器人机械臂每个关节旋转的角度。
[0102]
将订单五金件表达ir转换成指令m；工业机器人根据指令m抓取相应的五金件，并将五金件送出实现分拣。
[0103]
具体地说，指令m，是指：
[0104]
m＝i1 i2 i3
…
im。
[0105]
以m＝i1 i2 i3为例，假设i1订单中需要5个五金件，i1＝a
12
a
21
a
32
；i2订单中需要3个五金件，i2＝a
32
a
41
；i3订单中需要4个五金件，i3＝a
12
a
31
a
51
；在执行i1、i2、i3订单时需要分别执行5、3、4次指令，可以间接理解为在执行指令m时是在执行一个不等长的二维数组，即：
[0106][0107]
其中每一行都代表一条指令，每个参数中都包含了需要执行的次数与需要抓取的五金件型号。
[0108]
将各个订单的五金件分别与包装机的包装位置进行关联；工业机器人根据指令m抓取相应的五金件到分拣机盒中；分拣机盒设有可开合的底盖；将五金件所在的分拣机盒与包装机的包装位置进行关联；分拣机盒运动到与包装机中订单关联的包装位置时，将底盖打开，五金件倒入包装机订单关联的包装位置中预先制好的半成品袋内，分拣机盒循环传送回到待装五金件处。
[0109]
s5、将分拣好的五金件进行打包封装：当包装机中任一包装位置已装入所有对应五金件；包装机将所述包装位置的半成品袋封口，制得成品袋装五金件；读取当前订单的订单信息；根据订单信息打印出相应标签，并将标签粘贴到成品袋装五金件上。
[0110]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。