基于图像处理的有色金属自动贴标方法及装置与流程

1.本发明涉及图像处理和有色金属贴标的技术领域，尤其涉及一种基于图像处理的有色金属自动贴标方法，以及基于图像处理的有色金属自动贴标装置。


背景技术：

2.目前在有色金属贴标领域，有色金属贴标多为人工贴标，效率低，成本高。在人工给有色金属贴标过程中，由于复杂的工作环境，极易发生工人伤亡事件。而在有色金属自动贴标过程中，由于有色金属摆放姿态各有差异，有色金属平面与机械手末端平面有不同程度的偏角。该偏角若不矫正会导致贴到有色金属平面上的标签褶皱，脱落，甚至无法完成贴标操作。
3.传统的霍夫直线检测具有良好的鲁棒性和检测精度，但是有色金属贴标的实际工况背景杂乱，贴标环境变换随机性较强，存在目标边缘检测和图形转换不准确的问题，对传统霍夫直线检测的准确率影响较大，图像校正质量较低，且计算量庞大。因此，如何解决有色金属贴标定位时复杂背景对贴标点检测的干扰和间断线对直线检测的干扰，矫正有色金属贴标时偏角，以及实现有色金属自动贴标是有色金属贴标技术的重要难点。


技术实现要素：

4.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于图像处理的有色金属自动贴标方法，该方法更适合在复杂工厂环境下的有色金属贴标，大大提高了实际工作中有色金属贴标的效率与精度。
5.本发明的技术方案是：这种基于图像处理的有色金属自动贴标方法，其包括以下步骤：
6.(1)机械臂带动激光位移传感器找到有色金属第一层上边缘和左边缘位置，根据该位置，控制机械臂移动到有色金属堆垛左上角点，记录当前位置为p1；
7.(2)机械臂在位置p1的基础上向下移动m个有色金属锭厚度h的距离，来到第m层，然后机械臂向右侧移动3*h的距离，并用摄像机采集该层有色金属图片t0；
8.(3)根据预先训练好的yolov5模型对采集到的图片t0进行roi提取，将提取后的图片保存为t1；
9.(4)对t1进行图像预处理得到图t2，处理流程包括：图像灰度化、图像中值滤波、灰度变换、图像二值化；
10.(5)使用针对水平缝隙检测的改进霍夫直线检测算法对图t2提取有色金属锭之间的缝隙线；
11.(6)计算贴标像素点，并将该像素点转换为机器人坐标系下的点d1；
12.(7)在d1点周围取n》2个点，结合激光位移传感器返回的距离，分别得到n个不在同一条线上的三维坐标点，进行平面拟合，得到平面m1；
13.(8)对平面m1求解法向量进而求解偏角δ；
14.(9)根据偏角δ调整机械臂末端吸盘位姿，完成贴标操作；
15.其中步骤(5)包括：
16.(5.1)对t2进行形态学处理，抑制竖直方向直线，突出水平线特征，对贴标点检测基于有色金属锭之间水平缝隙；
17.(5.2)在水平距离t2图像左边沿a/2距离内，判断是否有边缘点剩余，有剩余则随机提取一边缘点作为起始点，以该点为中心，a为长度，w为宽度，设置长方形框a；没有剩余则执行步骤(6)；
18.(5.3)对过a框内点的直线在(ρ，θ)参数空间内进行投票，一组ρ，θ数据对应一条直线；
19.(5.4)判断a框内是否有大于阈值thr1的直线，如果有记该直线为l(j)，并进行步骤(5.5)；如果没有，回到步骤(5.2)；清理a框内的所有点；
20.(5.5)将a框中心沿直线l(j)方向平移(a b)/2，得到长方形框b(i)，b为b(i)框长度，w为宽度，a》》b，并设置累加器acc(j)用于记录直线间断次数，该累加器在各个b框中重复使用；
21.(5.6)对b(i)框内l(j)直线对应的(ρ，θ)点进行投票，记录l(j)增加的投票数n(i)；
22.(5.7)判断n(i)是否小于阈值thr2，如果小于则说明该框内直线出现间断，acc(j)自加1，否则acc(j)值不变；清理b(i)框内的所有点；
23.(5.8)判断acc(j)的值是否大于阈值thr3，如果大于则说明该直线间断过多，舍弃该直线的检测，回到步骤(5.2)；
24.(5.9)将b(i)框中心沿直线l(j)方向平移b，得到长方形框b(i 1)；
25.(5.10)判断当前b框位置是否已走出图像水平方向范围，未走出则回到步骤(5.6)，否则进行步骤(5.11)；清空累加器acc(j)；
26.(5.11)保存直线l(j)于集合line中，返回步骤(5.2)；
27.其中步骤(6)包括：
28.(6.1)以图t2左上角点为原点，向右为x轴正方向，向下为y轴正方向建立坐标系；计算集合line中所有线和y轴的交点，保存在集合p1中；
29.(6.2)取集合p1中最小值对应的直线ls，该直线为这层有色金属锭和上一层有色金属锭之间的缝隙线；
30.(6.3)计算ls在y轴和x＝t2.width之间线段的中点d0；
31.(6.4)根据需要将d0沿y轴偏移一定距离d得到d1点，该点为贴标像素点，通过手眼标定将该点转换为机器人坐标系下的点。
32.本发明使用贴标定位算法对图t2检测贴标像素点，并将该像素点转换为机器人坐标系下的点d1，贴标定位算法包括两步：首先使用预先训练好的yolov5模型对图t2进行roi感兴趣区域提取；其次使用针对水平缝隙检测的改进霍夫直线检测算法提取缝隙线，并计算贴标像素点d0，将该点转换为机器人坐标系下的点d1。在d1点周围取n》2个点，结合激光位移传感器返回的距离，分别得到n个不在同一条线上的三维坐标点，进行平面拟合，得到平面m1，对平面m1求解法向量进而求解偏角δ，根据偏角δ调整机械臂末端吸盘位姿，完成贴标操作，因此更适合在复杂工厂环境下的有色金属贴标，大大提高了实际工作中有色金属
贴标的效率与精度。
33.还提供了基于图像处理的有色金属自动贴标装置，其包括：定位装置、卡具装置、执行装置、气动装置、打印装置；
34.定位装置检测贴标位置，定位装置通过卡具固连在执行装置上。检测完贴标位置后，气动装置通过执行装置吸取标签并运动到贴标位置进行贴标整体为立方体壳体，卡具底部四周向内翻边；
35.在卡具体一侧面开4个孔用于连接激光位移传感器，4孔分布宽高一定的长方形角点上，4孔均攻螺纹；在卡具体另一侧面上下分别开4个孔，上下开孔位置分别沿两条直线分布，两条直线分别距离上下边沿一定距离，且上下两排第一孔均距离侧边沿一定距离，8孔均攻螺纹；在卡具体头部轮廓中心处开圆孔用于连接吸盘，该圆孔的同心圆上开4个通孔用于固定吸盘。
附图说明
36.图1是根据本发明的基于图像处理的有色金属自动贴标装置的示意图。
37.图2是根据本发明的基于图像处理的有色金属自动贴标方法的流程图。
38.图3是针对水平缝隙检测的改进霍夫直线检测原理图。
39.图4是对有色金属平面进行平面拟合的示意图。
具体实施方式
40.如图2所示，这种基于图像处理的有色金属自动贴标方法，其包括以下步骤：
41.(1)机械臂带动激光位移传感器找到有色金属第一层上边缘和左边缘位置，根据该位置，控制机械臂移动到有色金属堆垛左上角点，记录当前位置为p1。
42.(2)机械臂在位置p1的基础上向下移动m个有色金属锭厚度h的距离，来到第m层(该步骤只能确定大概位置，不能直接作为贴标点的确定依据，需要图像处理来精确定位)。然后机械臂向右侧移动3*h的距离，并用摄像机采集该层有色金属图片t0；
43.(3)根据预先训练好的yolov5模型对采集到的图片t0进行roi(感兴趣区域)提取，将提取后的图片保存为t1。
44.(4)对t1进行图像预处理得到图t2，处理流程包括：图像灰度化、图像中值滤波、灰度变换、图像二值化；
45.(5)使用针对水平缝隙检测的改进霍夫直线检测算法对图t2提取有色金属锭之间的缝隙线；
46.(6)计算贴标像素点，并将该像素点转换为机器人坐标系下的点d1；
47.(7)在d1点周围取n》2个点，结合激光位移传感器返回的距离，分别得到n个不在同一条线上的三维坐标点，进行平面拟合，得到平面m1；
48.(8)对平面m1求解法向量进而求解偏角δ；
49.(9)根据偏角δ调整机械臂末端吸盘位姿，完成贴标操作；
50.其中步骤(5)包括：
51.(5.1)对t2进行形态学处理，抑制竖直方向直线，突出水平线特征(对贴标点检测基于有色金属锭之间水平缝隙)；
52.(5.2)在水平距离t2图像左边沿a/2距离内，判断是否有边缘点剩余，有剩余则随机提取一边缘点作为起始点，以该点为中心，a为长度，w为宽度，设置长方形框a。没有剩余则结束算法；
53.(5.3)对过a框内点的直线在(ρ，θ)参数空间内进行投票，一组ρ，θ数据对应一条直线；
54.(5.4)判断a框内是否有大于阈值thr1的直线，如果有记该直线为l(j)，并进行步骤5.5。如果没有，回到步骤5.2。清理a框内的所有点；
55.(5.5)将a框中心沿直线l(j)方向平移(a b)/2，得到长方形框b(i)，b为b(i)框长度，w为宽度(a》》b)，并设置累加器acc(j)用于记录直线间断次数(该累加器在各个b框中可以重复使用)；
56.(5.6)对b(i)框内l(j)直线对应的(ρ，θ)点进行投票，记录l(j)增加的投票数n(i)；
57.(5.7)判断n(i)是否小于阈值thr2，如果小于则说明该框内直线出现间断，acc(j)自加1，否则acc(j)值不变。清理b(i)框内的所有点；
58.(5.8)判断acc(j)的值是否大于阈值thr3，如果大于则说明该直线间断过多，舍弃该直线的检测，回到步骤5.2；
59.(5.9)将b(i)框中心沿直线l(j)方向平移b，得到长方形框b(i 1)；
60.(5.10)判断当前b框位置是否已走出图像水平方向范围，未走出则回到步骤5.6，否则进行步骤5.11。清空累加器acc(j)；
61.(5.11)保存直线l(j)于集合line中，返回步骤5.2；
62.其中步骤(6)包括：
63.(6.1)以图t2左上角点为原点，向右为x轴正方向，向下为y轴正方向建立坐标系；计算集合line中所有线和y轴的交点，保存在集合p1中；
64.(6.2)取集合p1中最小值对应的直线ls，该直线即为这层有色金属锭和上一层有色金属锭之间的缝隙线；
65.(6.3)计算ls在y轴和x＝t2.width之间线段的中点d0；
66.(6.4)根据需要将d0沿y轴偏移一定距离d得到d1点，该点即为贴标像素点，通过手眼标定将该点转换为机器人坐标系下的点；
67.本发明使用贴标定位算法对图t2检测贴标像素点，并将该像素点转换为机器人坐标系下的点d1，贴标定位算法包括两步：首先使用预先训练好的yolov5模型对图t2进行roi感兴趣区域提取(yolov5模型对直线信息描述不准确，如使用其他深度学习算法对直线进行检测，需要对大量数据进行像素级精度标注，综合考虑，本方法不直接使用深度学习进行直线检测)；其次使用针对水平缝隙检测的改进霍夫直线检测算法提取缝隙线，并计算贴标像素点d0，将该点转换为机器人坐标系下的点d1。在d1点周围取n》2个点，结合激光位移传感器返回的距离，分别得到n个不在同一条线上的三维坐标点，进行平面拟合，得到平面m1，对平面m1求解法向量进而求解偏角δ，根据偏角δ调整机械臂末端吸盘位姿，完成贴标操作，因此更适合在复杂工厂环境下的有色金属贴标，大大提高了实际工作中有色金属贴标的效率与精度。
68.yolov5是在2020年5月，由ultralytics lcc公司提出的模型，并在github上发布，
是目前yolo算法系列的最新款。yolov5在继承yolov3，yolov4整体布局的基础上，融合了近年来卷积神经网络领域的多种优化策略，性能相比前几代yolo算法有了较大的提升，而且占用空间更少，更易于布置在嵌入式设备上。算法针对待检测区域进行回归，仅有一个阶段，检测速度很快。此外，在使用yolov5对图片t0进行感兴趣区域提取前，需要采集一定数量的有色金属堆垛图像，并对合适的特征区域进行标注。将标注好的图像分为训练数据集和验证数据集进行训练，多次调整训练集和训练次数等信息，以获得最优参数与模型。
69.优选地，所述步骤(1)中，机械臂从有色金属堆垛外侧向内侧移动，固定于机械臂末端的激光位移传感器以检测到数据为信号找有色金属第一层上边缘和左边缘，根据该位置，控制机械臂移动到有色金属堆垛左上角点，记录当前位置为p1。
70.优选地，所述步骤(2)中，机械臂在位置p1的基础上向下移动m个有色金属锭厚度h的距离，来到第m层，然后机械臂向右侧移动3*h的距离，并用摄像机采集该层有色金属图片t0。其中摄相机通过螺钉紧固于相机架前面板上，相机架后面板开有通孔和滑槽，用以连接相机架和卡具，并方便调整相机架相对灯架的位置，便于找寻最佳补光效果；卡具同一侧，相机架前方，圆顶灯源补光灯通过灯架连接在卡具上，为摄相机提供稳定光源，机械臂在指定位置通过ccd摄相机采集该层有色金属图片t0。
71.优选地，所述步骤(3)中，根据实际图像处理区域，对采集到的图片t0利用预先训练好的yolov5模型进行roi感兴趣区域提取，将提取后的图片保存为t1。
72.优选地，所述步骤(4)中，把提取到的彩色有色金属图像处理成为灰度图，通过中值滤波去除灰度图中的明显噪音点，保留并突出图像轮廓的细节；为避免正午时工厂内强光对有色金属图像对比度影响，通过灰度变换改善有色金属图像质量；通过自适应二值化处理突出有色金属与背景。
73.优选地，所述步骤(5)中，为了更高效的检测有色金属锭之间的水平缝隙线，对霍夫直线检测做了两点改进：首先加入竖直线抑制；其次设置a,b两框交替检测机制，弥补霍夫直线检测算法无法避免间断线干扰的缺陷。
74.优选地，所述步骤(7)中，机械臂带动激光位移传感器在d1周围移动n个位置，并记录下n个位置的三维坐标；平面方程的一般形式为：axn byn czn d＝0，将其转换为：axn byn c＝z，其中：采用最小二乘法对平面拟合，对应的最小二乘法矩阵为：ax＝b，其中：使用正规方程：x＝(a
t
a)-1at
b进行求解，解得a,b,c的值，求出平面m1方程。
75.优选地，所述步骤(8)中，根据平面m1一般方程axn byn czn d＝0可知m1法向量为(a,b,c)，求出法向量和水平面偏角δ。
76.优选地，所述步骤(9)中，读取当前机械臂末端吸盘位姿，记录下当前机械臂末端吸盘与平面的夹角δ0并与m1法向量和水平面偏角δ做比较，进而调整机械臂末端吸盘位姿，记录当前rpy坐标为rpy；打开两位五通电磁气动阀，气泵供气通过气动元件经由单向阀将
气体输送至真空吸盘中，机械臂带动吸盘吸取标签回到坐标为rpy的位置；直到贴标动作完成，关闭两位五通电磁气动阀。
77.还提供了基于图像处理的有色金属自动贴标装置，其包括：定位装置、卡具装置、执行装置、气动装置、打印装置；
78.定位装置检测贴标位置，定位装置主要包括摄像机、激光位移传感器和补光灯，通过激光位移传感器对有色金属堆垛位置进行预定位，然后使用摄像机对有色金属锭进行平面信息采集，将采集到的图像使用贴标定位算法处理，求取有色金属锭的贴标点坐标，定位装置通过卡具固连在执行装置上，检测完贴标位置后，气动装置通过执行装置吸取标签并运动到贴标位置进行贴标，气动装置主要包括气泵、电磁换向阀、气动接头、真空吸盘等，电磁换向阀通过连接管路与气泵和真空吸盘连接，可控制整体气路的通断，为整个贴标系统提供正负气压，完成吸取标签和粘贴标签的动作；卡具装置负责连接固定贴标设备，卡具整体为立方体壳体，卡具底部四周向内翻边；
79.在卡具体一侧面开4个孔用于连接激光位移传感器，4孔分布宽高一定的长方形角点上，4孔均攻螺纹；在卡具体另一侧面上下分别开4个孔，上下开孔位置分别沿两条直线分布，两条直线分别距离上下边沿一定距离，且上下两排第一孔均距离侧边沿一定距离，8孔均攻螺纹；在卡具体头部轮廓中心处开圆孔用于连接吸盘，该圆孔的同心圆上开4个通孔用于固定吸盘。打印装置包括工业打印机、供标机构、自动剥落机构，上位机给工业打印机发送打印信息和打印指令打印标签。标签纸安装在供标机构上，其中的锁紧装置将标签纸夹紧，电机通过同步带驱动牵引，带动标带做直线运动。标带经过剥离机构，标签纸克服与底纸之间的粘力，完成剥落。执行装置是系统的核心装置，执行装置包括机械臂、控制柜、示教器。上位机通过向控制柜发送指令，控制机械臂完成吸取标签，贴标点定位，粘贴标签等一系列操作，最终将标签粘贴到有色金属锭表面。
80.优选地，定位装置中，相机架和灯架平行布置在卡具同一侧，摄像机和补光灯分别固定于相机架和灯架上，摄像机和补光灯的轮廓中心在平行于卡具体侧边沿的直线上，激光位移传感器固定在另一侧距离卡具体边沿一定距离处；
81.气动装置末端吸盘表面30个吸气孔成阵列分布，内置真空转换装置，固定于卡具的头部。
82.以下更详细地说明本发明。本发明的基于图像处理的有色金属自动贴标方法包括以下步骤：
83.步骤1：机械臂带动激光位移传感器找有色金属第一层上边缘和左边缘位置，根据该位置，控制机械臂移动到有色金属堆垛左上角点，记录当前位置为p1。有色金属自动贴标机器人整体如图1所示，在末端执行装置中，包括两个部分，贴标位置识别部分与执行部分。贴标位置识别部分包括摄像机2，灯架3，圆顶灯源补光灯4，激光位移传感器7。执行部分包括吸盘5。贴标位置识别部分与执行部分都固定连接于卡具6上。标号1为摄像机卡具座。
84.步骤2：机械臂在位置p1的基础上向下移动m个有色金属锭厚度h的距离，来到第m层(该步骤只能确定大概位置，不能直接作为贴标点的确定依据，需要图像处理来精确定位)。然后机械臂向右侧移动3*h的距离，并用摄像机采集该层有色金属图片t0。其中摄相机通过螺钉紧固于相机架前面板上，相机架后面板开有通孔和滑槽，用以连接相机架和卡具，并方便调整相机架相对灯架的位置，便于找寻最佳补光效果。卡具同一侧，相机架前方，圆
顶灯源补光灯通过灯架连接在卡具上，为摄相机提供稳定光源，机械臂在指定位置通过ccd摄相机采集有色金属图片t0。
85.步骤3：根据预先训练好的yolov5模型对采集到的图片t0进行roi提取，将提取后的图片保存为t1(用于提取roi的yolov5模型训练前，需要针对不同有色金属堆垛感兴趣区域的特征部分，对一定数量现场环境拍摄的图片进行标注，并从中选择合适数量的图片作为验证数据集。在多次调整训练参数后获取最佳模型，过程易于实现，在此不做多余赘述)。
86.步骤4：对t1进行图像预处理得到图t2，处理流程为图像灰度化、图像中值滤波、灰度变换、图像二值化。把提取到的彩色有色金属图像处理成为灰度图，通过中值滤波去除灰度图中的明显噪音点，保留并突出图像轮廓的细节。为避免正午时工厂内强光对有色金属图像对比度影响，通过灰度变换改善有色金属图像质量。
87.步骤5：使用针对水平缝隙检测的改进霍夫直线检测算法对图t2检测贴标像素点，并将该像素点转换为机器人坐标系下的点d1。对t2进行形态学处理，抑制竖直方向直线，突出水平线特征(对贴标点检测基于有色金属锭之间水平缝隙)。如图3所示，在水平距离t2图像左边沿a/2距离内，判断是否有边缘点剩余，有剩余则随机提取一边缘点作为起始点，以该点为中心，a为长度，w为宽度，设置长方形框a。没有剩余则结束算法。对过a框内点的直线在(ρ，θ)参数空间内进行投票，一组ρ，θ数据对应一条直线。判断a框内是否有大于阈值thr1的直线，如果没有，则返回之前步骤，在水平距离t2图像左边沿a/2距离内判断点是否存在，并重新设置a框。如果有，记该直线为l(j)，并继续往下进行，同时清理a框内的所有点。将a框中心沿直线l(j)方向平移(a b)/2，得到长方形框b(i)，b为b(i)框长度，w为宽度(a》》b)，并设置累加器acc(j)用于记录直线间断次数(该累加器在各个b框中可以重复使用)。对b(i)框内l(j)直线对应的(ρ，θ)点进行投票，记录l(j)增加的投票数n(i)并判断n(i)是否小于阈值thr2，如果小于则说明该框内直线出现间断，acc(j)自加1，否则acc(j)值不变。清理b(i)框内的所有点。接着，判断acc(j)的值是否大于阈值thr3，如果大于则说明该直线间断过多，舍弃该直线的检测，则返回之前步骤，在水平距离t2图像左边沿a/2距离内判断点是否存在，并重新设置a框。如果不大于则继续往下进行。将b(i)框中心沿直线l(j)方向平移b，得到长方形框b(i 1)，判断当前b(i 1)框位置是否已走出图像水平方向范围，未走出，则回到对b(i)框内l(j)直线投票的步骤。如果已走出水平方向范围，则继续往下进行并清空累加器acc(j)，并保存直线l(j)于集合line中，重复该流程，直到在水平距离t2图像左边沿a/2距离内的边缘点耗尽为止。
88.步骤6：计算贴标像素点，并将该像素点转换为机器人坐标系下的点d1。以图t2左上角点为原点，向右为x轴正方向，向下为y轴正方向建立坐标系；计算集合line中所有线和y轴的交点，保存在集合p1中。取集合p1中最小值对应的直线ls，该直线即为这层有色金属锭和上一层有色金属锭之间的缝隙线。计算ls在y轴和x＝t2.width之间线段的中点d0。根据需要将d0沿y轴偏移一定距离d得到d1点，该点即为贴标像素点，通过手眼标定将该点转换为机器人坐标系下的点。
89.步骤7：在d1点周围取n》2个点，结合激光位移传感器返回的距离，分别得到n个不在同一条线上的三维坐标点，进行平面拟合，得到平面m1。d1点周围取n》2个点，结合激光位移传感器返回的距离，分别得到n个点的三维坐标，进行平面拟合，得到平面m1。具体为：机械臂带动激光位移传感器在d1周围移动n个位置，并记录下n个位置的三维坐标。平面方程
的一般形式为：axn byn czn d＝0。将其转换为：axn byn c＝z。其中：对于得到的n个点，使用最小二乘法使最小，即s分别对a,b,c求偏导得到公式后联立求解。本方法中使用正规方程求解，对应的最小二乘法矩阵形式为：ax＝b。其中：使用正规方程：x＝(a
t
a)-1at
b进行求解。解得a,b,c的值，求出平面m1方程。
90.步骤8：对平面m1求解法向量进而求解偏角δ。根据步骤5得到的m1一般方程axn byn czn d＝0可知m1法向量为(a,b,c)，如图4所示，得出法向量和水平面偏角δ。
91.步骤9：根据偏角δ调整机械臂末端吸盘位姿，完成贴标操作。读取当前机械臂末端吸盘位姿，记录下当前机械臂末端吸盘与平面的夹角δ0并与m1法向量和水平面偏角δ做比较，进而调整机械臂末端吸盘位姿，记录当前rpy坐标为rpy。开启两位五通电磁气动阀，气泵供气通过气动元件经由单向阀将气体输送至真空吸盘中，机械臂带动吸盘吸取标签回到坐标为rpy的位置进行贴标。直到贴标动作完成，关闭两位五通电磁气动阀。
92.以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。