一种基于彩色形变物料图像定位算法的定位方法及系统与流程

1.本技术涉及图像定位的领域，尤其是涉及一种基于彩色形变物料图像定位算法的定位方法及系统。


背景技术：

2.由于电子产品的自动组装对精度有较高的要求，目前仅使用简单的机械定位和机械组装很难满足生产要求，因此机器视觉的定位、纠偏技术越来越多地应用于高精度的电子元件组装工序。机器视觉是一种包含外观检测、视觉定位、尺寸测量和模式识别的应用于机器人的图像处理技术，它是实现机器人抓取、产品质量检测、分拣等任务的重要技术手段。机器视觉本质上是图像处理技术在工业自动化中的应用，通过使用光学元件、工业数字相机和图像处理工具，得到物体位置、尺寸、色彩、纹理和运动状态等特征信息，从而快速判断物体品质、类别或是进行物体的定位等。
3.在电子产品组装中的可形变物料由于易变形的特点，在抓取和下放的过程中物料的位置更容易出现偏移，导致组装时的精度太低组装失败。为此需要为可形变物料的组装工序提供一种图像定位技术，满足可形变物料自动组装的高精度要求。
4.针对上述中的相关技术，发明人认为现有的电子产品自动组装技术精度低的缺陷。


技术实现要素：

5.为了提高电子产品自动组装技术的精度，本技术提供一种基于彩色形变物料图像定位算法的定位方法及系统。
6.本技术提供的一种基于彩色形变物料图像定位算法的定位方法及系统采用如下的技术方案：第一方面，本技术提供一种基于彩色形变物料图像定位算法的定位方法，采用如下的技术方案：一种基于彩色形变物料图像定位算法的定位方法，包括获取彩色形变物料图像；获取彩色形变物料图像hsv模型；基于彩色形变物料图像hsv模型判断物料颜色；基于彩色形变物料图像hsv模型的灰度阈值判断物料区域；基于物料区域获取物料的中心点和倾斜角度。
7.通过采用上述技术方案，在电子产品自动组装的过程中，能够通过获取彩色形变物料图像，并将彩色形变物料图像转换为hsv模型，识别出被获取图像的物料的颜色、区域、中心点和倾斜角度，提高了电子产品自动组装技术的精度。
8.优选的，所述获取彩色形变物料图像hsv模型包括：将获取的彩色形变物料图像转化为三个rgb单通道图像；
将图像从rgb色彩空间转化到hsv色彩空间，公式如下：r`＝r/255g`＝g/255b`＝b/255c
max
＝max(r`,g`,b`)c
min
＝min(r`,g`,b`)δ＝c
max-c
minmin
v＝c
max
；其中，红色通道的灰度值r∈[0，255]，绿色通道的灰度值g∈[0，255]，蓝色通道的灰度值b∈[0，255]；色调h∈[0，2π]，饱和度s∈[0，1]，明度v∈[0，1]。
[0009]
通过采用上述技术方案，将rgb色彩空间转换成hsv色彩空间，基于hsv色彩空间中的参数，能够准确地获取彩色形变物料的颜色、区域、中心点和倾斜角度。
[0010]
优选的，所述基于彩色形变物料图像hsv模型判断物料颜色包括：获取h通道下物料图像灰度值范围在[h
min
，h
max
]内的直方图h；获取s通道下物料图像灰度值范围在[s
minp
，s
maxp
]内的直方图h
p
；获取s通道下物料图像灰度值范围在[s
minng
，s
maxng
]内的直方图h
ng
；基于h通道图像的灰度值直方图和s通道图像的灰度值直方图判断物料颜色；其中，[h
minb
，h
maxb
]为h通道下蓝色的灰度值区间，[s
minp
，s
maxp
]为s通道下粉色的灰度值区间，[s
minng
，s
maxng
]为s通道下白色的灰度值区间。
[0011]
通过采用上述技术方案，h通道下范围在蓝色图像灰度值[h
min
，h
max
]内的直方图h反映了图像在h通道下此区间上的像素个数，s通道下范围在粉色图像灰度值[s
minp
，s
maxp
]内的直方图h
p
反映了图像在s通道下此区间上的像素个数，s通道下范围在白色图像灰度值[s
minng
，s
maxng
]内的直方图h
ng
反映了图像在s通道下此区间上的像素个数；再基于像素个数判断物料颜色。
[0012]
优选的，所述基于h通道图像的灰度值直方图和s通道图像的灰度值直方图判断物料颜色包括：判断h大于蓝色物料阈值hb时，认为该物料为蓝色；当物料不为蓝色时，判断h
p
是否大于h
ng
，若是，则认为该物料为粉色；否则认为没有物料。
[0013]
通过采用上述技术方案，能够简单准确地判断有无物料；若有，还能判断出物料是粉丝还是蓝色。
[0014]
优选的，所述基于彩色形变物料图像hsv模型的灰度阈值判断物料区域包括：对图像进行均值滤波的预处理，减少背景细节的噪声干扰；用s通道下的灰度阈值、对图像区域r进行阈值分割，得到包含物料的区域，过滤掉背景区域，公式如下：s
min
《rs《s
max
；用h通道下的灰度阈值h
min
、h
max
过滤掉料槽的噪音影响，得到s通道和h通道滤波后的区域r
sh
，公式如下：h
min
《r
sh
《h
max
；用v通道下的灰度阈值v
min
、v
max
过滤掉物料黑边部分的噪音影响，得到物料区域r
shv
，公式如下：v
min
《r
shv
《v
max
；其中，物料为蓝色时，调用蓝色物料的阈值，s
min
、s
max
为蓝色物料在s通道下的灰度值范围，h
min
、h
max
为蓝色物料在h通道下的灰度值范围，v
min
、v
max
为蓝色物料在v通道下的灰度值范围。物料为粉色时，调用粉色物料的阈值，s
min
、s
max
为粉色物料在s通道下的灰度值范围，h
min
、h
max
为粉色物料在h通道下的灰度值范围，v
min
、v
max
为粉色物料在v通道下的灰度值范围。
[0015]
过滤物料区域后选择面积最大的区域，过滤掉周边物料的噪音影响，可以得到目标物料准确的物料区域。
[0016]
通过采用上述技术方案，能够根据预先设置的蓝色和粉色物料的hsv通道下灰度范围，筛选出物料的准确区域，减少料槽轮廓等噪音干扰。
[0017]
优选的，所述基于物料区域获取物料的中心点和倾斜角度包括：基于物料区域得到区域的最小外接矩形，获取最小外接矩形的中心点的行列值[v
r_sr
,v
c_sr
]和倾斜角度θ；基于最小外接矩形的中心点行列值[v
r_sr
,v
c_sr
]和倾斜角度θ，构建水平方向和竖直方向的直线；水平方向的直线公式如下：y＝kh*x bh其中，水平方向直线的斜率kh＝tanθ，直线在y轴上的截距bh＝(h-v
r_sr
)-kh*v
c_sr
，h为图像的像素宽度。
[0018]
竖直方向的直线公式如下：y＝kv*x bv,abs(θ)》0.01
°
x＝v
c_sr
,abs(θ)≤0.01
°
其中，竖直方向直线的斜率直线在y轴上的截距bv＝(h-v
r_sr
)-kv*v
c_sr
，h为图像的像素宽度。
[0019]
通过灰度值遍历，从最小外接矩形中心点沿水平和垂直方向的直线向外遍历时，基于灰度值突变的位置以获取水平方向和竖直方向的直线与物料边缘的四个交点的行列值：上方点[v
r_t
,v
c_t
]、下方点[v
r_b
,v
c_b
]、左侧点[v
r_l
,v
c_l
]、右侧点[v
r_r
,v
c_r
]，再得到准确的物料中心点的行列值[rm,cm]，公式如下：rm＝(v
r_t
v
r_b
)/2cm＝(v
c_l
v
c_r
)/2
通过采用上述技术方案，在获取物料的目标区域后，能够找出精确的区域中心点和区域的倾斜角度。
[0020]
第二方面，本技术提供一种基于彩色形变物料图像定位算法的系统，采用如下的技术方案：一种基于彩色形变物料图像定位算法的系统，包括：计算机、工业机器人、相机、抓取装置、透明料盘和面光光源；所述面光光源安装于操作台的面板上，所述透明料盘安装于所述面光光源的上方，用于给彩色形变物料提供透明背景；所述工业机器人包括机体和机械臂，所述机体的底部固定连接在操作台上，所述机械臂垂直于操作台固定连接在所述机体上；所述相机安装在所述机械臂上，并使相机的镜头水平对准所述操作台；所述抓取装置安装在所述机械臂靠近操作台一侧的末端上；所述计算机分别与工业机器人、相机和抓取装置电连接，所述相机用于获取彩色形变物料图像，并将图像发送至所述计算机；所述计算机依次获取彩色形变物料图像hsv模型、基于彩色形变物料图像hsv模型判断物料颜色、基于彩色形变物料图像hsv模型的灰度阈值判断物料区域和基于物料区域获取物料的中心点和倾斜角度，得到定位信息，并将所述定位信息发送至所述工业机器人和所述抓取装置。
[0021]
通过采用上述技术方案，透明料盘安装于所述面光光源的上方，用于给彩色形变物料提供透明背景；计算机、工业机器人、相机和抓取装置可以通过第一方面所述的一种基于彩色形变物料图像定位算法的定位方法，配合完成电子产品的自动组装，提高了电子产品自动组装技术的精度。
[0022]
优选的，所述工业机器人采用六轴工业机器人。
[0023]
通过采用上述技术方案，六轴工业机器人有很高的自由度，适合很多轨迹和角度的工作。
[0024]
优选的，所述相机采用usb工业相机。
[0025]
通过采用上述技术方案，usb接口是全世界应用最普遍的接口，usb工业相机可以立即接入到usb接口上稳定工作，提高了易用性。
[0026]
优选的，所述抓取装置采用吸盘。
[0027]
通过采用上述技术方案，避免了在抓取过程当中使物料形变。
[0028]
综上所述，本技术包括以下至少一种有益技术效果：1.在电子产品自动组装的过程中，能够通过获取彩色形变物料图像，并将彩色形变物料图像转换为hsv模型，识别出被获取图像的物料的颜色、区域、中心点和倾斜角度，提高了电子产品自动组装技术的精度；2.将rgb色彩空间转换成hsv色彩空间，基于hsv色彩空间中的参数，能够准确地获取彩色形变物料的颜色、区域、中心点和倾斜角度；3.透明料盘安装于所述面光光源的上方，用于给彩色形变物料提供透明背景；计算机、工业机器人、相机和抓取装置可以通过第一方面所述的一种基于彩色形变物料图像定位算法的定位方法，配合完成电子产品的自动组装，提高了电子产品自动组装技术的精度。
附图说明
[0029]
图1是一种基于彩色形变物料图像定位算法的定位方法工作流程图。
[0030]
图2是一种基于彩色形变物料图像定位算法的定位方法逻辑流程图。
[0031]
图3是一种基于彩色形变物料图像定位算法的系统工作流程图。
具体实施方式
[0032]
以下结合附图1-3对本技术作进一步详细说明。
[0033]
本技术实施例公开一种基于彩色形变物料图像定位算法的定位方法。参照图1和图2，基于彩色形变物料图像定位算法的方法包括：s1：获取彩色形变物料图像；s2：获取彩色形变物料图像hsv模型；s3：基于彩色形变物料图像hsv模型判断物料颜色；s4：基于彩色形变物料图像hsv模型的灰度阈值判断物料区域；s5：基于物料区域获取物料的中心点和倾斜角度。
[0034]
在电子产品自动组装的过程中，能够通过获取彩色形变物料图像，并将彩色形变物料图像转换为hsv模型，识别出被获取图像的物料的颜色、区域、中心点和倾斜角度，提高了电子产品自动组装技术的精度。
[0035]
获取彩色形变物料图像hsv模型包括：将获取的彩色形变物料图像采用指针偏移的方法转化为三个rgb单通道图像；将图像从rgb色彩空间转化到hsv色彩空间，公式如下：r`＝r/255g`＝g/255b`＝b/255c
max
＝max(r`,g`,b`)c
min
＝min(r`,g`,b`)δ＝c
max-c
minmin
v＝c
max
其中，红色通道的灰度值r∈[0，255]，绿色通道的灰度值g∈[0，255]，蓝色通道的灰度值b∈[0，255]；色调h∈[0，2π]，饱和度s∈[0，1]，明度v∈[0，1]。
[0036]
基于彩色形变物料图像hsv模型判断物料颜色包括：获取h通道下物料图像灰度值范围在[h
min
，h
max
]内的直方图h；获取s通道下物料图像灰度值范围在[s
minp
，s
maxp
]内的直方图h
p
；获取s通道下物料图像灰度值范围在[s
minng
，s
maxng
]内的直方图h
ng
；基于h通道图像的灰度值直方图和s通道图像的灰度值直方图判断物料颜色。
[0037]
其中，[h
minb
，h
maxb
]为h通道下蓝色的灰度值区间，[s
minp
，s
maxp
]为s通道下粉色的灰度值区间，[s
minng
，s
maxng
]为s通道下白色的灰度值区间。
[0038]
具体的，[h
min
，h
max
]为[125，160]，[s
minp
，s
maxp
]为[80，100]，[s
minng
，s
maxng
]为[0，20]。
[0039]
基于h通道图像的灰度值直方图和s通道图像的灰度值直方图判断物料颜色包括：判断h大于蓝色物料阈值hb时，认为该物料为蓝色；当物料不为蓝色时，判断h
p
是否大于h
ng
，若是，则认为该物料为粉色；否则认为没有物料。
[0040]
具体的，蓝色物料阈值hb设为500000，粉色和白色在[125，160]区间的像素个数为20000，故当物料为蓝色时，则在h通道下灰度值在[125，160]的直方图所反映的像素个数h是600000，该值大于蓝色物料阈值500000，即可判断物料为蓝色；当物料不为蓝色时，通过判断h
p
是否大于h
ng
来确定没有物料或为粉色物料；若为粉色物料，则在s通道下灰度值在[80，100]的直方图所反映的像素个数hp是500000，灰度值在0-20的直方图所反映的像素个数hng是100000；若没有物料，则在s通道下灰度值在80-100的直方图所反映的像素个数hp是1000，灰度值在0-20的直方图所反映的像素个数hng是600000；故当h
p
大于h
ng
时，则认为该物料为粉色；否则认为没有物料。
[0041]
基于彩色形变物料图像hsv模型的灰度阈值判断物料区域包括：对图像进行均值滤波的预处理，减少背景细节的噪声干扰；用s通道下的灰度阈值、对图像区域r进行阈值分割，得到包含物料的区域，过滤掉背景区域，公式如下：s
min
《rs《s
max
；用h通道下的灰度阈值h
min
、h
max
过滤掉料槽的噪音影响，得到s通道和h通道滤波后的区域r
sh
，公式如下：h
min
《r
sh
《h
max
；用v通道下的灰度阈值v
min
、v
max
过滤掉物料黑边部分的噪音影响，得到物料区域r
shv
，公式如下：v
min
《r
shv
《v
max
；其中，物料为蓝色时，调用蓝色物料的阈值，s
min
、s
max
为蓝色物料在s通道下的灰度值范围，h
min
、h
max
为蓝色物料在h通道下的灰度值范围，v
min
、v
max
为蓝色物料在v通道下的灰度值范围。物料为粉色时，调用粉色物料的阈值，s
min
、s
max
为粉色物料在s通道下的灰度值范围，h
min
、h
max
为粉色物料在h通道下的灰度值范围，v
min
、v
max
为粉色物料在v通道下的灰度值范围。
[0042]
过滤物料区域后选择面积最大的区域，过滤掉周边物料的噪音影响，可以得到目标物料准确的物料区域。
[0043]
基于物料区域获取物料的中心点和倾斜角度包括：基于物料区域得到区域的最小外接矩形，获取最小外接矩形的中心点的行列值[v
r_sr
,v
c_sr
]和倾斜角度θ；
基于最小外接矩形的中心点行列值[v
r_sr
,v
c_sr
]和倾斜角度θ，构建水平方向和竖直方向的直线；水平方向的直线公式如下：y＝kh*x bh；其中，水平方向直线的斜率kh＝tanθ，直线在y轴上的截距bh＝(h-v
r_sr
)-kh*v
c_sr
，h为图像的像素宽度；竖直方向的直线公式如下：y＝kv*x bv,abs(θ)》0.01
°
，x＝v
c_sr
,abs(θ)≤0.01
°
；其中，竖直方向直线的斜率直线在y轴上的截距bv＝(h-v
r_sr
)-kv*v
c_sr
，h为图像的像素宽度。
[0044]
通过灰度值遍历，从最小外接矩形中心点沿水平和垂直方向的直线向外遍历时，基于灰度值突变的位置以获取水平方向和竖直方向的直线与物料边缘的四个交点的行列值：上方点[v
r_t
,v
c_t
]、下方点[v
r_b
,v
c_b
]、左侧点[v
r_l
,v
c_l
]、右侧点[v
r_r
,v
c_r
]，再得到准确的物料中心点的行列值[rm,cm]，公式如下：rm＝(v
r_t
v
r_b
)/2cm＝(v
c_l
v
c_r
)/2。本技术实施例一种基于彩色形变物料图像定位算法的定位方法的实施原理为：在透明背景下针对不同颜色可形变的物料在hsv空间中的h、s和v通道的灰度值不同，能够判断出物料的颜色。且通过物料区域来确定物料中心点和倾斜角度，从而达到了对不同颜色的物料进行快速的图像定位。
[0045]
本技术实施例还公开一种基于彩色形变物料图像定位算法的系统。参照图2，基于彩色形变物料图像定位算法的系统包括计算机、工业机器人、相机、抓取装置、透明料盘和面光光源。
[0046]
面光光源安装于操作台的面板上，透明料盘安装于面光光源的上方，用于给彩色形变物料提供透明背景；工业机器人包括机体和机械臂，机体的底部固定连接在操作台上，机械臂垂直于操作台固定连接在机体上；相机安装在机械臂上，并使相机的镜头水平对准操作台；抓取装置安装在机械臂靠近操作台一侧的末端上；计算机分别与工业机器人、相机和抓取装置电连接，相机用于获取彩色形变物料图像，并将图像发送至计算机；计算机依次获取彩色形变物料图像hsv模型、基于彩色形变物料图像hsv模型判断物料颜色、基于彩色形变物料图像hsv模型的灰度阈值判断物料区域和基于物料区域获取物料的中心点和倾斜角度，得到定位信息，并将定位信息发送至工业机器人和抓取装置。
[0047]
透明料盘安装于所述面光光源的上方，用于给彩色形变物料提供透明背景；计算机、工业机器人、相机和抓取装置可以通过第一方面所述的一种基于彩色形变物料图像定位算法的定位方法，配合完成电子产品的自动组装，提高了电子产品自动组装技术的精度。
[0048]
工业机器人采用六轴工业机器人。
[0049]
相机采用usb工业相机。
[0050]
抓取装置采用吸盘。
[0051]
本技术实施例一种基于彩色形变物料图像定位算法的系统的实施原理为：先将六
轴工业机器人的机械臂移动至标定点位(将usb工业相机对准物料)，usb工业相机采集图像并传至计算机，计算机通过调用基于彩色形变物料图像定位算法的定位方法得到物料的中心点和倾斜角度数据，并将物料的中心点和倾斜角度数据发送至六轴工业机器人，六轴工业机器人根据物料的中心点和倾斜角度数据移动机械臂，使安装在机械臂上的吸盘吸取物料进行物料组装，提高了电子产品自动组装技术的精度。
[0052]
以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。