一种基于视觉的焊接电流及电压大小识别方法与流程

1.本发明涉及机器人技术领域，具体涉及一种基于视觉的焊接电流及电压大小识别方法。


背景技术：

2.焊接在工业生产中的意义重大。在焊接过程中，焊接电源的电流与电压的大小对焊接质量有着重要的影响，操作人员需要反复的通过送丝装置手动调节焊接电压及电流的大小，使焊接质量得到保障。然而，焊接电源与操作人员的位置存在着一定距离，在焊接前焊接电流与电压的大小需要多次调整，并且在焊接过程中，为了适应变化的工况，需要进行焊接电流与电压的调整，这需要操作人员拿着焊枪来回走动调节，因此，十分不便也不安全。此外，焊接过程中没有及时的调节电流与电压的大小也会影响焊接的质量。为了实现焊接电流及电压大小的自动调节，首先需要解决当前焊接电流及电压大小的识别问题，因此，需要发明出一种有效的方法来实现焊接电流与电压大小的自动准确识别。


技术实现要素：

3.本发明的目的是针对上述问题，提供一种基于视觉的焊接电流及电压大小识别方法，可实现自动地识别出焊接电流与电压大小，该发明方法可以保证焊接电流及电压大小识别的快速性、准确度及自适应能力，可降低工人的劳动强度，降低安全事故的发生，提高焊接的自动化程度，提高焊接质量与效率。
4.为实现上述目的，本发明所采取的技术方案如下：
5.一种基于视觉的焊接电流及电压大小识别方法，所述方法包括：基于叉字法识别数码管显示数字的原理，自适应快速识别数码管显示数字的方法，基于叉字法识别数码管显示数字的方法。
6.所述基于叉字法识别数码管显示数字的原理，以图像中心点为中心，分别向左上方向、右下方向、左下方向、右上方向做出四条线段，沿着四条线段方程在图像上进行扫描及判断，可以识别这四条线段与显示数字的交点个数及位置，再根据四条线段与显示数字的交点个数及位置，结合数码管中间水平条纹的亮暗情况，可识别出图片中数码管显示数字的大小。
7.所述自适应快速识别数码管显示数字的方法，避免多次沿着四条线段方向寻找交点，可以提高识别数码管条纹亮暗的速度。
8.所述基于叉字法识别数码管显示数字的方法，包括七个步骤，可实现基于叉字法识别数码管显示的数字大小。
9.进一步地，基于叉字法识别数码管显示数字的原理，具体如下，读取保存的剪裁出的单个数字图片，选取图像长宽的一半位置处作为中心点q1，以中心点q1先竖直向下扫描，再竖直向上扫描，找寻过中心点q1的竖直线与数码管中间的水平亮条纹ur的交点。若数码管中间的水平条纹ur为亮，则有交点q，使标志label的值为1；若数码管中间的水平条纹ur
为暗，则没有交点，使标志label的值为0。
10.若数码管中间的水平条纹ur为亮,以交点q为中心，分别向左上方向、右下方向、左下方向、右上方向做出4条线段qk、qd、qi、qb，4条线段的方程满足下式，
[0011][0012]
式中，y1、y2、y3及y4的大小分别为4条线段qk、qd、qi、qb上的点对应图像矩阵中的行号，x1、x2、x3及x4的大小分别为4条线段qk、qd、qi、qb上的点对应图像矩阵中的列号，b1 δ为线段qk及线段qd直线方程的截距，b2 δ为线段qi及线段qb直线方程的截距。δ为数码管中间水平条纹相对于图像中心点q1在竖直方向的偏移量，若数码管中间水平条纹相对于图像中心点向上偏移时，δ为正数，若数码管中间水平条纹相对于图像中心点向下偏移时，δ为负数，其绝对值大小为线段q1q的长度。n为图像的宽度。
[0013]
沿着这四条线段方程在图像上进行扫描及判断，可以识别这四条线段与显示数字的交点个数及位置。
[0014]
若数码管中间的水平条纹ur为暗,以图像的中心点q1为中心，分别向左上方向、右下方向、左下方向、右上方向做出4条线段q1j、q1e、q1h、q1c，4条线段的方程满足下式，
[0015][0016]
式中，y5、y6、y7及y8的大小分别为4条线段q1j、q1e、q1h、q1c上的点对应图像矩阵中的行号，x5、x6、x7及x8的大小分别为4条线段q1j、q1e、q1h、q1c上的点对应图像矩阵中的列号，b1为线段q1j及线段q1e直线方程的截距，b2为线段q1h及线段q1c直线方程的截距，n为图像的宽度。
[0017]
沿着四条线段方程在图像上进行扫描及判断，可以识别这四条线段与显示数字的交点个数及位置。
[0018]
再根据四条线段与显示数字的交点个数及位置，结合label的值(数码管中间水平条纹ur的亮暗情况)，可识别出图片中数码管显示数字的大小。
[0019]
进一步地，所述的自适应快速识别数码管显示数字的方法，具体如下，利用本发明的叉字法识别数字8时，可得到数码管亮条纹左上、右下、左下、右上四个交点k1、d1、i1及b1的坐标，也可以通过识别其他数字的交点位置，保存数码管亮条纹左上、右下、左下、右上四个交点k1、d1、i1及b1的坐标。得到四个交点k1、d1、i1及b1的坐标后，即可分别以该交点为中心拓宽成m
×
n大小的矩阵aa(矩阵的一个元素即为一个像素点)，通过与矩阵bb(矩阵aa与矩
阵bb维数相同，但矩阵bb的元素全为1)点乘得到新的矩阵cc，将新矩阵cc内的元素全部相加，当和值sum不为0即说明该矩阵范围内存在交点，也即该矩阵对应的交点的值为1，即该矩阵aa对应交点位置处的数码管条纹为亮。每张图片可以只识别以这四个交点为中心做出的矩阵aa内是否有交点，以及label的值来识别图片中数码管显示数字的大小，避免多次沿着四条直线方向寻找交点，可以提高识别数码管条纹亮暗的速度，所述自适应快速识别数码管显示数字的方法满足下式，
[0020]
cc＝aa.*bb
[0021][0022][0023]
式中，aa为以四个交点k1、d1、i1及b1中任意一交点的位置为中心拓宽成m
×
n大小的矩阵，bb为与矩阵aa维数相同且元素全为1的矩阵，cc为矩阵aa与矩阵bb点乘后得到的矩阵，m及n分别为矩阵aa的行数及列数的大小，cc(i,j)为矩阵cc第i行第j列的元素值，sum为将矩阵cc中每一元素相加后的和值。point为aa矩阵这一范围内是否有交点，当sum不等于0时有交点，表明与矩阵aa对应的交点处的数码管条纹为亮的；当sum等于0时，说明没有交点，表明与矩阵aa对应的交点处的数码管条纹为暗的。
[0024]
所述的自适应快速识别数码管显示数字的方法，对于不同显示器的7段数码管，数字的粗细、位置不同，所对应的四个交点的位置也不同，但经过叉字法第一次定位后，即可确定交点的大致位置，同时增大检测是否含有交点的范围，提高数字识别方法的自适应能力及准确率，也可省去画叉扫描交点位置的步骤，使得识别速度提高，从而可实现数码管数字自适应及快速识别。
[0025]
进一步地，所述的基于叉字法识别数码管显示数字的方法，具体如下：读取要识别的分割出来的单个数字图片后，依次按以下步骤实现数码管显示数字大小的识别。
[0026]
步骤一：识别出数字1。根据单个数字图像中亮区域的最大水平宽度进行分类，也即是根据数字图像中亮区域在竖直方向投影后对应的像素点长度进行分类，若亮区域在竖直方向投影后对应的像素点长度小于设定的阈值时，则图像中数码管显示的数字为1，否则，数码管显示的数字为0、2、3、4、5、6、7、8及9中的某一个。
[0027]
步骤二：区分开数字0、7与数字2、3、4、5、6、8及9。根据数码管显示数字的中间水平条纹是否亮进行分类，如果数字的中间水平条纹为暗，则为数字0或数字7，并使标志label＝0；如果数字的中间水平条纹为亮，则为数字2、3、4、5、6、8及9中的某一个，并使标志label＝1。
[0028]
步骤三：识别出数字0或7。若基于步骤二识别出数码管显示的数字为0或7中的一个，再进一步基于本发明的叉字法，根据交点个数进行分类，如果有四个交点，则当前数码管显示的数字为0；如果有二个交点，则当前数码管显示的数字为7。
[0029]
步骤四：识别出数字8，并区别开数字2、3、5与数字4、6、9。若基于步骤二识别出数码管显示的数字为2、3、4、5、6、8及9中的一个，再进一步基于本发明的叉字法，根据交点个数进行分类，如果有四个交点，则当前数码管显示的数字为8；如果有二个交点，则当前数码管显示的数字为2、3、5中的一个；如果有三个交点，则当前数码管显示的数字为4、6、9中的
一个。
[0030]
步骤五：识别出数字2或3或5。若基于步骤四识别出数码管显示的数字为2、3、5中的一个，再进一步基于本发明的叉字法，根据交点的位置差别进行分类，若两个交点分别位于数字的右上方及左下方时，则当前数码管显示的数字为2；若两个交点分别位于数字的右上方及右下方时，则当前数码管显示的数字为3；若两个交点分别位于数字的左上方及右下方时，则当前数码管显示的数字为5。
[0031]
步骤六：识别出数字6。若基于步骤四识别出数码管显示的数字为4、6、9中的一个，再进一步基于本发明的叉字法，根据交点的位置差别进行分类，若三个交点分别位于数字的左上方、右下方及左下方时，则当前数码管显示的数字为6；否则，数码管显示的数字为4或9。
[0032]
步骤七：识别出数字4或数字9。若基于步骤六识别出数码管显示的数字为4、9中的一个，再进一步由图像的中心点做竖线，判断该竖线与数字的交点个数及位置。如果数字与过图像中心的竖线仅相交于一点，则为数字4；如果数字与过图像中心的竖线相交于三点，则为数字9。
[0033]
按照这七个步骤编写程序，可实现本发明的基于叉字法识别数码管显示的数字大小，再将识别出的单个数字按照裁剪出的数字图片的顺序排列组合，可以实现本发明基于视觉的焊接电流及电压大小识别。
[0034]
本发明的有益效果是：
[0035]
通过本发明所述一种基于视觉的焊接电流及电压大小识别方法，有助于焊接自动化的实现，降低焊接时安全事故的发生，可提高各种焊接场合下焊接的质量与效率，提高机器焊接的可靠性，产生重大的经济效益和社会效益。
附图说明
[0036]
图1为本发明的基于叉字法识别数码管显示数字的原理；
[0037]
图2为本发明的自适应快速识别数码管显示数字的方法；
[0038]
图3为本发明的基于叉字法识别数码管显示数字的流程图；
[0039]
图4为本发明的焊接电流为96a且焊接电压为19.0v时自动识别实验；(a)为原始图片；(b)为利用本发明方法的识别结果；
[0040]
图5为本发明的焊接电流为68a且焊接电压为27.4v时自动识别实验；(a)为原始图片；(b)为利用本发明方法的识别结果；
[0041]
图6为本发明的焊接电流为350a且焊接电压为34.6v时自动识别实验；(a)为原始图片；(b)为利用本发明方法的识别结果。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
焊接过程中，焊接电源上的数码管会显示焊接电流及焊接电压的大小，如图1所
示，7段数码管包括7段条纹，上面的水平条纹vp、中间的水平条纹ur、下面的水平条纹ts，以及两边的四段斜条纹vu、ut、pr、rs，通过控制数码管的不同段条纹亮或者暗，可以实现数字0-9的显示。为了实现数字识别，读取保存的剪裁出的单个数字图片，选取图像长宽的一半位置处作为中心点q1，以中心点q1先竖直向下扫描，再竖直向上扫描，找寻过中心点q1的竖直线与水平亮条纹ur的交点。若数码管中间的水平条纹ur为亮，则有交点q，使标志label的值为1；若数码管中间的水平条纹ur为暗，则没有交点，使标志label的值为0。
[0044]
若数码管中间的水平条纹ur为亮,以交点q为中心，分别向左上方向、右下方向、左下方向、右上方向做出4条线段qk、qd、qi、qb，4条线段的方程满足下式，
[0045][0046]
式中，y1、y2、y3及y4的大小分别为4条线段qk、qd、qi、qb上的点对应图像矩阵中的行号，x1、x2、x3及x4的大小分别为4条线段qk、qd、qi、qb上的点对应图像矩阵中的列号，b1 δ为线段qk及线段qd直线方程的截距，b2 δ为线段qi及线段qb直线方程的截距。δ为数码管中间水平条纹相对于图像中心点q1在竖直方向的偏移量，若数码管中间水平条纹相对于图像中心点向上偏移时，δ为正数，若数码管中间水平条纹相对于图像中心点向下偏移时，δ为负数，其绝对值大小为图1中线段q1q的长度。n为图像的宽度。
[0047]
沿着这四条线段方程在图像上进行扫描及判断，可以识别这四条线段与显示数字的交点个数及位置。
[0048]
若数码管中间的水平条纹ur为暗,以图像的中心点q1为中心，分别向左上方向、右下方向、左下方向、右上方向做出4条线段q1j、q1e、q1h、q1c，4条线段的方程满足下式，
[0049][0050]
式中，y5、y6、y7及y8的大小分别为4条线段q1j、q1e、q1h、q1c上的点对应图像矩阵中的行号，x5、x6、x7及x8的大小分别为4条线段q1j、q1e、q1h、q1c上的点对应图像矩阵中的列号，b1为线段q1j及线段q1e直线方程的截距，b2为线段q1h及线段q1c直线方程的截距，n为图像的宽度。
[0051]
沿着四条线段方程在图像上进行扫描及判断，可以识别这四条线段与显示数字的交点个数及位置。
[0052]
再根据四条线段与显示数字的交点个数及位置，结合label的值(数码管中间水平条纹ur的亮暗情况)，可识别出图片中数码管显示数字的大小。
[0053]
图2为本发明的自适应快速识别数码管显示数字的方法，当利用本发明的叉字法识别数字8时，可得到数码管亮条纹左上、右下、左下、右上四个交点k1、d1、i1及b1的坐标，也可以通过识别其他数字的交点位置，保存数码管亮条纹左上、右下、左下、右上四个交点k1、d1、i1及b1的坐标。得到四个交点k1、d1、i1及b1的坐标后，即可分别以该交点为中心拓宽成m
×
n大小的矩阵aa(矩阵的一个元素即为一个像素点)，通过与矩阵bb(矩阵aa与矩阵bb维数相同，但矩阵bb的元素全为1)点乘得到新的矩阵cc，将新矩阵cc内的元素全部相加，当和值sum不为0即说明该矩阵范围内存在交点，也即该矩阵对应的交点的值为1，即该矩阵aa对应交点位置处的数码管条纹为亮。每张图片可以只识别以这四个交点为中心做出的矩阵aa内是否有交点，以及label的值来识别图片中数码管显示数字的大小，避免多次沿着四条直线方向寻找交点，可以提高识别数码管条纹亮暗的速度，所述自适应快速识别数码管显示数字的方法满足下式，
[0054]
cc＝aa.*bb
ꢀꢀ
(3)
[0055][0056][0057]
式中，aa为以四个交点k1、d1、i1及b1中任意一交点的位置为中心拓宽成m
×
n大小的矩阵，bb为与矩阵aa维数相同且元素全为1的矩阵，cc为矩阵aa与矩阵bb点乘后得到的矩阵，m及n分别为矩阵aa的行数及列数的大小，cc(i,j)为矩阵cc第i行第j列的元素值，sum为将矩阵cc中每一元素相加后的和值。point为aa矩阵这一范围内是否有交点，当sum不等于0时有交点，表明与矩阵aa对应的交点处的数码管条纹为亮的；当sum等于0时，说明没有交点，表明与矩阵aa对应的交点处的数码管条纹为暗的。
[0058]
对于不同显示器的7段数码管，数字的粗细、位置不同，所对应的四个交点的位置也不同，但经过叉字法第一次定位后，即可确定交点的大致位置，同时增大检测是否含有交点的范围，提高数字识别方法的自适应能力及准确率，也可省去画叉扫描交点位置的步骤，使得识别速度提高，从而可实现数码管数字自适应及快速识别。
[0059]
图3为本发明的基于叉字法识别数码管显示数字的流程图，按顺序读取保存的数字图片，逐一进行识别。读取要识别的分割出来的单个数字图片后，依次按以下步骤实现数码管显示数字大小的识别。
[0060]
步骤一：识别出数字1。根据单个数字图像中亮区域的最大水平宽度进行分类，也即是根据数字图像中亮区域在竖直方向投影后对应的像素点长度进行分类，若亮区域在竖直方向投影后对应的像素点长度小于设定的阈值时，则图像中数码管显示的数字为1，否则，数码管显示的数字为0、2、3、4、5、6、7、8及9中的某一个。
[0061]
步骤二：区分开数字0、7与数字2、3、4、5、6、8及9。根据数码管显示数字的中间水平条纹是否亮进行分类，如果数字的中间水平条纹为暗，则为数字0或数字7，并使标志label＝0；如果数字的中间水平条纹为亮，则为数字2、3、4、5、6、8及9中的某一个，并使标志label＝1。
[0062]
步骤三：识别出数字0或7。若基于步骤二识别出数码管显示的数字为0或7中的一个，再进一步基于本发明的叉字法，根据交点个数进行分类，如果有四个交点，则当前数码
管显示的数字为0；如果有二个交点，则当前数码管显示的数字为7。
[0063]
步骤四：识别出数字8，并区别开数字2、3、5与数字4、6、9。若基于步骤二识别出数码管显示的数字为2、3、4、5、6、8及9中的一个，再进一步基于本发明的叉字法，根据交点个数进行分类，如果有四个交点，则当前数码管显示的数字为8；如果有二个交点，则当前数码管显示的数字为2、3、5中的一个；如果有三个交点，则当前数码管显示的数字为4、6、9中的一个。
[0064]
步骤五：识别出数字2或3或5。若基于步骤四识别出数码管显示的数字为2、3、5中的一个，再进一步基于本发明的叉字法，根据交点的位置差别进行分类，若两个交点分别位于数字的右上方及左下方时，则当前数码管显示的数字为2；若两个交点分别位于数字的右上方及右下方时，则当前数码管显示的数字为3；若两个交点分别位于数字的左上方及右下方时，则当前数码管显示的数字为5。
[0065]
步骤六：识别出数字6。若基于步骤四识别出数码管显示的数字为4、6、9中的一个，再进一步基于本发明的叉字法，根据交点的位置差别进行分类，若三个交点分别位于数字的左上方、右下方及左下方时，则当前数码管显示的数字为6；否则，数码管显示的数字为4或9。
[0066]
步骤七：识别出数字4或数字9。若基于步骤六识别出数码管显示的数字为4、9中的一个，再进一步由图像的中心点做竖线，判断该竖线与数字的交点个数及位置。如果数字与过图像中心的竖线仅相交于一点，则为数字4；如果数字与过图像中心的竖线相交于三点，则为数字9。
[0067]
按照这七个步骤编写程序，可实现本发明的基于叉字法识别数码管显示的数字大小，再将识别出的单个数字按照裁剪出的数字图片的顺序排列组合，可以实现本发明基于视觉的焊接电流及电压大小识别。
[0068]
图4、图5及图6为利用本发明的方法，对视觉传感器采集到的焊接电流及焊接电压大小进行自动识别的实验。使用视觉传感器连续采集数码管显示的焊接电流及电压大小的图片，对图片进行预处理，预处理后提取图片中数码管显示区域，再次进行预处理以消除噪声、小数点，并转化为二值图像，然后进行竖向剪裁，将数字都分割开来，将分割开来的数字图片依次按顺序保存，按顺序读取保存的数字图片，利用本发明的方法对剪裁出的数字逐一进行识别。在这三组实验中，识别出的数字包括0至9的十个数字，并且，本发明方法不受识别焊接电流及焊接电压大小变化的影响，既可以识别出五位数，也可以识别出六位数。此外，利用本发明的方法，从图4、图5及图6中数字识别结果可以发现，识别的准确度为100％。
[0069]
综上所述，在焊接过程中，利用本发明的方法，焊接人员或机器人可以稳定、快速、准确地接收到焊接电源的电流与电压大小，有助于根据焊接电压及电流的变化及时调整焊接机器人的工作参数，提高机器人的焊接质量及效率，并可提高机器焊接的自动化程度，降低焊工的劳动强度。
[0070]
以上列举的仅是本发明的具体实施例之一。显然，本发明不限于以上实施例，还可以有许多类似的变形。本领域的普通技术人员从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明所要保护的范围。