一种合成焊缝噪声图像的方法

1.本发明涉及焊接轨迹自动跟踪领域，具体涉及一种合成焊缝噪声图像的方法。


背景技术：

2.焊接在人们的生产活动中占据着很大的一部分，各种各样的装备制造生产离不开焊接。在科学技术的不断发展中，焊接机器人随之诞生，它能够代替人工去从事恶劣环境中的焊接工作。相比于人工焊接，焊接机器人可以长时间且高效高精度地从事焊接作业，有着性能稳定、工作范围广、适应性强、负载大、精度高等优点。焊接机器人在工业生产中起着不可替代的作用。由于传统的基于示教再现的工作方式不能满足灵活且高精度制造的需求，基于激光视觉的焊缝跟踪系统被应用于焊接机器人上。
3.基于激光视觉传感器的焊接机器人利用结构光和相机作为传感的媒介，可实时感知焊缝位置和焊接环境等相关信息。然而，在焊接过程中会产生大量的焊接噪声，严重的噪声污染极大地掩盖了焊缝特征点，这给焊缝的检测造成极大的阻碍。因此，焊缝噪声的去除将是一个亟需解决的问题。
4.为实现焊缝噪声的去除，研究人员发现，基于深度学习的神经网络模型有着强大的非线性映射能力，它能够学习如何将有噪声的焊缝图像映射到无噪声的干净图像。这种方法的推理速度快，输入即可得到输出，满足焊缝跟踪过程对焊缝图像实时修复的需求，并且有着强大的焊缝噪声去除能力。这种方法取得成功的关键在于是否有大规模的焊缝图像-干净图像对作为训练数据集，当训练数据集的数据分布与真实的噪声的数据分布一致时，焊缝图像修复模型便可以有效地去除焊接噪声。但实际上，在现实世界中，有噪声的焊缝图像是难以找到对应的无噪声的干净图像的，且制作过程是非常高成本的。
5.在强噪声的环境下，研究人员通过改进算法来提升焊缝跟踪的稳定性就，如(zou,yanbiao&chen,tao&chen,xiangzhi&li,jinchao.(2022).robotic seam tracking system combining convolution filter and deep reinforcement learning.mechanical systems and signal processing.165.108372.10.1016/j.ymssp.2021.108372.)(zou,yanbiao&li,jinchao&chen,xiangzhi&lan,rui.(2018).learning siamese networks for laser vision seam tracking.journal of the optical society of america a.35.1805.10.1364/josaa.35.001805.)
6.等相关工作，他们利用神经网络强大的特征识别能力，直接对焊缝图片(有着强噪声)进行特征点的位置估计。这些方法有一定的跟踪效果，但是在面对连续帧的带有强噪声的焊缝图像时，这些方法也会失效，焊缝噪声已经严重的影响到了焊缝跟踪的精度。
7.针对焊缝噪声数据集难以制作的问题，zou等人(y.zou,x.wei,j.chen,“conditional generative adversarial network-based training image inpainting for laser vision seam tracking”,optics and lasers in engineering,2020,vol.134,doi:10.1016/j.optlaseng.2020.106140)提出了一种制作训练数据集的方法。焊接机器人先在不开启焊枪的情况，按示教的轨迹对工件进行扫描，得到一批干净图像；接着
开启焊枪，对工件进行焊接，采集到一批焊接图像。这两个过程中图像采样的频率相同，因此按序列顺序将焊接图片与干净图片一一对应制作成训练数据集。这种制作数据集的方法存在两个缺点：一是由于机器误差的存在，干净图片并不能真实的表示焊接图片所对应的无噪声图片；二是当需要制作大批量数据集时，这种方法需要消耗大量的工件，造成浪费。
8.焊接过程中产生的强噪声是引起焊接机器人鲁棒性降低的主要原因，而无法建立大规模的能够表示真实数据分布的训练数据集又会导致基于深度学习的焊缝图像修复效果不明显。因此需要针对焊接加工过程中焊缝图像的特点，从合成噪声的角度来制作训练数据集。


技术实现要素：

9.鉴于上述现状和技术条件的不足，本发明的目的是提供一种合成焊缝噪声图像的方法，利用该方法可以制作大规模的训练数据集。该方法制作的大规模的训练数据集成本低，且能够模拟真实的焊缝噪声的数据分布，因此利用合成的数据集训练出来的焊缝图像修复模型可以有效地去除焊接噪声，能够满足实际的工业应用需求。
10.本发明至少通过如下技术方案之一实现。
11.一种合成焊缝噪声图像的方法。该方法将焊缝噪声图像理解为由干净图像和焊接噪声组成，焊接噪声的主要特征又可以分解为噪声强度和噪声形状(弧光和飞溅的形状)。根据焊缝噪声图像的特性，本发明使用三种算法用来合成焊缝图像：使用二维高斯噪声模型用来模拟噪声的强度、使用一种分形随机曲线的生成方法生成的分形随机曲线用来模拟弧光的形状、针对飞溅噪声，使随机区域生成算法用来模拟飞溅的形状。合成焊缝噪声图像的过程：输入一张干净图像，由三种算法分别模拟不同的噪声特征对干净图像进行渲染后，得到一张焊缝噪声图像。
12.一种合成焊缝噪声图像的方法，包括以下步骤：
13.s1、焊接机器人获取一批图像，对图像进行预处理；
14.s2、利用高斯噪声算法模拟噪声强度；所述高斯噪声算法为二维高斯噪声模型，用来模拟焊缝噪声的强度；
15.s3、利用分形随机曲线算法模拟弧光噪声的形状；所述分形随机曲线算法是利用带有分形特征的随机曲线模拟弧光噪声的随机形状；
16.s4、利用随机区域生成算法模拟飞溅噪声的形状；
17.s5、将步骤s2～s4模拟不同的噪声特征对干净图像进行渲染后，得到合成的焊缝噪声图像。
18.优选地，所述预处理包括对图像进行随机剪裁，剪裁时确保剪裁后的图片中包含焊缝特征。
19.优选地，所述高斯噪声算法为二维高斯噪声模型，用来模拟焊缝噪声的强度；所述分形随机曲线算法是利用带有分形特征的随机曲线模拟弧光噪声的随机形状；
20.优选地，所述高斯噪声算法具体如下：
21.二维高斯噪声模型利用其分布函数的函数值大小来模拟焊缝图像上各个像素点上的噪声强度，对于一个二维向量x，二维高斯分布如公式(1)所示：
[0022][0023]
其中是二维高斯分布的概率密度函数，d＝2表示维度，μ是一个二维的均值向量，σ是一个2
×
2的协方差矩阵，|σ|表示σ矩阵的行列式；
[0024]
假设焊缝图像的长宽为w
×
h，表示噪声强度，则焊缝图像上每个像素点坐标(w,h)的噪声强度表示为由公式(2)计算
[0025][0026]
公式(2)中，是的最大值，表示对
·
进行取整，则得到
[0027]
由于w和h的值是相对较大的，不能直接令x＝[w h]
t
，需要对w和h进行标准化处理，假设二维向量x＝[x
0 x1]
t
，通过公式(3)将像素点坐标(w,h)映射到二维向量x:
[0028][0029]
其中w∈{0,1,...,w-1},h∈{0,1,...,h-1}，x0表示二维高斯分布的第一个维度、x1表示二维高斯分布的第二个维度，在公式(3)中，图像的中心坐标被默认当作焊接点的位置，在焊接点的位置附近的噪声强度最强烈，向四周扩散时逐渐衰减，假设焊接点的像素坐标是则像素点坐标(w,h)和x的映射关系将由公式(3)变成公式(4)
[0030][0031]
优选地，所述分形随机曲线算法具体如下：
[0032]
使用递归线性插值法生成过型值点的随机曲线，对于任意零次控制点集s0＝{pi:i＝0,1,...,n}，通过k次线性，得到k次点集生成k次点集sk的递归公式如(5)所示：
[0033][0034]
其中pi表示第i个控制点，n表示控制点数量，k≤n，t是插值比系数，t∈[0,1]，当k＝n时，生成的点集是n阶贝塞尔点集，是k次控制点集的第j个控制点，表示k-1次控制点集的第m个控制点；
[0035]
在给定型值点集p＝{p0,p1,...,p
n-1
}的情况下，随机初始化控制点q0，使用公式(6)去求得控制点集q＝{q0,q1,...,q
n-1
}：
1，n＝n 1；
[0054]
s46、方向向左横向寻点；对任意属于集合p
set
的点(i,j)，当区间(0,1)内的随机数小于给定的概率p时，如果满足s(i-1,j)＝0，则将赋值给s(i-1,j)，并令i＝i-1，n＝n 1；
[0055]
s47、方向向右横向寻点；对任意属于集合p
set
的点(i,j)，当区间(0,1)内的随机数小于给定的概率p时，如果满足s(i 1,j)＝0，则将赋值给s(i 1,j)，并令i＝i 1，n＝n 1。
[0056]
优选地，合成的焊缝噪声图像公式如下：
[0057]wsyn
＝c a
noise
s
noise
l
noise
ꢀꢀꢀ
(11)
[0058]
其中，w
syn
是合成的焊缝噪声图像，c表示干净图像，a
noise
表示弧光噪声，在分形随机曲线所包围的区域之内，s
noise
表示由随机区域生成算法所生成飞溅噪声；l
noise
是亮度噪声，焊接过程成产生的焊接噪声会辐射到周围区域，亮度噪声在分形随机曲线所包围的区域之外形成，合成焊缝噪声图像的算法流程如下：
[0059]
s51、输入干净图像c，长宽为h
×
w，设符号l
noise
表示亮度噪声，符号a
noise
表示弧光噪声；
[0060]
s52、初始化参数：对任意w∈{0,1,...,w-1},h∈{0,1,...,h-1}，均有l
noise
(w,h)＝0,a
noise
(w,h)＝0。w表示横坐标，h表示纵坐标，l
noise
(w,h)表示亮度噪声在点(w,h)处的噪声大小，a
noise
(w,h)表示弧光噪声在点(w,h)处的噪声大小。符号二维高斯噪声模型，由权力要求3生成。符号f表示分形随机曲线边界，超参数α＞0,0＜γ＜1，符号s表示飞溅噪声。
[0061]
s53、弧光噪声：如果点(i,j)在分形随机曲线边界f所包围的区域内，则将赋值给a
noise
(i,j)，其中表示在点(i,j)处的概率密度函数值，a
noise
(i,j)表示在点(i,j)处的弧光噪声大小；
[0062]
s54、亮度噪声：如果点(i,j)在分形随机曲线边界f所包围的区域外，则将赋值给l
noise
(i,j)，l
noise
(i,j)表示在点(i,j)处的亮度噪声的大小；
[0063]
s55、输出：合成的焊缝噪声图像：w
syn
＝c a
noise
l
noise
s。
[0064]
与现有技术相比，本发明具有以下有益效果：
[0065]
本发明提供一种合成焊缝噪声图像的算法，该算法能够在干净图像的基础上，合成大量的焊缝图像，从而制作一个大规模的干净图像-焊缝图像对的训练数据集，利用该训练数据集来训练好的焊缝图像修复模型对真实的焊缝噪声图像有着很好的降噪效果，这极大地提高了焊接机器人的鲁棒性。已有的技术是难以制作大规模训练数据集的，且制作干净图像-焊缝图像对是比较高成本的。本发明提供的方法可以简单地实现大规模的训练数据集的制作，且是低成本的。
附图说明
[0066]
图1为实施例中对焊缝图像的分解过程以及一种合成焊缝噪声图像的示意图；
[0067]
图2a为实施例1给干净图片添加二维高斯噪声后生成的图片；
[0068]
图2b为实施例2给干净图片添加二维高斯噪声后生成的图片；
表示第一个维度，x1表示第二个维度。
[0086]
作为优选的实施例，模拟弧光噪声的形状(算法2)，包括以下步骤：
[0087]
s1、生成分形随机曲线，用来模拟弧光噪声的形状。在给定型值点p＝{p0,p1,...,p
n-1
}的情况下，随机初始化控制点q0，然后使用公式(6)去求得控制点集q＝{q0,q1,...,q
n-1
}，
[0088][0089]
其中p
n-1
表示第$n-1$个型值点，q
n-1
表示第n-1个控制点，p
i-1
表示第i-1个型值点，q
i-1
表示第i-1个控制点，t
i-1
表示第i-1个插值比系数。
[0090]
s2、为了使生成的随机曲线可控，使用递归的方法去确定公式(6)中的插值比系数t
i-1
的取值范围，t
i-1
的取值范围由公式(7)给定，然后按次序去整合点集p和q，获得零次控制点集s0＝{p0,q1,p1,q2,...,q
n-1
,p
n-1
}：
[0091][0092]
s3、将零次控制点集拆分成多个子集把子集当作零次控制点集，通过二重递归线性插值法，由公式(8)便可以生成二次贝塞尔曲线。由所有的子集生成的多段贝塞尔曲线组成一条自由的连续曲线，该连续曲线过型值点集p，由p所控制。
[0093]
b2(t)＝(1-t)2pi 2t(1-t)q
i 1
t2p
i 1
ꢀꢀꢀ
(8)
[0094]
其中b2(t)表示二阶贝塞尔曲线。
[0095]
s4、由于弧光形状是极其不光滑的，需要在生成随机曲线的过程中加入分形噪声，使得生成的分形随机曲线能够很好地模拟弧光噪声的形状，在由递归线性插值法生成二阶贝塞尔曲线的过程中，按坐标方向将分形随机噪声添加到0次和1次控制控制点集上，随机噪声的值由分形布朗运动算法控制，如公式(9)所示。因此便可以得到如图3a所示的带有分形特性的随机曲线。
[0096]di,m
＝ai*deltam(h)*gauss
ꢀꢀꢀ
(9)
[0097]
其中i表示第i次控制点，m表示递归深度。ai是一个系数，它决定随机扰动量d
i,m
的大小。gauss是一个高斯随机数，它可以增加自由曲线形状的不确定性。deltam(t)是递归衰减量，由公式(10)所决定。t是hurst指数。
[0098][0099]
实施例2
[0100]
一种合成焊缝噪声图像的方法，包括以下步骤：
[0101]
s1、焊接机器人获取一批图像，对图像进行预处理；
[0102]
s2、利用高斯噪声算法模拟噪声强度；所述高斯噪声算法为二维高斯噪声模型，用来模拟焊缝噪声的强度，如图2b所示；
[0103]
s3、利用分形随机曲线算法模拟弧光噪声的形状；所述分形随机曲线算法是利用带有分形特征的随机曲线模拟弧光噪声的随机形状；
[0104]
s4、利用随机区域生成算法模拟飞溅噪声的形状；
[0105]
s5、将步骤s2～s4模拟不同的噪声特征对干净图像进行渲染后，得到合成的焊缝噪声图像。
[0106]
作为优选的实施例，生成随机区域，用来模拟飞溅噪声形状，具体包括以下步骤：
[0107]
r1、给定初始数据：一个初始各个元素均为0的维度为h
×
w的矩阵s，二维高斯噪声模型随机点的总数n，超参数β，像素值大于0的点集p
set
。
[0108]
r2、在s中随机选取点(m,n)，将赋值给s(m,n)。此时，在s中像素值大于0的点的个数n＝1。其中表示点(m,n)处的概率密度值，s(m,n)表示矩阵s在点(m,n)处的大小。
[0109]
r3、当n＜n时，做循环步骤r44～步骤r47。
[0110]
r4、纵向寻点，方向向上。对任意属于集合p
set
的点(i,j)，当区间(0,1)内的随机数小于给定的概率p时，如果满足s(i,j 1)＝0，则将赋值给s(i,j 1)，并令j＝j 1，n＝n 1。其中s(i,j 1)表示矩阵s在位置(i,j 1)处的元素值大小，表示点(i,j 1)处的概率密度函数值，以下同理。
[0111]
r5、纵向寻点，方向向下。对任意属于集合p
set
的点(i,j)，当区间(0,1)内的随机数小于给定的概率p时，如果满足s(i,j-1)＝0，则将赋值给$s(i,j-1)$，并令j＝j-1，n＝n 1。
[0112]
r6、横向寻点，方向向左。对任意属于集合p
set
的点(i,j)，当区间(0,1)内的随机数小于给定的概率p时，如果满足s(i-1,j)＝0，则将赋值给s(i-1,j)，并令i＝i-1，n＝n 1。
[0113]
s7、横向寻点，方向向右。对任意属于集合p
set
的点(i,j)，当区间(0,1)内的随机数小于给定的概率p时，如果满足s(i 1,j)＝0，则将赋值给s(i 1,j)，并令i＝i 1，n＝n 1。
[0114]
实施例3
[0115]
一种合成焊缝噪声图像的方法，包括以下步骤：
[0116]
s1、焊接机器人获取一批图像，对图像进行预处理；
[0117]
s2、利用高斯噪声算法模拟噪声强度；所述高斯噪声算法为二维高斯噪声模型，用来模拟焊缝噪声的强度；
[0118]
s3、利用分形随机曲线算法模拟弧光噪声的形状；所述分形随机曲线算法是利用带有分形特征的随机曲线模拟弧光噪声的随机形状；
[0119]
s4、利用随机区域生成算法模拟飞溅噪声的形状；
[0120]
s5、将步骤s2～s4模拟不同的噪声特征对干净图像进行渲染后，得到合成的焊缝噪声图像。根据上述的三种算法(算法1，算法2，算法3)，对一张干净的图像做渲染，便可以合成焊缝噪声图像，如图3b所示。由公式(11)可以合成焊缝噪声图像。
[0121]wsyn
＝c a
noise
s
noise
l
noise
ꢀꢀꢀ
(11)
[0122]
其中，w
syn
是合成的焊缝噪声图像，c表示干净图像(没有焊缝噪声的焊缝图像)，a
noise
表示弧光噪声，在分形随机曲线所包围的区域之内，s
noise
表示由随机区域生成算法所生成飞溅噪声；l
noise
是亮度噪声，焊接过程成产生的焊接噪声会辐射到周围区域，亮度噪声
在分形随机曲线所包围的区域之外形成。
[0123]
合成焊缝噪声图像的算法流程如下：
[0124]
r1、输入：干净图像c，尺寸为h
×
w亮度噪声l
noise
和弧光噪声a
noise
。
[0125]
r2、初始化参数：对任意w∈{0,1,...,w-1},h∈{0,1,...,h-1}，均有l
noise
(w,h)＝0,a
noise
(w,h)＝0。w表示横坐标，h表示纵坐标，l
noise
(w,h)表示亮度噪声在点(w,h)处的噪声大小，a
noise
(w,h)表示弧光噪声在点(w,h)处的噪声大小。符号二维高斯噪声模型，由权力要求3生成。符号f表示分形随机曲线边界。超参数α＞0,0＜γ＜1，符号s表示飞溅噪声。
[0126]
r3、弧光噪声：如果(i,j)在f所包围的区域内，则将赋值给a
noise
(i,j)，其中表示在点(i,j)处的概率密度函数值，a
noise
(i,j)表示在点(i,j)处的弧光噪声大小。
[0127]
r4、亮度噪声：如果(i,j)在f所包围的区域外，则将赋值给l
noise
(i,j)，l
noise
(i,j)表示在点(i,j)处的亮度噪声的大小。
[0128]
r5、输出：合成的焊缝噪声图像：w
syn
＝c a
noise
l
noise
s。
[0129]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。