一种基于复合连接超网络的金属增减材制造熔池检测方法与流程

1.本发明属于金属增减材制造领域，涉及深度学习、图像识别技术，具体涉及一种基于复合连接超网络的金属增减材制造熔池检测方法。


背景技术：

2.金属增减材制造成形过程中非平衡物理冶金和热物理过程十分复杂，伴随着激光、固体基材、粉末或丝材、熔池的交互作用，制件长时间经历高能激光束的周期性、剧烈和非稳态的循环加热、冷却及短时非平衡循环固态相变，温度梯度大，在制件内产生热应力和应力集中，易造成组织性能降低。因此，在金属增减材制造成形过程进行检测、分析与控制，降低温度梯度，减少热应力、热变形和缺陷，以提高成形精度及优化组织性能，对金属增减材制造技术研究具有重要价值，然而工业相机采集的熔池图像易受强光、飞溅、电离等干扰，导致增减材过程中熔池难以准确检测，目前现有的激光增减材过程中熔池的视觉监测方法大多是基于传统的阈值分割和边缘检测等方法，当存在飞溅等干扰时对熔池区域难以进行准确提取，因而存在一定的误差。同时目前的卷积神经网络在目标检测图像处理领域存在问题，卷积核的增多导致参数数量不断增大，效率低下，训练困难，同时大量的参数也会很快使得网络产生过拟合现象。
3.所以，需要一个新的技术方案来解决上述问题。


技术实现要素：

4.发明目的：为了克服现有技术中存在的不足，提供一种基于复合连接超网络的金属增减材制造熔池检测方法，其大量减少了参数数量，降低运算量，同时可以实现增减材过程中的干扰抵抗，不断强化检测结果，获得较高的检测精确度。
5.技术方案：为实现上述目的，本发明提供一种基于复合连接超网络的金属增减材制造熔池检测方法，包括如下步骤：
6.s1：采集并保存金属增减材制造过程中熔池动态视频，并从熔池动态视频中提取出图像，获得清晰的熔池检测图像，对所采集的熔池检测图像数据进行预处理；
7.s2：将步骤s1中预处理后的熔池检测图像制成数据集，并记为源数据集，将源数据集进行数据划分，分为训练集、验证集、测试集；
8.s3：搭建新型复合连接的超网络，获得熔池图像检测网络模型；
9.s4：将源数据集输入构建的熔池图像检测网络模型，利用训练集、验证集、测试集分别对熔池图像检测网络模型进行训练、验证、测试；
10.s5：通过训练好的熔池图像检测网络模型实现对于熔池图像的实时检测。
11.进一步地，所述步骤s1具体包括：
12.a1：录制金属增减材制造熔池的视频，并保存；
13.a2：对视频进行分帧处理，舍弃不清晰和不包含熔池的图像，保存k张可用的金属增减材制造熔池图像，其中k为根据实际情况确定的数值；
14.a3：对保存的金属增减材制造熔池图像进行预处理，采用图像处理算法对熔池图像进行灰度处理、滤波去噪，并进行数据增强，得到最终数据集图像。
15.进一步地，所述步骤a3具体包括：
16.a3-1：采用图像处理算法对熔池图像进行灰度处理、滤波去噪处理；
17.a3-2：采用随机的图像处理方法来对原始数据集进行扩充，包括水平翻转、垂直翻转以及90
°
、180
°
、270
°
的旋转，提高网络的泛化能力，实现数据增强。
18.进一步地，所述步骤s2中采用图像标注工具对预处理后的熔池检测图像进行图像标注制成数据集，并记为源数据集，训练集、验证集、测试集的划分比例分别为6∶2∶2。
19.进一步地，所述步骤s3中新型复合连接的超网络包括自动编码器部分、后端网络解码器部分和多头权重生成模块，该超网络的搭建方法为：
20.b1：新型复合连接的超网络(hypernetwork)部分，即自动编码器部分(encoder)简称为e，设计了两层复合骨干网络结构(backbone)，分别记为backbone1，backbone2，简称为b1、b2，b1、b2均为小型网络；
21.b2：后端网络解码器(decoder)部分，简称为d，设计5次上采样(deconvolution)，放置于单位模块内(metablock)，每一步都会得到由构建好的多头权重生成模块生成的权重wi，权重通过权重映射器(weight mapper)嵌入到后端网络解码器部分的每个单位模块当中(metablock)，i的具体数值由单位模块的数量确定，同时每个单位模块，有一个2
×
2的卷积层，其激活函数使用relu函数，之后跟随两个3
×
3的卷积层，最后结合一个1
×
1的卷积层得到输出的分割图像。
22.进一步地，所述步骤b1具体为：
23.b1-1：b1与b2为2个相同的骨干网络，b1和b2均分为4层，每层都是两级3
×
3的卷积层，每层之后跟随一个2
×
2的最大池化层(maxpooling layer)，卷积层负责获取图像局域特征，池化层对图像进行下采样并且将尺度不变特征传送到下一层，将b1每一层的输出特征当作为b2网络对应层的输入特征，实现特征共享，深浅层特征融合，对于骨干网络中的第ak层，其中k＝1,2,3,4，其输入特征与输出特征分别为：
24.xk＝φ(x
k-1
),k≥2
ꢀꢀꢀ
(1)
25.yk＝φ(xk c(x
k-1
)),k≥2
ꢀꢀꢀ
(2)
26.其中，φ表示每一层卷积池化后实现的非线性变换作用；c表示复合连接实现的非线性变换作用；xk表示第ak层的输入特征；x
k-1
表示第a
k-1
层的输入特征；yk表示第ak层的输出特征；
27.b1-2：骨干网络b2在每个步长中输出特征图fj，其中j＝0,1,2,3，结合network-in-network的思想，将1
×
1的卷积层引入b2骨干网络，通过减小特征图fj的通道数(channel)，减少后续模块与解码器的体积，在实现降维的同时，能够大大减小了参数数量，在保持计算成本的同时也增加了网络的深度和宽度；
28.b1-3：在骨干网络的输出端设置多头权重生成模块(head)，将不同的编码器级别与解码器的分层主网络的级别连接起来；
29.b1-4：输入骨干网络的是单通道的熔池图像，大小为
30.size＝h
×w×cꢀꢀꢀ
(3)
31.其中，size表示图像的尺寸，c表示图像的通道数(channel)，此处为单通道，故c等
于1，因此图像的大小为h
×
w，h表示图像的高度(height)，w表示图像的宽度(width)，经过每一层的卷积池化后，每一层的输出图像大小为
[0032][0033]
进一步地，所述步骤b2具体为：
[0034]
b2-1：解码器d，由5个单位模块组成，分别为m0，m1，m2，m3，m4，模块m0与输入图像相对应，其余模块与编码器的特征图fj相对应，每个模块之后是双线性上采样并与下一个更高分辨率的特征图连接；
[0035]
b2-2：构建单位模块(metablock)，其内部首先是一个2
×
2的卷积，其激活函数使用relu函数，之后跟随两个3
×
3的卷积，最后结合一个1
×
1的卷积得到输出的分割图像；
[0036]
b2-3：设置5个单位模块形成5次上采样(deconvolution)，每一次都会得到由多头权重生成模块(head)生成的权重wi，权重通过权重映射器(weightmapper)嵌入到d的每个单位模块当中(metablock)，在多头权重生成模块的上采样路径中，在每一层，将特征图与其对应的上采样特征图连接起来。
[0037]
进一步地，所述步骤b2-3中
[0038]
多头权重生成模块的构建方法为：多头权重生成模块网络使用步长为2的2
×
2卷积，输出通道数的一半，最后，在多头权重生成模块的上采样路径中，在每一层，将特征图与其对应的上采样特征图连接起来；此模块属于超网络的重要组成部分，在解码器中的每个块被消耗之前立即生成它们的权重，用于高效的内存利用率；
[0039]
权重映射器的权重映射网络的构建具体为：构建权重映射网络w＝{w0,w1,w2,w3,w4}，分层网络中，将w分成几部分并将这些部分附加到主要网络块中会更有效，因此，权重映射网络不是直接跟随h，而是层w0,w1,w2,w3,w4,权重映射网络嵌入在d的每个单位模块中；
[0040]
在权重共享方面，前面三个网络backbone、head、w分别对应权重wb、wh、ww，在计算推理的过程中是恒定值，则有单位模块mr，r＝0,1,2,3,4的权重为：
[0041][0042]
其中，权重是由w权重映射网络的变换得到的权重值，g为权重变换网络所实现的非线性变换函数；权重由wi层生成，其中i＝0,1,2,3,4，嵌入在mr中，在推理时，mr的标准化层和wi融合。
[0043]
进一步地，所述步骤s5中熔池图像检测网络模型采用iou指标来评估图像分割性能：
[0044][0045]
式中，tp表示熔池轮廓像素类被正确检测的样本面积；fp表示背景像素类被错检测为熔池图像像素类样本面积；fn表示熔池轮廓像素类被错分为背景像素类面积，使用测试集进行实验结果验证，实验结果表明熔池图像轮廓检测的准确率达到76％。
[0046]
本发明提供了一种基于复合连接超网络的金属增减材制造熔池检测方法，其充分考虑了金属增减材制造过程中的诸多特点，设计了一种新颖的复合连接超网络模型。利用超网络编码器-解码器方法进行熔池形态特征的检测，主要为轮廓检测。解决了目前熔池检测识别系统运行时间长，准确率不高，系统的稳定性不好等问题。并且具有很高的泛化特
性，可应用于多种熔池检测平台，应用前景广泛。
[0047]
本发明可以清晰地观测到金属增减材制造过程中熔池的视觉形态特征，实现干扰信息最小化。本发明首次提出基于复合连接超网络对金属增减材制造熔池区域进行提取，结合自动编解码器完成熔池检测任务，并且本发明构建的新型复合连接超网络，能够进行动态地迭代性适应输入，为解码器网络生成权重值，从而具有更好地根据输入图像调整分割过程的潜力。本发明为熔池检测提供新的方法，为超网络模型开拓新的应用领域，具有可实时识别，识别精度高，抗复杂环境干扰性强等优点。
[0048]
有益效果：本发明与现有技术相比，具备如下优点：
[0049]
1、本发明基于高效的主干网络和相对较小的超网络组成实时语义分割模型架构，提高了熔池检测效率，运用视频语义分割网络，利用了时间的连续性，通过在连续帧上循环分布子网络。
[0050]
2、本发明使用新型复合连接超网络架构，每个输入和每个空间位置的权重都不同，实现了最佳检测精度和系统最佳运行时间，解决了目前熔池检测识别系统运行时间长，准确率不高，系统的稳定性不好等问题。
[0051]
3、相对于传统的卷积神经网络，本发明大量地减少了参数数量和卷积核的个数，提高了运行效率，获得高效的内存利用率。
附图说明
[0052]
图1是本发明实施例提供的一种基于复合连接超网络的金属增减材制造熔池检测方法的工作流程示意图；
[0053]
图2是本发明实施例提供的一种熔池视觉传感系统示意图；
[0054]
图3是本发明实施例提供的一种解码器单位模块内部网络结构图；
[0055]
图4是本发明实施例提供的基于复合连接超网络中编码器模块和head模块的结构示意图；
[0056]
图5为本发明实施例提供的基于复合连接超网络中解码器模块和head模块的结构示意图；
[0057]
图6是本发明实施例提供的轮廓检测的结果图像。
具体实施方式
[0058]
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0059]
本发明提供一种基于复合连接超网络的金属增减材制造熔池检测方法，如图1所示，其包括如下步骤：
[0060]
s1：如图2所示，本发明中提供一种熔池视觉传感系统，该系统包括控制柜、服务器、联动机械臂和熔池监测高速相机，本实施例中通过熔池监测高速相机采集并保存金属增减材制造过程中熔池动态视频给服务器，服务器从熔池动态视频中提取出图像，获得清晰的熔池检测图像，对所采集的熔池检测图像数据进行预处理：
[0061]
s2：将步骤s1中预处理后的熔池检测图像制成数据集，并记为源数据集，将源数据
集进行数据划分，分为训练集、验证集、测试集；
[0062]
s3：搭建新型复合连接的超网络，获得熔池图像检测网络模型；
[0063]
s4：将源数据集输入构建的熔池图像检测网络模型，利用训练集、验证集、测试集分别对熔池图像检测网络模型进行训练、验证、测试；
[0064]
s5：通过训练好的熔池图像检测网络模型实现对于熔池图像的实时检测。
[0065]
本实施例中步骤s1具体包括：
[0066]
a1：录制金属增减材制造熔池的视频，并保存；
[0067]
a2：对视频进行分帧处理，舍弃不清晰和不包含熔池的图像，保存k张可用的金属增减材制造熔池图像，其中k为根据实际情况确定的数值；
[0068]
a3：对保存的金属增减材制造熔池图像进行预处理，采用图像处理算法对熔池图像进行灰度处理、滤波去噪，并进行数据增强，得到最终数据集图像。
[0069]
本实施例中步骤a3具体包括：
[0070]
a3-1：采用图像处理算法对熔池图像进行灰度处理、滤波去噪处理；
[0071]
a3-2：采用随机的图像处理方法来对原始数据集进行扩充，包括水平翻转、垂直翻转以及90
°
、180
°
、270
°
的旋转，提高网络的泛化能力，实现数据增强。
[0072]
本实施例中步骤s2中采用图像标注工具对预处理后的熔池检测图像进行图像标注制成数据集，并记为源数据集，训练集、验证集、测试集的划分比例分别为6∶2∶2。
[0073]
本实施例中步骤s3中新型复合连接的超网络包括自动编码器部分、后端网络解码器部分和多头权重生成模块，该超网络的搭建方法为：
[0074]
b1：新型复合连接的超网络(hypernetwork)部分，即自动编码器部分(encoder)简称为e，设计了两层复合骨干网络结构(backbone)，分别记为backbone1，backbone2，简称为b1、b2，b1、b2均为小型网络，具体可参照图4；
[0075]
b2：后端网络解码器(decoder)部分，简称为d，设计5次上采样(deconvolution)，放置于单位模块内(metablock)，每一步都会得到由构建好的多头权重生成模块生成的权重wi，权重通过权重映射器(weight mapper)嵌入到后端网络解码器部分的每个单位模块当中(metablock)，i的具体数值由单位模块的数量确定，同时每个单位模块，有一个2
×
2的卷积层，其激活函数使用relu函数，之后跟随两个3
×
3的卷积层，最后结合一个1
×
1的卷积层得到输出的分割图像，具体可参照图5。
[0076]
本实施例中步骤b1具体为：
[0077]
b1-1：b1与b2为2个相同的骨干网络，b1和b2均分为4层，每层都是两级3
×
3的卷积层，每层之后跟随一个2
×
2的最大池化层(maxpooling layer)，卷积层负责获取图像局域特征，池化层对图像进行下采样并且将尺度不变特征传送到下一层，将b1每一层的输出特征当作为b2网络对应层的输入特征，实现特征共享，深浅层特征融合，对于骨干网络中的第ak层，其中k＝1,2,3,4，其输入特征与输出特征分别为：
[0078]
xk＝φ(x
k-1
),k≥2
ꢀꢀꢀ
(1)
[0079]
yk＝φ(xk c(x
k-1
)),k≥2
ꢀꢀꢀ
(2)
[0080]
其中，φ表示每一层卷积池化后实现的非线性变换作用；c表示复合连接实现的非线性变换作用；xk表示第ak层的输入特征；x
k-1
表示第a
k-1
层的输入特征；yk表示第ak层的输出特征；
[0081]
b1-2：骨干网络b2在每个步长中输出特征图fj，其中j＝0,1,2,3，结合network-in-network的思想，将1
×
1的卷积层引入b2骨干网络，通过减小特征图fj的通道数(channel)，减少后续模块与解码器的体积，在实现降维的同时，能够大大减小了参数数量，在保持计算成本的同时也增加了网络的深度和宽度；
[0082]
b1-3：在骨干网络的输出端设置多头权重生成模块(head)，将不同的编码器级别与解码器的分层主网络的级别连接起来；
[0083]
b1-4：输入骨干网络的是单通道的熔池图像，大小为
[0084]
size＝h
×w×cꢀꢀꢀ
(3)
[0085]
其中，size表示图像的尺寸，c表示图像的通道数(channel)，此处为单通道，故c等于1，因此图像的大小为h
×
w，h表示图像的高度(height)，w表示图像的宽度(width)，经过每一层的卷积池化后，每一层的输出图像大小为
[0086][0087]
本实施例中步骤b2具体为：
[0088]
b2-1：解码器d，由5个单位模块组成，分别为m0，m1，m2，m3，m4，模块m0与输入图像相对应，其余模块与编码器的特征图fj相对应，每个模块之后是双线性上采样并与下一个更高分辨率的特征图连接；
[0089]
b2-2：构建单位模块(metablock)，参照图3，其内部首先是一个2
×
2的卷积，其激活函数使用relu函数，之后跟随两个3
×
3的卷积，最后结合一个1
×
1的卷积得到输出的分割图像；
[0090]
b2-3：设置5个单位模块形成5次上采样(deconvolution)，每一次都会得到由多头权重生成模块(head)生成的权重wi，权重通过权重映射器(weightmapper)嵌入到d的每个单位模块当中(metablock)，在多头权重生成模块的上采样路径中，在每一层，将特征图与其对应的上采样特征图连接起来。
[0091]
本实施例的步骤b2-3中
[0092]
多头权重生成模块的构建方法为：多头权重生成模块网络使用步长为2的2
×
2卷积，输出通道数的一半，最后，在多头权重生成模块的上采样路径中，在每一层，将特征图与其对应的上采样特征图连接起来；此模块属于超网络的重要组成部分，在解码器中的每个块被消耗之前立即生成它们的权重，用于高效的内存利用率；
[0093]
权重映射器的权重映射网络的构建具体为：构建权重映射网络w＝{w0,w1,w2,w3,w4}，分层网络中，将w分成几部分并将这些部分附加到主要网络块中会更有效，因此，权重映射网络不是直接跟随h，而是层w0,w1,w2,w3,w4,权重映射网络嵌入在d的每个单位模块中；
[0094]
在权重共享方面，前面三个网络backbone、head、w分别对应权重wb、wh、ww，在计算推理的过程中是恒定值，则有单位模块mr，r＝0,1,2,3,4的权重为：
[0095][0096]
其中，权重是由w权重映射网络的变换得到的权重值，g为权重变换网络所实现的非线性变换函数；权重由wi层生成，其中i＝0,1,2,3,4，嵌入在mr中，在推理时，mr的标准化层和wi融合。
[0097]
本实施例的步骤s5中熔池图像检测网络模型采用iou指标来评估图像分割性能：
[0098][0099]
式中，tp表示熔池轮廓像素类被正确检测的样本面积；fp表示背景像素类被错检测为熔池图像像素类样本面积；fn表示熔池轮廓像素类被错分为背景像素类面积。
[0100]
本实施例中使用测试集进行实验结果验证，如图6所示，实验结果表明熔池图像轮廓检测的准确率达到76～78％。
[0101]
为了验证本发明方法的效果，本实施例中将本发明方法提供的模型和现有方法中的faster r-cnn，mask r-cnn模型分别应用于熔池图像轮廓检测，三种方法的运行时间、检测精度数据以及受干扰时图像边缘情况如下表1所示。
[0102]
表1
[0103]
模型运行时间t/h识别精度m
p
(％)受干扰时图像边缘fasterr-cnn12.4175.12锯齿状maskr-cnn12.7376.44阶梯状本发明所用模型10.6577.67平滑
[0104]
可见，本发明所用模型的运行时间要少于faster r-cnn和mask r-cnn模型，且识别精度要高于fasterr-cnn和mask r-cnn模型，且受干扰时图像边缘呈现平滑状态，要好于fasterr-cnn和mask r-cnn模型，从而验证了本发明所用模型能够起到更好的熔池图像轮廓检测效果。