一种激光熔覆图像细节增强及特征提取方法和系统

1.发明涉及激光熔覆增材制造技术和深度学习领域，特别是涉及一种激光熔覆图像细节增强及特征提取方法和系统。通过深度学习领域中的超分辨率技术对图像的关键细节信息进行优化增强，并基于此对增强后的图像内容分割提取及统计。


背景技术：

2.图像作为信息主要载体之一，在各种领域拥有着重要的地位，而图像传递信息的重要指标之一位图像的清晰度，通过图像的分辨率高低来体现。在图像成像的实际过程中，由于成像设备、采集对象、环境因素、动态变化、压缩传输等限制，导致最终的成像分辨率较低、清晰度不够，图像缺失大量细节信息。而图像超分辨率(imagesuperresolution,isr)重建技术，是将低分辨率(lowresolution,lr)图像重建成高分辨率图像(highresolution,hr)的技术，能对原始低分辨率图像进行修复或细节信息增强。
3.激光熔覆技术(laser cladding,lc)，利用高能激光束照射到粉末使之迅速熔化、扩展及快速凝固于基材表面，最终形成高质量合金熔覆层，被广泛应用于冶金、化工、机械、原子能等重要领域，具有生产周期短、经济性好、成形形状不受限制等优点。对于激光熔覆过程进行监测，主要监测对象有：粉末流分布形态、光粉作用情况、粉末熔池交互情况等。而激光熔覆存在成形快、温度高、亮度大等原因，由于拍摄的相机设备性能限制，导致采集得到的监测对象图像往往混杂不清、分辨率不足，使得目前激光熔覆过程监测图像信息细节不充分，最终难以从中分析激光熔覆过程情况。
4.通过提升、改善监测激光熔覆过程的图像采集硬件设备，来增加图像的像素，从而提升监测对象的细节度，但开发成本过于昂贵，并且增加了各种光学系统难度和复杂度。


技术实现要素：

5.针对上述技术问题，本发明提出一种激光熔覆图像细节增强及特征提取方法和系统，基于超分辨率技术对熔覆过程采集的图像进行细节信息增强，重建后的熔覆图像可以对监测对象的特征进行分割以及提取，解决了目前激光熔覆过程监测图像信息细节不充分的问题。
6.为实现上述目的，本发明提供如下的技术方案：
7.一种激光熔覆图像细节增强及特征提取方法，包括以下步骤：
8.步骤s1图像采集：采集激光熔覆过程中的粉末-熔池监测视频，获取得到原始图像集；
9.步骤s2图像下采样处理：采用图像处理算法对步骤s1的原始图像集进行下采样操作，得到低分辨率图像集；
10.步骤s3图像数据集制作：采用步骤s1的原始图像作为高分辨率图像集，结合步骤s2中处理得到的低分辨率图像集，制作超分辨率网络数据集；
11.步骤s4图像超分辨率网络模型构建与训练：构建图像超分辨率神经网络模型，将
步骤s3制作的超分辨率网络数据集输入构建的图像超分辨率神经网络模型进行训练、测试和验证；
12.步骤s5熔覆图像实时处理：将步骤s4训练好的图像超分辨率神经网络模型部署于计算机上，实时获取激光熔覆过程监测视频，输入到网络模型中，并对粉末-熔池熔覆图像进行细节信息增强，得到信息增强后的图像；
13.步骤s6图像特征提取：将步骤s5经过信息增强后的图像经过最大熵双阈值分割算法，将图像中粉末-熔池的特征进行提取。
14.上述方案中，所述步骤s1中采用高速相机以3000～5000帧/秒的速度采集熔覆过程视频，将拍摄的熔覆过程视频以每五～十帧为间隔提取原始图像。
15.上述方案中，所述步骤s3中是以低分辨率图像数据作为输入，以高分辨率图像数据作为标签，制作超分辨率网络数据集。
16.上述方案中，所述步骤s4中，将超分辨率网络数据集划分为训练集、测试集与验证集，利用训练集与验证集对构建训练的网络模型进行交叉验证。
17.上述方案中，所述步骤s4中构建的图像超分辨率神经网络模型为单帧图像的模型，包括三个卷积层，每一个卷积层代表一个独立部分，第一层卷积层用于低分辨率图像的特征提取，第二层卷积层用于低分辨率到高分辨率的非线性映射，第三层卷积层用于高分辨率图像的重构。
18.进一步的，所述图像超分辨率神经网络模型的第一层卷积层的卷积核大小为9*9、第二层卷积层的卷积核大小为1*1、第三层卷积层的卷积核大小为5*5，所述第一层卷积层和所述第二层卷积层的输出特征个数分别为64、32。
19.进一步的，在低分辨率图像输入所述图像超分辨率神经网络模型之前，需要先使用双三次插值法对低分辨率图像进行预处理，将低分辨率图像放大到所需的目标尺寸大小，而放大后的图像仍为低分辨率图像y。
20.上述方案中，所述步骤s6中使用的最大熵双阈值分割算法，使得图像中各个目标与背景分布的信息量最大，即得到使熵的判别函数最大的分割阈值，最大熵双阈值算法的数学表达公式为：
[0021][0022]
其中，t1为目标物体图像分割阈值，t2为背景图像分割阈值，hk为第k个目标类别的熵值。
[0023]
一种实现所述的激光熔覆图像细节增强及特征提取方法的系统，包括图像采集模块、图像下采样处理模块、图像数据集制作模块、图像超分辨率网络模型构建与训练模块、熔覆图像实时处理模块和图像特征提取模块；
[0024]
所述图像采集模块用于采集激光熔覆过程中的粉末-熔池监测视频，获取得到原始图像集；
[0025]
所述图像下采样处理模块用于采用图像处理算法对原始图像集进行下采样操作，得到低分辨率图像集；
[0026]
所述图像数据集制作模块用于采用原始图像作为高分辨率图像集，结合图像下采
样处理模块处理得到的低分辨率图像集，制作超分辨率网络数据集；
[0027]
所述图像超分辨率网络模型构建与训练模块用于构建图像超分辨率神经网络模型，将图像数据集制作模块制作的超分辨率网络数据集输入构建的图像超分辨率神经网络模型进行训练、测试和验证；
[0028]
所述熔覆图像实时处理模块用于将训练好的图像超分辨率神经网络模型部署于计算机上，实时获取激光熔覆过程监测视频，输入到网络模型中，并对粉末-熔池熔覆图像进行细节信息增强，得到信息增强后的图像；
[0029]
所述图像特征提取模块用于将经过信息增强后的图像经过最大熵双阈值分割算法，将图像中粉末-熔池的特征进行提取。
[0030]
上述方案中，所述图像采集模块通过cmos高速相机采集激光熔覆过程中的视频。
[0031]
与现有技术相比，本发明的有益效果是：
[0032]
本发明首次使用超分辨率卷积神经网络图像对激光熔覆过程图像进行信息增强，增加熔覆过程粉末-熔池相关信息，并且本发明采用最大熵双阈值分割算法对信息增强后的熔覆图像进行特征提取，相比原始熔覆图像，统计出相关特征信息明显增加。本发明采用的基于超分辨率模型的激光熔覆图像细节增强算法，能够更好地将熔覆过程的相关图像进行细节增加与增强，便于对熔覆过程进行更好的研究，能在实际的激光熔覆过程监测中有很高的应用价值。
附图说明
[0033]
图1是本发明的流程图；
[0034]
图2是本发明的高速相机采集及滤光系统结构图；
[0035]
图3是srcnn网络模型结构示意图；
[0036]
图4是本发明一实施方式的熔覆过程原始图与经过超分辨率模型输出图，其中图4(a)为熔覆过程原始图，图4(b)为经过超分辨率模型输出图；
[0037]
图5是本发明一实施方式的原始图分割提取结果与输出图分割提取结果，其中图5(a)为原始图分割提取结果，图5(b)为输出图分割提取结果。
具体实施方式
[0038]
为使本领域的技术人员更好地理解本发明的技术方案，下面将结合实施例中的附图，对本发明实施例中的技术方案进行清晰、完整地阐述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039]
如图1所示，本发明所述激光熔覆图像细节增强及特征提取方法，包括以下步骤：
[0040]
步骤s1图像采集：采用cmos高速相机及其搭载的照明系统及滤光系统采集激光熔覆过程中的粉末-熔池监测视频，并从视频中提取相应过程的图像帧，获取得到原始图像集，如图2所示；
[0041]
步骤s2图像下采样处理：采用图像处理算法对原始图像集进行下采样操作，得到低分辨率图像集；
[0042]
步骤s3图像数据集制作：采用原始图像作为高分辨率图像集，结合步骤s2中处理
得到的低分辨率图像集，制作超分辨率网络数据集；
[0043]
步骤s4图像超分辨率网络模型构建与训练：构建图像超分辨率神经网络(srcnn)模型，将步骤s3制作的图像数据集输入构建的网络模型进行训练、测试和验证；
[0044]
步骤s5熔覆图像实时处理：将步骤s4训练好的网络模型部署于计算机上，实时获取激光熔覆过程监测视频，输入到网络模型中，并对粉末-熔池熔覆图像进行细节信息增强，得到信息增强后的图像；
[0045]
步骤s6图像特征提取：将步骤s5经过信息增强后的图像经过最大熵双阈值分割算法，将图像中粉末-熔池的特征进行提取。
[0046]
根据本实施例，优选的，所述步骤s1中高速相机以3000～5000帧/秒的速度采集熔覆过程视频，将拍摄的熔覆过程视频以每五～十帧为间隔提取原始图像。
[0047]
根据本实施例，优选的，所述步骤s3中是以低分辨率图像数据作为输入，以高分辨率图像数据作为标签，制作图像数据集。
[0048]
根据本实施例，优选的，所述步骤s4中，将超分辨率网络数据集划分为训练集、测试集与验证集，利用训练集与验证集对构建训练的网络模型进行交叉验证。
[0049]
根据本实施例，优选的，所述步骤s4中构建的srcnn模型为单帧图像的模型，包括三个卷积层，每一个卷积层代表一个独立部分，分别实现低分辨率图像的特征提取、低分辨率到高分辨率的非线性映射以及高分辨率图像的重构功能。
[0050]
根据本实施例，优选的，所述srcnn模型的第一层卷积层的卷积核大小为9*9、第二层卷积层的卷积核大小为1*1、第三层卷积层的卷积核大小为5*5，所述第一层卷积层和所述第二层卷积层的输出特征个数分别为64、32。图3中所示，第一层卷积层将低分辨率图像进行特征提取，将第一层卷积结果在第二层卷积层进行非线性映射，第三层卷积层进行图像重建输出高分辨率图像。
[0051]
根据本实施例，优选的，在低分辨率图像输入所述的srcnn模型之前，需要先使用双三次插值法对低分辨率图像进行预处理，将低分辨率图像放大到所需的目标尺寸大小，而处理后的其仍为低分辨率图像y。
[0052]
根据本实施例，优选的，所述的特征提取需将所述处理后的低分辨率图中提取出重叠的特征块，并将其表示为高维向量，所有的高维向量组合起来即为低分辨率特征图，而数量为向量的维数，采用一组滤波器执行第一层卷积操作步骤，其数学表达式为：
[0053]
f1(y)＝max(0,w1*y b1)
[0054]
其中，w1和b1分别为第一层卷积的滤波器和偏置。w1对图像进行卷积操作，w1卷积核尺寸为c
×
f1×
f1×
n1，其中c为图像通道数目，f1为滤波器空间大小，n1为滤波器数量，f1即为输出的n1维高分辨率图像块。
[0055]
根据本实施例，优选的，所述非线性映射步骤需将第一层操作中输出的n1维高维向量，再通过非线性映射到另一个n2维高维向量上。由映射得到的高维映射向量将用于重建的高分辨率图像块，第二层卷积操作步骤的数学表达式为：
[0056]
f2(y)＝max(0,w2*f1(y) b2)
[0057]
其中，w2和b2分别为第二层卷积的滤波器和偏置，w2的卷积核尺寸为n1×1×1×
n2，，f2即为输出的n2维高分辨率图像块。
[0058]
根据本实施例，优选的，所述的图像重建步骤需通过对第二层卷积操作得到的高
分辨率图像块进行平均生成聚合起来，重建得到最终的高分辨率图像，最后由卷积层来实现，其数学公式为：
[0059]
f3(y)＝w3*f2(y) b3[0060]
其中，w3和b3分别为第三层卷积的滤波器和偏置，w3的卷积核尺寸为n2×
f3×
f3×
c，f3即为输出的重构高分辨率图像。
[0061]
最后，所述的srcnn网络模型通过损失函数(mse)，来评估减小高分辨率图像x和重建图像f3(y)之间的损失，其均方误差公式为：
[0062][0063]
其中，θ＝{w1,w2,w3,b1,b2,b3}，xi为第i张高分辨率图像，yi为第i张重建后的图像，n是图片的数量。
[0064]
上述方案中，所述步骤s6中使用的最大熵双阈值分割算法，使得图像中各个目标与背景分布的信息量最大，即得到使熵的判别函数最大的分割阈值，最大熵双阈值算法的数学表达公式为：
[0065][0066]
其中，t1为目标物体图像分割阈值，t2为背景图像分割阈值，hk为第k个目标类别的熵值。
[0067]
由此实现最终的激光熔覆相关的熔覆监测对象的图像数据的细节信息进行优化增强，从而进一步便于开展从视觉层面对激光熔覆过程的监测、分析与研究。
[0068]
优选的，所述步骤s1中采用千眼狼5kf20高速相机采集帧率为5000帧/秒，所述滤光系统的镜头为9倍可调放大镜头，照明系统为808nm的红外光源，滤光镜头为808nm带通滤光片，以及与镜头相配的防护镜片、电源线等。本发明采用高速相机配备了相应的激光光源及滤光系统，可以滤除激光功率高导致的强亮光干扰以及滤除相干光的干扰，可以对激光熔覆重要过程内容进行监测采集。
[0069]
优选的，所述步骤s2的图像下采样处理，首先采用图像处理算法，对原始图像集进行下采样操作得到低分辨率图像集。
[0070]
优选的，所述步骤s4中构建图像超分辨率卷积神经网络模型结构及模型参数如下表1所示：
[0071]
表1超分辨率卷积神经网络模型结构及模型参数
[0072][0073]
优选的，所述步骤s6中所采用的图像处理算法包括，采用最大熵双阈值分割算法对所述步骤5中经过信息增强后的高分辨率熔覆过程图像进行特征分割提取，并通过相关
指标统计特征结果。
[0074]
一种实现所述基于超分辨率的激光熔覆图像细节增强及特征提取方法，包括图像采集模块、图像下采样处理模块、图像数据集制作模块、图像超分辨率网络模型构建与训练模块、熔覆图像实时处理模块和图像特征提取模块；
[0075]
所述图像采集模块用于采集激光熔覆过程中的粉末-熔池监测视频，获取得到原始图像集；
[0076]
所述图像下采样处理模块用于采用图像处理算法对原始图像集进行下采样操作，得到低分辨率图像集；
[0077]
所述图像数据集制作模块用于采用原始图像作为高分辨率图像集，结合图像下采样处理模块处理得到的低分辨率图像集，制作超分辨率网络数据集；
[0078]
所述图像超分辨率网络模型构建与训练模块用于构建图像超分辨率神经网络模型，将图像数据集制作模块制作的超分辨率网络数据集输入构建的图像超分辨率神经网络模型进行训练、测试和验证；
[0079]
所述熔覆图像实时处理模块用于将训练好的图像超分辨率神经网络模型部署于计算机上，实时获取激光熔覆过程监测视频，输入到网络模型中，并对粉末-熔池熔覆图像进行细节信息增强，得到信息增强后的图像；
[0080]
所述图像特征提取模块用于将经过信息增强后的图像经过最大熵双阈值分割算法，将图像中粉末-熔池的特征进行提取。
[0081]
具体实施例：
[0082]
本发明所述基于超分辨率的激光熔覆图像细节增强及特征提取方法的整体流程图如图1所示，其包含如下操作步骤：
[0083]
步骤s101：参考图2所示的激光熔覆过程监测示意图，采用千眼狼5kf20高速相机及其搭载的红外照明系统以及滤光系统对激光熔覆的过程进行监测与采集，并从采集的视频按每10帧一次提取相应图像，获取原始图像集；
[0084]
步骤s102：采用图像处理算法对原始图像集进行下采样操作，得到低分辨率图像集；
[0085]
步骤s103：采用原始图像作为高分辨率图像集，结合低分辨率图像集，制作超分辨率网络数据集；
[0086]
在本实施例中，所述图像数据集按7:2:1的比例划分为训练集、验证集与测试集。
[0087]
步骤s104：将所述的图像数据集输入预先构建的构建srcnn模型进行训练与测试，采用模型对如图4(a)所示的熔覆过程原始图像进行输入预测，高分辨率处理输出结果如图4(b)所示，可见高分辨率处理输出的结果图明显具有更清晰的信息特征；
[0088]
预先构建的srcnn模型网络模型结构如图2所示，包括第一层卷积层的卷积核大小为9*9、第二层卷积层的卷积核大小为1*1、第三层卷积层的卷积核大小为5*5，所述第一层卷积层和所述第二层卷积层的输出特征个数分别为64、32，采用tensorflow2.0深度学习框架构建网络结构，其网络模型参数列表如表1所示。
[0089]
所述的srcnn网络模型通过损失函数(mse)，来评估减小高分辨率图像x和重建图像f3(y)之间的损失，其均方误差公式为：
[0090][0091]
其中，θ＝{w1,w2,w3,b1,b2,b3}。
[0092]
初始学习率设置为α＝10-6
，初始训练设置的批处理量batch size与迭代次数epoch根据数据集的大小及计算机运算能力设置分别设置为16和200。
[0093]
由此将制作好的图像数据集输入所述srcnn模型进行训练，利用所述训练集与所述验证集对所述构建的srcnn模型进行交叉验证训练，并利用所述测试集进行测试，当训练集的损失函数计算的值trainloss与测试集的损失函数计算的值testloss都呈下降趋势，并趋于稳定，模型训练完成。
[0094]
步骤s105：将所述训练好的srcnn模型部署于连接高速相机计算机设备上，在激光熔覆过程中实时对过程进行监测与采集后获取相应图像，再对其进行细节信息增强；
[0095]
步骤s106：将步骤s105经过信息增强后的图像经过最大熵双阈值分割算法，可将熔覆图像中粉末-熔池等相关特征进行提取，图5(a)所示的原图进行特征提取结果，图5(b)所示的高分辨率图进行特征提取结果，可见进行高分辨率信息增强后的特征提取结果明显多于原图特征提取的结果，大大地增强了原始熔覆图像的细节信息。
[0096]
本实施例所述最大熵双阈值算法的数学表达公式为：
[0097][0098]
由此，通过以上步骤，采用超分辨率优化后对熔覆图像的细节信息进行增强，并使用最大熵双阈值分割算法分别对原图和增强后的高分辨率图进行分割，并根据熔覆监测对象提取的特征进行目标对象的数量统计。以上实验均在实验室完成，计算机配置为：容天devtop aix2750深度学习工作站，配置为i7-6800k(15m cache,3.4ghz)32gb内存，双卡nvidia 1080ti平台，操作系统为ubuntu16.04；
[0099]
综上所述，本发明通过高速相机获取熔覆过程图像，并送入构建的训练完成的超分辨率卷积神经网络模型对熔覆图像细节信息进行增强，进一步地，采用最大熵双阈值算法提取监测对象的特征信息，最终实现对激光熔覆过程图像细节增强及特征提取。本发明通过图像超分辨率技术，在软件技术层面上对激光熔覆图像进行细节信息增强，便于对监测对象的分割、识别、跟踪等，从而实现对具体熔覆过程的监测与分析。
[0100]
以上对本发明所提供的基于超分辨率的激光熔覆图像细节增强及特征提取方法进行了详细地介绍。本文中应用了具体的实施例对本发明的基本原理和实施方式进行了简单地阐述，但本发明的保护范围并不局限于此，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下，可以对本文中实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。