基于Bi-LSTM神经网络的双模型缺陷检测方法、训练方法、装置

基于bi-lstm神经网络的双模型缺陷检测方法、训练方法、装置
技术领域
1.本发明涉及工件缺陷无损检测技术领域，尤其涉及一种基于bi-lstm神经网络的双模型缺陷检测方法、训练方法、装置。


背景技术：

2.脉冲热成像无损检测技术可用于对材料内部缺陷进行非接触、大面积、定性和定量检测。随着对材料质量要求不断提高，特别是针对在役设备的安全性和经济需越加突出，人们更加关注材料内部缺陷的三维结构信息。对于材料内部缺陷的三维结构定量测量，研究者们分别提出了热对比度法(缺陷深度预测)，对数二阶导数峰值法(缺陷深度预测)，半高宽法(缺陷尺寸预测)，反卷积法(缺陷尺寸预测)等方法。
3.然而，采用以上方法可以实现缺陷的三维重建，但需要知道材料的热属性，特征时间或参考区域等先验信息，而这些信息在很多检测场景下并非已知的，或者即使已知，但由于材料、形状等参数不同，原有的先验信息并不能保证检测的准确性。


技术实现要素：

4.(一)要解决的技术问题
5.本发明以期至少部分地解决以上技术问题中的至少之一。
6.(二)技术方案
7.为了实现如上目的，根据本发明的一个方面，提供了一种基于bi-lstm神经网络的双模型缺陷检测方法。
8.该双模型缺陷检测方法包括：
9.步骤a'，获取降温过程中待测工件测试表面随时间变化的n帧红外热图；
10.步骤b'，由所述n帧红外热图获取待测工件测试表面上的各像素点随时间变化的脉冲热成像数据序列seq'；
11.步骤f，将各像素点的脉冲热成像数据序列seq'分别带入经过训练的bi-lstm神经网络分类模型中，得到表征待测工件的像素对应位置为缺陷或非缺陷的二分类图，其中，当对应位置为缺陷，二分类图中对应像素的值为1；否则，二分类图中对应像素的值为0；
12.步骤g，将各像素点的脉冲热成像数据序列seq'分别带入经过训练的bi-lstm神经网络回归模型中，得到表征待测工件的像素对应位置缺陷深度的缺陷深度预测图，其中，缺陷深度预测图中对应像素的值为缺陷深度预测值；
13.步骤h，由所述二分类图和缺陷深度预测图得到待测工件的缺陷分布状况。
14.在本发明的一些实施例中，所述步骤b'还包括：将维度为1
×
n的脉冲热成像数据序列seq'按照时间顺序均分为w段的维度为1
×
n/w的脉冲热成像数据子序列；所述步骤f中，将像素点的脉冲热成像数据序列seq'带入经过训练的bi-lstm神经网络分类模型包括：将w段脉冲热成像数据子序列独立地输入至经过训练的bi-lstm神经网络分类模型中；所述
步骤g中，将像素点的脉冲热成像数据序列seq'带入经过训练的bi-lstm神经网络回归模型包括：将w段脉冲热成像数据子序列独立地输入至经过训练的bi-lstm神经网络回归模型中；其中，w与在对bi-lstm神经网络分类模型和bi-lstm神经网络回归模型进行训练过程中的分段值相同，2≤w≤5。
15.在本发明的一些实施例中，所述步骤b'中，获取待测工件测试表面的全部像素点随时间变化的脉冲热成像数据序列；所述步骤h之后还包括：步骤i，利用matlab软件中的mesh函数，由待测工件的缺陷分布状况重建待测工件的缺陷三维结构。
16.在本发明的一些实施例中，所述步骤a'包括：利用红外热像仪获取加热前待测工件测试表面的背景红外热图；利用高能闪光灯对待测工件进行加热，利用红外热像仪获取降温过程中待测工件测试表面随时间变化的n帧原始红外热图；将降温过程中的n帧原始红外热图扣除加热前的背景红外热图，获取降温过程中待测工件测试表面随时间变化的n帧红外热图。
17.为了实现如上目的，根据本发明的第二个方面，还提供了一种基于bi-lstm神经网络的训练方法。
18.该训练方法包括：
19.步骤a，获取降温过程中训练工件测试表面随时间变化的n帧红外热图，其中，训练工件与待测工件的热属性相同，训练工件上具有不同深度的m个缺陷区域，各个缺陷区域的深度已知，m≥2；
20.步骤b1，由所述n帧红外热图获取训练工件测试表面的缺陷区域的各像素点随时间变化的的脉冲热成像数据序列：seq
d,1
，
…
、seq
d,s
，
…
、seq
d,s
，其中，s为缺陷区域内像素点的总数，seq
d,s
为缺陷区域内第s个像素点随时间变化的脉冲热成像数据序列；
21.步骤b2，由所述n帧红外热图获取训练工件测试表面的非缺陷区域的各像素点随时间变化的的脉冲热成像数据序列：seq
u,1
，
…
、seq
u,t
，
…
、seq
u,t
，其中，t为所述非缺陷区域内像素点的总数，seq
u,t
为所述非缺陷区域内第t个像素点随时间变化的脉冲热成像数据序列；
22.步骤c1，由缺陷区域的各像素点随时间变化的的脉冲热成像数据序列及对应缺陷深度构建回归模型训练数据集；
23.步骤c2，利用所述回归模型训练数据集的数据对bi-lstm神经网络进行训练，得到bi-lstm神经网络回归模型；
24.步骤d1，由缺陷区域和非缺陷区域的各像素点随时间变化的的脉冲热成像数据序列及对应缺陷类别构建分类模型训练数据集；
25.步骤d2，利用所述分类模型训练数据集的数据对bi-lstm神经网络进行训练，得到bi-lstm神经网络分类模型。
26.在本发明的一些实施例中，所述回归模型训练数据集为：在本发明的一些实施例中，所述回归模型训练数据集为：其中，为已知的所述第s个像素点对应位置的归一化缺陷深度，s＝1，2，
…
，s。
27.在本发明的一些实施例中，在所述分类模型训练数据集中，定义如果像素对应位置为缺陷，则缺陷类别为1，否则缺陷类别为0；所述分类模型训练数据集为：(seq
d,1
，1)、
…
、
(seq
d,s
，1)、
…
、(seq
d,s
，1)、(seq
u,1
，0)、
…
、(seq
u,t
，0)、
…
、(seq
u,t
，0)。
28.在本发明的一些实施例中，所述非缺陷区域被限定为缺陷区域外侧的环状区域，且非缺陷区域的像素点个数t满足：0.5s≤t≤1.5s。
29.在本发明的一些实施例中，所述步骤b1和b2还包括：将维度为1
×
n的脉冲热成像数据序列按照时间顺序均分为w段的维度为1
×
n/w的脉冲热成像数据子序列；所述步骤c2和d2中的每一次训练中，将w段的维度为1
×
n/w的脉冲热成像数据子序列独立地输入bi-lstm神经网络对其进行训练，2≤w≤5。
30.在本发明的一些实施例中，所述步骤b1还包括：利用每一帧红外热图与缺陷区域数字掩模图相乘，筛选出缺陷区域的像素点，所述缺陷区域数字掩模图中，缺陷区域的像素值为1，其他区域的像素值为0；所述步骤b2还包括：利用每一帧红外热图与非缺陷区域数字掩模图相乘，筛选出非缺陷区域的像素点，所述非缺陷区域数字掩模图中，非缺陷区域的像素值为1，其他区域的像素值为0；所述步骤b1和b2之前还包括：获取训练工件测试表面的可见光数字照片；对所述可见光数字照片进行图像分割得到关于训练工件测试表面的缺陷区域二值数字照片；将所述缺陷区域二值数字照片与红外热图的照片进行配准，得到所述缺陷区域数字掩模图；在配准之后的所述缺陷区域二维数字照片的缺陷区域的外围选定环状区域作为所述非缺陷区域，得到所述非缺陷区域数字掩模图。
31.在本发明的一些实施例中，所述步骤c1中的归一化缺陷温度通过以下方式获取：其中，d
d，s
为像素对应位置缺陷的物理深度，d
mean
，d
max
，d
min
分别表示训练工件中缺陷深度的平均值、最大值以及最小值；
32.所述步骤c2和步骤d2包括：将分类模型训练数据集中训练数据带入bi-lstm神经网络中，将正向lstm提取的特征向量of和反向lstm提取的特征向量ob进行拼接得到特征向量o；
33.所述步骤c2还包括：将特征向量o与学习矩阵v与进行乘法运算得到深度回归值y
gp
，将深度回归值y
gp
反映射至其真实尺度下的深度y
gm
：y
gm
＝y
gp
×
(d
max-d
min
) d
mean
；在训练过程中，采用l1距离损失函数f
l1
：f
l1
＝|y
gp-yg|；
34.所述步骤d2还包括：将特征向量o与学习矩阵u进行乘法运算得到概率向量所述步骤d2还包括：将特征向量o与学习矩阵u进行乘法运算得到概率向量其经过softmax函数得到维度为1
×
c的归一化概率向量y
cp
：其中，y
cp
在c维度上的数值相加为1，c维度上的数值表示预测为缺陷或不是缺陷的概率，选择y
cp
在c维度中概率最大的索引值为所预测出的类别，采用如下损失函数：用如下损失函数：其中，yc为训练数据的缺陷类别真值。
35.为了实现如上目的，根据本发明的第二个方面，还提供了一种装置。
36.该装置包括：数字存储器；以及处理器，电性耦接至所述数字存储器，其被配置为基于存储在所述数字存储器中的指令，执行如上所述的双模型缺陷检测方法，或如上所述的训练方法。
37.(三)有益效果
38.从上述技术方案可知，本发明至少具有以下有益效果其中之一：
39.(1)利用与待测工件热属性相同的训练工件的训练数据集对bi-lstm神经网络进行训练，不需要知道材料热属性、参考区域或特征时间等先验信息，在方便检测的同时，保证了每一次缺陷检测的准确性。
40.使用降温过程中的脉冲热成像数据序列训练bi-lstm神经网络，该脉冲热成像数据序列不需要经过任何算法处理(如傅里叶变换算法，主成分分析算法等)，也不需要人为地提取特征数据放入网络中训练。bi-lstm神经网络可以实现全自动数据分析，应用起来更加方便。
41.此外，相比于单个lstm网络而言，bi-lstm神经网络可以避免先前信号特征的丢失，推断各时刻的信号值与全局信号值的长短期依赖关系，最终提取出丰富的全局数据特征，可以提高分类任务的精度或回归任务的精度。
42.(2)将脉冲热成像数据序列划分成不同子序列的做法，利用双向lstm网络提取各个区间信号之间的长短依赖关系。实验证明，区间的长度设置具有一定的敏感性，这种划分区间的方式能够帮助提升缺陷反演的精度。
43.(3)在预测缺陷大小的过程中，考虑了横向热扩散的影响，以邻近缺陷的非缺陷区域对应像素点的降温序列数据作为非缺陷数据集，令网络能更好地学习出缺陷区域对应的脉冲热成像数据信号与非缺陷区域对应的脉冲热成像数据信号，特别是缺陷边缘区域对应的脉冲热成像数据信号，的差异性，有效地提高预测缺陷大小的精度。
44.(4)在预测缺陷深度的过程中，没有使用非缺陷数据作为训练数据，这可以有效地提高缺陷边缘的深度预测精度。
45.(5)分类任务和回归任务设置的网络超参数相同，人工操作只需要调节一次网络的超参数，使得重建缺陷三维结构更加方便。
46.(6)在得到待测工件测试表面的全部像素点的缺陷深度数据之后，结合matlab的mesh函数，更加智能化重建出待测工件内部缺陷三维结构，方便了观察和使用。
附图说明
47.图1为bi-lstm的工作原理图；
48.图2为lstm的网络结构图
49.图3a为本发明基于bi-lstm神经网络的训练方法的流程图。
50.图3b为本发明基于bi-lstm神经网络的双模型缺陷检测方法的流程图。
51.图4为训练工件与待测工件的脉冲红外热成像实验的示意图。
52.图5为本发明降温过程中脉冲热成像数据序列在bi-lstm网络中归一化预处理的示意图。
53.图6为bi-lstm神经网络的一次训练过程中将w段脉冲热成像数据子序列独立地输入bi-lstm神经网络进行训练的示意图。
54.图7a为碳纤维平底孔训练工件的俯视事宜图和缺陷处的截面示意图。
55.图7b为碳纤维平底孔待测工件的三维结构图。
56.图8为深度分布依次为1.1mm、1.64mm、2.19mm、2.81mm、10mm区域所对应的降温数据序列图。
57.图9为碳纤维平底孔训练工件在闪光后8s的热图。
58.图10为碳纤维平底孔待测工件在闪光后8s的热图。
59.图11为训练工件的缺陷区域数字掩模图a。
60.图12为训练工件的非缺陷区域数字掩模图b。
61.图13为待测工件的缺陷与非缺陷二分类图。
62.图14为待测工件的掩膜图c。
63.图15为待测工件的深度预测图。
64.图16为待测工件的缺陷结构图。
65.图17待测工件的平底孔缺陷三维结构图。
具体实施方式
66.本发明是将bi-lstm神经网络算法应用在脉冲热成像技术中，自动学习出脉冲热成像数据序列的特征，把测试工件测试表面各个像素点的脉冲热成像数据序列输入已训练好的bi-lstm神经网络，自动重建出测试件内置的缺陷三维结构。
67.首先，在具体介绍本发明具体实施例之前，对bi-lstm神经网络进行简单说明。
68.bi-lstm神经网络是循环神经网络中的一种，它有着能够描述信号之间前后依赖关系的优点，对处理序列信息非常有效。bi-lstm神经网络是同时训练两个lstm，两个lstm的参数独立，方向相反。最后将两个lstm提取到的特征向量进行拼接，就可以捕捉过去和未来的特征。bi-lstm的工作原理如图1，of和ob分别代表正向lstm和反向lstm提取的特征向量。其中lstm设立了门控机制，包括遗忘门，输入门和输出门，它的结构如图2所示。通过门控来控制信号传输状态，从而有选择性地记住重要信息的特征。图中表示特征矩阵中对应的元素相乘，表示特征矩阵中对应的元素相加，σ和tanh分别代表sigmoid和tanh非线性激活函数。涉及的主要计算如公式(1)～(6)，遗忘门通过函数zf选择性忘记上一节点的输出c
t-1
，wf与bf为遗忘门需要学习的权重和偏置。输入门则通过函数zi进行控制，保留当前时刻c
t
需要存储的状态信息，wi与bi为输入门需要学习的权重和偏置。输出门通过函数zo决定当前神经节点c
t
需要输出给隐藏状态h
t
的信息，wo与bo为输入门需要学习的权重和偏置，另外还需要学习网络参数wc和bc。总之这种独特的门控机制非常适合处理序列数据，不仅能够学习数据间的长期依赖信息，也能在一定程度上解决标准循环神经神经网络在特征提取时会遇到的梯度消失与梯度爆炸的问题。
[0069][0070]
zf＝σ(wf·
x bf)
ꢀꢀꢀ
(2)
[0071]
zi＝σ(wi·
x bi)
ꢀꢀꢀ
(3)
[0072]zo
＝σ(wo·
x bo)
ꢀꢀꢀ
(4)
[0073]ct
＝zf⊙ct-1
zi⊙
tanh(wc·
x bc)
ꢀꢀꢀ
(5)
[0074]ht
＝zo⊙
tanh(c
t
)
ꢀꢀꢀ
(6)
[0075]
本领域技术人员可以理解的是，bi-lstm神经网络是同时训练前向lstm网络和后向lstm网络，这两个lstm网络的中间隐藏层单元能够相互影响，彼此促进。然后将前向lstm网络和后向lstm网络提取到的特征向量进行拼接，就可以捕捉到序列数据的全局特征。此
外，相比于单个lstm网络而言，bi-lstm神经网络可以避免先前信号特征的丢失，推断各时刻的信号值与全局信号值的长短期依赖关系，最终提取出丰富的全局数据特征，可以提高分类任务的精度或回归任务的精度。
[0076]
为使本发明的目的、技术方案和优点更加清楚明白，下文结合具体实施例，并参照附图，对本发明进一步详细说明。
[0077]
其次，对本发明中所涉及的训练部分和检测部分进行说明如下。
[0078]
本发明的技术方案分为两部分，第一部分是训练部分，第二部分是检测部分。本领域技术人员应当了解，在对bi-lstm神经网络训练完成之后，直接利用其进行测试即可，因此，检测部分是可以脱离训练部分单独实施的。同样的，训练部分也可以脱离检测部分单独实施。综上所述，本发明的实施或是单独实施检测部分，亦或是单独实施训练部分，再或者是检测部分和训练部分一同实施，均在本发明保护范围之内。在下文实施例的具体说明部分，有训练部分和检测部分相似的技术内容，将主要针对其不同之处进行说明，相同内容在后不再详细阐述，本领域技术人员可参看在前内容。
[0079]
图3a为本发明基于bi-lstm神经网络的训练方法的流程图。图3b为本发明基于bi-lstm神经网络的双模型缺陷检测方法的流程图。以下结合图3a和图3b对本发明进行说明。
[0080]
一、训练部分
[0081]
请参照图3a，本发明bi-lstm神经网络的训练方法包括：
[0082]
步骤a，获取降温过程中训练工件测试表面随时间变化的n帧红外热图，其中，训练工件与待测工件的热属性相同，训练工件上具有不同深度的m个缺陷区域，各个缺陷区域的深度已知，m≥2；
[0083]
前期准备一块训练工件，该训练工件件的热属性与待测工件的热属性相同，在训练工件内设计一定大小，多个不同深度的缺陷。需要注意的是，训练工件缺陷深度范围包含待测工件的缺陷深度范围。
[0084]
图4为训练工件与待测工件的脉冲红外热成像实验的示意图。如图4所示，把闪光灯和红外热像仪放置在试件的同一侧。在闪光加热训练工件和待测测试表面的前后，热像仪实时监测及记录下试件表面随时间变化的热波时序信号。
[0085]
请结合图3a和图4，该训练部分的步骤a进一步包括：
[0086]
子步骤a1，利用红外热像仪获取加热前训练工件测试表面的背景红外热图；
[0087]
子步骤a2，利用高能闪光灯对训练工件进行加热，利用红外热像仪获取降温过程中训练工件测试表面随时间变化的n帧原始红外热图；
[0088]
子步骤a3，将降温过程中的n帧原始红外热图扣除加热前的背景红外热图，获取降温过程中训练工件测试表面随时间变化的n帧红外热图。
[0089]
在具体操作中，利用红外热像仪以预设的采集频率采集10帧训练工件或待测工件在无加热前的热图序列，将无加热前的热图序列存储在通用存储器中。使用闪光灯加热设备对训练工件或待测工件进行脉冲加热的同时，利用红外热像仪以预设的采集频率，预设的采集时间(对于较浅的缺陷，预设的采集频率可以适当地增大，采集时间可以适当地减小，反之亦然，但要注意采集的总数据量不能超过热像仪的内存)，获得被测物体表面降温过程的红外热图序列，并将红外热图序列存储在通用存储器中。将训练工件或待测工件的每一帧脉冲加热后的热图减去无加热前的平均热图，得到训练工件或待测工件的降温过程
中测试表面随时间变化的n帧红外热图。
[0090]
在步骤a执行完毕完毕之后，继续执行如下步骤b1和b2。其中，步骤b1和b2可以先后进行且顺序可以调整，也可以同时进行。
[0091]
在步骤b1和步骤b2中，将训练工件中属于缺陷区域的像素的热成像数据序列全部归纳为缺陷类别的数据集，训练工件中属于非缺陷区域(该非缺陷区域邻近缺陷区域)的热成像数据序列归纳为非缺陷类别的数据集。特别说明的是，非缺陷类别的数据集和缺陷类别的数据集需要接近，不能差别太大。将非缺陷类别的数据集和缺陷类别的数据集输入到bi-lstm网络中进行分类学习，训练出bi-lstm网络的分类模型。
[0092]
步骤b1，由n帧红外热图获取训练工件测试表面的缺陷区域的各像素点随时间变化的的脉冲热成像数据序列：seq
d,1
，
…
、seq
d,s
，
…
、seq
d,s
，s为缺陷区域内像素点的总数，seq
d,s
为缺陷区域内第s个像素点随时间变化的脉冲热成像数据序列；
[0093]
步骤b2，由n帧红外热图获取训练工件测试表面的非缺陷区域的各像素点随时间变化的的脉冲热成像数据序列：seq
u,1
，
…
、seq
u,t
，
…
、seq
u,t
，其中，t为非缺陷区域内像素点的总数，seq
u,t
为非缺陷区域内第t个像素点随时间变化的脉冲热成像数据序列；
[0094]
由于脉冲热成像数据具有时间序列属性，且不同时刻的脉冲热成像数据信号都包含缺陷深度和大小的特征信息。基于bi-lstm神经网络对于时间序列数据处理的优势，本发明使用bi-lstm神经网络设计了分类任务和回归任务，将降温过程中的脉冲热成像数据序列作为输入，用bi-lstm神经网络对其进行特征提取分别完成缺陷的大小预测和深度预测，实现对缺陷的三维结构重建。
[0095]
关于步骤b1和b2，有以下两点需要说明。
[0096]
1、脉冲热成像数据序列的标准化
[0097]
本发明中，将训练集中每个像素点的降温过程中的脉冲热成像数据序列标准化。图5为本发明降温过程中脉冲热成像数据序列在bi-lstm网络中归一化预处理的示意图。请参照图5，在步骤b1和b2中，还包括：将维度为1
×
n的脉冲热成像数据序列按照时间顺序均分为w段的维度为1
×
n/w的脉冲热成像数据子序列；所述步骤c2和d1中的每一次训练中，将w段的维度为1
×
n/w的脉冲热成像数据子序列独立地输入bi-lstm神经网络对其进行训练。其中，2≤w≤5。实验证明，w＝2效果尤佳。
[0098]
需要特别说明的是，本发明中采用本领域通用的方式来表示向量或者矩阵，例如：如上热成像数据序列维度为1
×
n，即热成像数据序列为1行n列的向量；而后将脉冲热成像数据序列维度均分为w段的维度为1
×
n/w的脉冲热成像子序列，即脉冲热成像子序列为1行n/w列的向量。后续训练和检测过程中，向量和矩阵的表示方式与此相同。
[0099]
实验证明，将脉冲热成像数据序列划分成不同子序列的做法，利用双向lstm网络提取各个区间信号之间的长短依赖关系。实验证明，区间的长度设置具有一定的敏感性，这种划分区间的方式能够帮助提升缺陷反演的精度。
[0100]
2、缺陷区域和非缺陷区域像素点数据的获取
[0101]
对于缺陷的分类任务中，在训练bi-lstm网络前，需要精确获取训练工件中平底孔缺陷数据集和非缺陷数据集，作为训练数据集。
[0102]
步骤b1还包括：利用每一帧红外热图与缺陷区域数字掩模图相乘，筛选出缺陷区域的像素点，缺陷区域数字掩模图中，缺陷区域的像素值为1，其他区域的像素值为0。
[0103]
步骤b2还包括：利用每一帧红外热图与非缺陷区域数字掩模图相乘，筛选出非缺陷区域的像素点，非缺陷区域数字掩模图中，非缺陷区域的像素值为1，其他区域的像素值为0。
[0104]
在步骤b1之前还包括：获取训练工件测试表面的可见光数字照片；对可见光数字照片进行图像分割得到关于训练工件测试表面的缺陷区域二值数字照片；将缺陷区域二值数字照片与红外热图的照片进行配准，得到缺陷区域数字掩模图；在配准之后的缺陷区域二维数字照片的缺陷区域的外围选定区域作为非缺陷区域，得到非缺陷区域数字掩模图。其中，非缺陷区域被限定为缺陷区域外侧的环状区域，且非缺陷区域的像素点个数t满足：0.5s≤t≤1.5s。
[0105]
需要特别说明的是，在获取非缺陷数据集的过程中，考虑横向热扩散对预测缺陷大小的影响，以邻近平底孔缺陷的环形非缺陷区域对应像素点的降温数据序列作为非缺陷训练数据集，令网络能更好地学习出缺陷区域对应的脉冲热成像数据信号与非缺陷区域对应的脉冲热成像数据信号(特别是缺陷边缘区域对应的脉冲热成像数据信号)的差异性。
[0106]
请参照图3a，在步骤b1之后执行步骤c1。
[0107]
步骤c1，由缺陷区域的各像素点随时间变化的的脉冲热成像数据序列及对应缺陷深度构建回归模型训练数据集：深度构建回归模型训练数据集：其中，为已知的所述第s个像素点对应位置的归一化缺陷深度，s＝1，2，
…
，s；
[0108]
其中，归一化缺陷温度，即是所记录的缺陷的物理深度映射到0-1数值之间，具体而言，是通过以下方式获取：其中，d
d,s
为像素对应位置缺陷区域的物理深度，d
mean
，d
max
，d
min
分别表示训练工件中缺陷深度的平均值、最大值以及最小值。
[0109]
需要注意的是，在预测缺陷深度的过程中，没有使用非缺陷数据作为训练数据，这可以有效地提高缺陷边缘的深度预测精度。分类任务和回归任务设置的网络超参数相同，人工操作只需要调节一次网络的超参数，使得重建缺陷三维结构更加方便。
[0110]
请参照图3a，在步骤b1和b2之后执行步骤d1。
[0111]
步骤d1，定义如果像素对应位置为缺陷，则缺陷类别yc为1，否则缺陷类别yc为0，由缺陷区域和非缺陷区域的各像素点随时间变化的的脉冲热成像数据序列及对应缺陷类别yc构建分类模型训练数据集：(seq
d,1
，1)、
…
、(seq
d,s
，1)、
…
、(seq
d,s
，1)、(seq
u,1
，0)、
…
、(seq
u,t
，0)、
…
、(seq
u,t
，0)；
[0112]
通过以上的步骤，获得了回归模型训练数据集和分类模型训练数据集，通过以上的两训练数据集，就可以对回归模型和分类模型进行训练了。
[0113]
步骤c2，利用所述回归模型训练数据集的数据对bi-lstm神经网络进行训练，得到bi-lstm神经网络回归模型；
[0114]
步骤d2，利用所述分类模型训练数据集的数据对bi-lstm神经网络进行训练，得到bi-lstm神经网络分类模型。
[0115]
通过bi-lstm神经网络对w段的脉冲热成像数据子序列进行特征提取，充分学习单点时序信号中各段信号的特征。图6为bi-lstm神经网络的一次训练过程中将w段脉冲热成像数据子序列独立地输入bi-lstm神经网络进行训练的示意图。
[0116]
请参照图6，将正向lstm提取的特征向量of(维度：1
×
h)和反向lstm提取的特征向量ob(维度：1
×
h)进行拼接得到特征向量o(维度：1
×
2h)。
[0117]
对于判断是否为缺陷的分类模型的训练和测试过程，将特征向量o(维度：1
×
2h)与学习矩阵u(维度：2h
×
c)进行乘法运算得到概率向量fc(维度：1
×
c)，如公式7所示，其经过softmax函数得到归一化概率向量y
cp
(维度：1
×
c)，如公式8所示，，y
cp
在c维度上的数值相加为1，维度上的数值表示预测为缺陷或不是缺陷的概率。
[0118]
特别说明，在训练过程中，采用交叉熵损失f
ce
衡量y
cp
与真值yc之间的差距，如公式(9)所示，以此优化bi-lstm神经网络对缺陷识别。在测试过程中，选择y
cp
在c维度中概率最大的索引值为所预测出的类别。
[0119][0120][0121][0122]
对于确定缺陷深度的回归模型的训练和测试过程，将特征向量o(维度：1
×
2h)与学习矩阵v(维度：2h
×
1)与进行乘法运算得到深度回归值y
gp
(维度：1
×
1)。特别说明，在训练过程中，本文采用l1距离损失f
l1
(如公式11)衡量深度回归值y
gp
与真实深度yg之间的差距，以此优化bi-lstm神经网络对于缺陷深度预测。在测试过程中，由于真实深度yg经过归一化，需要将深度回归向量y
gp
反映射至其真实尺度下的深度y
gm
，y
gm
的计算过程如式10所示。
[0123]ygm
＝y
gp
×
(d
max-d
min
) d
mean
ꢀꢀꢀ
(10)
[0124]fl1
＝|y
gp-yg|
ꢀꢀꢀ
(11)
[0125]
在以上两组训练过程中，学习矩阵u(维度为2h
×
c，c为分类数量)与学习矩阵v(维度为2h
×
1)是分类与回归任务中需要在深度学习网络的训练过程中不断更新的矩阵。具体学习过程是在训练之初先将学习矩阵初始化，训练时在每一次迭代中由损失函数计算损失值，在网络的反向传播中根据梯度下降法在优化过程中自动学习u与v的参数。其中，梯度下降是目前深度神经网络更新网络参数的默认做法。简单来说，就是训练迭代一次，计算一次损失，更新一次网络参数，u、v矩阵更新与lstm的主体特征提取网络的更新过程与方式是相同的。这些对于本领域技术人员都是已知的，不再展开进行说明。
[0126]
至此，得到bi-lstm神经网络回归模型和bi-lstm神经网络分类模型，训练过程结束。
[0127]
二、检测部分
[0128]
需要说明的是，检测部分的有些内容与训练部分相同。在本部分中对该些内容将不再详细说明，重点在于检测部分的特殊之处。
[0129]
请参照图3b，本发明bi-lstm神经网络的双模型缺陷检测方法包括：
[0130]
步骤a
′
，获取降温过程中待测工件测试表面随时间变化的n帧红外热图；
[0131]
同训练部分类似，本步骤a
′
包括：利用红外热像仪获取加热前待测工件测试表面的背景红外热图；利用高能闪光灯对待测工件进行加热，利用红外热像仪获取降温过程中待测工件测试表面随时间变化的n帧原始红外热图；将降温过程中的n帧原始红外热图扣除
加热前的背景红外热图，获取降温过程中待测工件测试表面随时间变化的n帧红外热图。关于更为具体的内容，可参照训练部分的相关说明，此处不再赘述。
[0132]
步骤b'，由所述n帧红外热图获取待测工件测试表面上的各像素点随时间变化的脉冲热成像数据序列seq'；
[0133]
需要注意的是：与训练部分相同，在检测部分中，将脉冲热成像数据序列seq'同样进行标准化处理。并且，关于w的取值，其应当与训练过程中w的取值相同。
[0134]
具体而言，将维度为1
×
n的脉冲热成像数据序列seq'按照时间顺序均分为w段的维度为1
×
n/w的脉冲热成像数据子序列。
[0135]
步骤f，将各像素点的脉冲热成像数据序列seq'分别带入经过训练的bi-lstm神经网络分类模型中，得到表征待测工件的像素对应位置为缺陷或非缺陷的二分类图，其中，当对应位置为缺陷，二分类图中对应像素的值为1；否则，二分类图中对应像素的值为0；
[0136]
适应于上述的脉冲热成像数据子序列，步骤f中，将w段脉冲热成像数据子序列独立地输入至经过训练的bi-lstm神经网络分类模型中，从而得到表征待测工件的像素对应位置为缺陷或非缺陷的二分类图。
[0137]
步骤g，将各像素点的脉冲热成像数据序列seq'分别带入经过训练的bi-lstm神经网络回归模型中，得到表征待测工件的像素对应位置缺陷深度的缺陷深度预测图，其中，缺陷深度预测图中对应像素的值为缺陷深度预测值；
[0138]
同样的，适应上述的脉冲热成像数据子序列，步骤g中，将像素点的脉冲热成像数据序列seq'带入经过训练的bi-lstm神经网络回归模型包括：将w段脉冲热成像数据子序列独立地输入至经过训练的bi-lstm神经网络回归模型中，得到表征待测工件的像素对应位置缺陷深度的缺陷深度预测图。
[0139]
步骤h，由所述二分类图和缺陷深度预测图得到待测工件的缺陷分布状况；
[0140]
具体而言，将缺陷与非缺陷的二分类图和缺陷深度预测图相乘得到一张缺陷结构图。图中的像素点的数值大小为深度，图中可以直接看出缺陷的形状分布。
[0141]
步骤i，利用matlab软件中的mesh函数，由待测工件的缺陷分布状况重建待测工件的缺陷三维结构。
[0142]
本发明中，在得到待测工件测试表面的全部像素点的缺陷深度数据之后，结合matlab的mesh函数，更加智能化重建出待测工件内部缺陷三维结构，方便了观察和使用。但本领域技术人员应当理解，得到缺陷三维结构仅是在表达上更为直观，如果仅是用做后续的数据处理，在步骤h中得到待测工件的缺陷分布状况就可以结束。
[0143]
通过以上对本发明双模型缺陷检测方法的介绍可以看出，本发明利用与待测工件热属性相同的训练工件的训练数据集对bi-lstm神经网络进行训练，不需要知道材料热属性、参考区域或特征时间等先验信息，在方便检测的同时，保证了每一次缺陷检测的准确性。使用降温过程中的脉冲热成像数据序列训练bi-lstm神经网络，该脉冲热成像数据序列不需要经过任何算法处理(如傅里叶变换算法，主成分分析算法等)，也不需要人为地提取特征数据放入网络中训练。bi-lstm神经网络可以实现全自动数据分析，应用起来更加方便。此外，相比于单个lstm网络而言，bi-lstm神经网络可以避免先前信号特征的丢失，推断各时刻的信号值与全局信号值的长短期依赖关系，最终提取出丰富的全局数据特征，可以提高分类任务的精度或回归任务的精度。
[0144]
至此，得到待测工件的缺陷三维结构，检测过程结束。
[0145]
三、计算机装置
[0146]
根据本发明的另一个方面，还提供了一种计算机装置。该计算机装置包括：数字存储器；以及处理器，电性耦接至所述数字存储器，其被配置为基于存储在所述数字存储器中的指令，执行如上所述的训练方法。
[0147]
根据本发明的再一个方面，还提供了一种计算机装置。该计算机装置包括：数字存储器；以及处理器，电性耦接至所述数字存储器，其被配置为基于存储在所述数字存储器中的指令，执行如上所述的双模型缺陷检测方法。
[0148]
四、训练和缺陷检测的实例
[0149]
碳纤维平底孔训练工件如图7a所示，碳纤维平板的三维尺寸大小分别为长200mm，宽160mm,高10mm，在训练工件平板上预埋8个不同宽深比的平底孔人造缺陷，其中缺陷的宽度都为18mm,缺陷的深度分布依次为1.11mm、1.35mm、1.64mm、1.97mm、2.19mm、2.55mm、2.81mm、2.97mm。
[0150]
碳纤维平底孔待测工件如图7所示，测试件平板和训练工件平板的三维尺寸大小一致，在待测工件平板上预埋6个不同宽深比的平底孔人造缺陷，其中缺陷的宽度都为20mm,缺陷的深度分布依次为1.1mm、1.35mm、1.67mm、1.94mm、2.22mm、2.5mm。
[0151]
在实验过程中，把高能闪光灯(闪光时间为2ms,输出能量为9.6kj)和flir sc3000红外热像仪(波长范围8um-9um，像素320
×
240，温度灵敏度0.03℃)放置在试件的同一侧，其中热像仪的采集频率设置为60hz,采集时间设置为30s，闪光激励试件表面的前后，热像仪实时监测及记录下试件表面随时间变化的降温数据序列。深度分布依次为1.1mm、1.64mm、2.19mm、2.81mm、10mm区域所对应的降温数据序列如图8所示。碳纤维平底孔训练工件和碳纤维平底孔待测工件在闪光后8s的热图，如图9和图10所示。
[0152]
在下面的步骤中，就需要在红外热图中选择除感兴趣的区域，以下介绍训练过程中所采用的缺陷区域数字掩模图和非缺陷区域数字掩模图的制备。
[0153]
制作细节如下：在获取训练工件中平底孔缺陷数据集的过程中，首先对碳纤维平底孔训练工件拍一张可见光照片，然后对可见光照片进行图像分割得到一张二值图，再与红外热图进行配准得到缺陷区域数字掩模图a(平底孔缺陷区域的像素值为1，非平底孔缺陷区域的像素值为0)，如图11所示。将碳纤维平底孔训练工件每一帧红外热图与缺陷区域数字掩膜图a相乘提取出平底孔缺陷数据集。
[0154]
进一步地，在缺陷区域外自定义了5个像素点大小的圆环，确保圆环区域占有的像素点数量和缺陷区域占有的像素点数量接近，使得bi-lstm网络的决策边界不会偏向缺陷类别或非缺陷类别。非缺陷区域数字掩模图b如图12所示，其中圆环区域的像素值为1，其它区域的像素值为0。将碳纤维平底孔训练工件每一帧热图与非缺陷区域数字掩模图b相乘提取出非缺陷训练数据集。最后以训练工件中平底孔缺陷数据集和非缺陷数据集输入到bi-lstm网络中进行分类学习。
[0155]
在分类任务和回归任务过程中，数据输入的参数均设置如下：脉冲时序信号的帧数n＝1800,将每一组时序信号脉冲热成像数据信号划分段数w＝2。bi-lstm网络的超参数均设置如下：隐藏层节点特征维度为128，bi-lstm网络层数为2，随机丢失的比例为0.5，学习率为0.001，批处理数量为64。
[0156]
在测试过程中，将待测工件的降温数据序列输入到已训练好的bi-lstm网络模型中，生成待测工件的缺陷与非缺陷二分类图，如图13所示。为了评估缺陷分类的准确性，引入f1-score指标，f1-score越接近1说明分类越准确，它的计算方式如(12)～(14)所示：
[0157][0158]
其中：
[0159][0160][0161]
tp为本是缺陷类并且也被判定为缺陷类的像素点个数，fp为本是非缺陷类但判定为缺陷类的像素点个数，fn为本是缺陷类但判定为非缺陷类的像素点个数。
[0162]
为了统计出待测工件中缺陷的真实像素点个数，以待测工件的掩膜图c为标准，其制作流程与训练工件掩膜图a的制作流程一样，如图14所示。表1显示了待测工件中6个平底孔缺陷的分类评估和平底孔缺陷的横向尺寸误差。
[0163]
表1
[0164][0165]
从表一中可以看出待测工件中6个平底孔缺陷的f1-score指标都在0.85以上，分类效果良好。预测平底孔缺陷的直径占像素点数量与真实平底孔缺陷的直径占像素点数量相差在2个像素点之内，横向尺寸预测最大误差为8.3％。如果能提高红外热像仪的分辨率，那么缺陷的横向尺寸预测误差可以有效地被降低。
[0166]
对于回归任务中，将掩膜图a与碳纤维平底孔训练工件每一帧热图相乘得到8个不同深度的平底孔缺陷数据集，从该数据集里分类出深度为1.11mm的数据集，1.35mm的数据集，1.64mm的数据集，1.97mm的数据集，2.19mm的数据集，2.55mm的数据集，2.81mm的数据集，2.97mm的数据集，将8组数据共同作为训练数据集输入到bi-lstm网络中进行回归学习。
[0167]
在测试过程中，将待测工件的降温数据序列输入到已训练好的bi-lstm网络模型中，生成待测工件的深度预测图，如图15所示。表2为测试件中6个平底孔缺陷深度的评估表，表中每个平底孔缺陷深度的计算方式为：缺陷与非缺陷的二分类图与深度预测图相乘得到一张缺陷结构图(图中的像素点的数值大小为深度，图中可以直接看出缺陷的形状分布)，如图16所示。
[0168]
表2
[0169][0170]
由于没有放入非缺陷区域的训练数据，从图15中可以看出非缺陷区域的深度预测不准确，无法有效地区分缺陷区与非缺陷区。从表2中可以知道6个平底孔缺陷深度的预测误差都在7.7％以内，精度较好。
[0171]
将图16借助matlab软件的mesh函数重建出待测工件的平底孔缺陷三维结构图，如图17所示。从图17中可以看出，在较深的平底孔缺陷的边缘区域，预测的深度不够均匀，但整体不影响平底孔缺陷的平均深度，在工程上应用的时候可以选择使用深度均值化处理后，再进行平底孔缺陷三维结构重建。
[0172]
至此，本发明实施例介绍完毕。
[0173]
至此，已经结合附图对本发明实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明有了清楚地认识。
[0174]
综上所述，本发明提供一种一种基于bi-lstm神经网络的双模型缺陷检测方法和训练方法，充分利用了bi-lstm神经网络的优势，并结合缺陷检测的实际应用提出了数据序列分段、局部缺陷区域、部分数据训练回归模型等创新性方法，在实际使用中具有方便、精度高等诸多优势，具有较强的实用价值。
[0175]
需要说明的是，对于某些实现方式，如果其并非本发明的关键内容，且为所属技术领域中普通技术人员所熟知，则在附图或说明书正文中并未对其进行详细说明，此时可参照相关现有技术进行理解。
[0176]
进一步地，提供如上实施例的目的仅是使得本发明满足法律要求，而本发明可以用许多不同形式实现，而不应被解释为限于此处所阐述的实施例。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
[0177]
除非明确指明为相反之意，本发明的说明书及权利要求中的数值参数可以是近似值，能够根据通过本发明的内容改变。具体而言，所有使用于说明书及权利要求中表示组成的含量、反应条件等的数字，应理解为在所有情况中是受到“约”的用语所修饰，其表达的含义是指包含由特定数量在一些实施例中
±
10％的变化、在一些实施例中
±
5％的变化、在一些实施例中
±
1％的变化、在一些实施例中
±
0.5％的变化。
[0178]
再者，单词“包含”不排除存在未列在权利要求中的元件或步骤。说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”、“主”、“次”，以及阿拉伯数字、字母等，以修饰相应的元件或步骤，其本意仅用来使具有某命名的一元件(或步骤)得以和另一具有相同
命名的元件(或步骤)能做出清楚区分，并不意味着该元件(或步骤)有任何的序数，也不代表某一元件(或步骤)与另一元件(或步骤)的顺序。
[0179]
此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。
[0180]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它固有设备相关。各种通用系统也可以与基于在此的启示一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0181]
本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的相关设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0182]
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和(或)过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括权利要求、摘要和附图)中发明的所有特征以及如此发明的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中发明的每个特征可以由提供相同、等同或相似目的的替代特征来代替。并且，在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。
[0183]
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图，或者对其的描述中。然而，并不应将该发明的方法解释成反映如下意图：所要求保护的本发明需要比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，各个发明方面在于少于前面单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0184]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。