一种基于红外热像和深度学习的电路板智能检测诊断方法与流程

1.本发明涉及电路板检测诊断技术领域，具体为一种基于红外热像和深度学习的电路板智能检测诊断方法。


背景技术：

2.利用红外热成像检测技术进行电路板故障诊断，相对于传统电路检测方法，其优势在于检测无损化，即非接触式检测，保证了电路的完整性，同时对电路原理的依赖低，检测结果直观可视，故障检测定位效率高。
3.目前应用红外图像对电路板进行检测的研究主要有：2020年7月出版的《安徽科技》第48-49页公开了红外热像仪在电路板故障诊断中的应用，主要介绍了使用红外热像仪在航空电路板维修及故障诊断中的应用，表明使用红外热像的方法对于电路板维修是可行的，但是该方法使用人工方法对观察图像再给出诊断意见，对人员的精力以及专业技能要求过大，效率低下；2021年1月出版的《通信电源技术》第114-116页公开了一种红外热成像技术在通信电源电路板故障检测中的应用，通过比较红外热成像技术采集到的故障信号波形和长度相似程度，确定通信电源电路板故障等级与损坏程度，并且根据红外热图像数据确定通信电源电路板故障位置，以此完成对变电站电气线路安装电路故障电流相关性分析及故障检测，但该方法仍然使用人工方法对观察图像再给出诊断意见，属于对人工方法的改进和优化，但是对人员的精力以及专业技能要求过大，效率低下，同时只能针对一种板件进行维修；2020年的上海工程技术大学硕士学位论文公开了一种电路板卡红外热像检测故障定位研究，通过图像边缘检测与配准，获取配准后可见光图像的边缘特征和红外图像的热源特征，从而实现对电路板卡故障元器件的检测定位。但是该方法进行图像预处理后得到灰度图像，会损失一些红外图像特有的特征，从而影响基于红外成像技术的电路板检测诊断。


技术实现要素：

4.为了解决上述技术问题，本发明提出了一种基于红外热像和深度学习的电路板智能检测诊断方法。
5.本发明所要解决的技术问题采用以下技术方案来实现：
6.一种基于红外热像和深度学习的电路板智能检测诊断方法，具体步骤如下：
7.(一)用python语言编写应用程序软件，在该软件中搭建基于alexnet模型的深度学习分类模型；
8.(二)采集目标电路板正常工作和异常工作时的红外图像，并将采集到的红外图像按照类别放入在相应的文件夹内；
9.(三)将步骤(二)中采集到的红外图像放到模型中的数据集路径中，然后运行模型的训练程序得到模型参数，并将模型参数保存到模型中的模型系数文件内；
10.(四)将需要检测的电路板红外图像放到指定路径，运行电路板检测程序；
11.(五)将输出按照尺寸重新绘制的红外图片、检测结果、正确概率信息供电路板检测人员参考，并将数据保存作为历史数据存档。
12.优选的，步骤(一)中搭建后的模型包含八个带权重的层，其中前五层是卷积层，剩下的三层为全连接层，最后一层全连接层的输出为1000维，产生1000类标签。
13.优选的，前五层卷积层的层次分析如下：
14.第一层：先输入规格为224
×
224
×
3(rgb彩色图像)的图像，经过预处理、卷积、relu操作、降采样后，变为27
×
27
×
96[(55-3)/2 1＝27]；
[0015]
第二层：输入27
×
27
×
96，经过卷积、relu操作、降采样后，变为13
×
13
×
96[(27-3)/2 1＝13]；
[0016]
第三层：得到【13 2
×
1-3】/1 1＝13，384个13
×
13的新特征图(核3
×
3,步长为1)；
[0017]
第四层：得到【13 2
×
1-3】/1 1＝13，384个13
×
13的新特征图(核3
×
3,步长为1)；
[0018]
第五层：输入13
×
13
×
256，降采样后，变为6
×6×
256[(13-3)/2 1＝6]。
[0019]
优选的，后三层全连接层的层次分析如下：
[0020]
第六层：使用4096个神经元，对256个大小为6
×
6特征图进行一个全连接，然后进行卷积、乘以权重、加上偏置、以及抑制过度拟合，得到新的4096个神经元；
[0021]
第七层：与第六层相同；
[0022]
第八层：采用1000个神经元，然后对第七层中的4096个神经元进行全链接，然后会通过高斯过滤器，得到1000个float型的值。
[0023]
优选的，步骤(三)中模型训练的具体步骤如下：
[0024]
(a)确定数据库路径；
[0025]
(b)将数据库按照4:1的比例随机划分为训练集和验证集；
[0026]
(c)设置批处理大小、迭代次数等模型的初始化训练参数；
[0027]
(d)添加数据标签；
[0028]
(e)编译初始模型；
[0029]
(f)迭代训练参数。
[0030]
优选的，步骤(四)中的电路板检测的具体步骤如下：
[0031]
(a)打开需要检测的电路板红外图像文件夹；
[0032]
(b)将需要检测的电路板红外图像缩放为合适尺寸；
[0033]
(c)载入模型参数；
[0034]
(d)载入分类列表；
[0035]
(e)检测诊断并输出结果；
[0036]
(f)保存结果。
[0037]
本发明的有益效果是：
[0038]
1、本发明直接以rgb彩色图像作为数据源进行网络训练，无需先将图片转为灰度图片，保留了大量红外图片的特征。
[0039]
2、本发明扩展性强，可以灵活增加更多的电路板种类和不同状态(故障类型)包含了多种状况电路板红外检测诊断应用。
[0040]
3、本发明大大提高了电路板检测效率，减轻了人员的工作强度和压力，也一定程度降低人工主观因素导致的误判。
附图说明
[0041]
下面结合附图和实施例对本发明进一步说明：
[0042]
图1为本发明中的软件架构图；
[0043]
图2为本发明中的模型搭建图；
[0044]
图3为本发明中的模型训练程序流程图；
[0045]
图4为本发明中的电路板检测诊断程序流程图；
[0046]
图5为本发明中的红外电路板智能检测方法流程图。
具体实施方式
[0047]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图以及实施例对本发明进一步阐述。
[0048]
一种基于红外热像和深度学习的电路板智能检测诊断方法，本方法搭建一种以alexnet网络为基础的卷积神经模型层次，采集大量电路板正常工作和各种故障工作的红外图片，通过训练这些图片从而得到网络的各个神经元对应的权值从而得到最终的网络，然后使用该模型自动判断需要检测和诊断的电路板种类，并将其定位为是否正常以及故障类别。这种方法的特点是alexnet的输入图像就是彩色图像，不用转成灰度图像再处理，因此特别适合红外成像的电路板检测诊断工作。同时本方法的扩展性很强，只要训练各种电路板的红外图片就能很快将更改模型，使其可以分类的类别数量扩大。另外这种方法除了训练耗时外，其电路板检测诊断的速度非常快，整个检测诊断无需人工目视检查，基本在1秒内就能输出诊断结果，大大提高了电路板检测效率，减轻了人员的工作强度和压力，也一定程度降低人工主观因素导致的误判。
[0049]
一种基于红外热像和深度学习的电路板智能检测诊断方法，主要包括：编写应用程序软件，在该软件中搭建基于alexnet模型的深度学习分类模型，采集电路板各个状态的红外热像图像，然后通过这些图像训练模型并保存模型参数，最后使用训练好的模型检测和诊断新电路板的状态，需要注意的是本方法检测的电路板须为训练时就有的电路板分类。如果没有新的状态加入，每次检测只需要直接运行电路板检测的程序即可；如果有新的状态加入，则需要执行红外图像采集、网络训练和检测诊断整个过程。操作步骤如图5所示。
[0050]
本发明中软件采用python语言编写(具有非常良好的跨平台运行特性，可以在windows、linux、mac等各类操作系统下运行)，并调用tensorflow模块实现模型搭建、训练、预测等功能。软件分为源文件、分类列表、模型参数等部分，其中源文件包括模型搭建、模型训练、电路板诊断等。软件架构如图1所示。
[0051]
一种基于红外热像和深度学习的电路板智能检测诊断方法，具体步骤如下：
[0052]
(一)模型搭建：
[0053]
电路板红外图像自动检测网络以alexnet网络为基础编写代码实现，alexnet网络是2012年islvrc 2012竞赛的冠军网络，其输入就是三通道的彩色图像，因此特别适合与电路板红外图像自动检测。该网络包含8个带权重的层；前5层是卷积层，剩下的3层是全连接层。最后一层全连接层的输出是1000维的，可以产生最多1000类标签的分布，其网络结构如图2所示。层次分析如下：
[0054]
第一层卷积层
[0055]
1)输入的图像规格为：224
×
224
×
3(rgb彩色图像),实际上会经过预处理变为227
×
227
×
3。
[0056]
2)使用的96个大小规格为11
×
11
×
3的过滤器，或者称为卷积核(步长为4)，进行特征提取，卷积后的数据：55
×
55
×
96[(227-11)/4 1＝55]。
[0057]
注意，内核的宽度和高度通常是相同的，深度与通道的数量是相同的。
[0058]
3)使用relu作为激励函数，来确保特征图的值范围在合理范围之内。relu1后的数据格式为：55
×
55
×
96。
[0059]
4)降采样操作
[0060]
pool1的核为：3
×
3，步长为2，降采样之后的数据为27
×
27
×
96[(55-3)/2 1＝27]。
[0061]
注意：alexnet中采用的是最大池化，是为了避免平均池化的模糊化效果，从而保留最显著的特征,并且alexnet中提出让步长比池化核的尺寸小,这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性，减少了信息的丢失。
[0062]
第二层卷积层
[0063]
1)输入数据尺寸为：27
×
27
×
96。
[0064]
2)conv2中使用256个5
×
5大小的过滤器(步长1)，对27
×
27
×
96个特征图，进行进一步提取特征，但是处理的方式和cov1不同，过滤器是对96个特征图中的某几个特征图中相应的区域乘以相应的权重，然后加上偏置之后所得到区域进行卷积。经过这样卷积之后，然后在在加上宽度高度两边都填充2像素，会的到一个新的256个特征图。特征图的大小为：(【27 2
×
2-5】/1 1)＝27，也就是会有256个27
×
27大小的特征图。
[0065]
3)然后进行relu操作，relu之后的数据27
×
27
×
96。
[0066]
4)降采样操作
[0067]
pool2的核为：3
×
3，步长为2，pool2(池化层)降采样之后的数据为13
×
13
×
96[(27-3)/2 1＝13]。
[0068]
第三层卷积层
[0069]
1)该层没有降采样层。
[0070]
2)得到【13 2
×
1-3】/1 1＝13，384个13
×
13的新特征图(核3
×
3,步长为1)。
[0071]
第四层卷积层
[0072]
1)该层没有降采样层。
[0073]
2)得到【13 2
×
1-3】/1 1＝13，384个13
×
13的新特征图(核3
×
3,步长为1)。
[0074]
第五层卷积层
[0075]
1)输出数据为13
×
13
×
256的特征图。
[0076]
2)降采样操作
[0077]
pool3的核为：3
×
3，步长为2，pool3(池化层)降采样之后的数据为6
×6×
256[(13-3)/2 1＝6]。
[0078]
第六层全连接层
[0079]
使用4096个神经元，对256个大小为6
×
6特征图，进行一个全连接，也就是将6
×
6大小的特征图，进行卷积变为一个特征点，然后对于4096个神经元中的一个点，是由256个特征图中某些个特征图卷积之后得到的特征点乘以相应的权重之后，再加上一个偏置得
到，之后再进行一个抑制过拟合(dropout)，也就是随机从4096个节点中丢掉一些节点信息(值清0)，然后就得到新的4096个神经元。(dropout的使用可以减少过度拟合，丢弃并不影响正向和反向传播。)注意：在经过交叉验证，隐含节点dropout率等于0.5的时候效果最好，原因是0.5的时候dropout随机生成的网络结构最多。
[0080]
第七层全连接层
[0081]
该层和第六层全连接层作用类似。
[0082]
第八层全连接层(输出层)
[0083]
采用1000个神经元，然后对第七层全连接层中的4096个神经元进行全链接，然后会通过高斯过滤器，得到1000个float型的值，也就是我们所看到的预测的所有可能性。
[0084]
(二)红外图像采集：
[0085]
为了有效提供深度学习的数据基础，需要拍摄具有一定规模同时具有一定差异性的目标电路板正常工作和异常时的通电时的红外图像。在拍摄图像时可以有一定范围的角度和距离差别，这样在后面的检测诊断中对图片的要求就会相应降低。采集完图片后，需要将各个状态的电路板放在相应的文件夹内，文件夹的命名与其分类的类别一致，这是后面分类标签将类别名称与数值对应的基础。
[0086]
(三)模型训练：
[0087]
模型训练的目的是确定之前搭建模型的深度神经网络权值参数，方法是将已有的带标签的电路板红外图像输入到网络中得到网络分类和准确度等，使用梯度下降法通过修改网络的权值参数不断减小分类的误差，最终当分类误差达到很小的程度时就认为得到了电路板红外图像检测模型的权值参数。模型训练程序流程见图3。
[0088]
(a)确定数据库路径
[0089]
首先需要确定数据库的路径，这样模型训练时就可以找到数据集。
[0090]
(b)划分训练集和验证集
[0091]
数据库的作用包括训练模型和验证模型，这两种数据的结构是一致的，因此可以将数据库按照4:1的比例随机划分为训练集和验证集。
[0092]
(c)初始化训练参数
[0093]
在模型训练中需要按照一定的规则进行，因此需要确定输入图像的高度和宽度像素值，设置批处理大小、迭代次数等模型的初始化训练参数，已达到最佳训练效果。
[0094]
(d)添加数据标签
[0095]
数据库中原本并没有标签信息，可以读取分类标签文件class.json获取标签的数值与名称之间的关系，根据数据集放在哪个文件夹下标上相应的标签(数值)，这样模型训练才能有效。
[0096]
(e)编译初始模型
[0097]
在模型训练时需要有最初的模型，可以使用初始模型参数文件myalex.h5进行综合、编译步骤(a)中设计的模型。
[0098]
(f)迭代训练参数
[0099]
按照步骤(c)中设置的训练参数训练模型，在这个过程中迭代更新模型参数，并将其中系统性能最好的精度最高的模型参数保存作为系统的最终参数。
[0100]
(四)电路板检测：
[0101]
电路板检测程序通过读取步骤(三)中已经训练好的模型，将需要诊断的电路板红外图像进行检测，得到该图片的分类类别并且输出检测结果，从而完成电路板红外图像的智能化检测。电路板检测程序流程见图4。
[0102]
(a)打开需要判断的图片
[0103]
首先要找到需要进行判断的目标图片，为电路板红外检测提供数据。
[0104]
(b)将该图片缩放为合适的尺寸
[0105]
因为搭建的模型网络的输入为224
×
224
×
3，所以目标红外图片要缩放到224
×
224，否则模型无法工作。
[0106]
(c)载入模型参数
[0107]
导入步骤(一)中搭建的模型，将步骤(三)中训练的模型参数载入到模型中，这样模型才可以工作。
[0108]
(d)载入分类列表
[0109]
需要载入分类列表，否则模型只能得到检测的数值，而没有该数值代表的含义。
[0110]
(e)检测诊断并输出结果
[0111]
将目标图片作为输入通过模型计算出结果，并且输出当前图片、判断的结果以及正确的概率，供检测人员参考。
[0112]
(f)保存结果
[0113]
可以将以上的电路板诊断结果保存起来，保存的数据包括红外图片、检测时间、检测电路板种类、检测故障信息、检测正确概率等，这个步骤是可选的。
[0114]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。