基于透射变换和卷积神经网络的电路红外热图故障诊断方法

1.本发明属于电路故障检测技术领域，尤其涉及一种基于透射变换和卷积神经网络的电路红外热图故障诊断方法。


背景技术：

2.目前，射频电路广泛应用于电子产品、计算机、通信和航天等领域，电路故障严重时将面临整个系统的瘫痪，从而导致亏损甚大。而随着电路规模增大、电子元器件小型化，传统的接触式电路故障检测方法难以满足日益复杂的电子设备的检测和维护问题。而热故障检测技术以其非接触、无损性、快速等特点得到广泛的关注和应用，因此对热故障检测技术的研究具有重大的经济意义。
3.基于透射变换和卷积神经网络的电路红外热图故障诊断技术的应用，主要体现在故障特征的提取和故障类型的判定中。人工智能领域的技术突破为射频电路领域的故障诊断带来了新机。其主要优势为有效运用现有数据的基础上，深度挖掘相关的隐藏信息。而卷积神经网络作为目前深度学习最具有代表性的神经网络之一，广泛应用在图像分类中，因此将其运用于基于透射变换和卷积神经网络的电路红外热图故障诊断中有着重要的现实意义。
4.红外热图故障诊断技术已经经过了多年发展，以美国和加拿大为例，早在二十世纪七十年代，美国贝克休斯公司就研制出了利用红外设备进行隔离检测的系统，而在电路板的应用中，由于热像仪的性能较低，效果无法体现。随着热检测技术突飞猛进，2021年，挪威阿哥德大学的学者利用无人机搭载热像仪和相机在空中拍下了光伏发电厂中太阳能组件各种故障条件下的复合图像，并提取故障特征，最后利用卷积神经网络对故障进行分类，其主要目标是评估与单独使用热图像相比，复合图像的图像处理是否能提高检测和分类性能；
5.中国的红外诊断技术起步较晚，最早的较为成熟的应用当属电子科技大学2007年开发的“tip(thermal image processing)快速大面积不接触式电路故障检测仪”。tip电路故障检测仪实际上是一套红外检测设备，它通过采集相同激励下的正常工作电路板和待测电路板的红外辐射图像进行相关运算，从而得到电路差分热图，即误差图像，然后通过处理误差图像实现对待检测电路板故障的定位。之后，中国学者对热检测技术的研究如雨后春笋般展开。2017年，西安电子科技大学的王娇在光学图像和红外热像的电路板故障检测技术研究之上，提出了一种新型的基于红外热像序列的非接触式电子电路热像异常检测新方法，并且在多次实验中验证了方法的有效性。
6.射频技术覆盖于生活中的各个领域，而随着电路器件的小型化，传统的接触式检测方法已难以解决电子设备的故障诊断问题。红外热图故障诊断技术以其非接触、无损性、快速性可以完美地实现电路的实时监测，但目前仅仅依靠红外热诊断技术只能做到故障的定位而无法得知何种原因导致的故障。
7.通过上述分析，现有技术存在的问题及缺陷为：传统的接触式电路故障检测方法
已无法满足日益复杂的电子设备的检测和维护问题，且目前仅依靠红外热诊断技术只能做到故障的定位而无法得知何种原因导致的故障，即只能得到故障表面的信息而不一定是故障真正的原因。


技术实现要素：

8.针对现有技术存在的问题，本发明提供了一种基于透射变换和卷积神经网络的电路红外热图故障诊断方法，尤其涉及一种基于透射变换和卷积神经网络的射频电路异源融合图像故障诊断方法、系统、介质、设备及终端。
9.本发明是这样实现的，一种基于透射变换和卷积神经网络的电路红外热图故障诊断方法包括：对目标电路进行分析，获取电路各故障条件下热图、可见光图和电路在示波器中的输出波形图；采用图像透射变换方法将同一故障条件下电路的光学图像、红外热图和示波器图进行异源融合，得到多种图的融合图像；将融合后的图像集经过增强后分为训练集和验证集，再送入卷积神经网络模型进行训练分类，最后验证卷积神经网络模型故障识别的准确率。
10.进一步，基于透射变换和卷积神经网络的电路红外热图故障诊断方法包括以下步骤：
11.步骤一，获取电路的可见光学图像、红外热图像和示波器图像；
12.步骤二，采用透射变换配准模型对获取的图像进行配准融合处理；
13.步骤三，进行图像增强后将图像集划分为训练集和验证集，确定模型参数及评价指标，并分别对卷积神经网络模型进行训练及改进优化。
14.步骤一中，为验证本方法，需要选择多块目标电路板并设置多种故障并对故障进行编号，然后采用对应仪器获取每块电路板每种故障下的可见光图、热图和示波器图。本文实验对象为3块电路板，每块电路板性能参数均相似，且均设置16种故障并分别获取其对应故障条件下的三种图像。
15.步骤二中，采用以透射变换配准模型为基础的任意四边形转矩形的算法对步骤一获取的图像进行配准融合，具体包括：
16.(1)读取待处理图像，顺时针选取四个点，顺序分别为左上、右上、右下和左下，将读取点的横纵坐标分别记录并将作为新的矩形顶点；利用选取的点的信息计算最优的单映射变换矩阵并进行透射变换，仅在四个点的范围内的像素通过透射变换留在新的图片中；
17.(2)将变换后的热图和可见光图统一大小后按照0.5:0.5的比例进行融合，得到正常工作条件下电路红外热图和可见光融合图；按照0.35:0.35:0.3的像素值占比融合示波器图后，得到示波器图、电路红外热图和可见光融合图。
18.步骤三中的图像增强方法包括彩色转灰度、通道分离、直方图均衡化和图像旋转。图像集包括将原图通道分离后的蓝、绿和红图3种，灰度图1种和直方图均衡化1种以及原图共6种。考虑到拍摄时的角度误差，将6种图像进行左右5
°
内的旋转，间隔0.5
°
。
19.步骤三中的卷积神经网络模型是通过迁移学习并参考实际训练时训练集和验证集的准确率和损失率不断改进优化的模型，优化的参数包括学习率、迭代次数、卷积层层数和卷积核个数、池化层层数和池化核个数。
20.模型训练的评价指标包括准确率和损失率，准确率为分类正确的样本数除以整个
样本数；损失率定义为网络前向传播计算得到的预测值与标准值的差距，损失率的计算方式包括均方差和交叉熵。
21.通过构建包含有关预测和实际类型信息的混淆矩阵评价指标，用于验证卷积神经网络模型对每一种故障的识别情况；同时，采用深度学习中的网络lenet5和vgg16分别对图像训练的结果进行对比。
22.本发明的另一目的在于提供一种应用所述的基于透射变换和卷积神经网络的电路红外热图故障诊断方法的基于透射变换和卷积神经网络的电路红外热图故障诊断系统，基于透射变换和卷积神经网络的电路红外热图故障诊断系统包括：
23.图像获取模块，用于获取电路的光学图像、红外热图像和示波器图像；
24.图像预处理模块，用于采用透射变换配准模型对图像进行配准融合处理；
25.模型训练模块，用于进行图像增强后将图像划分为训练集和验证集，确定模型参数及评价指标，并分别对卷积神经网络模型进行训练及改进优化。
26.结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
27.第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
28.本发明提出了一种基于图像透射变换(image perspective transformation，简称ipt)和卷积神经网络(convolutional neuralnetwork，简称cnn)的射频基于透射变换和卷积神经网络的电路红外热图故障诊断方法。本发明首先将同一故障条件下电路的光学图像、红外热图和示波器图进行异源融合，然后将融合后的图像集经过增强后分为训练集和验证集，最后送入卷积神经网络进行训练分类。本发明最终验证集的准确率可达97.3％，且比仅使用红外热图和可见光图融合的准确率提升了3.4％。
29.目前在红外故障诊断问题上，大致可分为两个方向，一个是对电子电力电路或设备进行故障诊断，其主要目的是完成对故障的定位；另外一种是采用相关领域开源红外热图图片集，主要对故障诊断方法进行改进或创新，提高改进方法模型的故障识别率。本发明提出的基于ipt和cnn的射频基于透射变换和卷积神经网络的电路红外热图故障诊断方法旨在完成故障定位的同时能够较为准确地判断故障产生的原因。本发明首先对目标电路进行分析，在保证电路安全的实验条件下设计多种故障并采用ipt方法得到多种图的融合图像，最终训练cnn模型并验证模型的准确率。
30.第二，把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
31.目前射频电路领域对红外故障诊断的研究还处于探索阶段，本发明提出一种新的基于ipt和cnn的基于透射变换和卷积神经网络的电路红外热图故障诊断方法，把实际科研领域中使用的电路板作为研究对象，设计一系列人为故障并提取到了能表征该故障的红外热图、可见光图和示波器图，然后使用基于图像透射变换的方法将其融合送入卷积神经网络模型训练并验证，最终模型验证集的准确率可达97％左右，相比仅使用红外热图和可见光图提升了3.4％，相比经典神经网络lenet5提升了2.7％，相比vgg16准确率提升较小但训练用时缩短约15分钟，且损失值均有不同幅度的降低。实验结果表明，本发明提出的基于透
射变换和卷积神经网络的电路红外热图故障诊断方法更优。
32.第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
33.(1)本发明的技术方案转化后的预期收益和商业价值为：
34.可提高故障电路板的分类效率，从而得知何种故障出现最多，然后对症下药，改进电路板设计和故障识别方法，减少由于突发故障而产生的损失。
35.(2)本发明的技术方案填补了国内外业内技术空白：
36.目前国内外红外热诊断技术大多都停留在故障表面的信息，而没有对信息进行深度挖掘。本文提出的基于ipt和cnn的射频基于透射变换和卷积神经网络的电路红外热图故障诊断方法旨在完成故障定位的同时能够较为准确地判断故障产生的原因。
附图说明
37.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
38.图1是本发明实施例提供的基于透射变换和卷积神经网络的电路红外热图故障诊断方法流程图；
39.图2是本发明实施例提供的实验流程框图；
40.图3a是本发明实施例提供的正常工作条件下的电路红外热图；
41.图3b是本发明实施例提供的正常工作条件下的可见光图；
42.图3c是本发明实施例提供的正常工作条件下的示波器波形图；
43.图4a是本发明实施例提供的故障13条件下的电路红外热图；
44.图4b是本发明实施例提供的故障13条件下的可见光图；
45.图4c是本发明实施例提供的故障13条件下的示波器波形图；
46.图5a是本发明实施例提供的正常工作条件下的红外热图透射变换定位图；
47.图5b是本发明实施例提供的正常工作条件下的可见光图透射变换定位图；
48.图5c是本发明实施例提供的正常工作条件下的示波器图透射变换定位图；
49.图6a是本发明实施例提供的正常工作下透射变换后的电路红外热图；
50.图6b是本发明实施例提供的正常工作下透射变换后的电路可见光图；
51.图6c是本发明实施例提供的正常工作下透射变换后的示波器图；
52.图7a是本发明实施例提供的正常工作下的电路热图和可见光图融合图；
53.图7b是本发明实施例提供的正常工作条件下的三种图融合图；
54.图8a是本发明实施例提供的基于红外热图和可见光图模型训练准确率；
55.图8b是本发明实施例提供的基于红外热图和可见光图模型训练损失率；
56.图9a是本发明实施例提供的基于三种图融合的模型训练准确率；
57.图9b是本发明实施例提供的基于三种图融合的模型训练损失率；
58.图10a是本发明实施例提供的基于红外热图和可见光图的验证集混淆矩阵；
59.图10b是本发明实施例提供的基于三种图融合的验证集混淆矩阵。
具体实施方式
60.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
61.针对现有技术存在的问题，本发明提供了一种基于透射变换和卷积神经网络的电路红外热图故障诊断方法，下面结合附图对本发明作详细的描述。
62.一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
63.如图1所示，本发明实施例提供的基于透射变换和卷积神经网络的电路红外热图故障诊断方法包括以下步骤：
64.s101，对目标电路进行分析，获取电路热图、电路各故障条件下的可见光图和电路在示波器中的输出波形图；
65.s102，采用图像透射变换方法将同一故障条件下电路的光学图像、红外热图和示波器图进行异源融合，得到多种图的融合图像；
66.s103，将融合后的图像集经过增强后分为训练集和验证集，送入卷积神经网络模型进行训练分类，并验证卷积神经网络模型模型的准确率。
67.作为优选实施例，本发明实施例提供的基于透射变换和卷积神经网络的电路红外热图故障诊断方法，具体包括以下步骤：
68.步骤1，获取电路的可见光学图像、红外热图像和示波器图像；
69.步骤2，采用透射变换配准模型对获取的图像进行配准融合处理；
70.步骤3，进行图像增强后将图像集划分为训练集和验证集，确定模型参数及评价指标，并分别对卷积神经网络模型进行训练及改进优化。
71.本发明实施例提供的步骤1中，采用3块电路板为实验对象，每块电路板性能参数均相似且保证实验故障条件均相同，最后获取其对应故障条件下的三种图像。
72.本发明实施例提供的步骤2中，采用以透射变换配准模型为基础的任意四边形转矩形的算法对步骤一获取的图像进行配准融合，具体包括：
73.(1)读取待处理图像，顺时针选取四个点，顺序分别为左上、右上、右下和左下，将读取点的横纵坐标分别记录并将作为新的矩形顶点；利用选取的点的信息计算最优的单应射变换矩阵并进行透射变换，仅在四个点的范围内的像素通过透射变换留在新的图片中；
74.(2)将变换后的热图和可见光图统一大小后按照0.5:0.5的比例进行融合，得到正常工作条件下电路红外热图和可见光融合图；按照0.35:0.35:0.3的像素值占比融合示波器图后，得到示波器图、电路红外热图和可见光融合图。
75.本发明实施例提供的步骤3中的图像增强方法包括彩色转灰度、通道分离、直方图均衡化和图像旋转。图像集包括将原图通道分离后的蓝、绿和红图3种，灰度图1种和直方图均衡化1种以及原图共6种。考虑到拍摄时的角度误差，将6种图像进行左右5
°
内的旋转，间隔0.5
°
，共16种故障；按照2:1的比例将图像集划分为训练集和验证集，通过网络模型验证集的准确率确定故障判定的准确率。
76.本发明实施例提供的步骤3中的卷积神经网络模型是通过迁移学习并参考实际训练时训练集和验证集的准确率和损失率不断改进优化的模型，优化的参数包括学习率、迭
代次数、卷积层层数和卷积核个数、池化层层数和池化核个数。其中，优化后的卷积神经网络模型的结构包括：
77.卷积层1，输出形状为(62，62，8)，参数个数为224；
78.批标准化层1，输出形状为(62，62，8)，参数个数为32；
79.池化层1，输出形状为(31，31，8)，参数个数为0；
80.卷积层2，输出形状为(29，29，16)，参数个数为1168；
81.批标准化层2，输出形状为(29，29，16)，参数个数为64；
82.池化层2，输出形状为(14，14，16)，参数个数为0；
83.卷积层3，输出形状为(12，12，32)，参数个数为4640；
84.批标准化层2，输出形状为(12，12，32)，参数个数为128；
85.池化层2，输出形状为(6，6，32)，参数个数为0；
86.flatten层，输出形状为1152，参数个数为0；
87.全连接层1，输出形状为128，参数个数为147584；
88.dropout层1，输出形状为128，参数个数为0；
89.全连接层2，输出形状为64，参数个数为8256；
90.dropout层2，输出形状为64，参数个数为0；
91.全连接层3，输出形状为16，参数个数为1040。
92.本发明实施例提供的步骤3中，模型训练的评价指标包括准确率和损失率，准确率为分类正确的样本数除以整个样本数；损失率定义为网络前向传播计算得到的预测值与标准值的差距，损失率的计算方式包括均方差和交叉熵。
93.通过构建包含有关预测和实际类型信息的混淆矩阵评价指标，用于验证卷积神经网络模型对每一种故障的识别情况；同时，采用深度学习中的网络lenet5和vgg16分别对图像训练的结果进行对比。
94.本发明实施例提供的基于透射变换和卷积神经网络的电路红外热图故障诊断系统包括：
95.图像获取模块，用于获取电路的光学图像、红外热图像和示波器图像；
96.图像预处理模块，用于采用透射变换配准模型对图像进行配准融合处理；
97.模型训练模块，用于进行图像增强后将图像划分为训练集和验证集，确定模型参数及评价指标，并分别对卷积神经网络模型进行训练及改进优化。
98.二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
99.本文提出的基于ipt和cnn的基于透射变换和卷积神经网络的电路红外热图故障诊断方法把实际科研领域中使用的电路板作为研究对象，设计一系列人为故障并提取到了能表征该故障的红外热图、可见光图和示波器图，然后使用基于图像透射变换的方法将其融合送入卷积神经网络模型训练并验证，最终模型验证集的准确率可达97％左右，相比仅使用红外热图和可见光图提升了3.4％，相比经典神经网络lenet5提升了2.7％，相比vgg16准确率提升较小但训练用时缩短约15分钟，且损失值均有不同幅度的降低。实验结果表明，本文提出的诊断方法更优。
100.三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积
极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
101.1、相关基本理论介绍
102.自然界中，只要物体温度高于绝对零度，就会向外辐射红外波，利用这个特性，红外热像仪即使在漆黑的夜晚也可以正常工作。但由于热像仪像素的限制，仅使用红外热图提取特征少且较为单一，所以本发明先将分辨率较高的光学图片与其相融合，作为cnn模型训练的图像集。
103.1.1图像异源配准
104.图像配准是数字图像处理领域中的一个典型问题。从图像配准的定义出发，往往将同一种设备下拍摄到的图片之间的配准称为同源配准，不同设备下则称为异源配准。光学图像分辨率较高，但受外界环境影响较大；红外热图受外界光照影响较小，但像素较低。二者相结合可以更好地表征某一故障条件下的故障特征。图像配准过程用数学公式可表示为式1：
105.i2(x,y)＝i1(h(x,y))(式1)
106.其中，i2(x,y)为标准图片的灰度值，i1(x,y)为待配准图片的灰度值，h代表二维空间几何变换函数。通常h函数可用刚性变换，仿射变换和透射变换模型表示。
107.1.2图像配准模型
108.在图像变换领域，最基本的几何变换方式有平移变换、旋转变换和尺度变换也称缩放变换，在实际应用中，往往是两种或者多种变换的组合和变形。根据图像变换数学模型的复杂程度，可以将模型分为刚体变换、仿射变换和透射变换三种，本发明选用透射变换。
109.透射变换又称投影变换，它只保证第一幅图中的直线在第二幅图中仍为直线。从物理的角度看，透射变换是通过一个点，将第一幅图投影在另一个平面上的过程，留在这个平面上的影子即为变换图像。如式2：
[0110][0111]
其中，a2×2代表仿射变换参数，t2×1代表平移变换参数，v1×2代表投影变换参数，s是一个与变换参数相关的缩放因子。从公式的角度看，透射变换也称为单应性变换，往往完成一个投影变换的过程就是计算其单应矩阵的过程，这个过程可以看成二维图片在三维空间中变换成另一个二维图片。本发明使用透射变换对两幅图像内的任意四边形进行变换从而达到异源配准的目的。
[0112]
1.3卷积神经网络
[0113]
卷积神经网络作为深度学习的一个比较成熟的模型，在特征提取和建模上都有着天然的优势，尤其是在图像处理领域，凭借其局部连接，共享权值和池化操作的特性克服了以往深度学习中出现的一些难题，且随着训练数据集的显著增长和硬件计算能力的不断提高，逐渐占据了大众视野。卷积神经网络一般由多个卷积层，池化层和全连接层构成，在实际的应用中往往还会有标准化操作和激活层。
[0114]
(1)卷积层
[0115]
卷积层一般由多个特征面和相同数量的卷积核组成，每一个特征面又由多个神经
元组成，且通过卷积核与上一层相连。卷积计算公式为式3：
[0116][0117]
其中，i代表第i个卷积核，g(i)代表第i个卷积核卷积得到的特征图。a是输入图片的像素值，w和b分别为卷积核的权值和偏置。
[0118]
在卷积之后，为了实现模型的非线性，需要加入激活层对模型进行激活。目前使用较多的当属relu激活函数，可以很好地克服梯度消失问题。
[0119]
(2)池化层
[0120]
池化层一般紧跟在卷积层之后，也由多个特征面组成。池化核一般为2
×
2的结构，旨在降低特征面的分辨率来获得具有空间不变性的特征，这样一来，池化层的特征面就变成卷积层的1/4大小，起到二次提取特征的作用，降低了卷积神经网络模型的参数。池化操作中最常用到的池化方式是最大池化，其计算公式为式4：
[0121][0122]
其中，a
l(i,t
)表示第l层中，第i个特征图的第t个神经元，w是卷积核的宽度，j为第j个池化核。
[0123]
(3)全连接层
[0124]
在经过了多层的卷积池化之后，需要采用全连接的方式对特征面进行分类。全连接层的参数可占整个卷积神经网络模型参数的80％以上，因此，在实际的网络模型中也会采用正则化方法来缓解过拟合，即dropout技术。该技术可将隐藏层的部分神经元按一定比例从网络中临时舍弃，使其不参与前向传播和后向传播，使得模型更具有鲁棒性。
[0125]
在多分类问题上，全连接层一般采用softmax函数，它可以将一个神经元输出值转化为在所有神经元中占的比重，这个比重可以视为神经元的输出概率。目前，全连接层大都采用正则化加softmax函数对输出结果进行分类，并取得了很好的分类性能。
[0126]
2、实验
[0127]
本次实验整体上可划分为实验前和实验后。实验前需要选择热像仪、射频电路板等其他工具，并以实际操作的难易程度和安全性对实验进行改进；实验后需要选择图像处理和分类方法，并根据图像融合的效果和分类模型的准确率对方法或参数进行改进。具体的实验流程如图2所示。
[0128]
2.1实验硬件选取
[0129]
(1)红外热像仪的选取
[0130]
红外热像仪众参数中，决定其性能的主要决定性因素是它的红外分辨率，即像素。结合电路板上芯片和器件的大小和数量，本次实验采用上海巨哥红外分辨率为384
×
288的红外热成像仪，其基本参数指标均可以满足电路板的要求。
[0131]
(2)实验电路板的选取
[0132]
由于电路板上芯片和器件的大小和数量直接影响热图的可识别性，所以本次实验对象选用基于ad4351芯片的锁相环(pll)电路板。性能上可输出正弦波频率范围为35hz到300mhz，相位噪声小于80dbc。电路中包括一个ad4351pll芯片，是该电路板的核心芯片，主要完成频率的锁定；一个msp430f1611芯片，主要控制ad4351 pll芯片；一个pl-2303hx芯片
完成外部程序的烧录的和两个1117-5-3.3电源芯片分别给pll芯片和430芯片供电。除了芯片外还有芯片的外部滤波电路，包括电容电感电阻若干。电路板大小，芯片尺寸和元器件数量均可满足实验的要求。
[0133]
2.2电路故障设置
[0134]
(1)pll芯片外围电路故障设置：
[0135]
由于短路故障多数会导致电流太大而烧毁芯片，从而导致成本太高，所以设置原则为主要对在电路中决定关键功能的电感电阻电容的断路故障，且每一个故障对应芯片引脚的某一个功能，例如l3断路对应环路滤波器断路不工作，l4断路对应压控振荡器不工作等。
[0136]
(2)430芯片外围电路故障设置：
[0137]
由于430芯片外围电路较少，只有若干个无源晶振的滤波电容，因此只对电容进行分别断路。
[0138]
(3)电源芯片故障设置：
[0139]
两片电源芯片都是将5v转为3.3v再分别给pll芯片和430芯片供电，所以故障类型基本一致，即设置芯片的5v或者3.3v引脚断路故障。
[0140]
最终结合电路板安全工作的考虑和实际做实验过程中的操作难度，可以设置的故障包括pll芯片外围电路故障9种，430芯片外围电路故障2种，电源芯片故障4种，再加上电路正常时候的情况，共16种情况，如表1所示。
[0141]
表1电路故障情况编号及说明
[0142]
[0143]
2.3图像的预处理
[0144]
除了电路的热图，本发明实验还拍得电路各故障条件下的可见光图，也测得了电路在示波器中的输出波形。只要可以体现电路某一故障条件下的特征，均可用于描述此故障。由于故障类型和图片类型较多，只展示正常情况和故障13的三种图的对比；其中，正常工作条件下，电路红外热图如图3a所示，可见光图如图3b所示，示波器波形图如图3c所示；故障13条件下，电路红外热图如图4a所示，可见光图如图4b所示，示波器波形图如图4c所示。
[0145]
图中不难看出，故障13条件下电路板的红外热图、可见光图和示波器图均有所差异。理想情况下，只要故障类型不同，一种热图就可以描述该故障条件下的特征。但事实并非如此，很多情况下，由于电路的整体性，部分元件或者功能失效，对电路芯片或者元件发热量的影响微乎其微。所以需结合不同仪器设备下的电路故障情况来描述电路的故障特征。热图反映了电路板故障时热辐射信息，可见光图反映了电路板背景信息，示波器图反映了实际电路板的输出信息，三种图相结合可以更好、更全面地描述故障。
[0146]
在上述情况下，由于图像来源于三种不同的仪器设备，本发明的异源配准和传统的配准方法有所区别。结合电路板的图片特征，本发明采用以透射变换配准模型为基础的任意四边形转矩形的算法对上述图片进行配准融合，具体过程如下：
[0147]
(1)首先读取待处理图像，然后顺时针选取四个点，顺序分别为左上、右上、右下和左下，将读取点的横纵坐标分别记录并将其作为新的矩形的顶点。利用选取的点的信息计算最优的单应射变换矩阵并进行透射变换，只有在四个点的范围内的像素会通过透射变换留在新的图片中。
[0148]
其中，正常工作条件下，红外热图原图如图5a所示，可见光图原图如图5b所示，示波器波形图原图如图5c所示；正常工作下，经过透射变换的电路红外热图如图6a所示，电路可见光图如图6b，示波器图如图6c所示。
[0149]
(2)最后将变换后的热图和可见光图统一大小后按照0.5:0.5的比例进行融合，就得到了图7a；同样，按照0.35:0.35:0.3的像素值占比也融合示波器图后得到了图7b。
[0150]
2.4卷积训练过程
[0151]
(1)图像增强
[0152]
图像在生成、传输或变换的过程中，受外界光源、噪声等诸多因素的影响下，可能会出现亮度、对比度不足等情况，因此需要去改善图像质量，使其更适合人的视觉特性或者机器识别特性。本次实验用到了三块功能完全一致的锁相环电路板，其中两块板作为训练对象，一块板作为验证对象。另一方面，神经网络训练需要大量的图片，为了增加训练集图片的数量，需要采用图像增强的方法。
[0153]
本发明实验中使用的增强方法有彩色转灰度，通道分离，直方图均衡化和图像旋转。图像集包括将原图通道分离后的蓝、绿和红图3种，灰度图1种和直方图均衡化1种，加上原图共6种。考虑到拍摄图片的角度偏差，再将这6种图片进行左右5
°
内的旋转，间隔0.5
°
，最终每种故障得到360张图片，共16种故障。按照2:1的比例将其分为训练集和验证集，最终网络模型的验证集的准确率即可认为是故障判定的准确率。
[0154]
(2)模型参数及评价指标
[0155]
卷积神经网络模型中，决定其性能的参数主要是模型复杂度和学习率。模型复杂
度的计算集中在隐藏层，只要是在输入层到输出层之间的层统称为隐藏层。通常模型复杂度可理解为时间复杂度和空间复杂度的统称。学习率则代表卷积神经网络的学习能力，在模型中可以看成每次迭代参数更新的幅度。在实际模型中，可以设置的学习率往往是初始值，真正的学习率会随着迭代参数的变化幅度而做出调整，最常用的是指数衰减学习率。
[0156]
本次实验中的神经网络模型是通过迁移学习并参考实际训练时训练集和验证集的准确率和损失率不断改进优化的模型，主要优化的参数有学习率、迭代次数，卷积层层数和卷积核个数、池化层层数和池化核个数。优化后卷积神经网络模型结构如表2所示。
[0157]
表2优化的卷积神经网络模型
[0158][0159]
模型训练的好坏，需要一些评价指标，常用的评价指标有准确率，损失率。准确率是最常见的评价指标，其计算过程为分类正确的样本数除以整个样本数，通常来说准确率越高，模型越好，但实际上，分类正确的样本可能是以微弱优势分类正确。这个时候，损失率就可以更加准确地描述模型分类的情况。损失率定义为网络前向传播计算得到的预测值与标准值的差距，它的计算跟模型选用的损失函数有关，主流的计算方式有均方差和交叉熵，这两种计算方式在预测值和标准值接近时无明显区别，但当预测值偏离标准值较多时，均方差的惩罚力度会更大，而在分类问题上，交叉熵往往有更良好的应用。
[0160]
(3)训练结果及对比
[0161]
针对图片数量不足的问题，采用图片增强的方式来解决；针对某几种故障辨别度不高，采用热图结合可见光图和示波器图的方式来提高；针对卷积神经网络容易过拟合，采用增加图片像素点个数的方式和减少网络模型复杂度来缓解等。最终模型的识别结果中，
红外热图和可见光图中，模型训练准确率如图8a所示，模型训练损失率如图8b所示；红外热图、可见光图和示波器图中，模型训练准确率如图9a所示，模型训练损失率如图9b所示。
[0162]
从两图中可以看出，当训练次数达到100次时，验证集的准确率和损失率不再大幅度变换，代表cnn模型基本训练完毕。如图8a～图8b所示，融合红外热图和可见光图时的最终准确率为93.9％，损失值为0.20；对比图9a～图9b，加入了示波器图后模型的验证集最终准确率可达97.3％，损失率为0.09，均有所提升。说明当图像集为三种融合图时，对16种故障诊断结果更准确。
[0163]
为验证本发明模型对每一种故障的识别情况，本发明给出了包含有关预测和实际类型信息的混淆矩阵评价指标，如图10a～图10b所示；其中，验证集的混淆矩阵，两种图融合如图10a所示，三种图融合如图10b所示。
[0164]
其中，故障类型1到16分别对应f1到f16，x轴为预测到的类型数量，y轴为真实类型数量，每一类故障验证数量为120个。由图可得，当图像集采用三种图融合时，每一类故障的识别率均有所上升。如故障8和故障14，加入示波器图后的识别率可达100％，其他故障类型的验证集均会有若干误差。
[0165]
表3给出了采用深度学习中经典的两个网络lenet5和vgg16分别对图片训练的结果对比。其中，lenet5模型复杂度较低，vgg16模型复杂度极高，本发明的模型复杂度介于两者之间。由表3可知，本发明模型采用三种图融合图时的模型准确率最高，可达97％。lenet5模型复杂度较低，但准确率和损失值较高；vgg16准确率较高，但迭代用时过长。综上所述，本发明模型性能更优。
[0166]
表3不同图片集的训练结果
[0167][0168]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0169]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。