基于FasterRCNN算法的配电设备异常发热点红外图片检测方法与流程

基于faster rcnn算法的配电设备异常发热点红外图片检测方法
技术领域
1.本发明属于电力设备故障检测技术领域，涉及配电设备异常发热点红外图片目标检测方法，尤其是一种基于faster rcnn算法的配电设备异常发热点红外图片目标检测方法。


背景技术：

2.配电设备的红外异常发热状态监控与故障诊断对于电力系统安全稳定至关重要。长期以来，许多国内外学者一直致力于研究电力设备异常发热故障诊断方法，提出了电压分布法、脉冲电晕电流法、电场测量法、红外成像法等检测方法。其中，红外成像法是通过红外波段的辐射效应反应待测物体的温度高低，具有非接触、无损伤、可靠性高、测温面积大等优势。
3.国内红外成像技术的研究发展较为深入，近年来，国内很多输电线路、变电站已配备专门的巡检机器人及无人机专用的红外热成像仪，对配电设备进行红外巡检。
4.尽管如此，由于检测平台多样、红外监控设备点多面广、海量的红外图像数据积压、处理难度大、处理效率低等，都对巡检图像的信息挖掘和目标识别提出了更高的要求。传统的智能定位技术，采用人工设计的特征，如adaboost、边缘检测符，结合纹理、颜色、形状等浅层特征进行识别。这些算法具有准确率低、泛化能力较差，模型僵化等缺陷。
5.随着机器视觉的发展，一些具备智能化调参和样本自适应学习的目标识别模型应运而生。
6.随着人工智能深度学习理论体系的发展，2015年ross girshick团队提出了faster-rcnn模型，在coco检测大赛一举夺魁，实现了目标检测准确率与测试速度的双优突破。该算法在rcnn和fast-rcnn的基础上进行了改进，引入了区域建议网络(region proposal network，rpn)用来提取检测区域，将检测步骤统一到一个深度网络框架之内，大大提升了检测速度和效率。目前，faster-rcnn模型应用于电力设备异常发热目标诊断的研究还处于初步阶段。
7.随着红外热成像检测技术在变电站巡检机器人及输电线路无人机等检测平台的广泛应用，定期大量的红外图片需要人工进行分级诊断。同时在配电设备带电红外检测的过程中面临伪彩色类型多样、背景干扰复杂、拍摄角度不一、红外图像叠加图形字符等多种干扰因素，对红外图像种异常发热故障点的智能识别造成了一定的挑战和困难。
8.因此，本发明提出了一种基于faster rcnn算法的配电设备异常发热点红外图片检测方法。
9.经检索，未发现与本发明相同或相近似的现有技术的文献。


技术实现要素：

10.本发明的目的在于克服现有技术的不足，提出一种基于faster rcnn算法的配电
设备异常发热点红外图片检测方法，采用人工智能深度学习理论体系中改进的faster-rcnn算法模型，通过对现场红外异常发热图像数据样本收集，进行算法模型的训练及验证，最终实现配电设备红外图像异常发热故障点目标识别。
11.本发明解决其现实问题是采取以下技术方案实现的：
12.一种基于faster-rcnn算法的配电设备异常发热点红外图片检测方法，包括以下步骤：
13.步骤1、构建faster rcnn目标损失函数，包括分类损失函数和回归损失函数；
14.步骤2、基于步骤1所构建的faster rcnn目标损失函数构建异常发热点红外图像检测算法，该异常发热点红外图像检测算法fast r-cnn算法模型和区域建议网络rpn两个网络结构部分。
15.步骤3、对步骤2的异常发热点红外图像检测算法中区域建议网络rpn和fast r-cnn网络进行训练，不断优化学习至共享特征，进而红外图片故障点识别与定位的结果；
16.而且，所述步骤1的具体方法为：
17.构建faster rcnn目标损失函数公式如下所示：
[0018][0019]
其中，目标损失函数包括分类损失和回归损失两个部分；在损失函数中,下标i为1个最小训练步长(mini-batch)中某个参考窗口(anchor)；pi为该第i个参考窗口为检测目标的概率，当参考窗口为负样本时当参考窗口为正样本时由此可知，回归损失项仅会在参考窗口为正样本情况下才会被激活；ti＝{t
x
,ty,tw,th}为向量，表示该预测的包围框的x坐标、y坐标、宽度w、高度h这4项参数化坐标，是与正样本参考窗口的标注框的坐标向量。λ参数用来权衡分类损失l
cls
和回归损失l
reg
，默认值λ＝10；n
cls
和n
reg
分别用来标准化分类损失项l
cls
和回归损失项l
reg
，默认用最小训练步长值为256设置n
cls
，用参考窗口位置数值至2400的范围区间初始化n
reg
。
[0020]
其中，所述步骤1中的分类损失函数和回归损失函数如下所示：
[0021]
为分类损失函数，表示为:
[0022][0023]
l
reg
为回归损失函数，表示为，
[0024][0025]
其中，r函数的定义如下所示，
[0026][0027]
pi为该第i个参考窗口为检测目标的概率，当参考窗口为负样本时为该第i个参考窗口为检测目标的概率，当参考窗口为负样本时当参考窗口为正样本时由此可知，回归损失项仅会在参考窗口为正样本情况下才会被激活；ti＝{t
x
,ty,tw,th}为向量，表示该预测的包围框(bounding box)的x坐标、y坐标、宽度w、高度h这4项参数化坐标，是与正样本参考窗口的标注框(ground truth bounding box)
的坐标向量。l
cls
为分类损失和l
reg
为回归损失。
[0028]
而且，所述步骤2的具体步骤包括：
[0029]
步骤2.1：向由13层卷集层、13层relu层、4层池化层构成的zf深度卷积网络模型输入任意大小图片；
[0030]
步骤2.2：经过zf网络前向传播至最后共享的卷积特征图，一方面输入至候选区域网络得到位置坐标以及分类得分信息，另一方面在roi池化层与卷积特征图融合，提取对应区域建议的特征；
[0031]
步骤2.3：经过多层全连接层输出该区域的分类得分以及检测检测定位的坐标框，将输出的分类得分及坐标框位置叠加在输入图片上，输出展示输入红外图片故障点识别与定位的结果。
[0032]
而且，所述步骤3的具体步骤如下：
[0033]
步骤3.1：区域建议网络rpn预训练：采用异常发热红外图片样本集使得rpn网络被zf网络进行有监督预训练，具体通过反向传播和随机梯度下降进行端到端训练；依照fast r-cnn中的“image-centric”采样略训练这个网络；每个最小步长由包含了许多正负样本的单个图像组成；同时采用标准差0.01均值为0的高斯分布对新增的层随机初始化；
[0034]
步骤3.2：fast r-cnn网络预训练：采用异常发热红外图片样本集进行zf模型的卷积神经网络的有监督预训练，利用其训练结束时生成的网络参数作为联合训练的初始化参数；
[0035]
步骤3.3：rpn网络微调训练:rpn网络微调训练的正样本来源于与人工标记框；与算法生成锚备选框；重合度大于70％的数据样本，负样本来源于小于30％重合度的算法生成备选框；正样本仅表示前景，负样本仅表示背景；回归操作仅针对正样本进行；训练时弃用所有超出图像边界的算法生成备选框；对去掉超出边界后的算法生成的备选框集采用非极大值抑制；固定共享卷积层，即设置其学习速率为零，不进行参数更新，仅微调rpn网络独有层的网络参数，实现共享卷积。
[0036]
步骤3.4：fast r-cnn网络微调训练：fast r-cnn网络微调训练的正样本来源于人工标记框与算法生成备选框重合度大于阈值区域建议的数据样本，负样本来源于人工标记框与算法生成备选框重合度小于阈值区域建议的数据样本，仅微调fast r-cnn独有的层，至此形成共享卷积模型的统一网络。
[0037]
本发明的优点和有益效果：
[0038]
本发明提出了一种基于区域建议网络faster rcnn算法的配电设备异常发热点红外图片检测方法，一定程度上可以将faster rcnn算法简单的理解为“fast rcnn rpn(候选区域网络)”这两部分构成，采用候选区域网络构架替换fast rcnn方法中的选择性搜索方法，实现了更为快速的生成候选区域以及rpn和fast rcnn网络共享参数。
[0039]
同传统滑窗方法提取区域建议的思路相比，采用候选区域网络更具优势。传统方法是训练一个能检测物体的网络，然后对整张图片进行滑窗判断，由于无法判断区域建议的尺度和长宽比，所以需要多次缩放，这样找出一张图片有物体的区域就会很慢；虽然候选区域网络也是用滑动窗口策略，但是滑动窗口是在卷积层特征图上进行的，由于中间包括多次池化层的计算使得图像维度较原始图像大幅降低，rpn采取了9种不同尺度不同长宽比的锚参考窗口(anchors)，同时最后进行了包围框(bounding box)回归，即使是这九种参考
窗口外的区域也能得到一个跟目标比较接近的区域建议。
[0040]
试验测试结果表明，本发明可以从较为复杂的检测背景中以较高的准确率将红外图像中的配电设备异常发热故障点识别定位出来，具备较好的检测效果。为配电设备红外检测故障点智能定位检测提供了更加精准高效的检测思路。
附图说明
[0041]
图1是本发明算法原理框架图；
[0042]
图2是本发明的训练数据集部分典型样本图；
[0043]
图3是本发明的模型综合训练流程图；
[0044]
图4是本发明的置信度阈值与准确率关系图；
[0045]
图5是本发明的算法检测结果图。
具体实施方式
[0046]
以下结合附图对本发明实施例作进一步详述：
[0047]
一种基于faster-rcnn算法的配电设备异常发热点红外图片检测方法，包括以下步骤：
[0048]
步骤1、构建faster rcnn目标损失函数，包括分类损失函数和回归损失函数；
[0049]
所述步骤1的具体方法为：
[0050]
构建faster rcnn目标损失函数公式如下所示：
[0051][0052]
模型训练过程中损失函数的逐渐收敛是模型的成功训练的基础。
[0053]
其中，目标损失函数包括分类损失和回归损失两个部分；在损失函数中,下标i为1个最小训练步长(mini-batch)中某个参考窗口(anchor)；pi为该第i个参考窗口为检测目标的概率，当参考窗口为负样本时当参考窗口为正样本时由此可知，回归损失项仅会在参考窗口为正样本情况下才会被激活；ti＝{t
x
,ty,tw,th}为向量，表示该预测的包围框(bounding box)的x坐标、y坐标、宽度w、高度h这4项参数化坐标，是与正样本参考窗口的标注框(ground truth bounding box)的坐标向量。λ参数用来权衡分类损失l
cls
和回归损失l
reg
，默认值λ＝10；n
cls
和n
reg
分别用来标准化分类损失项l
cls
和回归损失项l
reg
，默认用最小训练步长值(mini-batch size)为256设置n
cls
，用参考窗口位置数值至2400的范围区间初始化n
reg
。
[0054]
其中，所述步骤1中的分类损失函数和回归损失函数如下所示：
[0055]
为分类损失函数，表示为:
[0056][0057]
l
reg
为回归损失函数，表示为，
[0058][0059]
其中，r函数的定义如下所示，
[0060][0061]
pi为该第i个参考窗口为检测目标的概率，当参考窗口为负样本时本时当参考窗口为正样本时由此可知，回归损失项仅会在参考窗口为正样本情况下才会被激活；ti＝{t
x
,ty,tw,th}为向量，表示该预测的包围框(bounding box)的x坐标、y坐标、宽度w、高度h这4项参数化坐标，是与正样本参考窗口的标注框(ground truth bounding box)的坐标向量。l
cls
为分类损失和l
reg
为回归损失。
[0062]
步骤2、基于步骤1所构建的faster rcnn目标损失函数构建异常发热点红外图像检测算法，该异常发热点红外图像检测算法fast r-cnn算法模型和区域建议网络(rpn)两个网络结构部分。
[0063]
所述步骤2的具体步骤包括：
[0064]
步骤2.1：向由13层卷集层、13层relu层(修正线性单元)、4层池化层构成的zf深度卷积网络模型输入任意大小图片；训练数据集中部分典型样本如图2所示。
[0065]
步骤2.2：经过zf网络前向传播至最后共享的卷积特征图，一方面输入至候选区域网络得到位置坐标以及分类得分信息，另一方面在roi池化层与卷积特征图融合，提取对应区域建议的特征；
[0066]
步骤2.3：经过多层全连接层输出该区域的分类得分以及检测检测定位的坐标框，将输出的分类得分及坐标框位置叠加在输入图片上，输出展示输入红外图片故障点识别与定位的结果。
[0067]
步骤3、对步骤2的异常发热点红外图像检测算法中区域建议网络rpn和fast r-cnn网络进行训练，不断优化学习至共享特征，进而红外图片故障点识别与定位的结果；
[0068]
在本实施例中，由于faster r-cnn算法原理框架图包括fast r-cnn算法模型和区域建议网络(rpn)两个网络结构部分。rpn和fast r-cnn都是独立训练的，要用不同方式修改它们的卷积层。这不仅仅是定义一个包含了rpn和fast r-cnn的单独网络，然后用反向传播联合优化它那么简单。因此本发明开发了一种允许两个网络间共享卷积层的技术，而不是分别学习两个网络。其中，模型的综合训练流程如图3所示，通过4步交替训练方法，不断优化学习至共享特征。
[0069]
所述步骤3的具体步骤如下：
[0070]
步骤3.1：区域建议网络rpn预训练:采用异常发热红外图片样本集使得rpn网络被zf网络进行有监督预训练，具体通过反向传播(back-propagation，bp)和随机梯度下降(stochastic gradient descent，sgd)进行端到端训练。依照fast r-cnn中的“image-centric”采样略训练这个网络。每个最小步长由包含了许多正负样本的单个图像组成。同时采用标准差0.01均值为0的高斯分布对新增的层随机初始化。
[0071]
步骤3.2：fast r-cnn网络预训练:采用异常发热红外图片样本集进行zf模型的卷积神经网络的有监督预训练，利用其训练结束时生成的网络参数作为联合训练的初始化参数。
[0072]
步骤3.3：rpn网络微调训练:rpn网络微调训练的正样本来源于与人工标记框(ground truth)与算法生成锚备选框(anchors)重合度(io u)大于70％的数据样本，负样
本来源于小于30％重合度的算法生成备选框。正样本仅表示前景，负样本仅表示背景；回归操作仅针对正样本进行；训练时弃用所有超出图像边界的算法生成备选框，否则在训练过程中会产生较大难以处理的修正误差项，导致训练过程无法收敛；对去掉超出边界后的算法生成的备选框集采用非极大值抑制。固定共享卷积层，即设置其学习速率为零，不进行参数更新，仅微调rpn网络独有层的网络参数，实现共享卷积。
[0073]
步骤3.4：fast r-cnn网络微调训练:fast r-cnn网络微调训练的正样本来源于人工标记框与算法生成备选框重合度大于阈值区域建议的数据样本，负样本来源于人工标记框与算法生成备选框重合度小于阈值区域建议的数据样本，仅微调fast r-cnn独有的层，至此形成共享卷积模型的统一网络。
[0074]
同传统滑窗方法提取区域建议的思路相比，采用候选区域网络更具优势。传统方法是训练一个能检测物体的网络，然后对整张图片进行滑窗判断，由于无法判断区域建议的尺度和长宽比，所以需要多次缩放，这样找出一张图片有物体的区域就会很慢；虽然候选区域网络也是用滑动窗口策略，但是滑动窗口是在卷积层特征图上进行的，由于中间包括多次池化层的计算使得图像维度较原始图像大幅降低，rpn采取了9种不同尺度不同长宽比的锚参考窗口(anchors)，同时最后进行了包围框(bounding box)回归，即使是这九种参考窗口外的区域也能得到一个跟目标比较接近的区域建议。
[0075]
基于上述的步骤1、2、3，进行了如下的仿真实验。
[0076]
本发明使用的计算机平台系统为ubuntu14.04，深度学习框架为caffe。共使用了1270张图片进行训练，在图片训练之前进行异常发热点的人工标记，然后整理成符合voc标准图片集标准格式的训练集，完成后使用faster r-cnn(使用zf网络模型提取卷积特征)进行多步骤训练，每个步骤迭代训练次数为1000次，学习速率为0.001。
[0077]
对已经训练好的模型进行测试发现，不同的阈值对检测结果影响较大，这里先对检测置信度阈值进行讨论。当检测定位框中的置信度数值大于阈值时，代表该测试图片具有异常发热点，采用定位框进行标记，且定位框内的发热点为模型网络所定位识别到的目标；当检测定位框中的置信度数值小于阈值时，则代表该测试图片没有异常发热点，即该定位框被忽略不计。因此，找出合理恰当的置信度阈值对于平衡误检测和漏检测具有重要意义。
[0078]
随机抽取24张红外异常发热故障测试图像进行不用阈值下的测试，红外异常发热故障识别的准确率由识别的误检率和漏检率共同构成，设置不同置信度阈值下，异常发热点识别的准确率如图4所示。结果表明，在置信度阈值设置为0.4时，其误检率和漏检率相对均衡，都保持在相对较低的水平，识别检测的效果为最佳。
[0079]
置信度阈值设置为效果最佳的0.4时，24张红外异常发热故障测试图片进行本文算法检测后的结果如图5所示。在图5中可以发现，共有21张红外异常发热故障点被检测并用红色方框进行了标识，所有故障点没有出现漏检的情况，被算法检测并自动标识标记框的置信度得分整体处于较高水平，具体置信度得分分别为:0.770、0.655、0.941、0.691、0.407、0.690、0.475、0.993、0.949、0.988、0.734、0.412、0.576、0.946、0.749、0.466、0.952、0.934、0.603、0.592、0.963。结果表明，通过本发明的方法可以较为有效的排除红外图片中的多种干扰因素，自动诊断并标识出红外异常发热点故障。
[0080]
试验测试结果表明，本文使用的基于faster rcnn算法的配电设备异常发热点红
外图片检测方法，可以从较为复杂的检测背景中以较高的准确率将红外图像中的异常发热故障点识别定位出来，具备较好的检测效果。
[0081]
本发明的工作原理是：
[0082]
faster rcnn算法有两部分组成，如图1和图2所示，包括：1)rpn候选框提取模块；2)fast r-cnn检测模块。其中，rpn是全卷积神经网络，用于提取候选框；fast r-cnn基于rpn提取的proposal检测并识别proposal中的目标。一定程度上可以将faster rcnn算法简单的理解为“fast rcnn rpn(候选区域网络)”这两部分构成，采用候选区域网络构架替换fast rcnn方法中的选择性搜索方法，实现了更为快速的生成候选区域以及rpn和fast rcnn网络共享参数。
[0083]
图3所示为算法原理框架图，首先，向由13层卷集层、13层relu层(修正线性单元)、4层池化层构成的zf深度卷积网络模型输入任意大小图片；训练数据集中部分典型样本如图2所示。经过zf网络前向传播至最后共享的卷积特征图。一方面输入至候选区域网络得到位置坐标以及分类得分信息，另一方面在roi池化层与卷积特征图融合，提取对应区域建议的特征；经过多层全连接层输出该区域的分类得分以及检测检测定位的坐标框，将输出的分类得分及坐标框位置叠加在输入图片上，输出展示输入红外图片故障点识别与定位的结果。
[0084]
需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。