一种检测模型生成方法及绝缘子缺陷检测方法与流程

1.本发明涉及一种检测模型生成方法及绝缘子缺陷检测方法，属于计算机视觉技术领域。


背景技术：

2.绝缘子是输电线路中重要的电力设备之一，以其优越的绝缘性能在输电线路中负责固定载流导体，防止电流回地，是不可或缺的电力设备。绝缘子故障是电网安全稳定运行的重要威胁之一，相关数据显示，每年绝缘子故障引发的事故超过电网故障的一半。因此，绝缘子的维护已成为电网检修的首要任务。
3.同时随着无人机电力巡检系统的不断发展，无人机航拍图像数据日益丰富，航拍图像的智能分析引起了国内外学者的广泛关注。作为保障输电线路安全稳定的首要设备，绝缘子缺陷检测得到了研究者的重视。绝缘子的智能识别是通过提取图像的手工特征或者深度特征，来获取绝缘子的位置信息和状态信息。整个过程通常包括：预处理、特征提取、分割及类别划分等流程。由于含有绝缘体信息的图像特征复杂，通过浅层的学习技术识别绝缘子的缺陷的结果不显著。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种检测模型生成方法及绝缘子缺陷检测方法，以提高绝缘子缺陷检测结果的准确性。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.第一方面，本发明提供了一种检测模型生成方法，所述检测模型包括教师网络和学生网络，所述生成方法包括：
7.将标注有检测结果的图像样本输入至当前教师网络，获取当前教师网络的检测结果；
8.根据当前教师网络的检测结果，计算当前教师网络的损失分布，并为当前学生网络生成标签；
9.将标注有检测结果的图像样本输入至当前学生网络，获取当前学生网络的检测结果；
10.将当前教师网络所生成的标签蒸馏至当前学生网络中，结合当前学生网络的检测结果计算当前学生网络的损失分布，并根据当前学生网络的损失分布优化当前学生网络权重；
11.根据当前教师网络的损失分布、当前学生网络的损失分布分别计算当前教师网络和当前学生网络的评价指标，根据评价指标动态切换教师网络和学生网络，重复上述步骤直至迭代次数为零，从而生成所述检测模型。
12.结合第一方面，进一步的，所述教师网络采用概率锚分配与resnet50网络相结合作为主干网络。
13.结合第一方面，进一步的，所述学生网络采用概率锚分配与resnet101网络相结合作为主干网络。
14.结合第一方面，进一步的，为当前学生网络生成标签的方法包括：
15.将当前教师网络的检测结果作为软标签，通过当前教师网络动态分配获取硬标签。
16.结合第一方面，进一步的，通过下述kl散度公式计算当前学生网络的损失分布：
[0017][0018]
其中，p
t
为教师网络动态分配的硬标签，ps表示学生网络的预测标签，c是数据集中共c个类的索引，wc是焦点项。
[0019]
结合第一方面，进一步的，所述评价指标包括标准差/平均分数和费舍尔分数；
[0020]
其中，所述标准差/平均分数的表达式如下：
[0021][0022]
所述费舍尔分数的表达式如下：
[0023][0024]
式中：ρ
σ/μ
指图像像素的标准差/平均分数；σ指图像像素的标准差；μ指各类图像像素的均值；ρ
fisher
是费舍尔准则函数；μ

，μ-分别指各类标签正、负图像样本的像素均值，分别是图像内和图像总类的离散度。
[0025]
第二方面，本发明提供一种绝缘子缺陷检测方法，所述检测方法包括：
[0026]
获取绝缘子图像及按照第一方面任一项所述生成方法生成检测模型；
[0027]
将所述绝缘子图像输入至所述检测模型中，根据检测模型输出的检测结果获取绝缘子缺陷检测结果。
[0028]
结合第二方面，进一步的，将所述绝缘子图像输入至所述检测模型之前，对绝缘子图像中较短边随机缩放到640～800pix的范围内。
[0029]
结合第二方面，进一步的，在教师网络的概率锚分配中，选择具有重叠度iou≥0.1的锚{ai}标记绝缘子的缺陷点。
[0030]
结合第二方面，进一步的，将ci＜μ1的锚分配为正，并将其余锚重新分为负；
[0031]
正锚的分配损失定义为：
[0032]ci
＝fl(pi,c) (1-iou(bi,b))
[0033]
其中，ci指正锚的分配损失；fl是焦点损失，pi，bi分别是锚ai的预测类概率和边界框，c和b是目标的基本真值类和边界框；通过混合两个高斯分布建立了{ci}的分布模型：g(μ1,σ1) g(μ2,σ2)，其中μ1＜μ2，μ1指基本真值类均值；σ1指基本真值类标准差；μ2指边界框的位置坐标系均值；σ2指边界框的位置坐标系标准差。
[0034]
与现有技术相比，本发明所达到的有益效果：
[0035]
本发明提供的检测模型生成方法引入了协同学习标签分配蒸馏，允许教师网络和学生网络基于动态切换准则相互训练，动态切换师生关系，该过程不再依赖于单一网络，因
此，可以降低局部最小陷阱的风险，使检测模型更具适应性；从而使采用该检测模型的绝缘子缺陷检测方法具有更高的准确性和鲁棒性。
附图说明
[0036]
图1是本发明实施例提供的一种检测模型生成方法的流程图；
[0037]
图2是本发明实施例提供的一种绝缘子缺陷检测方法的原理框图。
具体实施方式
[0038]
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本技术实施例以及实施例中的具体特征是对本技术技术方案的详细的说明，而不是对本技术技术方案的限定，在不冲突的情况下，本技术实施例以及实施例中的技术特征可以相互组合。
[0039]
实施例一：
[0040]
图1是本发明实施例提供的一种检测模型生成方法的流程图。本流程图仅仅示出了本实施例所述方法的逻辑顺序，在互不冲突的前提下，在本发明其它可能的实施例中，可以以不同于图1所示的顺序完成所示出或描述的步骤。
[0041]
需要说明的是：所述检测模型包括教师网络和学生网络，本发明实施例提供的检测模型生成方法引入了协同学习标签分配蒸馏，允许教师网络和学生网络基于动态切换准则相互训练，动态切换师生关系，该过程不再依赖于单一网络，因此，可以降低局部最小陷阱的风险，使检测模型更具适应性。本实施例提供的检测模型生成方法可应用于终端，可以由检测模型生成装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在终端中，例如：任一具备通信功能的智能手机，平板电脑或计算机设备。
[0042]
在执行本方法之前，应首先选取多张样本图像构建数据集/样本集，样本集中的图像样本应标注有检测结果，以对检测模型的检测结果进行校验，对模型中的相关参数进行优化。样本集中的图像样本均裁剪为矩形，其中较短边随机缩放到640到800pix的范围内，同样的，后续应用该检测模型进行目标检测时，也应参照图像样本对待检测图像进行预处理。
[0043]
参见图1，本实施的方法具体包括如下步骤：
[0044]
步骤一：将标注有检测结果的图像样本输入至当前教师网络，获取当前教师网络的检测结果；
[0045]
在本发明实施例中教师网络和学生网络的结构几乎相同。作为本发明的一种实施例，教师网络可以采用概率锚分配与resnet50网络相结合作为主干网络，但为了学生网络的性能更进一步的提升，学生网络可以采用更大主干网resnet101网络，即学生网络采用概率锚分配与resnet101网络相结合作为主干网络。在首次迭代循环开始前，可以随机指定其中一个网络作为当前教师网络，后续基于动态切换准则相互训练，动态切换师生关系。
[0046]
在概率锚分配中，本发明实施例为每个目标选择一组具有重叠度iou≥0.1的锚{ai}，这些锚将用来标记检测目标，正锚的分配损失定义为：
[0047]ci
＝fl(pi,c) (1-iou(bi,b))
[0048]
其中，网络在预先分配的正锚上评估的分配损失的集合为{ci}；ci指正锚的分配损失；fl是焦点损失，pi，bi分别是锚ai的预测类概率和边界框，c和b是目标的基本真值类和边
界框；通过混合两个高斯分布建立了{ci}的分布模型：g(μ1,σ1) g(μ2,σ2)，其中μ1＜μ2，μ1指基本真值类均值；σ1指基本真值类标准差；μ2指边界框的位置坐标系均值；σ2指边界框的位置坐标系标准差。
[0049]
步骤二：根据当前教师网络的检测结果，计算当前教师网络的损失分布，并为当前学生网络生成标签；
[0050]
教师网络为学生网络生成标签的方法有两种方式实现：
[0051]
(1)使用当前教师网络的检测结果作为软标签；
[0052]
(2)通过当前教师网络动态分配获取硬标签。
[0053]
步骤三：将标注有检测结果的图像样本输入至当前学生网络，获取当前学生网络的检测结果；
[0054]
步骤四：将当前教师网络所生成的标签蒸馏至当前学生网络中，结合当前学生网络的检测结果计算当前学生网络的损失分布，并根据当前学生网络的损失分布优化当前学生网络权重；
[0055]
本发明实施例使用协同学习标签分配蒸馏将教师网络分配的标签传入学生网络。使用kullback-leibler散度作为学生的损失，继焦点损失之后，本发明实施例还添加了焦点项来处理极端不平衡问题。kullback-leibler散度公式如下：
[0056][0057]
其中，p
t
为教师动态分配的硬标签，ps表示学生的预测标签，c是数据集中共c个类的索引，wc是焦点项。与分类损失不同，局部化损失仅针对正样本进行计算。因此，本发明实施例选择重叠度iou＞0.5的预测框进行本地化提取。
[0058]
标签分配蒸馏(lad)是一种简单有效的网络蒸馏方法，它需要一名预训练的教师网络，而且可能被困在局部极小值。因此，为了避免这些缺点并结合它们的优点，本发明实施例提出了协同学习标签分配蒸馏(co-learning label assignment distillation)。协同学习标签分配蒸馏不需要预先训练教师网络，以及可以避免陷入局部极小值。具体来说，本发明实施例使用两个类似于lad的独立网络，但它们都不必经过预训练，可以根据预构建的训练指标ρ动态切换教师网络和学生网络的角色，通过这种动态切换过程获取到正负锚点分布，从而提取图像的特征，来获取目标信息，从而实现目标检测结果。
[0059]
步骤五：根据当前教师网络的损失分布、当前学生网络的损失分布分别计算当前教师网络和当前学生网络的评价指标，根据评价指标动态切换教师网络和学生网络，重复上述步骤直至迭代次数为零，从而生成所述检测模型。
[0060]
在本发明实施例中提出了ρ的两个评价标准。第一种评价标准为标准差/平均分数，公式为：
[0061][0062]
第二种评价标准为费舍尔分数ρ
fisher
，公式为：
[0063]
[0064]
式中：ρ
σ/μ
指图像像素的标准差/平均分数；σ指图像像素的标准差；μ指各类图像像素的均值；ρ
fisher
是费舍尔准则函数；μ

，μ-分别指各类标签正、负图像样本的像素均值，分别是图像内和图像总类的离散度。
[0065]
在每次迭代中，可以选择ρ
fisher
较高的网络作为下一迭代中的教师网络。因此，通过动态切换师生关系，该过程不再依赖于单一网络，随机打破了训练自我分配的循环；由于网络初始化，这也会在初始训练时带来更多的随机性，因此有可能降低局部最小陷阱的风险；使用协同学习标签分配蒸馏方法，在早期训练中固定教师网络，学生网络向教师网络学习。而当学生网络逐渐提高并有可能超越教师网络时，它可以切换到自我蒸馏模式，通过这种动态切换过程获取到正负锚点分布，从而提取图像的特征，来获取检测目标的相关信息，从而实现目标检测。
[0066]
实施例二：
[0067]
图2是本发明实施例提供的一种绝缘子缺陷检测方法的原理框图，本发明实施例提供的绝缘子缺陷检测方法基于实施例所述的检测模型实现，因此，未在本实施例中详尽描述的内容可以参见实施例一。
[0068]
参见图2，本发明实施例提供的绝缘子缺陷检测方法包括如下步骤：
[0069]
步骤1：获取绝缘子图像及按照实施例一所述生成方法生成检测模型；
[0070]
步骤2：将所述绝缘子图像输入至所述检测模型中，具体而言是分别输入至检测模型的教师网络和学生网络中，根据检测模型输出的检测结果获取绝缘子缺陷检测结果。
[0071]
绝缘子的缺陷点作为本发明实施例的检测目标，可以选择一组具有重叠度iou≥0.1的锚{ai}来标记。本发明实施例通过这种动态切换过程获取到正负锚点分布，从而提取图像的特征，来获取绝缘子的位置信息和状态信息，最终实现绝缘子检测，可以更高效的检测出绝缘子缺陷。
[0072]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0073]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0074]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0075]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0076]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。