一种基于迁移互学习的小样本电力设备图像分类方法

1.本发明涉及小样本图像分类技术领域，尤其涉及一种基于迁移互学习的小样本电力设备图像分类方法。


背景技术：

2.近年来，深度学习技术在诸如图像分类、目标检测和语义分割等计算机视觉任务中取得突破性发展。然而，在训练样本数目非常少的情况下，深度学习模型往往出现过拟合，其性能远远不能令人满意。相比之下，人类视觉只需要少量示例样本就能识别大量物体，并且具有快速理解新概念并将其泛化的能力。在这种强大学习能力的启发下，小样本学习逐渐成为计算机视觉和机器学习领域中的研究热点。
3.为了保证电力设备的安全可靠运行，电力公司需要对电力设备进行定期巡检。为了减轻人工巡检工作量，电力行业目前已投入大量智能巡检设备，通过人工智能图像处理算法代替人工完成设备巡检。
4.图像分类任务是电力设备智能巡检的重要一环。传统的人工智能算法需要大量的数据才能训练出较高分类精度的模型。由于电力设备的安全性和敏感性等原因，传统技术很难获得大量的电力设备图像。因此如何通过有限的图像数据集训练出高效的人工智能模型是目前电力设备图像分类的一大挑战。
5.目前，基于迁移学习的小样本图像分类方法虽然能够解决训练样本不足的问题，但是研究中发现迁移模型在训练过程中仍然存在过拟合现象。为了进一步提高小样本图像分类的性能，寻求一种具有较好泛化性能且适用于电力设备巡检场景的图像分类算法，显得尤为重要。


技术实现要素：

6.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于迁移互学习的小样本电力设备图像分类方法，该方法能够通过两个模型互学习的方式提高主干网络模型特征提取能力，最后迁移至新的分类器，完成对未可见类别的样本的分类决策；同时，该方法只需要少量图像数据，即可训练出高精度的分类模型，非常适用于电力设备巡检场景。
7.为了实现上述目的，本发明采用了如下技术方案：
8.一种基于迁移互学习的小样本电力设备图像分类方法，具体步骤如下：
9.步骤1、对输入电力设备图像数据进行裁剪、旋转扩充预处理；
10.步骤2、构建两个互学习的小样本迁移模型t1和t2，模型t1通过参数为θ1的主干网络提取电力设备图像特征，通过参数为的基类分类器进行基类标签预测，通过参数为τ1的旋转分类器进行旋转标签预测；同样地，对于模型t2，其主干网络、基类分类器以及旋转分类器的参数分别为θ2，τ2；
11.步骤3、将预处理后的电力图像样本输入到模型t1和t2中，经过主干网络提取得到d维的特征张量，然后将特征张量传入基类分类器与旋转分类器得到基类分类值和旋转分类
值；
12.步骤4、将t1和t2模型同时进行预训练，计算每个模型对应的交叉熵损失函数l
ce
和自监督损失函数l
ssl
以及它们之间的互信息损失函数l
kd
，从而得到总的损失函数，并基于总损失函数计算梯度分别对t1和t2中的参数进行优化从而完成预训练过程；
13.步骤5、任意选择t1和t2中的一个模型，将模型的主干网络迁移到新的分类器上，对新的电力设备类别的图像样本进行预测。
14.优选地，步骤1的具体步骤如下：
15.步骤1.1、对每个图像分别以图像矩形的四个顶点和中心点为起点，并按图像面积的80％裁剪5次并保存；然后再对扩充后的每个图像分别旋转0
°
,45
°
,90
°
以及180
°
并保存。
16.步骤1.2、对来自同一个图像的裁剪和旋转图像赋予原图相同的基类标签，第m个图像对应基类标签为ym，ym∈{1,2,
…
,cb}，cb为基类标签类别数量。再
17.根据其旋转角度确定对应旋转标签为
18.优选地，所述步骤2中，主干网络嵌入glsca局部空间注意力模块，该模块通过融合图像每个像素点周围5x5的空间向量信息，更有效地提取电力设备轮廓信息。
19.优选地，步骤3的具体步骤如下：
20.步骤3.1、对于模型t1，第m个图像xm经过主干网络提取得到d维的特征表示为f
θ1
(xm)，基类预测分类器和旋转预测分类器对特征的分类分值表示为和分别由下式得到：
[0021][0022]
其中l
φ1
与l
τ1
分别表示基类预测分类器和旋转预测分类器，分类器由不同的全连接网络组成；
[0023]
步骤3.2、分类分值经过sofmax层被转化为基类分类和旋转分类预测概率值，其计算公式分别为：
[0024][0025]
其中表示基类分类分值的第c个分量，表示旋转分类分值的第r个分量；p1(ym＝c|xm)为模型t1基类分类预测概率值；为模型t1旋转分类预测概率值；
[0026]
步骤3.3、同样对于模型t2，第m个图像xm经过主干网络提取得到d维的特征表示为f
θ2
(xm)，基类预测分类器和旋转预测分类器对特征的分类分值表示为和分别由下
式得到：
[0027][0028]
其中l
φ2
与l
τ2
分别表示基类预测分类器和旋转预测分类器，分类器由不同的全连接网络组成；
[0029]
分类分值经过sofmax层被转化为基类分类和旋转分类预测概率值，其计算公式分别为：
[0030][0031]
其中表示基类分类分值的第c个分量，表示旋转分类分值的第r个分量；p2(ym＝c|xm)为模型t2基类分类预测概率值；为模型t2旋转分类预测概率值。
[0032]
优选地，步骤4的具体步骤如下：
[0033]
步骤4.1、计算模型t1和t2基于基类分类预测概率值与真实基类标签之间的交叉熵损失函数，其计算公式分别为：
[0034][0035]
其中y
mc
表示图像样本基类标签ym的第c个分量，m为总训练图片量；
[0036]
步骤4.2、计算模型t1和t2基于旋转分类预测概率值与真实旋转标签之间的自监督损失函数，其计算公式分别为：
[0037][0038]
其中表示旋转标签的第r个分量；
[0039]
步骤4.3、计算模型t1和t2基类分类器概率输出之间的正则化损失函数，其计算公式分别为：
[0040][0041]
步骤4.4、计算模型t1和t2进行优化的总损失函数，其计算公式分别为：
[0042][0043]
其中α1、β1、λ1、α2、β2、λ2分别为模型t1和t2的超参数，根据训练结果不断微调；
[0044]
步骤4.5、基于总损失函数计算梯度分别对t1和t2中的参数进行迭代优化从而完成预训练过程。
[0045]
优选地，步骤5的具体步骤如下：
[0046]
步骤5.1、任意选择t1和t2中的一个模型，移除模型中的基类分类器和旋转预测分类器，并固定主干神经网络中的参数；
[0047]
步骤5.2、在新的电力设备类别的图像样本数据中，每类随机抽取5个样本，并通过主干神经网络对其进行特征提取得到新类样本的图像特征张量；
[0048]
步骤5.3、将图像特征张量送入新的分类器中并结合标签数据进行分类拟合，得到新的分类器参数；
[0049]
步骤5.4、利用新的分类器对剩余的同类样本进行分类预测。
[0050]
与现有技术相比，本发明具有以下有益效果：
[0051]
1、本发明能够通过两个模型互学习的方式提高主干网络模型特征提取能力，最后迁移至新的分类器，完成对未可见类别的样本的分类决策。
[0052]
2、本发明只需要少量图像数据，即可训练出高精度的分类模型，非常适用于电力设备巡检场景。
附图说明
[0053]
图1为本发明的总体框架图；
[0054]
图2为本发明中模型主干网络的特征提取可视化应用实施例示意图。
具体实施方式
[0055]
下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
参照图1，一种基于迁移互学习的小样本电力设备图像分类方法，具体步骤如下：
[0057]
步骤1、对输入电力设备图像数据进行裁剪、旋转扩充预处理；
[0058]
步骤2、构建两个互学习的小样本迁移模型t1和t2，模型t1通过参数为θ1的主干网
络提取电力设备图像特征，通过参数为的基类分类器进行基类标签预测，通过参数为τ1的旋转分类器进行旋转标签预测；同样地，对于模型t2，其主干网络、基类分类器以及旋转分类器的参数分别为θ2，τ2；
[0059]
步骤3、将预处理后的电力图像样本输入到模型t1和t2中，经过主干网络提取得到d维的特征张量，然后将特征张量传入基类分类器与旋转分类器得到基类分类值和旋转分类值；
[0060]
步骤4、将t1和t2模型同时进行预训练，计算每个模型对应的交叉熵损失函数l
ce
和自监督损失函数l
ssl
以及它们之间的互信息损失函数l
kd
，从而得到总的损失函数，并基于总损失函数计算梯度分别对t1和t2中的参数进行优化从而完成预训练过程；
[0061]
步骤5、任意选择t1和t2中的一个模型，将模型的主干网络迁移到新的分类器上，对新的电力设备类别的图像样本进行预测。
[0062]
具体的，步骤1的具体步骤如下：
[0063]
步骤1.1、对每个图像分别以图像矩形的四个顶点和中心点为起点，并按图像面积的80％裁剪5次并保存；然后再对扩充后的每个图像分别旋转0
°
,45
°
,90
°
以及180
°
并保存。
[0064]
步骤1.2、对来自同一个图像的裁剪和旋转图像赋予原图相同的基类标签，第m个图像对应基类标签为ym，ym∈{1,2,
…
,cb}，cb为基类标签类别数量。再
[0065]
根据其旋转角度确定对应旋转标签为
[0066]
具体的，步骤2中，主干网络由resnet12构成，同时主干网络中嵌入glsca局部空间注意力模块，该模块通过融合图像每个像素点周围5x5的空间向量信息，更有效地提取电力设备轮廓信息。模型主干网络对电力设备图像的特征提取可视化结果如图2所示。
[0067]
具体的，步骤3的具体步骤如下：
[0068]
步骤3.1、对于模型t1，第m个图像xm经过主干网络提取得到d维的特征表示为f
θ1
(xm)，基类预测分类器和旋转预测分类器对特征的分类分值表示为和分别由下式得到：
[0069][0070]
其中l
φ1
与l
τ1
分别表示基类预测分类器和旋转预测分类器，分类器由不同的全连接网络组成；
[0071]
步骤3.2、分类分值经过sofmax层被转化为基类分类和旋转分类预测概率值，其计算公式分别为：
[0072]
[0073]
其中表示基类分类分值的第c个分量，表示旋转分类分值的第r个分量；p1(ym＝c|xm)为模型t1基类分类预测概率值；为模型t1旋转分类预测概率值；
[0074]
步骤3.3、同样对于模型t2，第m个图像xm经过主干网络提取得到d维的特征表示为f
θ2
(xm)，基类预测分类器和旋转预测分类器对特征的分类分值表示为和分别由下式得到：
[0075][0076]
其中l
φ2
与l
τ2
分别表示基类预测分类器和旋转预测分类器，分类器由不同的全连接网络组成；
[0077]
分类分值经过sofmax层被转化为基类分类和旋转分类预测概率值，其计算公式分别为：
[0078][0079]
其中表示基类分类分值的第c个分量，表示旋转分类分值的第r个分量；p2(ym＝c|xm)为模型t2基类分类预测概率值；为模型t2旋转分类预测概率值。
[0080]
具体的，步骤4的具体描述如下：
[0081]
步骤4.1、计算模型t1和t2基于基类分类预测概率值与真实基类标签之间的交叉熵损失函数，其计算公式分别为：
[0082][0083]
其中y
mc
表示图像样本基类标签ym的第c个分量，m为总训练图片量；
[0084]
步骤4.2、计算模型t1和t2基于旋转分类预测概率值与真实旋转标签之间的自监督损失函数，其计算公式分别为：
[0085][0086]
其中表示旋转标签的第r个分量；
[0087]
步骤4.3、计算模型t1和t2基类分类器概率输出之间的正则化损失函数，其计算公式分别为：
[0088][0089]
步骤4.4、计算模型t1和t2进行优化的总损失函数，其计算公式分别为：
[0090][0091]
其中α1、β1、λ1、α2、β2、λ2分别为模型t1和t2的超参数，根据训练结果不断手动微调；
[0092]
步骤4.5、基于总损失函数计算梯度分别对t1和t2中的参数进行迭代优化从而完成预训练过程。
[0093]
具体的，步骤5的具体步骤如下：
[0094]
步骤5.1、任意选择t1和t2中的一个模型，移除模型中的基类分类器和旋转预测分类器，并固定主干神经网络中的参数。
[0095]
步骤5.2、在新的电力设备类别的图像样本数据中，每类随机抽取5个样本，并通过主干神经网络对其进行特征提取得到新类样本的图像特征张量。
[0096]
步骤5.3、将图像特征张量送入新的分类器中并结合标签数据进行分类拟合，得到新的分类器参数。
[0097]
步骤5.4、利用新的分类器对剩余的同类样本进行分类预测。新的分类器可以从knn、svm、cosine、linearregression等分类器中择优选择。
[0098]
综上所述，本发明能够通过两个模型互学习的方式提高主干网络模型特征提取能力，最后迁移至新的分类器，完成对未可见类别的样本的分类决策；同时，本发明只需要少量图像数据，即可训练出高精度的分类模型，非常适用于电力设备巡检场景。
[0099]
本发明中披露的说明和实践，对于本技术领域的普通技术人员来说，都是易于思考和理解的，且在不脱离本发明原理的前提下，还可以做出若干改进和润饰。因此，在不偏离本发明精神的基础上所做的修改或改进，也应视为本发明的保护范围。