基于连续学习的输电线路销钉级缺陷识别模型调优方法与流程

1.本发明涉及输电线路销钉级缺陷识别技术领域，具体涉及一种基于连续学习的输电线路销钉级缺陷识别模型调优方法。


背景技术：

2.输电线路是电力系统的重要组成部分，保证输电线路的稳定运行是保障供电安全的关键环节之一。但是，输电线路中的螺栓和销钉等细小部件的松动、缺失引起的输电线路故障会对各类生产生活活动造成极大的不便和损失。因此，输电线路的定期检查维护工作是十分必要的。
3.近年来，随着无人机技术的发展，输电线路的巡检工作中出现了大量利用无人机采集的输电线路部件图像。利用人工来对图像中的大量销钉进行缺陷进行识别往往费时费力。机器学习方法，尤其是连续学习方法的出现使得销钉级缺陷识别实现了自动化，是目前的研究热点之一。基于连续学习的输电线路销钉级缺陷识别模型中存在大量的参数和超参数，为了实现缺陷识别模型的最优化，需要对这些参数和超参数进行调整。其中，参数的调整往往通过定义损失函数，通过最小化损失函数来实现。超参数直接影响着连续学习模型的精度、运算效率、泛化能力等，不合理的超参数选择将使得连续学习模型陷入局部最优解，不能达到理想的销钉级缺陷识别。传统的机器学习任务中，超参数的选择和调整往往依靠的是直觉和经验，而基于连续学习的输电线路销钉级缺陷识别模型中存在大量的超参数，超参数域空间大，依靠人工调整参数费时费力，且不易得到最优效果。
4.自动调优技术是近年来机器学习领域的一种新兴技术，可以实现机器学习问题中超参数的自动调节，有效缓解上述问题。目前存在的自动调优技术主要包括以下几类：
5.第一、网格搜索：对于每个超参数，选择一个较小的有限值集去探索，通过这些超参数集合的笛卡尔积得到多组超参数，然后利用每一组超参数去训练模型，最后通过验证测试集上的误差，选择误差最小的一组作为最优超参数。
6.第二、随机搜索：对于每个超参数，首先定义一个边缘分布；然后利用该边缘分布，对每一个超参数进行采样，从而形成多组超参数。与网格搜索类似，利用每一组超参数去训练模型，并找到测试误差最小的一组作为最优超参数。
7.第三、贝叶斯优化：贝叶斯优化通过给定一组观察值，利用贝叶斯规则获得后验，并通过最大化采集函数来确定下一个采样点纳入观察值。反复执行直到收敛或达到预算上限，最终确定最优超参数。
8.上述的三种方法虽然可以有效的实现连续学习的自动调优，但也有其局限性。网格搜索的计算代价会随着超参数数量呈指数级增长，面对连续学习模型中众多的超参数和较大的超参数域空间，网格搜索所需的计算资源巨大，计算效率低下。随机搜索面临着容易陷入某一个或几个超参数的边缘最优解，从而不能选取出最优超参数的困境。而基于贝叶斯优化的方法因为是一个序列运算，不具备并行的能力，使得计算效率低下，并且贝叶斯优化方法已被证实在一些问题上会发生灾难性失误，导致整个模型调优失败。


技术实现要素：

9.本发明的目的在于提供一种基于连续学习的输电线路销钉级缺陷识别模型调优方法，可以解决现有技术中对输电线路销钉级缺陷识别的识别模型的方法计算效率低的问题。
10.本发明的目的是通过以下技术方案实现的：
11.本发明提供一种基于连续学习的输电线路销钉级缺陷识别模型调优方法，包括以下步骤：
12.步骤s1、确定输电线路销钉级缺陷识别模型中的超参数；
13.步骤s2、设定一个含有多个使用不同超参数训练模型的工作体的群体；
14.步骤s3、设定一个管理体，管理体根据群体中每个工作体的当前训练状态剥离/探索当前工作体的训练任务；
15.步骤s4、根据群体的训练结果得到最优工作体的最优超参数组合，并应用于连续学习模型进行训练。
16.进一步的，所述确定输电线路销钉级缺陷识别模型中的超参数具体包括：
17.确定具体连续学习模型；
18.确定调整连续学习模型的超参数类型；
19.确定调整连续学习模型的超参数的取值范围和尺度；
20.根据超参数的取值范围和尺度定义出超参数的一个边缘分布；
21.依据边缘分布对超参数进行采样，得到若干组超参数。
22.进一步的，所述设定一个包括多个使用不同超参数训练模型的工作体的群体的原理为：
23.设定一个群体，群体中包括n个工作体，其中；
24.每一个工作体不重复地获得若干组超参数中的一组超参数；
25.每个工作体根据所获得的超参数开始训练模型。
26.进一步的，所述管理体根据群体中每个工作体的当前训练状态剥离/探索当前工作体的训练任务具体包括：
27.建立一个存有每个工作体当前训练损失、准备状态以及剥离次数的工作列表；
28.定义出管理体的剥离操作和探索操作；
29.管理体依据群体中工作体的当前状态，不断更新工作列表中的当前损失和准备状态；
30.管理体依据工作列表中各工作体当前损失的值、当前损失的变化率以及工作体的准备状态对工作体执行剥离操作/探索操作。
31.进一步的，所述管理体根据群体的训练结果得到最优工作体的超参数组合具体包括：
32.管理体依据工作列表中各工作体的当前损失，标记出当前损失最小的一个工作体为最优工作体，在工作列表中清零最优工作组的剥离次数；
33.管理体在群体中所有工作体都进入准备状态且至少有一个工作体的剥离次数不为零时，停止所有工作体的训练；
34.管理体读取最优工作体的超参数作为最优超参数输出，其余作为备用超参数输
出；
35.将最优超参数应用于连续学习模型进行训练。
36.进一步的，所述管理体的剥离操作的原理为：对于一个已经进入准备状态的工作体，观察其它工作体的当前状态，如果有其它工作体处于更优的状态，将当前工作体的训练任务剥离，并复制当前最优的工作体的超参数，重新投入训练，并将工作体的准备状态调整为未准备。
37.进一步的，所述管理体的探索操作的原理为：对于剥离操作中复制的当前最优工作体的超参数，依据超参数的分布，生成一个随机扰动，得到一组不同于当前超参数的新超参数组。
38.本发明的有益效果：
39.1.本发明通过群体训练的自动调优方法克服了传统的基于网格搜索的连续学习缺陷识别模型自动调优方法在面对大量超参数和大取值范围超参数时所需训练次数过多、计算量极大的问题，提高了计算效率。
40.2.本发明利用了超参数组联合训练，克服了传统的基于随机搜索的连续学习缺陷识别模型自动调优方法容易陷入某一超参数的边缘最优解，得到的是各个超参数的联合最优解。
41.3.本发明利用了群体训练，克服了传统的基于贝叶斯优化的连续学习缺陷识别模型自动调优方法的序列性问题，通过管理体定义工作列表，时刻获取当前训练获得的先验知识，使得受贝叶斯方法启发的超参数优化算法可以得到并行执行。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
43.图1为基于连续学习的输电线路销钉级缺陷识别模型调优方法的步骤示意图；
44.图2为管理体与群体间的互动示意图。
具体实施方式
45.下面结合附图对本公开实施例进行详细描述。
46.以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
47.本发明实施例提供一种基于连续学习的输电线路销钉级缺陷识别模型调优方法，包括以下步骤：
48.步骤s1、确定输电线路销钉级缺陷识别模型中的超参数；具体包括：
49.确定具体连续学习模型；
50.确定调整连续学习模型的超参数类型；这些超参数包括随机失活率(dropout)、微调层数、学习率(learning rate)、批样本数量(batch size)、卷积核尺寸、卷积核数量、激活函数、网络层数等；
51.确定调整连续学习模型的超参数的取值范围和尺度；
52.根据超参数的取值范围和尺度定义出超参数的一个边缘分布，包括伯努利分布、范畴分布、均匀分布、对数尺度上的均匀分布等；
53.依据边缘分布对超参数进行采样，得到若干组超参数。这里的若干组超参数就是输电线路销钉级缺陷识别模型中的超参数。
54.步骤s2、设定一个含有多个使用不同超参数训练模型的工作体的群体；具体包括：
55.设定一个群体，群体中包括n个工作体，每一个工作体不重复地获得步骤1中采样得到的一组超参数，其中，在算力允许的范围内，n的值的增大将在平均意义上提高群体逼近最优超参数的能力；
56.每一个工作体不重复地获得若干组超参数中的一组超参数；
57.每个工作体根据所获得的超参数开始训练模型。
58.步骤s3、设定一个管理体，管理体根据群体中每个工作体的当前训练状态剥离/探索当前工作体的训练任务；具体包括：
59.建立一个存有每个工作体当前训练损失、准备状态以及剥离次数的工作列表；
60.定义出管理体的剥离操作和探索操作；剥离操作：对于一个已经进入准备状态的工作体，观察其它工作体的当前状态，如果有其它工作体处于更优的状态，将当前工作体的训练任务剥离，并复制当前最优的工作体的超参数，重新投入训练，并将工作体的准备状态调整为未准备；探索操作：对于剥离操作中复制的当前最优工作体的超参数，依据超参数的分布，生成一个随机扰动，得到一组不同于当前超参数的新超参数组。
61.其中随机扰动的生成方法：对于服从均匀分布的超参数h
j
，应当从一个服从以0为均值，以σ2为方差的正态分布中采样，得到超参数的随机扰动；
62.其中，
63.其中upper(x)和lower(x)函数分别对x取上下界；
64.对于服从对数尺度上均匀分布的超参数h
j
，应当从一个服从以0为均值，以σ2为方差的正态分布中采样，得到超参数的随机扰动；
65.其中，
66.对于离散的超参数h
k
，假定h
k
有t种状态，处于每种状态的概率为p
m
，m∈{1,2,
…
,t}，定义一个转移概率超参数h
k
将以概率q
m
转移到第m个状态。
67.管理体依据群体中工作体的当前状态，不断更新工作列表中的当前损失和准备状态；
68.工作体的准备状态：初始时，定义准备状态为未准备，当一个工作体所训练的模型
达到取决于具体模型的训练次数或者性能达到阈值或者性能不再随着迭代次数显著提升时，将该工作体的准备状态调整为已准备。
69.管理体依据工作列表中各工作体当前损失的值、当前损失的变化率以及工作体的准备状态对工作体执行剥离操作/探索操作。在实际进行中，一般的处于已准备状态的且当前损失在10次迭代中平均损失下降百分比小于等于0.1％的工作体将被执行剥离操作和探索操作；
70.步骤s4、根据群体的训练结果得到最优工作体的最优超参数组合，并应用于连续学习模型进行训练。具体包括：
71.管理体依据工作列表中各工作体的当前损失，标记出当前损失最小的一个工作体为最优工作体，在工作列表中清零最优工作组的剥离次数；
72.管理体在群体中所有工作体都进入准备状态且至少有一个工作体的剥离次数不为零时，停止所有工作体的训练；
73.管理体读取最优工作体的超参数作为最优超参数输出，其余作为备用超参数输出；对管理体中的工作列表中的非最优工作体的当前损失以升序排列，按顺序读取对应工作体中的超参数并依照损失排序，作为备用超参数输出；
74.将最优超参数应用于连续学习模型进行训练。
75.以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。