一种深度学习算法模型自动迭代方法与流程

1.本发明属于电力技术领域，具体是一种深度学习算法模型自动迭代方法。


背景技术：

2.深度学习：计算机自动提取有用的特征，从而减少了人为提取特征造成的繁杂和不完备性；深度学习的优势：深度学习属于端到端的学习，数据输入进去就可以得到结果，方便快捷；不用手工设计规则，深度学习可以尽可能的优化损失函数去学习规则；可以尽可能的挖掘数据潜在特征。
3.但是现有的深度学习算法模型在建立过程中需要通过人工在电脑上操作文件夹，查看采集图像，通过输入linux命令行制作数据集，包括测试集、训练集等；人工通过远程工具，操作服务器，输入linux命令行调整算法参数，开启算法训练；在训练结束后，根据测试集人工输入linux命令行测试模型指标，具有命令制作和图像查找困难的问题，不够自动化和智能化，人工工作量繁重，因此目前急需一种深度学习算法模型自动迭代方法，用于解决上述问题。


技术实现要素：

4.为了解决上述方案存在的问题，本发明提供了一种深度学习算法模型自动迭代方法。
5.本发明的目的可以通过以下技术方案实现：
6.一种深度学习算法模型自动迭代方法，具体方法包括：
7.步骤一：采集输变电现场设备的巡检影像，对采集的巡检影像进行审核和标注；
8.步骤二：根据处理后的巡检影像构建算法模型；
9.步骤三：实时获取输变电现场每天会上传的巡检影像，对每天上传的巡检影像进行筛选，获得有效新样本，并将有效新样本根据设备类型进行分类和处理，形成不同类型的有效新样本集；
10.步骤四：定时监控有效新样本集内有效新样本数量，当监控到有效新样本集内有效新样本数量大于阈值x3时，将有效新样本集作为训练集对算法模型进行迭代；
11.步骤五：对算法模型迭代过程进行监控；
12.步骤六：实时获取算法模型的迭代次数，当迭代次数大于阈值x4时，算法模型迭代结束，将算法模型进行发布。
13.进一步地，对采集的巡检影像进行审核和标注的方法包括：
14.获取影像显示模块，所述影像显示模块内设置有标记单元、显示单元和坐标单元，所述显示单元用于显示采集的巡检影像，对显示的巡检影像进行审核，当巡检影像不符合要求时，将不符合要求的巡检影像进行剔除，
15.当巡检影像符合要求时，对符合要求的巡检影像打上类型标签，通过标记单元对符合要求的巡检影像进行标记，绘制最小外接矩形框，所述坐标单元用于标注最小外接矩
形框的坐标，建立平面坐标系，当标注完最小外接矩形框时，自动定位最小外接矩形框的坐标；根据类型标签将完成标记、标注的巡检影像进行分开储存。
16.进一步地，采集输变电现场设备的巡检影像的采集方法包括：监控系统采集、无人机巡检采集和人工采集。
17.进一步地，对每天上传的巡检影像进行筛选的方法包括：
18.实时识别上传的巡检影像的分辨率，将分辨率低于阈值x1的巡检影像进行剔除，将剩余的巡检影像标记为一级筛选影像，对一级筛选影像进行图像分割，获得设备轮廓，判断设备轮廓是否完整，将设备轮廓不完整的一级筛选影像进行剔除，将剩余的一级筛选影像标记为二级筛选影像，将二级筛选影像输入到样本库中进行匹配，获得对应的相似度值，将相似度值大于阈值x2的二级筛选影像进行剔除，将剩余的二级筛选影像标记为有效新样本。
19.进一步地，对算法模型迭代过程进行监控的方法包括：
20.获取训练日志，设置对应指标的合格值，将获取的训练日志与对应指标的合格值进行比较，当训练日志内具有指标不满足合格值要求的，则判定为迭代过程异常。
21.进一步地，训练日志包括迭代次数、当前准确率、学习率、漏检率和误检率。
22.进一步地，步骤六中，当算法模型迭代结束时，将迭代后的算法模型与上一个发布的算法模型进行比较，当迭代后的算法模型优于上一个发布的算法模型时，进行迭代模型发布。
23.进一步地，当判定迭代过程异常或者迭代后的算法模型没有优于上一个发布的算法模型时，返回步骤一，重新进行算法模型的建立。
24.与现有技术相比，本发明的有益效果是：通过深度学习算法模型的自动迭代，降低建立深度学习算法模型的人工参与量，建立完算法模型后，能够进行自动迭代，降低从建立模型到训练发布过程中人工的参与量，实现模型的自动迭代，具有优化的模型能够自动发布。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本发明的方法流程图。
具体实施方式
27.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.如图1所示，一种深度学习算法模型自动迭代方法，具体方法包括：
29.步骤一：采集输变电现场设备的巡检影像，对采集的巡检影像进行审核和标注；
30.在一个实施例中，采集输变电现场设备的巡检影像可以通过接入输变电现场的监控系统，通过监控系统中储存的监控影像进行采集，或者根据正在进行监控的影像进行采集；在一个实施例中，采集输变电现场设备的巡检影像还可以通过无人机或者人工的方式进行采集输变电现场设备的巡检影像采集；
31.在一个实施例中，对采集的巡检影像进行审核和标注的方法为人工审核和标注，具体方法包括：
32.获取影像显示模块，所述影像显示模块内设置有标记单元、显示单元和坐标单元，所述显示单元用于显示采集的巡检影像，对显示的巡检影像进行审核，当巡检影像不符合要求时，将不符合要求的巡检影像进行剔除，巡检影像的要求由专家组进行讨论设置，一般为企业内的进行神经网络建模的人员进行设置，例如图像模糊、清晰度不够，图像中未包括输变电现场设备的图像等；神经网络可以是dnn网络或者cnn网络；
33.当巡检影像符合要求时，对符合要求的巡检影像打上类型标签，类型标签对应着即为巡检影像中设备的类型，通过标记单元对符合要求的巡检影像进行标记，绘制最小外接矩形框，最小外接矩形框为巡检影像中设备的最小外接矩形框，所述标记单元用于绘制矩形框；
34.在一个实施例中，通过标记单元绘制矩形框，可以通过审核人员直接进行手动拉取最小外接矩形框；
35.在一个实施例中，还可以在标记单元中内置图像边缘检测算法，用于识别巡检影像中边缘，当审核人员手动绘制完最小外接矩形框后，辅助审核人员进行最小外接矩形框的边界调整；
36.所述坐标单元用于标注最小外接矩形框的坐标，建立平面坐标系，当标注完最小外接矩形框时，自动定位最小外接矩形框的坐标；根据类型标签将完成标记、标注的巡检影像进行分开储存；
37.在一个实施例中，标注的坐标指的是最小外接矩形框的四个拐点坐标；在一个实施例中，标注的坐标可以是最小外接矩形框的三个拐点坐标；在一个实施例中，标注的坐标可以是最小外接矩形框中包括的三个拐点坐标的多个坐标，具体为包括三个拐点坐标和若干个非拐点坐标的其他坐标；在一个实施例中，标注的坐标可以是最小外接矩形框中包括的四个拐点坐标的多个坐标，具体为包括四个拐点坐标和若干个非拐点坐标的其他坐标；
38.在一个实施例中，可以先进行标记、标注，再打上类型标签；需要说明的是先后顺序并不是对本技术的限制；
39.在一个实施例中，对采集的巡检影像进行审核和标注的方法可以为智能审核和标注，对巡检图像进行筛选可以通过建立dnn网络模型或者cnn网络模型进行智能筛选，在标记单元中内置图像边缘检测算法，识别巡检影像中边缘，通过识别的边缘整合成训练集，建立dnn网络模型或者cnn网络模型，通过dnn网络模型或者cnn网络模型进行智能标记；识别最小外接矩形框的坐标；
40.步骤二：根据处理后的巡检影像构建算法模型；
41.处理后的巡检影像即为步骤一中进行过标记、标注和打上类型标签的巡检影像；算法模型即为神经网络模型，包括dnn网络模型或者cnn网络模型；
42.通过分析图片尺寸、目标尺寸、目标特点、目标之间的上下文关系等，设置神经网
络输入高、网络输入宽、图像增强方法(旋转、裁剪、翻转、局部遮罩等)、图像缩放比例等训练参数。例如：图像尺寸大而目标尺寸小，目标占比较小，那么网络输入高、网络输入宽应设置大一些，图像增强方法应选择裁剪；反之，网络输入高、网络输入宽应设置小一些。
43.根据模型测试结果，调整网络输入高、网络输入宽、图像增强方法(旋转、裁剪、翻转、局部遮罩等)、图像缩放比例等参数。例如，最终模型识别某一类的准确率下降，应单独针对该类别图像进行数据增强，提升数据均衡性，从而优化模型指标。
44.步骤三：实时获取输变电现场每天会上传的巡检影像，对每天上传的巡检影像进行筛选，获得有效新样本，并将有效新样本根据设备类型进行分类和处理，形成不同类型的有效新样本集；处理指的是如步骤一中叙述的处理；有效新样本是指对模型迭代升级有效的，并且跟样本库不重复的样本；因为输变电现场每天会上传海量设备影像样本，其中只有一部分是有效新样本，例如模糊图像、设备拍摄不全、相同角度相同光线的图像都为无效图像；
45.对每天上传的巡检影像进行筛选的方法包括：
46.实时识别上传的巡检影像的分辨率，将分辨率低于阈值x1的巡检影像进行剔除，将剩余的巡检影像标记为一级筛选影像，对一级筛选影像进行图像分割，获得设备轮廓，判断设备轮廓是否完整，将设备轮廓不完整的一级筛选影像进行剔除，将剩余的一级筛选影像标记为二级筛选影像，将二级筛选影像输入到样本库中进行匹配，获得对应的相似度值，将相似度值大于阈值x2的二级筛选影像进行剔除，将剩余的二级筛选影像标记为有效新样本；
47.在一个实施例中，对一级筛选影像进行筛选的方法包括：
48.将一级筛选影像进行图像预处理，并将图像预处理之后的图像标记为灰度图像，图像预处理包括图像分割、图像去噪、图像增强和灰度变换，以图像中心为原点，建立图像灰度值三维坐标系，将图像灰度值输入到坐标系中，将同一图像的相邻灰度值点使用平滑曲线进行连接，形成灰度值曲面，获取背景图像，将具有相同位置戳的图像和对应位置的背景图像进行图像预处理，并将图像预处理之后的图像标记为灰度图像，将灰度图像输入到灰度值三维坐标系中，根据灰度值将图像中的背景进行分割，将分割后的图像标记为无背景图像，提取无背景图像中剩余的设备轮廓，判断设备轮廓是否完整，将设备轮廓不完整的一级筛选影像进行剔除；判断设备轮廓是否完整可以通过与完整的设备轮廓进行对比的方式进行判断；
49.在一个实施例中，对一级筛选影像进行筛选的方法还包括：直接获取现有图像提取算法，通过图像提取算法提取设备轮廓，判断设备轮廓是否完整，将设备轮廓不完整的一级筛选影像进行剔除；
50.在一个实施例中，获取相似度值可以通过sift算法等现有算法进行图像的相似度计算；
51.步骤四：定时监控有效新样本集内有效新样本数量，当监控到有效新样本集内有效新样本数量大于阈值x3时，将有效新样本集作为训练集对算法模型进行迭代；算法模型指的是步骤二中构建的模型；
52.在一个实施例中，实时监控某个数据集在一定时间内新增的样本数量是否大于等于阈值，阈值由人工设置，如果一定时间内新增的样本数量大于等于设定阈值，则触发训练
脚本；例如：
××
变电站设备缺陷识别算法训练集在2021年9月1日至2021年10月1日内新增了2000张样本，并且大于阈值1500，则调用训练脚本./train_
××
_sbqxsb.sh。
53.步骤五：对算法模型迭代过程进行监控；
54.迭代过程监控是指对算法模型迭代过程中的中间模型指标进行监控。模型指标包括准确率、漏报率、误报率等。
55.监控方法包括：获取训练日志，训练日志包括迭代次数、当前准确率、学习率、漏检率和误检率，设置对应指标的合格值，对应指标指的是对应迭代次数的当前准确率、学习率、漏检率和误检率指标，指标的合格值由专家组进行讨论设置；将获取的训练日志与对应指标的合格值进行比较，当训练日志内具有指标不满足合格值要求的，则判定为迭代过程异常；
56.在一个实施例中，监控实现方式：训练程序定时生成训练日志，日志中包含迭代次数、当前准确率、学习率、漏检率、误检率等指标，监控程序定时读取日志，获取迭代次数、当前准确率、学习率、漏检率、误检率等，并判断当前准确率、学习率、漏检率、误检率等数值是否异常。如果当前准确率连续100次或者其他次数为nan或1、学习率不在0.0001-0.1之间、漏检率和误检率为nan或1，则判为迭代过程异常。nan属性是代表非数字值的特殊值，该属性用于指示某个值不是数字。
57.步骤六：实时获取算法模型的迭代次数，当迭代次数大于阈值x4时，算法模型迭代结束，将算法模型进行发布；模型发布是指平台运维人员将最优模型发布到平台和输变电现场设备巡视主机。
58.在一个实施例中，当算法模型迭代结束时，将迭代后的算法模型与上一个发布的算法模型进行比较，当迭代后的算法模型优于上一个发布的算法模型时，进行迭代模型发布；判断迭代后的算法模型是否优于上一个发布的算法模型，可以通过算法模型的分析准确率进行判断。
59.在本发明所提供的实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方法的目的。
60.最后应说明的是，以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。