变电站设备异常检测模型优化方法、装置和计算机设备与流程

1.本技术涉及电网设备技术领域，特别是涉及一种变电站设备异常检测模型优化方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.随着智能化设备的推广应用，变电站逐步向无人值守的方向发展，为了实时监控变电站情况，变电站逐渐采用远程图像监控系统，部署目标检测网络，判断是否有异常事件发生，但图像监控系统的逐步推广和电网规模的扩大，传输到远端云平台处理的数据爆发式增长，给数据的远程收发、处理、通信和计算都造成了巨大的挑战，而且无法满足时延和安全性的需求。针对上述问题在变电站部署边缘计算，让前端摄像头拥有图像智能分析处理能力，从而实现在边缘计算侧对数据进行收集、分析和判断。由于变电站设备图像监控平台终端存在计算能力较弱、内存有明显限制的缺点，且基于图像的变电站设备检测模型规模过大、参数过多，从而导致推理过程中占用内存过大、计算量过大，因此需要对模型进行一定程度的压缩，使得模型在不牺牲过多精度的前提下减少算法参数、提升运行速度，模型的实用性得到提升。
3.权重共享是目前较为常见的一种模型压缩方法，其通过将各组权重进行聚类分析，每一类的聚类中心作为共享权重，由于只保存共享权重和权重索引，存储空间将得到大量的节省。但是这种方法在推理时需要通过共享权重和索引来解码各组参数，实际上并不能减少运行时占用的内存和推理时间。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够有效降低模型复杂度，加快推理速度的变电站设备异常检测模型优化方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种变电站设备异常检测模型优化方法。所述方法包括：
6.获取待优化的变电站设备异常检测模型；
7.对所述待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；
8.对所述稀疏分布模型进行模型裁剪处理，获取各裁剪模型；
9.对所述各裁剪模型进行评估，根据所述评估的评估结果，获取所述变电站设备异常检测模型对应的优化模型。
10.在其中一个实施例中，所述获取待优化的变电站设备异常检测模型包括：
11.获取历史数据中的变电站设备图像，以及基于边缘计算和yolov3-spp算法构建的初始变电站设备异常检测模型；
12.根据所述变电站设备图像获取模型训练数据；
13.采用adam优化器，通过所述模型训练数据对虎初始变电站设备异常检测模型进行训练，获取待优化的变电站设备异常检测模型。
14.在其中一个实施例中，所述对所述待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型包括：
15.获取待优化的变电站设备异常检测模型中bn层的缩放因子；
16.基于所述缩放因子对所述待优化的变电站设备异常检测模型中的损失函数进行l1正则化，获取正则化损失函数；
17.基于所述正则化损失函数对应的稀疏因子，对所述待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型。
18.在其中一个实施例中，所述对所述稀疏分布模型进行模型裁剪处理，获取各裁剪模型包括：
19.对所述稀疏分布模型进行通道裁剪，获取第一裁剪模型，对所述稀疏分布模型进行模块裁剪，获取第二裁剪模型；
20.对所述第一裁剪模型进行模块裁剪，获取第三裁剪模型，对所述第二裁剪模型进行通道裁剪，获取第四裁剪模型。
21.在其中一个实施例中，所述对所述稀疏分布模型进行通道裁剪，获取第一裁剪模型包括：
22.获取所述稀疏分布模型中各通道对应的通道权重以及权重排名，并根据预设全局裁剪率获取权重阈值；
23.遍历所述稀疏分布模型各bn层，根据预设通道保留率确定各bn层对应的保留通道数；
24.获取各bn层中通道权重不小于所述权重阈值的通道数目；
25.当所述通道数目不小于所述保留通道数时，对当前bn层中权重小于所述权重阈值的通道进行剪枝处理，当所述通道数目小于所述保留通道数时，对当前bn层中权重排名小于所述保留通道数的通道进行剪枝处理。
26.在其中一个实施例中，所述对所述稀疏分布模型进行模块裁剪，获取第二裁剪模型包括：
27.获取所述稀疏分布模型中的各残差层对应的残差层权重；
28.根据所述残差层权重对所述稀疏分布模型中的各残差层进行排序，获取残差层排序结果；
29.根据预设剪层数目以及所述残差层排序结果对所述稀疏分布模型中排序靠后的残差层进行裁剪，获取第二裁剪模型。
30.第二方面，本技术还提供了一种变电站设备异常检测模型优化装置。所述装置包括：
31.初始模型获取模块，用于获取待优化的变电站设备异常检测模型；
32.稀疏训练模块，用于对所述待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；
33.模型裁剪模块，用于对所述稀疏分布模型进行模型裁剪处理，获取各裁剪模型；
34.模型剪枝模块，用于对所述各裁剪模型进行评估，根据所述评估的评估结果，获取所述变电站设备异常检测模型对应的优化模型。
35.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理
器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
36.获取待优化的变电站设备异常检测模型；
37.对所述待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；
38.对所述稀疏分布模型进行模型裁剪处理，获取各裁剪模型；
39.对所述各裁剪模型进行评估，根据所述评估的评估结果，获取所述变电站设备异常检测模型对应的优化模型。
40.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
41.获取待优化的变电站设备异常检测模型；
42.对所述待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；
43.对所述稀疏分布模型进行模型裁剪处理，获取各裁剪模型；
44.对所述各裁剪模型进行评估，根据所述评估的评估结果，获取所述变电站设备异常检测模型对应的优化模型。
45.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
46.获取待优化的变电站设备异常检测模型；
47.对所述待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；
48.对所述稀疏分布模型进行模型裁剪处理，获取各裁剪模型；
49.对所述各裁剪模型进行评估，根据所述评估的评估结果，获取所述变电站设备异常检测模型对应的优化模型。
50.上述变电站设备异常检测模型优化方法、装置、计算机设备、存储介质和计算机程序产品，其中方法通过获取待优化的变电站设备异常检测模型；对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；对稀疏分布模型进行模型裁剪处理，获取各裁剪模型；对各裁剪模型进行评估，根据评估结果，获取变电站设备异常检测模型对应的优化模型。本技术通过对待优化的变电站设备异常检测模型进行稀疏训练，并对稀疏训练完成的稀疏分布模型进行剪枝处理，而后通过对剪枝后的各裁剪模型进行评估，确定变电站设备异常检测模型对应的优化模型。通过剪枝可以去除掉待优化的变电站设备异常检测模型中冗余的参数量和权重，降低网络的复杂度，提高泛化能力，从而有效降低变电站设备异常检测模型的复杂度，并加快其推理速度。
附图说明
51.图1为一个实施例中变电站设备异常检测模型优化方法的应用环境图；
52.图2为一个实施例中变电站设备异常检测模型优化方法的流程示意图；
53.图3为一个实施例中图2中步骤201的子流程示意图；
54.图4为一个实施例中图2中步骤203的子流程示意图；
55.图5为一个实施例中对稀疏分布模型进行通道裁剪步骤的流程示意图；
56.图6为一个实施例中shortcut层负责连接两个cbl模块输出的残差结构示意图；
57.图7为一个实施例中对稀疏分布模型进行模块裁剪步骤的流程示意图；
58.图8为另一个实施例中变电站设备异常检测模型优化方法的流程示意图
59.图9为一个实施例中对稀疏分布模型进行裁剪阶段流程图；
60.图10为一个实施例中变电站设备异常检测模型优化装置的结构框图；
61.图11为一个实施例中计算机设备的内部结构图。
具体实施方式
62.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
63.本技术实施例提供的变电站设备异常检测模型优化方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104在变电站设备异常检测模型优化所的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102可以向服务器104发送用于构建变电站设备异常检测模型的模型基础数据，以通过服务器104来变电站设备异常检测模型的构建与优化。服务器104获取终端102提供的模型基础数据，而后基于模型基础数据获取待优化的变电站设备异常检测模型；对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；对稀疏分布模型进行模型裁剪处理，获取各裁剪模型；对各裁剪模型进行评估，根据评估的评估结果，获取变电站设备异常检测模型对应的优化模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
64.在一个实施例中，如图2所示，提供了一种变电站设备异常检测模型优化方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
65.步骤201，获取待优化的变电站设备异常检测模型。
66.其中，待优化的变电站设备异常检测模型是本技术变电站设备异常检测模型优化方法的优化对象，其具体用于根据输入的变电站设备图像，对变电站设备是否存在异常进行检测。在一个具体的实施例中，待优化的变电站设备异常检测模型具体可以为基于边缘计算和yolov3-spp算法所构建的神经网络模型。
67.具体地，在进行变电站设备异常检测模型优化时，需要先获取待优化的变电站设备异常检测模型。此过程具体可以为先通过终端102获取变电站设备对应的历史图片数据，并对这些历史图片数据进行异常标注，而后根据标注后的历史图片数据对初始的变电站设备异常检测模型进行训练，获取待优化的变电站设备异常检测模型。
68.步骤203，对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型。
69.其中，稀疏训练通过对特定的参数施加l1正则化约束，当模型达到最优解时，使该参数更多地分布在0上，从而实现稀疏化。
70.具体地，在得到待优化的变电站设备异常检测模型后，可以对模型进行稀疏化处理，通过稀疏化处理具体用于对模型中各个通道的权重进行处理，是的通道权重更多地分布在0上，从而实现稀疏化。
71.步骤205，对稀疏分布模型进行模型裁剪处理，获取各裁剪模型。
72.步骤207，对各裁剪模型进行评估，根据评估的评估结果，获取变电站设备异常检测模型对应的优化模型。
73.其中，本技术中的模型裁剪具体包括通道裁剪以及模块裁剪两个裁剪过程，其中通道裁剪是指由于一个cnn模型中并不是所有的通道都对最后的结果有明显的影响，特别是经过了稀疏训练，有许多通道的权重为0，对模型的输出结果没有影响，因此可以应用通道裁剪技术，根据各个通道的权重，将对结果影响大的通道保留，影响小的通道进行裁剪。而模块裁剪则是指根据借鉴通道裁剪的思路，根据模型中一个残差层结构以及对应的权重，去除掉多余的残差层。通过通道裁剪和模块裁剪的组合，可以对稀疏分布模型进行多种不同模式的裁剪处理，从而得到不同的裁剪模型。各裁剪模型进行评估则是指评估各个裁剪模型对应的准确率p，召回率r，ap
50
，f1-score，参数量，推理时间，fps和模型大小等数据，从中选出最优的裁剪模型来作为优化模型。
74.具体地，在进行模型优化时，具体可以通过模型剪枝的方式来完成模型优化。剪枝可以在保证模型性能情况下去除掉网络中冗余的参数量和权重，降低网络的复杂度，提高泛化能力。而剪枝的方式具体可以为通道裁剪以及模块裁剪，通过通道裁剪以及模块裁剪可以确定出多个不同的裁剪模型，如仅使用通道裁剪或模块裁剪，来得到裁剪模型。先使用通道裁剪再使用模块裁剪，得到裁剪模型等。通过模型裁剪，可以得到多个各不相同的裁剪模型，而后为了保证得到最优化的裁剪模型。可以对各裁剪模型进行多角度的评估，根据评估结果，获取变电站设备异常检测模型对应的优化模型。
75.上述变电站设备异常检测模型优化方法，通过获取待优化的变电站设备异常检测模型；对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；对稀疏分布模型进行模型裁剪处理，获取各裁剪模型；对各裁剪模型进行评估，根据评估结果，获取变电站设备异常检测模型对应的优化模型。本技术通过对待优化的变电站设备异常检测模型进行稀疏训练，并对稀疏训练完成的稀疏分布模型进行剪枝处理，而后通过对剪枝后的各裁剪模型进行评估，确定变电站设备异常检测模型对应的优化模型。通过剪枝可以去除掉待优化的变电站设备异常检测模型中冗余的参数量和权重，降低网络的复杂度，提高泛化能力，从而有效降低变电站设备异常检测模型的复杂度，并加快其推理速度。
76.在一个实施例中，如图3所示，步骤201包括：
77.步骤302，获取历史数据中的变电站设备图像，以及基于边缘计算和yolov3-spp算法构建的初始变电站设备异常检测模型。
78.步骤304，根据变电站设备图像获取模型训练数据。
79.步骤306，采用adam优化器，通过模型训练数据对虎初始变电站设备异常检测模型进行训练，获取待优化的变电站设备异常检测模型。
80.其中，边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。yolov3-spp则是一种能保证检测速度与精度的检测算法。为了实时监控变电站情况，变电站逐渐采用远程图像监控系统，部署目标检测网络，判断是否有异常事件发生，但图像监控系统的逐步推广和电网规模的扩
大，传输到远端云平台处理的数据爆发式增长，给数据的远程收发、处理、通信和计算都造成了巨大的挑战，而且无法满足时延和安全性的需求。因此考虑建立基于边缘计算和yolov3-spp算法构建的初始变电站设备异常检测模型，来对变电站设备图像进行边缘化的异常检测，从而保证设备异常识别过程的识别效率。而模型训练数据是指对历史数据中的变电站设备图像进行标注，每一个模型训练数据都有对应的标注结果。而adam优化器即自适应梯度优化器，它能够对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新。adam优化器主要用于计算模型中每个参数的自适应学习率，从而提高模型的训练效率。
81.具体地，在本技术的方案中，具体可以先通过终端102来获取历史数据中的变电站设备图像，并基于边缘计算和yolov3-spp算法来构建初始的变电站设备异常检测模型。而后即可基于模型训练数据来实现对初始变电站设备异常检测模型的训练，在该过程中，采用adam优化器进行训练，从而使待优化的变电站设备异常检测模型收敛到较高的精度。本实施例中，通过构建初始变电站设备异常检测模型，并基于历史数据以及adam优化器来对变电站设备异常检测模型进行训练，可以有效保证待优化的变电站设备异常检测模型的训练效率与识别精度。
82.在其中一个实施例中，如图4所示，步骤203包括：
83.步骤401，获取待优化的变电站设备异常检测模型中bn层的缩放因子。
84.步骤403，基于缩放因子对待优化的变电站设备异常检测模型中的损失函数进行l1正则化，获取正则化损失函数。
85.步骤405，基于正则化损失函数对应的稀疏因子，对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型。
86.稀疏训练通过对特定的参数施加l1正则化约束，当模型达到最优解时，使该参数更多地分布在0上，从而实现稀疏化。施加l1正则化后的损失函数如公式如下所示：
[0087][0088]
其中，第一项l0为原始模型的损失函数，第二项为l1正则化约束项，稀疏因子λ为用来平衡两项的系数。将加入l1正则化约束后的损失函数对γ进行求导，得到如下公式：
[0089][0090]
其中，|γ|求导后的结果为γ的符号，即如下公式：
[0091][0092]
按照求导后的公式可得到程序中l1正则化的实现方法：在网络进行反向传播的过程中，对l0关于γ的梯度l
′0添加一个恒定的额外梯度，该额外梯度为γ的符号和稀疏因子λ的乘积。
[0093]
由于各cbl(conv bn leaky)模块中bn层的缩放因子γ直接影响该通道输出的大
小，反映出该通道对模型结果的影响大小，因此将γ视为模型各个通道的权重，并对γ施加l1正则化约束，通过设置合适的稀疏因子λ来进行稀疏训练，最终获得各通道权重稀疏分布的模型。本实施例中，基于bn层的缩放因子来进行l1正则化，而后基于对应稀疏因子来进行稀疏训练，可以得到更准确的稀疏分布模型。
[0094]
在其中一个实施例中，步骤205包括：对稀疏分布模型进行通道裁剪，获取第一裁剪模型，对稀疏分布模型进行模块裁剪，获取第二裁剪模型；对第一裁剪模型进行模块裁剪，获取第三裁剪模型，对第二裁剪模型进行通道裁剪，获取第四裁剪模型。
[0095]
其中，由于一个cnn模型中并不是所有的通道都对最后的结果有明显的影响，特别是经过了稀疏训练，有许多通道的权重为0，对模型的输出结果没有影响，因此可以应用通道裁剪技术，根据各个通道的权重，将对结果影响大的通道保留，影响小的通道进行裁剪。而模块裁剪策略借鉴通道裁剪的思路，对每一个残差层结构第一个卷积层进行评价，对各层求和再进行大小排序，按照设定的剪层数目，剪掉排名靠后的残差层。
[0096]
具体地，在进行模型剪枝时，基于确定的通道裁剪以及模块裁剪两种裁剪方式的排列组合，可以确定裁剪后的模型具体包括了仅进行了通道裁剪的第一裁剪模型，仅进行了模块裁剪的第二裁剪模型，先进行通道裁剪再进行模块裁剪的第三裁剪模型，以及先进行模块裁剪再进行通道裁剪的第四裁剪模型。因此，在进行模型裁剪时，可以对稀疏分布模型进行通道裁剪，获取第一裁剪模型，对稀疏分布模型进行模块裁剪，获取第二裁剪模型；对第一裁剪模型进行模块裁剪，获取第三裁剪模型，对第二裁剪模型进行通道裁剪，获取第四裁剪模型。本实施例中，通过结合模块裁剪以及通道裁剪的技术，可以有效地对稀疏分布模型进行剪枝，得到优化后的裁剪模型。
[0097]
在其中一个实施例中，如图5所示，对稀疏分布模型进行通道裁剪，获取第一裁剪模型包括：
[0098]
步骤502，获取稀疏分布模型中各通道对应的通道权重以及权重排名，并根据预设全局裁剪率获取权重阈值。
[0099]
步骤504，遍历稀疏分布模型各bn层，根据预设通道保留率确定各bn层对应的保留通道数。
[0100]
步骤506，获取各bn层中通道权重不小于权重阈值的通道数目。
[0101]
步骤508，当通道数目不小于保留通道数时，对当前bn层中权重小于权重阈值的通道进行剪枝处理，当通道数目小于保留通道数时，对当前bn层中权重排名小于保留通道数的通道进行剪枝处理。
[0102]
具体地，由于一个cnn模型中并不是所有的通道都对最后的结果有明显的影响，特别是经过了稀疏训练，有许多通道的权重为0，对模型的输出结果没有影响，因此可以应用通道裁剪技术，根据各个通道的权重，将对结果影响大的通道保留，影响小的通道进行裁剪。通道裁剪策略引入了两个参数，一个为全局裁剪率，另一个为通道保留率。全局裁剪率为预计裁剪的通道数占整个模型中可裁剪的通道数的比例，全局裁剪率越高，最终被裁减的通道数越多，得到的模型越小。通道保留率为裁剪后各层至少需要保留的通道数占原始通道数的比值，防止由于层中的所有通道因权重较小而造成过度裁剪，从而维持整个网络结构的正常连接。在进行通道裁剪时，具体可以先获取稀疏分布模型中各通道对应的通道权重以及权重排名，并根据预设全局裁剪率获取权重阈值；遍历稀疏分布模型各bn层，根据
预设通道保留率确定各bn层对应的保留通道数；获取各bn层中通道权重不小于权重阈值的通道数目；当通道数目不小于保留通道数时，对当前bn层中权重小于权重阈值的通道进行剪枝处理，当通道数目小于保留通道数时，对当前bn层中权重排名小于保留通道数的通道进行剪枝处理。在一个具体的实施例中，通道裁剪步骤如下：
①
将可裁剪的通道权重升序排列，根据全局裁剪率设置权重阈值
②
遍历每个层，根据通道保留率计算该层至少需要保留的通道数κ；
③
将权重小于的通道进行裁剪，若需要裁剪的通道数超过κ，则保留权重最大的κ条通道；
④
重复
②
和
③
，直至所有cbl层都遍历完毕。在另一个具体的实施例中，通道裁剪后，还需要对模型进行调整，模型才能正常实现功能。一方面，是因为shortcut层负责连接两个cbl模块的输出，形成如图6所示的残差结构，两组特征图需要保持维度一致才能进行融合，因此，通过shortcut层相连的两个cbl模块需要保持通道数量一致，即只要两个模块相对应的通道有一边得到保留，则另一边也需保留该通道。另一方面，bn层除了缩放因子γ之外还有偏移因子β会对通道输出造成影响，β会对后续bn层的输入平均值造成偏差，因此需要消除该偏差，从而避免被裁剪通道的β对模型造成影响。本实施例中，通过通道裁剪的方式可以有效减少模型中的冗余通道，降低网络的复杂度，提高泛化能力。
[0103]
在其中一个实施例中，如图7所示，对稀疏分布模型进行模块裁剪，获取第二裁剪模型包括：
[0104]
步骤702，获取稀疏分布模型中的各残差层对应的残差层权重。
[0105]
步骤704，根据残差层权重对稀疏分布模型中的各残差层进行排序，获取残差层排序结果。
[0106]
步骤706，根据预设剪层数目以及残差层排序结果对稀疏分布模型中排序靠后的残差层进行裁剪，获取第二裁剪模型。
[0107]
具体地，在进行模块裁剪时，模块裁剪策略借鉴通道裁剪的思路，1获取稀疏分布模型中的各残差层对应的残差层权重，从而对每一个残差层结构第一个卷积层进行评价。而后根据残差层权重对稀疏分布模型中的各残差层进行排序，获取残差层排序结果，根据预设剪层数目以及残差层排序结果对稀疏分布模型中排序靠后的残差层进行裁剪，获取第二裁剪模型按照设定的剪层数目，剪掉排名靠后的残差。在一个具体的实施例中，为了不影响spp模块完整性，只剪掉主干网络的残差连接部分。
[0108]
在一个最具体的实施例中，本技术的变电站设备异常检测模型优化方法流程参照图8所示，具体包括以下的步骤：
[0109]
预训练：基于历史数据中的变电站设备图像来训练初始变电站设备异常检测模型，同时经过多次调参尝试得到，当batchsize设置为128，epoch设置为120，采用adam优化器，学习率lr为0.0005，系数betas和eps采用默认值，权重衰减weight_decay为0.00045时，模型效果最好且能较快实现收敛，训练得到待优化的变电站设备异常检测模型。
[0110]
稀疏训练：对各cbl模块中bn层的缩放因子γ添加l1正则化约束，并用稀疏因子λ进行平衡。保持基础训练的超参数不变，将稀疏因子λ设置为0.001，训练300个epoch。
[0111]
模型裁剪：通道裁剪中将全局裁剪率分别设置为0.8、0.85和0.9，通道保留率设置为0.01，模块裁剪中将模块裁剪数分别设置为8、12和16。按照图9的流程图进行如下步骤：
[0112]
①
对稀疏训练得到的模型进行通道裁剪；
[0113]
②
对稀疏训练得到的模型进行模块裁剪；
[0114]
③
对
①
中得到的模型进行模块裁剪；
[0115]
④
对
②
中得到的模型进行通道裁剪；
[0116]
⑤
比较前四步获得的模型。
[0117]
最终得到3种效果最好的裁剪模型：模型1(只进行全局裁剪率为0.8的通道裁剪)、模型2(先进行全局裁剪率为0.8的通道裁剪，再进行模块裁剪数为8的模块裁剪)、模型3(先进行全局裁剪率为0.8的通道裁剪，再进行模块裁剪数为12的模块裁剪)。
[0118]
微调：将模型1、2、3在训练集上用sgd优化器进行微调，初始学习率为0.00025，momentum为0.97，训练50个epoch。
[0119]
复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。模型压缩作为将模型应用在移动端的关键技术，已经受到广泛的关注。模型剪枝是模型压缩技术中较为成熟的方法，剪枝可以在保证模型性能情况下去除掉网络中冗余的参数量和权重，降低网络的复杂度，提高泛化能力。
[0120]
本技术针对变电站边缘计算的局限性，设计了基于边缘计算和yolov3-spp算法的变电站设备异常检测模型压缩方案。在bn层添加缩放因子进行稀疏训练和通道剪枝的基础上，通过缩放因子衡量模型残差层重要性，修剪不重要残差。由于本发明所采用的模型压缩方法在迭代剪枝基础上，加入层剪枝，对模型的残差层进行修剪，能够减小前向推理层数，进一步缩小模型并提升推理速度。本技术的变电站设备异常检测模型优化方法针对的是边缘计算下的变电站设备图像监控平台，通过对图像检测模型进行一定程度的压缩，使得变电站设备异常检测模型可以在不牺牲过多精度的前提下减少算法参数、提升运行速度，模型的实用性得到提升，让前端摄像头拥有图像智能分析处理能力，从而实现在边缘计算侧对数据进行收集、分析和判断
[0121]
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0122]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的变电站设备异常检测模型优化方法的变电站设备异常检测模型优化装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个变电站设备异常检测模型优化装置实施例中的具体限定可以参见上文中对于变电站设备异常检测模型优化方法的限定，在此不再赘述。
[0123]
在一个实施例中，如图10所示，提供了一种变电站设备异常检测模型优化装置，包括：
[0124]
初始模型获取模块1001，用于获取待优化的变电站设备异常检测模型。
[0125]
稀疏训练模块1003，用于对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型。
[0126]
模型裁剪模块1005，用于对稀疏分布模型进行模型裁剪处理，获取各裁剪模型。
[0127]
模型剪枝模块1007，用于对各裁剪模型进行评估，根据评估的评估结果，获取变电站设备异常检测模型对应的优化模型。
[0128]
在其中一个实施例中，初始模型获取模块1001具体用于：获取历史数据中的变电站设备图像，以及基于边缘计算和yolov3-spp算法构建的初始变电站设备异常检测模型；根据变电站设备图像获取模型训练数据；采用adam优化器，通过模型训练数据对虎初始变电站设备异常检测模型进行训练，获取待优化的变电站设备异常检测模型。
[0129]
在其中一个实施例中，稀疏训练模块1003具体用于：获取待优化的变电站设备异常检测模型中bn层的缩放因子；基于缩放因子对待优化的变电站设备异常检测模型中的损失函数进行l1正则化，获取正则化损失函数；基于正则化损失函数对应的稀疏因子，对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型。
[0130]
在其中一个实施例中，模型剪枝模块1005具体用于：对稀疏分布模型进行通道裁剪，获取第一裁剪模型，对稀疏分布模型进行模块裁剪，获取第二裁剪模型；对第一裁剪模型进行模块裁剪，获取第三裁剪模型，对第二裁剪模型进行通道裁剪，获取第四裁剪模型。
[0131]
在其中一个实施例中，模型剪枝模块1005还用于：获取稀疏分布模型中各通道对应的通道权重以及权重排名，并根据预设全局裁剪率获取权重阈值；遍历稀疏分布模型各bn层，根据预设通道保留率确定各bn层对应的保留通道数；获取各bn层中通道权重不小于权重阈值的通道数目；当通道数目不小于保留通道数时，对当前bn层中权重小于权重阈值的通道进行剪枝处理，当通道数目小于保留通道数时，对当前bn层中权重排名小于保留通道数的通道进行剪枝处理。
[0132]
在其中一个实施例中，模型剪枝模块1005具体用于：获取稀疏分布模型中的各残差层对应的残差层权重；根据残差层权重对稀疏分布模型中的各残差层进行排序，获取残差层排序结果；根据预设剪层数目以及残差层排序结果对稀疏分布模型中排序靠后的残差层进行裁剪，获取第二裁剪模型。
[0133]
上述变电站设备异常检测模型优化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0134]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频分析数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种变电站设备异常检测模型优化方法。
[0135]
本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0136]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0137]
获取待优化的变电站设备异常检测模型；
[0138]
对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；
[0139]
对稀疏分布模型进行模型裁剪处理，获取各裁剪模型；
[0140]
对各裁剪模型进行评估，根据评估的评估结果，获取变电站设备异常检测模型对应的优化模型。
[0141]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取历史数据中的变电站设备图像，以及基于边缘计算和yolov3-spp算法构建的初始变电站设备异常检测模型；根据变电站设备图像获取模型训练数据；采用adam优化器，通过模型训练数据对虎初始变电站设备异常检测模型进行训练，获取待优化的变电站设备异常检测模型。
[0142]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待优化的变电站设备异常检测模型中bn层的缩放因子；基于缩放因子对待优化的变电站设备异常检测模型中的损失函数进行l1正则化，获取正则化损失函数；基于正则化损失函数对应的稀疏因子，对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型。
[0143]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对稀疏分布模型进行通道裁剪，获取第一裁剪模型，对稀疏分布模型进行模块裁剪，获取第二裁剪模型；对第一裁剪模型进行模块裁剪，获取第三裁剪模型，对第二裁剪模型进行通道裁剪，获取第四裁剪模型。
[0144]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取稀疏分布模型中各通道对应的通道权重以及权重排名，并根据预设全局裁剪率获取权重阈值；遍历稀疏分布模型各bn层，根据预设通道保留率确定各bn层对应的保留通道数；获取各bn层中通道权重不小于权重阈值的通道数目；当通道数目不小于保留通道数时，对当前bn层中权重小于权重阈值的通道进行剪枝处理，当通道数目小于保留通道数时，对当前bn层中权重排名小于保留通道数的通道进行剪枝处理。
[0145]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取稀疏分布模型中的各残差层对应的残差层权重；根据残差层权重对稀疏分布模型中的各残差层进行排序，获取残差层排序结果；根据预设剪层数目以及残差层排序结果对稀疏分布模型中排序靠后的残差层进行裁剪，获取第二裁剪模型。
[0146]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0147]
获取待优化的变电站设备异常检测模型；
[0148]
对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；
[0149]
对稀疏分布模型进行模型裁剪处理，获取各裁剪模型；
[0150]
对各裁剪模型进行评估，根据评估的评估结果，获取变电站设备异常检测模型对应的优化模型。
[0151]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取历史数据中的变电站设备图像，以及基于边缘计算和yolov3-spp算法构建的初始变电站设备异常检测模型；根据变电站设备图像获取模型训练数据；采用adam优化器，通过模型训练数据对虎初始变电站设备异常检测模型进行训练，获取待优化的变电站设备异常检测模型。
[0152]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待优化的变
电站设备异常检测模型中bn层的缩放因子；基于缩放因子对待优化的变电站设备异常检测模型中的损失函数进行l1正则化，获取正则化损失函数；基于正则化损失函数对应的稀疏因子，对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型。
[0153]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对稀疏分布模型进行通道裁剪，获取第一裁剪模型，对稀疏分布模型进行模块裁剪，获取第二裁剪模型；对第一裁剪模型进行模块裁剪，获取第三裁剪模型，对第二裁剪模型进行通道裁剪，获取第四裁剪模型。
[0154]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取稀疏分布模型中各通道对应的通道权重以及权重排名，并根据预设全局裁剪率获取权重阈值；遍历稀疏分布模型各bn层，根据预设通道保留率确定各bn层对应的保留通道数；获取各bn层中通道权重不小于权重阈值的通道数目；当通道数目不小于保留通道数时，对当前bn层中权重小于权重阈值的通道进行剪枝处理，当通道数目小于保留通道数时，对当前bn层中权重排名小于保留通道数的通道进行剪枝处理。
[0155]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取稀疏分布模型中的各残差层对应的残差层权重；根据残差层权重对稀疏分布模型中的各残差层进行排序，获取残差层排序结果；根据预设剪层数目以及残差层排序结果对稀疏分布模型中排序靠后的残差层进行裁剪，获取第二裁剪模型。
[0156]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0157]
获取待优化的变电站设备异常检测模型；
[0158]
对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型；
[0159]
对稀疏分布模型进行模型裁剪处理，获取各裁剪模型；
[0160]
对各裁剪模型进行评估，根据评估的评估结果，获取变电站设备异常检测模型对应的优化模型。
[0161]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取历史数据中的变电站设备图像，以及基于边缘计算和yolov3-spp算法构建的初始变电站设备异常检测模型；根据变电站设备图像获取模型训练数据；采用adam优化器，通过模型训练数据对虎初始变电站设备异常检测模型进行训练，获取待优化的变电站设备异常检测模型。
[0162]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待优化的变电站设备异常检测模型中bn层的缩放因子；基于缩放因子对待优化的变电站设备异常检测模型中的损失函数进行l1正则化，获取正则化损失函数；基于正则化损失函数对应的稀疏因子，对待优化的变电站设备异常检测模型进行稀疏训练，获取稀疏分布模型。
[0163]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对稀疏分布模型进行通道裁剪，获取第一裁剪模型，对稀疏分布模型进行模块裁剪，获取第二裁剪模型；对第一裁剪模型进行模块裁剪，获取第三裁剪模型，对第二裁剪模型进行通道裁剪，获取第四裁剪模型。
[0164]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取稀疏分布模型中各通道对应的通道权重以及权重排名，并根据预设全局裁剪率获取权重阈值；遍历稀疏分布模型各bn层，根据预设通道保留率确定各bn层对应的保留通道数；获取各bn层中通
道权重不小于权重阈值的通道数目；当通道数目不小于保留通道数时，对当前bn层中权重小于权重阈值的通道进行剪枝处理，当通道数目小于保留通道数时，对当前bn层中权重排名小于保留通道数的通道进行剪枝处理。
[0165]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取稀疏分布模型中的各残差层对应的残差层权重；根据残差层权重对稀疏分布模型中的各残差层进行排序，获取残差层排序结果；根据预设剪层数目以及残差层排序结果对稀疏分布模型中排序靠后的残差层进行裁剪，获取第二裁剪模型。
[0166]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0167]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0168]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0169]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。