基于轻量化网络的视频运动目标检测方法及系统与流程

1.本公开属于电网巡检影像分析技术领域，尤其涉及一种基于轻量化网络的视频运动目标检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.随着电网自动化程度的提高，视频监控系统在电网得到广泛应用，在电力应用场景，对现场和设备进行实时监控可以使电网实现真正意义上的无人值守，使电网运行更为安全。
4.目前流行的电网巡检影像分析技术都基于深度神经网络模型，相比传统在cpu平台上的计算，强大的gpu计算能力大大提高了智能识别模型的计算能力和分析效率；但是，发明人发现，伴随着深度神经网络模型越来越复杂，网络模型的高存储高功耗弊端，严重制约着深度神经网络在计算资源有限的电力应用场景中的推广和应用，特别是依靠前端设备自身计算资源进行电网巡检的场景下，现有的深度神经网络模型从存储空间的占用以及计算资源的使用上均无法满足要求。


技术实现要素：

5.本公开为了解决上述问题，提供了一种基于轻量化网络的视频运动目标检测方法及系统，所述方案通过自主设计的轻量化的卷积神经网络结构lightnet，作为运动目标检测模型的特征提取模块，实现视频运动目标的前端化实时检测和识别，有效提高了识别精度和识别效率，解决了现有深度学习模型高存储高功耗的弊端。
6.根据本公开实施例的第一个方面，提供了一种基于轻量化网络的视频运动目标检测方法，包括：
7.获取待检测的电力巡检图像，并进行相应预处理；
8.将预处理后的巡检图像输入预先训练好的运动目标检测模型中，输出目标检测结果；
9.其中，所述运动目标检测模型采用ssd网络结构，所述ssd网络结构采用lightnet轻量化网络进行特征提取，所述lightnet轻量化网络包括若干light单元和卷积层，所述light单元用于将输入的特征图经卷积核进行通道降维处理；将降维处理的特征图经残差连接单元处理，获得输出的特征图。
10.进一步的，所述运动目标检测模型基于ssd网络结构，利用所述lightnet轻量化网络进行不同尺度的特征提取，分别通过不同尺度的特征进行目标识别，获得不同尺度特征下的识别结果，并基于非极大值抑制算法从中获得最优的识别结果。
11.进一步的，所述运动目标检测模型的训练，具体为：
12.采集电力巡检视频，将视频分解为图像，对获得的图像进行滤波处理，实现训练数
据集的构建；
13.基于构建的训练数据集，对所述运动目标检测模型进行训练，获得训练好的模型。
14.进一步的，所述将输入的特征图经卷积核进行通道降维处理，其中，采用的卷积核为1x1的卷积核。
15.进一步的，所述残差连接单元包括顺序链接的池化层、卷积层和合并模块，所述合并模块用于将残差链接单元的输入及所述卷积层的输出通过concat操作进行合并。
16.进一步的，所述lightnet轻量化网络包括9个light单元和两个卷积层。
17.进一步的，所述预处理包括采用直方图均衡化对图像进行滤波处理。
18.根据本公开实施例的第二个方面，提供了一种基于轻量化网络的视频运动目标检测系统，包括：
19.数据获取单元，其用于获取待检测的电力巡检图像，并进行相应预处理；
20.目标检测单元，其用于将预处理后的巡检图像输入预先训练好的运动目标检测模型中，输出目标检测结果；
21.其中，所述运动目标检测模型采用ssd网络结构，所述ssd网络结构采用lightnet轻量化网络进行特征提取，所述lightnet轻量化网络包括若干light单元和卷积层，所述light单元用于将输入的特征图经卷积核进行通道降维处理；将降维处理的特征图经残差连接单元处理，获得输出的特征图。
22.根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于轻量化网络的视频运动目标检测方法。
23.根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于轻量化网络的视频运动目标检测方法。
24.与现有技术相比，本公开的有益效果是：
25.(1)本公开提供了一种基于轻量化网络的视频运动目标检测方法及系统，所述方案通过自主设计的轻量化的卷积神经网络结构lightnet，作为运动目标检测模型(即ssd网络结构)的特征提取模块，实现视频运动目标的前端化实时检测和识别，有效提高了识别精度和识别效率，解决了现有深度学习模型高存储高功耗的弊端。
26.(2)本公开提供了一种轻量化的lightnet网络结构，通过该网络结构提取图片特征，所述lightnet网络结构可以减少卷积运算的复杂度，缩短卷积网络模型的前向推断时间，对于提高视频处理的实时性具有重要现实意义。
27.本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
28.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
29.图1为本公开实施例中所述的基于轻量化网络的ssd多目标检测模型结构示意图。
具体实施方式
30.下面结合附图与实施例对本公开做进一步说明。
31.应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
32.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
33.在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
34.实施例一：
35.本实施例的目的是提供一种基于轻量化网络的视频运动目标检测方法。
36.一种基于轻量化网络的视频运动目标检测方法，包括：
37.获取待检测的电力巡检图像，并进行相应预处理；
38.将预处理后的巡检图像输入预先训练好的运动目标检测模型中，输出目标检测结果；
39.其中，所述运动目标检测模型采用ssd网络结构，所述ssd网络结构采用lightnet轻量化网络进行特征提取，所述lightnet轻量化网络包括若干light单元和卷积层，所述light单元用于将输入的特征图经卷积核进行通道降维处理；将降维处理的特征图经残差连接单元处理，获得输出的特征图。
40.进一步的，所述运动目标检测模型基于ssd网络结构，利用所述lightnet轻量化网络进行不同尺度的特征提取，分别通过不同尺度的特征进行目标识别，获得不同尺度特征下的识别结果，并基于非极大值抑制算法从中获得最优的识别结果。
41.进一步的，所述运动目标检测模型的训练，具体为：
42.采集电力巡检视频，将视频分解为图像，对获得的图像进行滤波处理，实现训练数据集的构建；具体的：采集电力巡检视频，将视频分解为图像，对图像中的运动目标进行标定，分析图像的背景特性，采用直方图均衡化技术对图像进行滤波处理，提升图像的对比度；基于处理后的图像实现训练集的构建；
43.基于构建的训练数据集，对所述运动目标检测模型进行训练，获得训练好的模型。
44.进一步的，所述将输入的特征图经卷积核进行通道降维处理，其中，采用的卷积核为1x1的卷积核。
45.进一步的，所述残差连接单元包括顺序链接的池化层、卷积层和合并模块，所述合并模块用于将残差链接单元的输入及所述卷积层的输出通过concat操作进行合并。
46.进一步的，所述lightnet轻量化网络包括9个light单元和两个卷积层，其连接关系具体为：两个卷积层在前，9个light单元在后的顺序连接关系。
47.进一步的，所述预处理包括采用直方图均衡化对图像进行滤波处理。
48.具体的，为了便于理解，以下结合附图对本公开所述方案进行详细说明：
49.本公开提供了一种基于轻量化网络的视频运动目标检测方法,所述方案选取基于轻量化深度神经网络的ssd(single shot multibox detector)目标检测算法对巡检数据
进行识别，基本构思如下：首先将视频帧分解为多张图像，利用图像预处理技术对图像进行处理，从而过滤背景和其他杂光对设备识别的干扰；然后基于自主设计的卷积神经网络结构lightnet轻量化网络,作为ssd目标检测算法的特征提取模块；最后利用基于轻量化网络的多目标检测算法ssd来对巡检图片进行运动目标检测；本公开能够准确的从图像或视频里定位并识别巡检目标，能够实际应用到电力场景下的视频运动目标检测任务中。
50.进一步的，如图1所示，为本公开所述的基于轻量化网络的ssd多目标检测模型结构示意图，所述ssd多目标检测模型采用lightnet轻量化网络进行特征提取，所述lightnet轻量化网络包括若干light单元和卷积层，所述light单元用于将输入的特征图经卷积核进行通道降维处理；将降维处理的特征图经残差连接单元处理，获得输出的特征图。具体的：
51.所述lightnet是一种轻量级网络结构，主要为降低网络模型参数数量设计的，lightnet网络结构仅占5.2mb的存储空间，而且识别精度具有良好的表现。
52.lightnet的核心思想是想在保留准确率的同时使用最少的参数，而这也是所有模型压缩方法的一个最终目的。基于这个思想，lightnet的网络结构设计采用了以下策略：
53.(1)采用lxl卷积核进行逐点卷积运算，改变卷特征图的通道数；
54.(2)减小输入到3x3卷积核的输入通道数；
55.(3)尽可能地将下采样放在网络后面的层中；
56.(4)引入残差结构，增强梯度的传播；
57.前两个策略都是针对如何降低参数数量而设计的，第三个策略用于最大化网络的准确率，本公开在前基三个策略基础上结合残差结构提出了一种网络单元结构，称为light单元。一个light单元包括特征提取单元以及残差连接单元，利用1x1卷积核进行通道降维，从而减少输入到特征提取层中卷积核的输入通道数；残差连接单元通过concat操作代替add操作，从而减少计算量。
58.light module输入的特征图为h*w*m的，输出的特征图为h*m*(e1 e3)，特征图的分辨率是不变的，变的仅是维数，也就是通道数，这一点和vggnet的思想一致，其中，e1是经过1*1池化层操作后的特征图维度，e2是经过3*3卷积层操作后的特征图维度。light module的具体操作包含两个主要步骤：
59.1)首先，h*w*m的特征图经过1x1卷积核，得到s1个特征图，其中，s1是个自定义变量，且满足m/2《s1《m，以达到“压缩”的目的。
60.2)其次，h*w*s1的特征图输入到特征提取层，分别经过1*1池化层进行池化操作和3*3卷积层进行卷积操作，再将相加的特征与最初的输入进行合并，得到lightmodule的输出，为h*m*(e1 e3)的特征图。
61.进一步的，本公开为了解决配电力场景中视频运动目标检测问题,选取基于轻量化网络的多目标检测算法(ssd)来对视频中的运动目标进行识别，将ssd算法的特征提取模块由vggnet替换为lightnet，通过多尺度特征融合的方式来提升目标识别的准确度，具体的：所述运动目标检测模型基于ssd网络结构，利用所述lightnet轻量化网络进行不同尺度的特征提取，分别通过不同尺度的特征进行目标识别，获得不同尺度特征下的识别结果，并基于非极大值抑制算法(nms：non-maximum suppression)从中获得最优的识别结果。
62.实施例二：
63.本实施例的目的是提供一种基于轻量化网络的视频运动目标检测系统。
64.一种基于轻量化网络的视频运动目标检测系统，包括：
65.数据获取单元，其用于获取待检测的电力巡检图像，并进行相应预处理；
66.目标检测单元，其用于将预处理后的巡检图像输入预先训练好的运动目标检测模型中，输出目标检测结果；
67.其中，所述运动目标检测模型采用ssd网络结构，所述ssd网络结构采用lightnet轻量化网络进行特征提取，所述lightnet轻量化网络包括若干light单元和卷积层，所述light单元用于将输入的特征图经卷积核进行通道降维处理；将降维处理的特征图经残差连接单元处理，获得输出的特征图。
68.在更多实施例中，还提供：
69.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一中所述的方法。为了简洁，在此不再赘述。
70.应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
71.存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
72.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一中所述的方法。
73.实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
74.本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
75.上述实施例提供的一种基于轻量化网络的视频运动目标检测方法及系统可以实现，具有广阔的应用前景。
76.以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。