一种面向监控场景中行人目标的轻量化检测方法与流程

1.本发明属于视频处理和图像智能分析技术领域，涉及一种面向监控场景中行人目标的轻量化检测方法。


背景技术：

2.目标检测算法分为两大类：传统方法和基于深度学习的方法。传统的目标检测中，比较经典的方法包括hog和sift等。而基于深度学习的目标检测算法，其检测精度远远高于传统的目标检测算法，比较经典的方法包括faster r-cn、fpn、yolo、ssd、refinedet、sniper、yolov5、centernet、fcos等。从以faster r-cnn为代表的高精度、低速度的two-stage算法，到以yolo为代表的低精度、高速度的one-stage算法，再到后来的yolov5为代表的高精度、高速度的one-stage算法，可以说，在目标检测的发展过程中，实用性一直是一个重要的发展方向。目前yolov5仍然是所有的检测算法中在速度和精度之间做出了较好权衡的目标检测网络。
3.目标检测算法往往需要部署在嵌入式系统，甚至移动终端上，并且实时输出检测结果，虽然目标检测网络的性能得到了提高，但是近百层的神经网络模型的计算开销和参数体量巨大，因而对于模型轻量化的需求尤为突出。近几年有很多的轻量化模型被提出，包括squeezenet、mobilenet、shufflenet、mobilenetv2、shufflenetv2、mobilenetv3、ghostnet、tinynet等，这些模型的主要思想在于设计更加高效的卷积神经网络的计算方式，从而使得模型参数量大大降低的同时，尽量将模型的性能保持在一个相对较高的水平上。其中，squeezenet主要通过1
×
1的卷积对通道数进行压缩，随后再使用1
×
1和3
×
3的卷积分别提取特征之后进行通道维度上的拼接操作降低网络参数。mobilenet和shufflenet均利用了depthwise convolution，只是随后为了解决depthwise convolution带来的信息流通不畅的问题而分别采用了不同的方法，mobilenet采用了pointwise convolution而shufflenet采用了channel shuffle。ghostnet对沿通道方向压缩后的特征进行简单的线性变换和恒等映射来降低模型参数量。上述方法虽已显著降低了模型参数量和计算开销，但在一些对空间和功耗要求苛刻的场景，仍然无法满足要求。例如，yolov5仅特征提取网络的参数量就达到27.3m，仍然很难部署在一些低成本的嵌入式平台。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，从减少模型冗余参数的角度出发，提供一种面向监控场景中行人目标的轻量化检测方法。
5.本发明的技术方案如下：
6.面向监控场景中行人目标的轻量化检测方法，其特征在于包括以下步骤：
7.(1)构造数据集，以rgb图像作为输入，通过compactnet网络进行特征提取，分别得到分辨率为输入图像的8倍和16倍下采样的特征图f8和f
16
作为细粒度特征，并将得到的分辨率为输入图像的32倍下采样的特征图f
32
作为语义特征；
8.(2)通过标准卷积模块对f
32
进行特征变换，然后进行上采样操作将其分辨率放大为与f
16
一致并与f
16
沿通道方向拼接在一起得到新的特征图
9.(3)通过标准卷积模块对进行特征变换，然后进行上采样操作将其分辨率放大为与f8一致并与f8沿通道方向拼接在一起得到新的特征图
10.(4)借助标准卷积模块对f
32
、和进行进一步的特征提取，并使用标准的卷积操作对提取到的特征进行增强，随后在三个不同细粒度的特征图上进行互相独立的分类和回归，得到3个检测目标集合s
32
、s
16
和s8；
11.(5)将检测目标集合s
32
、s
16
和s0中置信度高于检测阈值的结果合并到一个集合中，并对该合集中的所有检测目标通过nms算法去掉同一目标的重叠检测框，最后将合集中剩下的目标作为检测模型最终的预测结果。
12.本发明以当前性能较好的目标检测网络yolov5为基础，通过引入一种新颖的去冗余卷积模块(compact convolution)，提出了一种新型超轻量化目标检测网络模型。该模型借鉴cspdarknet-53的网络结构，使用去冗余卷积模块替换网络中的标准卷积模块，提出了更加轻量化的特征提取网络(compactnet)。
13.本发明首先将cspdarknet-53中的标准卷积换成了mobilenetv2中的深度可分离卷积，得到了轻量化特征提取网络cspmobilenetv2。然后将cspdarknet-53中的标准卷积换成了去冗余卷积，得到了更加轻量化的特征提取网络compactnet。三者参数量的对比实验如表1所示。
[0014][0015][0016]
表1模型参数对比
[0017]
从中可以看出，通过使用本发明提出的去冗余卷积，compactnet相比标准卷积模型cspdarknet-53减少了81.3％的参数量，相比轻量化网络mobilenetv2减少了62.8％的参数量，实验结果表明，新的网络模型(compactnet)在精度略微下降的前提下，大大降低了原模型的参数体量，取得了非常好的轻量化效果。
[0018]
而且，以compactnet进行特征提取的轻量化检测器能够适应各种场景、天气和光照的变化，具有较强的鲁棒性，检测效果稳定。
附图说明
[0019]
图1是去冗余卷积模块的处理流程示意图。
具体实施方式
[0020]
本发明借鉴了yolov5的检测网络结构和特征提取网络结构：将cspdarknet53中第一个标准卷积模块以外的所有卷积层均使用去冗余卷积模块替代，得到了更加轻量化的特
征提取网络compactnet；在将compactnet提取到的特征输入到yolov5检测网络时，延续了yolov5与cspdarknet-53连接的规则，即分别将compactnet中分辨率为输入图像的8倍、16倍和32倍下采样的特征层中的最后一层作为细粒度特征与检测网络中上采样之后的高级语义特征融合，增强网络的物体识别能力，尤其是小目标。
[0021]
本发明提出了新的去冗余卷积模块，其具体结构如图1所示。
[0022]
在对场景限定、种类限定的图像目标进行检测时，比如监控场景下的行人检测，现有的基于深度学习的检测器中存在大量冗余参数。为了减少这些冗余参数，去冗余卷积模块首先对特征进行通道方向上的分割并对分割后的特征分别进行暴力去冗余和自适应去冗余操作。其中，暴力去冗余操作使用均值池化操作对特征图进行空间维度上的暴力压缩；自适应去冗余操作利用深度卷积对特征进行进一步的提取，同时为了减缓网络分支对模型处理数据的速度带来的不利影响，这里将深度卷积的步长设置为2，通过降低特征图的分辨率来提升网络处理数据的速度，之后将两部分去冗余的特征重新在通道方向上进行合并，通过组合通道洗牌操作和1x1组卷积(g＝4)操作，在降低1x1标准卷积参数基础上保证了通道间的信息交互。
[0023]
上述去冗余卷积模块的工作流程如下：
[0024]
步骤1，对空间维度为n
×c×h×
w的输入特征(其中n、c、h和w分别代表样本数量、通道数量、特征高度和宽度)在通道方向上进行平均拆分，分别记作暴力去冗余特征和自适应去冗余特征
[0025]
步骤2，对步骤1中所得暴力去冗余特征使用卷积核为3
×
3、步长为2和填充为1的均值池化操作得到新的暴力去冗余特征对步骤1中所得自适应去冗余特征使用卷积核为3
×
3、步长为2和填充为1的深度卷积和批归一化操作得到新的自适应去冗余特征
[0026]
步骤3，将步骤2中所得新的暴力去冗余特征和新的自适应去冗余特征在通道方向上进行拼接操作，之后进行通道洗牌既随机交换特征图通道间顺序，得到去冗余特征
[0027]
步骤4，对步骤3中所得去冗余特征使用卷积核为1
×
1、步长为1、填充为0和分组为4的组卷积操作得到交互通道信息的去冗余特征若不需要对特征图进行下采样操作，则对交互通道信息的去冗余特征进行上采样使其空间维度变为n
×c×h×
w；
[0028]
步骤5，对步骤4中所得交互通道信息的去冗余特征进行批归一化和激活操作。此处的激活操作选用mish函数。
[0029]
基于上述去冗余卷积模块，本发明所提出的一种超轻量化图像目标检测方法，具
体按照以下步骤实施：
[0030]
(1)构造数据集，以rgb图像作为输入，通过compactnet网络进行特征提取，分别得到分辨率为输入图像的8倍和16倍下采样的特征图f8和f
16
作为细粒度特征，并将得到的分辨率为输入图像的32倍下采样的特征图f
32
作为语义特征；
[0031]
(2)通过标准卷积模块对f
32
进行特征变换，然后进行上采样操作将其分辨率放大为与f
16
一致并与f
16
沿通道方向拼接在一起得到新的特征图
[0032]
(3)通过标准卷积模块对进行特征变换，然后进行上采样操作将其分辨率放大为与f8一致并与f8沿通道方向拼接在一起得到新的特征图
[0033]
(4)借助标准卷积模块对s
32
、和进行进一步的特征提取，并使用标准的卷积操作对提取到的特征进行增强，随后在三个不同细粒度的特征图上进行互相独立的分类和回归，得到3个检测目标集合s
32
、s
16
和s8。
[0034]
(5)将检测目标集合s
32
、s
16
和s8中置信度高于检测阈值的结果合并到一个集合中，并对该合集中的所有检测目标通过nms算法去掉同一目标的重叠检测框，最后将合集中剩下的目标作为检测模型最终的预测结果。