一种采用分支融合网络轻量化的车库行人检测方法及系统与流程

1.本发明涉及一种检测方法及系统，尤其涉及一种采用分支融合网络轻量化的车库行人检测方法及系统。


背景技术：

2.智慧立体车库实现了无人化，即车位预定、车牌识别和车位升降均由系统自动处理完成。其中，车位升降时需确保车位上没有行人停留时才能执行，因此需要进行车库行人检测以杜绝安全隐患。
3.车库行人检测是目标检测的一个分支。较早的目标检测算法包括利用滑动窗口产生候选区域再进行cnn分类的二阶段算法，如r-cnn系列等。还有对输入图像进行端到端检测直接输出定位和类别的一阶段算法，如ssd和yolo系列。r-cnn系列虽然具有一定的准确率保障，但是其检测速度慢，模型庞大，不适用于对目标检测实时性要求较高的场合。而yolo系列，包括yolov1，yolov2，yolov3虽然检测速度较快，但受限于检测精度，也较少直接被用于工业现场。相较而言，早期工业现场一般选用ssd，它对速度和精度有一个较好的平衡。但是，日渐复杂的检测任务和对模型轻量化要求的不断提高，这些算法显然无法满足要求。近年来，优秀的目标检测模型层出不穷，例如retinanet,centernet,m2det,nas-fpn,efficientdet和yolov5等。这些模型有的致力于解决精度问题，往往会设计包含大量参数的网络充分学习特征信息，导致检测速度偏慢。有的致力于解决检测速度问题，因此在检测精度上有所牺牲。其中，efficientdet系列有d0到d7这8个不同规模的模型，它们的检测精度逐渐升高，检测速度逐渐减慢。
4.车库行人检测时为了避免视觉盲区，往往会在车库的不同视角安装多个摄像头，并通过多个摄像头获取的图像信息进行行人检测。但考虑到成本问题，不可能在现场部署昂贵的计算机，同时又需要在计算资源受限的情况下快速地完成车库行人检测任务。因此，为了满足实时性要求，所采用的车库行人检测算法应尽可能地轻量化。但目前先进的目标检测模型，推理计算主要集中在特征提取阶段，也就是主干网络中。而为了提升检测精度，目标检测模型的主干网络往往十分庞大，结构复杂且参数量繁多，并不适合车库行人检测的实现。


技术实现要素：

5.发明目的：本发明旨在提供一种采用分支融合网络轻量化的车库行人检测方法及系统，解决车库行人检测模型中主干网络十分庞大，结构复杂且参数量繁多的问题。
6.技术方案：本发明所述的采用分支融合网络轻量化的车库行人检测方法，包括以下步骤：
7.(1)采集极端场景和正常场景下的车库行人图像，建立车库行人数据集；
8.(2)先对车库行人数据集中的图像预处理，再利用数据增强丰富样本信息，获得训练样本；
9.(3)检测模型的主干网络中引入分支数为n的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/n的特征通过原模型支路，(n-1)/n的特征通过轻量化支路；
10.(4)在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；
11.(5)每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息；
12.(6)检测模型先在大数据集上用学习率恒定的方式训练，再在车库行人数据集上用学习率衰减的方式调整。
13.所述步骤(2)中，图像预测处理包括图像尺寸裁剪、水平翻转和标准化处理；数据增强包括以下步骤：
14.(21)获取统一尺寸后的图像长宽，利用逐像素点填充生成一张新的图像；
15.(22)利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；
16.(23)根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；
17.(24)将新图像和新标签打包作为一个新的训练样本。
18.所述步骤(3)中包括以下步骤：
19.(31)根据输出特征图的分辨率和通道数将主干网络划分为x个阶段，x≥2，每个阶段包含y个卷积层，y≥2；
20.(32)将每个阶段的输入特征在通道维度上n等分，n≥2为分支数，获得每条支路的输入特征；
21.(33)设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/n，其余n-1条支路仅包含一个深度可分离卷积层。
22.所述步骤(4)中包括以下步骤：
23.(41)设置卷积层参数使得相邻支路在对应节点上的特征维度相同；
24.(42)将相邻支路在对应节点上的特征逐点相加，并通过一个卷积层特征融合。
25.所述步骤(5)中包括以下步骤：
26.(51)将拼接后的特征全局池化，特征维度变为1
×1×
c，c为通道数；
27.(52)将1
×1×
c的特征向量经过一个全连接层通道压缩，并用relu激活函数非线性化；
28.(53)将压缩后的特征经过一个全连接层扩张通道数至c，再用sigmoid函数获得通道的权重信息；
29.(54)将权重与拼接后的特征相乘；得到通道加权后的特征。
30.所述步骤(6)中包括以下步骤：
31.(61)将检测模型在imagenet数据集和coco2017数据集采用adam优化器预训练，保持恒定学习率，训练p轮，p≥50；
32.(62)设定检测模型的分类预测数，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用adam优化器，当检测模型误差小于阈值时，采用sgd
优化器，训练至收敛。
33.本发明所述的一种采用分支融合网络轻量化的车库行人检测系统，包括训练样本模块、检测模型模块和检测模型训练模块；训练样本模块、检测模型模块均与检测模型训练模块连接；所述训练样本模块收集车库行人图像并处理获得训练样本，包括图像预处理子模块和数据增强子模块；所述检测模型模块包括主干网络和分支数为n的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/n特征通过原模型支路，(n-1)/n特征通过轻量化支路；在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息；所述检测模型训练模块采用训练样本模块的获得的训练样本对检测模型模块的检测模型训练。
34.所述数据增强子模块获取统一尺寸后的图像长宽，利用逐像素点填充生成一张新的图像；再利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；将新图像和新标签打包作为一个新的训练样本。
35.所述分支融合网络根据输出特征图的分辨率和通道数将主干网络划分为x个阶段，x≥2，每个阶段包含y个卷积层，y≥2；将每个阶段的输入特征在通道维度上n等分，n≥2为分支数，得到每条支路的输入特征；设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/n，其余支路仅包含一个深度可分离卷积层。
36.所述检测模型训练模块包括恒定学习率的训练子模块和衰减学习率的训练子模块；所述恒定学习率的训练子模块将检测模型采用恒定学习率方式在imagenet数据集和coco2017数据集采用adam优化器预训练，训练p轮，p≥50；所述衰减学习率的训练子模块设置检测模型的分类预测数，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用adam优化器，当检测模型误差小于阈值时，采用sgd优化器，训练至收敛。
37.有益效果：与现有技术相比，本发明具有如下显著优点：
38.(1)针对车库内行人目标的独特性，利用数据增强方法丰富行人检测的背景信息。
39.(2)在主干网络中引入分支融合网络实现多分支结构，降低模型前向推理计算量，明显提升检测速度。
40.(3)将相邻支路的特征在对应节点上进行融合，实现特征信息互补，增强网络的学习能力。
41.(4)引入通道注意力机制为通道分配权重，充分提取通道的有效特征信息。
42.(5)在轻量化模型的同时保持检测的准确性，在复杂多变的车库环境中能准确快速地完成行人检测。
附图说明
43.图1为本发明分支融合网络结构图；
44.图2为本发明使用数据增强后生成的训练样本；
45.图3为本发明使用的注意力机制模块结构图。
具体实施方式
46.下面结合附图对本发明的技术方案作进一步说明。
47.由图1可知，本发明所述的采用分支融合网络轻量化的车库行人检测方法，包括以下步骤：
48.步骤(1)采集极端场景和正常场景下的车库行人图像，建立车库行人数据集；其中极端场景包括遮挡、暗光、反光等场合。增加样本多样性，并标注每张图像中行人所在的位置。
49.由图2可知，步骤(2)先对车库行人数据集中的图像预处理，再利用数据增强丰富样本信息，获得训练样本；其中，图像预测处理先对图像尺寸裁剪成统一尺寸、然后水平翻转，反转概率大约50％，再标准化处理；数据增强包括以下步骤：
50.(21)获取统一尺寸后的图像长宽，利用逐像素点填充生成一张的新图像，像素统一赋值为0；
51.(22)利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；
52.(23)根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；
53.(24)将新图像和新标签打包作为一个新的训练样本。
54.步骤(3)检测模型的主干网络中引入分支数为n的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/n特征通过原模型支路，n-1/n特征通过轻量化支路；包括以下步骤：
55.(31)根据输出特征图的分辨率和通道数将主干网络划分为x个阶段，x≥2，每个阶段包含y个卷积层，y≥2；
56.(32)将每个阶段的输入特征在通道维度上n等分，n≥2，可以任意设定，得到每条支路的输入特征；
57.(33)设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/n，其余支路仅包含一个深度可分离卷积层。
58.步骤(4)在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；包括以下步骤：
59.(41)设置卷积层参数使得相邻支路在对应节点上的特征维度相同；
60.(42)将相邻支路在对应节点上的特征逐点相加，并通过一个卷积层特征融合。
61.由图3可知，步骤(5)每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息；包括以下步骤：
62.(51)将拼接后的特征全局池化，特征维度变为1
×1×
c，c为通道数；
63.(52)将1
×1×
c的特征向量经过一个全连接层通道压缩，并用relu激活函数非线性化；
64.(53)将压缩后的特征经过一个全连接层扩张通道数至c，再用sigmoid函数获得通
道的权重信息；
65.(54)将权重与拼接后的特征进行相乘；得到通道加权后的特征。
66.步骤(6)检测模型先在大数据集上用学习率恒定的方式训练，再在车库行人数据集上用学习率衰减的方式调整。包括以下步骤：
67.(61)将检测模型在imagenet数据集和coco2017数据集采用adam优化器预训练，保持恒定学习率，训练p轮，p≥50；本实施例中学习率为0.01，采用训练50轮；
68.(62)设置检测模型的分类预测数，本实施例中设为1，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用adam优化器，当检测模型误差小于阈值时，采用sgd优化器，训练至收敛。本实施例中，设置初始学习率为0.001，每10轮衰减为原来的0.1倍。
69.本发明所述的一种采用分支融合网络轻量化的车库行人检测系统，包括训练样本模块、检测模型模块和检测模型训练模块；训练样本模块、检测模型模块均与检测模型训练模块连接。
70.训练样本模块收集车库行人图像并处理获得训练样本，包括图像预处理子模块和数据增强子模块。检测模型模块包括主干网络和分支数为n的分支融合网络，分支结构将主干网络中每个阶段的特征在通道维度上分离，1/n特征通过原模型支路，(n-1)/n特征通过轻量化支路；在分支融合网络中，将相邻支路的特征在特征维度相同的节点融合，并在支路中使用跳跃连接；每个阶段结束前，将分支融合网络各支路输出的特征在通道维度上拼接，恢复通道数，并利用注意力机制为每个通道分配权重参数，获得通道的有效特征信息。检测模型训练模块采用训练样本模块的获得的训练样本对检测模型模块的检测模型训练。
71.数据增强子模块获取统一尺寸后的图像长宽，利用逐像素点填充生成一张新的图像；再利用索引和随机抽样的方式从车库行人数据集中抽取4张图像，随机截取4张图像的局部区域分别填充至新图像的左上、右上、左下、右下4个区域，组成复合图像；根据截取图像在新图像中的位置，转换每张图像中的坐标至新图像，并获得相应的标签；将新图像和新标签打包作为一个新的训练样本。
72.分支融合网络根据输出特征图的分辨率和通道数将主干网络划分为x个阶段，x≥2，每个阶段包含y个卷积层，y≥2；将每个阶段的输入特征在通道维度上n等分，n≥2为分支数，得到每条支路的输入特征；设置第一条支路为结构不变的原模型支路，调整该支路中各卷积层的输入和输出特征均为原来的1/n，其余支路仅包含一个深度可分离卷积层。
73.检测模型训练模块包括恒定学习率的训练子模块和衰减学习率的训练子模块；所述恒定学习率的训练子模块将检测模型采用恒定学习率方式在imagenet数据集和coco2017数据集采用adam优化器预训练，训练p轮，p≥50；衰减学习率的训练子模块设置检测模型的分类预测数，然后将预训练后的检测模型采用学习率衰减的方式在车库行人数据集训练，首先采用adam优化器，当检测模型误差小于阈值时，采用sgd优化器，训练至收敛。
74.表1为本实施例中的车库行人检测轻量化模型的对比实验结果。
75.表1车库行人检测轻量化模型的对比实验
76.模型参数量params浮点运算数flops检测精度ap原始模型3.828m2.294b0.653二分支结构1.891m1.511b0.645
三分支结构1.488m1.271b0.630四分支结构1.343m1.187b0.627
77.表2为本实施例中运行车库行人检测模型的计算机平台相关配置信息。
78.表2计算机平台相关配置
[0079][0080][0081]
本发明提出了一个分支融合网络来轻量化车库行人检测模型，并利用通道注意力机制来学习通道权重，在模型规模减小，检测速度加快的同时，保持了检测的准确度。采用本发明所提出的轻量化方法，在表2所示的计算机平台上实际运行时，调用多个摄像头完成一次行人检测的时间能从2秒缩短为1秒左右，满足智慧立体车库行人检测的实时性和准确性要求。