一种基于迭代设计的目标检测方法与流程

1.本发明涉及目标检测方法，特别涉及一种基于迭代设计的目标检测方法。


背景技术：

2.日常生活中会出现很多需要检测的目标互相遮挡的场景，比如公共场所的视频监控对行人的检测系统、道路交通管理中对车辆流量的监控系统、医学实验室对显微镜下密集的细胞的自动检测系统等等。以上场景中需要检测的目标之间的相互重叠和遮挡都会对目标检测算法产生巨大的挑战。如何在目标遮挡的场景下对目标进行精确地检测是一个学术界和工业界都十分关注的课题，但是目前通用的目标检测算法在目标遮挡场景下的检测精度和召回率都难以满足要求。
3.通用的目标检测算法在目标遮挡这样的复杂场景中无法达到令人满意的效果，其根本原因主要有以下两点：(1)非极大值抑制等传统的后处理算法不能够分辨出两个相邻的检测框是同一个目标的冗余检测框还是分别属于两个重叠目标的检测框。(2)运动中的目标不仅会产生形变还会互相遮挡，传统的目标检测模型无法适应目标形变与处理目标信息不足等问题。


技术实现要素：

4.本发明的目的是提供一种基于迭代设计的目标检测方法，有效增强检测精度和鲁棒性，减少性训练的难度和复杂程度，更通用。
5.本发明的上述技术目的是通过以下技术方案得以实现的：
6.一种基于迭代设计的目标检测方法，包括有以下步骤：
7.构建目标检测主网络，包括有若干个残差块，每一残差块的输出对应一层尺度的特征图；
8.构建历史信息特征提取子网络，包括有若干个残差块，每一残差块的输出得到子历史信息特征组，每一子历史信息特征组都与主网络对应输出的特征图尺度一致；
9.对历史信息特征进行融合，将子历史信息特征组与主网络在对应尺度上对应通道的像素相加进行特征融合操作；
10.在目标拥挤场景数据集上的训练集对构建的目标检测模型进行训练，同时对主网络和子网络进行训练直至模型收敛；
11.将训练好的目标检测模型应用于目标遮挡场景下的目标检测，并通过数据集的测试集进行验证；
12.对需要检测的目标，输入至目标检测模型进行第一次检测，通过历史信息特征提取子网络进行特征提取，获得多个尺度的历史信息特征图；
13.通过历史信息特征融合从多个尺度将第一次检测得到的历史信息特征融合进第二次检测；将两次检测结果进行合并获得最终的最优结果集。
14.综上所述，本发明具有以下有益效果：
15.通过设计出的历史信息特征子网络采用可变形卷积替换传统卷积同时采用平衡特征金字塔的方式获取多尺度平衡的特征，显著地增强了模型对遮挡严重且形变严重的目标的检测精度与鲁棒性，并且通过历史信息特征融合机制设计，极大地减少了模型训练的难度，简化了模型的训练步骤。
附图说明
16.图1为目标检测方法的网络结构图；
17.图2为历史信息特征提取子网络采用平衡特征金字塔的结构图。
具体实施方式
18.以下结合附图对本发明作进一步详细说明。
19.根据一个或多个实施例，公开了一种基于迭代设计的目标检测方法，如图1所示，包括有以下步骤：
20.s1、构建目标检测主网络，包括有若干个残差块，每一残差块的输出对应一层尺度的特征图。
21.目标检测主网络的结构具体如下表一所示：
22.由conv1、conv2_x、conv3_x、conv4_x、conv5_x五个残差块组成；
[0023][0024]
表一
[0025]
第一个残差块：卷积核大小为7x7，卷积核个数为64，输出特征图尺寸大小为112x112；
[0026]
第二个残差块：先经过3x3大小的最大池化层，再经过三个依次为卷积核大小为1x1，卷积核个数为64；卷积核大小为3x3，卷积核个数为64；卷积核大小为1x1，卷积核个数为256的残差层；
[0027]
第三个残差块：四个依次为卷积核大小为1x1，卷积核个数为128；卷积核大小为3x3，卷积核个数为128；卷积核大小为1x1，卷积核个数为512的残差层；
[0028]
第四个残差块：六个依次为卷积核大小为1x1，卷积核个数为256；卷积核大小为3x3，卷积核个数为256；卷积核大小为1x1，卷积核个数为1024的残差层；
[0029]
第五个残差块：三个依次为卷积核大小为1x1，卷积核个数为512；卷积核大小为3x3，卷积核个数为512；卷积核大小为1x1，卷积核个数为2048的残差层。
[0030]
s2、构建历史信息特征提取子网络，包括有若干个残差块，每一残差块的输出得到子历史信息特征组，每一子历史信息特征组都与主网络对应输出的特征图尺度一致。
[0031]
历史信息特征提取子网络采用可变形卷积，可变形卷积通过学习目标的形变特征，适应目标运动时产生的几何形变从而增强模型几何形变的自适应性。其结构具体如下表二所示：
[0032]
由conv1'、conv2'_x、conv3'_x、conv4'_x四个残差块组成，每一个残差块的输出都得到与主网络中conv1、conv2_x、conv3_x、conv4_x输出的特征图尺度一致的子历史信息特征组t1、t2、t3、t4；
[0033][0034]
表二
[0035]
第一个残差块：卷积核大小为7x7，卷积核个数为64，输出特征图尺寸大小为112x112；
[0036]
第二个残差块：先经过3x3大小的最大池化层，再经过两个拥有两层卷积核大小为3x3，卷积核个数为256的残差层，输出特征图尺寸大小为56x56；
[0037]
第三个残差块：两个拥有两层卷积核大小为3x3，卷积核个数为512的残差层，输出特征图尺寸大小为28x28；
[0038]
第四个残差块：两个拥有两层卷积核大小为3x3，卷积核个数为1024的残差层，输出特征图尺寸大小为14x14。
[0039]
s3、对历史信息特征进行融合，将子历史信息特征组与主网络在对应尺度上对应通道的像素相加进行特征融合操作。
[0040]
对历史信息特征采用平衡特征金字塔进行特征融合，平衡特征金字塔可以获得多个尺度上的更加平衡的特征，从而有效得提高模型的检测精度。
[0041]
如图2所示，将传统的卷积核替换成可变形卷积后搭建平衡特征金字塔：首先，对历史信息特征提取子网络提取到的不同尺度的特征c2、c3、c4、c5采用插值法或最大值池化方法缩放到c4一样的相同尺度大小，然后对所有尺度采取求平均值的方式获得融合后的特征图c。求取平均值的公式如下所示：
[0042][0043]
其中l为特征提取网络输出特征的层数，cl为第l层的特征。
[0044]
然后，对融合了各尺度信息的c采用gaussian non-local attention进行信息增强得到c'，让融合后的特征具有高分辨度的信息。最后，将经过信息增强后的融合特征重新缩放回原各尺度大小与之前的初始特征图进行相加后获得最终的平衡特征。
[0045]
进行融合的融合机制具体为：
[0046]
将原始图片输入目标检测主网络，得出第一次检测的检测框结果：
[0047][0048]
其中xk、yk为第k个检测框的左上角坐标，wk、hk为坐标框的宽和高；定义一张与原图尺寸大小一致的历史信息图h
xy
，h
xy
中的每一个像素点的值都是b中覆盖过该像素点的检测框数量的统计值；
[0049]
历史信息图h
xy
的计算公式如下所示：
[0050][0051]
其中1为计数符号，所有满足坐标范围的像素点都记录一次检测框覆盖；
[0052]
将计算得到的历史信息图h
xy
输入历史信息特征提取子网络中，得到与目标检测主网络中conv1、conv2_x、conv3_x、conv4_x输出的特征图尺度一致的子历史信息特征组：t1、t2、t3、t4；
[0053]
将主网络conv1、conv2_x、conv3_x、conv4_x输出的特征图每一个通道上的像素点与子网络输出的t1、t2、t3、t4逐像素相加
[0054]
s4、在目标拥挤场景widerperson与crowdhuman数据集上的训练集对构建的目标检测模型进行训练，同时对主网络和子网络进行训练直至模型收敛。
[0055]
基于目标拥挤场景数据集上的训练集对构建的目标检测模型进行训练具体为：
[0056]
将数据集的训练集中的真值框分为两部分b
old
和b
new
；
[0057]
将b
old
直接转化成历史信息图h
xy
，输入历史信息特征提取子网络中，得到多个维度的历史信息特征；b
new
直接作为模型训练的目标预测框；
[0058]
将多个维度的历史信息特征融合进主网络中，其中特征融合的方式为对应像素直接相加；
[0059]
将训练样本输入模型中，进一步提取特征得到预测框p，通过预测框p与真值框b
new
之间的误差反向传播优化模型的损失函数，对主网络和子网络同时进行训练，直到模型收敛。
[0060]
s5、将训练好的目标检测模型应用于目标遮挡场景下的目标检测，并通过数据集的测试集进行验证。将训练得到的模型移植到嵌入式平台，利用该模型对监控摄像头中的目标进行检测，开发遮挡场景下的目标检测系统。
[0061]
通过主网络的目标检测模型进行第一次检测，将获得到的检测框通过统计的方式转换成记录第一次检测结果的灰度图；并通过历史信息特征提取子网络对其进行进一步的
特征提取，获得多个尺度的历史信息特征图；最终利用历史信息特征融合机制从多个尺度上将第一次检测得到的历史信息特征融合进第二次检测中，将两次的检测结果进行合并后获得最终的最优结果集。
[0062]
通过设计出的历史信息特征子网络采用可变形卷积替换传统卷积同时采用平衡特征金字塔的方式获取多尺度平衡的特征，显著地增强了模型对遮挡严重且形变严重的目标的检测精度与鲁棒性，并且通过历史信息特征融合机制设计，极大地减少了模型训练的难度，简化了模型的训练步骤。能有效解决传统目标检测算法在目标遮挡场景下非极大值抑制的后处理方法导致对目标产生漏检，相比传统的目标检测算法，本发明在目标遮挡场景下检测精度和召回率更高。同时，本发明所提出的检测方法具备通用性，可以适应各种不同的检测目标的检测需求，采用可变形卷积替换传统卷积同时采用平衡特征金字塔的方式获取多尺度平衡的特征，显著地增强了模型对遮挡严重且形变严重的目标的检测精度与鲁棒性。
[0063]
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。