一种基于多尺度混合维度网络的目标检测方法及系统与流程

1.本发明属于目标识别技术领域，尤其涉及一种基于多尺度混合维度网络的目标检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.交通标志的检测是当前计算机视觉和模式识别领域中研究的热点，因智能交通及无人驾驶技术对准确率和实时性要求高，给交通标志检测技术研究带来较大难度。传统交通标志识别算法普遍利用机器学习算法以及图像处理技术对图像的颜色、形状、边缘等进行提取特征和分类回归，如hog、sift等方法，因其对噪声较敏感、计算量大等缺点，普遍存在适应性低、检测效果差、实时性和准确性不平衡的问题。
4.随着深度学习的快速发展，基于卷积神经网络的目标检测算法虽然具有更加丰富的特征信息和更强的特征表达能力，但仍需不断完善和改进，达到更好检测效果。faster
‑
rcnn算法通过交替训练sppnet和rpn网络完成分类和回归，由于采用选择性搜索方法作用于候选框，重复卷积进行网络计算，导致内存占用量大，进而速度较慢。ssd算法采用多尺度特征层进行卷积检测，虽然速度得到一定提升，但是使用了卷积层数少的低级特征层，导致提取特征不充分。yolov1算法采用图像分割输出位置与类别，充分利用了特征信息，但是一个单元格只能预测两个框和一个类别，限制了预测的数量。yolov9000算法采用批标准化，加入bn层，引入的锚框使网络更稳定，但由于受标签限制，检测性能较低。yolov3算法采用fpn网络，并加入了nms筛选，不论在速度上，还是在精度上，均具有较优的检测性能，但是因为像素小，分辨率低，导致卷积后对小目标的特征信息不明显，因此，基于存在小目标对象较多的交通标志检测的研究仍然存在很大提升空间，设计一种高准确率高效率的小目标检测算法依旧是有意义的开放性问题。


技术实现要素：

5.为了解决上述背景技术中存在的技术问题，本发明提供一种基于多尺度混合维度网络的目标检测方法及系统，其设计重构特征金字塔网络(fpn)的结构，通过筛选特征融合目标检测层尺度，构建了多尺度混合域网络，提高对高价值信息的学习能力，在存在小目标对象的背景下，能解决原版算法检测精度低、漏检、误检等情况，且模型更稳定，具有较高的鲁棒性。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明的第一个方面提供一种基于多尺度混合维度网络的目标检测方法。
8.一种基于多尺度混合维度网络的目标检测方法，包括：
9.将目标图像输入训练好的多尺度混合维度网络，得到的图像经nms方法去除冗余框后，得到标注目标位置和类别的图像；
10.所述多尺度混合维度网络包括金字塔网络，所述的金字塔网络自上而下的每两个卷积层之间引入混合维度模块。
11.进一步的，所述混合维度模块包括通道注意模块和空间注意模块；
12.所述通道注意模块，被配置为：将所述的金字塔网络中上一卷积层的特征作为输入，将经过全局最大值和平均值池化后的特征图传到共享全连接层mlp，将输出的特征进行加和操作和sigmoid激活，得到加权后的特征层；
13.所述空间注意模块，被配置为：将通过通道注意模块得到的特征层作为空间模块的输入特征，进行张量拼接，然后卷积操作进行降维，经过激活操作生成空间特征层，最后将该特征层与输入特征相乘，得到最终生成的特征，作为所述的金字塔网络中下一卷积层的输入。
14.进一步的，所述的金字塔网络包括：五个残差模块和输出层，所述五个残差模块经特征融合输入输出层；
15.所述五个残差模块中残差块的数目分别是1、2、4、4、23；
16.所述五个残差模块分别输出2倍降采样层、4倍降采样层、8倍降采样层、16倍降采样层、32倍降采样层,所述4倍降采样层经特征融合输入所述输出层；
17.8倍降采样层经过2倍上采样与4倍降采样层特征融合；16倍降采样层经过2倍上采样与8倍降采样层特征融合,还经过4倍上采样与4倍降采样层特征融合；32倍降采样层经过2倍上采样与16倍降采样层特征融合,还经过4倍上采样与8倍降采样层特征融合；
18.所述输出层包括两个残差块和一个卷积层。
19.进一步的，所述多尺度混合维度网络的训练过程包括:获取目标图像检测训练集；通过kma算法,获得所述目标图像检测训练集的锚框坐标；基于所述目标图像检测训练集,利用云计算资源对多尺度混合维度网络进行训练,获得目标图像检测网络。
20.本发明的第二个方面提供一种基于多尺度混合维度网络的目标检测系统。
21.一种基于多尺度混合维度网络的目标检测系统，包括：
22.检测模块，其被配置为：将目标图像输入训练好的多尺度混合维度网络，得到的图像经nms方法去除冗余框后，得到标注目标位置和类别的图像；
23.网络构建模块，其被配置为：所述多尺度混合维度网络金字塔网络，所述的金字塔网络自上而下的每两个卷积层之间引入混合维度模块。
24.本发明的第三个方面提供一种计算机可读存储介质。
25.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于多尺度混合维度网络的目标检测方法中的步骤。
26.本发明的第四个方面提供一种计算机设备。
27.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于多尺度混合维度网络的目标检测方法中的步骤。
28.与现有技术相比，本发明的有益效果是：
29.本发明能够正确定位到目标对象的位置与类别的分类，泛化能力更好，不仅可以有效解决误检和漏检问题，而且抗干扰能力和实用性更强，在数据复杂多变的环境中表现良好。
30.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
31.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
32.图1是本发明基于多尺度混合维度网络的目标检测方法的流程图；
33.图2是本发明多尺度网络结构图；
34.图3是本发明混合维度注意模块整体结构图；
35.图4是本发明多尺度混合维度网络图；
36.图5是本发明多目标检测流程图
37.图6是本发明实施例中网络模型的p、r、f1以及pr变化曲线对比图
38.图7(a)是本发明实施例中阴暗天气下的原图；
39.图7(b)是本发明实施例中阴暗天气下采用yolov3网络处理后的图片；
40.图7(c)是本发明实施例中阴暗天气下采用本发明网络处理后的图片；
41.图8(a)是本发明实施例中目标密集的下原图；
42.图8(b)是本发明实施例中目标密集下采用yolov3网络处理后的图片；
43.图8(c)是本发明实施例中目标密集下采用本发明网络处理后的图片；
44.图9(a)是本发明实施例中物体遮挡下的原图；
45.图9(b)是本发明实施例中物体遮挡下采用yolov3网络处理后的图片；
46.图9(c)是本发明实施例中物体遮挡下采用本发明网络处理后的图片；
47.图10(a)是本发明实施例中目标较远下的原图；
48.图10(b)是本发明实施例中目标较远下采用yolov3网络处理后的图片；
49.图10(c)是本发明实施例中目标较远下采用本发明网络处理后的图片。
具体实施方式
50.下面结合附图与实施例对本发明作进一步说明。
51.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
52.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
53.需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接
连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
54.实施例一
55.如图1所示，本实施例提供了一种基于多尺度混合维度网络的目标检测方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。本实施例中，该方法包括以下步骤：
56.s101：将目标图像输入训练好的多尺度混合维度网络，得到的图像经nms方法去除冗余框后，得到标注目标位置和类别的图像；
57.s102：所述多尺度混合维度网络包括金字塔网络，所述的金字塔网络自上而下的每两个卷积层之间引入混合维度模块。
58.具体的，本实施例的具体方案如下：
59.针对小目标的检测技术，普遍做法是不断新增浅层特征信息，形成四尺度或更高尺度检测层，虽然对小目标的检测性能有一定程度的提升，但单纯新增高尺度会导致计算量大幅度提高，速度减慢。本实施例提出基于多尺度混合域网络的设计方法，多尺度网络结构如图2所示。基于多尺度混合域网络采用darknet
‑
53作为主干网络，利用resnet结构提取特征，对高尺度特征层进行上采样与浅尺度拼接组成高信息特征层。对比原版yolov3网络结构，本设计对原网络输出的8倍下采样特征图与六次卷积加上采样的特征层进行张量拼接，扩充张量维度，实现特征融合的特征金字塔结构，增强对大小尺度不同和被遮挡物体的检测效果，拼接后的特征层再进行六次卷积加上采样，提取有效特征的同时减少网络参数量，新增104*104尺度层，即叠加大尺度特征图，增强对较小目标的注意能力，新增倒数第4个残差块输出的特征特征信息，充分挖掘模型在较小目标检测中的潜力。同时，去掉13*13尺度层，即去掉4倍下采样特征层的分类和回归预测，旨在避免单一增加尺度造成的额外计算量增加和特征网络过深造成的小目标遗漏问题。由先前的13*13、26*26和52*52三个特征尺度转化为26*26、52*52和104*104三个特征尺度。本实施例为检测更加细粒度的特征，对原版yolov3卷积神经网络结构进行筛选，重构特征金字塔模块，目标检测层获得的模型网络层相较于之前具有更强的表征能力和更精准的回归能力。
60.即yolov3的金字塔网络包括：五个残差模块和输出层，所述五个残差模块经特征融合输入输出层；所述五个残差模块中残差块的数目分别是1、2、4、4、23；所述五个残差模块分别输出2倍降采样层、4倍降采样层、8倍降采样层、16倍降采样层、32倍降采样层,所述4倍降采样层经特征融合输入所述输出层；8倍降采样层经过2倍上采样与4倍降采样层特征融合；16倍降采样层经过2倍上采样与8倍降采样层特征融合,还经过4倍上采样与4倍降采
样层特征融合；32倍降采样层经过2倍上采样与16倍降采样层特征融合,还经过4倍上采样与8倍降采样层特征融合；所述输出层包括两个残差块和一个卷积层。
61.为进一步增强神经网络处理信息和提取特征能力，本实施例提出一种新型的特征注意模式，利用串联方式先后集成通道和空间注意模块来捕捉并筛选出高价值信息，即独立嵌入到现有主干网络的卷积层后，将学习得到的权重分布施加到原有特征，我们将这种新的拼接结构称之为混合维度模块。如图3所示，为混合维度模块整体结构图，主要分为两个步骤。第一，网络架构中卷积层的特征作为输入，将经过全局最大值和平均值池化后的特征图传到共享全连接层mlp，将输出的特征进行加和操作和sigmoid激活，最终得到加权后的weight，即将特征图在空间维度压缩后的一维矢量进行再操作的过程，关注的是什么样的特征作为高价值信息，同时，将经过通道模块之后的特征层与输入特征层相乘进行特征的自适应优化。第二，将通过通道模块得到的特征层作为空间模块的输入特征，进行张量拼接，然后卷积操作进行降维，经过激活操作生成空间特征层，最后将该特征层与输入特征相乘，即压缩通道维度，得到最终生成的特征，重点关注的是高价值特征的位置，通过通道和空间模块自适应拼接组成混合维度注意模块。模块表达式如式(1)、(2)所示，σ为sigmoid激活操作，f
7*7
表示卷积核大小。
62.m
c
(f)＝σ(mlp(avgpool(f) mlp(maxpool(f)))
ꢀꢀꢀꢀꢀ
(1)
63.m
s
(f)＝σ(f
7*7
([avgpool(f)；maxpool(f)]))
ꢀꢀꢀꢀꢀꢀ
(2)
[0064]
混合维度注意模块通过强调关键区域抑制次要区域捕捉并筛选出高价值信息，对关键区域的有效特征优先进行特征提取，减少了参数量和计算量。
[0065]
我们针对所提出的多尺度混合维度模块(fpcs)进行了详细描述。该模块主要将三个尺度层与混合维度模块自适应融合拼接，拼接方式如图4所示，在原yolov3的金字塔模块中添加了混合维度模块，将这种新型的拼接结构称之为多尺度混合维度模块(fpcs)，通过在卷积层后自上而下引入混合域机制，旨在生成表现力更强的网络模型，不仅对识别目标物体更敏感，而且网络信息的流动性更灵活。常规聚类算法如k
‑
means极易受初始点影响，导致聚类不准确，本实施例在多尺度与混合维度自适应拼接的前提下，优化聚类中心的初始化过程，将相距较远的点更大概率的成为簇中心点，使选取的初始点足够离散，保证在迭代过程中各个簇都能聚类到数量相当的数据，我们将这种新的聚类算法称之为kma算法。kma算法通过更准确的选取对目标物体有良好匹配度的锚框，对锚框进行分析与更新，修改网络参数和不同尺度的先验框，从而使网络模型更易于学习与收敛。
[0066]
如图5所示，为多目标检测流程图，首先在网络训练前，根据数据信息进行kma聚类算法重新聚类分析，选取匹配度更高的锚框，然后，darknet
‑
53卷积下采样，与大尺度混合维度注意模块自适应融合增加模型表现力，既保证了从低层级获得较高精度和高分辨率，又融合了高层级较丰富的语义信息，使得到神经网络模型更适应于特定的交通标志的检测任务，最终结果利用nms去除冗余框，输出高精度的目标图像的位置与类别。
[0067]
本实施例采用cctsdb数据集进行实验，对数据进行格式转换以及归一化操作，并将其进行pascal voc格式标注，搭建pytorch框架与原yolov3算法比较后，所得出的各评估指标值如下表所示，本实施例的网络算法与原算法相比，对目标的准确性显著提升，且iou越大，本实施例的算法优势越明显，目标边界框定位更精准。
[0068]
表1不同算法实验结果对比
[0069][0070]
表2不同iou阈值的map值对比
[0071][0072]
本实施例在下图中展示了yolov3算法跟我们的算法在精度上的视觉比较，如图6所示，并随机选取测试集中交通标志样本进行测试验证，对改进模型实用性进行直观展示。
[0073]
本实施例通过在阴暗天气、目标密集、物体遮挡、目标较远，四种情况下采用yolov3网络和本发明所述的多尺度混合维度网络处理原图，根据图7(a)
‑
图10(c)可以看出，本发明提出的多尺度混合维度网络可以正确定位到目标对象的位置与类别的分类，泛化能力更好，不仅可以有效解决误检和漏检问题，而且抗干扰能力和实用性更强，在数据复杂多变的环境中表现良好。
[0074]
实施例二
[0075]
本实施例提供了一种基于多尺度混合维度网络的目标检测系统。
[0076]
一种基于多尺度混合维度网络的目标检测系统，包括：
[0077]
检测模块，其被配置为：将目标图像输入训练好的多尺度混合维度网络，得到的图像经nms方法去除冗余框后，得到标注目标位置和类别的图像；
[0078]
网络构建模块，其被配置为：所述多尺度混合维度网络包括金字塔网络，所述的金字塔网络自上而下的每两个卷积层之间引入混合维度模块。
[0079]
此处需要说明的是，上述检测模块和网络构建模块对应于实施例一中的步骤s101至s102，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0080]
实施例三
[0081]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于多尺度混合维度网络的目标检测方法中的步骤。
[0082]
实施例四
[0083]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于
多尺度混合维度网络的目标检测方法中的步骤。
[0084]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0085]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0086]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0087]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0088]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0089]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。