轻量级多尺度注意力机制的小物体目标检测方法及系统

1.本发明属于图像处理与计算机视觉技术领域，尤其涉及一种轻量级多尺度注意力机制的小物体目标检测方法及系统。


背景技术：

2.近年来，随着基于深度学习的计算机视觉的快速发展，目标检测逐渐成为计算机视觉的一个热门研究方向，被广泛应用于视频监控、工业检测、医疗等诸多领域。利用计算机视觉减少人力物力的消耗具有重要的现实意义。
3.目标检测是一项非常基础且重要的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。在目标检测时，由于每张图像中物体的数量、大小及姿态各有不同，也就是非结构化的输出，这是与图像分类非常不同的一点。
4.但在实际场景中，基于深度学习的目标检测对于目标的尺度及变化非常敏感，尤其是对小目标的检测。造成这种现象的原因主要有以下三点：第一，如果被检测的目标尺度较小，那么随着训练网络的加深，被检测的目标很容易会丢失如边缘信息、灰度信息等特征，高级语义信息也会获得的更少，另外在图像中可能会存在一些噪声信息误导训练网络学习到错误的特征；第二，感受野映射到原图的大小也对目标的检测成功与否起到比较重要的作用，当感受野比较小的时候，空间结构特征保留的比较多，但是抽象的语义信息可能较少。反之，感受野较大的时候保留的语义信息相对来说更为丰富，但是目标的空间结构信息可能会存在丢失现象；第三，卷积神经网络对于特征的提取是离散实现的，难以做到亚像素精度。当涉及到小目标时，神经网络在网络深层差一个像素，在浅层就可能差8个像素或16个像素甚至更多，这对大目标影响不大，但是对于小目标影响很大。因此，提高小目标的检测效果并在不降低精度的前提下缩小模型的大小是十分重要的。
5.目前，针对小目标的目标检测方法主要有以下几个方向：第一，使用图像金字塔的思路，对输入的被检测图像进行尺度变换，即放大或缩小，在此基础上可以构建出一个从上到下，图像尺度依次递增或递减的图像金字塔，然后使用固定尺寸的窗口在每层图像上滑动检测感兴趣的目标。但是，由于不同分辨率的图像都需要经过卷积神经网络，计算量也就比较大导致检测速度很慢；第二，对图像特征进行融合，可以提升浅层特征的语义信息和深层特征的空间结构信息。但是，由于特征级融合通过提取图像特征作为融合信息，因此会丢掉很多细节性特征；第三，调整锚框的尺度及分布。但是，在实际使用中，通常需要大量的锚框来确保与真实框有足够的重叠，使得只有一小部分锚框会与真实框重叠，这会造成正负锚框之间的巨大不平衡并减慢训练速度。
6.现有的研究仅仅能够处理小目标的检测问题，但是提高算法对目标尺度变化的鲁
棒性和实现轻量级小目标检测仍然是目标检测中比较困难的工作。


技术实现要素：

7.本发明的目的在于提供一种轻量级多尺度注意力机制的小物体目标检测方法及系统，在提高小目标检测精度的同时降低了模型的大小，解决现有的研究方法无法将检测精度和轻量级网络共存的问题。
8.本发明通过以下技术手段解决上述问题：本发明第一方面提供了一种基于yolov4的轻量级多尺度注意力机制的小物体目标检测方法，包括如下步骤：步骤1，利用ghostnet作为yolov4目标检测架构的主干特征提取网络提取特征；步骤2，对步骤1所提取到的特征使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征；步骤3，对步骤2中获得的对小目标具有鉴别性特征的特征图采用soft-nms算法降低与当前最佳检测框重叠的检测框的置信度。
9.本发明第二方面提供了一种基于yolov4的轻量级多尺度注意力机制的小物体目标检测系统，包括：第一特征提取模块，利用ghostnet作为yolov4目标检测架构的主干特征提取网络进行特征提取；第二特征提取模块，与第一特征提取模块连接，对第一特征提取模块提取到的特征使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征；检测输出模块，与第二特征提取模块连接，采用soft-nms算法降低第二特征提取模块输出的特征图中检测框与当前最佳检测框重叠的检测框的置信度。
10.本发明第三方面提供了一种小物体目标检测装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行所述的基于yolov4的轻量级多尺度注意力机制的小物体目标检测方法。
11.本发明第四方面提供了一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于yolov4的轻量级多尺度注意力机制的小物体目标检测方法。
12.与现有的技术相比，本发明的有益成果为：本发明首先利用ghostnet作为yolov4目标检测架构的主干特征提取网络提取特征，在保证精度的同时首次对网络进行减重；其次，提供了一种多尺度注意力模块来对网络进行二次减重，并捕获空间和通道两个维度上对小目标图像中具有鉴别性的重要特征，并通过soft-nms算法降低与当前最佳检测框重叠的检测框的置信度，仅通过修改极少的参数即能实时、高效、准确地获取图片中的小物体类别，而且对于不同的图像采集设备和不同场景获取的图像，均可采用本发明方法来获取图像中小物体类别，具有较强的鲁棒性。
附图说明
13.为了更清楚地介绍本发明实施案例中的技术方案，下面将对实施案例中所需要使用的附图做简单介绍。显而易见地，如下展示的附图仅为本发明的个别案例，对于本领域的研究人员，可以通过对本发明的简单复现将此方法应用于不同场景的实时目标检测；图1是本发明方法的流程图。
14.图2是本发明所提及的多尺度注意力模块图。
15.图3是本发明应用于不同图像检测小物体效果图。
具体实施方式
16.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要注意的是，此实施案例仅是本发明的一部分实例，而不是全部实例，在未做出创新性工作下所获得的所有其他实例，都属于本发明的保护范围。
17.实施例1本实施例提出一种基于yolov4的轻量级多尺度注意力机制的小物体目标检测方法，包括如下步骤：步骤1，利用ghostnet作为yolov4目标检测架构的主干特征提取网络提取特征；如图1所示，所述的yolov4目标检测架构包括：步骤1.1，原始图像经过以ghostnet为主干网络的yolov4目标检测架构提取到初步特征；步骤1.2，对提取到的初步特征通过fpn层自顶向下传达强语义特征，再通过pan结构自底向上传达强定位特征，从不同的主干层对不同的检测层进行特征聚合。
18.步骤2，对步骤1所提取到的特征使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征；如图2所示，使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征的具体步骤为：构造一个空间注意力机制模块和一个通道注意力机制模块；其中，空间注意力机制模块可以让卷积神经网络高效地对需要关注的区域进行学习，从而将原始图像中的空间信息映射到另一个空间以便保留图像中的重要特征，将最大池化和平均池化进行结合可以自适应地学习有鉴别力地全局特征和局部特征。通道注意力机制模块的通道注意力机制通过给n个通道的特征图都增加一个权重来表示该通道的特征图与重要特征的相关性，权重越大，表示该通道的特征图包含较多的重要特征；本实施例中，可以构造常用的空间注意力机制模块和通道注意力机制模块即可，如senet，eca，cbam；将构造的空间注意力机制模块和通道注意力机制模块结合，构造多尺度注意力机制；其中，多尺度注意力机制采用4条支路对输入的特征图进行多尺度特征提取；第一条支路使用一个1
×
1的卷积运算，将通道数调整至与其他三条支路输出的特征图通道数同样的大小；第二条支路使用两个级联的1
×
3卷积运算和3
×
1卷积运算，第三条支路使用两个级联的1
×
5卷积运算和5
×
1卷积运算，两个级联的非对称卷积运算有效地减少了网络参数的数量，同时还可引入更多的非线性激活层，提升非线性学习能力；第四条支路首先使用一个3×
3的最大池化运算，提取特征纹理，再进行1个1
×
1的卷积运算将通道数调整至与其他三条支路输出的特征图通道数同样的大小；首先，将特征图张量输入到空间注意力机制模块进行计算以添加空间注意力，得到特征图张量，其中w、h、c分别为特征图的宽度、高度和通道数；然后，使用个1
×
1卷积核对特征图张量s进行卷积运算，得到特征图张量；接着，使用多尺度注意力机制的4条支路分别对特征图张量d进行多尺度特征提取，得到多尺度的特征图张量、、、；采用concat操作对特征图张量p1、p2、p3和p4进行特征融合，得到特征图张量；再将特征图张量q输入到通道注意力机制模块进行计算以添加通道注意力，得到特征图张量；最后采用add操作对特征图张量s和c进行特征融合，得到特征图张量，作为多尺度注意力机制的输出。
19.步骤3，对步骤2中获得的对小目标具有鉴别性特征的特征图采用soft-nms算法降低与当前最佳检测框重叠的检测框的置信度；采用soft-nms算法降低与当前最佳检测框重叠的检测框的置信度的soft-nms算法的衰减公式为：其中，si为置信度，bi为检测框，用于调节衰减程度。
20.效果对比利用本实施例提供的一种基于yolov4的轻量级多尺度注意力机制的小物体目检测方法，对图像进行检测可以得到准确的小物体的类别，图3给出了本实施例方法与不同算法在不同场景下的性能对比，其中，第一列为标签图片，第二列表示在yolov4基础上加入ghostnet的检测结果，第三列表示在yolov4基础上加入soft-nms的检测结果，第四列表示本方法的检测结果。在第二、三列中，有许多漏检的小目标如人、车、动物等，而本实施例方法能够准确的检测出所有的小目标，无漏检情况。对于模糊的小目标或有前后遮挡且分布密集的情况，本实施例方法能够精准地检测出物体类别，而其他算法则不能。结果表明，本实施例方法优于yolov4方法。
21.实施例2本实施例提供一种基于yolov4的轻量级多尺度注意力机制的小物体目标检测系统，包括：第一特征提取模块，利用ghostnet作为yolov4目标检测架构的主干特征提取网络进行特征提取；第二特征提取模块，与第一特征提取模块连接，对第一特征提取模块提取到的特
征使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征；检测输出模块，与第二特征提取模块连接，采用soft-nms算法降低第二特征提取模块输出的特征图中检测框与当前最佳检测框重叠的检测框的置信度。
22.本实施例系统的具体实现方法，参见实施例1所述的方法，在此不再赘述。
23.实施例3本实施例提供一种小物体目标检测装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行实施例1所述的基于yolov4的轻量级多尺度注意力机制的小物体目标检测方法。
24.其中，存储器例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序（boot loader）以及其他程序等。
25.小物体目标检测装置还可以包括输入输出接口、网络接口、存储接口等。这些接口以及存储器和处理器之间例如可以通过总线连接。其中，输入输出接口为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口为各种联网设备提供连接接口。存储接口为sd卡、u盘等外置存储设备提供连接接口。
26.实施例4本实施例提供一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1所述的基于yolov4的轻量级多尺度注意力机制的小物体目标检测方法本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机程序代码的计算机非瞬时性可读存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
27.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解为可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
28.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
29.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一
个方框或多个方框中指定的功能的步骤。
30.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。