一种基于局部关联投票机制的刚体目标关键部位检测方法

1.本发明属于目标检测技术领域，涉及刚体目标的关键部位检测，具体涉及一种基于局部关联投票机制的刚体目标关键部位检测方法。


背景技术：

2.刚体作为人们最常接触的物质形态之一，充斥于生活中的方方面面。在目标检测领域，诸如车辆检测、船舶检测等检测任务中，刚体都是作为这些任务中的主要被检目标出现。因此，刚体目标检测在安防、现代化战争等领域均有重要意义。然而在很多精细化的应用场景下，传统的目标检测多以刚体目标整体作为待检目标，这往往不能够提供精准的位置信息。如现代海战中，反舰导弹导引头对舰船要害部位的精确检测能力、引信与战斗部的精确打击能力，有着至关重要的作用。这就对刚体目标的检测提出了更加精细化的要求，因此研究刚体目标的关键部位检测具有重大研究意义。
3.卷积神经网络的出现，使得特征提取变得简单，优化了复杂特征的检测方法，极大促进了诸如舰船目标检测等各种检测任务的发展。然而在刚体目标检测领域，目前仍存在如下不足：1)现有检测方法大多将刚体目标整体作为检测目标，不足以给诸如打击任务下的导引头提供准确的导引信息。2)目前提出的一些基于深度学习的刚体目标关键部位检测方法，对复杂场景下存在的关键部位遮挡、关键部位姿态变化剧烈等问题处理能力欠佳。
4.综合分析上述问题可知，目前的处理方法中多以目标的外观特征作为主要关注的内容来对输入图像进行像素级采样。这种方式导致当被检测的目标存在被遮挡的情况时，很难从被遮挡的目标中提取出有效的语义信息，从而使基于这种机制的检测器很难准确得检测到目标。因此，亟需一种更加全面的语义获取方式，以实现更加出色的检测性能。
5.由于刚体目标自身的特性，使得刚体目标的各个关键部位之间在空间上有着较强的关联性。即使存在遮挡问题，往往可以通过已经检测到的部位来推断出被遮挡部位所在的位置信息，因此在外观信息检测的基础上，利用刚体目标的空间关联信息，采用基于图像的检测加基于刚体目标局部关联相结合的方式，是一种具有前景的改进方式。


技术实现要素：

6.针对现有技术的不足，本发明提出了一种基于局部关联投票机制的刚体目标关键部位检测方法，对基于图像采样的yolov5的常规检测结果，利用基于局部关联的投票机制对其中被遮挡目标进行预测，在保持时效的基础上，稳定检测出复杂场景下的关键目标。
7.一种基于局部关联投票机制的刚体目标关键部位检测方法，具体包括以下步骤：
8.步骤1、收集包含刚体目标的图像数据，并标注图像中刚体目标关键部位的位置信息与类别信息，其中，可见的刚体目标关键部位以图像的形式标注，不可见的刚体目标关键部位以空间向量的形式标注，并分别作为图像域数据和空间域数据。
9.步骤2、在yolov5网络的基础上增加高分辨率通道，作为图像域检测模型。其中，高分辨率通道用于对输入数据进行浅层采样，并将提取到的特征与其他通道提取到的特征进
行融合，输出图像域检测结果。
10.步骤3、建立局部关联投票网络，作为空间域检测模型。所述空间域检测模型基于已知关键部位的像素信息，生成指向其他关键部位的单位向量，然后使用ransac(random sample consensus)算法，为关键点位置投票，输出空间域检测结果。
11.步骤4、将步骤1得到的图像域数据和空间域数据分别输入步骤2、3得到图像域检测模型和空间域检测模型，然后通过反向传播进行模型参数调整，训练模型直至收敛。
12.步骤5、将存在关键部位遮挡的刚体目标图像输入步骤4训练后的图像域检测模型中，将图像域检测模型检测到的关键部位目标数与已知各类型目标个数的先验信息进行比较，得出漏检数量n：
13.①
当漏检数量n＝0时，以图像域检测模型的输出作为最终检测结果。
14.②
当漏检数量n≠0时，读取图像域检测模型输出的关键部位位置信息，生成目标包围框。将目标包围框中所有像素的位置信息输入步骤4训练后的空间域检测模型，在每个像素上得到2n个单位向量，输出漏检的关键部位包围框的中心点和左上角顶点，以图像域检测模型和空间域检测模型的输出作为最终检测结果。
15.步骤6、根据步骤5得到的最终检测结果，在输入图片上绘制出预测框、置信度以及对应的分类信息，完成刚体目标关键部位检测。
16.本发明具有以下有益效果：
17.针对舰船关键部位检测问题，本方法提出了局部关联投票算法，解决了复杂实际环境下可能产生的刚体目标关键部位被遮挡的问题。利用刚体目标的特性，将刚体目标的关键部位之间的关联性作为一种输入特征来训练神经网络，使得遮挡场景下可通过未遮挡目标检测出遮挡目标。为了使基于图像的检测方法在小关键部位的检测上也能有较好的表现，对原检测网络yolov5进行改进，加入高分辨采样通道，使得整个算法的适用性更好。在保持时效的基础上，能够稳定检测复杂场景下的关键目标。
附图说明
18.图1为刚体目标关键部位检测方法流程图；
19.图2为图像域检测模型网络结构图；
20.图3为实施例中基于图像域的检测结果图；
21.图4为实施例中本方法的检测结果图。
具体实施方式
22.一种基于局部关联投票机制的刚体目标关键部位检测方法，主要包括以下三个部分：
23.1)添加高分辨率通道模块：由于部分关键部位在整个图像中占据的像素较少，常规的目标检测网络可能对这些目标的检测能力欠佳，因此在yolov5网络结构的基础上添加高分辨率通道模块，通过一条单独的采样通道对原始图像进行浅层采样，减少小目标的像素在图像下采样过程中的损失，从而保留小目标特征。
24.2)基于检测结果的局部关联投票网络：基于图像采样的yolov5难以解决目标遮挡的问题，但是在实际场景中，关键目标被部分遮挡或完全遮挡是不可避免的。为了保证检测
的时效性，利用yolov5这种实时性强的网络来检测未被遮挡的关键目标，然后基于图像检测的结果，采用基于局部关联的投票机制对被遮挡目标进行预测，以得到更好的检测表现。
25.3)检测结果生成模块：首先根据yolov5的常规检测信息，生成部分关键部位目标信息。随后将这些信息送入局部关联投票网络来得到遮挡目标预测信息，根据预测出的被遮挡目标信息以及前一阶段的检测信息，经过目标信息解算与绘制包围框来生成最终舰船关键部位检测结果图。
26.本实施例以舰船的关键部位检测为例，结合附图对一种基于局部关联投票机制的刚体目标关键部位检测方法作进一步的解释说明，如图1所示，具体包括以下步骤：
27.步骤1、收集一系列包含舰船的图像数据，以舰船火炮、相控阵雷达、火控雷达和天线作为关键部位，对图像进行标注。其中，可见的关键部位以图像的形式标注，不可见的关键部位以空间向量的形式标注，并分别作为图像域数据和空间域数据。
28.步骤2、yolov5网络在大、中型目标的检测上表现出色，而对于10
×
10个像素左右的小型目标的检测上尚显不足。如图2所示，在yolov5网络的基础上增加高分辨率通道，通过非失真的卷积操作，对输入数据进行浅层采样，并将小目标的特征一直保留到融合阶段，与其他通道中的不同层次特征进行深度融合，进一步加强小目标的特征权重。改善了yolov5主干经过下采样导致小目标信息丢失的问题，且其他常规大小的目标不受影响。最后将不同分辨率的特征图输入网络的检测头中进行推理，在不同分辨率的特征图中搭配不同大小层级的预设锚框，得到整张图像中大小各异的所有目标信息。将改进后的网络作为图像域检测模型，提升了对于小目标的检测能力，使得模型适用于实际场景中不同距离下的舰船关键部位检测。
29.将步骤1得到的图像域数据分批输入图像域检测模型中，将预测信息与预设锚框进行比对分析，形成偏移量来构造正负样本，通过高分辨率下小目标的保护机制使得正样本增多，随后通过反向传播来微调模型权值，使得模型收敛达到训练效果。
30.步骤3、建立局部关联投票网络，作为空间域检测模型。将步骤1得到的空间域数据分批输入空间域检测模型中。首先在进行训练前，计算各个关键部位的包围框内每个像素指向其他关键部位的单位向量，该单位向量携带了方向和类别的语义信息。然后在训练过程中，通过模型预测得到的向量信息，再经过ransac算法得到预测结果，与训练前计算得到的单位向量比较，比较得到的差值通过反向传播微调模型参数，使得模型收敛达到训练效果。
31.步骤4、将关键部位位置未知的刚体目标图像输入步骤2训练后的图像域检测模型中，得到如图3所示的基于图像域的检测结果，根据得到的检测结果与已知的类别信息，计算漏检数量n：
32.①
当漏检数量n＝0时，以图像域检测模型的输出作为最终检测结果。
33.②
当漏检数量n≠0时，读取图像域检测模型输出的关键部位位置信息，生成目标包围框。将目标包围框中所有像素的位置信息输入步骤3训练后的空间域检测模型，在每个像素上得到2n个单位向量，输出漏检的关键部位包围框的中心点和左上角顶点，以图像域检测模型和空间域检测模型的输出作为最终检测结果。
34.步骤6、根据步骤5得到的最终检测结果，在输入图片上绘制出预测框、置信度以及对应的分类信息，完成刚体目标关键部位检测，如图4所示。
35.使用本方法在1080ti显卡上处理100张批图像，在整个舰船目标由近到远行驶的过程中，即使存在各种遮挡，本方法都能准确且稳定得检测到目标舰船的关键部位。并且最远能够检测到10
×
10像素以内的关键部位。在整个检测过程中，仍然保持良好的实时性。测试后得到yolov5处理速率为36ms/帧，本方法的处理时间为62ms/帧，每帧数据的推理时间增加不到30ms。
36.上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。