一种水下声呐目标检测系统及方法

1.本发明属于水下声呐目标检测领域，具体涉及一种水下声呐目标检测系统及方法。


背景技术：

2.水下声呐在探索似雷物体，海底样貌，沉船打捞，失事飞机的搜寻等方面的探测和识别方面具有重要的应用价值，目前传统的搜寻方法是使用侧扫声纳对目标海域进行大规模的扫描，待将所有的区域扫描完成后，再由人工进行区域图像识别，此种方式造成了大量的时间浪费，同时由于人工判读的情况，不可避免的会造成误判错判。
3.近年来，随着深度学习的出现，由多层神经网络叠加而成的深度目标检测网络，在声呐图像目标检测识别的准确率方面已经有特大幅度的提升，随着参数的加深网络提取特征和组合特征的能力越发增强，但目标检测网络需要大量的训练数据，水下声呐的图像获取较为困难，由此有人提出了基于迁移学习的目标检测网络，即将已经训练好的光学目标检测网络迁移到声学方向，使得性能有较大幅度的提升，但卷积神经网络受限于卷积核大小的限制导致其只能获取局部的特征信息，无法获取全局的特征信息,如何提高网络的全局信息提取能力就成为了亟待解决的问题。
4.目前最新的ppyolov2深度目标检测神经网络在兼顾检测速度的同时还具有较高的精准度，使用v100在coco数据集上在具有50％map精准度的同时速度仍能达到68.9fps，但是由于声呐图像的形状不确定性与其他干扰，直接将ppyolov2应用于水下声呐的图像识别效果无法达到应用效果。


技术实现要素：

5.为了克服上述现有技术存在的不足，本发明提供了一种水下声呐目标检测系统及方法。
6.为了实现上述目的，本发明提供如下技术方案：
7.一种水下声呐目标检测系统，包括：
8.划分模块，用于对水下声呐的图像数据进行分类；
9.预处理模块，与所述数据集划分模块连接；用于对分类后的图像数据和水下声呐的待检测图像进行滤波和分割处理；
10.pp-yolov2模块，与所述预处理模块连接；用于对滤波和分割处理后的图像数据和待检测图像进行检测；所述pp-yolov2模块包括依次连接的主干网络、链路聚合网络、预测网络、误差损失网络和筛选网络，其中，骨干网络包括依次连接五层网络结构，其中前四层网络结构均为卷积网络，第五层网络结构包括两个注意力机制网络和一个可变形卷积网络，所述预测网络的预测头为解耦检测头；
11.训练模块，与所述预处理模块和pp-yolov2模块连接，用于调用滤波和分割处理后的图像数据对所述pp-yolov2模块训练；
12.调用模块，与所述预处理模块和pp-yolov2模块连接；用于将滤波和分割处理后的待检测图像输入训练好的pp-yolov2模块，得到水下声呐目标检测结果。
13.优选的，根据下式搭建注意力机制网络，
[0014][0015]
式中，q为查询，k为键，v为值，softmax()为多分类激活函数，dk为预设参数。
[0016]
一种水下声呐目标检测方法，包括以下步骤：
[0017]
对水下声呐的图像数据进行分类；
[0018]
对分类后的图像数据和水下声呐的待检测图像进行滤波和分割处理；
[0019]
对滤波和分割处理后的图像数据和待检测图像进行检测；所述pp-yolov2模块包括依次连接的主干网络、链路聚合网络、预测网络、误差损失网络和筛选网络，其中，骨干网络包括依次连接五层网络结构，其中前四层网络结构均为卷积网络，第五层网络结构包括两个注意力机制网络和一个可变形卷积网络，所述预测网络的预测头为解耦检测头；
[0020]
调用滤波和分割处理后的图像数据对所述pp-yolov2模块训练；
[0021]
将滤波和分割处理后的待检测图像输入训练好的pp-yolov2模块，得到水下声呐目标检测结果。
[0022]
优选的，
[0023]
依据下式将目标图像划分为训练数据集v(x)与测试数据集t(x)，
[0024][0025][0026]
式中，sum为根数据集中数据的总数，x1为测试数据集中数据占根数据集总数的比重，x2为训练数据集中数据占根数据集总数的比重；
[0027]
利用训练数据集v(x)对pp-yolov2模块进行训练；
[0028]
利用测试数据集t(x)检测pp-yolov2模块的稳定性。
[0029]
优选的，利用预处理模块对图像进行滤波和分割处理的步骤包括：
[0030]
依据下式对图像进行高斯滤波，
[0031][0032]
式中，a为高斯滤波幅值，xa为图像中当前滤波点的x坐标，x0为图像的中心点的x坐标，ya为图像中当前滤波点的y坐标，y0为图像的中心点的y坐标，σ为高斯平滑曲线；
[0033]
依据下式对进行高斯滤波后的图像进行中值滤波，
[0034]
g(x,y)＝med{f(x
b-k,y
b-l),(k,l∈w)}
[0035]
式中，med()函数为取中位数函数，f()为进行高斯滤波后的图像的函数，xb为进行高斯滤波后的图像中当前滤波点的x轴数值，yb为进行高斯滤波后的图像中当前滤波点的y轴数值，w为二维模板，k为x的均值，l为y的均值；
[0036]
对进行中值滤波后的图像进行双边滤波；
[0037]
设定尺寸标准值，以尺寸标准值为依据，采用不失真的调整大小方法，将进行双边滤波后的图像的长边缩放到统一尺寸，将进行双边滤波后的图像据的短边缩小至其长边对应的倍数，用灰度条对进行双边滤波后的图像的空白部分进行填充，完成进行双边滤波后的图像的分割。
[0038]
优选的，所述调用滤波和分割处理后的图像数据对pp-yolov2模块训练的步骤包括：
[0039]
利用主干网络对滤波和分割处理后的图像数据进行特征提取，得到三种不同尺度的第一特征图；
[0040]
利用链路聚合网络利用上采样与下采样方法，将三种不同尺度的第一特征图进行融合与提取，得到三种不同尺度的第二特征图；
[0041]
利用预测网络对三种不同尺寸的第二特征图进行结果预测得到最终预测结果；
[0042]
利用误差损失网络根据的预测结果进行误差损失计算，直至预测结果与真实结果的误差损失满足阈值；否则重复主干网络、链路聚合网络、预测网络的图像数据处理步骤。
[0043]
优选的，所述利用链路聚合网络得到三种不同尺度的第二特征图的步骤包括：
[0044]
链路聚合网络对主干网络的第三层输出的第一特征图经过一层下采样，使得第一特征图的长宽均减半，得到第一处理图；
[0045]
长宽均减半的第一特征图与主干网络的第四层输出的第一特征图进行深度层次相加，得到第二处理图；
[0046]
链路聚合网络对第二处理图进行下采样，得到第三处理图，第三处理图与主干网络的第五层输出的第一特征图进行深度层次相加，得到第四处理图；
[0047]
将第四处理图作为链路聚合网络的第五层输出；
[0048]
将第四处理图进行上采样后，与第二处理图深度层次相加，作为链路聚合网络第四层的输出；
[0049]
将第四处理图进行上采样后，与第一处理图深度层次相加，作为链路聚合网络第三层的输出；
[0050]
链路聚合网络第五层的输出、链路聚合网络第四层的输出和链路聚合网络第三层的输出即为三种不同尺度的第二特征图。
[0051]
优选的，所述利用预测网络对三种不同尺寸的第二特征图进行结果预测得到最终预测结果的步骤包括：
[0052]
将三个第二特征图利用大小为1*1的卷积核调整通道数，得到三个第一通道图和三个第二通道图；
[0053]
分别将三个第一通道图经过两次3*3的卷积，并经过大小为3*3、通道数为类别数加1后乘3的1*1卷积，得到三个物体包含结果；
[0054]
分别将三个第二通道图经过两次3*3的卷积，得到三个第三通道图和三个第四通道图；
[0055]
分别将三个第三通道图经过大小为1*1，通道数为4乘3的卷积核，得到三个位置结果；
[0056]
分别将三个第四通道图经过大小为1*1，通道数为1乘3的卷积核，得到三个标签结
果；
[0057]
将同一第二特征图对应的物体包含结果、位置结果和标签结果在通道数层面进行叠加，得到三个总预测结果；
[0058]
将三个总预测结果利用下式进行深度层次拼接得到最终预测结果output，output＝concat[cls(x) obj(x) reg(x) iou(x),axis＝1]
[0059]
式中concat为数组拼接函数，axis为拼接的维度，x为各类别指定维度数量，cls()为类别预测参数，obj()为置信度预测参数，reg()为位置预测参数，iou()为iouaware预测参数。
[0060]
优选的，所述利用误差损失网络根据的预测结果进行误差损失计算的步骤包括：
[0061]
将output从深度维度拆分出物体包含结果、预测概率结果、位置结果和标签结果；
[0062]
依据下式根据置信度损失函数利用物体包含结果计算置信度损失l
conf
(o,c)，
[0063][0064]
式中，
[0065]
o为真实值与预测值之间的iou，c为预测值，oi表示预测目标边界框与真目标边界框的iou，n为正负样本个数；
[0066]
g(ci)＝sigmoid(ci)
[0067]
sigmoid()函数为sigmoid函数，ci为各类别预测结果；
[0068]
依据下式根据交叉熵损失函数利用预测概率结果计算类别损失mse，
[0069][0070]
n为类别个数，为各类别预测结果，yi为各类别真实结果；
[0071]
依据下式根据位置损失函数利用位置结果计算位置损失l
loc
(t,g)，
[0072][0073]
式中，
[0074][0075][0076][0077][0078]
σ为sigmoid函数，为网格的x值，为网格的y值，均为pp-yolov2模块的预测网络的回归参数，为gt中心点的x坐标，为gt中心点的y坐标，为gt中
心点的宽度，为gt中心点的高度，为毛框的宽度，为毛框的长度，n为正样本个数。
[0079]
优选的，所述利用调用模块将滤波和分割处理后的待检测图像输入训练好的pp-yolov2模块，得到水下声呐目标检测结果的步骤包括：
[0080]
调用模块将滤波和分割处理后的待检测图像输入主干网络；
[0081]
主干网络对滤波和分割处理后的待检测图像进行特征提取，得到三种不同尺度的第三特征图；
[0082]
链路聚合网络利用上采样与下采样方法，将三种不同尺度的第三特征图进行融合与提取，得到三种不同尺度的第四特征图；
[0083]
预测网络对三种不同尺寸的第四特征图进行结果预测得到目标检测结果；
[0084]
筛选网络输出最优的目标检测结果。
[0085]
本发明提供的水下声呐目标检测方法具有以下有益效果：本发明基于注意力机制将由cnn网络堆砌而成的ppyolov2目标检测网络与水下声呐图像相结合，对数据集进行先行处理降低对目标检测的精度的影响程度，并对ppyolov2针对侧扫声纳图像进行改进提升精准度，并将transformer应用于ppyolov2，在不影响参数与推理速度的情况下进行改进，在推理速度不变的情况下提升了针对水下声呐图像目标检测的有效性和准确性。通过本方法对原数据进行预处理，降低对精准度的影响，并基于transformer将ppyolov2进行特征性改进，在不降低推理速度的情况下，提高网络的准确率。
附图说明
[0086]
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0087]
图1为本发明实施例1的水下声呐目标检测方法的流程图；
[0088]
图2为本发明实施例1的水下声呐目标检测系统的pp-yolov2模块的连接结构图；
[0089]
图3为本发明实施例1的对pp-yolov2模块训练的方法流程图；
[0090]
图4为本发明实施例1的利用链路聚合网络得到三种不同尺度的第二特征图的方法流程图；
[0091]
图5为本发明实施例1的对pp-yolov2模块训练的方法流程图。
具体实施方式
[0092]
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0093]
实施例1
[0094]
一种水下声呐目标检测系统，包括：划分模块、预处理模块、pp-yolov2模块、训练模块和调用模块。其中，划分模块用于对水下声呐的图像数据进行分类。预处理模块与数据集划分模块连接；用于对分类后的图像数据和水下声呐的待检测图像进行滤波和分割处理。pp-yolov2模块与预处理模块连接；用于对滤波和分割处理后的图像数据和待检测图像
进行检测；训练模块与预处理模块和pp-yolov2模块连接，用于调用滤波和分割处理后的图像数据对pp-yolov2模块训练。调用模块与预处理模块和pp-yolov2模块连接；用于将滤波和分割处理后的待检测图像输入训练好的pp-yolov2模块，得到水下声呐目标检测结果。
[0095]
参阅图2，pp-yolov2模块包括依次连接的主干网络、链路聚合网络、预测网络、误差损失网络和筛选网络，其中，骨干网络包括依次连接五层网络结构，其中前四层网络结构均为卷积网络，第五层网络结构包括两个注意力机制网络和一个可变形卷积网络，预测网络的预测头为解耦检测头。
[0096]
在本实施例中，根据下式搭建注意力机制网络，
[0097][0098]
式中，q为查询，k为键，v为值，softmax()为多分类激活函数，dk为预设参数。
[0099]
参阅图1，一种水下声呐目标检测方法，其特征在于，包括以下步骤：对水下声呐的图像数据进行分类；对分类后的图像数据和水下声呐的待检测图像进行滤波和分割处理；对滤波和分割处理后的图像数据和待检测图像进行检测；所述pp-yolov2模块包括依次连接的主干网络、链路聚合网络、预测网络、误差损失网络和筛选网络，其中，骨干网络包括依次连接五层网络结构，其中前四层网络结构均为卷积网络，第五层网络结构包括两个注意力机制网络和一个可变形卷积网络，所述预测网络的预测头为解耦检测头；调用滤波和分割处理后的图像数据对所述pp-yolov2模块训练；将滤波和分割处理后的待检测图像输入训练好的pp-yolov2模块，得到水下声呐目标检测结果。
[0100]
在本实施例中，依据下式将目标图像划分为训练数据集v(x)与测试数据集t(x)，
[0101][0102][0103]
式中，sum为根数据集中数据的总数，x1为测试数据集中数据占根数据集总数的比重，x2为训练数据集中数据占根数据集总数的比重。利用训练数据集v(x)对pp-yolov2模块进行训练。利用测试数据集t(x)检测pp-yolov2模块的稳定性。
[0104]
具体的，利用预处理模块对图像进行滤波和分割处理的步骤包括：依据下式对图像进行高斯滤波，
[0105][0106]
式中，a为高斯滤波幅值，xa为图像中当前滤波点的x坐标，x0为图像的中心点的x坐标，ya为图像中当前滤波点的y坐标，y0为图像的中心点的y坐标，σ为高斯平滑曲线。
[0107]
依据下式对进行高斯滤波后的图像进行中值滤波，
[0108]
g(x，y)＝med{f(x
b-k，y
b-l)，(k，l∈w))
[0109]
式中，med()函数为取中位数函数，f()为进行高斯滤波后的图像的函数，xb为进行高斯滤波后的图像中当前滤波点的x轴数值，yb为进行高斯滤波后的图像中当前滤波点
的y轴数值，w为二维模板，k为x的均值，l为y的均值。
[0110]
对进行中值滤波后的图像进行双边滤波。设定尺寸标准值，以尺寸标准值为依据，采用不失真的调整大小方法，将进行双边滤波后的图像的长边缩放到统一尺寸，将进行双边滤波后的图像据的短边缩小至其长边对应的倍数，用灰度条对进行双边滤波后的图像的空白部分进行填充，完成进行双边滤波后的图像的分割。
[0111]
参阅图3，在本实施例中，调用滤波和分割处理后的图像数据对pp-yolov2模块训练的步骤包括：利用主干网络对滤波和分割处理后的图像数据进行特征提取，得到三种不同尺度的第一特征图；利用链路聚合网络利用上采样与下采样方法，将三种不同尺度的第一特征图进行融合与提取，得到三种不同尺度的第二特征图；利用预测网络对三种不同尺寸的第二特征图进行结果预测得到最终预测结果；利用误差损失网络根据的预测结果进行误差损失计算，直至预测结果与真实结果的误差损失满足阈值；否则重复主干网络、链路聚合网络、预测网络的图像数据处理步骤。
[0112]
参阅图4，利用链路聚合网络得到三种不同尺度的第二特征图的步骤包括：链路聚合网络对主干网络的第三层输出的第一特征图经过一层下采样，使得第一特征图的长宽均减半，得到第一处理图；长宽均减半的第一特征图与主干网络的第四层输出的第一特征图进行深度层次相加，得到第二处理图；链路聚合网络对第二处理图进行下采样，得到第三处理图，第三处理图与主干网络的第五层输出的第一特征图进行深度层次相加，得到第四处理图；将第四处理图作为链路聚合网络的第五层输出；将第四处理图进行上采样后，与第二处理图深度层次相加，作为链路聚合网络第四层的输出；将第四处理图进行上采样后，与第一处理图深度层次相加，作为链路聚合网络第三层的输出；链路聚合网络第五层的输出、链路聚合网络第四层的输出和链路聚合网络第三层的输出即为三种不同尺度的第二特征图。
[0113]
参阅图5，利用预测网络对三种不同尺寸的第二特征图进行结果预测得到最终预测结果的步骤包括：将三个第二特征图利用大小为1*1的卷积核调整通道数，得到三个第一通道图和三个第二通道图；分别将三个第一通道图经过两次3*3的卷积，并经过大小为3*3、通道数为类别数加1后乘3的1*1卷积，得到三个物体包含结果；分别将三个第二通道图经过两次3*3的卷积，得到三个第三通道图和三个第四通道图；分别将三个第三通道图经过大小为1*1，通道数为4乘3的卷积核，得到三个位置结果；分别将三个第四通道图经过大小为1*1，通道数为1乘3的卷积核，得到三个标签结果；将同一第二特征图对应的物体包含结果、位置结果和标签结果在通道数层面进行叠加，得到三个总预测结果；将三个总预测结果利用下式进行深度层次拼接得到最终预测结果output，output＝concat[cls(x) obj(x) reg(x) iou(x),axis＝1]。式中concat为数组拼接函数，axis为拼接的维度，x为各类别指定维度数量，cls()为类别预测参数，obj()为置信度预测参数，reg()为位置预测参数，iou()为iou aware预测参数。
[0114]
在本实施例中，利用误差损失网络根据的预测结果进行误差损失计算的步骤包括：将output从深度维度拆分出物体包含结果、预测概率结果、位置结果和标签结果；依据下式根据置信度损失函数利用物体包含结果计算置信度损失l
conf
(o,c)，
[0115][0116]
式中，o为真实值与预测值之间的iou，c为预测值，oi表示预测目标边界框与真目
标边界框的iou，n为正负样本个数；
[0117]
g(ci)＝sigmoid(ci)
[0118]
sigmoid()函数为sigmoid函数，ci为各类别预测结果。依据下式根据交叉熵损失函数利用预测概率结果计算类别损失mse，
[0119][0120]
n为类别个数，为各类别预测结果，yi为各类别真实结果。依据下式根据位置损失函数利用位置结果计算位置损失l
loc
(t,g)，
[0121][0122]
式中，
[0123][0124][0125][0126][0127]
σ为sigmoid函数，为网格的x值，为网格的y值，均为pp-yolov2模块的预测网络的回归参数，为gt中心点的x坐标，为gt中心点的y坐标，为gt中心点的宽度，为gt中心点的高度，为毛框的宽度，为毛框的长度，n为正样本个数。
[0128]
具体的，利用调用模块将滤波和分割处理后的待检测图像输入训练好的pp-yolov2模块，得到水下声呐目标检测结果的步骤包括：调用模块将滤波和分割处理后的待检测图像输入主干网络；主干网络对滤波和分割处理后的待检测图像进行特征提取，得到三种不同尺度的第三特征图；链路聚合网络利用上采样与下采样方法，将三种不同尺度的第三特征图进行融合与提取，得到三种不同尺度的第四特征图；预测网络对三种不同尺寸的第四特征图进行结果预测得到目标检测结果；筛选网络输出最优的目标检测结果。
[0129]
以上实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。