一种基于YOLOv5的前视声呐图像目标检测方法和系统

一种基于yolov5的前视声呐图像目标检测方法和系统
技术领域
1.本发明属于声呐图像处理技术领域，特别涉及一种前视声呐图像的目标 检测方法及系统。


背景技术：

2.声呐图像的目标检测是当前目标检测领域的热门话题。在民用、军事领 域中，对海底地貌绘制、水下搜救、打捞、石油勘测和潜艇可疑目标探测等 有着重大意义。另外声呐图像能够直观反应水下的场景信息，为uuv (unmanned underwater vehicles，无人水下航行器)自动识别目标技术提供 有力支撑，但同时声呐图像分辨率低，混响严重，目标特征模糊，导致检测 精度较低。
3.在过去的几十年里以人工提取特征的方式对声呐图像进行目标检测。其 中主要有基于像素、特征和回波的方法。这些传统的水下目标检测方法，大 多基于像素值特征、灰度阈值或者相应目标的先验信息，但水下环境复杂， 回波受自噪声、混响噪声和环境噪声等影响，导致声呐图像的分辨率低、边 缘细节模糊、斑点噪声严重，以至于很难寻找到良好的像素特征和灰度阈值。 另外，水下目标种类众多，获得一定的先验信息代价太高。所以，当前传统 算法对水下目标的检测精确度不高。
4.针对以上问题，深度学习的检测方法能够提取多层抽象特征，解决了传 统方法中人工提取特征的麻烦。近些年来，基于深层卷积神经网络的光学图 像目标检测表现出色。受此启发，研究者们逐渐将卷积神经网络应用于声呐 图像的目标检测当中。其中，曾文冠等人在《基于卷积神经网络的声呐图像 目标检测识别》(发表于2019年第十七届船舶水下噪声学术讨论会)中分别 使用fast r-cnn、yolov3和ssd对前视声呐图像进行目标检测的性能对 比，得出yolov3网络的性能最优结论结论，为后续的研究打下基础。为了 提高检测精度，王晓等人在《基于卷积神经网络的彩色图像声呐目标检测》 (发表于《计算机应用》，2019,39(s1):187-191)中结合双线性插值来预处理 声呐图像，再用yolov3来对声呐图像进行目标检测，得到了更好的效果。 后面，盛子旗等人在《样本仿真结合迁移学习的声呐图像水雷检测》(发表于 《智能系统学报》,2021,16(2):385-392)中构建了声呐探测水雷的仿真模型， 结合仿真样本和真实样本来使用yolov3网络对其检测，解决声呐图像数据 不足的问题。在当前最新研究中，金磊磊在《基于卷积神经网络的水下目标 声呐图像识别方法》(发表于《西北工业大学学报》,2021,39(2):285-291)中， 提出显著区域分割和金字塔池化的检测模型，减少了背景噪声对目标特征提 取的影响，通过金字塔池化提取特征融合了多尺度特征，弥补了声呐图像细 节信息模糊的缺陷。最后，在当前的大多数研究中，研究者们基本都是使用 yolov3网络，或者引用其思想，该网络在单阶段检测网络中首次引用特征 金字塔融合，能够一定融合多尺度特征信息来扩大感受野。但是在前端的深 层卷积网络上存在一定的改进空间，可以提取到更为丰富的特征信息，进一 步加深特征金字塔，使得融合到更为丰富的多尺度特征信息。为此，yolov5 在深层卷积网络和特征金字塔两部分进行了改进，检测速度和检测精度都得 到了进步的提升。
5.当前yolov5网络在光学图像目标检测任务中表现出优异的性能，但该 算法缺乏相应的理论介绍，且应用在声呐图像目标检测上的研究较少。加上 因声呐图像数据匮乏导致难以应用于深度神经网络当中的问题。另外由于声 呐图像与光学图像之间的差异性较大，目标特征也差别较大，导致该算法在 声呐图像的目标检测上的应用性能仍有很大的提升空间。


技术实现要素：

6.有鉴于此，本发明的目的在于提出一种基于yolov5的前视声呐图像目 标检测方法和系统，提高目标识别的准确性。
7.基于上述目的，本发明提出了一种基于yolov5的前视声呐图像目标检测 方法，包括：
8.构建基于yolov5的前视声呐图像目标检测模型的数据集，所述数据集包 括训练集、验证集和测试集；
9.在所述基于yolov5的前视声呐图像目标检测模型的k均值算法中引入 iou作为距离函数，对所述基于yolov5的前视声呐图像目标检测模型中的学 习网络进行初始锚框求解；
10.在所述基于yolov5的前视声呐图像目标检测模型中，使用coordconv算 法进行卷积；
11.对所述基于yolov5的前视声呐图像目标检测模型进行训练，得到检测结 果；
12.评估所述基于yolov5的前视声呐图像目标检测模型的网络性能。
13.在一些实施例中，构建基于yolov5的前视声呐图像目标检测模型的数据 集，包括：
14.对所述基于yolov5的前视声呐图像目标检测模型中的前视声呐图像进行 数据集划分，设定种子来随机划分所述训练集、验证集和测试集，其中所述训 练集和验证集之和与所述测试集的数量比例为9:1，所述训练集与所述验证集的 数量比例为9:1。
15.在一些实施例中，在所述基于yolov5的前视声呐图像目标检测模型的k 均值算法中引入iou作为距离函数，对所述基于yolov5的前视声呐图像目标 检测模型中的学习网络进行初始锚框求解，包括：
16.统计所述基于yolov5的前视声呐图像目标检测模型训练集中的所有标注 坐标信息，并将所述标注坐标信息对应目标的宽长和高长归一化到0到1之间；
17.随机抽取所述基于yolov5的前视声呐图像目标检测模型训练集中的9个 目标的宽长和高长作为初始锚框的宽长和高长；
18.计算每个目标框的中心位置，并将所述9个锚框分别对应到相应目标框的 中心位置，计算所述9个锚框与所述目标框之间的iou值；所述iou值包括最 大锚框编号、宽长和高长；
19.对编号相同的目标框，计算所述目标框的宽长和高长的中值，并使用所述 目标框的宽长和高长的中值替换对应锚框的宽长和高长；
20.重新计算所述每个目标框与所述9个锚框之间iou值，迭代更新所述9个 锚框的宽长和高长，直到上一轮统计的目标框编号信息与当前的目标框编号信 息一致时，迭代更新
结束，得到最终锚框的宽长和高长；
21.将所述最终锚框的宽长和高长转换到输入图像对应的宽长和高长。
22.在一些实施例中，在所述基于yolov5的前视声呐图像目标检测模型中， 使用coordconv算法进行卷积，包括：
23.对所述基于yolov5的前视声呐图像目标检测模型骨干网络中的卷积进行 改进，引入坐标卷积，使用coordconv算法进行卷积，为提取到的特征赋予坐 标信息。
24.在一些实施例中，对所述基于yolov5的前视声呐图像目标检测模型进行 训练，包括：
25.对所述基于yolov5的前视声呐图像目标检测模型的数据集进行色调和左 右翻转增强，并采用马赛克算法进行数据增强；
26.设置训练参数，利用随机梯度下降优化算法进行训练，训练批次设置为32， 训练迭代轮数设置为300，初始学习率设置为0.01，最终学习率设置为0.2。
27.自适应缩放所述数据集中的前视声呐图像的大小到640像素*640像素。
28.对所述训练集和验证集进行训练，在yolov5s预训练权重的基础上对所述 基于yolov5的前视声呐图像目标检测模型中的网络通过迁移学习算法进行微 调，训练得到所述验证集上性能最优的前视声呐图像目标检测结果模型；
29.使用所述测试集对所述前视声呐图像目标检测结果模型进行测试，得到所 述检测结果。
30.在一些实施例中，评估所述基于yolov5的前视声呐图像目标检测模型的 网络性能，包括：
31.从平均检测精度上对所述基于yolov5的前视声呐图像目标检测模型进行 评估。
32.从检测速度上对所述基于yolov5的前视声呐图像目标检测模型进行评估。
33.基于上述目的，本发明还提出了一种基于yolov5的前视声呐图像目标检 测系统，包括：
34.构建模块，用于构建基于yolov5的前视声呐图像目标检测模型的数据集， 所述数据集包括训练集、验证集和测试集；
35.求解模块，用于在所述基于yolov5的前视声呐图像目标检测模型的k均 值算法中引入iou作为距离函数，对所述基于yolov5的前视声呐图像目标检 测模型中的学习网络进行初始锚框求解；
36.卷积模块，用于在所述基于yolov5的前视声呐图像目标检测模型中，使 用coordconv算法进行卷积；
37.训练模块，用于对所述基于yolov5的前视声呐图像目标检测模型进行训 练，得到检测结果；
38.评估模块，用于评估所述基于yolov5的前视声呐图像目标检测模型的网 络性能。
39.在一些实施例中，求解模块包括：
40.归一化单元，用于统计所述基于yolov5的前视声呐图像目标检测模型训 练集中的所有标注坐标信息，并将所述标注坐标信息对应目标的宽长和高长归 一化到0到1之间；
41.初始化单元，用于随机抽取所述基于yolov5的前视声呐图像目标检测模 型训练集中的9个目标的宽长和高长作为初始9个锚框的宽长和高长；
42.定位单元，用于计算每个目标框的中心位置，并将所述9个锚框分别对应 到该目标框的中心位置，计算所述9个锚框与该目标框之间的iou值；所述iou 值包括最大锚框编号、宽长和高长；
43.优化单元，用于对编号相同的目标框，计算所述目标框的宽长和高长的中 值，并使用所述目标框的宽长和高长的中值替换对应锚框的宽长和高长；
44.迭代单元，用于重新计算所述每个目标框与9个锚框之间iou值，迭代更 新所述9个锚框的宽长和高长，直到上一轮统计的目标框编号信息与当前的目 标框编号信息一致时，迭代更新结束，得到最终锚框的宽长和高长；
45.结果单元，用于将所述最终锚框的宽长和高长转换到输入图像对应的宽长 和高长。
46.在一些实施例中，训练模块包括：
47.数据增强单元，用于对所述基于yolov5的前视声呐图像目标检测模型的 数据集进行色调和左右翻转增强，并采用马赛克算法进行数据增强；
48.参数设置单元，用于设置训练参数，利用随机梯度下降优化算法进行训练， 训练批次设置为32，训练迭代轮数设置为300，初始学习率设置为0.01，最终学 习率设置为0.2。
49.缩放单元，用于自适应缩放所述数据集中的前视声呐图像的大小到640像素 *640像素。
50.训练单元，用于对所述训练集和验证集进行训练，在yolov5s预训练权重 的基础上对所述基于yolov5的前视声呐图像目标检测模型中的网络通过迁移 学习算法进行微调，训练得到所述验证集上性能最优的前视声呐图像目标检测 结果模型。
51.在一些实施例中，评估模块包括：
52.精度评估单元，用于从平均检测精度上对所述基于yolov5的前视声呐图 像目标检测模型进行评估。
53.速度评估单元，用于从检测速度上对所述基于yolov5的前视声呐图像目 标检测模型进行评估。
54.总的来说，针对现有技术在声呐图像的目标检测任务上表现的性能不佳， 以及缺乏数据等问题。本发明提出了基于迁移学习下的改进的yolov5前视声 呐图像的目标检测模型。针对前视声呐图像目标检测任务，引入iou作为距离 函数对初始锚框计算方法进行改进，以提升检测性能。引用迁移学习的训练方 式来处理前视声呐图像数据量不足的问题,另外针对前视声呐图像目标特性，引 入coordconv提取到了赋有坐标信息的特征，有效的提升了前视声呐图像小目 标的检测精度。
55.本发明的有益效果在于：
56.针对声呐图像的目标特性而言，通过传统的k均值算法，得到网络的初始 锚框在检测速率上需要提升。本发明通过iou值作为距离函数对传统的k均值 算法进行改进，其得到的锚框，在最后的检测中性能优于传统方法。
57.现有方法对提取的声呐图像的目标特征不够充分，另外由于声呐图像的目 标尺寸普遍较小且细节模糊，导致检测回归的性能不佳。本发明结合yolov5 中的深层特征提取和特征向量的坐标信息，对提取到的深层特征赋予相应的坐 标信息，进而提升检测回归模块的精度。
58.本发明还提出了基于迁移学习的方式，通过模型迁移来训练改进网络提升 拟合效果。
附图说明
59.在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或 相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图 仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的 限制。
60.图1示出根据本发明实施例的基于yolov5的前视声呐图像目标检测方法 的流程图。
61.图2示出根据本发明实施例的基于yolov5的前视声呐图像目标检测系统 的构成图。
62.图3示出根据本发明实施例的求解模块的构成图。
63.图4示出根据本发明实施例的训练模块的构成图。
64.图5示出根据本发明实施例的评估模块的构成图。
65.图6示出yolov5的网络模型图。
66.图7示出引入坐标信息的yolov5的骨干网络图。
67.图8示出coordconv框架信息图。
68.图9示出根据本发明实施例的训练损失曲线图。
69.图10示出根据本发明实施例的验证损失曲线图。
70.图11示出根据本发明实施例的验证集的准确率和召回率曲线图。
71.图12示出根据本发明实施例的验证集map曲线图。
72.图13示出根据本发明实施例的基于迁移学习的训练、检测和评估流程。
73.图14示出根据本发明实施例的测结果混淆矩阵图。
74.图15a示出根据本发明实施例的算法与基线模型训练损失对比图。
75.图15b示出根据本发明实施例的算法与基线模型验证损失对比图。
具体实施方式
76.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是， 此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外 还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
77.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特 征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
78.yolo(you only look once)作为一种单阶段检测的卷积神经网络，相较于 rcnn、faster_rcnn等双阶段检测的网络而言，不需要产生候选区域，而是直 接通过网格进行坐标回归，大大的提升了目标检测的速度。在yolov1中，网 格用全局信息预测目标，结合上下文信息，检测虚警率得到降低，这对于混响 噪声严重的声呐图像来说提供了很好的帮助。但是yolov1的网格分辨率不高， 导致预测精度不高，另外由于网络自身每个网格只能预测一个目标的特点，导 致该网络对集群小目标的预测性能不佳。
79.从声呐图像的目标检测任务上来看，yolov2的改进方案对我们有所帮助 的是：使
用k均值聚类算法(即k-means聚类算法)得到先验锚框，并使用锚 框对每个网络进行预测，通过预测锚框与真实框之间的偏移量来简化学习任务， 有效的提高了目标的召回率。引用残差思想添加上一特征层来提高特征层的分 辨率，提升小目标检测精度。yolov2在骨干网络上使用darket19来降低运算 量，但是在检测网络方面未对特征层进行融合处理，导致了感受野的局限性， 特征层呈现的信息受限，一定程度上伤害了检测性能。
80.为此，yolov3在骨干上引入spp(spatial pyramid pooling,空间金字塔池化) 的思想，并将darket19改进成darket53，有效增强了接受域的特征。另外在颈 部引用fpn(feature pyramid networks，特征金字塔网络)模块，将低级的物理 特征集成到高级的语义特征，进一步提升识别和定位精度。这对于声呐图像的 目标检测来说效果达到了许多提升。
81.但是基于fpn模块的颈部是不成熟的，yolov4中改用panet(pathaggregation network，路径聚合网络)模块，另外特征提取网络中将darknet53 改进为cspdarknet53，颈部结合panet，性能得到进一步加强，这对于声呐图 像来说基于相同尺度下的特征层融合更加有利于目标的上下文信息获取。
82.值得一提的是，在检测中，添加的颈部模块或许能够提升检测的精度，但 也可能损坏性能。当前最新提出的bifpn模块在voc数据集中测试性能优异。 但是无论是bifpn还是panet，本发明将其引入到yolov3当中，都损害了最 终的检测性能。可见颈部的特征融合模块的复杂性需要考虑骨干提取的低级语 义特征程度以及数据量的规模。
83.通过以上分析，yolo网络的进化对于声呐图像的特性有着一定的效应。 当前yolov5与yolov4相比，yolov5在backbone(骨干网络)中增加了focus 层，如图6所示，在不影响精度的前提下，提升了flops。另外在backbone和 panet中都引入了c3等模块来促进特征融合，相比于yolov4中的csp模块 具有更强的性能。而且yolov5网络能够通过改变参数来自适应地改变网络的 深度和宽度，能够针对自身的数据量大小快速的变换网络大小。这样的改进对 声呐图像的目标检测来说无疑是有益的，它能够提取到更加丰富的全局信息来 降低虚警率，通过数据切分来提高检测效率，针对声呐图像数据集大小调整模 型参数达到自适应。
84.yolov5网络模型分为backbone(骨干网络)和head(头部)两部分,如图 6所示，输入通过网络的backbone部分进行了五次下采样，再取后三个特征层 作为head的输入，其中yolov5的head使用的是panet模块。在骨干网络中， 数据首先通过一个focus层，通过切分数据的形式将数据的宽度和厚度降为原来 的一半，大大的加快了网络的前向传播速度。再通过四个卷积层加c3层组成的 模块，其中c3层在yolov4网络中的csp层的基础上进行改进，提出了新的 残差组件。另外，遵循yolov4中激活函数改进的方法，更换了csp层中的激 活函数。且本发明分别对silu、hardswich以及mish三个冲激函数进行训练测 试，结果表明yolov5中使用的silu函数的表现性能最好。需要注意的是，在 最后一个卷积层结合c3层的中间加入了spp模块，该模块从yolov3便提出 了，它能够扩大特征层的感受野，对head模块的特征融合起到了很大的作用。
85.在yolov5的head部分，主要思想与yolov4相同，均在panet的基础 上进行改进。yolov5在head中使用的c3层与backbone中的c3层模式不同， 在backbone中特征层仅进行下采样，所以使用的c3层带有残差结合模式，而在 head中，panet网络融合了上下采样的特
征层，所以c3层便不再采用残差结合 模式。
86.最后对三个尺度的特征层使用相应的锚框进行目标检测。每个特征层的每 个网格分别得到3
×
(5 num
obj
)个的检测结果。其中num
obj
为输入数据的类别 总数，数量3代表每个网格通过3个锚框进行检测，数量5代表每个锚框预测的 目标置信度、中心点坐标和预测框的宽长和高长五个信息。
87.图6中，数据经过增强处理之后输入网络进行训练。首先通过focus层进行 数据切分，输入由640像素*640像素*3维度变成320像素*320像素*64维度，之 后经过三个conv加c3(真)层进行卷积，提取深层特征，每经过一次conv层， 便进行一次下采样，特征层的长和宽下降一半。再经过一个conv层进行卷积下 采样得到20像素*20像素*1024维度的特征层，通过spp模块，融合不同感受野 的特征，得到20像素*20像素*1024维度的特征层，在骨干网络的最后经过一个 c3(假)层进行卷积操作。
88.在头部部分，骨干网络提取到的深层特征经过由1*1卷积核卷积的conv层 进行通道数下降，得到的特征层经过最近邻上采样操作之后与第七层的特征层 结果进行通道方向上的叠加，得到40像素*40像素*1024维度的特征层，再按照 上述方式依次通过c3(假)层，conv层，最近邻上采样层和c3(假)层，得到80像 素*80像素*256维度的特征层。该特征层既用于检测模块中80像素*80像素分辨 率大小的预测，也用于进行下采样的特征融合，特征层通过conv层进行卷积下 采样，得到40像素*40像素*256维度的特征层，该特征层在通道方向与对应维 度的特征层进行叠加，得到40像素*40像素*512维度的特征层，通过c3(假)层 得到40像素*40像素*512维度的特征层，该特征层用于检测模块中40像素*40 像素分辨率大小的预测，再通过conv层进行卷积下采样，得到20像素*20像素 *512维度的特征层，该特征层在通道方向与对应维度的特征层进行叠加，得到 20像素*20像素*1024维度的特征层，最后通过一层c3(假)层，得到20像素*20 像素*1024维度的特征层用于检测模块中20像素*20像素分辨率大小的预测。
89.yolov5的损失函数由目标预测的分类损失、置信度损失和回归损失构成。 总损失如公式(1)中表示：
90.l
total
＝αl
box
βl
object
λl
class
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
91.其中l
box
、l
object
和l
class
分别代表的是目标回归损失，目标预测的置信度损 失和类别损失。受优化器的约束限制，在目标检测的每类损失中需要增加相应 的增益来规模化和平衡损失。在yolov5工程中，通过大量的试验确定α、β、λ 三个增益为0.05、1、0.5。而且，本发明针对前视声呐图像的目标检测对该增益 进行调整，检测结果显示，以上的取值的检测效果最好。
92.对预测框的回归损失，模型通过计算目标真实框和预测框的ciou(completeiou，完整交并比)来衡量，其计算方法如公式(2)所示。ciou相较于iou (intersection over union，交并比)和giou(generalizediou，泛化交并比)来 说，不仅包含了二者的功能，还能够更好的处理预测框和真实框完全分离和完 全包含的两类情况。
[0093][0094]
其中，iou代表的是真实框与预测框的交集与并集之比，a
pred
、a
tr
分别代 表的是预测框和真实框的中心点位置，c代表的是包围真实框和预测框的最小框 的对角线长度，e是
一个偏置项。ciou相较于diou(distanceiou，距离交并比) 增加了αv这一项惩罚项，其中， w
tru
、h
tru
、w
pred
、h
pred
分别为真实框和预测框的宽度和高度，而α＝v/(v
‑ꢀ
iou 1 e)
[0095]
至此，ciou的计算全部完成，可以得到目标定位回归损失为：
[0096]
l
box
＝1-ciou
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0097]
而对目标预测置信度损失和类别损失而言，前者用来判断该锚框中存在目 标的概率，后者输出该锚框中的目标类别，二者均只是一个参数，所以直接使 用二元交叉熵损失计算方法。首先，关于置信度损失有：
[0098][0099]
其中，nt指的是某一尺度下的某批次图像中的正样本个数，y
p
指的是预测 的目标所得到的置信度，而y
t
是我们用来计算置信度损失的一个置信度标准，其 定义为：
[0100]yt
＝(1-gr) gr*ciou
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0101]
其中gr是一个ciou的比例系数，范围为[0，1]，如果gr取值太小则我们设 置的置信度标准越接近1，导致训练难度提高。最后，通过公式(5)便能够得 到置信度损失。而对于类别损失，计算方法与置信度损失类似，但无需设定标 准。因为对于类别而言，这里存在各个目标的真实标签和目标位置信息。
[0102]
最后，对每类损失赋予增益并求和，得到该张图像在某特征尺度输出上的 损失，通过三个尺度的损失相加取平均值得到了该张图像的总损失。最后与批 次相乘，得到了该批次下的损失值，通过sgd(stochastic gradient descent，随 机梯度下降优化)优化器更新网络权重。
[0103]
研究表明，在当前的光学的目标检测领域，以上的这些网络表现的性能较 好。然而，这些网络在声学图像的应用经常被忽略，所以本发明使用这几种方 式对前视声呐图像进行目标检测测试，并对yolov5进行相应的改进。
[0104]
图1示出根据本发明实施例的基于yolov5的前视声呐图像目标检测方法 的流程图。如图1所示，该基于yolov5的前视声呐图像目标检测方法包括：
[0105]
步骤s11、构建基于yolov5的前视声呐图像目标检测模型的数据集，所述 数据集包括训练集、验证集和测试集。
[0106]
在一种实施方式中，构建基于yolov5的前视声呐图像目标检测模型的数 据集，包括：
[0107]
对所述基于yolov5的前视声呐图像目标检测模型中的前视声呐图像进行 数据集划分，设定种子来随机划分所述训练集、验证集和测试集，其中所述训 练集和验证集之和与所述测试集的数量比例为9∶1，所述训练集与所述验证集的 数量比例为9∶1。
[0108]
步骤s12、在所述基于yolov5的前视声呐图像目标检测模型的k均值算 法中引入iou作为距离函数，对所述基于yolov5的前视声呐图像目标检测模 型中的学习网络进行初始锚框求解。
[0109]
自yolov3网络开始，借鉴了faster r-cnn的思想，引入了锚框。yolov3 在计算锚框的上引用了k均值聚类方法，对coco数据集的训练样本标记的聚类 统计，得出九个初始
锚框。yolov4的锚框计算方法承接了yolov3的方式。 而yolov5是将yolov4的手动计算锚框方式转变为自动计算方式，将k均值 聚类同遗传算法(ga)相结合，但是总体的方法还是传统的k均值聚类方式， 使用的是欧式距离函数来作为聚类依据。所以在预训练权重文件中，yolov3、 yolov4、yolov5的初始锚框定义都是一致的。
[0110]
而使用欧式距离函数将导致较大的目标框会比较小的框产生更大的偏差， 所以尽管本发明使用的前视声呐训练集标注进行统计，再按照yolov5计算初 始锚框的方式对引用的数据集重新计算锚框，得到的结果依然会出现上述问题。 如图7所示，对训练集标注进行宽高统计，发现与coco数据集的标注差别较大。 所以，针对数据标注的分布情况不同以及传统k均值聚类导致的聚类偏差问题， 本发明提出使用iou作为k均值聚类算法的距离函数，对该前视声呐图像的标 注信息进行聚类，得到初始锚框信息。初始锚框的计算是为了能够更加快速准 确的回归到目标的位置，所以使用iou作为距离函数，能够从前视声呐图像的 标注信息中得到最符合的初始锚框信息。
[0111]
在图7和图8中，引用coordconv层作为网络中的conv层进行特征提取， 其中coordconv层的可视化如下，上一层的输出向量作为coordconv层的输入 向量，该输入向量在通道方向叠加一个单通道的x坐标层和一个单通道的y坐标 层，具体特征如下：
[0112]
根据输入向量的宽度和高度构建对应维度的坐标矩阵，坐标值再归一化到 [-1,1]之间，再叠加在输入特征向量的通道方向上，得到w*h*(c 2)的特征向量， 其中w为输入向量的宽度，h为输入向量的高度，c为输入向量的通道数。叠 加之后的特征向量再经过conv层进行卷积下采样特征提取操作。
[0113]
本发明提出的在所述基于yolov5的前视声呐图像目标检测模型的k均值 算法中引入iou作为距离函数，对所述基于yolov5的前视声呐图像目标检测 模型中的学习网络进行初始锚框求解(简称iouk均值聚类算法)总体流程如下：
[0114]
步骤1：统计训练集中的所有标注坐标信息，并将宽长和高长归一化到0到 1之间；
[0115]
步骤2：随机抽取目标中的九个目标宽长和高长作为初始锚框的宽长和高长；
[0116]
步骤3：计算每个目标框的中心，并将九个初始锚框定位到该中心位置上， 计算该目标框与九个锚框之间的iou值；
[0117]
步骤4：记录所有锚框与当前目标框的iou计算结果，其中包括iou值最大 锚框编号、宽长和高长三个信息；
[0118]
步骤5：取编号对应的所有目标框的宽长和高长，对其求中值作为该锚框的 新宽长和高长；
[0119]
步骤6：重新计算iou值，迭代更新锚框的宽长和高长，返回step3，直到 上一轮统计的目标框编号信息与当前的目标框编号信息一致时，更新结束；
[0120]
步骤7：对求得锚框尺度转换到输入图像大小中对应的尺度大小。
[0121]
本发明提出的iouk均值聚类算法，相比于使用传统kmeans聚类算法在平 均iou的精确度上得到有效提升。通过引入iou作为距离函数对前视声呐数据 集对目标中的相比于yolov5中使用的传统kmeans具有更好的聚类效果，且在 平均iou精度上提升了5.42％。
[0122]
在一种实施方式中，在所述基于yolov5的前视声呐图像目标检测模型的 k均值算法中引入iou作为距离函数，对所述基于yolov5的前视声呐图像目 标检测模型中的学习网络进行初始锚框求解，包括：
[0123]
统计所述基于yolov5的前视声呐图像目标检测模型训练集中的所有标注 坐标信息，并将所述标注坐标信息对应目标的宽长和高长归一化到0到1之间；
[0124]
随机抽取所述基于yolov5的前视声呐图像目标检测模型训练集中的9个 目标的宽长和高长作为初始9个锚框的宽长和高长；
[0125]
计算每个目标框的中心位置，并将所述9个锚框分别对应到相应目标框的 中心位置，计算所述9个锚框与所述目标框之间的iou值；所述iou值包括最 大锚框编号、宽长和高长；
[0126]
对编号相同的目标框，计算所述目标框的宽长和高长的中值，并使用所述 目标框的宽长和高长的中值替换对应锚框的宽长和高长；
[0127]
重新计算所述每个目标框与所述9个锚框之间iou值，迭代更新所述9个 锚框的宽长和高长，直到上一轮统计的目标框编号信息与当前的目标框编号信 息一致时，迭代更新结束，得到最终锚框的宽长和高长；
[0128]
将所述最终锚框的宽长和高长转换到输入图像对应的宽长和高长。
[0129]
步骤s13、在所述基于yolov5的前视声呐图像目标检测模型中，使用 coordconv算法进行卷积。
[0130]
由于声呐图像与光学图像成像机制不同，接收器接收到的回波强度受水下 复杂环境的影响而大大削弱，所以声呐图像中所呈现的目标有着对比度低，边 缘模糊等特性。另外最重要的是，声呐在水下采用回波的方式进行探测，因探 测距离较远，以及受到波束角分辨率和声波散射的影响，导致声呐图像中的目 标回波区域较小，从而加剧了检测过程中的回归定位损害。针对以上问题，本 发明提出了使用coordconv对yolov5网络的特征提取模块进行改进，不仅提 取到多尺度的高层特征，还对不同尺度特征引入了相应的坐标信息，帮助head 融合更加丰富的特征，坐标信息的添加更是提升检测模块定位回归的精度，改 进形式如图9所示。
[0131]
如图7所示，在本发明中采用coordconv的方式代替yolov5骨干网络中 原有的卷积形式。在图8中解释了coordconv的具体内容。在每次卷积提取参 数化特征之前，都对输入的张量的每个像素赋予相应的坐标信息，其中主要有 x,y两坐标，由于每次特征提取的时候张量的大小不一，所以进一步对x,y进行 缩放到[-1,1]之间。将生成的两个二维的坐标矩阵赋予到相应的张量通道层上， 通过conv层进行卷积提取，进一步得到了相应的带有像素级的坐标信息的高层 特征，为head层中的定位回归提供了更加丰富的特征信息。对于提取到的高层 特征带有相应的坐标信息，对于前视声呐图像中的小目标检测定位精度提升有 着巨大的帮助。
[0132]
在一种实施方式中，在所述基于yolov5的前视声呐图像目标检测模型中， 使用coordconv算法进行卷积，包括：
[0133]
对所述基于yolov5的前视声呐图像目标检测模型骨干网络中的卷积进行 改进，引入坐标卷积，使用coordconv算法进行卷积，为提取到的特征赋予坐 标信息。
[0134]
步骤s14、对所述基于yolov5的前视声呐图像目标检测模型进行训练，得 到检测结果。
[0135]
在一种实施方式中，对所述基于yolov5的前视声呐图像目标检测模型进 行训练，包括：
[0136]
对所述基于yolov5的前视声呐图像目标检测模型的数据集进行色调和左 右翻转增强，并采用马赛克算法进行数据增强；
[0137]
设置训练参数，利用随机梯度下降优化算法进行训练，训练批次设置为32， 训练迭代轮数设置为300，初始学习率设置为0.01，最终学习率设置为0.2。
[0138]
自适应缩放所述数据集中的前视声呐图像的大小到640像素*640像素。
[0139]
对所述训练集和验证集进行训练，在yolov5s预训练权重的基础上对所述 基于yolov5的前视声呐图像目标检测模型中的网络通过迁移学习算法进行微 调，训练得到所述验证集上性能最优的前视声呐图像目标检测结果模型；
[0140]
使用所述测试集对所述前视声呐图像目标检测结果模型进行测试，得到所 述检测结果。
[0141]
由于水下实验困难且成本较高，导致难以获得足够的有效声呐图像数据。 而对于深度卷积神经网络来说，训练拟合需要大量的训练样本的支撑，其中 yolov5在pascal voc和coco两个公开数据集上的训练样本数分别为20个类 别总共16551张训练图像，80个类别总共118287张训练样本，而本发明可用的 前视声呐图像数据集仅3240张训练样本共8个类别。且不考虑每个类别的样本 分布是否均匀，经统计可以看出可用的前视声呐图像每个类别的平均训练图像 数据量远低于另外两个数据集。
[0142]
针对训练数据量不足问题，本发明引用迁移学习的方法，对前视声呐图像 进行训练。采用yolov5网络在光学图像数据集上面训练好的权重，作为目标 数据集的预训练权重，目标数据集在此模型权重上进行微调训练，能达到更好 的拟合效果。其中，声学图像的预训练模型引用光学图像的模型权重的可靠性 在于深层网络中的低级特征对不同任务时通用的，所以不会因为图像的差异导 致训练失效。如图13所示，引用在coco数据集下训练好的yolov5网络模型 权重，对目标的前视声呐图像数据集进行微调训练，得到针对该前视声呐图像 目标检测任务的训练模型。最终使用该任务的训练模型对前视声呐图像的测试 集进行检测，并对得到的检测结果同真实标签进行性能评估。
[0143]
步骤s15、评估所述基于yolov5的前视声呐图像目标检测模型的网络性能。
[0144]
在一种实施方式中，评估所述基于yolov5的前视声呐图像目标检测模型 的网络性能，包括：
[0145]
从平均检测精度上对所述基于yolov5的前视声呐图像目标检测模型进行 评估。
[0146]
从检测速度上对所述基于yolov5的前视声呐图像目标检测模型进行评估。
[0147]
基于yolov5模型对前视声呐图像进行目标检测，使用的数据集是 urpc2021，其中有4000张前视声呐图像，分别由人体、球、圆笼、方笼、轮胎、 水桶、立方体和圆筒八类目标组成。
[0148]
在实验过程中，基于迁移学习的方法对不同模型进行训练测试，比较分析 算法的性能。其中针对每个算法的数据集划分，统一使用一个种子对数据集进 行随机抽取划分训练集、验证集和测试集的比例为(9:1)：1，以保证算法结果 比较的权威性。
[0149]
本发明实验是在cpu型号为intel(r)core(tm)i7-10710u，gpu使用的是外 接显卡quadro p5000的环境下基于pytorch深度学习平台上进行训练和测试。
[0150]
在目标检测的评价指标中，平均精确度ap(averageprecision，ap)广泛应 用，所以本发明使用平均精确度对各网络对声呐图像进行目标检测的性能进行 过评价。ap受以
下两个参数控制：精确度p(precision)和召回率r(recall)， 对模型的输出中计算每张图像的每一类预测框与该张图像上的该类的真实框之 间的iou比值，当预测框与真实框之间的iou比值大于等于设定的阈值且类别 判断正确时，则判断该预测目标是tp(truepositive),随后将预测的所有该类目 标通过置信度得分进行排序，将所得的tp值进行p-r曲线统计，其定义为：
[0151][0152][0153]
其中，fp(falsepostive)代表的是预测的结果类别与真实不符的目标数量， 有可能是检测错误或者虚警；fn(falsenegative)为真实的目标未检测出的目标 数量，就是漏警的代表。由上便能够得到每一类目标在某一iou指标下的p-r 曲线，而相对应的该类的ap值就是对该p-r曲线与p轴和r轴所围成的面积。 随着iou指标的提升，对目标检测的定位回归标准更加严格。在本次实验中， 分别取标准iou标准为0.5和0.75，来比较性能，另外计算iou阈值从0.5到0.95 十个阈值的平均值来一起衡量每个模型的检测性能。而在模型检测声呐图像的 速度上面，因为每个模型都是使用同一环境进行检测，所以利用模型检测每一 张图像所需要的时间来进行比较衡量。
[0154]
在图9和图10中展示了本发明提出的检测算法的训练集和验证集损失下降 曲线。从损失曲线可以看出网络对声呐图像进行训练过程中，在第100个轮次之 后逐渐趋于稳定，而且对三类损失来说回归损失占比最大，通过网络的输出可 知，针对每一层的每个像素上的三个锚框输出维度为13维，其中包括八个类别、 四个位置信息和一个置信度损失，其中类别损失和置信度损失选用交叉熵计算， 对于判别来说损失下降较快，网络主要用于回归计算预测框和真实框之间的 ciou损失。
[0155]
图11通过记录训练过程中验证集的精确率和召回率统计变化过程，通过观 察验证集的精确率和召回率的稳定曲线和损失曲线来判断网络训练是否达到最 终的稳定。如图12所示，在每一轮次训练结束后对验证集进行测试得到map， 分别记录map@0.5和map@0.5:0.95两个性能指标，通过观察，待网络达到稳 定时，验证集得到的map@0.5可达到98.64％，map@0.5:0.95可达到57.94％， 最后得到验证集map@0.5:0.95最优的训练模型。
[0156]
将随机抽取的测试集进行测试，为了降低一定的虚警率，设定检测的置信 度阈值为0.6，得到在iou指标为0.5下的测试结果可视化。其中图10展示了该 前视声呐下的八类目标的检测结果的精确率和召回率变化曲线，最后统计得出 总体的检测结果map@0.5为98％。另外在实验结果中，对每类目标的检测结果 以混淆矩阵的形式进行可视化，如图14所示，对于每类目标来说，检测的准确 率相对较高，目标的漏检率相对较低，但是由于声呐图像中的背景噪声影响， 网络将部分背景误判为目标，所以对声呐图像的降噪部分在后续的研究中需要 进一步解决。
[0157]
从损耗曲线可以看出，改进后的coordconv-yolov5模型比基线yolov5 模型有更好的性能，如图15a和图15b所示。通过观察训练损失比较曲线，改 进后的coordconv-yolov5比yolov5具有更低的损失稳定性。此外，在验证 集损失方面，coordconv-yolov5实现的损失稳定性比基线模型降低了近0.007。 该结果进一步验证了改进算法具有较好的收
敛效果。因此，与基线模型相比， 指标高的前视声纳图像的目标回归定位结果可以取得更好的性能。
[0158]
将当前各个典型的目标检测模型分别进行训练并测试，对每个模型的性能 进行比较分析。如表1所示：
[0159]
表1本发明算法与各类算法性能对比
[0160][0161]
通过各个模型的训练测试性能比较来看，yolov5网络在声呐图像的目标 检测过程中表现的性能最佳，检测精度map@0.5:0.95达到56.95％。相比于仅使 用yolov5s的预训练模型训练得到的模型，使用重新计算得到的锚框进行训练 的模型，在检测速度上提升了三分之一，但是由于网络的框架并未做出改进， 所以在检测精度上未得到提升。
[0162]
而最终本发明提出的改进的yolov5前视声呐图像的目标检测网络，在骨 干网络中引入坐标信息，对提取的深层参数化的特征赋予了相应的坐标信息， 有效的提升了检测的回归定位精度。同时本发明改进了传统的k均值算法，以 iou作为距离函数的聚类算法求得的锚框，相比于原有的锚框有着与目标各相似 的尺寸，帮助检测模块更快的回归定位，有效的提升了检测速度，另外，通过 对预训练模型进行微调，很好的解决了数据不足的问题，提升了拟合的效果。
[0163]
通过与原有的yolov5网络的测试结果对比分析可得，本发明提出的基于 迁移学习的coordconv-yolov5的前视声呐图像目标检测网络，在保持了低指 标下的map@0.5性能的情况下，在map@0.75上相比于原有的yolov5提升了 5.82％，在map@0.5:0.95上相比yolov5提升了2.74％，对于检测速度上，相比 于yolov5提升了30.7％。
[0164]
另外，在实验过中对yolov3网络进行改进，通过对yolov3网络的neck 部分进行修改，使用panet模块改进fpn模块，使特征融合更加充分，检测精 度得到了一定的提升，但是同yolov5网络相比，虽然整体思想相同，但是由 于backbone网络提取的特征不够充分，导致引入panet之后网络更加难以收敛， 所以检测的精度不如yolov5。
[0165]
efficientdet也是当前目标检测领域中表现较为出色的网络，本发明在实验 中，分别对efficientdet-d0和efficientdet-d4两个规模的efficientdet网络进行训 练测试，其中d0和d4两种网络规模的区别在于颈部分别使用了3层和12层的 bifpn特征融合层。通过检测结果可以看出，虽然efficientdet-d4相较于 efficientdet-d0来说性能得到了很大的提升，但是检测速度也随着网络模型的变 大而大幅提高，而且同yolov5相比依旧不如，这个结果与光学图像的检测结 果相同。
[0166]
再者，在前视声呐图像目标检测任务中，单阶段检测网络模型明显优于两 阶段网络模型，通过实验测试得知，yolov5检测的检测精度map@0.5:0.95比 faster r-cnn的检测精度高36.74％，检测速度比faster r-cnn快27倍。这是因 为在检测的过程中，yolov5是直接进行目标位置回归计算，不需要进行提取 候选区域，而faster r-cnn等两阶段检测网络需要提取候选区域之后，再对这 些候选区域进行预测。所以在检测效率上明显劣于单阶段检测网络。
[0167]
最后，通过对几种不同深度和宽度的yolo网络进行性能比较。yolov5s 网络的规模最小，但是由于声呐数据量的有限，所以较深的网络并没有凸显出 它优越的性能。在网络的宽度和深度参数上，在后续的工作中依旧需要进一步 的调整。通过以上实验数据表明，本发明提出的coordconv-yolov5网络对该 前视声呐图像的目标检测任务上表现的性能更加优越，对后续的基于深度学习 的前视声呐图像的目标检测研究提供了一定的帮助。
[0168]
图2示出根据本发明实施例的基于yolov5的前视声呐图像目标检测系统 的构成图。如图2所示，该基于yolov5的前视声呐图像目标检测系统整体可 以分为：
[0169]
构建模块21，用于构建基于yolov5的前视声呐图像目标检测模型的数据 集，所述数据集包括训练集、验证集和测试集；
[0170]
求解模块22，用于在所述基于yolov5的前视声呐图像目标检测模型的k 均值算法中引入iou作为距离函数，对所述基于yolov5的前视声呐图像目标 检测模型中的学习网络进行初始锚框求解；
[0171]
卷积模块23，用于在所述基于yolov5的前视声呐图像目标检测模型中， 使用coordconv算法进行卷积；
[0172]
训练模块24，用于对所述基于yolov5的前视声呐图像目标检测模型进行 训练，得到检测结果；
[0173]
评估模块25，用于评估所述基于yolov5的前视声呐图像目标检测模型的 网络性能。
[0174]
图3示出根据本发明实施例的求解模块的构成图。如图3所示，该求解模 块22可以包括：
[0175]
归一化单元221，用于统计所述基于yolov5的前视声呐图像目标检测模型 训练集中的所有标注坐标信息，并将所述标注坐标信息对应目标的宽长和高长 归一化到0到1之间；
[0176]
初始化单元222，用于随机抽取所述基于yolov5的前视声呐图像目标检测 模型训练集中的9个目标的宽长和高长作为初始9个锚框的宽长和高长；
[0177]
定位单元223，用于计算每个目标框的中心位置，并将所述9个锚框分别对 应到该目标框的中心位置，计算所述9个锚框与该目标框之间的iou值；所述 iou值包括最大锚框编号、宽长和高长；
[0178]
优化单元224，用于对编号相同的目标框，计算所述目标框的宽长和高长的 中值，并使用所述目标框的宽长和高长的中值替换对应锚框的宽长和高长；
[0179]
迭代单元225，用于重新计算所述每个目标框与9个锚框之间iou值，迭代 更新所述9个锚框的宽长和高长，直到上一轮统计的目标框编号信息与当前的 目标框编号信息一致时，迭代更新结束，得到最终锚框的宽长和高长；
[0180]
结果单元226，用于将所述最终锚框的宽长和高长转换到输入图像对应的宽 长和高长。
[0181]
图4示出根据本发明实施例的训练模块的构成图。如图4所示，该训练模 块24可以包括：
[0182]
数据增强单元241，用于对所述基于yolov5的前视声呐图像目标检测模型 的数据集进行色调和左右翻转增强，并采用马赛克算法进行数据增强；
[0183]
参数设置单元242，用于设置训练参数，利用随机梯度下降优化算法进行训 练，训练批次设置为32，训练迭代轮数设置为300，初始学习率设置为0.01，最 终学习率设置为0.2。
[0184]
缩放单元243，用于自适应缩放所述数据集中的前视声呐图像的大小到640 像素*640像素。
[0185]
训练单元244，用于对所述训练集和验证集进行训练，在yolov5s预训练 权重的基础上对所述基于yolov5的前视声呐图像目标检测模型中的网络通过 迁移学习算法进行微调，训练得到所述验证集上性能最优的前视声呐图像目标 检测结果模型。
[0186]
图5示出根据本发明实施例的评估模块的构成图。如图5所示，该评估模 块25可以包括：
[0187]
精度评估单元251，用于从平均检测精度上对所述基于yolov5的前视声呐 图像目标检测模型进行评估。
[0188]
速度评估单元252，用于从检测速度上对所述基于yolov5的前视声呐图像 目标检测模型进行评估。
[0189]
本发明实施例各系统中的各模块的功能可以参见上述方法中的对应描述， 在此不再赘述。
[0190]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具 体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结 构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具 体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方 式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中 描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0191]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表 示包
括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码 的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其 中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或 按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员 所理解。
[0192]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认 为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机 可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处 理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统) 使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算 机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行 系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算 机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线 的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)， 只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光 纤装置，以及便携式只读存储器(cdrom)。另外，计算机可读介质甚至可以 是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其 他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理 来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0193]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。 在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执 行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方 式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有 用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合 逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga) 等。
[0194]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部 分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计 算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0195]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块 中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的 形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品 销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以 是只读存储器，磁盘或光盘等。
[0196]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的 保护范围应以所述权利要求的保护范围为准。