一种基于配对编码网络和对比学习的舰船噪声识别方法与流程

1.本发明涉及水声信号处理领域，具体涉及一种基于配对编码网络和对比学习的舰船噪声识别方法。


背景技术：

2.随着深度学习在计算机视觉、模式识别、声信号处理等领域的快速发展，也为被动声纳信号的目标识别提供了其他的研究思路，成为一个重要的研究课题。然而，分类目标增多后，模型的准确率势必会下降。另一方面，深度学习模型需要大量的样本训练，而水中信号数据信噪比低，高质量样本匮乏，且不同水域数据难以迁移使用。解决该领域数据不足这一极具挑战性的问题，引起了很多研究者的研究兴趣并进一步提出了小样本学习学习和零样本学习。
3.水中目标识别是指以声纳采集的信号为基础，经过信号的处理，从而生成有效的音频信号，进而对信号进行识别的过程。在军事领域，水中目标个体识别技术的研究和开发，具有极其重要的意义。然而，由于水下环境复杂多变(如声学介质约束及异质性)以及水下信号获取、传送处理成本等因素，水下可用数据往往不够准确，因此如何提高水中目标的检测和识别的准确性和快速性，降低计算和通信成本成为了亟需解决的问题。
4.迁移学习通过在源任务中学习得到的知识用来帮助新任务目标的学习，能够实现在新任务的较少训练数据时，也能达到比较好的训练效果。在迁移学习的基础上，针对数据不足的问题，小样本学习适用于由于客观原因造成样本匮乏的学习场景。零样本学习是在测试集中，有些类别不在训练集中，利用训练集的样本训练一个模型，使之应用到测试集能正确识别那些在训练集中不存在的标签。要解决好新目标出现和短期内同一目标重复出现的识别问题，小样本学习和零样本学习缺一不可，成为了现在的研究热点。实现水声个体识别架构设计的技术主要有三个步骤。第一步通过得到的大量样本对神经网络进行训练，突破在变化的水文环境以及少样本可供训练的情况下的智能识别难点；第二步通过时频信息提取以挖掘具有丰富个体差异性的多维度特征；第三步利用深度学习网络学习个体特征达到分类识别的目的。然而，在水中目标识别领域，水中数据采集需要巨大的经济投入，而且绝大部分现有相关数据集的具有高度保密性和较大的地域特性。在这种情况下，依靠大数据驱动的传统机器学习方法难以取得良好效果。因此，需要小样本学习来依据这些稀有的图像数据建立无监督的、端到端的分类模型，并提高模型识别时的准确性。


技术实现要素：

5.针对现有技术中船舰辐射噪声识别准确率低和降噪手段需手动调优的问题，本发明提供一种基于配对编码网络和对比学习的舰船噪声识别方法。
6.为了实现上述目的，本发明采用的技术方案为：
7.一种基于配对编码网络和对比学习的舰船噪声识别方法，包括以下步骤：
8.步骤1，将水听器接收的长时段船舰噪声信号划分为固定时长的信号样本，通过卷
积神经网络将信号样本映射到特征空间，得到每个信号样本的第一特征张量；
9.步骤2，构建由一层长短时记忆层构成的循环神经网络，将步骤1得到的第一特征张量按照信号样本的时序依次输入循环神经网络，得到对应的第二特征张量；其中，前一时刻的第二特征张量保存在长短时记忆层中，并融合在后一时刻的第二特征张量中；
10.步骤3，构建交叉熵形式的损失函数，根据第一特征张量和第二特征张量计算损失值；
11.步骤4，构建第一优化器和第二优化器，第一优化器对卷积神经网络进行优化，第二优化器对卷积神经网络和循环神经网络的组合进行优化，每个优化器均利用步骤3计算的损失值，通过梯度反向传播方法对相应的神经网络的网络参数进行更新，得到训练好的卷积神经网络和循环神经网络；
12.步骤5，将待识别船舰噪声信号输入训练好的卷积神经网络，得到相应的第一特征张量，将其展平为向量，然后通过全连接层，再通过softmax分类器得到分类结果，完成对船舰噪声信号的识别。
13.进一步地，步骤1的具体方式为：
14.步骤101，将水听器接收的长时段船舰噪声信号划分为3.2768秒，即16384点数的信号样本，将信号样本的维度从1*16384调整为128*128，并将信号样本按64个一批次的数量读入到卷积神经网络中；
15.步骤102，将信号样本通过8*8、步长为4的卷积核，映射到256个特征点的维度空间中，再通过非线性激活函数relu和大小为2的最大池化层，得到大小为256*15*15的特征矩阵；
16.步骤103，将步骤102得到的特征矩阵再通过4*4、步长为2的卷积核和relu及最大池化层，得到256*3*3的特征张量。
17.进一步地，步骤3的具体方式为：
18.(1)根据第一特征张量和第二特征张量，构建对应维度的对角张量；
19.(2)将对角张量重构为右移一位的矩阵，并按样本数量复制，得到时序标签阵列；
20.(3)对第一特征张量和第二特征张量进行矩阵乘法，并保持样本数量不变，得到统一的样本特征；
21.(4)对统一的样本特征和时序标签阵列计算批交叉熵对数损失。
22.本发明的有益效果是：
23.1、本发明结合对比学习的思想和配对编码网络，提出了一种新颖的舰船噪声识别方法。通过搭建一种改进的特征提取模块，达到了学习舰船辐射噪声背后的高维信息的目的。
24.2、本发明构建了长短时记忆层(gru)，该结构可以提取数据的前文信息，并将样本再次非线性映射，有效解决了声数据的时序关联问题。
25.3、本发明方法构建了交叉熵形式的损失函数，将识别和降噪两个部分统一进行优化，并通过两次非线性映射，迫使模型丢弃样本的原始声学无用信息和噪声，学习不同目标的高级特征区别。因此，在保证网络识别能力的同时，提升了网络分离噪声的能力。
26.总之，本发明通过端到端的方法避免了传统频谱分析的局限性，通过多种优化技术，使得依据辐射噪声的船舰被动识别任务达到较高准确率与较强鲁棒性。
附图说明
27.图1为本发明实施例的总体框架示意图；
28.图2为本发明实施例中特征提取模块和时序信息融合模块的构造示意图；
29.图3为本发明实施例中基于对比学习的损失函数的计算示意图。
具体实施方式
30.为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
31.一种基于配对编码网络和对比学习的舰船噪声识别方法，包括下列步骤：
32.s1，特征提取：将信号通过特征提取模块进行第一次映射；
33.s2，时序信息融合：将步骤s1的输出通过时序信息融合模块，融合前时刻信息；
34.s3，计算损失函数：根据步骤s1和s2处理后得到的特征计算损失loss；
35.s4，模型训练优化：通过sgd回传梯度后，更新特征提取模块和时序信息融合模块的参数，得到训练好的特征提取模块；
36.s5，模型应用：利用训练好的特征提取模块，结合softmax分类器对舰船噪声进行分类，已完成识别。
37.其中，特征提取模块为一个cnn网络(卷积神经网络)，时序信息融合模块为由一层gru(长短时记忆层)构成的rnn网络(循环神经网络)。
38.其中，步骤s4包括如下步骤：
39.s41：构造第一sgd优化器，将步骤s3计算得到的loss通过梯度反向传播算法回传给时序信息融合模块；
40.s42：构造第二sgd优化器，将步骤s3计算得到的loss通过梯度反向传播算法回传给特征提取模块，并与第一sgd优化器回传的loss进行混合，从而对特征提取模块和时序信息融合模块的组合进行优化。
41.以下为一个更具体的例子：
42.参见图1，一种基于配对编码网络和对比学习的舰船噪声识别方法，包括如下步骤：
43.步骤s1，特征提取：
44.实施例中，为了学习到舰船辐射噪声背后的高维信息(如尾桨，发动机产生不同的噪声)，搭建了如图2所示的特征提取模块。
45.特征提取的具体方式如下：
46.s11：将水听器接收的采样频率为5000hz的长时间段船舰噪声信号划分为3.2768秒(16384点数)的信号样本，接着通过卷积神经网络(cnn)将其映射到特征空间。
47.将样本维度从1*16384调整为128*128，以方便二维卷积处理，并将数据集按64个一批次的数量读入到模型中；
48.s12：将128*128的样本通过8*8、步长为4的卷积核，映射到256个特征点的维度空间中，再通过非线性激活函数relu和大小为2的最大池化层；
49.其中，二维卷积公式如下：
[0050][0051]
式中，w
m，n
是卷积核，x
i m，j n
是样本特征的当前值，a
i，j
是映射后的值，wb是卷积层预设的偏置值；
[0052]
relu公式如下：
[0053]
f(x)＝max(0，x)
[0054]
式中，x是当前样本特征，f(x)是对x和0作比较后取取最大值得到的新样本特征。
[0055]
最大池化层用于将2*2的矩阵中的值取最大值，公式如下：
[0056][0057]
式中，ni是横坐标，cj是纵坐标，stride[0]
×
h m和stride[1]
×
w n表示将原样本拆分为不同区域后的每一块区域。通过在每一块区域的横向取最大值和纵向取最大值，求得整个区域的最大值，作为当前区域的表示和下一层的输入。
[0058]
s13：将s12得到的大小为256*15*15的特征矩阵再通过4*4、步长为2的卷积核和relu及最大池化层，得到256*3*3的特征张量。
[0059]
步骤s2，时序信息融合：
[0060]
考虑声数据的时序关联，本发明构建了图2所示的长短时记忆层(gru)来提取数据的前文信息，并将样本再次非线性映射；具体方式如下：
[0061]
s21：将s13得到的特征张量维度调整为9*256，针对每一段时间序列，初始化一个；
[0062]
s22：将s13得到的特征张量输入到256*256的gru层中，结合上一时刻提取的前文信息，输出9*256的特征张量，并将当前时刻的信息保存在gru层中，供下一次计算使用。相关公式如下：
[0063]rt
＝σ(w
ir
x
t
b
ir
w
hrh(t-1)
b
hr
)
[0064]zt
＝σ(w
iz
x
t
b
iz
w
hzh(t-1)
b
hz
)
[0065]nt
＝tanh(w
in
x
t
b
in
r
t
*(w
hnh(t-1)
b
hn
))
[0066]ht
＝(1-z
t
)*n
t
z
t
*h
(t-1)
[0067]
式中，w
ir
、w
hr
、w
iz
、w
hz
、w
in
、w
hn
、b
ir
、b
hr
、b
iz
、b
hz
、b
in
、b
hn
是gru的隐藏层的权值，x
t
是当前样本，r
t
是上一时刻信息的权重，z
t
是上一时刻信息可以传递的数据量总数，n
t
是当前时刻信息计算后的输出，h
(t-1)
是整个gru层的上一层的输出，h
t
是整个gru层的实际输出。
[0068]
步骤s3，计算损失函数：
[0069]
考虑如何直接从舰船辐射噪声进行目标识别，需要找到合适的映射方式，将原始样本映射到隐空间，使得正正样本之间距离近，正负样本之间距离短，在保证网络识别能力的同时，提升网络分离噪声的能力。如图3所示，本方法构建了交叉熵形式的损失函数，将识别和降噪两个部分统一进行优化，并通过两次非线性映射，迫使模型丢弃样本的原始声学无用信息和噪声，学习不同目标的高级特征区别。图3中，x1和x2代表输入的辐射噪声信号的此刻样本和下一时刻样本，y1和y2代表经过第一次非线性映射(即特征提取)得到的x1和x2的样本表示，z1和z2代表经过第二次非线性映射(即时序信息融合)得到的x1和x2的样本表示。
[0070]
具体方式如下：
[0071]
s31：初始化一个和s22输出的特征张量时序维度相同的对角矩阵(9*9)，将其变换得到注意当前时刻和前一时刻的时序矩阵，并复制64(批次样本数目)次；
[0072]
s32：将s13得到的特征张量和s22得到的特征张量进行批次内矩阵点乘；
[0073][0074]
式中，bmat1为s13得到的特征张量，bmat2为s22得到的特征张量，通过对应维度的矩阵进行点乘，得到out作为输出。
[0075]
s33：对s31的张量和时序矩阵计算批次内对数交叉熵损失函数：
[0076]
l
n，c
＝-w
n，c
[pcy
n，c
·
logσ(x
n，c
) (1-y
n，c
)
·
log(1-σ(x
n，c
))]
[0077]
式中，w
n，c
是权重矩阵，pc是对分类对错的惩罚因子，y
n，c
是时序矩阵中的对应标签，x
n，c
是张量中对应值，σ是激活函数(sigmoid)。
[0078]
步骤s4，模型训练优化：
[0079]
在s33中计算损失函数时，两个模块的梯度会因为取对数而分开，变成加性关系，故采用两个优化器，分别对两个模块进行优化。
[0080]
具体方式如下：
[0081]
s41：构建两个sgd优化器，用步骤s3得到的loss通过梯度反向传播算法更新时序融合模块和特征提取模块的参数。相关公式如下：
[0082]
x
t 1
＝x
t-η
tgt
[0083][0084]
式中，x
t
是参数当前值，x
t 1
是下一时刻的参数值，η
t
是学习率，本例中取值为0.0001，g
t
是根据loss计算得到的更新值；表示求x
t
对自变量的偏微分，e[.]表示对g
t
求期望均值。
[0085][0086]
式中，x0和x1分别是两个优化器传回的更新值，λ是权重，本例中取值为0.5，相加得到更新值
[0087]
步骤s5，模型验证及应用：
[0088]
在模型训练完成后，将其特征提取模块应用于实际任务中，还需要用分类模块进一步的处理。在测试模型效果时，采用k均值聚类算法来验证模型分类的效果；在实际的舰船辐射噪声识别时，采用分类器进行有监督训练，来微调模型参数，达到更好的识别效果。
[0089]
具体方式如下：
[0090]
s51：在模型测试过程中，对步骤s1得到的特征矩阵进行4均值聚类。随机选择了4个样本作为质心，迭代的将每个样本判断欧式距离后分给最近的质心，重新计算质心，直至质心不再改变。计算方式为：
[0091][0092]
式中，xi是第i个样本，x
iu
是第i个样本的第u个特征值，n是特征值的总数，得到欧
氏距离dist
ed
(xi，xj)后，再迭代计算质心。
[0093]
通过计算，每一类样本区分开的准确率是100％，验证了模型的分类识别效果；
[0094]
s52：将步骤(1)得到的特征矩阵展平为向量，然后通过2304*4的全连接层，再通过softmax输出分类结果。在实际应用中，先用少量已知标签的数据对分类器和特征提取模块进行有监督训练，微调参数，使模型更适合实际任务。softmax分类器的公式如下：
[0095][0096]
其中，exp(.)表示求取自然对数，fc表示标签为c的向量，c表示类型数量。softmax函数把输入向量映射成为0-1之间的实数，并且归一化保证和为1，使得多分类的概率之和也刚好为1。因此，softmax函数的输出是每个分类被取到的概率。
[0097]
总之，本发明针对目标辐射噪声在频谱图上存在的伪装问题，利用基于对比的无监督学习思想，在保证模型实时效果的前提下，搭建了卷积神经网络和长短时记忆网络并进行两次映射。此外，本发明使用时序矩阵和交叉熵函数，迫使模型丢弃样本的原始声学无用信息和噪声，并学习不同目标之间的高级特征区别，提高了识别目标时的准确性。本发明通过对比学习思想重构损失函数，在保证模型简单结构的同时，达到了实时识别准确率高的效果，还有效解决了舰船目标伪装自己的频谱图，干扰现有识别系统的问题。
[0098]
需要说明的是，以上所述仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。