基于熵加权-多模态域对抗神经网络的调制方式识别方法与流程

基于熵加权
‑
多模态域对抗神经网络的调制方式识别方法
技术领域
1.本发明涉及调制方式识别方法，特别涉及一种基于熵加权
‑
多模态域对抗神经网络的调制方式识别方法。


背景技术：

2.调制方式识别作为认知无线电需要完成的关键任务之一，位于信号检测和信号解调之间，它的目的是在有限或者没有先验信息的条件下，识别接收到的未知信号的调制方式，为后续信号解调打下基础。
3.传统调制方式识别方法主要使用基于最大似然和基于特征的方法，但这些方法主要存在难以适应不断发展的复杂信号调制方式和严重依赖于人工设置门限的问题。为应对这些问题和挑战，研究人员将深度学习引入调制方式识别方法中，赋予调制方式识别方法以机器智能，深度学习的优势在于无需人工设计、提取信号特征，深度神经网络可自动化进行信号特征提取及信号分类，其提取到的信号特征具有更强的鲁棒性和泛化能力，各式各样的深度学习技术包括卷积神经网络、递归神经网络和一些混合模型被应用于调制方式识别方法中，已被证明优于传统调制方式识别方法性能。
4.然而目前的智能调制方式识别方法主要存在两个问题，一是假设调制信号的训练和测试数据来自相同的数据分布，然而这种假设对于实际应用场景来说太过理想，调制信号数据分布随着时间、空间而变化，发射端信号的脉冲成型滤波器类型、滚降系数、码速率，信道的多径时延、增益，接收端的采样率不同等也都会使调制信号的分布不同，因此将预先训练好的模型直接用于测试数据识别性能会急剧下降；二是大量的无标签调制信号数据没有利用，接收机截获的信号都是无标注的，目前的智能调制识别算法大多都没有利用这些无标注数据，可以利用这些无标注的数据参与训练来提高其自身的识别准确率。解决以上两个问题有助于推进智能调制识别算法在实际电子侦察场景下的应用。
5.在图像处理和自然语言处理领域，域适应技术已被广泛用于训练数据和实际测试数据分布不一致的场景，其利用无标签目标域数据参与训练，充分挖掘源域和目标域的相关性，使得从源域数据获得的知识能有效转移至目标域，从而提升目标域识别性能。将域适应技术引入调制方式识别方法已有相关应用，但是这些方法大多数只基于单一的时域、频域或者时频域模态信息与域对抗方法结合来进行调制方式识别，忽略了多模态特征之间的互补增益，从而导致源域和目标域的特征对齐程度不高，影响调制方式识别性能；同时这些方法默认所有的源域、目标域样本都平等地进行域对抗，忽略了难以分类的样本对于域对抗的消极影响；同时现有调制信号数据集都是同分布的，且现有方法没有对源域调制数据集和神经网络模型的输入提出相应的选取原则。


技术实现要素：

6.本发明要解决的技术问题是，调制信号训练数据和测试数据来自不同数据分布导致预先训练的深度神经网络模型失配，系统性能急剧恶化。本发明在域对抗神经网络的基
础上引入时、频域的多模态信息，利用多模态的互补增益加强调制训练数据和测试数据的分布对齐程度，同时对所有样本施加熵权重以减小难以预测的样本在域对抗中的贡献度以提升调制方式识别性能，构建了异分布的调制信号数据集，并对源域调制数据集和神经网络模型的输入提出相应的选取原则。
7.本发明采用的技术方案为：一种基于熵加权
‑
多模态域对抗神经网络的调制方式识别方法，该方法包括以下步骤：
8.s1建立神经网络模型
9.s1.1建立模态特征提取器模块，模态特征提取器模块包含三个模态特征提取器，每个模态特征提取器包含五个卷积层，一个二元自适应均值汇聚层，一个全连接层，第一个卷积层的卷积核尺寸为m
×
n，m＝1或2，n∈[2,10]且n∈z，后四个卷积层的卷积核尺寸均为1
×
q，q∈[2,10]且q∈z，输入特征维度为2
×
n维，输出特征维度为128维，随机初始化三个模态特征提取器的网络权重参数θ
f1
,θ
f2
,θ
f3
；
[0010]
s1.2建立域鉴别器模块，域鉴别器模块包含三个域鉴别器，每个域鉴别器包含一个梯度反转层，三个全连接层和一个sigmoid层，输入维度为128维，输出维度为1维；第一域鉴别器连接在第一模态特征提取器后，第二域鉴别器连接在第二模态特征提取器后，第三域鉴别器连接在第三模态特征提取器后，随机初始化三个域鉴别器的网络权重参数θ
d1
,θ
d2
,θ
d3
；
[0011]
s1.3建立标签预测器，标签预测器包含两个全连接层和一个softmax层，输入特征维度为384维(对s1.2中三个域鉴别器的三个128维输出进行特征融合得到)，输出维度为p维，p为源域调制数据的种类，随机初始化标签预测器的网络权重参数θ
y
；
[0012]
s2提取同向正交分量、谱特征分量、归一化瞬时幅度相位特征分量
[0013]
s2.1：从有标签源域调制信号训练数据集与无标签目标域调制信号训练数据集的复基带信号样本中提取同向正交分量f
iq,j
，n＝1,2...,n，n为每个复基带信号样本的长度；源域样本数为n
s
，目标域样本数为n
t
，j＝1,2，...,n
s
n
t
，有标签源域调制信号训练数据的类别标签为y
i
,i＝1,2,...,n
s
，有标签源域调制信号训练数据和无标签目标域调制信号训练数据的域标签为d
j
；
[0014]
同向正交分量f
iq,j
由同向分量i
j
(n)和正交分量q
j
(n)组成，同向分量i
j
(n)为的实部，正交分量q
j
(n)为的虚部，则有：
[0015]
f
iq,j
＝[i
j
(n)；q
j
(n)]；
[0016]
s2.2从有标签源域调制信号训练数据集与无标签目标域调制信号训练数据集的复基带信号样本中提取谱特征分量f
spc,j
：
[0017]
谱特征分量f
spc,j
由频谱幅度x
j
(k)和平方谱幅度x
j,2
(k)组成，频谱幅度平方谱幅度为则有：
[0018]
f
spc,j
＝[x
j
(n)；x
j,2
(n)]；
[0019]
s2.3从有标签源域调制信号训练数据集与无标签目标域调制信号训练数据集的复基带信号样本中提取归一化瞬时幅度相位特征分量f
ap,j
：
[0020]
归一化瞬时幅度相位特征分量f
ap,j
由归一化瞬时幅度amp
j
(n)和瞬时相位phase
j
(n)组成，归一化瞬时幅度瞬时相位为则有：
[0021]
f
ap,j
＝[amp
j
(n)；phase
j
(n)]；
[0022]
s3模态特征提取
[0023]
s3.1从s2.1中提取的同向正交分量f
iq,j
中提取模态特征g
f1
(f
iq,j
)，其中g
f1
表示第一模态特征提取器；
[0024]
s3.2从s2.2中提取的谱特征分量f
spc,j
中提取模态特征g
f2
(f
spc,j
)，其中g
f2
表示第二模态特征提取器；
[0025]
s3.3从s2.3中提取的归一化瞬时幅度相位特征分量f
ap,j
中提取模态特征g
f3
(f
ap,j
)，其中g
f3
表示第三模态特征提取器；
[0026]
s4计算域对抗损失
[0027]
s4.1将第一模态特征提取器提取的模态特征g
f1
(f
iq,j
)输入第一域鉴别器，用第一域鉴别器的输出g
d1
(g
f1
(f
iq,j
)与域标签d
j
进行比对，计算出同相正交分量域对抗损失λ1为同相正交分量域对抗损失的权重参数，l(，
·
)是二元交叉熵损失函数，d
j
为源域和目标域调制信号样本的域标签，g
d1
表示第一域鉴别器；
[0028]
s4.2将第二模态特征提取器提取的模态特征g
f2
(f
spc,j
)输入第二域鉴别器，用第二域鉴别器的输出与域标签d
j
进行比对，计算出谱特征分量域对抗损失λ2为谱特征分量域对抗损失的权重参数，表示第二域鉴别器；
[0029]
s4.3将第三模态特征提取器提取的模态特征g
f3
(f
ap,j
)输入第三域鉴别器，用第三域鉴别器的输出与域标签d
j
进行比对，计算出归一化瞬时幅度相位特征分量域对抗损失λ3为归一化瞬时幅度相位特征分量域对抗的权重参数，表示第三域鉴别器；
[0030]
s5特征融合
[0031]
对g
f1
(f
iq,j
)，g
f2
(f
spc,j
)，g
f3
(f
ap,j
)进行concat串行拼接(例如维数为x和y的特征a与b，其输出特征c的维数为x y)，形成拼接融合后的特征f
j
：f
j
＝[g
f1
(f
iq,j
),g
f2
(f
spc,j
),g
f3
(f
ap,j
)]，输出维度为384维；
[0032]
s6计算源域标签预测损失
[0033]
用s5拼接融合后的特征f
j
输入标签预测器，得到输出g
y
(f
j
)，使用g
y
(f
j
)中的g
y
(f
i
)与源域类别标签y
i
进行比对，计算源域调制数据的标签预测损失g
y
是标签预测器；
[0034]
s7对域对抗损失施加熵权重
[0035]
s7.1用s6得到的g
y
(f
j
)直接计算源域和目标域调制数据每个样本的熵权重w(x
j
)：
[0036][0037]
x
j
表示源域和目标域的所有样本，g
y
(f
j
)
p
是每个样本被标签预测器分成p类的softmax输出，p＝1,2,...,p；
[0038]
s7.2用熵权重w(x
j
)对同相正交分量域对抗损失进行加权处理，得到熵加权后的同相正交分量域对抗损失
[0039]
s7.3用熵权重w(x
j
)对谱特征分量域对抗损失进行加权处理，得到熵加权后的同相正交分量域对抗损失
[0040]
s7.4用熵权重w(x
j
)对归一化瞬时幅度相位特征分量域对抗损失进行加权处理，得到熵加权后的归一化瞬时幅度相位特征分量域对抗损失
[0041]
s8梯度下降和网络权重更新
[0042]
s 8.1最终优化目标损失函数l为：
[0043][0044]
其中权重参数λ1,λ2,λ3∈(0,1]；
[0045]
s8.2利用adam算法(kingma d p,ba j.adam:a method for stochastic optimization[j].arxiv preprint arxiv:1412.6980,2014.)进行模态特征提取器，域鉴别器和标签预测器的梯度下降，并更新三个模态特征提取器、三个域鉴别器、标签预测器的网络权重参数θ
f1
,θ
f2
,θ
f3
,θ
d1
,θ
d2
,θ
d3
,θ
y
，初始的学习率为2e
‑
3，每一个epoch结束之后使用带重启的余弦退火算法(loshchilov i,hutter f.sgdr:stochastic gradient descent with warm restarts[j].arxiv preprint arxiv:1608.03983,2016.)进行学习率的更新，重启周期设置为2；当最终优化目标损失函数l不再减少时，保存三个模态特征提取器、标签预测器的最优网络权重参数θ
f1_op
,θ
f2_op
,θ
f3_op
,θ
y_op
(这四个参数是θ
f1
,θ
f2
,θ
f3
,θ
y
在训练过程中不断更新优化后得到的最优值)用于目标域测试数据的调制方式识别；
[0046]
s9识别目标域的调制方式
[0047]
网络训练完毕后，下次使用该网络模型时，执行以下操作(此时仅需要对目标域调制方式进行预测识别，无需进行域对抗操作，因此无需重新建立域鉴别器模块)：
[0048]
s9.1建立神经网络模型
[0049]
建立特征提取器模块，一共有三个模态特征提取模块，每个模态特征提取模块包含五个卷积层，一个二元自适应均值汇聚层，一个全连接层，第一个卷积层的卷积核尺寸为m
×
n，m＝1或2，n∈[2,10]且n∈z，具体数值与s1相同，后四个卷积层的卷积核尺寸均为1
×
q，q∈[2,10]且q∈z，具体数值与s1相同；输入特征维度为2
×
n维，输出特征维度为128维，三个特征提取器分别加载s8.2保存的三个特征提取器模块的网络权重θ
f1_op
,θ
f2_op
,θ
f3_op
；
[0050]
建立标签预测器模块，标签预测器模块包含两个全连接层和一个softmax层，输入特征维度为384维，输出维度为p维，p为源域调制数据的种类，标签预测器加载s8.2保存的标签预测器模块的网络权重θ
y_op
；
[0051]
s9.2从无标签目标域调制信号测试数据集的复基带信号中提取同向正交分量f
iq,l
，谱特征分量f
spc,l
，归一化瞬时幅度相位特征分量f
ap,l
,l＝1,2，...,n
t
‑
test
；具体过程参考s2；
[0052]
s9.3从输入的同向正交分量f
iq,l
，谱特征分量f
spc,l
，归一化瞬时幅度相位特征分量f
ap,l
中提取模态特征g
f1
(f
iq,l
)，g
f2
(f
spc,l
)，g
f3
(f
ap,l
)；具体过程参考s3；
[0053]
s9.4对g
f1
(f
iq,l
)，g
f2
(f
spc,l
)，g
f3
(f
ap,l
)进行拼接，形成拼接融合后的特征f
l
：f
l
＝[g
f1
(f
iq,l
),g
f2
(f
spc,l
),g
f3
(f
ap,l
)]，输出维度为384维；具体过程参考s6；
[0054]
s9.5用拼接融合后的特征f
l
的特征输入标签预测器，得到目标域的调制方式识别结果。
[0055]
本发明的有益效果是：在域对抗神经网络的基础上引入时、频域的多模态信息，利用多模态的互补增益加强调制训练数据和测试数据的分布对齐程度，同时对所有样本施加熵权重以减小难以预测的样本在域对抗中的贡献度以提升调制方式识别性能，构建了异分布的调制信号数据集，并对源域调制数据集和神经网络模型的输入提出相应的选取原则，本发明提出的调制方式识别方法相较于传统的智能调制识别方法具有更强的泛化能力，同时构建的异分布调制信号数据集和源域调制数据集和神经网络模型的输入具有更强的实用性。
附图说明
[0056]
图1是本发明方法的总流程(s1
‑
s9)；
[0057]
图2是本发明方法的训练中的正向传播流程(s2
‑
s7)；
[0058]
图3是本发明方法的测试流程(s9)；
[0059]
图4数据集制作流程图；
[0060]
图5复杂信道模型；
[0061]
图6是本发明方法和其他算法的性能对比。
具体实施方式
[0062]
下面结合附图和具体实施方式对本发明作进一步说明。
[0063]
图1是本发明方法的总流程，本发明提出一种基于熵加权—多模态域对抗神经网络的调制方式识别方法，分为以下步骤：
[0064]
s1，建立神经网络模型；
[0065]
s2，提取同向正交分量、谱特征分量、归一化瞬时幅度相位特征分量；
[0066]
s3，模态特征提取；
[0067]
s4，计算域对抗损失；
[0068]
s5，特征融合；
[0069]
s6，计算源域标签预测损失；
[0070]
s7，对域对抗损失施加熵权重；
[0071]
s8，梯度下降和网络权重更新；
[0072]
s9，识别目标域的调制方式。
[0073]
图2是本发明方法的训练中的正向传播流程(s2
‑
s8)，即沿着从输入层到输出层的顺序,依次计算并存储深度神经网络模型的中间变量。
[0074]
图3是本发明方法的测试流程(s9)，即模型训练完毕后，加载保存好的深度神经网络模型权重参数并用于新样本的预测分类。
[0075]
目前调制信号数据集的训练和测试数据都是来自同一分布的，尚未有不同分布的调制数据集，本发明进一步构建了信噪比、sps和信道参数组合成不同的12个数据集分别作为源域和目标域来进行源域和目标域分布不同时的调制方式识别。数据集制作流程如图4所示。制作流程依次分别为数据源，调制，通过信道，归一化，存储5个部分：
[0076]
1)数据源
[0077]
数字调制的数据源为随机比特生成器。
[0078]
2)调制
[0079]
随机比特序列依照相应的调制方式进行基带星座映射，再进行上采样和脉冲成型，脉冲成型滤波器使用根升余弦滤波器，脉冲成型滤波器的滚降系数为0.35。调制类型包含9种常见的数字调制信号，类别为8psk，bpsk，2fsk，4fsk，2ask，gfsk，pam4，qam16，qpsk，样本尺寸为2*128，其中2代表iq两路信号，128代表样本长度。
[0080]
3)通过信道
[0081]
数据集采用两种信道，一种是复杂的莱斯信道，一种是简单的高斯白噪声信道。复杂信道模型如图5所示，包括采样率偏移、中心频率偏移、莱斯多径衰落、高斯白噪声，下面具体阐述信号通过复杂信道模型的流程：
[0082]
step1：首先设置一个时钟偏移因子c，δ
clock
是时钟偏移，其中每一帧信号的δ
clock
都是随机取值于[
‑
maxδ
clock
,maxδ
cloack
]中；
[0083]
step2：对经过星座映射后的信号施加采样率偏移，采样率偏移通过对信号帧进行c
×
f
s
的重采样实现，其中f
s
为原始采样率；
[0084]
step3：对施加采样率偏移后的信号施加中心频率偏移，中心频率偏移通过对复信号进行频谱搬移实现，搬移距离为
‑
(c
‑
1)*f
c
，其中f
c
为中心频率；
[0085]
step4：让施加中心频率偏移后的信号通过莱斯信道；
[0086]
step5：对通过莱斯信道的信号添加高斯白噪声。
[0087]
复杂信道相关设置如表1所示。信号通过高斯白噪声信道只需执行step5。
[0088]
表1复杂信道相关参数设置
[0089]
参数数值采样率200e3中心频率70e6δ
clock
5衰落模型莱斯信道莱斯k系数4多径延迟[0 1.8 3.4]平均路径增益[0
‑2‑
10]
[0090]
4)归一化
[0091]
对通过信道后的复信号进行功率归一化使得数据更加规范。设通过信道的信号为最终得到的复信号为则功率归一化的计算公式为：
[0092]
5)存储
[0093]
数据样本被存为hdf5格式，包含/oridata，/modtype，/snr3个groups。/oridata存储原始数据样本，其大小为n
×2×
spf，其中n为样本数量，spf为每个样本的长度，数据类型为double；/modtype存储样本的标签独热码，其大小为n
×
nummodulationtypes，其中n为样本数量，nummodulationtypes为调制类型的数量，数据类型为int8；/snr存储样本的信噪比，其大小为n
×
1，其中n为样本数量，数据类型为int8。
[0094]
共设计了12个数据集，这12个数据集主要的差异体现在信噪比，信道模型和sps(采样率相同时，该参数可控制调制信号的码速率)的其中一个参数或者多个参数组合上，通过使用不同的参数组合设置以形成12个不同的域。其中每个数据集中每种调制方式在每种信噪比下包含1200个训练样本，400个测试样本。将这12个数据集分别命名为d
i
,i＝1,2,...12，其中每个数据集对应的参数设置如表2所示，除了表格中的提到的参数，其他的参数和设置保持完全一致，不同的数据集因为参数的不同形成不同的域。
[0095]
表2各个数据集的参数设置
[0096]
数据集名称信噪比信道模型spsd1[20,30]db，步进为2高斯白噪声信道8d2[20,30]db，步进为2高斯白噪声信道4d3[20,30]db，步进为2高斯白噪声信道16d4[20,30]db，步进为2复杂信道8d5[20,30]db，步进为2复杂信道4d6[20,30]db，步进为2复杂信道16d7[
‑
4,6]db，步进为2高斯白噪声信道8d8[
‑
4,6]db，步进为2高斯白噪声信道4d9[
‑
4,6]db，步进为2高斯白噪声信道16d
10
[
‑
4,6]db，步进为2复杂信道8d
11
[
‑
4,6]db，步进为2复杂信道4
d
12
[
‑
4,6]db，步进为2复杂信道16
[0097]
本发明使用前面构建的异分布数据集进行调制方式识别，设计12
×
11＝132个域适应任务并在其上评估识别性能，即：
[0098]
其中
→
的左侧表示有标签的源域数据集，
→
的右侧表示无标签的目标域数据集。得到使用低信噪比、复杂信道和sps＝8的调制数据集作为源域，调制方式识别性能最佳；使用同向正交分量、谱特征分量、归一化瞬时幅度相位特征分量时频域组合作为输入，调制方式识别性能最佳。
[0099]
本发明的效果可以通过以下仿真实验进一步说明：
[0100]
1.仿真条件
[0101]
本发明的仿真实验条件是：软件：python 3.8.0，pytorch 1.6.0，cuda10.2.89，系统为windows server 2012r2 standard版本，硬件：cpu为双路intel(r)xeon(r)gold 6230r，显卡为nvidia tesla v100，内存为128gb。
[0102]
2.仿真内容
[0103]
为了验证本发明的有效性，构建了信噪比、sps(sample per symbol)和信道参数组合不同的12个数据集分别作为源域和目标域来进行源域和目标域分布不同时的调制方式识别。这12个数据集命名为d
i
,i＝1,2,...,12。每个数据集的调制类别包括8psk，bpsk，2fsk，4fsk，2ask，gfsk，pam4，qam16，qpsk，每个调制信号的样本尺寸为2*128，其中2代表iq两路信号，128代表样本长度，每个数据集中每种调制方式在每种信噪比下包含1200个训练样本，400个测试样本。基于这12个数据集，对于本发明提出的方法和其他对比方法，将设计12
×
11＝132个域适应任务评估识别性能，即：
[0104]
→
的左侧表示有标签的源域数据集，
→
的右侧表示无标签的目标域数据集。
[0105]
3.仿真结果分析
[0106]
表3不同的source
‑
only算法、3种不同的da算法和本发明方法在不同的数据集上的识别效果
[0107]
仿真方法均值(％)同向正交分量 source
‑
only25.69同向正交分量 da34.32归一化瞬时幅度相位特征分量 source
‑
only31.83归一化瞬时幅度相位特征分量 da41.24谱特征分量 source
‑
only34.70谱特征分量 da50.95同向正交分量 归一化瞬时幅度相位特征分量 谱特征分量 source
‑
only35.17本发明方法53.87
[0108]
source
‑
only算法：source
‑
only算法的网络结构由特征提取器和标签预测器组成，使用1种或多种特征融合输入对源域调制数据训练集进行充分训练后，在不同分布的目标域调制数据测试集上直接进行测试，其优化目标为源域标签预测损失。
[0109]
da算法：da算法的网络结构由特征提取器、标签预测器、域鉴别器组成，使用1种特征输入对源域和目标域进行域对抗和源域标签预测训练，其优化目标为源域标签预测损失和域分类损失之和。
[0110]
表中的平均值表示不同的算法在不同数据集下不同任务(每个数值包含12
×
11＝132组任务)下的平均识别效果，使用该数值表征算法的识别性能。
[0111]
表4 3种不同的da算法和本发明方法在不同的数据集上的识别效果
[0112][0113]
综上所述，本发明提出了一种适用于二维调制信号数据的多模态域对抗神经网络模型，在域对抗神经网络的基础上引入时、频域的多模态信息，利用多模态的互补增益加强调制训练数据和测试数据的分布对齐程度以提升深度神经网络模型识别性能，提出的算法相较于source
‑
only算法的平均识别准确率最高提升28.18％，相较于da算法的平均识别准确率最高提升19.55％。构建了异分布的调制信号数据集，同时对源域调制数据集和神经网络模型的输入提出相应的选取原则：使用低信噪比、复杂信道和sps＝8的调制数据集作为源域，调制方式识别性能最佳；使用同向正交分量、谱特征分量、归一化瞬时幅度相位特征分量时频域组合作为输入，调制方式识别性能最佳。