基于联合多模态信息与域对抗神经网络的调制识别方法

1.本发明属于通信领域，特别是涉及一种基于联合多模态信息与域对抗神经网络的调制识别方法。


背景技术：

2.信号调制识别（modulation recognition，mr）的目标是在仅包含有限或者完全没有先验知识的情况下，识别接收机接收到的调制信号，它位于信号检测模块和信号解调模块之间。用于自动调制识别(amr)的深度学习方法是通信领域的一个重要研究课题，在军用领域方面，它作为电子侦察系统需要完成的首要任务之一，为电子侦察后续工作流程中的信号解调和情报挖掘打下基础。在民用领域，调制识别主要用于链路自适应系统，其根据通信系统的要求和信道环境的变化自适应调整信号的调制方式使通信信号传输的可靠性及有效性达到最优。
3.传统的调制识别算法主要包括基于决策理论的最大似然假设检验方法和基于特征提取的模式识别方法，目前对于传统调制识别算法的相关研究已经十分深入透彻，但是，传统方法的瓶颈也越来越凸现出来，面临层出不穷的新体制、新调制信号以及复杂电磁环境的威胁，这些方法主要存在以下问题和挑战：（1）传统的信号体制、调制方式的识别方法难以适应不断发展的复杂信号体制。对于复杂体制信号识别问题，传统的方法多是针对某种或者是几种信号体制提出相应的特征，然而随着信号体制的不断发展，传统的信号体制识别的方法将会越来越复杂，而且难以提出具有通用性的方法、特征进行信号体制的识别；（2）传统的信号特征提取严重依赖于人工设置的门限。在对提取的信号特征进行分析时，采取的方法大都需要人工设定门限。当面对日趋复杂的信号体制时，稳定的信号特征越来越难以提取，因此，门限的设定也越来越困难。
4.近几年，由于深度学习技术迅速发展以及经典调制识别算法难以满足智能化处理能力的需求，研究者开始从深度学习技术中寻求实现调制识别的途径，在这个思路引导下，取得了一些成果，并且已经运用到一些新型电子信息系统。但深度学习模型需要大量的训练数据才能达到较高的精度。然而，在真实环境中很难收集到大量的标记训练数据，目前基于深度学习的智能调制识别算法需要大量的标注数据进行训练，而且并没有利用无标签数据进行训练。然而，在实际中收集大量有标签训练数据往往非常困难，以致于难以确保信号的识别精度。
5.由此，为提高未来智能信号处理过程中的有效性和适用性，提高对于信号的识别精度，研究小样本场景下的调制识别是必要的。


技术实现要素：

6.本发明的目的是提供一种基于联合多模态信息与域对抗神经网络的调制识别方法，以解决上述现有技术存在的问题。
7.为实现上述目的，本发明提供了一种基于联合多模态信息与域对抗神经网络的调制识别方法，包括：构建域对抗神经网络模型，所述域对抗神经网络模型包括输入层、模态特征提取器、域知识学习器和分类器；在所述输入层中输入信号的多模态特征；对所述模态特征提取器、所述域知识学习器和所述分类器进行epoch训练，当总损失达到最小时停止训练，对所述模态特征提取器、所述分类器的网络权重参数进行保存；对训练后的域对抗神经网络模型进行测试；基于测试后的域对抗神经网络模型进行信号的调制识别。
8.可选地，所述多模态特征包括时域特征、频域特征、源域数据和目标域数据，所述时域特征包括同相分量、正交分量、谱特征；所述频域特征包括频谱幅度、二次方谱、四次方谱；所述源域数据为有标签的调制数据，所述目标域数据为没有标签的调制数据。
9.可选地，在所述输入层中输入多模态特征的过程中，基于所述同相分量、所述正交分量获取同相正交分量，输入所述同相正交分量，获取归一化幅度相位分量；基于所述频谱幅度、所述二次方谱以及所述四次方谱获取谱特征，输入信号谱特征，获取瞬时相位；输入所述归一化幅度相位分量与所述瞬时相位，获取相位特征。
10.可选地，所述模态特征提取器包括第一模态特征特征器、第二模态特征提取器和第三模态特征提取器，所述域知识学习器包括第一域知识学习器、第二域知识学习器、第三域知识学习器；每个所述模态特征提取器包括4个卷积层，每层所述卷积层均包括池化层，每层所述卷积层后均使用batchnorm2d进行归一化处理，在前两层卷积层后引入通道注意力机制与空间注意力机制。
11.可选地，对所述模态特征提取器、所述域知识学习器和所述标签预测器进行epoch训练的过程包括：s1.将所述同相正交分量输入第一特征提取器，获取第一源域隐藏层特征、第一目标域隐藏层特征；s2.将所述谱特征输入第一特征提取器，获取第二源域隐藏层特征、第二目标域隐藏层特征；s3.将所述相位特征输入第一特征提取器，获取第三源域隐藏层特征、第三目标域隐藏层特征；s4.将第一源域隐藏层特征、第一目标域隐藏层特征输入第一域知识学习器进行域分类并计算，获取同相正交分量域分类损失；s5.将第二源域隐藏层特征、第二目标域隐藏层特征输入第二域知识学习器进行域分类并计算，获取归一化瞬时幅度相位特征分量域分类损失；s6.将第三源域隐藏层特征、第三目标域隐藏层特征输入第三域知识学习器进行域分类并计算，获取谱特征分量域分类损失；s7.对第一源域隐藏层特征、第二源域隐藏层特征、第三源域隐藏层特征进行串行拼接，获取源域隐藏层总特征，将所述源域隐藏层总特征输入分类器，获取源域标签分类损
失；s8.将所述源域标签分类损失、所述同相正交分量域分类损失、所述归一化瞬时幅度相位特征分量域分类损失、谱特征分量域分类损失相加，获取总损失函数，对所述总损失函数进行梯度下降和网络权重更新；s9.调整学习率，重复执行步骤s1-步骤s9。
12.可选地，所述总损失函数为：其中，分别是第一特征提取器、第二特征提取器、第三特征提取器、分类器的权重参数；分别是第一特征提取器、第二特征提取器、第三特征提取器、分类器；是源域类别标签；为交叉熵损失函数；是权重系数；分别为第一域知识学习器、第二域知识学习器、第三域知识学习器的权重参数；是第一域知识学习器、第二域知识学习器、第三域知识学习器；是域标签；都是交叉熵损失函数，表示源域调制信号样本个数，表示单个源域调制信号样本，表示目标域调制信号样本个数，表示单个目标域调制信号样本，表示和的组合，即和分别经过特征提取器后，输入到域知识学习器。
13.可选地，在前两层卷积层后引入通道注意力机制与空间注意力机制的过程中，首先引入所述通道注意力机制，其次引入所述空间注意力机制；基于所述通道注意力机制与所述空间注意力机制，将卷积层提取的特征图进行通道和空间两个维度的注意力图计算，获取加权特征图，再与输入特征图相乘。
14.可选地，基于训练后的网络模型进行测试的过程包括：将目标域数据的同相正交分量、谱特征以及相位特征分别输入第一特征提取器，第二特征提取器，第三特征提取器，获取第一隐藏层特征、第二隐藏层特征、第三隐藏层特征，将所述第一隐藏层特征、所述第二隐藏层特征、所述第三隐藏层特征进行串行拼接，将串行拼接后获得的特征输入分类器进行目标域域标签分类。
15.本发明的技术效果为：
本发明获得更好的分类性能。
16.本发明融合多模态和对抗训练的技术优势，利用无类标签的测试数据具备的“域”标签，在域对抗神经网络的基础上引入时、频域的多模态信息，利用多模态特征的互补增益加强小样本数据与无标签测试数据“域”特征的对齐程度，帮助训练有类标签的样本，弥补有类标签的样本不足的缺陷。在样本有限条件下，提高了对信号序列中不同序列片段对调试识别分类贡献大小的捕获能力，并且引入通道与空间注意力机制，增强了对数据关键部分的特征表示，有利于获取稳定的信号特征，提高信号的识别精度。
附图说明
17.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本发明实施例中的方法流程图；图2为本发明实施例中的域对抗神经网络模型结构图；图3为本发明实施例中的通道注意力模块计算操作图；图4为本发明实施例中的空间注意力模块计算操作图；图5为本发明实施例中的注意力机制模块结构图；图6为本发明实施例中的cbam注意力机制模块结构图。
具体实施方式
18.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
19.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
20.实施例一如图1-6所示，本实施例中提供一种基于联合多模态信息与域对抗神经网络的调制识别方法，包括：本发明探讨了一种联合多模态信息的基于域对抗神经网络的半监督调制识别方法，以获得更好的分类性能。该算法融合多模态和对抗训练的技术优势，利用无类标签的测试数据具备的“域”标签，在域对抗神经网络的基础上引入时、频域的多模态信息，利用多模态特征的互补增益加强小样本数据与无标签测试数据“域”特征的对齐程度，帮助训练有类标签的样本，弥补有类标签的样本不足的缺陷。此外，为在样本有限条件下，提高对信号序列中不同序列片段对调试识别分类贡献大小的捕获能力，本发明引入通道与空间注意力机制，增强对数据关键部分的特征表示。
21.调制问题定义假设通信信号传输过程包含发射机、信道和接收机三部分，原始信号传输过程为：经过调制的原始信号s（t）由发射机传送到通信信道h(t)中。最终经由h(t)传送到接收机，接收机接收到的信号可以被定义为：
其中，n(t)表示信道中常见的附加噪声，在本发明中考虑高斯白噪声（awgn）。
22.工作研究的目标是，在小样本情况下，根据接收到的信号x(t)来判断发射信号的调制类型，此时，可以将调制识别可视为一个k类的假设检验问题，一个k类的假设检验可以被定义为：其中，表示分类器，表示属于的调制类。此时，本发明的优化目标可被定义为：其中，是类别真实标签，分别是源域和目标域样本的数量，为交叉熵损失函数。
23.本发明将基于对抗训练的半监督域适应技术引入到小样本情况下的调制识别问题中，问题可被定义为：存在一个小样本调制信号数据集（称为源域源），其中表示源域调制信号样本个数，表示单个源域调制信号样本，是其对应的种类标签，表示源域调制信号种类个数；存在一个无标签待测试调制信号数据集（称为目标域），其中表示目标域调制信号样本个数，表示单个目标域调制信号样本，其没有种类标签，表示目标域调制信号种类个数，。源域调制数据集和目标域调制数据集的分布为p和q，在本发明中要求，的目标是将目标域知识迁移到源域来促使分布和尽可能地接近。
24.本发明源域数据的精确分类，实现源域标签分类损失的最小化；本发明将源域数据和目标域数据进行混淆，实现域分类损失最大化；优化目标可被定义为：其中，分别是特征提取器，源域分类器和域知识学习器的参数，分别是特征提取器，分类器和域知识学习器，分别是源域和目标域样本数目，分别是源域类别标签（只有源域的数据有类别标签）和域标签（源域和目标域数据都有域标签），是权重系数，分别表示域标签分类损失和域分类损失，这里二者设为交叉熵损失函数。
25.为了实现真正意义上的端到端训练添加了梯度反转层，其作用是当域知识学习器的分类损失的梯度反向传播经过鉴别器之后，对梯度取反，然后将其继续反向传播到特征提取器，其前向传播和反向传播的方程定义为：
其中，i是一个单位矩阵。
26.引入grl层后，dann的损失函数为：。
27.一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述半监督调制识别方法具体包括以下步骤，步骤1：建立域对抗神经网络模型，所述域对抗神经网络模型分为四个模块，输入层、模态特征提取器、域知识学习器和标签预测器；步骤2：基于步骤1的网络模型，在输入层输入时频域多模态特征；步骤3：对步骤1的网络模型的模态特征提取器、域知识学习器和标签预测器进行epoch训练，重复执行epoch训练，直至总损失达到最小时，训练停止，保存模态特征提取器、标签预测器网络权重参数用于目标域测试数据的调制方式识别；步骤4：基于步骤3训练后的网络模型，进行网络模型的测试，验证其正确性，通过测试完成的网络模型进行信号的调制识别。
28.一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述域对抗神经网络模型包含3个模态特征提取器，3个域知识学习器和1个分类器。
29.网络结构如图2所示，其中fe1，fe2，fe3分别表示模态特征提取器1，模态特征提取器2和模态特征提取器3，fe1，fe2，fe3的网络结构相同且源域和目标域的同相正交分量、谱特征、归一化瞬时幅度和瞬时相位堆叠形成的特征分别共享fe1，fe2，fe3的网络权重；d1，d2，d3分别表示域知识学习器1，域知识学习器2，域知识学习器3，d1，d2，d3的网络结构相同；cls是分类器，s1，s2，s3分别是3个模态特征提取器的隐藏层输出；网络结构及各层输入维度如表 1所示
一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述输入层具体为，信号的每个模态能表征数据对象的单独属性，在调制识别中不同模式之间能够产生补充增益，提升识别性能，本发明利用信号的时域与频域的多模态信息作为网络输入。
30.考虑到将原始同向正交向量数据转换为图像特征后数据量将呈现平方增长，提取高阶累积量、循环谱相关特征计算复杂度将大幅提升，这些都可能在一定程度上会影响识别的效率，因此本发明在充分利用信号的时域、频域多模态特征的基础上，尽可能的降低计算的复杂度和数据量。
31.多模态特征分为两类：信号的时域特征包括：原始同相正交分量、谱特征；信号的频域特征包括：频谱幅度、二次方谱、四次方谱；假设对进行正交采样处处理后得到的基带复信号为，则信号的时域特征与信号的频域特征计算被定义如下：信号的同相分量和正交分量分别为信号的实部和虚部：
其中，n为单个调制信号样本的长度；信号的频谱幅度的计算公式如下：信号的二次方谱的计算公式如下：信号的四次方谱的计算公式如下：将调制信号的同相分量和正交分量堆叠形成信号的同相正交分量输入，即 将调制信号的频谱幅度、二次方谱以及四次方谱堆叠形成信号谱特征输入，即归一化幅度相位分量计算公式如下：信号的瞬时相位为： 其中的取值范围为将调制信号的归一化瞬时幅度和瞬时相位堆叠形成信号的归一化瞬时幅度和瞬时相位输入，即：一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，3个结构一致的特征提取器用于提取三个模态信息的特征，所述模态特征提取器包括模态特征特征器1、模态特征提取器2和模态特征提取器3，所述模态特征特征器1的输入为同相正交分量，所述模态特征特征器2的输入为谱特征，所述模态特征特征器3的输入为信号的归一化瞬时幅度和瞬时相位堆叠特征；
模态特征提取器包含4个卷积层conv2d_1、conv2d_2、conv2d_3、conv2d_4和1个全连接层fc_1用于提取源域和目标域的特征；其中4个卷积层和1个全连接层均使用relu作为激活函数，且每一层卷积层后均使用batchnorm2d进行归一化处理，从而加速网络收敛速度，同时在conv2d_2，conv2d_3，conv2d_4这四个卷积层后加上池化层以减小数据的维度，从而简化网络复杂度、减小计算量，网络最后加入adaptiveavgpool2d层进行二元自适应均值汇聚，保证各个特征提取器提取到的特征在融合时能够保证尺寸一致，同时，在conv2d_1卷积层后引入通道与空间注意力机制，增强对数据关键部分的特征表示。
32.一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述空间注意力机制具体包括以下步骤：步骤1.1：通道注意力模块将输入图分别进行最大池化和平均池化；步骤1.2：将步骤1.1分别经过最大池化和平均池化的输入图再分别经过一个多层感知机得到两个输出特征，将这两个输出特征相加；步骤1.3：将步骤1.2相加的两个输出特征，在进行sigmoid激活函数得到权重系数和输入特征图；步骤1.4：将步骤1.3得到的各个特征通道的加权特征图和输入特征相乘得到各个特征通道的加权特征图。
33.通道注意力模块（channel attention module）将输入特征图分别进行最大池化和平均池化操作后，分别经过一个多层感知机得到两个输出特征并相加，再经过sigmoid激活函数得到权重系数和输入特征图相乘得到各个特征通道的加权特征图，计算操作如式（7）所示：通道注意力模块使用平均池化和最大池化两个池化操作来聚合特征映射的空间信息，其中，通过平均值池化操作获取全局每一个特征对权重系数的影响，通过最大池化操作获取对权重系数影响最大的特征。输入特征图在通过通道注意力模块处理后，得到加权特征图，可以实现对重要特征的抽取，在本发明考虑的电磁信息领域范畴，也即通过通道注意力机制获取电磁数据中的关键特征，以此增强特征表示。计算操作示意图如图3所示。
34.空间注意力模块（spatial attention module）将输入特征图分别进行最大池化和平均池化操作后，得到两个特征图并将其进行拼接操作，然后通过一个一维卷积操作进行空间降维，再经过sigmoid激活函数得到权重系数和输入特征图相乘得到输出加权特征图，计算操作如式（8）所示。
35.类似的，空间注意力模块在通道维度上使用平均池化和最大池化两个池化操作来聚合特征映射的空间信息，其中，通过平均值池化操作获取全局每一个通道对权重系数的影响，通过最大池化操作获取对权重系数影响最大的通道，输入特征图在通过通道注意力模块处理后，获取加权特征图，可以实现对重要通道的抽取，也即通过空间注意力机制获取电磁数据中关键特征的位置，以此增强特征表示。计算操作示意图如图4所示。
36.为充分利用通道注意力和空间注意力的优势，将二者结合增加在模型的卷积网络后，其结合先后顺序为先通道注意力再空间注意力。在前两个一维卷积层后使用组合注意力机制，通过使用两次组合注意力机制，将卷积层提取的特征图进行通道和空间两个维度的注意力图计算得到加权特征图，然后再与输入特征图相乘实现特征的自适应，以此增强数据关键特征的表示。此外，为不影响lstm提取时序特征依赖关系，在lstm网络层后不再使用注意力机制对特征图进行加权操作。本发明单个组合注意力机制模块结构如图5所示。
37.由图5可以发现在添加注意力机制模块后，输入特征图会先通过通道注意力模块得到一个通道加权后的特征图，而后再经过空间注意力模块得到一个空间加权后的特征图，具体计算表示为：其中是sigmoid函数，是输入的时序特征图，表示对应元素的点乘计算，表示做通道注意力计算，表示做空间注意力计算，与中做了最大值池化与均值池化计算操作，减少了加权操作过程中特征信息的丢失。
38.一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述标签预测器具体为，设计全连接层fc_2和fc_3，用于预测源域数据的标签，所述全连接层fc_2和fc_3均使用relu作为激活函数，3个模态特征提取器输出的隐藏层特征在输入标签预测器前进行串行融合拼接。
39.一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述域知识学习器为3个，且结构一致，域知识学习器用于鉴别经过特征提取器的隐藏层输出来自源域还是目标域，域知识学习器包含3层全连接层（fc_4、fc_5、fc_6），所有层均使用relu作为激活函数，每个域知识学习器前包含一个梯度反转层。
40.一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述步骤2的时频域多模态特征包括源域和目标域，所述源域为有标签调制数据，所述目标域为没有标签调制数据。
41.一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述epoch训练具体包括以下步骤：步骤3.1：将源域训练数据和目标域训练数据的同相正交分量通过特征提取器1，分别提取源域与目标域的256维的隐藏层特征，标记为s_feature_1和t_feature_1；步骤3.2：将源域训练数据和目标域训练数据的频谱幅度、二次方谱以及四次方谱堆叠形成信号的谱特征通过特征提取器1，分别提取源域与目标域的256维的隐藏层特征，标记为s_feature_2和t_feature_2；步骤3.3：将源域训练数据和目标域训练数据的归一化瞬时幅度和瞬时相位堆叠形成的特征通过特征提取器1，分别提取源域与目标域的256维的隐藏层特征，标记为s_feature_3和t_feature_3；步骤3.4：将s_feature_1和t_feature_1输入域知识学习器1进行域分类并计算同
相正交分量域分类损失；步骤3.5：将s_feature_2和t_feature_2输入域知识学习器2进行域分类并计算归一化瞬时幅度相位特征分量域分类损失；步骤3.6：将s_feature_3和t_feature_3输入域知识学习器3进行域分类并计算谱特征分量域分类损失；步骤3.7：对s_feature_1、s_feature_2、s_feature_3进行串行拼接，形成拼接融合后的768维的特征s_feature_cat，将融合后的特征输入分类器计算源域标签分类损失；步骤3.8：将源域标签分类损失和同相正交分量域分类损失，归一化瞬时幅度相位特征分量域分类损失，谱特征分量域分类损失相加后得到总损失进行梯度下降和网络权重更新；步骤3.9：每一个epoch训练完后调整学习率，再次重复执行步骤3.1-步骤3.9。
42.一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述损失函数具体为，模型训练由源域标签分类损失和域分类损失联合优化，因此总的损失函数被定义为：其中，分别是特征提取器1、特征提取器2、特征提取器3、分类器的权重参数；分别是特征提取器1、特征提取器2、特征提取器3、分类器；是源域类别标签；为交叉熵损失函数；是权重系数；分别为域知识学习器1、域知识学习器2、域知识学习器3的权重参数；是域知识学习器1、域知识学习器2、域知识学习器3；是域标签；都是交叉熵损失函数，表示源域调制信号样本个数，表示单个源域调制信号样本，表示目标域调制信号样本个数，表示单个目标域调制信号样本，表示和的组合，即和分别经过特征提取器后，输入到域知识学习器。
43.源域标签分类损失函数只针对源域数据，而域分类损失同时针对源域和目标域数据。
44.一种基于联合多模态信息与域对抗神经网络的半监督调制识别方法，所述步骤4
具体为，将目标域测试数据的同相正交分量、谱特征以及归一化瞬时幅度和瞬时相位堆叠形成的特征分别通过特征提取器1，特征提取器2，特征提取器3，提取3个256维隐藏层特征t_feature_1、t_feature_2、t_feature_3，将t_feature_1、t_feature_2、t_feature_3进行串行拼接，将融合后的768维特征输入分类器进目标域域标签分类。
45.本发明用以解决小样本场景下的调制识别方法仅使用信号的单模态信息，忽略了将多个变换域的多模态信息融合在一起所获得的互补处理增益及没有利用大量的无标签数据进行训练，忽略了无标签数据隐藏的域标签对模型算法泛化能力的提升的问题。
46.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。