基于Attention-BasedCNN的认知无线电频谱感知方法及系统与流程

基于attention
‑
based cnn的认知无线电频谱感知方法及系统
技术领域
1.本发明属于无线通信领域，具体涉及一种基于attention
‑
based cnn的认知无线电频谱感知方法及系统。


背景技术：

2.近年来，随着移动设备数量的激增以及现有频带分配制度的限制，频谱资源变得愈发稀缺。由此，提高频谱资源的利用率已经成为无线通信领域的研究热点。在1999年josephmitoal博士提出了认知无线电(cognitiveradio，cr)的概念，致力于提高频谱利用率等问题，其被认为是解决频谱资源紧缺问题的潜在方法。cr的核心思想是在不对主用户(pu)造成干扰或者限制的情况下，允许次用户(su)充分利用空闲频带。因此，su需要频繁的执行频谱感知，以检测pu是否存在，而频谱感知的准确性则是实现动态频谱接入的关键前提。
3.在过去的几十年中，已经提出了许多适用于不同场景的频谱感知方法。在这些现有的频谱感知方法中，协方差矩阵由于包含各种判别特征而被认为是最常用的检验统计。如果主用户的信号以及噪声的先验统计协方差矩阵均可用，则估计相关器(e
‑
c)检测检测器被认为是最佳的检测器。而在现实生活中存在主用户信号以及噪声的先验知识不确定性的问题，所以e
‑
c并不实用。
4.为了进一步提高检测器的性能，提出了仅需要噪声功率(知识)的半盲检方法，其典型的检测器是基于广义似然比测试(glrt)的信号子空间特征值(sse)检测器和最大特征值检测器(med)。但是在实际情况中仍然存在噪声功率(知识)不确定性的问题，噪声功率总是随着时间而发生变化。为克服该问题，提出了对于噪声功率没有要求的全盲检测方法。例如，算术平均几何(agm)检测、协方差绝对值(cav)检测和盲组合检测(bced)。但是这些方法计算较为复杂。
5.目前已经发表或公开的频谱感知的技术中主要存在三个问题：一是模型简单的方法，识别正确率不高；二是受主用户信号以及噪声的先验知识的影响；三是模型复杂的方法计算量过大，这样也会增加设备的负担。


技术实现要素：

6.本发明的目的在于提供一种基于attention
‑
basedcnn的认知无线电频谱感知方法及系统，该方法及系统有利于提高频谱感知的准确率，同时合理利用计算资源。
7.为实现上述目的，本发明采用的技术方案是：一种基于attention
‑
based cnn的认知无线电频谱感知方法，包括如下步骤：
8.s1、对信号数据进行预处理，包括能量归一化和信噪比间隔划分，然后划分为训练集、验证集和测试集；
9.s2、搭建注意力机制层；
10.s3、将搭建好的注意力机制层加入卷积神经网络中，得到attention
‑
based cnn模型；
11.s4、利用步骤s1预处理得到的数据，对attention
‑
based cnn模型进行训练，得到训练好的attention
‑
based cnn分类器；
12.s5、对于新接收的数据，对其进行数据预处理，然后送入训练好的attention
‑
based cnn分类器中进行分类，得到最终的分类结果，即为频谱感知的结果。
13.进一步地，步骤s1中，所述信号数据包括8种类型的调制信号，分别为：bpsk、8psk、qpsk、pam4、qam16、qam64、gfsk、cpfsk，噪声数据为cscg噪声；在接收到时域信号之后首先对信号进行能量归一化处理；信噪比从
‑
20～20，间隔为1；每个样本的采用点数为8，信号样本长度分别为64，128，256，512，1024；
14.然后将所有信号数据样本按3：1：1划分为训练集、验证集和测试集。
15.进一步地，步骤s2中，注意力机制层的计算过程包括以下步骤：
16.s201、计算输入信号和输入信号中各元素key的相似度得到对应的权重：
17.score
i
＝f(q,k
i
)
18.其中，score
i
表示权重，q表示查询向量，k
i
表示输入信号中的元素，f(,)为相似度计算函数；
19.s202、采用softmax函数对步骤s201得到的权重归一化：
[0020][0021]
其中，α
i
表示注意力分布，n表示输入信号个数；
[0022]
s203、将权重和加权后的输入信号中各元素的权值进行加权求和，得到注意力attention：
[0023][0024]
其中，k表示输入信号，v表示输入信号的值，v
i
表示第i个输入信号的值。
[0025]
进一步地，步骤s3中，所述attention
‑
based cnn模型采用两个卷积层、一个注意力机制层和一个全连接层；对于激活函数，在fc2采用softmax，其他层采用relu；在第一个卷积层和全连接层后面加入了dropout层，以防止模型的过拟合。
[0026]
进一步地，所述attention
‑
based cnn模型的网络参数为：优化器使用adam优化器，学习率设置为0.0003，batch size设置为100，dropout ratio设置为0.2，每一层卷积的filters为60，filters的大小为10。
[0027]
进一步地，步骤s4中，如果分类结果为空闲，则表示主用户不存在，次用户可以接入，如果分类结果为占用，则表示主用户存在，次用户不可以接入。
[0028]
本发明还提供了一种基于attention
‑
based cnn的认知无线电频谱感知系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0029]
与现有技术相比，本发明具有以下有益效果：提供了一种基于attention
‑
based cnn的认知无线电频谱感知方法及系统，将频谱感知视为一个二分类问题，在使用cnn对信号和噪声的特征进行学习的同时引入attention机制，对提取的特征根据其重要性来赋予
不同的权重值，在不需要用户信号以及噪声先验知识的同时，确保频谱感知的准确率，合理的利用计算资源。
附图说明
[0030]
图1是本发明实施例的方法实现流程图。
[0031]
图2是本发明实施例中注意力机制层的结构示意图。
[0032]
图3是本发明实施例中attention
‑
based cnn模型的结构示意图。
具体实施方式
[0033]
下面结合附图及实施例对本发明做进一步说明。
[0034]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0035]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0036]
如图1所示，本实施例提供了一种基于attention
‑
based cnn的认知无线电频谱感知方法，包括如下步骤：
[0037]
s1、对信号数据进行预处理，包括能量归一化和信噪比间隔划分，然后划分为训练集、验证集和测试集。
[0038]
在本实施例中，所述信号数据包括8种类型的调制信号，分别为：bpsk、8psk、qpsk、pam4、qam16、qam64、gfsk、cpfsk，噪声数据为cscg噪声；在接收到时域信号之后首先对信号进行能量归一化处理；信噪比(snr)从
‑
20～20，间隔为1；每个样本的采用点数为8，信号样本长度分别为64，128，256，512，1024；
[0039]
然后将所有信号数据样本按3：1：1划分为训练集、验证集和测试集。
[0040]
s2、搭建注意力机制层(attention layer)。
[0041]
注意力机制的本质思想是一个查询一系列key
‑
value对的相似性操作，可以将其看成是一种软寻址操作，即把输入的信息看成是存储器中的内容，输入信息由key(键盘)和value(值)组成，那么n个输入信息可表示为：
[0042]
(k,v)＝[(k1,v1),(k2,v2),...,(k
n
,v
n
)]
ꢀꢀꢀꢀꢀ
(1)
[0043]
当有个query需要查询时，我们通过计算query与存储器内元素key的相似度来决定从对应的元素value中取出多少内容。两者之间相似度越高就会取出越多的内容即分配更多的注意力资源，相似度越少则取出的内容越少甚至不取。注意力机制的结构如下图2所示。
[0044]
注意力机制层的计算过程包括以下步骤：
[0045]
s201、计算输入信号和输入信号中各元素key的相似度得到对应的权重：
[0046]
score
i
＝f(q,k
i
)
[0047]
其中，score
i
表示权重，q表示查询向量，k
i
表示输入信号中的元素，f(,)为相似度
计算函数；
[0048]
s202、采用softmax函数对步骤s201得到的权重归一化：
[0049][0050]
其中，α
i
表示注意力分布，n表示输入信号个数；
[0051]
s203、将权重和加权后的输入信号中各元素的权值进行加权求和，得到注意力attention：
[0052][0053]
其中，k表示输入信号，v表示输入信号的值，v
i
表示第i个输入信号的值。
[0054]
s3、将搭建好的注意力机制层加入卷积神经网络中，得到attention
‑
based cnn模型。
[0055]
在本实施例中，所述attention
‑
based cnn模型采用两个卷积层、一个注意力机制层和一个全连接层；对于激活函数，在fc2采用softmax，其他层采用relu；在第一个卷积层和全连接层后面加入了dropout层，以防止模型的过拟合。具体网络结构如图3所示。
[0056]
优化器使用adam优化器，学习率设置为0.0003，batch size设置为100，dropout ratio设置为0.2，每一层卷积的filters为60，filters的大小为10。具体网络参数如下表1所不。
[0057]
表1网络参数
[0058]
hyperparametervalueoptimizeradamlearning rate0.0003batch size100dropout ratio0.2filters per conv layer60filter size10
[0059]
s4、利用步骤s1预处理得到的数据，对attention
‑
based cnn模型进行训练，得到训练好的attention
‑
based cnn分类器。
[0060]
s5、对于新接收的数据，对其进行数据预处理，然后送入训练好的attention
‑
based cnn分类器中进行分类，得到最终的分类结果，即为频谱感知的结果。
[0061]
本方法首先将频谱感知视为一个二分类问题。将步骤s1得到的训练数据输入到步骤s3得到的需要训练的模型当中，并把训练好的模型保持下来。获取新的信号数据进行上述类似的数据预处理后，即可送入训练好的模型中进行分类，当分类结果为空闲，则表示主用户不存在，次用户可以接入，当分类结果为占用，则表示主用户存在，次用户不可以接入。
[0062]
下面对本发明构建的attention
‑
based cnn模型涉及的相关内容作进一步说明。
[0063]
1、卷积神经网络(cnn)
[0064]
卷积神经网络由输入层、卷积层、线性整流层、dropout层、全连接层和输出层组成，其中输入层用于数据输入。
[0065]
卷积层是卷积核在上一级输入层通过逐次滑动窗口计算而得。卷积层上的结果是通过将卷积核中的每一个参数与上一级输入层对应的局部像素值相乘求和得到的。卷积层局部连接和权值共享的两个特征，不仅使网络训练中的参数数量大幅度减少而且使网络的学习效率更高效，同时也在一定程度上降低过拟合的发生。卷积运算实现了对输入特征的提取，执行一层卷积运算得到的是输入的低级特征，执行多层卷积运算就可以从低级特征中迭代提取更高级的特征。
[0066]
由于卷积也是一种线性运算，因此需要对卷积层输出的结果做一个非线性映射。本实施例中，在fc2采用softmax激活函数，而其他层采用激励函数为relu(rectified linear unit)，其特点是收敛快，求梯度简单，但比较脆弱。
[0067]
在本实施例中，采用dropout层降低模型的过拟合程度。此外，采用全连接层将上一层输出展开变成一维数据，并连接到每一个神经元上。全连接层的作用是把有用信息保留下来，减少特征信息的损失。
[0068]
最后，输出层输出最后的结果。
[0069]
2、注意力机制(attention)
[0070]
本发明采用一种软寻址注意力机制：将source理解为存储器内由地址key和值value组成的存储内容，当前有个key
‑
value的查询，目的是得到attention数值，即存储器内地址key对应的value值。通过计算query和存储器内元素key的地址的相似性最终完成寻址。软寻址区别于只从存储器内容里找出一条内容的一般寻址，它从每个地址key都会取出对应的内容，然后通过计算query和key的相似性，决定取出内容所占的比重，之后对value进行加权求和，得到最终attentionvalue的值。
[0071]
本实施例中，如图2所示，attention机制主要通过以下三步来得到attentionvalue：
[0072]
1)首先query和key进行相似度计算得到权值；
[0073]
2)对权值进行归一化处理；
[0074]
3)用归一化的权值与value进行加权求和，得到注意力的值，其计算公式如下所示：
[0075][0076]
其中l
x
＝||source||，代表source的长度。
[0077]
3、attention
‑
based cnn
[0078]
本发明在卷积层之间引入了attention层。具体地，attention层是为每个输入信号元素创建上下元素向量。上下元素向量与信号元素向量拼接，作为信号元素新的表示，将其输入到卷积层。直观来看，一对彼此远离的信号元素往往联系较少。本发明采用attention机制的思想是在学习时将注意力放在重要的信号元素上，这使得模型的准确率以及工作效率都能大大提升。
[0079]
本实施例还提供了一种基于attention
‑
based cnn的认知无线电频谱感知系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0080]
本发明将频谱感知视为一个二分类问题，并提出了基于attentiond
‑
basedcnn的
频谱感知方法。该方法首先将信号样本输入卷积神经网络(cnn)，利用卷积神经网络(cnn)在提取特征方面具有强大功能的优势对输入的样本进行特征提取，并接入注意力机制，对提取的特征根据其重要性来赋予不同的权重值，使模型集中学习更重要的数据特征，进一步提高预测性能，同时不会加大模型的计算量和存储量。
[0081]
本发明是动态频谱接入的关键前提，而动态频谱接入是cr的基础。只有准确的感知到主用户的信号状态，次用户才能充分的利用空闲频谱，解决当下频谱资源紧缺的问题。本发明可以应用于小到手表、手机、电视，大到车联网、智能电网和卫星导航技术等各个领域。
[0082]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0083]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0084]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0085]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0086]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。