一种基于双层级联DQN的多维自适应抗干扰决策方法

本发明属于无线通信，特别是涉及一种基于双层级联dqn的多维自适应抗干扰决策方法。

背景技术：

1、随着电磁对抗强度的不断升级，多维资源的协同优化为进一步提升抗干扰性能提供了新的技术路径。然而，如何有效协调多维资源、实现联合优化，仍是一个极具挑战性的问题。现有研究已在空域-时域-频域联合优化、频域-功率域联合抗干扰等方面取得进展。上述方法在涉及时域资源时，大多采用要么全时段通信、要么保持整体静默状态的二元决策模式，但是在实际通信场景中，干扰往往在单个通信时隙内呈现出显著的时变性和突发性，这种粗粒度的资源配置难以适应干扰的动态变化特性，固定采用高阶扩频因子和高功率虽可靠但会浪费资源，而低阶扩频因子虽然具有高传输速率但易中断。将时隙细分为子时隙可更灵活应对干扰变化，但过度细分会因切换开销降低吞吐量，最优划分数需根据干扰特性自适应调整。但子时隙划分与参数优化存在强耦合关系，联合优化导致动作空间指数增长，影响算法收敛。

2、因此，需要研究一种多维动态抗干扰策略，策略能够根据干扰强度将通信时隙动态调整为多个子时隙，并为每个子时隙决策出扩频因子和通信功率，实现对干扰变化的精细化感知与响应，在保证抗干扰效果的同时，显著提高通信吞吐量

技术实现思路

1、本发明目的在于解决传统无线通信系统的固定时隙抗干扰方案的资源浪费和抗干扰参数动态调整慢的问题的问题，提出一种基于双层级联dqn的多维自适应抗干扰决策方法，使得通信双方在固定信道通信时，能够根据干扰环境变化动态调整子时隙划分数以及子时隙的扩频因子和传输功率，以抵抗不同强度干扰，同时最大化系统有效吞吐量。

2、为了实现本发明目的，本发明提供一种基于双层级联dqn的多维自适应抗干扰决策方法。

3、步骤1：根据干扰检测历史得到用户的划分子时隙数。

4、每一个传输时隙分为通信时间，频谱感知时间，决策时间和ack传输时间，将时隙划分为多个小时隙时带来时隙划分开销；在第一个通信时隙内，用户选择第一个时隙的划分子时隙数。

5、步骤2：根据扩频因子得到子时隙的信息传输速率。

6、用户选择子时隙的扩频因子和传输功率，第一个时隙内子时隙i选择的扩频因子为，传输功率为，得到第一个时隙内子时隙i的信息传输速率为；当码片速率固定时，第k时隙内子时隙i的信息传输速率与码片速率之间的关系为：

7、 （1）；

8、其中，k为时隙序号，不超过总时隙数k；为第k时隙内子时隙i的扩频因子。

9、步骤3：根据接收端信噪比得到系统吞吐量和优化目标。

10、在当前通信场景下，通信用户的信道固定，带宽不变，码片速率不变，通过调节m种扩频因子和y种传输功率来应对不同干扰；用接收机的输入信噪比来判定受干扰程度，接收机的输入信噪比表示如下：

11、（2）；

12、其中，是第k时隙内子时隙i的传输功率，为接收机处的噪声功率谱密度，为信道带宽，为第k时隙内子时隙i的干扰功率，假设信道经历的是瑞利衰落，则通信用户的信道模型表示为，其中，为通信用户之间的传输链路距离，为对应链路的路径损耗系数，为瞬时随机分量；干扰机的信道模型表示为，其中，为干扰机到通信用户的传输链路距离，为对应链路的路径损耗系数，为瞬时随机分量；

13、为了保证接收机的正常工作，在不考虑天线损耗的前提下，接收机输入端的信干噪比要大于自身门限值：

14、（3）；

15、对固定信道通信而言，干扰效果等效时变干扰模型，在一个干扰时隙内，干扰强度不变，不同时隙干扰强度会发生改变；

16、如果干扰引起的输入信噪比低于，通信质量就很难得到保证。定义第k时隙中的第i个子时隙选择策略的传输成功指示函数：

17、（4）；

18、其中，为时隙k的子时隙i选择的扩频因子和功率；

19、第k个时隙中划分的子时隙数量为，考虑到不同子时隙之间会引入划分开销，那么用户的实际有效传输时长为：

20、（5）；

21、则k时隙中每个子时隙的有效通信时间为：

22、（6）；

23、则第k时隙的系统吞吐量定义为：

24、（7）；

25、从智能体学习的角度，记所有可行的策略集合为，则优化目标就是寻找最优子时隙划分数、扩频因子和传输功率的选择策略使累积的期望吞吐量最大：

26、（8）。

27、步骤4：根据抗干扰决策过程得到层次化马尔可夫决策过程模型；确定决策过程中的状态空间、动作空间、状态转移概率矩阵和奖励；在频谱感知时间内，用户通过频谱感知，获得第一时隙的信道质量，得到干扰强度；

28、将抗干扰决策过程建模为层次化马尔可夫决策过程hmdp，通过求解hmdp获得最优抗干扰策略；上层mdp负责子时隙划分决策，根据干扰的历史变化情况确定最优的子时隙划分策略；下层mdp负责子时隙级的参数优化，为每个子时隙决定扩频因子和功率的最佳组合，实现精细化资源分配；hmdp的双层四元组具体定义如下：

29、定义上层状态空间：，表示第个时隙用户所处的上层状态，表示k时刻的干扰强度检测序列，l为干扰强度检测序列的历史窗口长度；

30、定义上层动作空间：，为k时隙选择划分的子时隙数量，为最大可划分的时隙数；

31、定义上层状态转移概率矩阵：，其中表示在状态下选择动作后转移到状态的概率；

32、定义上层奖励：表示第k时隙在状态下选择动作得到的奖励：

33、（9）；

34、其中，为第k时隙的总划分开销，即；为当前k时隙的平均抗干扰成功率，定义如下：

35、（10）；

36、定义下层状态空间：，表示时隙k的子时隙i所处的下层状态，表示当前子时隙的归一化索引，定义如下：

37、（11）；

38、定义下层动作空间：，为k时隙的子时隙i选择优化参数即扩频因子和传输功率；

39、定义下层状态转移概率矩阵：，其中表示在状态下选择动作后转移到状态的概率；

40、定义下层奖励：表示k时隙的i子时隙在状态下选择动作得到的奖励：

41、（12）；

42、其中，为最大信息传输速率，为子时隙i的信息传输速率；为当前子时隙采取策略后的抗干扰指示函数，所选策略抗干扰成功，得到正向的奖励因子，所选策略抗干扰失败时，得到负向的惩罚因子，定义为：

43、（13）。

44、步骤5：根据经验样本和损失函数得到更新后的下层网络参数。

45、步骤5.1：根据抽取到的经验样本得到下层网络的损失函数；

46、智能体根据频谱感知的结果，得到第一个时隙中第一个子时隙选择扩频因子和传输功率的奖励，并获取新状态，将经验样本存储在经验回放池中；当经验回放池饱和时，采用先进先出机制删除最早的经验，确保经验的时效性；

47、从经验回放池中随机抽取个经验样本，计算参数优化网络的损失函数，采用均方误差作为损失函数，表示如下：

48、（14）；

49、其中，为下层主网络参数，为下层dqn目标q值，为实际网络的q值；其中，目标q值表示如下：

50、（15）；

51、步骤5.2：根据反向传播最小化损失函数得到更新后的下层主网络参数；计算得到梯度，表示如下：

52、（16）；

53、其中，为下层dqn中经验样本的批次大小，为下层dqn中样本的权重系数，为样本的目标q值与预测q值的差，而后通过反向传播最小化损失函数来更新主网络参数；

54、步骤5.3：根据软更新机制得到下层目标网络参数；为了稳定训练，目标网络通过软更新缓慢跟随主网络，目标网络参数每隔步数x进行一次更新：

55、（17）；

56、其中，为下层dqn的目标网络参数，为下层软更新学习率，为下层软更新系数；

57、步骤5.4：根据频谱感知结果，得到第一个时隙的奖励；重复步骤5.1直至得到第一个时隙所有子时隙的奖励，然后得到第一个时隙的子时隙划分策略的奖励。

58、步骤6：根据双层dqn得到下一时隙的子时隙划分策略和各个子时隙的扩频因子及功率。

59、通过上层dqn的神经网络拟合得到下一时隙的子时隙划分策略，通过下层dqn的神经网络拟合得到下一时隙中各个子时隙的扩频因子和传输功率。上下两层的dqn选择动作时，都从神经网络得到的q值对应的玻尔兹曼分布中选择动作，表示如下：

60、（18）；

61、其中，为选择动作x的概率，x为可选动作的集合，为状态，为玻尔兹曼温度常数，为神经网络参数。

62、步骤7：根据ack回传得到发送端与接收端的决策协调。

63、接收端将决策信息以ack的形式回传至发送端，来协调下一时隙的子时隙划分策略和各个子时隙的扩频因子及传输功率；用户根据决策信息选择下一时隙的动作并更新状态；在第二个时隙内，用户根据回传的决策信息来传输数据，并通过感知获得当前干扰强度，并获取新状态，将经验样本存储在经验回放池中；采用先进先出机制管理经验回放池。

64、步骤8：根据经验样本和损失函数得到更新后的上层网络参数。

65、步骤8.1：根据抽取到的经验样本得到上层网络的损失函数。

66、从经验回放池中随机抽取个经验样本，计算参数优化网络的损失函数，采用均方误差作为损失函数，表示如下：

67、（19）；

68、其中，为上层主网络参数，为目标q值，为实际网络的q值；

69、步骤8.2：根据反向传播最小化损失函数得到更新后的上层主网络参数；计算得到梯度，表示如下：

70、（20）；

71、其中，为上层dqn中经验样本的批次大小，为上层dqn中样本的权重系数，为样本的目标q值与预测q值的差，而后通过反向传播最小化损失函数来更新主网络参数；

72、步骤8.3：根据软更新机制得到上层目标网络参数；为了稳定训练，目标网络通过软更新缓慢跟随主网络，目标网络参数每隔步数x进行一次更新：

73、（21）；

74、其中，为上层dqn的目标网络参数，为上层软更新学习率，为上层软更新系数。

75、步骤9：根据迭代训练得到最优抗干扰策略。

76、通信用户重复步骤1至步骤8，对不同状态下的动作值进行更新，通过循环执行加强智能体对环境的认知，最终网络参数趋于稳定，用户在动态干扰环境下做出较好的抗干扰策略。

77、本技术提供的算法如下：

78、初始化过程:

79、1.设置参数：学习率,折扣率,初始温度参数,最低温度参数，两层dqn的主网络参数，和目标网络参数，；

80、2.仿真总时隙数，设置初始时隙，其中；

81、3.初始化经验回放池，设置批处理大小。

82、循环开始，当k≤k时

83、1.检测当前干扰强度，更新干扰检测历史序列并构建状态信息；

84、2.上层dqn决策，通过子隙划分网络选择时隙数量；

85、循环开始，当i≤时

86、3.获取子时隙位置索引，得到状态信息。

87、4.下层dqn决策，通过组合参数优化网络选择该子时隙的扩频因子和传输功率;

88、5.执行动作，获取子时隙的奖励值以及新状态，将经验样本存储在经验回放池中。

89、6.从中随机抽取一批经验样本，计算参数优化网络的损失函数，并反向传播计算梯度，更新主网络参数。

90、7.每隔x步，使用软更新机制更新目标网络参数。

91、循环结束

92、8.获取该子时隙的奖励以及新状态。

93、9.将经验样本存入经验回放池。

94、10.从经验回放池中根据优先级随机选取一批样本，计算子时隙划分网络的损失并反向传播计算梯度，更新主网络参数。

95、11.每隔x步，通过软更新机制更新目标网络参数。

96、12.。

97、循环结束

98、与现有技术相比，本发明的显著进步在于：

99、本发明针对固定时隙通信策略在适应快速时变干扰时表现出的显著局限性，提出一种时域、波形域和功率域协同的多维联合自适应抗干扰架构，实现对复杂干扰环境的智能适配。同普通dqn算法相比，通过双层决策架构，将时域、波形域、功率域的耦合问题分解为两个条件独立的子问题，降低决策复杂度，避免了维度灾难。其中，上层网络能够自适应匹配干扰环境特征，根据干扰强度和时变特性智能调整子时隙划分粒度，实现时域资源与干扰态势的精准适配；下层网络能够动态适配各子时隙的干扰特征，为每个子时隙定制化配置最优扩频因子与传输功率的组合，实现了对干扰的精细化感知与响应，在保证抗干扰效果的同时最大化传输速率。通过仿真验证了该方法的吞吐量性能优于固定划分子时隙策略。

100、为更清楚说明本发明的功能特性以及结构参数，下面结合附图及具体实施方式进一步说明。