一种基于激励机制的多干扰机协同信道和功率联合决策方法

本发明属于无线通信干扰，特别是涉及一种基于激励机制的多干扰机协同信道和功率联合决策方法。

背景技术：

1、现有关于多干扰机协同干扰和联合决策技术的研究，主要包含以下几种方式，一是聚焦频率、功率等干扰资源的内部协调，实现精确干扰的同时优化资源配置。但是这些策略本质上是能量压制性干扰，在干扰系统能量受限的条件下，不可能随心所欲地调整上述干扰资源。二是利用人工智能技术，采用集中式训练-分布式执行的结构，提高了训练中信息共享效率和智能体之间的协作能力，但是随着智能体数量的增加，集中式训练网络规模快速增长，上述方法难以有效应对。

2、虽然现有研究，在多干扰机联合干扰决策优化方面取得一定进展，但是未充分考虑能量受限的现实约束。现有技术聚焦于如何优化频率域、功率域等资源分配，使干扰机能干扰到所有通信用户，然而在干扰资源有限的条件下，过多地分散干扰资源，导致干扰效益降低甚至难以达成干扰效果。

3、因此，如何解决能量受限条件下的多干扰机协同干扰决策问题，具有迫切需求和现实意义。

技术实现思路

1、本发明目的在于解决背景技术中提出的问题，提出一种基于激励机制的多干扰机协同信道和功率联合决策方法。

2、本发明要解决的是面对多通信用户时多干扰机协同干扰策略优化问题。方法包括：

3、步骤1初始化通信用户工作状态，干扰机随机选择干扰动作；

4、在预设的迭代次数内，执行步骤2至步骤6；

5、步骤2，判断干扰机干扰到的通信用户数量；

6、步骤3，计算干扰机产生的干信比；

7、步骤4，利用激励机制，统计干扰方整体干扰效益；

8、步骤5，利用q学习算法，更新干扰动作及对应的q值表；

9、步骤6，更新下一周期的多干扰机协同干扰策略具体步骤如下：

10、进一步地，步骤1，包括：给定初始参数：设置干扰机数量，通信用户数量，信道数，干扰机干扰功率，所有干扰机功率均相同，通信用户功率，所有通信用户功率均相同，给定干扰周期的最大迭代次数，每个周期内的通信时隙和干扰时隙，初始化q值表，其中表示t时隙的环境状态，即所有通信用户选择的工作信道状态，表示时隙干扰机选择的动作，即干扰的信道。

11、进一步地，步骤2，包括：计算单个干扰机在t时隙干扰到的通信用户数量：定义指示函数：，其中均为任意正整数；那么在时隙被干扰机干扰到的通信用户数量表示为：；其中，为干扰机在时隙实施干扰的信道数量，为干扰机的第个干扰信道，为用户的工作信道。

12、进一步地，步骤3，包括：计算单个干扰机在t时隙产生的干信比，令干扰机在通信用户处产生的干扰功率为，公式为：，通信用户功率为，背景噪声为，干扰机到通信用户的信道增益为，通信用户的信道增益为，因此，干扰机在通信用户处产生的干信比为：。

13、进一步地，步骤4，包括：定义激励系数，表示鼓励干扰机在满足基本干扰效果的同时，尽量干扰更多的用户，计算干扰效益时会给予额外比例的激励，基本干扰效果就是指干信比要大于干扰成功所要求的最低值；定义干扰阈值，干扰基本条件为干信比要大于干扰阈值；令干扰机在时隙的干扰效益为，若，则；若，则；同理可得，其他干扰机在时隙的干扰效益。因此，干扰方在t时隙的整体干扰效益为：。

14、进一步地，步骤5，包括：更新q值表：干扰机感知获取当前通信用户信息更新当前状态，并根据公式更新q值表；其中，是状态-动作价值函数，表示干扰机的学习速率，表示q值更新中所对应的折扣因子；表示干扰机执行动作后的即时收益；表示状态下使得干扰方获得最大收益值的动作。

15、进一步地，步骤6，包括：更新下一周期的多干扰机协同干扰策略：根据以下规则选择干扰策略：，其中为玻尔兹曼系数，为在时隙中选择干扰策略的概率，表示所有的策略集。

16、在执行完前述步骤后，本申请还能够执行以下步骤。

17、步骤7：计算多干扰机干扰成功率。

18、当干扰方完成一个迭代周期时，统计一个周期内的干扰成功率；干扰成功率定义为：，其中表示当前总的时隙数；表示截止当前时隙为止成功干扰次数的累加。

19、与现有技术相比，本发明的显著进步在于：本发明解决了如何通过设计多干扰机的干扰策略以应对干扰功率受限条件下对多通信用户的协同干扰问题，突破现有干扰技术对资源受限条件下协同干扰能力不足的挑战。本发明为解决传统干扰策略忽视干扰功率有限的现实问题，引入一种激励机制，定义激励系数和干扰阈值，鼓励干扰机在满足基本干扰效果的前提下，尽可能干扰更多的通信用户。在此基础上，将干扰决策过程利用马尔科夫决策过程框架和强化学习q学习算法建模，依据玻尔兹曼概率选择干扰策略。本申请提供的方法能够有效应对能量受限条件下多干扰机协同决策问题，显著提高了干扰系统的干扰成功率，并大幅提高了干扰系统的长期累积效益。

20、为更清楚说明本发明的功能特性以及结构参数，下面结合附图及具体实施方式进一步说明。

1.一种基于激励机制的多干扰机协同信道和功率联合决策方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

3.根据权利要求2所述的方法，其特征在于，步骤2，包括：

4.根据权利要求3所述的方法，其特征在于，步骤3，包括：

5.根据权利要求4所述的方法，其特征在于，步骤4，包括：

6.根据权利要求5所述的方法，其特征在于，步骤5包括：

7.根据权利要求6所述的方法，其特征在于，步骤6包括：