认知无线电网络频谱共享中的智能功率控制方法与流程

技术特征：
1.一种认知无线电网络频谱共享中的智能功率控制方法，将主用户网络与次用户网络通信连接，在主用户网络设置主用户发送端和主用户接收端，在次用户网络设置次用户发送端和次用户接收端；其特征在于，包括步骤：在主用户网络和次用户网络之间设置多个传感器节点，主用户网络根据预设的功率控制策略更新发送功率，次用户网络根据布置在不同位置的多个传感器节点收集到的接收信号强度信息，基于深度强化学习训练为次用户提供功率控制策略，使得次用户智能调整传输功率来与主用户共享频谱资源，在通过与主用户的多轮交互之后，实现主用户、次用户都能以各自要求的服务质量成功进行数据传输。2.根据权利要求1所述的认知无线电网络频谱共享中的智能功率控制方法，其特征在于，所述主用户网络根据预设的功率控制策略更新发送功率包括步骤：主用户的发送功率从一个长度为l1的有限集合中选择，其中如果主用户在第k帧时的发送功率为那么主用户在第k 1个时间帧时的发送功率p1(k 1)根据如下策略调整：其中τ＝p1(k)η1/sinr1(k)，当sinr1(k)≤η1，时，主用户发送端增加发送功率，当sinr1(k)≥η1，时，主用户发送端降低发送功率，否则，保持当前水平不变；这里表示对第(k 1)帧时的预测信干噪比sinr；sinr1(k)表示第k个时间帧的信干噪比，η1表示主用户接收端满足的一个最小信干噪比要求。3.根据权利要求1所述的认知无线电网络频谱共享中的智能功率控制方法，其特征在于，所述次用户网络根据布置在不同位置的多个传感器节点收集到的接收信号强度信息包括步骤：在环境中布置n个传感器来采样接收信号强度信息，n为正整数。4.根据权利要求1～3任一所述的认知无线电网络频谱共享中的智能功率控制方法，其特征在于，所述基于深度强化学习训练为次用户提供功率控制策略包括步骤：s11，初始化一个缓存容量为o的回放记忆容器d，用来存放状态转移数据并将状态转移数据d(k)作为深度网络训练数据；其中，r(k)表示次用户根据功率控制策略选择发送功率进入下一个状态后，次用户收到的奖励且r(k)＝r(s(k),a(k))，定义为：s(k)表示第k个时间帧的状态，a(k)表示第k个时间帧的动作，sinr1(k 1)表示主用户第k 1个时间帧的信干噪比，sinr2(k 1)表示次用户第k 1个时间帧的信干噪比，η2表示次用户接收端满足的一个最小信干噪比要求；s12，构建一个深度强化学习网络，初始化深度强化学习网络的动作价值函数值q(s,a,θ)，并令权值θ＝θ0，其中θ0表示当前迭代的参数；
s13，初始化p1(1)和p2(1)，并获得s(1)；s14，设定深度强化学习网络训练最大迭代次数k，在第k次迭代中，根据主用户的功率控制策略更新p1(k 1)，令次用户以ε
k
的概率随机选择动作a(k)，否则选择a(k)＝max
a
q(s(k),a；θ0)；根据传感器的接收信号强度获得状态s(k 1)，并观测奖励r(k)；将状态转移数据d(k)＝{s(k),a(k),r(k),s(k 1)}存储入记忆容器d；判断k≥o是否满足，如果满足，从回放记忆容器d中随机采样转移{d(i)|i∈ω
k
}的小样本集合，其中ω
k
中的索引为均匀随机选择，通过最小化损失函数更新θ，令θ0＝argmin
θ
l(θ)；判断s(k)是否是一个最终状态，如果是，则初始化p1(k 1)和p2(k 1)，并获得s(k 1)；s15，判断迭代次数k>k，结束训练。5.根据权利要求4所述的认知无线电网络频谱共享中的智能功率控制方法，其特征在于，所述次用户智能调整传输功率来与主用户共享频谱资源，在通过与主用户的多轮交互之后，实现主用户、次用户都能以各自要求的服务质量成功进行数据传输包括步骤：s21，初始化p2(1)，并获得s(1)；s22，对于k＝1,
…
,k，令次用户a(k)＝max
a
q(s(k),a；θ
*
)，根据传感器的接收信号强度获得状态s(k 1)；s23，若k>k，结束迭代。6.根据权利要求4所述的认知无线电网络频谱共享中的智能功率控制方法，其特征在于，在基于深度强化学习训练完成后，次用户仅通过传感器的反馈来决定其下一个传输功率；如果在传输中出现了中断，导致s离开了目标状态，那么次用户在重新传输数据时不需要重新学习，只需要重新按照既定的功率控制策略选择发送功率即可重新回到目标状态。

技术总结
本发明公开了一种认知无线电网络频谱共享中的智能功率控制方法，包括步骤：在主用户网络和次用户网络之间设置多个传感器节点，主用户网络根据预设的功率控制策略更新发送功率，次用户网络根据布置在不同位置的多个传感器节点收集到的接收信号强度信息，基于深度强化学习训练为次用户提供功率控制策略，使得次用户智能调整传输功率来与主用户共享频谱资源，在通过与主用户的多轮交互之后，实现主用户、次用户都能以各自要求的服务质量成功进行数据传输。本发明实现了次用户在不对主用户造成严重干扰的情况下，和主用户共享频谱资源的目的。目的。目的。


技术研发人员：尹小芳 杨滢弘 王欢
受保护的技术使用者：四川九洲空管科技有限责任公司
技术研发日：2021.08.16
技术公布日：2021/12/2