基于预览状态协同决策的无人机通信资源优化方法及系统

摘要: 本发明涉及无线通信与人工智能交叉领域,具体涉及基于预览状态协同决策的无人机通信资源优化方法及系统。背景技术:1、随着第六代移动通信技术车联网向高密度、高机动性及...
基于预览状态协同决策的无人机通信资源优化方法及系统

本发明涉及无线通信与人工智能交叉领域,具体涉及基于预览状态协同决策的无人机通信资源优化方法及系统。

背景技术:

1、随着第六代移动通信技术车联网向高密度、高机动性及低时延方向演进,城市环境下车联网的覆盖可靠性与用户接入稳定性面临严峻挑战。无人机(unmanned aerialvehicle,uav)挂载的可重构智能表面(reconfigurable intelligent surface,ris)能够有效改善空地链路质量并提升网络部署灵活性,但受限于机载能量约束、车辆高速移动特性及非正交多址接入(non-orthogonal multiple access,noma)中的残余串行干扰消除(successive interference cancellation,sic)误差等因素,系统中的用户关联、uav轨迹设计、noma功率分配及ris相位配置构成强耦合的连续-离散混合优化问题。

2、现有方法主要采用深度强化学习进行在线优化,但存在以下不足:价值型方法适用于离散动作但难以处理连续控制,策略梯度方法适用于连续动作但难以高效处理离散ris码本选择;在分层混合动作方法中,当uav连续动作改变网络拓扑后,ris若仍基于动作执行前的状态进行相位选择,将导致明显的时序状态失配;现有基于图神经网络(graphneural network,gnn)的强化学习方法在ris-uav-noma系统中的动态关联建模方面仍有不足。

3、因此,现有技术主要存在以下问题:uav轨迹、用户关联、noma功率分配与ris相位配置之间高度耦合,难以处理连续-离散混合决策问题;车辆高速移动导致信道状态快速变化,在不完美信道状态信息条件下难以实现稳定优化;现有分层强化学习方法难以有效协调uav连续控制与ris离散相位选择之间的时序依赖关系,容易产生状态失配;多uav协同场景下存在明显的多智能体非平稳性,导致传统深度强化学习方法的收敛性与稳定性不足。

技术实现思路

1、本发明的目的是提供基于预览状态协同决策的无人机通信资源优化方法及系统,能够通过第一强化学习模型输出连续动作,基于连续动作构建预览状态,并采用第二强化学习模型根据预览状态从有限码本中选择可重构智能表面相位配置,实现连续动作与离散动作的时序协同决策,从而有效解决连续-离散混合优化难题以及无人机连续控制与可重构智能表面离散决策之间的时序状态失配问题,提升空地融合车联网系统的能量效率与传输速率。

2、为解决上述技术问题,本发明提供如下技术方案:

3、一方面,本发明提供了基于预览状态协同决策的无人机通信资源优化方法,包括以下步骤:

4、构建由基站、ris-uav及地面用户组成的空地融合车联网系统;所述ris-uav由无人机与其挂载的可重构智能表面构成;将所述基站、ris-uav和地面用户分别建模为图节点,构建各图节点之间的边,由所述图节点与所述边构成动态异构图;

5、采用图神经网络对所述动态异构图进行编码,通过图注意力机制获得节点级拓扑嵌入与全局级拓扑嵌入;

6、基于所述节点级拓扑嵌入对所述地面用户与ris-uav之间的关联关系进行修正,并结合容量约束形成服务簇;

7、采用第一强化学习模型输出连续动作,所述连续动作包括无人机轨迹控制参数及所述服务簇内地面用户的原始功率分配参数;

8、基于连续动作构建预览状态,所述预览状态包括预览位置、预览等效信道及所述全局级拓扑嵌入;

9、采用第二强化学习模型输出离散动作,所述离散动作包括从有限码本中选出的码本索引,所述码本索引对应可重构智能表面相位配置,所述离散动作的决策基于所述预览状态进行;

10、构建由全局奖励与局部奖励组成的混合奖励函数,基于所述混合奖励函数对所述第一强化学习模型与所述第二强化学习模型进行联合训练与参数更新,实现所述无人机轨迹控制参数、所述原始功率分配参数及所述可重构智能表面相位配置的协同优化。

11、进一步地,采用图神经网络对所述动态异构图进行编码,通过图注意力机制获得节点级拓扑嵌入与全局级拓扑嵌入,具体步骤为:

12、获取各图节点之间的边权,所述边权的公式如下:

13、;

14、其中,n为时隙编号,u和v为图节点编号,为图节点u与图节点v在时隙n的边权,为距离权重系数,为图节点u与图节点v在时隙n的图节点间距离,为距离归一化因子,为链路质量权重系数,为时隙n的归一化链路质量;

15、对预设历史窗口长度内的各时隙的边权进行指数衰减平滑,得到历史融合边权;

16、将中心图节点的第层隐含特征与邻居图节点的第层隐含特征拼接,并与中心图节点与邻居图节点的历史融合边权相乘,经归一化后得到第层的注意力系数,的起始值为1;

17、基于所述第层的注意力系数对邻居图节点的第层隐含特征进行加权聚合,经非线性激活后得到中心图节点的第层隐含特征;

18、通过预设层数l的多层传递,将第l层各图节点的隐含特征作为各图节点的节点级拓扑嵌入,并对所有图节点的节点级拓扑嵌入进行全局均值聚合,得到全局级拓扑嵌入。

19、进一步地,基于所述节点级拓扑嵌入对所述地面用户与ris-uav之间的关联关系进行修正;具体步骤为:

20、基于所述节点级拓扑嵌入构造地面用户与ris-uav的关联评分,所述关联评分的公式如下:

21、;

22、其中,i为地面用户编号,k为ris-uav编号,为第i个地面用户与第k个ris-uav在时隙n的关联评分,,为第i个地面用户在时隙n的节点级拓扑嵌入的转置,为第k个ris-uav在时隙n的节点级拓扑嵌入,为第i个地面用户在时隙n的节点级拓扑嵌入,为欧几里得范数,为极小正数,防止分母为0;

23、基于所述关联评分计算地面用户到服务簇中心的有效距离,所述有效距离的公式如下:

24、;

25、其中,为第i个地面用户到第k个ris-uav所对应的服务簇中心的有效距离,为第i个地面用户在时隙n的水平位置,为第k个ris-uav所对应的服务簇中心,为欧几里得范数的平方;

26、根据所述有效距离更新地面用户关联变量,所述地面用户关联变量的更新公式如下:

27、;

28、其中,为地面用户关联变量,当第i个地面用户在时隙n被分配给第k个ris-uav时取值为1,否则取值为0;为ris-uav集合,为第i个地面用户到第个ris-uav所对应的服务簇中心的有效距离;argmin为在ris-uav集合中找到使有效距离取最小值的ris-uav编号;

29、根据所述有效距离将地面用户分配至服务簇中心,利用所述关联评分对服务簇中心进行加权更新,所述服务簇中心的公式如下:

30、;

31、其中,m为地面用户总数;

32、重复执行有效距离计算、地面用户关联变量更新与服务簇中心加权更新,直至服务簇中心的变化量小于预设阈值或达到预设最大迭代次数。

33、进一步地,所述服务簇以周期性方式更新,相邻两次更新之间的时隙间隔为预设周期值;在每次更新后的服务簇中,当服务簇内地面用户数量超过预设容量上限时,将关联评分最低的地面用户转移至具有可用容量的其他服务簇;当服务簇内地面用户数量低于预设容量下限时,从相邻服务簇中补充关联评分最高的地面用户。

34、进一步地,所述第一强化学习模型为策略-评价架构,包括策略网络和双评价网络,所述双评价网络包括第一评价网络与第二评价网络;所述第一评价网络与所述第二评价网络分别输出第一q值与第二q值,并以所述第一q值与所述第二q值中的较小值构造训练目标;所述第一强化学习模型采用集中式训练、分布式执行的框架,在训练阶段将所有无人机的局部状态组成的联合状态作为第一评价网络与第二评价网络的输入,在执行阶段各无人机仅依据自身局部状态通过策略网络输出所述连续动作。

35、进一步地,所述策略网络输出原始功率分配参数,将原始功率分配参数取正值后除以服务簇内所有地面用户取正值后的和,得到非正交多址接入功率分配参数。

36、进一步地,基于连续动作构建预览状态,具体步骤为:

37、基于所述连续动作,获取所述连续动作中的水平位移控制量,所述水平位移控制量为所述无人机轨迹控制参数;

38、基于无人机的当前位置和所述水平位移控制量计算预览位置,所述预览位置的公式如下:

39、;

40、其中,为第k架无人机在时隙的预览位置,为对无人机可飞行区域的投影操作,为第k架无人机在时隙的当前位置,为第k架无人机的水平位移控制量;

41、基于所述预览位置重新计算基站到无人机挂载的可重构智能表面的估计信道,以及无人机挂载的可重构智能表面到地面用户的估计信道;

42、所述预览等效信道的公式如下:

43、;

44、其中,为第k架无人机挂载的可重构智能表面到第i个地面用户的预览等效信道,为基站到第i个地面用户的估计直达信道,为第k架无人机挂载的可重构智能表面到第i个地面用户在预览位置下的估计信道向量的共轭转置,为共轭转置操作,为时隙的可重构智能表面相位矩阵,为基站到第k架无人机挂载的可重构智能表面在预览位置下的估计信道。

45、获取所述全局级拓扑嵌入,所述预览状态包括预览位置、预览等效信道及所述全局级拓扑嵌入。

46、进一步地,所述第二强化学习模型为对偶q网络,所述对偶q网络将状态价值函数与动作优势函数分离,输出q值的公式如下:

47、;

48、其中,为在预览状态下选择码本索引的q值,为对偶q网络的网络参数,为状态价值函数,为状态价值函数的网络参数,为动作优势函数,为动作优势函数的网络参数,q为有限码本的码本容量,为求和索引;

49、所述有限码本的生成方式为:基于可重构智能表面阵列结构和相位量化比特数,构造二维离散傅里叶变换波束网格生成基础码字,结合相位量化比特数对各反射单元相位进行离散化,通过码本容量限制与冗余码字去除得到最终有限码本。

50、进一步地,所述全局奖励由平均总和速率的归一化值、能量效率的归一化值、jain公平性指数及约束违反惩罚项的加权和构成,所述平均地面用户速率根据所述非正交多址接入功率分配参数计算得到;所述约束违反惩罚项包括服务质量约束违反惩罚、能量预算违反惩罚、无人机安全距离违反惩罚、无人机速度约束违反惩罚以及飞行区域边界违反惩罚;所述局部奖励基于当前时隙相对于上一时隙的服务簇速率增益计算,并对服务簇速率增益的非负部分进行对数变换后减去所述相位切换代价;所述相位切换代价用于约束相邻时隙之间可重构智能表面相位配置的变化幅度,所述相位切换代价的公式如下:

51、;

52、其中,为第k架无人机挂载的可重构智能表面在时隙n的相位切换代价,为无人机挂载的可重构智能表面的反射单元总数,m为反射单元编号,为取模运算,为相位角,为第k架无人机挂载的可重构智能表面第m个反射单元在时隙n的复数相位系数,为共轭操作;

53、所述混合奖励函数为所述全局奖励与所述局部奖励的加权融合。

54、另一方面,本发明提供了基于预览状态协同决策的无人机通信资源优化系统,具体包括:

55、拓扑感知与用户关联模块,用于构建由基站、ris-uav及地面用户组成的空地融合车联网系统的动态异构图,所述ris-uav由无人机与其挂载的可重构智能表面构成,采用图神经网络提取节点级拓扑嵌入与全局级拓扑嵌入,并基于所述节点级拓扑嵌入对所述地面用户与ris-uav之间的关联关系进行修正,结合容量约束形成服务簇;

56、连续动作决策模块,与所述拓扑感知与用户关联模块通信连接,用于接收所述服务簇,并采用第一强化学习模型对连续动作进行优化,所述连续动作包括无人机轨迹控制参数及所述服务簇内地面用户的原始功率分配参数;

57、预览状态构建模块,与所述连续动作决策模块通信连接,用于基于所述连续动作构建预览状态,所述预览状态包括预览位置、预览等效信道及所述全局级拓扑嵌入;

58、离散动作决策模块,与所述预览状态构建模块通信连接,用于接收所述预览状态,并采用第二强化学习模型从有限码本中选择码本索引,所述码本索引对应可重构智能表面相位配置;

59、混合奖励计算模块,与所述离散动作决策模块通信连接,用于接收所述离散动作决策模块输出的码本索引,并构建由全局奖励与局部奖励组成的混合奖励函数;

60、联合训练优化模块,与所述连续动作决策模块、所述离散动作决策模块及所述混合奖励计算模块分别通信连接,用于基于所述混合奖励函数对所述第一强化学习模型与所述第二强化学习模型进行联合训练与参数更新。

61、与现有技术相比,本发明具有以下有益效果:

62、本发明通过构建动态异构图并采用图神经网络提取节点级拓扑嵌入与全局级拓扑嵌入,能够有效刻画空地融合车联网环境下的网络结构与时变特性,提升空地融合车联网系统在不完美信道状态信息条件下的状态表达能力,为后续地面用户关联和通信资源优化提供更准确的拓扑信息。

63、本发明通过构建预览状态,使可重构智能表面离散相位选择能够基于无人机连续动作更新状态进行决策,有效缓解了现有方法中所述连续动作与所述离散动作之间的时序状态失配问题。

64、本发明采用第一强化学习模型输出连续动作、第二强化学习模型输出离散动作,配合预览状态实现顺序协同决策,有效降低了混合动作空间的学习难度,提升了策略搜索效率。

65、本发明通过全局奖励与局部奖励的分层融合机制,使各无人机在训练过程中既能感知自身局部动作的直接影响,又能兼顾空地融合车联网系统的全局目标,改善了多无人机协同场景下的策略收敛性与训练稳定性。

66、本发明通过将可重构智能表面相位配置建模为从有限码本中选择码本索引的离散动作决策问题,结合相位量化比特数进行离散化处理,并引入相位切换代价约束相邻时隙间可重构智能表面相位配置的变化幅度,在降低可重构智能表面控制开销的同时避免了相位剧烈跳变导致空地融合车联网系统不稳定。