一种基于量子强化学习的星地网络微服务部署与迁移方法

摘要: 本发明属于星地一体化网络资源分配领域,具体涉及一种基于量子强化学习(quantumreinforcementlearning,qrl)的星地网络微服务部署与迁移...
一种基于量子强化学习的星地网络微服务部署与迁移方法

本发明属于星地一体化网络资源分配领域,具体涉及一种基于量子强化学习(quantum reinforcement learning, qrl)的星地网络微服务部署与迁移方法。

背景技术:

1、作为未来6g网络的关键基础设施,星地一体化网络(satellite-groundintegrated network, sgin)融合了天基卫星子网与地面通信子网,兼具卫星网络的广域全球覆盖与强抗毁能力,以及地面网络的高带宽与强算力优势,能够为用户提供跨地域的无缝泛在连接及高效边缘计算服务。

2、针对偏远山区、空中、海上等计算资源受限场景中的用户,可将计算密集型任务卸载至搭载边缘计算服务的低地球轨道(low earth orbit, leo)卫星进行处理,避免将任务回传至远端地面服务器,从而有效降低服务时延。然而,传统的卫星边缘计算普遍采用单体服务架构,即将全部业务逻辑耦合为一个单一程序,整体部署于单颗卫星节点。随着用户接入规模的持续扩大以及可拆解的复杂计算任务日益增多,这种耦合式架构无法实现业务模块的独立扩缩容,导致单星算力分配僵化、资源利用率低下,处理能力极易达到瓶颈。因此,传统单体架构已难以适应卫星边缘计算的业务需求,亟需引入业务解耦架构予以解决。

3、现有解决方案主要采用微服务架构,将复杂应用拆解为多个相对独立的微服务,并利用传统强化学习算法将这些微服务部署于不同的卫星边缘节点上,随后将分布于多个节点的微服务按功能顺序组合成服务功能链(service function chaining, sfc),从而为用户提供优质服务,同时缓解单星资源受限的问题。然而,在处理由大规模卫星节点与复杂微服务约束共同构成的高维状态空间时,传统强化学习算法存在探索效率低、易于陷入局部最优等突出问题,制约了其在星地一体化网络中的实际应用效果。

技术实现思路

1、为解决上述问题,本发明提供一种基于量子强化学习的星地网络微服务部署与迁移方法,包括以下步骤:

2、s1.构建包括地面站、leo卫星边缘节点以及用户的星地一体化网络系统模型;

3、s2.基于星地一体化网络系统模型,构建星地及星间通信链路模型;

4、s3.构建以资源平衡度最大化和系统时延最小化为目标的联合优化问题;

5、s4.将联合优化问题建模为部分可观测马尔可夫决策过程,构建全局状态空间、动作空间和奖励函数;

6、s5.采用基于混合量子-经典非时序体系架构的强化学习算法求解部分可观测马尔可夫决策过程,得到最佳部署策略。

7、本发明的有益效果:

8、针对现有技术中经典模型星载计算与通信开销过高,以及深层量子线路易受噪声干扰和梯度消失的问题,本发明提出一种基于非序列混合量子神经网络的卫星微服务动态部署机制。该机制在分布式多智能体强化学习框架中引入并行浅层变分量子线路与自注意力机制,从而实现集中训练与分布式决策,并大幅削减模型参数量。得益于上述设计,在卫星拓扑剧烈变化的动态环境下,该机制能够有效抑制噪声积累,加快策略收敛速度并增强鲁棒性,最终在保障微服务低时延响应与高效迁移的同时,实现多卫星节点异构资源利用均衡度的最大化。

1.一种基于量子强化学习的星地网络微服务部署与迁移方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于量子强化学习的星地网络微服务部署与迁移方法,其特征在于,定义传输时延模型为:

3.根据权利要求1所述的一种基于量子强化学习的星地网络微服务部署与迁移方法,其特征在于,资源平衡度表示为:

4.根据权利要求3所述的一种基于量子强化学习的星地网络微服务部署与迁移方法,其特征在于,利用率由部署在leo卫星边缘节点上的所有容器实例对资源的总需求量与leo卫星边缘节点对资源的剩余容量之间的比值表示,计算式为:

5.根据权利要求1所述的一种基于量子强化学习的星地网络微服务部署与迁移方法,其特征在于,定义全局状态,其中,

6.根据权利要求1所述的一种基于量子强化学习的星地网络微服务部署与迁移方法,其特征在于,在基于混合量子-经典非时序体系架构的强化学习算法中,将每个容器实例视为具有部分观测数据的智能体,每个智能体均包含执行网络、评估网络、目标执行网络与目标评估网络;执行网络、评估网络、目标执行网络、目标评估网络均采用混合量子-经典非序列体系架构,且评估网络与目标评估网络的经典层前端设置有多头自注意力模块;其中,执行网络的初始输入向量维度为,其中表示智能体最大可见卫星数;若实际可观测卫星数量小于,则将空闲节点的利用率设为100%;评估网络的输入维度为,k表示智能体数量;所述混合量子-经典非时序体系架构采用三量子比特的混合量子-经典顺序结构,其首尾两端为经典层,中间部分为变分量子层;经典层均采用前馈神经网络,变分量子层由个非序列量子层堆叠而成,第个非序列量子层配置个量子比特和个变分层,第个非序列量子层中每个变分层包含个可训练参数,。

7.根据权利要求6所述的一种基于量子强化学习的星地网络微服务部署与迁移方法,其特征在于,多头自注意力模块的处理包括:

8.根据权利要求1所述的一种基于量子强化学习的星地网络微服务部署与迁移方法,其特征在于,基于混合量子-经典非时序体系架构的强化学习算法的训练过程包括: