一种基于深度强化学习的MF-TDMA时隙资源分配方法与流程

摘要: 本发明涉及卫星通信,具体涉及一种基于深度强化学习的mf-tdma时隙资源分配方法。背景技术:1、mf-tdma(多频时分多址)是目前卫星通信系统中广泛采用的一种...
一种基于深度强化学习的MF-TDMA时隙资源分配方法与流程

本发明涉及卫星通信,具体涉及一种基于深度强化学习的mf-tdma时隙资源分配方法。

背景技术:

1、mf-tdma(多频时分多址)是目前卫星通信系统中广泛采用的一种多址接入体制,其将可用频率资源划分为多个载波信道,同时将时间资源划分为周期性的时隙帧,形成“频率-时间”二维资源矩阵,而后卫星通信系统中的多个终端共享该资源矩阵,通过信关站处理单元的统一调度,在不同的时隙和频率上发送数据,从而实现多用户的同时接入。

2、但是随着卫星通信业务的快速发展,应用场景日益多样化,对资源分配技术提出了更高要求。一方面,业务类型从传统的语音和低速数据,扩展到高清视频回传、物联网数据采集、应急通信、机动用户接入等,不同业务对传输时延、带宽保障和丢包率等服务质量(qos)指标的需求差异显著;另一方面,用户数量和业务量呈现高动态变化特征,突发性强、波动范围大。

3、目前,公开号为:cn118075877a的中国专利,公开了基于深度强化学习的noma多波束卫星通信方法,通过生成对抗网络,降低了信道信息的干扰,结合深度强化学习,有效简化了优化难度,提升了算法效率;同时考虑了更实际且更具特征的指标,获得了更全面的性能评估;但是该方法针对的是noma多波束卫星通信系统,未考虑mf-tdma体制特有的“频率-时间”二维资源结构及同频同时隙唯一性约束,其输出方案可能违反物理约束;优化目标单一(仅以供需容量比为目标),无法在吞吐量、时延、公平性等多目标间动态均衡;且决策依赖当前信道状态,缺乏基于历史数据的主动预测能力。

4、因而,我们提出一种能够内嵌mf-tdma物理约束、支持多目标动态自适应权衡、并具备业务趋势预测能力的方法。

技术实现思路

1、本发明的目的在于提供一种基于深度强化学习的mf-tdma时隙资源分配方法,其用于解决传统mf-tdma资源分配方法决策模式被动、优化目标单一、以及现有深度强化学习方法未针对mf-tdma体制进行专门设计导致约束满足效率低的问题。

2、本发明通过以下技术方案实现:

3、一种基于深度强化学习的mf-tdma时隙资源分配方法,包括:

4、采集mf-tdma卫星通信系统的全局状态信息,并将该状态信息编码为标准状态张量;

5、将标准状态张量输入至深度神经网络,所述深度神经网络的输出端集成有可微约束满足层,该可微约束满足层内嵌有mf-tdma的同频同时隙唯一性约束;深度神经网络经前向计算后,通过可微约束满足层输出满足唯一性约束的二值化时隙分配矩阵;

6、根据二值化时隙分配矩阵生成时隙分配表,并下发至各终端;

7、在一个分配周期结束后,更新深度神经网络的参数。

8、进一步的,所述全局状态信息包括:各终端的待传输数据队列长度及业务优先级、各终端的信道质量指示、以及当前的时隙-频率二维资源占用图。

9、进一步的,所述采集mf-tdma卫星通信系统的全局状态信息,并将其编码为标准状态张量,具体包括:

10、将时隙-频率二维资源占用图编码为二维矩阵;

11、将各终端的队列长度和业务优先级拼接为终端需求向量;

12、将各终端的信道质量指示编码为信道质量向量;

13、将编码后的二维矩阵、终端需求向量和信道质量向量拼接形成标准状态张量。

14、进一步的,所述深度神经网络经前向计算后,通过可微约束满足层输出满足唯一性约束的二值化时隙分配矩阵,具体包括:

15、深度神经网络输出一个原始分配倾向矩阵,该矩阵用于将每个时隙-频率单元分配给各终端的倾向程度;

16、在每个时隙维度上,对每个终端的各载波分配倾向分别进行归一化及阈值筛选,直至每个终端在每个时隙至多被分配到一个载波资源;

17、将各终端的时隙分配结果整合为二值化时隙分配矩阵。

18、进一步的,所述在一个分配周期结束后,更新深度神经网络的参数,具体包括:

19、将本次分配过程产生的经验元组存入经验回放池,其中经验元组包括当前状态、分配动作、奖励值和下一状态,所述当前状态为当前采集的全局状态信息,所述分配动作为二值化时隙分配矩阵,所述下一状态为下一个分配周期开始时刻采集的下一步全局状态信息;

20、从经验回放池中随机采样小批量经验元组,基于所采样的经验元组计算深度强化学习算法的损失函数,并利用梯度下降法更新深度神经网络的参数。

21、进一步的,所述奖励值采用自适应多目标奖励函数计算,该函数至少包括系统吞吐量、业务时延和用户间公平性三个优化目标,且各优化目标的权重系数根据系统实时负载和业务优先级分布动态调整。

22、进一步的,所述自适应多目标奖励函数的表达式为:

23、

24、其中,为归一化的系统总吞吐量,为归一化的高优先级业务平均端到端时延,为归一化的用户间公平性损失;、、为自适应权重系数。

25、进一步的,所述深度强化学习算法为dueling dqn、近端策略优化、双重深度q网络、优势演员-评论家算法或离散动作版本的软演员-评论家算法中的一种。

26、进一步的,所述分配周期为mf-tdma卫星通信系统的帧周期;

27、所述时隙分配表通过前向链路广播至各终端。

28、进一步的,所述深度神经网络包括多个全连接层和卷积层,用于提取状态特征。

29、本发明的技术方案至少具有如下优点和有益效果:

30、本发明公开了一种基于深度强化学习的mf-tdma时隙资源分配方法,通过将全局状态信息编码为标准状态张量并输入深度神经网络,在输出端利用可微约束满足层内嵌的同频同时隙唯一性约束,能够直接生成满足物理约束的二值化时隙分配矩阵,从而保证分配方案在输出时即符合mf-tdma体制要求,避免了无效解的生成和后续修复开销。

31、同时,该方法以分配周期为驱动实现参数的持续更新,使决策策略能够从历史交互中自主学习业务流量的时序规律,在突发业务到达前即可形成预测性的资源预留,显著降低高优先级业务的等待时延和资源碎片化程度,提升系统整体吞吐量和资源利用效率。

32、另外,通过将经验元组存入经验回放池并随机采样小批量数据进行损失函数计算和梯度下降更新,能够打破样本间的时间相关性,稳定训练过程,提升神经网络的泛化能力和策略的鲁棒性。

1.一种基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于,包括:

2.根据权利要求1所述的基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于:所述全局状态信息包括:各终端的待传输数据队列长度及业务优先级、各终端的信道质量指示、以及当前的时隙-频率二维资源占用图。

3.根据权利要求2所述的基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于:所述采集mf-tdma卫星通信系统的全局状态信息,并将其编码为标准状态张量,具体包括:

4.根据权利要求3所述的基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于:所述深度神经网络经前向计算后,通过可微约束满足层输出满足唯一性约束的二值化时隙分配矩阵,具体包括:

5.根据权利要求1所述的基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于:所述在一个分配周期结束后,更新深度神经网络的参数,具体包括:

6.根据权利要求5所述的基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于:所述奖励值采用自适应多目标奖励函数计算,该函数至少包括系统吞吐量、业务时延和用户间公平性三个优化目标,且各优化目标的权重系数根据系统实时负载和业务优先级分布动态调整。

7.根据权利要求6所述的基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于:所述自适应多目标奖励函数的表达式为:

8.根据权利要求5所述的基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于:所述深度强化学习算法为dueling dqn、近端策略优化、双重深度q网络、优势演员-评论家算法或离散动作版本的软演员-评论家算法中的一种。

9.根据权利要求1所述的基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于:所述分配周期为mf-tdma卫星通信系统的帧周期;

10.根据权利要求1所述的基于深度强化学习的mf-tdma时隙资源分配方法,其特征在于:所述深度神经网络包括多个全连接层和卷积层,用于提取状态特征。