一种多波束卫星通信系统空时频精细化资源管理方法与流程

技术特征：
1.一种多波束卫星通信系统空时频精细化资源管理方法，其特征在于，多波束卫星通信系统包括卫星、卫星用户终端、信关站，卫星采用星载多波束天线实现对地面的多波束覆盖，信关站采用深度学习算法对多波束卫星通信系统的频带资源进行精细化分配，其具体步骤包括：s1，设定卫星可形成的波束总数量为b，卫星可使用的总带宽为w
total
,卫星通过七色复用方法在空间域上对卫星的频带资源在所有波束间进行复用，即将所有波束分为7组，第j组波束组的波束集合为b
j
,j＝1,2,
…
7，同个波束组中的所有波束使用相同频带；初始状态下，各波束分配的带宽相等，均为w0；s2，设定多波束卫星通信系统采用mf
‑
tdma通信体制为卫星用户终端提供通信服务；卫星的各波束对其所分配的带宽，在频域划分为大小两种带宽的多个载波，其中，大带宽载波的带宽为w
b
，小带宽载波的带宽为w
l
，各载波间设置大小为w
g
的固定保护带宽；各载波在时域上利用超帧传输卫星用户终端的业务数据，每个超帧共有t个时隙，每个时隙长度为τ，时隙保护间隔大小为δ；s3，信关站从空、时、频三个维度建立多颗粒度卫星通信系统资源池，资源池包括空域资源池、频域资源池和时域资源池，其中空域资源池记录和管理卫星的七色复用方法中各波束组内波束的带宽分配信息，频域资源部分记录和管理卫星所有波束内载波的使用情况，时域资源部分记录和管理超帧中各时隙的使用情况；s4，卫星用户终端分为小型用户终端和大型用户终端两类，小型用户终端由于其发射功率限制，无法使用卫星波束中的大带宽载波传输业务数据，大型用户终端无上述限制；s5，设定卫星用户终端共支持q类业务，每类业务各有p种信息速率，信息速率档位共有m种，m＝p
·
q，第m档位的信息传输速率值表示为r
m
,m＝1,2,
…
,m，卫星用户终端根据需要传输的业务种类和其终端传输能力，从m档信息传输速率中选择其要申请的信息传输速率，并向信关站发送业务传输请求，业务传输请求表示为：u
req
＝{r
m,u
,type
u
|m＝1,2,
…
,m,u＝1,2,
…
,u,type＝0,1}，其中r
m,u
表示第u个卫星用户终端申请的第m档位的信息传输速率，type
u
表示第u个卫星用户终端的类型，type
u
为0表示卫星用户终端为小型终端，type
u
为1表示卫星用户终端为大型终端，u为一个波束内的请求服务的卫星用户终端数量；s6，信关站接收到来自卫星用户终端的业务传输请求后，根据卫星用户终端需求和资源池中的卫星通信资源使用情况，以多波束卫星通信系统的服务用户数量、吞吐量和用户满意度最大化为目标，建立多目标优化模型；s7，信关站基于多目标优化模型，使用深度强化学习算法，对深度q网络进行训练和学习；s8，根据步骤s7对深度q网络的最终的训练结果，信关站将多波束卫星通信系统状态输入深度q网络，对加权多目标优化模型的输入变量进行寻优，得到七色复用方法中各色波束带宽调整结果，各波束中大、小载波的分配结果和各超帧中时隙的分配结果，实现卫星通信资源的动态调整和分配并更新资源池，从而完成了多波束卫星通信系统空时频资源的精细化管理。2.如权利要求1所述的多波束卫星通信系统空时频精细化资源管理方法，其特征在于，步骤s6所述的建立多目标优化模型，多目标优化模型的表达式具体为：
其中，n为多波束卫星通信系统服务用户数量，t为多波束卫星通信系统吞吐量，s为多波束卫星通信系统用户满意度，b为卫星可形成的波束总数量，u为一个波束内的请求服务的卫星用户终端数量，b为波束序号，u为卫星用户终端的序号，x
b,u
表示给第b个波束的第u个卫星用户终端分配的大带宽载波资源块，y
b,u
表示给第b个波束的第u个卫星用户终端分配的小带宽载波资源块，sign()为符号函数，v1为大带宽载波资源块所能提供的吞吐量，v2为小带宽载波资源块所能提供的吞吐量，r
b,u
为第b个波束的第u个卫星用户终端的所申请的信息传输速率，r
min
表示卫星用户终端的最小档位的信息传输速率，type
b,u
表示第b个波束的第u个卫星用户终端的类型；对于约束条件，c1至c4分别表示第1至第4个约束条件，在约束条件c1中，约束条件c1中，表示上取整，a
j
表示第j个波束组所占用的总带宽，约束条件c1表示所有的波束组占用带宽和不超过卫星可使用的总带宽，约束条件c2表示给某个卫星用户终端分配的信息传输速率不能低于其最低档位的信息传输速率，同时不能超过该卫星用户终端申请的信息传输速率；约束条件c3表示小型卫星用户终端无法使用卫星波束中的大带宽载波传输业务数据；约束条件c4表示一个用户终端分配的资源块数量不能超过一个超帧的时隙数量；将多波束卫星通信系统向用户终端分配的通信资源称为资源块，大带宽载波的通信资源所对应的资源块称为大带宽载波资源块，小带宽载波的通信资源所对应的资源块称为小带宽载波资源块；根据n、t和s三个目标的重要性程度，建立加权多目标优化模型g0(λ)，其表达式为：
其中，n、t和s三个目标函数的权重值分别为ω1、ω2、ω3。3.如权利要求1所述的多波束卫星通信系统空时频精细化资源管理方法，其特征在于，所述的步骤s7，假设信关站为智能体，假设卫星资源和卫星用户终端需求为环境，将多波束卫星通信系统的资源分配问题建模为智能体与环境的交互过程，并通过对深度q网络训练和学习，以达到资源分配结果的累积收益最大化，该过程具体包括：s71，初始化深度强化学习算法参数，深度强化学习算法参数包括经验池大小、经验数量学习门限、探索概率、折扣因子、智能体的网络参数、目标网络更新频率、奖励值函数；设定算法训练轮次上限为l，当前轮次数loop＝0；s72，令当前轮次数loop＝loop 1，深度强化学习算法从信关站存储的多波束卫星通信系统资源分配历史数据中，读取包括卫星可形成的波束总数量、卫星波束复用信息、卫星可使用总带宽、卫星用户终端数量、卫星用户终端的业务请求信息的集合在内的一组数据，作为当前轮次的初始环境状态s0，设定i为环境状态的序号，令i的初始值为0；s73，假设第i个轮次的环境状态为s
i
，智能体根据环境状态和算法参数选择第i个轮次的资源分配动作a
i
并执行，其中资源分配动作包括分配资源和拒绝服务两类，根据第i个轮次的资源分配动作和设定的奖励值函数获取第i 1个轮次的奖励r
i 1
，更新执行a
i
后的环境状态为s
i 1
，形成本次资源分配动作的经验数据为{s
i
,a
i
,r
i 1
,s
i 1
}，将此经验数据存入经验池中，同时，令i＝i 1；当经验数据的数量达到训练门限时，从经验池中抽取一定数量的经验数据对深度q网络进行训练更新；s74，在对深度q网络训练时，需要对其误差函数进行计算，并将误差通过梯度下降法反向传播，每隔固定步数f，用深度q网络参数ω更新目标q网络参数使得s75，当可用卫星资源为空，或完成所有卫星用户终端需求的资源分配时，判断当前环境状态达到最终状态，转至步骤s76；反之，判断当前环境状态没有达到最终状态，转至步骤s73；s76，判断当前轮次数loop是否大于轮次上限l，若当前轮次数loop大于轮次上限l，则完成深度q网络的训练和学习，否则转至步骤s72开始下一轮次的训练。

技术总结
本发明公开了一种多波束卫星通信系统空时频精细化资源管理方法，其步骤包括：建立空时频三维多颗粒度卫星通信资源池；根据卫星用户终端的不同类型，设定多种信息速率档位；根据用户终端需求和资源池中的卫星通信资源使用情况，建立多目标优化模型；信关站使用深度强化学习算法得到分配结果，对卫星通信资源进行调整和分配，并更新资源池。本发明实现了资源受限下的多波束卫星通信系统用户容量、吞吐量和用户服务质量的综合优化，具有资源利用率和管理精细化程度高的优点；通过构建多目标优化模型进行资源分配，能够实现分配结果的综合最优；采用深度强化学习算法进行资源管理，算法计算速度快、占用算力少。占用算力少。占用算力少。


技术研发人员：何元智 盛彪
受保护的技术使用者：军事科学院系统工程研究院网络信息研究所
技术研发日：2021.07.12
技术公布日：2021/10/23