低轨卫星星座的选择方法、系统、装置和存储介质与流程

1.本发明涉及5g移动通信技术领域，尤其是一种低轨卫星星座的选择方法、系统、装置和存储介质。


背景技术：

2.相关技术中，陆地移动通信服务由于经济和技术的限制，有很多区域都没有覆盖到，例如海洋、森林、沙漠等地区。卫星网络可以很好解决这些陆地一定服务覆盖不到的区域，成为陆地移动通信的有利补充。低轨卫星能大大缩短数据传输延迟，并且随着现代移动通信和电子元器件技术的飞速发展，制约早期低轨卫星通信系统的通话质量、数据传输速率和使用成本等问题都迎刃而解，低轨卫星通信的应用时机已经成熟。但是，在低轨卫星通信过程中，如果所选择的低轨卫星星座覆盖很稀疏，则会使得用户通信中断，而覆盖范围较好的星座则没有得到利用，导致大量卫星资源浪费。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种低轨卫星星座的选择方法、系统、装置和存储介质，能够有效提高卫星资源的利用率。
4.一方面，本发明实施例提供了一种低轨卫星星座的选择方法，包括以下步骤：
5.获取覆盖目标卫星终端的所有低轨卫星星座；
6.获取所述所有低轨卫星星座的第一可视时间和第一链路时延；
7.以所述第一可视时间和所述第一链路时延为状态，以所述低轨卫星星座的切换动作为行为，构建所述低轨卫星星座对应的第一q值矩阵表；
8.初始化所述第一q值矩阵表中的q值；
9.根据预设训练次数训练得到的第一q值矩阵表，从所述所有低轨卫星星座中选择满足预设要求的低轨卫星星座作为目标低轨卫星星座，以使所述目标低轨卫星星座与所述目标卫星终端通信。
10.在一些实施例中，每一次训练所述第一q值矩阵表包括以下步骤：
11.以遍历完覆盖所述目标卫星终端的所有星座为目标状态，采用强化学习算法更新所述第一q值矩阵表。
12.在一些实施例中，所述第一q值矩阵表通过以下步骤进行训练：
13.在当前状态的所有可能行为中选择一个行为执行，得到下一步状态和奖励值；
14.根据所述下一步状态的最大q值和所述奖励值更新当前状态被选择行为的q值。
15.在一些实施例中，所述在当前状态的所有可能行为中选择一个行为执行，得到下一步状态和奖励值，包括：
16.在当前状态的所有可能行为中选择一个行为执行，得到下一状态对应的下一星座的第一可视时间和第一链路时延；
17.根据所述下一星座的第一可视时间和第一链路时延确定所述奖励值。
18.在一些实施例中，所述奖励值通过以下公式获得：
[0019][0020]
其中，reward表示奖励值，t表示第一可视时间，d表示第一链路时延。
[0021]
在一些实施例中，所述根据所述下一步状态的最大q值和所述奖励值更新当前状态被选择行为的q值，包括：
[0022]
根据所述下一状态的最大q值和所述奖励值确定当前状态的期望q值；
[0023]
根据当前状态的期望q值与更新前的当前状态的q值的差距更新当前状态被选择行为的q值。
[0024]
在一些实施例中，在所述目标低轨卫星星座与所述目标卫星终端通信后，所述方法还包括以下步骤：
[0025]
获取所述目标低轨卫星星座内所有卫星的第二可视时间和第二链路时延；
[0026]
以所述第二可视时间和所述第二链路时延为状态，以所述目标低轨卫星星座内卫星的切换动作为行为，构建所述卫星对应的第二q值矩阵表；
[0027]
初始化所述第二q值矩阵表中的q值；
[0028]
根据预设训练次数训练所述第二q值矩阵表，从所述目标低轨卫星星座内的所有卫星中选择与所述目标卫星终端通信的目标低轨卫星。
[0029]
另一方面，本发明实施例提供了一种低轨卫星星座的选择系统，包括：
[0030]
第一模块，用于获取覆盖目标卫星终端的所有低轨卫星星座；
[0031]
第二模块，用于获取所述所有低轨卫星星座的第一可视时间和第一链路时延；
[0032]
第三模块，用于以所述第一可视时间和所述第一链路时延为状态，以所述低轨卫星星座的切换动作为行为，构建所述低轨卫星星座对应的第一q值矩阵表；
[0033]
第四模块，用于初始化所述第一q值矩阵表中的q值；
[0034]
第五模块，用于根据预设训练次数训练得到的第一q值矩阵表，从所述所有低轨卫星星座中选择满足预设要求的低轨卫星星座作为目标低轨卫星星座，以使所述目标低轨卫星星座与所述目标卫星终端通信。
[0035]
另一方面，本发明实施例提供了一种低轨卫星星座的选择装置，包括：
[0036]
至少一个存储器，用于存储程序；
[0037]
至少一个处理器，用于加载所述程序以执行前述的低轨卫星星座的选择方法。
[0038]
另一方面，本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现前述的低轨卫星星座的选择方法。
[0039]
本发明实施例提供的一种低轨卫星星座的选择方法，具有如下有益效果：
[0040]
本实施例通过获取到覆盖目标卫星终端的所有低轨卫星星座后，获取该所有低轨卫星星座的可视时间和链路时延，然后以可视时间和链路时延为状态，以低轨卫星星座的切换动作为行为，构建低轨卫星星座对应的q值矩阵表，并在初始化该q值矩阵表中的q值后，根据预设训练次数训练得到的第一q值矩阵表，从所有低轨卫星星座中选择满足预设要求的低轨卫星星座作为目标低轨卫星星座，并通过目标低轨卫星星座与目标卫星终端通信，从而使得目标卫星终端能够与覆盖范围更好的星座通信，有效提高卫星资源的利用率。
[0041]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变
得明显，或通过本发明的实践了解到。
附图说明
[0042]
下面结合附图和实施例对本发明做进一步的说明，其中：
[0043]
图1为本发明实施例一种低轨卫星星座的通信示意图；
[0044]
图2为本发明实施例一种低轨卫星星座的选择方法的流程图；
[0045]
图3为本发明实施例一种低轨卫星星座的选择方法的应用场景示意图。
具体实施方式
[0046]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0047]
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0048]
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0049]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
[0050]
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0051]
在进行具体实施例阐述之前，对本技术实施例涉及的术语名词进行解释：
[0052]
5gc：5g核心网，是5g移动网络的核心。它为最终用户建立可靠、安全的网络连接，并提供对其服务的访问。核心域处理移动网络中的各种基本功能，例如连接性和移动性管理、身份验证和授权、用户数据管理和策略管理等。5g核心网络功能完全基于软件并设计为云原生，这意味着它们与底层云基础设施无关，从而实现更高的部署敏捷性和灵活性。
[0053]
amf：英文全称为access and mobility managementfunction，中文解释为接入和移动性管理功能网元，其功能包括连接管理、可达性管理、流动性管理、接入授权等。
[0054]
smf：英文全称为session management function，中文解释为会话管理功能网元，其功能包括会话管理，例如会话建立、修改和释放等，包括upf和an节点之间的通道维护等。
[0055]
卫星星座：是指发射入轨能正常工作的卫星的集合，通常是由一些卫星环按一定的方式配置组成的一个卫星网。主要的卫星星座有gps卫星星座、glonass卫星星座、
galileo卫星星座和北斗卫星星座等。
[0056]
nwdaf：英文全称为network data analytics function，中文解释为网络数据分析网元，是5g核心网网元中负责根据网络服务的请求数据提供网络分析服务。
[0057]
下面结合附图对本技术实施例进行具体阐述：
[0058]
参照图1，在低轨卫星系统中，由于星座设计的多样性，会出现有的星座不能满足连续覆盖的要求，因此，可能需要多个星座联合在一起给卫星终端提供服务，才能满足卫星终端通信的连续性需求。在这个过程中，会导致卫星终端需要频繁进行星座切换，如果切换到覆盖范围很稀疏的星座，则会导致通信频繁中断，而覆盖范围较好的星座则没有得到利用，使得大量的卫星资源浪费。
[0059]
基于此，如图2所示，本发明实施例提供了一种低轨卫星星座的选择方法，本实施例方法在实施过程中包括但不限于以下步骤：
[0060]
步骤s210、获取覆盖目标卫星终端的所有低轨卫星星座；
[0061]
步骤s220、获取所有低轨卫星星座的第一可视时间和第一链路时延；
[0062]
步骤s230、以第一可视时间和所述第一链路时延为状态，以低轨卫星星座的切换动作为行为，构建低轨卫星星座对应的第一q值矩阵表；
[0063]
步骤s240、初始化第一q值矩阵表中的q值；
[0064]
步骤s250、根据预设训练次数训练得到的第一q值矩阵表，从所有低轨卫星星座中选择满足预设要求的低轨卫星星座作为目标低轨卫星星座，以使目标低轨卫星星座与所述目标卫星终端通信。
[0065]
在本技术实施例中，每一次训练第一q值矩阵表都是以遍历完覆盖所述目标卫星终端的所有星座为目标状态，采用强化学习算法更新所述第一q值矩阵表。在本实施例中，由于星座设置的不同，使得星座所覆盖的范围也不相同，即对于同一个目标卫星终端，多个低轨卫星星座在改目标卫星终端的覆盖范围也不相同，因此，随着目标卫星终端的移动，需要切换不同的星座进行通信，才能更好地维持目标卫星终端通信的持续性和稳定性。本实施例为了更好的选择目标星座进行通信，首先获取覆盖目标卫星终端的所有低轨卫星星座的可视时间作为第一可视时间，以及获取对应的链路时延作为第一链路时延。然后以第一可视时间和第一链路时延为状态，以低轨卫星星座的切换动作为行为，构建低轨卫星星座对应的q值矩阵表作为第一q值矩阵表。具体地，第一q值矩阵表图表1所示：
[0066]
表1
[0067][0068]
[0069]
参照表1，q值矩阵表中的状态表示星座，行为表示在当前星座的下一切换动作，q值矩阵表中的数值为q值，q值表征在对应星座按照对应的切换动作得到通信质量奖励值。在构建q值矩阵表后，初始化q值矩阵表的每一个值为0，然后采用强化学习算法中的q-learning更新q值矩阵表，即随机选择一个初始状态，即随机选择覆盖目标卫星终端的星座开始更新q值，直到所有星座完成一次q值矩阵表的训练更新，按照预设训练次数反复更新q值矩阵表后，得到训练完成的q值矩阵表。示例性地，如图1所示，以3个星座和4个动作为例，更新后的q值矩阵表如表2所示：
[0070]
表2
[0071][0072]
假设星座s1为目标卫星终端通信的开始通信星座，按照星座s1所有可能行为中q值最大的行为确定下一切换的目标星座，即在星座s1向下切换到星座s2，同样取星座s2所有可能行为中q值最大的行为确定下一切换的目标星座，依次类推，直到遍历完星座s3，从而获得覆盖目标卫星终端的所有星座的切换策略，使卫星终端可以根据切换策略切换与星座的通信过程，以在每个阶段都可以与覆盖范围更好的星座通信，从而有效提高卫星资源的利用率。
[0073]
可以理解的是，本发明实施例给出的星座切换方向包括上、下、左、右，星座切换方向也可以是更少或者更多的方向，星座切换方向可以采用与参考线的夹角角度方式进行表示。
[0074]
在本技术实施例中，第一q值矩阵表通过以下步骤进行训练：
[0075]
在当前状态的所有可能行为中选择一个行为执行，得到下一步状态和奖励值；
[0076]
根据下一步状态的最大q值和所述奖励值更新当前状态被选择行为的q值。
[0077]
可以理解的使，在第一次训练第一q值矩阵表的过程中，由于第一q值矩阵表中的每一个值均为0，因此下一状态的最大q值也为0，此时可以随机选择任意一个下一状态的最大q值结合从当前状态跳到下一状态获得的奖励值来更新当前状态被选择行为的q值，然后进入下一状态的q值更新，直到所有状态的q值被更新则完成一次训练。
[0078]
本实施例中，在当前状态的所有可能行为中选择一个行为执行，得到下一步状态和奖励值这一步骤中，可以通过在当前状态的所有可能行为中选择一个行为执行，得到下一状态对应的下一星座的第一可视时间和第一链路时延，根据下一星座的第一可视时间和第一链路时延确定奖励值。其中，奖励值通过公式(1)公式获得：
[0079][0080]
其中，reward表示奖励值，t表示第一可视时间，d表示第一链路时延。
[0081]
在本实施例中，通过星座的可视时间和链路时延来计算每个星座的奖励值，使得q值矩阵中q值融入星座的通信特征，将通信特征融入到奖励值计算中，使得q值矩阵表中的q值携带有星座通信特征，从而可以更好地分析得到目标卫星终端的星座切换策略。
[0082]
本实施例中，根据所述下一步状态的最大q值和奖励值更新当前状态被选择行为的q值，可以通过根据下一状态的最大q值和奖励值确定当前状态的期望q值，然后根据当前状态的期望q值与更新前的当前状态的q值的差距更新当前状态被选择行为的q值。其中，q值得计算过程如公式(2)所示：
[0083]
q(c
t
,n
t
)＝reward gamma
×
arg(max(q(c
t 1
,n
t 1
)))
ꢀꢀꢀ
公式(2)
[0084]
其中，q(c
t
,n
t
)表示当前状态的期望q值，gamma表示预设的衰减值，q(c
t 1
,n
t 1
)表示下一状态的所有可能行为对应的q值。
[0085]
以继续训练表2的q值矩阵表为例，当前状态s1采取向下动作的q值为80，在当前状态s1采取向下动作后来到下一状态s2，根据星座s2的可视时间和链路时延确定奖励值，查表得到下一状态s2最大q值89，将下一状态s2最大q值乘以一个预设的衰减值再加上奖励值，得到期望q值，假设为90。计算期望q值90与当前状态s1采取向上动作的估计q值88的差值，将该差值乘以一个学习率0.5后加上原来的估计q值88，得到更新后当前状态s2采取向下动作的q值为89。
[0086]
在本技术实施例中，在目标低轨卫星星座与目标卫星终端通信后，由于以恶搞卫星星座使由若干个卫星组成，因此，在确定目标卫星终端与目标低轨卫星星座通信可以，可以采用如下方式在目标低轨卫星星座内确定卫星得切换方式。具体的，星座内得卫星切换策略包括但不限于以下步骤：
[0087]
获取目标低轨卫星星座内所有卫星的可视时间作为第二可视时间，以及卫星得链路时延作为第二链路时延；
[0088]
以第二可视时间和第二链路时延为状态，以目标低轨卫星星座内卫星的切换动作为行为，构建卫星对应的q值矩阵表作为第二q值矩阵表；
[0089]
初始化第二q值矩阵表中的q值；
[0090]
根据预设训练次数训练第二q值矩阵表，从目标低轨卫星星座内的所有卫星中选择述目标卫星终端通信的目标低轨卫星。
[0091]
具体地，本实施例的预设训练次数可以与星座策略生成过程的预设训练次数相同，也可以不相同。本实施例的q值矩阵表的训练过程与星座的q值矩阵表相同，在此不在重复赘述。本实施例的q值矩阵表构建过程，还可以结合卫星的网络通信质量作为矩阵表的状态。
[0092]
在一卫星终端注册场景中，如图3所示，包括但不限于以下步骤：
[0093]
步骤一、卫星终端(ue)发送注册请求到卫星空间基站；
[0094]
步骤二、卫星空间基站将相应的注册请求转发到接入管理网元(amf)；
[0095]
步骤三、amf将相应的注册请求转发到会话管理网元(smf)；
[0096]
步骤四、smf将分析需要用到的数据存储到数据库，例如星座的可视时间、链路时延等数据；
[0097]
步骤五、smf向网络数据分析网元(ndwaf)发送数据分析订阅请求；
[0098]
步骤六、ndwaf向数据库发送数据获取请求；
[0099]
步骤七、数据库将数据发送给ndwaf；
[0100]
步骤八、ndwaf根据图2所示的低轨卫星星座的选择方法进行策略计算，并将策略计算分析结果发送给smf；
[0101]
步骤九、smf将分析结果转发给amf；
[0102]
步骤十、amf将分析结果发送到空间基站；
[0103]
步骤十一、空间基站将切换策略发送给卫星终端(ue)，以更加切换策略切换与卫星星座的通信过程。
[0104]
本发明实施例提供了一种低轨卫星星座的选择系统，包括：
[0105]
第一模块，用于获取覆盖目标卫星终端的所有低轨卫星星座；
[0106]
第二模块，用于获取所述所有低轨卫星星座的第一可视时间和第一链路时延；
[0107]
第三模块，用于以所述第一可视时间和所述第一链路时延为状态，以所述低轨卫星星座的切换动作为行为，构建所述低轨卫星星座对应的第一q值矩阵表；
[0108]
第四模块，用于初始化所述第一q值矩阵表中的q值；
[0109]
第五模块，用于根据预设训练次数训练得到的第一q值矩阵表，从所述所有低轨卫星星座中选择满足预设要求的低轨卫星星座作为目标低轨卫星星座，以使所述目标低轨卫星星座与所述目标卫星终端通信。
[0110]
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0111]
本发明实施例提供了一种低轨卫星星座的选择装置，包括：
[0112]
至少一个存储器，用于存储程序；
[0113]
至少一个处理器，用于加载所述程序以执行图2所示的低轨卫星星座的选择方法。
[0114]
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0115]
本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现图2所示的低轨卫星星座的选择方法。
[0116]
本发明方法实施例的内容均适用于本存储介质实施例，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0117]
本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图2所示的低轨卫星星座的选择方法。
[0118]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。