卫星接入方法和智能体的训练方法

本技术涉及卫星通信，尤其涉及一种卫星接入方法和智能体的训练方法。

背景技术：

1、随着通信技术的发展，卫星通信网络因其低时延、广覆盖的特性，成为未来物联网通信的重要基础设施。在地面基站无法提供连续网络覆盖的区域，卫星可以实现大范围多设备的终端设备连接和通信网络支持。

2、随着终端数量的激增，现有的卫星接入方法缺乏对多终端设备之间接入策略的协同控制，导致高密度接入场景下卫星接入成功率下降。

3、因此，在多终端设备接入场景下，如何提高多终端设备接入卫星的成功率，成为亟待解决的问题。

技术实现思路

1、本技术实施例提供卫星接入方法和智能体的训练方法，用以提高多终端设备接入卫星的成功率。

2、第一方面，本技术实施例提供一种卫星接入方法，应用于卫星，所述方法包括：

3、获取卫星接入信息，其中，所述卫星接入信息包括所述卫星覆盖范围内的终端数量、所述卫星与所述卫星覆盖范围内各终端的距离信息以及星地信道状态信息；

4、根据所述卫星接入信息将所述卫星覆盖范围内的终端划分为多个设备簇，每个所述设备簇中包括多个所述终端；

5、将各所述设备簇的信息发送给各所述设备簇中的终端，所述设备簇的信息用于所述设备簇中的终端通过智能体确定所述终端的卫星接入策略，其中，所述智能体的参数是预先经过中心化训练得到的，所述卫星接入策略包括所述终端的接入功率和接入信道。

6、在一种可能的实施方式中，所述根据所述卫星接入信息将所述卫星覆盖范围内的终端划分为多个设备簇，包括：

7、根据所述卫星接入信息确定所述卫星覆盖范围内的各所述终端的信道增益；

8、根据所述信道增益对所述卫星覆盖范围内的终端进行分组，得到多个设备组，每个所述设备组中包括多个所述终端；

9、从多个所述设备组中各确定一个所述终端，得到一个所述设备簇，重复执行本步骤，得到多个所述设备簇。

10、在一种可能的实施方式中，所述根据所述信道增益对所述卫星覆盖范围内的终端进行分组，得到多个设备组，包括：

11、对所述卫星覆盖范围内的终端按照所述信道增益的大小进行排序，按照排序将连续的多个所述终端划分到一个所述设备组，得到多个所述设备组，其中，所述设备组的数量与所述设备簇中的终端数量相同，各所述设备组中的终端数量相同。

12、在一种可能的实施方式中，所述从多个所述设备组中各确定一个所述终端，得到一个所述设备簇，包括：

13、确定两个所述终端之间的信道增益差异匹配系数；

14、以最大化所述设备簇中的终端之间的最小信道增益差异匹配系数为目标，从多个所述设备组中各选择一个所述终端得到所述设备簇。

15、第二方面，本技术实施例提供一种卫星接入方法，应用于终端，所述终端上部署有预先经过中心化训练得到的智能体，所述方法包括：

16、接收所述终端所属的设备簇的信息，其中，所述设备簇的信息是基于卫星接入信息确定的，所述卫星接入信息包括所述卫星覆盖范围内的终端数量、所述卫星与所述卫星覆盖范围内各终端的距离信息以及星地信道状态信息；

17、由所述智能体基于所述终端的状态以及所述设备簇的信息，确定所述终端的卫星接入策略，所述卫星接入策略包括所述终端的接入功率和接入信道。

18、在一种可能的实施方式中，所述终端的状态包括所述终端在上一时刻的执行动作以及上一时刻的观测变量，所述执行动作包括所述终端不传输或者所述终端接入所述卫星，所述观测变量包括所述终端的信道增益、所述终端与所述卫星之间的距离以及所述卫星的确认应答信号。

19、第三方面，本技术实施例提供一种智能体的训练方法，应用于地面信关站，所述方法包括：

20、接收多个设备簇的信息，其中，每个所述设备簇中包括多个终端，所述设备簇的信息是基于卫星接入信息确定的，所述卫星接入信息包括所述卫星覆盖范围内的终端数量、所述卫星与所述卫星覆盖范围内各终端的距离信息以及星地信道状态信息；

21、基于所述多个设备簇的信息以及各所述设备簇中的终端的状态，对智能体进行训练，将经过训练的智能体的参数发送给各所述终端。

22、第四方面，本技术实施例提供一种卫星接入装置，所述装置包括：

23、信息获取模块，用于获取卫星接入信息，其中，所述卫星接入信息包括所述卫星覆盖范围内的终端数量、所述卫星与所述卫星覆盖范围内各终端的距离信息以及星地信道状态信息；

24、终端划分模块，用于根据所述卫星接入信息将所述卫星覆盖范围内的终端划分为多个设备簇，每个所述设备簇中包括多个所述终端；

25、策略确定模块，用于将各所述设备簇的信息发送给各所述设备簇中的终端，所述设备簇的信息用于所述设备簇中的终端通过智能体确定所述终端的卫星接入策略，其中，所述智能体的参数是预先经过中心化训练得到的，所述卫星接入策略包括所述终端的接入功率和接入信道。

26、在一种可能的实施方式中，所述终端划分模块还用于：

27、根据所述卫星接入信息确定所述卫星覆盖范围内的各所述终端的信道增益；

28、根据所述信道增益对所述卫星覆盖范围内的终端进行分组，得到多个设备组，每个所述设备组中包括多个所述终端；

29、从多个所述设备组中各确定一个所述终端，得到一个所述设备簇，重复执行本步骤，得到多个所述设备簇。

30、在一种可能的实施方式中，所述终端划分模块还用于：

31、对所述卫星覆盖范围内的终端按照所述信道增益的大小进行排序，按照排序将连续的多个所述终端划分到一个所述设备组，得到多个所述设备组，其中，所述设备组的数量与所述设备簇中的终端数量相同，各所述设备组中的终端数量相同。

32、在一种可能的实施方式中，所述终端划分模块还用于：

33、确定两个所述终端之间的信道增益差异匹配系数；

34、以最大化所述设备簇中的终端之间的最小信道增益差异匹配系数为目标，从多个所述设备组中各选择一个所述终端得到所述设备簇。

35、第五方面，本技术实施例提供一种卫星接入装置，所述装置包括：

36、信息接收模块，用于接收所述终端所属的设备簇的信息，其中，所述设备簇的信息是基于卫星接入信息确定的，所述卫星接入信息包括所述卫星覆盖范围内的终端数量、所述卫星与所述卫星覆盖范围内各终端的距离信息以及星地信道状态信息；

37、接入策略确定模块，用于由所述智能体基于所述终端的状态以及所述设备簇的信息，确定所述终端的卫星接入策略，所述卫星接入策略包括所述终端的接入功率和接入信道。

38、第六方面，本技术实施例提供一种卫星接入设备，包括：存储器，处理器；

39、所述存储器存储计算机执行指令；

40、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面或第二方面中任一项所述的方法。

41、第七方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面或第二方面中任一项所述的方法。

42、第八方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面或第二方面中任一项所述的方法。

43、本技术实施例提供的卫星接入方法和智能体的训练方法，在卫星侧，根据卫星覆盖范围内的终端数量、卫星与卫星覆盖范围内各终端的距离信息以及星地信道状态信息，将卫星覆盖范围内的终端划分为多个设备簇，得到多个独立的小规模gf-noma子系统。通过卫星将设备簇的信息发送给各终端，由地面信关站将预先过中心化训练得到的智能体的参数经过卫星转发给终端，在各终端中由智能体根据设备簇信息确定各终端的卫星接入策略，实现了子系统内终端自主决策接入，省去卫星集中调度授权流程，减少上行信令交互，在大规模终端接入的场景下，无需等待资源分配，降低接入碰撞概率，提升了卫星接入成功率。