多星协同对地观测任务规划方法、装置、卫星及地面站与流程

本技术涉及卫星通信，尤其涉及一种多星协同对地观测任务规划方法、装置、卫星及地面站。

背景技术：

1、随着低轨卫星星座规模的扩大和任务复杂度的提升，单星独立规划已难以满足多任务并发、资源受限、动态环境变化等需求。相关技术中的多星协同对地观测任务规划方案难以兼具实时性与全局最优性。

技术实现思路

1、本技术实施例提供一种多星协同对地观测任务规划方法、装置、卫星及地面站，用以兼具实时性与全局最优性。

2、第一方面，本技术实施例提供一种多星协同对地观测任务规划方法，地面站与卫星集合中的各所述卫星分别通信连接，所述方法应用于任一卫星，所述方法包括：

3、响应于所述地面站发送的任务集合，遍历所述任务集合，并且每遍历到一个任务，就执行以下操作：

4、将状态信息输入策略网络，通过所述策略网络输出对所述任务的动作概率分布；所述状态信息包括卫星状态和任务状态；

5、根据所述动作概率分布确定针对所述任务的目标动作，并向所述地面站返回所述目标动作；

6、接收所述地面站发送的规划结果，所述规划结果用于表示所述地面站根据各所述卫星分别发送的目标动作所确定的用于处理所述任务的目标卫星。

7、在一种可能的实施方式中，所述动作概率分布包括多种动作分别对应的概率，所述概率表示所述卫星执行对应动作的可能性；所述根据所述动作概率分布确定针对所述任务的目标动作，包括：

8、根据所述动作概率分布采用贪心选择算法从所述多种动作中选择所述目标动作。

9、在一种可能的实施方式中，所述卫星状态包括剩余能量、剩余存储容量、在轨观测窗口、载荷类型以及载荷分辨率中的至少一项；所述任务状态包括优先级、所需能量以及所需存储容量中的至少一项。

10、第二方面，本技术实施例提供一种多星协同对地观测任务规划方法，地面站与卫星集合中的各所述卫星分别通信连接，所述方法应用于所述地面站，所述方法包括：

11、向各所述卫星发送任务集合；

12、针对所述任务集合中的各所述任务，接收各所述卫星针对所述任务发送的目标动作；

13、根据各所述目标动作以及多个预设约束条件，从所述卫星集合中确定用于处理所述任务的目标卫星，以获得规划结果；

14、向各所述卫星分别发送所述规划结果。

15、在一种可能的实施方式中，所述多个预设约束条件包括任务约束、卫星约束和环境约束；其中，所述任务约束包括最小任务时间间隔约束、任务唯一性约束；所述卫星约束包括能量约束、存储约束、有效载荷约束；所述环境约束包括有效载荷分辨率约束。

16、在一种可能的实施方式中，一个卫星对应一个智能体，所述方法还包括：

17、采用基于强化学习的多智能体近端策略优化算法对各所述智能体的策略网络进行迭代训练，直至迭代次数达到预设次数，得到训练完成的策略网络；

18、针对各所述卫星，将所述卫星对应智能体的训练完成的策略网络部署到所述卫星上。

19、在一种可能的实施方式中，所述采用基于强化学习的多智能体近端策略优化算法对各所述智能体的策略网络进行迭代训练，包括：

20、初始化各所述智能体的策略网络中的第一网络参数以及价值函数中的第二网络参数；

21、初始化经验池；

22、在每次迭代训练中，执行以下操作：

23、针对预设采样时长中的各采样时刻，通过各所述智能体分别与环境交互以获得各采样时刻的轨迹数据，并且每获得一个采样时刻的轨迹数据就存储到所述经验池；

24、遍历各所述智能体，并且每遍历一个智能体就从所述经验池中获取所述智能体在各采样时刻的轨迹数据；根据各采样时刻的轨迹数据确定第一网络参数的梯度以及第二网络参数的梯度；

25、采用梯度上升方式更新策略网络的第一网络参数，以及，采用梯度下降方式更新价值函数中的第二网络参数。

26、在一种可能的实施方式中，所述通过各所述智能体分别与环境交互以获得各采样时刻的轨迹数据，包括：

27、针对各所述智能体，通过所述智能体根据策略网络以及当前采样时刻的状态信息生成当前采样时刻的动作，且执行所述动作；

28、确定当前采样时刻的奖励以及更新下一采样时刻的状态信息；

29、其中，所述轨迹数据包括当前采样时刻的状态信息、动作及奖励，且还包括下一采样时刻的状态信息。

30、第三方面，本技术实施例提供一种多星协同对地观测任务规划装置，地面站与卫星集合中的各所述卫星分别通信连接，所述多星协同对地观测任务规划装置集成在任一卫星中，所述多星协同对地观测任务规划装置包括：

31、规划模块，用于响应于所述地面站发送的任务集合，遍历所述任务集合，并且每遍历到一个任务，就执行以下操作：

32、将状态信息输入策略网络，通过所述策略网络输出对所述任务的动作概率分布；所述状态信息包括卫星状态和任务状态；

33、根据所述动作概率分布确定针对所述任务的目标动作，并向所述地面站返回所述目标动作；

34、接收所述地面站发送的规划结果，所述规划结果用于表示所述地面站根据各所述卫星分别发送的目标动作所确定的用于处理所述任务的目标卫星。

35、第四方面，本技术实施例提供一种多星协同对地观测任务规划装置，地面站与卫星集合中的各所述卫星分别通信连接，所述多星协同对地观测任务规划装置集成在所述地面站中，所述多星协同对地观测任务规划装置包括：

36、发送模块，用于向各所述卫星发送任务集合；

37、接收模块，用于针对所述任务集合中的各所述任务，接收各所述卫星针对所述任务发送的目标动作；

38、确定模块，用于根据各所述目标动作以及多个预设约束条件，从所述卫星集合中确定用于处理所述任务的目标卫星，以获得规划结果；

39、所述发送模块，还用于向各所述卫星分别发送所述规划结果。

40、第五方面，本技术实施例提供一种卫星，包括：处理器以及与所述处理器通信连接的存储器；

41、所述存储器存储计算机执行指令；

42、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面和/或第一方面各种可能的实施方式。

43、第六方面，本技术实施例提供一种地面站，包括：处理器以及与所述处理器通信连接的存储器；

44、所述存储器存储计算机执行指令；

45、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第二方面和/或第二方面各种可能的实施方式。

46、第七方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式，或者，用于实现如上第二方面和/或第二方面各种可能的实施方式。

47、第八方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式，或者，用于实现如上第二方面和/或第二方面各种可能的实施方式。

48、本技术实施例提供的多星协同对地观测任务规划方法、装置、卫星及地面站，针对地面站发送的任务集合中每个遍历到的任务，针对单个卫星而言，基于卫星状态与任务状态构建状态信息并输入策略网络，输出的动作概率分布可量化卫星执行任务的适配性。通过将任务决策环节下沉至卫星端，卫星可基于自身状态自主评估任务执行能力，减少地面站的集中计算压力，适配多星分布式协同的应用场景。地面站汇总所有卫星的目标动作，并结合预设约束条件筛选目标卫星，实现多星资源的全局统筹分配，避免卫星间任务执行冲突。卫星端自主决策与地面站全局统筹相结合，形成分布式决策结合集中式协调的多星协同模式，既发挥单卫星的状态感知优势，又保障多星系统的协同一致性，有效提升多星协同对地观测任务规划的精准度、实时性与可靠性。