一种深度强化学习的异构星群自主指挥控制系统和方法

本发明涉及航天，更具体的说是涉及一种深度强化学习的异构星群自主指挥控制系统和方法。

背景技术：

1、目前，随着航天技术的飞速发展，功能固化的单一航天器已难以满足日益复杂的空间任务需求。为此，由多颗卫星协同工作的卫星星座或星群系统应运而生。凭借广域覆盖、高鲁棒性以及任务模式灵活等优势，卫星星座或星群系统在通信、导航、遥感、空间态势感知及空间安全等领域展现出重要应用潜力。

2、现有的大多数航天器博弈策略算法，其研究范畴往往局限于一对一的对抗场景。该类模型将复杂的星群间博弈问题简化为两个单一实体之间的追逃或对抗，虽然便于理论分析和建模，但难以满足复杂空间任务中多星协同的实际需求。在真实的星群协同任务中，一方或双方通常由多颗功能、性能、载荷各异的卫星组成，这种异构性是星群系统的核心特征与优势所在。然而，单对单的博弈模型忽略了这一关键特性，无法解决群体对抗中由谁执行追击、由谁负责监视、由谁进行干扰、由谁实施中继等任务分配问题。一个高效的星群系统在进入博弈状态前，通常需要根据任务态势和各卫星自身状态，如燃料、位置、载荷能力等，进行任务分配，以提高资源利用效率。在博弈过程中，星群成员之间也需要通过协同控制保持或动态调整特定几何构型，以保证通信、观测或机动效果。

3、然而，现有技术通常将博弈过程孤立处理，割裂了博弈决策与任务分配、构型保持之间的内在联系，使得策略输出难以具备系统层面的最优性，也无法充分发挥星群的整体协同优势。

4、此外，当前航天器追逃博弈决策研究大多采用微分对策方法。该方法结合博弈论和最优控制理论，能够较为精确地获得航天器轨道博弈的纳什均衡策略。但是，该方法仍存在如下局限：首先，在大多数情况下，微分对策方法并不存在解析解，对于轨道博弈问题同样如此，通常需要消耗大量计算资源进行数值求解。其次，对于不完全观测下的轨道博弈问题，该方法通常还需要额外采用滤波等方式对缺失信息进行估计，再使用完全信息下的算法求解博弈策略，由此进一步增加计算量。现有星载计算机的算力有限，难以负担此类复杂在线计算，因此算法实时性难以得到保证；对于高速运行的航天器而言，实时性不足会显著限制该类方法的实际应用价值。

5、因此，如何在考虑星群异构性和资源优化调度的基础上，实现异构星群的实时自主追逃决策和协同构型控制，是本领域技术人员亟需解决的问题。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种深度强化学习的异构星群自主指挥控制系统和方法。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明实施例提供一种深度强化学习的异构星群自主指挥控制系统，包括策略网络训练层、星群协同规划层和智能博弈决策层，所述异构星群包括主星和k个从星，其中：

4、所述策略网络训练层，用于在地面环境中预先训练策略网络，所述策略网络包括追踪策略网络和逃逸策略网络；

5、所述智能博弈决策层，包括策略生成模块；所述策略生成模块用于在轨执行过程中调用所述追踪策略网络，并生成追击星针对目标星的追踪动作；

6、所述星群协同规划层，包括全局任务分配模块和战术构型保持模块；所述全局任务分配模块用于根据所述异构星群中所述k个从星的卫星能力参数和全局优化算法生成从星任务分配方案，所述从星任务分配方案包括参与协同任务的从星组合以及各所述从星的执行任务，所述k为大于1的整数；所述战术构型保持模块，用于根据所述从星任务分配方案和所述追击星的运动状态，控制所述从星保持战术构型，并在所述从星存在碰撞风险时基于所述逃逸策略网络生成避障控制量；

7、其中，在追逐初始阶段，所述追击星为所述主星，所述主星根据所述追踪动作追踪所述目标星，所述从星围绕所述主星保持战术构型；在进入末段包围阶段时，所述主星与所述目标星保持安全距离，并构建作为虚拟追击中心的虚拟主星，所述追击星切换为所述虚拟主星，所述虚拟主星根据所述追踪动作继续趋近所述目标星，所述从星脱离所述主星并围绕所述虚拟主星保持战术构型，以实现对所述目标星的轨道包围。

8、在一实施方式中，所述策略网络训练层，具体包括：

9、模型池构建模块，用于构建m个模型池，所述模型池至少包括追踪策略模型池、逃逸策略模型池和规则策略模型池；所述追踪策略模型池包括多个追踪策略模型，所述逃逸策略模型池包括多个逃逸策略模型，所述规则策略模型池包括多个规则策略模型，m为大于等于3的整数；

10、对抗模型选取模块，用于确定待训练模型，并根据所述待训练模型与候选对抗模型的历史平均奖励计算选择权重，并根据所述选择权重从除所述待训练模型所在模型池之外的模型池中选取所述候选对抗模型，所述历史平均奖励为所述待训练模型与所述候选对抗模型在历史博弈过程中获得的平均奖励；

11、对抗模块，用于根据所述待训练模型和所述候选对抗模型进行博弈对抗得到训练完成的追踪策略模型或训练完成的逃逸策略模型，并将所述训练完成的追踪策略模型或训练完成的逃逸策略模型加入对应的策略模型池，作为训练完成的策略网络。

12、在一实施方式中，所述策略网络训练层还包括奖励函数构建模块，所述奖励函数构建模块具体包括：

13、状态获取单元，用于获取所述追击星与所述目标星的相对距离、相对距离变化量和执行所述追踪动作对应的加速度；

14、追踪过程奖励函数构建单元，用于根据所述追击星不执行所述追踪动作时下一时刻与所述目标星的预测距离、所述追击星执行所述追踪动作后下一时刻与所述目标星的实际距离、执行所述追踪动作前后的相对距离缩短值和所述加速度，构建追踪过程奖励子函数：

15、

16、其中，为追击星在不执行所述追踪动作时下一时刻与目标星的预测距离，为追击星在执行所述追踪动作后下一时刻与目标星的实际距离，表示在执行追踪动作前追击星与目标星的相对距离，表示再执行所述追踪动作后追击星与目标星的相对距离，表示在执行追踪动作后的相对距离缩短值，为所述加速度，、、为权重参数；

17、追踪终端奖励函数构建单元，用于构建终端奖励子函数，所述终端奖励子函数为：

18、

19、其中，为追踪终端奖励，为时间衰减系数，为最大训练步数，为捕获距离阈值；

20、综合奖励构建单元，用于将所述追踪过程奖励子函数和所述追踪终端奖励子函数合并，构建用于训练所述追踪策略网络的综合奖励函数。

21、在一实施方式中，所述策略网络训练层，还包括：

22、策略模型训练模块，用于基于演员-评论家架构及td3算法，迭代训练生成所述追踪策略模型与所述逃逸策略模型。

23、在一实施方式中，所述策略模型训练模块，具体用于：

24、初始化演员网络、第一评论家网络和第二评论家网络的网络参数，以及，初始化对应的演员目标网络、第一评论家目标网络和第二评论家目标网络；

25、将初始化后的演员网络与仿真环境交互，得到数据元组，所述数据元组包括当前状态数据、在所述当前状态数据下输出的执行动作、获得奖励以及执行所述执行动作后的下一状态数据；

26、通过所述数据元组和td3算法对初始化后的第一评论家网络和初始化后的第二评论家网络的网络参数进行更新，并按照预设更新频率更新初始化后的演员网络的网络参数；

27、通过更新后的演员网络、更新后的第一评论家网络和更新后的第二评论家网络，更新所述演员目标网络、所述第一评论家目标网络和所述第二评论家目标网络；

28、基于所述更新后的演员网络、所述更新后的第一评论家网络、所述更新后的第二评论家网络和各自对应的目标网络进行迭代训练，得到策略模型，所述策略模型为所述追踪策略模型和所述逃逸策略模型。

29、在一实施方式中，所述全局任务分配模块，具体用于：

30、根据各所述从星的功能类型和卫星能力参数，构建效能权重矩阵，所述效能权重矩阵中的矩阵元素用于表征各所述从星执行对应任务类型的效能；

31、构建用于表征从星任务分配方案的0-1任务分配矩阵，其中，所述0-1任务分配矩阵需满足各所述从星单任务分配的约束条件；

32、将所述效能权重矩阵与所述0-1任务分配矩阵的对应元素相乘并求和，得到用于评价所述从星任务分配方案合理性的适应度评价指标；

33、基于所述适应度评价指标，通过遗传算法对所述0-1任务分配矩阵进行迭代的选择、交叉与变异寻优，输出对应于最高适应度评价指标的从星任务分配方案。

34、在一实施方式中，所述战术构型保持模块，具体用于：

35、根据当前构型参考中心的位置和预设战术构型，确定各所述从星的期望位置；其中，所述当前构型参考中心在追逐初始阶段为所述主星，在末段包围阶段为所述虚拟主星，所述预设战术构型包括围绕所述当前构型参考中心形成的椭圆包围构型；

36、获取各所述从星的观测位置，并根据所述观测位置和所述期望位置，确定各所述从星的位置误差；

37、根据所述位置误差、误差变化率和pd控制算法，生成控制所述从星保持战术构型的位置控制量，所述位置控制量为：

38、

39、其中，为位置控制量，为比例增益，为位置误差，=，为期望位置，为观测位置，为微分增益，为误差变化率；

40、当所述从星存在碰撞风险时，基于所述从星与避让对象的相对状态，通过所述逃逸策略网络生成避障控制量；

41、将所述位置控制量与所述避障控制量进行叠加，生成所述从星的综合控制指令，所述综合控制指令为：

42、

43、其中，为所述综合控制指令，为位置控制量，为避障控制量，和为预设权重系数。

44、第二方面，本发明实施例提供一种深度强化学习的异构星群自主指挥控制方法，应用于如第一方面所述的一种深度强化学习的异构星群自主指挥控制系统，采用如下的技术方案：

45、策略网络训练层在地面环境中预先训练策略网络，所述策略网络包括追踪策略网络和逃逸策略网络；

46、星群协同规划层的全局任务分配模块根据异构星群中k个从星的卫星能力参数和全局优化算法生成从星任务分配方案，所述从星任务分配方案包括参与协同任务的从星组合以及各所述从星的执行任务，所述k为大于1的整数；

47、在追逐初始阶段，以主星作为追击星，智能博弈决策层的策略生成模块调用所述追踪策略网络，并生成所述追击星针对目标星的追踪动作，星群协同规划层的战术构型保持模块控制所述从星围绕所述主星保持战术构型；

48、在进入末段包围阶段时，所述星群协同规划层的战术构型保持模块控制所述主星与所述目标星保持安全距离，构建作为虚拟追击中心的虚拟主星，并将所述追击星切换为所述虚拟主星，控制所述虚拟主星根据所述追踪动作继续趋近所述目标星，并控制所述从星脱离所述主星并围绕所述虚拟主星保持战术构型；

49、当所述从星存在碰撞风险时，所述星群协同规划层的战术构型保持模块调用所述逃逸策略网络生成避障控制量，并根据所述避障控制量和构型保持对应的位置控制量生成综合控制指令，以实现对所述目标星的轨道包围。

50、本发明实施例提供的上述技术方案的有益效果至少包括：

51、1、本发明面向异构星群追逃任务，提出了覆盖地面训练、在轨任务分配、追踪决策和构型保持的全流程协同控制方案。相较于仅针对单一航天器追逃博弈的现有方法，本发明能够根据不同从星的功能类型和能力参数进行任务分配，并将主星追踪决策与从星构型保持相结合，使异构星群中的不同卫星按照各自能力承担相应任务并协同执行追逃包围过程，从而提高异构星群的资源利用率、协同控制能力和整体任务执行效率。

52、2、本发明综合相对距离变化、任务耗时和燃料消耗设计复合奖励函数，并以此训练策略网络，使策略网络在生成追踪动作或逃逸动作时能够兼顾追踪效率、时间窗口和机动成本，从而提高策略的实际适用性。

53、3、本发明采用群强化学习训练范式训练策略网络，通过追踪策略模型池、逃逸策略模型池和规则策略模型池之间的对抗训练，使策略网络能够与不同类型和不同强度的对手进行博弈训练，从而提高策略网络的鲁棒性和泛化能力。