基于强化学习的卫星碰撞规避机动智能决策方法及设备与流程
本发明涉及航空航天技术、航天器轨道控制、智能决策与人工智能算法交叉领域,尤其涉及一种基于强化学习的卫星碰撞规避机动智能决策方法及设备。
背景技术:
1、随着低轨卫星数量激增,空间目标密度持续升高,卫星碰撞风险日益突出,对航天器的自主安全运行能力提出了更高要求。现有空间碰撞预警与规避方法主要依赖地面测控系统进行轨道计算和碰撞概率评估,再由操作人员制定机动方案,整个过程周期长、人工干预多,难以应对高动态、高密度的空间环境。
2、目前,常用的卫星碰撞规避机动方法包括基于预设规则的规避策略和基于经验公式的机动参数计算方法。基于预设规则的方法通过预先设定碰撞概率阈值和固定机动模式,当检测到碰撞风险超过阈值时触发预先设计好的机动动作;基于经验公式的方法则利用解析轨道力学模型,通过迭代求解得到满足碰撞概率要求的机动参数。这些方法已经在部分卫星任务中得到应用,具备基本的规避能力。
3、然而,上述现有方法存在以下明显不足:依赖人工分析与预设策略导致响应速度慢、实时性差;基于规则或经验的规避方案难以适应动态、复杂、多约束环境;未综合考虑轨道状态、碰撞概率、燃料余量、后续任务约束等多目标优化;机动参数依赖手动迭代计算,无法实现自主、在线、最优决策;传统方法泛化能力弱,无法在不确定性环境中持续迭代优化。
技术实现思路
1、本发明旨在解决现有技术的不足,具体提供了一种基于强化学习的卫星碰撞规避机动智能决策方法及设备,具体如下:
2、1)第一方面,本发明提供一种基于强化学习的卫星碰撞规避机动智能决策方法,具体技术方案如下:
3、获取目标卫星的实时状态数据;
4、将碰撞规避机动决策过程建模为马尔可夫决策过程,确定马尔可夫决策过程的状态空间、动作空间和奖励函数;其中,状态空间包含实时状态数据;动作空间包含机动方向、点火时刻、推力大小和点火时长;奖励函数根据碰撞概率下降量、燃料消耗量和任务扰动程度计算综合奖励值;
5、在仿真环境中,基于所确定的状态空间、动作空间和奖励函数,利用深度强化学习算法训练策略网络,以最大化累计奖励值为目标,使策略网络学习从状态空间到动作空间的映射;
6、将在轨实时采集的当前实时状态数据输入训练完成的策略网络,输出对应的最优机动参数;
7、根据最优机动参数生成机动指令,控制目标卫星执行规避机动。
8、本发明提供的一种基于强化学习的卫星碰撞规避机动智能决策方法的有益效果如下:
9、通过获取目标卫星的实时状态数据并建模为马尔可夫决策过程,将碰撞规避机动决策问题转化为状态空间到动作空间的端到端映射,避免了人工分析与预设规则的依赖,显著提升了响应速度和实时性。利用深度强化学习算法在仿真环境中训练策略网络,使策略网络能够学习从状态空间到动作空间的映射,输出包含机动方向、点火时刻、推力大小和点火时长的最优机动参数,实现了自主、在线、最优决策,无需手动迭代计算。奖励函数根据碰撞概率下降量、燃料消耗量和任务扰动程度计算综合奖励值,在训练中同时优化安全性、燃料消耗和任务影响,克服了现有方法未综合考虑多目标优化的缺陷。将在轨实时采集的当前实时状态数据输入训练完成的策略网络,直接输出最优机动参数并生成机动指令控制目标卫星执行规避机动,实现了无人干预的全自动规避。
10、在上述方案的基础上,本发明的一种基于强化学习的卫星碰撞规避机动智能决策方法还可以做如下改进。
11、进一步,在执行规避机动之后,还包括获取规避后的实时状态数据,根据规避后的实时状态数据计算实际奖励值,并利用实际奖励值对训练完成的策略网络进行增量更新。
12、采用上述进一步方案的有益效果是:在执行规避机动之后,获取规避后的实时状态数据,根据规避后的实时状态数据计算实际奖励值,并利用实际奖励值对训练完成的策略网络进行增量更新,使策略网络能够利用真实空间环境中的执行反馈不断优化自身参数。通过对比规避前后的碰撞概率、燃料消耗量以及任务扰动程度计算实际奖励值,并将这一真实奖励值作为更新依据,策略网络可以逐步适应在轨环境中的未建模动态特性、测量噪声和推力误差。增量更新采用小批量、低步长的优化方式,在保持已学习策略稳定性的同时实现渐进式改进。这一过程使策略网络具备持续迭代优化的能力,避免了传统方法在不确定性环境中泛化能力弱的问题,提升了卫星长期自主运行过程中的规避决策准确性。
13、进一步,奖励函数根据碰撞概率下降量、燃料消耗量和任务扰动程度计算综合奖励值的具体方式为:将规避前的碰撞概率与规避后的碰撞概率的差值乘以第一权重系数作为安全奖励项,将机动所消耗的燃料量乘以第二权重系数作为燃料惩罚项,将规避机动对预定任务造成的扰动程度乘以第三权重系数作为任务惩罚项,并在规避后的碰撞概率超过预设阈值时增加一个负的惩罚值,再将安全奖励项、燃料惩罚项、任务惩罚项以及负的惩罚值相加得到综合奖励值。
14、采用上述进一步方案的有益效果是:通过将规避前的碰撞概率与规避后的碰撞概率的差值乘以第一权重系数作为安全奖励项,将机动所消耗的燃料量乘以第二权重系数作为燃料惩罚项,将规避机动对预定任务造成的扰动程度乘以第三权重系数作为任务惩罚项,并在规避后的碰撞概率超过预设阈值时增加一个负的惩罚值,再将四项相加得到综合奖励值,实现了安全性、燃料消耗和任务连续性三大指标的统一量化与权衡。安全奖励项激励策略网络优先降低碰撞风险,燃料惩罚项和任务惩罚项抑制不必要的机动消耗与任务干扰,负的惩罚值则强制排除规避后仍存在高碰撞风险的动作。该奖励函数设计使策略网络在训练中能够自主学习到平衡多目标的最优规避策略,避免单一优化倾向。
15、进一步,实时状态数据包括目标卫星的位置、速度、与威胁目标的相对距离、碰撞概率、燃料余量、任务时间窗以及轨道约束。
16、采用上述进一步方案的有益效果是:通过将目标卫星的位置、速度、与威胁目标的相对距离、碰撞概率、燃料余量、任务时间窗以及轨道约束共同纳入实时状态数据,为马尔可夫决策过程提供了完整的环境与自身状态描述。目标卫星的位置和速度构成了轨道动力学基础,与威胁目标的相对距离和碰撞概率直接量化碰撞风险,燃料余量约束机动能力,任务时间窗限定机动时机,轨道约束保证机动后轨道参数不超出设计允许范围。这七类数据的组合使状态空间全面覆盖决策所需信息,避免了因信息缺失导致的次优决策。同时,轨道约束的引入有效排除了违反轨道设计边界的机动动作,提高了决策结果的可执行性和安全性。
17、进一步,在仿真环境中训练策略网络时,对于每次执行的动作,通过轨道传播模型预测目标卫星执行该动作后的轨道状态,根据预测的轨道状态计算规避后的碰撞概率、燃料消耗量以及任务扰动程度,并利用计算得到的规避后的碰撞概率、燃料消耗量以及任务扰动程度计算奖励函数中的综合奖励值,以更新策略网络的参数。
18、采用上述进一步方案的有益效果是:在仿真环境中训练策略网络时,对于每次执行的动作,通过轨道传播模型预测目标卫星执行该动作后的轨道状态,根据预测的轨道状态计算规避后的碰撞概率、燃料消耗量以及任务扰动程度,并利用计算得到的规避后的碰撞概率、燃料消耗量以及任务扰动程度计算奖励函数中的综合奖励值,以更新策略网络的参数。这一过程使策略网络无需在实际空间环境中试错即可获得每次机动对应的综合奖励值,避免了真实在轨训练的高风险和高成本。轨道传播模型提供了准确的轨道状态预测,使得计算得到的规避后碰撞概率、燃料消耗量和任务扰动程度具有可信度,进而保证了综合奖励值的可靠性。基于该综合奖励值更新策略网络参数,能够引导策略网络学习到正确的状态到动作映射,从而在训练收敛后获得具备优秀规避性能的策略网络模型。
19、2)第二方面,本发明还提供一种基于强化学习的卫星碰撞规避机动智能决策系统,具体技术方案如下:
20、包括获取模块、建模模块、训练模块、最优机动参数确定模块和规避模块;
21、获取模块用于:获取目标卫星的实时状态数据;
22、建模模块用于:将碰撞规避机动决策过程建模为马尔可夫决策过程,确定马尔可夫决策过程的状态空间、动作空间和奖励函数;其中,状态空间包含实时状态数据;动作空间包含机动方向、点火时刻、推力大小和点火时长;奖励函数根据碰撞概率下降量、燃料消耗量和任务扰动程度计算综合奖励值;
23、训练模块用于:在仿真环境中,基于所确定的状态空间、动作空间和奖励函数,利用深度强化学习算法训练策略网络,以最大化累计奖励值为目标,使策略网络学习从状态空间到动作空间的映射;
24、最优机动参数确定模块用于:将在轨实时采集的当前实时状态数据输入训练完成的策略网络,输出对应的最优机动参数;
25、规避模块用于:根据最优机动参数生成机动指令,控制目标卫星执行规避机动。
26、3)第三方面,本发明还提供一种电子设备,电子设备包括处理器,处理器与存储器耦合,存储器中存储有至少一条计算机程序,至少一条计算机程序由处理器加载并执行,以使电子设备实现上述任一项基于强化学习的卫星碰撞规避机动智能决策方法。
27、4)第四方面,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述任一项基于强化学习的卫星碰撞规避机动智能决策方法。
28、需要说明的是,本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果,可以参见上述对第一方面及其对应的可能的实现方式的技术效果,此处不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com