一种用于微小特征飞行器跟踪的星座任务规划方法
本发明属于航天器任务规划与智能控制,具体涉及一种用于微小特征飞行器跟踪的星座任务规划方法。
背景技术:
1、微小特征飞行器(low signature platform, lsp)凭借其低弹道、高速度与强机动性,对现有反导体系构成严峻挑战。天基红外预警卫星因覆盖广、响应快,已成为持续跟踪lsp的核心手段。近年来,低轨红外星座正朝着大规模、低成本、智能化方向演进,为实现lsp全程连续跟踪提供了技术可能。
2、卫星任务规划的求解架构经历了从集中式到完全分布式的发展。集中式架构虽能求得全局最优解,但高度依赖中心节点,具有响应慢、鲁棒性差的缺陷。完全分布式架构下,每颗卫星仅基于局部信息与有限邻居通信进行独立决策,被认为是实现大规模星座自主协同的关键路径。
3、在求解方法上,传统启发式方法计算耗时长,难以满足星上实时决策要求。强化学习凭借其序贯决策能力,为实时自主规划提供了新范式。现有研究在完全分布式任务规划方面取得了重要进展,但多基于小型星座。当星座扩展至数百颗卫星时,现有强化学习方法面临网络训练参数爆炸,以及由于通信受限、单星视野有限所导致的协同困难等挑战。
4、因此,亟需一种能够在高动态、大规模星座场景下,同时实现高性能协同与实时星上自主决策的任务规划方法。
技术实现思路
1、本发明的目的是为解决在大规模星座场景下,现有方法的实时性差、面临网络训练参数爆炸以及协同困难的问题,而提出了一种用于微小特征飞行器跟踪的星座任务规划方法。
2、本发明为解决上述技术问题所采取的技术方案是:一种用于微小特征飞行器跟踪的星座任务规划方法,所述方法具体包括以下步骤:
3、在集中式训练阶段:
4、步骤1、初始化训练回合数episode=1;
5、步骤2、随机初始化卫星跟踪任务场景,并初始化时刻;
6、步骤3、利用星座中的卫星对lsp目标进行观测,每颗卫星均获取自身状态信息以及自身观测到的lsp目标信息,并通过与邻居卫星通信收集邻居卫星的状态信息,再将自身获取的信息以及收集到的信息整合为状态向量,将第颗卫星整合的状态向量记为;
7、步骤4、将每个卫星整合的状态向量分别输入自身部署的actor网络,通过actor网络为每个卫星输出决策动作,决策动作为卫星当前时刻不进行观测或卫星具体需要观测的lsp目标;
8、步骤5、卫星执行步骤4决策的动作,环境根据奖励函数返回即时奖励,并转移到下一状态,对于第颗卫星,返回的即时奖励记为,转移到的下一状态记为;
9、将经验元组存入第颗卫星的局部经验池;
10、步骤6、令,判断是否大于当前场景设置的最大时刻数;
11、若不大于当前场景设置的最大时刻数,则返回执行步骤3;
12、若大于当前场景设置的最大时刻数,则每颗卫星独立利用局部critic网络估计状态价值,并根据状态价值估计结果估计优势函数值,再执行步骤7;
13、步骤7、各个卫星将自身收集的经验元组和优势估计上传至总经验池,总经验池合并所有卫星的经验元组和优势估计构建训练数据集,对训练数据集进行随机采样来更新actor网络和局部critic网络的参数;
14、步骤8、令训练回合数episode=episode+1,判断训练回合数episode是否大于设定的阈值;
15、若训练回合数episode大于设定的阈值,则获得最终训练好的actor网络和局部critic网络参数;
16、若训练回合数episode不大于设定的阈值,则清空局部经验池和总经验池,利用第episode-1个训练回合更新后的actor网络和局部critic网络参数返回执行步骤2;
17、在分布式执行阶段:
18、步骤9、在各个卫星上分别部署最终训练好的actor网络;
19、步骤10、各个卫星将自身状态向量输入到训练好的actor网络,通过actor网络输出决策动作,再由卫星执行actor网络输出的决策动作。
20、进一步地,所述第颗卫星整合的状态向量具体包括卫星自身位置、速度信息,上一时刻卫星是否存在观测目标,卫星对当前lsp目标累计观测时长,当前时刻卫星观测到的目标数量,当前时刻邻居卫星位置、速度信息,当前时刻卫星观测到的lsp目标的位置、速度信息,当前时刻卫星与观测到的各个lsp目标的距离,当前时刻卫星所观测到的各个lsp目标在上一时刻被观测数量,当前时刻卫星所观测到的各个lsp目标在上一时刻是否被观测以及当前时刻卫星所观测到的各个lsp目标在场景中出现的时长。
21、进一步地,所述即时奖励为:
22、 (1)
23、其中,表示观测收益,表示覆盖平衡奖励,表示方案切换收益。
24、进一步地,所述观测收益为:
25、 (2)
26、其中,为单星观测收益,为多星协同收益,为过度观测惩罚。
27、进一步地,所述单星观测收益为:
28、 (3)
29、其中,为持续观测奖励,为单星几何构型系数,为常数。
30、进一步地,所述持续观测奖励为:
31、 (4)
32、其中,表示卫星对lsp目标持续跟踪观测的时长。
33、进一步地,所述多星协同收益为:
34、 (5)
35、 (6)
36、其中,表示目标的观测卫星数量。
37、进一步地,所述过度观测惩罚为:
38、 (7)。
39、进一步地,所述覆盖平衡奖励为:
40、 (8)
41、式中,为所有lsp目标的平均观测卫星数量。
42、更进一步地,所述方案切换收益为:
43、(1)转向低收益观测卫星少的目标时,方案切换收益为0;
44、(2)转向低收益观测卫星少的目标时,方案切换收益为-0.8;
45、(3)转向高收益观测卫星少的目标时:
46、若切换后的目标的观测卫星数量为1,切换前的目标的观测卫星数量大于等于2,则方案切换收益为1;
47、若切换后的目标的观测卫星数量为2,切换前的目标的观测卫星数量大于等于3,则方案切换收益为0.7;
48、若切换后的目标的观测卫星数量为3,切换前的目标的观测卫星数量大于等于4,则方案切换收益为0.5;
49、其它的切换后目标的观测卫星数量小于等于切换前目标的观测卫星数量的情况,则方案切换收益为0.1;
50、(4)转向高收益观测卫星高的目标时:方案切换收益为-0.65。
51、本发明的有益效果是:
52、1、解决了大规模星座的维度爆炸与训练困难问题:通过局部critic网络替代全局中心critic网络,每颗卫星仅给予自身及周边邻居的局部信息进行价值评估,价值评估网络训练参数恒定,不再随星座规模线性增长,实现了星座规模的有效扩展。
53、2、实现了高性能的协同观测:通过参数共享机制提升样本效率,通过局部critic网络引导协同行为。仿真结果证明,在450颗卫星、450个lsp目标的复杂场景下,本发明方法对目标的平均覆盖率达到94.8%。
54、3、达到了微秒级的实时决策能力:本发明方法单星、单次决策耗时仅0.009ms,较集中式遗传算法提升5个数量级以上,较规则分布式算法也提升超过一个数量级,完全满足星上实时自主决策的严苛要求。
55、4、具有优异的工程应用前景:本发明方法在保持优异观测性能(高覆盖率、高协同性)的前提下,兼具完全分布式架构的高鲁棒性与高实时性,为大型红外预警星座的工程化部署提供了可行技术路径。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com