基于物理信息强化学习的变形飞行器姿态控制方法和装置
本发明涉及飞行器控制,特别是涉及一种基于物理信息强化学习的变形飞行器姿态控制方法和装置。
背景技术:
1、飞行控制技术的发展正经历着从依赖精确数学模型的传统范式向融合数据驱动的智能范式的深刻变革。变形飞行器是航空航天技术的前沿发展方向,它能够通过主动改变机翼后掠角、翼展等气动外形,在广阔的飞行包线内始终保持最优的气动性能和机动能力。然而,这种变形能力也给飞行控制带来了巨大挑战:其一,变形过程导致飞行器的气动特性和质量分布发生剧烈变化,使得系统动力学模型呈现出强烈的非线性与强耦合特性;其二,飞行器在跨速域、跨空域飞行时,面临着复杂多变的大气环境和外部扰动,模型不确定性问题十分突出。这种内在的复杂性,叠加外部飞行环境的高度不确定性,共同构成了一个极端复杂的控制问题。
2、在传统的以模型为中心的设计框架下,控制器(如线性变参数控制、反步控制、滑模控制等)的性能高度依赖于先验动力学模型的准确性。设计者需要通过大量的风洞试验和计算流体力学仿真来建立覆盖飞行器所有可能构型和飞行状态,并在此基础上进行离线参数整定或设计切换律。对于高速变形飞行器而言,这种方法的成本极高且难以覆盖所有工况,导致控制器在面对模型未精确建模的动态或未预料的参数摄动时,控制性能下降,甚至存在失稳风险。
3、为应对模型不确定性带来的挑战,强化学习作为一种数据驱动的控制方法,因其无需精确模型的“端到端”学习能力而备受关注。它通过智能体与环境的直接交互,自主学习能最大化累积奖励的控制策略。然而,将标准强化学习算法直接应用于飞行器这类安全关键系统,存在着根本性的理论障碍,因此,如何将强化学习的强自适应能力与飞行控制系统的安全性、鲁棒性要求进行有机结合,同时利用已知的物理规律提升学习过程的安全性能和控制性能,是当前变形飞行器控制领域亟待解决的关键技术难题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种自适应能力强、安全性高、鲁棒性强的基于物理信息强化学习的变形飞行器姿态控制方法和装置。
2、一种基于物理信息强化学习的变形飞行器姿态控制方法,所述方法包括:
3、构建基准控制器,所述基准控制器包括策略网络与评价障碍双头网络,基于马尔可夫决策过程,通过所述评价障碍双头网络对所述策略网络进行训练;
4、训练过程中,所述评价障碍双头网络对策略网络的输出进行价值评估以引导所述策略网络不断更新网络参数,同时,还引导策略网络学习满足安全性状态约束的策略,直至策略收敛,得到训练好的基准控制器;通过训练好的基准控制器输出初始控制指令;
5、构建扩张状态观测器,通过所述扩张状态观测器对集总扰动进行实时估计,输出扰动估计值;
6、构建安全滤波器,所述安全滤波器为每个姿态通道定义安全状态集,并根据所述扰动估计值为控制输入设置安全约束条件;基于所述安全状态集与所述安全约束条件,根据初始控制指令,通过二次规划问题进行求解,输出最终的安全控制指令;
7、将所述安全控制指令发送给高速变形飞行器,对所述高速变形飞行器进行姿态的闭环控制。
8、另一方面,还提供一种基于物理信息强化学习的变形飞行器姿态控制装置,包括:
9、基准控制器构建模块,用于构建基准控制器,所述基准控制器包括策略网络与评价障碍双头网络,基于马尔可夫决策过程,通过所述评价障碍双头网络对所述策略网络进行训练;
10、基准控制器训练模块,用于在训练过程中,所述评价障碍双头网络对策略网络的输出进行价值评估以引导所述策略网络不断更新网络参数,同时,还引导策略网络学习满足安全性状态约束的策略,直至策略收敛,得到训练好的基准控制器;通过训练好的基准控制器输出初始控制指令;
11、扰动估计值计算模块,用于构建扩张状态观测器,通过所述扩张状态观测器对集总扰动进行实时估计,输出扰动估计值;
12、安全控制指令输出模块,用于构建安全滤波器,所述安全滤波器为每个姿态通道定义安全状态集,并根据所述扰动估计值为控制输入设置安全约束条件;基于所述安全状态集与所述安全约束条件,根据初始控制指令,通过二次规划问题进行求解,输出最终的安全控制指令;
13、姿态控制模块,用于将所述安全控制指令发送给高速变形飞行器,对所述高速变形飞行器进行姿态的闭环控制。
14、相较于现有技术,本发明提供的基于物理信息强化学习的变形飞行器姿态控制方法和装置具有以下有益效果:
15、本发明通过构建基准控制器,并基于马尔可夫决策过程,在训练过程中,除了通过价值评估引导策略网络不断更新网络参数外,还通过引导其学习内在的安全行为,以满足安全性状态约束;而安全滤波器通过定义安全状态集及设置安全约束条件,提供了严格的数学保证,确保飞行器状态在任何情况下均不越过安全边界;通过“训练时引导、运行时修正”的双重安全体系,极大地提升了控制的可靠性和可信度。同时,通过扩张状态观测器对集总扰动进行实时估计,对干扰具有极强的抑制能力和鲁棒性,适应性广。另外,本发明提供的安全滤波器独立于基准控制器,具有良好的模块化特性,可以与任何类型的基准控制器相结合,为其提供安全保障。基于二次规划问题求解的安全修正算法计算效率高,易于在机载计算机上进行实时部署,具有很高的工程应用价值。
1.一种基于物理信息强化学习的变形飞行器姿态控制方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于物理信息强化学习的变形飞行器姿态控制方法,其特征在于,基于马尔可夫决策过程,通过所述评价障碍双头网络对所述策略网络进行训练,包括:
3.根据权利要求2所述的基于物理信息强化学习的变形飞行器姿态控制方法,其特征在于,所述评价障碍双头网络包括gru层,连接在所述gru层后的若干全连接层,以及连接在所述全连接层后的两个并行的障碍头与评价头;
4.根据权利要求1所述的基于物理信息强化学习的变形飞行器姿态控制方法,其特征在于,还设置安全引导损失函数引导基准控制器的优化,安全引导损失函数表示为:
5.根据权利要求1至4任意一项所述的基于物理信息强化学习的变形飞行器姿态控制方法,其特征在于,构建扩张状态观测器,通过所述扩张状态观测器对集总扰动进行实时估计,输出扰动估计值,包括:
6.根据权利要求5所述的基于物理信息强化学习的变形飞行器姿态控制方法,其特征在于,对变形飞行器动力学模型进行高阶全驱系统变换,得到高阶全驱系统模型,包括:
7.根据权利要求6所述的基于物理信息强化学习的变形飞行器姿态控制方法,其特征在于,所述扩张状态观测器的表达式为:
8.根据权利要求5所述的基于物理信息强化学习的变形飞行器姿态控制方法,其特征在于,所述安全滤波器为每个姿态通道定义安全状态集,并根据所述扰动估计值为控制输入设置安全约束条件,包括:
9.根据权利要求8所述的基于物理信息强化学习的变形飞行器姿态控制方法,其特征在于,据初始控制指令,通过二次规划问题进行求解,输出最终的安全控制指令,包括:
10.一种基于物理信息强化学习的变形飞行器姿态控制装置,其特征在于,所述装置包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com