一种带输入约束的简化强化学习最优跟踪控制方法
本发明涉及自动控制与人工智能交叉,尤其涉及一种针对具有执行器输入饱和约束的未知高阶非线性系统,基于简化强化学习(reinforcement learning, rl)和高阶全驱(high-order fully actuated, hofa)理论的最优跟踪控制方法及系统。
背景技术:
1、在现代实际工程应用中(如空间机械臂控制、多旋翼无人机轨迹追踪、自主水面无人艇等),被控系统通常表现出强非线性、高阶动态且内部参数具有高度不确定性。基于强化学习(rl)的最优控制方法因其强大的自学习和在线近似动态规划能力,成为解决此类复杂非线性系统控制问题的主流方案。 然而,现有的强化学习最优控制技术在实际物理系统中部署时,面临以下三个严峻的技术瓶颈:
2、第一,“维数灾难”与计算资源过载:现有的针对严格反馈非线性系统的rl控制方法,高度依赖反步法(backstepping)的递归设计框架。对于阶系统,每个虚拟控制子系统都需要配置独立的标识器(identifier)、评价者(critic)和执行者(actor)网络。这意味着整个控制系统总共需要维护和在线更新个神经网络。在算力受限的嵌入式设备中,这会导致严重的计算延迟,无法满足实时控制需求。
3、第二,持续激励(pe)条件限制:现有算法在推导评价者和执行者网络权重更新律时,不可避免地引入了基函数向量与其转置的乘积项(即矩阵)。由于该矩阵的最小特征值在多数运行区间内为零,导致基于李雅普诺夫方程的稳定性分析失效。为保证网络权重收敛,系统往往需要人为注入宽频探测噪声以满足苛刻的持续激励(pe)条件,这严重破坏了系统的稳态跟踪精度。
4、第三,输入约束(执行器饱和)处理能力缺失:实际物理执行器(如电机、伺服阀)的输出幅值受物理极限严格约束。现有简化 rl 控制架构通常仅适用于无输入约束的理想线性区间。若强制将无约束的最优算法直接应用于实际系统,当面临初始大误差时,会产生极大的控制指令,导致执行器严重饱和、学习参数漂移发散,最终引发系统失稳崩溃。
技术实现思路
1、为了克服现有技术存在的计算复杂度高、依赖持续激励条件以及无法应对物理输入幅值约束等缺陷,本发明的目的在于提供一种基于简化强化学习的带输入约束高阶非线性系统最优控制方法及系统。本发明的技术方案如下:
2、一种基于简化强化学习的带输入约束高阶非线性系统最优控制方法,包括以下步骤:
3、步骤s1:获取受控高阶非线性系统的当前状态信息,以及期望的参考轨迹信号;
4、步骤s2:利用高阶全驱系统理论,将所述受控高阶非线性系统的动力学模型转换为等效的标准误差动态系统模型;
5、步骤s3:定义一个非二次型性能指标函数,包含对跟踪误差的二次型惩罚项以及对控制输入饱和的非二次型积分惩罚项,用于反映执行器的物理输入幅值约束;
6、步骤s4:构建由且仅由三个单隐层神经网络组成的简化强化学习架构,包括:用于在线逼近未知系统动态的标识器网络、用于评估性能指标梯度的评价者网络,以及用于生成最优控制策略的执行者网络;
7、步骤s5:基于所述标准误差动态系统模型和性能指标函数,设计所述三个神经网络的同步误差更新律;所述更新律在不依赖持续激励(pe)条件的情况下,在线迭代更新神经网络权重;
8、步骤s6:根据更新后的所述执行者网络权重,结合动态等效增益技术,计算出包含双曲正切饱和函数的实际控制输入,并将其作用于所述受控系统。
9、本发明的有益效果包括:
10、彻底消除维数灾难:将强化学习与hofa理论深度融合,彻底摒弃反步法的多级递归设计。对于任意阶非线性系统,仅需 3 个神经网络即可实现全局最优控制,相比传统方法的个网络,极大降低了计算开销。
11、免除持续激励(pe)条件:提出新型结构解耦的同步误差更新律,彻底剥离传统更新律中极小特征值易趋于零的矩阵耦合项。系统在完全无外加探测噪声的情况下,依然能够保证神经网络权重估计误差的稳定收敛。
12、完美解决严重饱和下的可控性瓶颈:引入非二次型积分代价函数,直接在执行者网络输出端生成原生带有双曲正切()函数的解析最优控制律。进一步通过理论证明,只要满足特定的控制增益边界条件,即使在面临极度饱和的工况下,闭环系统信号依然具有半全局一致最终有界性(sguub)。
1.一种基于简化强化学习的带输入约束高阶非线性系统最优控制方法,其特征在于,包括以下步骤: 步骤s1:获取受控高阶非线性系统的当前状态信息,以及期望的参考轨迹信号; 步骤s2:利用高阶全驱(hofa)系统理论,将所述受控高阶非线性系统的动力学模型转换为等效的标准误差动态系统模型; 步骤s3:定义一个非二次型性能指标函数,所述非二次型性能指标函数包含对系统跟踪误差的二次型惩罚项,以及对控制输入饱和的非二次型积分惩罚项,用于反映执行器的物理输入幅值约束; 步骤s4:构建由且仅由三个单隐层神经网络组成的简化强化学习架构,所述简化强化学习架构包括:用于在线逼近未知系统动态的标识器(identifier)网络、用于评估所述非二次型性能指标函数梯度的评价者(critic)网络,以及用于生成最优控制策略的执行者(actor)网络; 步骤s5:基于所述标准误差动态系统模型和所述非二次型性能指标函数,设计所述三个神经网络的同步误差更新律;所述同步误差更新律在不依赖持续激励(pe)条件的情况下,在线迭代更新神经网络权重; 步骤s6:根据更新后的所述执行者网络权重,计算出包含双曲正切饱和函数的实际控制输入,并将其作用于所述受控高阶非线性系统的执行器。
2.根据权利要求1所述的方法,其特征在于,所述步骤s3中,非二次型性能指标函数具体定义为:
3.根据权利要求1所述的方法,其特征在于,所述步骤s6中,所述实际控制输入的计算公式为:
4.根据权利要求1所述的方法,其特征在于,所述步骤s5中,所述评价者网络和所述执行者网络的同步误差更新律设计为:
5.根据权利要求3所述的方法,其特征在于,为保证系统在输入饱和状态下的半全局一致最终有界性(sguub),所述控制增益满足以下条件:
6.一种基于简化强化学习的带输入约束高阶非线性系统最优控制系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com