基于强化学习的无人艇编队避碰优化与性能约束控制方法

摘要: 本发明属于无人艇编队控制,尤其涉及基于强化学习的无人艇编队避碰优化与性能约束控制方法。背景技术:1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构...
基于强化学习的无人艇编队避碰优化与性能约束控制方法

本发明属于无人艇编队控制,尤其涉及基于强化学习的无人艇编队避碰优化与性能约束控制方法。

背景技术:

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。

2、无人水面艇在复杂海洋环境下执行编队任务时,需同时应对模型不确定性、外界扰动及执行器饱和等多重约束,并满足队形保持、避碰避障及控制性能优化等多项目标,控制难度较大。

3、目前,针对无人艇编队控制、最优控制及避障问题已有广泛研究。在编队控制方面,反步法、滑模控制等已取得一定成果;在避碰避障方面,人工势函数、模型预测控制等方法亦有大量应用。然而,现有技术普遍存在以下不足:对速度误差约束缺乏系统性处理,大多仅关注位置误差的收敛性,未将速度误差的动态变化及其收敛过程纳入统一建模与约束框架;避碰避障功能与控制性能优化通常被割裂为独立模块处理,难以在多约束共存条件下实现有效融合与扩展;控制精度与控制资源消耗之间的平衡问题尚未得到良好解决,尤其在复杂避障机动过程中,现有方法难以兼顾误差约束、避碰安全性与控制最优性。从工程应用角度来看,无人艇在实际运行中速度难以精确跟踪预设指令,速度误差必然存在且在避碰过程中若失控,易导致编队失稳、碰撞风险增加及避障失败。

4、因此,如何在速度误差约束条件下,实现无人艇编队的避碰避障与最优协同控制,成为本领域亟待解决的技术问题。

技术实现思路

1、为克服上述现有技术的不足,本发明提供了基于强化学习的无人艇编队避碰优化与性能约束控制方法,旨在通过构建速度误差时变约束边界,结合势函数建立艇间及艇与障碍物的避碰机制,采用强化学习架构在线逼近运动学层与动力学层的最优控制律,解决现有技术中速度误差约束缺失及避碰与控制优化相互割裂的核心难题。

2、为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:

3、第一方面,公开了基于强化学习的无人艇编队避碰优化与性能约束控制方法,包括:

4、建立无人艇的运动学和动力学模型,并构建通信拓扑有向图;设定虚拟领导者,以虚拟领导者路径和时变编队偏差定义各无人艇的位置跟踪误差和速度跟踪误差;

5、根据相对位置构建艇间避碰势函数和障碍物避碰势函数,并引入误差变量;对速度误差进行约束变换,得到变换后的位置误差和速度误差动态;

6、在运动学回路中基于包含避碰和避障信息的误差项构造第一代价函数,求解得到最优虚拟控制律,并利用第一评判网络和第一执行网络进行逼近;

7、在动力学回路中基于变换后的速度误差动态构造第二代价函数,求解得到最优实际控制律;采用第二评判网络和第二执行网络进行逼近,得到最优控制输入;将所述优化控制输入施加于各无人艇。

8、进一步的,所述无人艇运动学模型和动力学模型表示为:

9、

10、

11、其中,为第艘无人艇在惯性坐标系下的位置与姿态向量的导数;;为第艘无人艇的艏向角;为惯性矩阵;为第艘无人艇在艇体坐标系下的速度向量;为控制输入;

12、表示在固定参考系中定义的速度矢量,和分别表示纵荡、横荡和偏航角的速度,扰动向量代表由风、波浪和洋流引起的外部扰动;矩阵和为实数矩阵,分别表示科里奥利力项和向心力项。

13、进一步的,所述通信拓扑有向图包含生成树,所有无人艇在操作开始时已连接。

14、进一步的,所述艇间避碰势函数和障碍物避碰势函数均采用分段函数形式,艇间避碰势函数包含避碰检测范围和最小安全距离参数,障碍物避碰势函数包含障碍物检测范围和避障半径参数。

15、进一步的,所述对速度误差进行约束变换包括:定义位置误差和速度跟踪误差,引入时变约束边界函数构造约束变量;所述约束变量在无约束时退化为原速度误差,在速度误差趋近约束边界时趋于无穷;对约束变量求导并结合动力学方程,得到变换后的速度误差动态,以保证速度误差始终位于预设时变边界内。

16、进一步的,所述运动学回路中,定义包含避碰和避障势函数梯度的误差变量,将该误差变量与修正位置误差结合;基于该误差变量构造第一代价函数,所述第一代价函数包含误差变量和虚拟控制律的二次型;通过求解哈密顿-雅可比-贝尔曼方程得到最优虚拟控制律;采用第一评判网络逼近最优性能指标函数的梯度,采用第一执行网络逼近最优虚拟控制律,并采用动态面方法获得虚拟控制律及其导数的平滑估计。

17、进一步的,所述动力学回路中,基于变换后的速度误差动态构造第二代价函数,所述第二代价函数包含速度误差和实际控制律的二次型;通过求解哈密顿-雅可比-贝尔曼方程得到最优实际控制律。

18、第二方面,公开基于强化学习的无人艇编队避碰优化与性能约束控制系统,包括:

19、模型构建模块,用于建立无人艇的运动学和动力学模型,并构建通信拓扑有向图;设定虚拟领导者,以虚拟领导者路径和时变编队偏差定义各无人艇的位置跟踪误差和速度跟踪误差;

20、势函数构建与误差约束模块,用于根据相对位置构建艇间避碰势函数和障碍物避碰势函数,并引入误差变量;对速度误差进行约束变换,得到变换后的位置误差和速度误差动态;

21、运动学回路控制模块,用于在运动学回路中基于包含避碰和避障信息的误差项构造第一代价函数,求解得到最优虚拟控制律,并利用第一评判网络和第一执行网络进行逼近;

22、动力学回路控制模块,用于在动力学回路中基于变换后的速度误差动态构造第二代价函数,求解得到最优实际控制律;采用第二评判网络和第二执行网络进行逼近,得到最优控制输入,将所述优化控制输入施加于各无人艇。

23、第三方面,公开了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所述方法中的步骤。

24、第四方面,公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述所述方法中的步骤。

25、以上一个或多个技术方案存在以下有益效果:

26、本发明通过建立无人艇运动学与动力学模型及通信拓扑,设定虚拟领导者并定义位置与速度误差,结合艇间避碰势函数和障碍物避碰势函数对速度误差进行约束变换,在运动学回路和动力学回路分别构造代价函数并利用评判网络和执行网络逼近最优控制律,实现了时变编队跟踪、艇间避碰、障碍物避碰和通信连通性保持的多目标协同,有效解决了现有技术中速度误差约束缺失及避碰与控制优化相互割裂的问题,提高了无人艇编队在复杂海洋环境下的控制精度和安全性。

27、本发明通过在运动学回路和动力学回路分别引入评判网络和执行网络进行在线学习,能够在不依赖精确模型参数的情况下逼近最优虚拟控制律和最优实际控制律,增强了控制系统对模型不确定性和外部扰动的鲁棒性,同时降低了控制能量消耗。

28、本发明通过引入时变约束函数对速度误差进行约束变换,保证速度误差始终处于预设边界内,避免了避碰机动过程中速度误差失控导致的编队失稳和碰撞风险,提升了编队机动的动态性能。

29、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。