水下机器人异构多代理安全轨迹跟踪控制装置及方法
本发明涉及机器人控制、智能控制、安全约束控制、动态避障及水下自主导航,具体是水下机器人异构多代理安全轨迹跟踪控制装置及方法。
背景技术:
1、目前,自主水下机器人(autonomous underwater vehicle, auv)已广泛应用于海洋资源勘探、水下结构检测、沉船搜寻及应急救援等任务场景。在执行水下管道巡检、海底设施检测、复杂环境目标搜救等高风险任务时,高精度轨迹跟踪能力和可靠的碰撞规避能力,是保障任务安全性与作业成功率的关键。现有auv控制与路径规划技术虽然能够在一定条件下实现轨迹跟踪、路径规划或避障,但在单体auv复杂环境实时作业中仍存在不足。
2、一类现有方法侧重于欠驱动auv与usv等多物理平台的编队轨迹跟踪控制,通常通过分布式状态观测器、扰动观测器、规定时间滑模面、反步控制以及lyapunov稳定性分析等方式,处理外部环境干扰、模型不确定性和收敛时间估计问题。该类方法主要面向多艇或多机器人编队中的领导者状态估计、规定时间收敛和确定性控制律设计,尚未针对同一台auv内部多个连续控制通道之间的动作空间降维、强化学习协同训练以及策略输出执行前的安全约束修正给出有效解决方案。
3、又一类现有方法针对复合干扰下欠驱动auv的轨迹跟踪控制,建立水平面和垂直面动力学、运动学模型及轨迹跟踪误差模型,并通过反步滑模控制器与自适应模糊控制系统对复合干扰进行识别和抑制,以提高轨迹跟踪稳定性和抗干扰性能。面向复杂障碍环境下的实时作业,仍可进一步将控制通道协同策略生成与基于安全距离约束的执行前控制过滤进行结合,以提高安全轨迹跟踪能力。
4、另一类现有方法侧重于水下机器人三维路径规划和避障决策,通常建立包含场景模型、洋流模型、动力学模型和能耗模型的水下环境模型,并将路径选择、能耗和时长优化建模为马尔可夫决策过程或抽象环境模型,再通过深度强化学习、树搜索或预测网络学习到达目标点的路径策略。该类方法主要解决路径层面的方向选择、能耗优化和障碍规避问题,但对于既定参考轨迹下的连续控制跟踪、推进器广义力/力矩协同输出以及控制输入层面的安全约束修正,仍难以直接适用。
5、对于单体auv在狭窄区域、障碍物密集区域或低能见度场景中的实时作业而言,若仅依赖单一策略网络同时输出浪涌推力、横荡力和偏航力矩等多个连续控制量,则动作空间维度较高,训练样本利用效率较低,容易出现收敛速度慢、训练不稳定和局部最优等问题。同时,auv各推进器及运动自由度之间存在明显的流体动力学耦合关系,传统单代理控制模型难以准确刻画不同控制通道之间的相互影响,容易导致不同控制输入之间出现过度补偿、振荡调整或相互抵消,从而影响轨迹跟踪精度和控制稳定性。
6、此外,强化学习策略输出具有一定随机性和黑盒性。当auv靠近水下管道、海底结构物、沉船残骸、作业区域边界或动态障碍物时,如果直接将策略输出作为推进器控制输入,可能出现违反安全距离约束或控制输入上下界的风险。仅依靠奖励函数惩罚或路径层避障策略,难以在控制指令执行前提供确定性的硬约束安全保障。
7、基于上述问题,本发明提出一种基于异构多代理协同的水下机器人安全轨迹跟踪控制方法及装置。本发明中的异构多代理并非多个物理auv或usv平台,而是同一台auv内部不同广义控制通道对应的逻辑控制代理。该方法通过happo算法实现同观测、异动作输出条件下的协同策略训练,并在强化学习策略输出之后引入控制障碍函数(control barrierfunction, cbf)二次规划安全过滤层,对可能导致碰撞或越界的控制动作进行实时修正,从而形成一种兼顾内部控制通道协同学习、执行前安全约束修正、轨迹跟踪精度与控制输入平滑性的安全轨迹跟踪控制方案
技术实现思路
1、本发明要解决的技术问题就是克服以上的技术缺陷,提供水下机器人异构多代理安全轨迹跟踪控制装置及方法。
2、为了解决上述问题,本发明的技术方案为:一种水下机器人异构多代理安全轨迹跟踪控制方法,应用于单体自主水下机器人auv水平面轨迹跟踪作业,包括:
3、s1结合洋流扰动建立并转换auv动力学为控制仿射形式,获取分段多项式平滑参考与障碍物状态;
4、s2将auv纵向合力、横向合力、偏航力矩划分为三组内部异构逻辑智能体,由各智能体输出控制量并融合得到名义控制输入;
5、s3采用happo算法搭配独立actor网络、集中式critic网络完成多智能体离线协同训练;
6、s4针对安全距离函数相对阶次为2的问题构建复合控制障碍函数,通过二次规划对名义控制输入做安全修正;
7、s5最终将安全指令转换为驱动信号,控制auv完成轨迹跟踪与动态避障,。
8、进一步,所述分段多项式参考轨迹需满足起止状态、轨迹连续、安全走廊、执行器四类约束,以轨迹四阶微分项和最小为优化目标,可本地生成或外接航线数据。
9、进一步,所述auv水平面动力学模型为:
10、其中表示为惯性参考系中的绝对位置和方向,表示身体参考系中的纵向、横向和偏航速度。
11、进一步,训练阶段采用集中训练、分散执行架构,设置包含轨迹跟踪、航向一致、避障、控制平滑四项指标的全局奖励函数,按序更新网络参数并引入累积重要性采样,抑制训练震荡与策略耦合。
12、进一步,障碍物安全距离函数为
13、其中,为auv位置,为障碍物位置,静态障碍时不随变化,为预设安全距离。表示安全,为安全边界;
14、构建的复合控制障碍函数为
15、
16、其中,和为设计参数;
17、将相对阶次降为1以适配标准约束框架。
18、进一步,基于复合控制障碍函数建立线性安全约束,二次规划以控制输入偏差最小为目标,同时满足安全距离约束与执行器上下界约束,求解得到最终安全控制指令。
19、一种水下机器人异构多代理安全轨迹跟踪控制装置,其特征在于,用于实现权利要求1至6任一项所述的方法,包括参考轨迹获取模块、障碍物相对状态获取模块、控制仿射模型构建模块、内部异构智能体控制模块、happo训练更新模块、cbf安全过滤模块和控制执行模块。
20、进一步,所述内部异构智能体控制模块包含三组独立actor网络,分别对应auv三类控制通道;所述happo训练更新模块内置集中式critic网络与经验缓存,区分离线训练、在线推理两种工作模式。
21、进一步,所述装置采用嵌入式架构,搭载声呐、视觉传感器,整体算力需求低,用于水下弱通信、机载算力有限的作业环境,应用于管道巡检、海底检测、沉船搜救等场景。
22、本发明与现有的技术相比的优点在于:
23、1.降低单体auv连续控制任务的高维探索难度:本发明将同一台auv的广义控制输入按照物理控制通道划分为多个内部异构逻辑智能体,使各智能体分别学习对应控制通道的控制力或力矩输出策略,相比于由单一策略网络同时输出多个连续控制量的方式,本发明能够降低单个策略网络的动作搜索维度,提高训练样本利用效率,有利于改善强化学习控制过程中的收敛速度和控制稳定性。
24、2.缓解同一auv内部不同控制通道之间的策略耦合和非平稳性:本发明采用happo算法对多个内部异构逻辑智能体进行协同训练,并通过独立actor网络、集中式critic网络、共享全局奖励信号、顺序策略更新机制以及累积重要性采样系数,使各控制通道在训练过程中能够根据其他通道的策略变化进行适应性更新,由此能够减少不同控制输入之间的过度补偿、振荡调整或相互抵消,提高单体auv在复杂流场环境下的轨迹跟踪精度和控制平滑性。
25、3.实现参考轨迹跟踪控制与执行前安全约束修正的结合:本发明获取或生成平滑可行参考轨迹,为auv连续轨迹跟踪提供期望位置、期望速度、期望航向或期望运动方向等时间参数化基准;在强化学习控制器输出名义控制输入后,进一步通过cbf二次规划安全过滤层对可能违反障碍物安全距离约束或控制输入上下界约束的控制输入进行实时修正,相比于仅依靠奖励函数惩罚或路径层避障的方法,本发明基于 auv 系统动力学的相对阶次关系,构建包含安全距离函数及其导数信息的复合控制障碍函数,能够在控制指令执行前提供与系统动力学相匹配的确定性安全约束修正机制,cbf 约束关于控制输入为线性,所形成的二次规划在线求解复杂度低,适合部署于 auv 的实时控制系统。
26、4.提高复杂水下作业场景中的避障安全性和工程实时性:本发明在部署阶段主要执行各内部异构逻辑智能体对应actor网络的前向推理,以及低维度cbf-qp安全过滤求解,不依赖多物理平台之间的通信协同,也不需要在执行阶段反复进行复杂的全局路径搜索,因此,本发明适用于通信受限、机载算力有限的单体auv本地实时控制场景,能够提高auv在水下管道巡检、海底结构检测、沉船搜寻、狭窄区域巡检和应急搜救任务中的轨迹跟踪精度、避障安全性和控制响应能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com