一种基于可达集与强化学习理论的避障决策方法
本技术的实施例涉及航迹规划,特别涉及一种基于可达集与强化学习理论的避障决策方法。
背景技术:
1、随着民用无人机、低空通航飞行器、物流飞行器、空中巡检飞行器等低空飞行装备的规模化应用,飞行器运行空域环境日趋复杂。在城市低空空域、干线物流航线、野外巡检空域、飞行器集群飞行等场景中,高速机动的本机常需面对多个空域动态参与者(如侧向逼近的其他机动飞行器、飞鸟集群、空中飘浮障碍物、临时空域障碍等)构成的复杂运动网络。这类空域障碍通过机动变向、协同拦截等行为,大幅压缩飞行器的安全飞行空间与有效通行窗口。因此,如何为飞行器在毫秒级时间内实时生成高效、可靠的航迹规划与动态避障策略,成为提升低空飞行安全性与空域通行效率的核心技术难题。
2、现有的飞行器避障决策方法主要集中于基于规则的航迹规避、基于模型预测控制(model predictive control,mpc)的航迹最优规划,以及基于端到端学习的飞行避障等方向,但均存在一定的局限性。
3、可达集理论(reachable set theory)是分析动态系统安全性的重要数学工具,它能够计算系统在未来的短时间内所有可能到达的状态集合,从而为自主飞行的飞行器提供理论上的安全边界(safety envelope)。然而,对于考虑飞行器非线性动力学、轮胎摩擦圆约束等高维模型,精确计算实时可达集通常计算量巨大,难以满足车载计算平台对毫秒级在线实时决策的需求。
4、因此,如何智能化地生成兼顾任务效率与安全性的导航策略,从而有效解决动态多障碍物协同运动场景下的自主飞行飞行器实时安全决策问题,是目前亟需解决的技术问题。
技术实现思路
1、有鉴于此,本技术的实施例提出了一种基于可达集与强化学习理论的避障决策方法,该方法通过引入可达集信息所提供的安全边界信息,与强化学习在复杂环境下寻求最优策略的智能决策能力进行深度融合,实现智能化地生成兼顾任务效率与安全性的导航策略,从而有效解决动态多障碍物协同运动场景下的自主飞行飞行器实时安全决策问题。
2、为了实现上述目的,本技术的实施例提出了一种基于可达集与强化学习理论的避障决策方法,所述方法包括以下步骤:
3、构建自主体飞行器与动态障碍物之间的降维相对运动模型;
4、基于降维相对运动模型,计算自主体飞行器相对动态障碍物的后向可达集,以得到形式化的动态安全边界信息;
5、基于动态安全边界信息和深度强化学习算法,构建目标决策智能体;其中,在目标决策智能体的状态空间和奖励函数中引入动态安全边界信息;目标决策智能体为基于环境状态直接输出避障控制指令的决策网络模型;避障控制指令用于控制自主体飞行器进行避障。
6、为了实现上述目的,本技术的实施例还提出了一种基于可达集与强化学习理论的避障决策系统,所述系统包括:
7、运动模型构建模块,用于构建自主体飞行器与动态障碍物之间的降维相对运动模型;
8、计算模块,用于基于降维相对运动模型,计算自主体飞行器相对动态障碍物的后向可达集,以得到形式化的动态安全边界信息;
9、智能体构建模块,用于基于动态安全边界信息和深度强化学习算法,构建目标决策智能体;其中,在目标决策智能体的状态空间和奖励函数中引入动态安全边界信息;目标决策智能体为基于环境状态直接输出避障控制指令的决策网络模型;避障控制指令用于控制自主体飞行器进行避障。
10、为了实现上述目的,本技术的实施例还提出了一种电子设备,包括:处理器和存储器,所述存储器中存储有所述处理器能够执行的指令,所述处理器被配置为执行所述指令时,使得所述电子设备能够实现如上述所述的一种基于可达集与强化学习理论的避障决策方法。
11、为了实现上述目的,本技术的实施例还提出了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,能够实现如上述所述的一种基于可达集与强化学习理论的避障决策方法。
12、本技术的实施例提出的一种基于可达集与强化学习理论的避障决策方法,首先,构建自主体飞行器与动态障碍物之间的降维相对运动模型;然后,基于降维相对运动模型,计算自主体飞行器相对动态障碍物的后向可达集,以得到形式化的动态安全边界信息;最后,基于动态安全边界信息和深度强化学习算法,构建目标决策智能体;其中,在目标决策智能体的状态空间和奖励函数中引入动态安全边界信息;目标决策智能体为基于环境状态直接输出避障控制指令的决策网络模型;避障控制指令用于控制自主体飞行器进行避障;本方案通过引入可达集信息所提供的安全边界信息,与强化学习在复杂环境下寻求最优策略的智能决策能力进行深度融合,实现了智能化地生成兼顾任务效率与安全性的导航策略,从而有效解决动态多障碍物协同运动场景下的自主飞行飞行器实时安全决策问题。
13、可选地,构建自主体飞行器与动态障碍物之间的降维相对运动模型,包括:
14、构建以自主体飞行器为原点的机体坐标系;
15、在坐标系下,定义自主体飞行器与动态障碍物的相对位置状态向量;其中,相对位置状态向量表示动态障碍物相对于自主体飞行器的位置向量;其表达式如下:;表示飞行器速度方向,和构成侧向平面;
16、基于相对运动学,建立相对位置状态向量的微分方程;其中,微分方程用于降维相对运动模型,其表示如下:
17、;
18、其中,,其表示动态障碍物在坐标系下的速度向量;,其表示自主体飞行器的横摆角速度在坐标系下的分量;,其表示自主体飞行器在坐标系下的速度向量;、和为单位方向向量,满足。
19、可选地,基于降维相对运动模型,计算自主体飞行器相对动态障碍物的后向可达集,以得到形式化的动态安全边界信息,包括:
20、将一组危险状态定义为目标集;其中,目标集包含以原点为圆心,以预设安全距离为半径的球内任意状态;目标集表示如下:
21、;
22、其中,为预设的安全距离;
23、基于最优控制理论,将避免系统进入目标集的问题,转化为求解哈密顿-雅可比-伊萨克斯偏微分方程,其表示如下:
24、;
25、其中,表示水平集函数;表示哈密顿函数;表示维实数空间;
26、采用水平集方法对哈密顿-雅可比-伊萨克斯方程进行数值求解;
27、提取水平集函数的零水平面,作为后向可达集的动态安全边界。
28、可选地,若动态障碍物的数量为多个,所述方法还包括:
29、针对第个动态障碍物,计算其对应的水平集函数值;
30、对所有动态障碍物的水平集函数值进行合成,得到在给定时间上的联合水平集函数,其表示如下:
31、;其中,表示动态障碍物的总数;
32、将联合水平集函数的零水平面定义为联合动态安全边界,并根据联合水平集函数值评估当前状态的总体安全程度。
33、可选地,若在线决策提供动态安全边界信息,所述方法还包括:在训练目标决策智能体之前,预先针对不同状态计算对应的水平集函数值,构建离线可达集数据库;将离线可达集数据库中的数据重构为一个神经网络模型,以支持在训练和决策过程中的快速查询。
34、可选地,基于动态安全边界信息和深度强化学习算法,构建目标决策智能体,包括:设计目标决策智能体的状态空间;其中,状态空间包含自主体飞行器与动态障碍物的归一化相对运动状态信息,以及从动态安全边界信息中获取的水平集函数值;设计目标决策智能体的动作空间,其中,动作空间为连续空间,用于直接输出自主体飞行器的避障控制指令;设计目标决策智能体的奖励函数,奖励函数包含基于任务完成情况的终端奖励、基于自主体飞行器与动态障碍物的距离变化的过程奖励,以及基于联合水平集函数值的安全约束奖励;采用近端策略优化算法框架,基于状态空间、动作空间和奖励空间,对目标决策智能体进行训练。
35、可选地,奖励函数为多项奖励的加权和,其表示为:
36、;
37、其中,表示终端奖励;表示鼓励接近目标的过程奖励;表示惩罚接近动态体的过程奖励;表示成功避障瞬间的奖励;表示避障控制指令平滑性的惩罚项;表示安全约束奖励;、、、、、表示对应的权重系数。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com