一种基于强化学习的飞行汽车城市空域动态路径规划方法与流程

摘要: 本发明涉及飞行汽车自主控制,尤其涉及一种基于强化学习的飞行汽车城市空域动态路径规划方法。背景技术:1、随着城市空中交通的快速发展,飞行汽车作为缓解地面交通拥堵的...
一种基于强化学习的飞行汽车城市空域动态路径规划方法与流程

本发明涉及飞行汽车自主控制,尤其涉及一种基于强化学习的飞行汽车城市空域动态路径规划方法。

背景技术:

1、随着城市空中交通的快速发展,飞行汽车作为缓解地面交通拥堵的新兴载运工具受到广泛关注,飞行汽车在城市低空环境中运行,面临建筑物密集、气象条件复杂、飞行器之间相互干扰等多重挑战,其路径规划需要在三维空间中同时满足碰撞安全、飞行效率、能耗经济性和噪声社会影响等多方面要求,然而,传统面向固定翼飞机或旋翼无人机的路径规划方法难以适应飞行汽车的运行模式,及其需要对城市环境中突发气象变化和移动障碍做出快速响应的需求。

2、近年来,强化学习方法在复杂序贯决策问题中一贯表现优异,因此也被逐步引入无人系统路径规划领域,现有技术中,已有将深度强化学习用于无人机城市避障航迹规划的相关研究,但其环境建模阶段通常仅考虑静态建筑物障碍,对于城市低空风场突变、局地降水、湍流等动态气象因素缺乏有效表征,也未考虑周边飞行器的运动不确定性,此外,现有方法在设计奖励函数时,未充分考虑电动飞行器混合动力系统的实时能耗特性,以及城市不同区域对飞行噪声容忍度的显著差异,导致规划出的路径运行经济性欠佳。

3、在实际部署方面,现有强化学习模型在仿真平台上训练完成后,难以适配真实城市空域中传感器噪声、通信延迟、突发气象变化和未知动态障碍,且在策略网络因环境突变而出现响应退化时,缺乏有效的安全冗余机制,无法满足飞行汽车决策系统对其安全性和可靠性的严格要求。

4、此外,具备可变构型的飞行汽车在各构型模式间切换时,其气动特性和控制边界发生显著变化,现有路径规划方法通常将构型切换视为与路径决策解耦的离散逻辑规则,而未综合考量构型切换所带来的机械磨损和能量冲击成本,常导致不必要的疲劳损耗和能量消耗。

技术实现思路

1、本发明的目的是为了解决现有技术中的问题而提出的一种基于强化学习的飞行汽车城市空域动态路径规划方法。

2、为了实现上述目的,本发明采用了如下技术方案:一种基于强化学习的飞行汽车城市空域动态路径规划方法,包括以下步骤:

3、s1,获取城市低空全局环境数据,构建包含静态障碍物层、动态气象围栏层和移动目标预测轨迹层的三维复合环境模型,定义包含飞行汽车的可变构型模式的状态空间,以及包含推力控制量和构型切换指令的动作空间;

4、s2,基于状态空间和动作空间构建综合奖励函数,综合奖励函数至少包含能量消耗惩罚项、噪声暴露惩罚项、碰撞安全约束项和路径效率奖励项;

5、s3,以三维复合环境模型作为仿真环境,以状态空间和综合奖励函数共同定义强化学习训练任务,通过数字孪生仿真平台预训练一个用于路径规划的策略网络及一个并联于策略网络的构型切换子网络;

6、s4,在飞行汽车实际飞行过程中,获取周围环境的实时传感数据,同时通过数字孪生模型仿真输出预测数据,计算二者之间的偏差,并基于偏差对策略网络和构型切换子网络进行在线微调,其中,当在线微调的响应速度持续低于预设下限时,由独立于策略网络的应急避障模块临时接管局部控制权;

7、s5,通过微调后的策略网络输出推力控制量、构型切换子网络输出构型切换指令,结合飞行汽车的当前位姿与目标地点,生成三维可行路径,在每一控制周期重复执行s4和s5,直至飞行汽车抵达目标地点。

8、本发明提供的技术方案带来的有益效果至少包括:

9、本发明通过构建包含静态障碍物层、动态气象围栏层和移动目标预测轨迹层的三维复合环境模型,将城市低空静态物理边界、动态气象威胁和周边飞行器运动不确定性纳入同一三维栅格空间中进行统一表征和叠加融合,显著提升路径规划决策所依据环境信息的完整性和准确性。

10、本发明通过设计嵌入多能源耦合特性和噪声社会化约束的综合奖励函数,与碰撞安全约束和路径效率奖励共同构成多目标优化框架,使规划出的三维可行路径在保障安全性的同时,能够主动避开居民区、学校、医院等噪声敏感区域,并兼顾混合动力系统在不同构型模式下的能耗经济性,实现飞行安全、社会接受度和能源利用效率的多维度协同优化提升。

11、本发明不仅通过数字孪生仿真平台离线预训练策略网络和构型切换子网络,还在实际飞行中进行在线微调,显著提升策略网络对仿真与真实环境之间差异的适应能力,同时,本发明使构型切换子网络与策略网络并联协同决策,在决策过程中引入构型切换的机械磨损成本和瞬态功率冲击成本,使系统自主学习如何在任务需求与构型保持之间做出最优权衡,有效延长切换机构的使用寿命、降低瞬态能耗。

12、本发明通过构建以应急避障模块为核心的安全冗余闭环架构,使飞行汽车在策略网络出现响应退化时,能够自主切换至不依赖神经网络的安全避障模式,同时在故障排除后自动恢复,兼顾安全性与任务完成能力,从根本上解决了强化学习控制在飞行汽车这一强安全敏感性场景下部署时面临的可信性和可靠性质疑。

1.一种基于强化学习的飞行汽车城市空域动态路径规划方法,其特征在于,该方法包括:

2.根据权利要求1所述的基于强化学习的飞行汽车城市空域动态路径规划方法,其特征在于:

3.根据权利要求2所述的基于强化学习的飞行汽车城市空域动态路径规划方法,其特征在于:

4.根据权利要求3所述的基于强化学习的飞行汽车城市空域动态路径规划方法,其特征在于:

5.根据权利要求1所述的基于强化学习的飞行汽车城市空域动态路径规划方法,其特征在于:

6.根据权利要求1所述的基于强化学习的飞行汽车城市空域动态路径规划方法,其特征在于:

7.根据权利要求1所述的基于强化学习的飞行汽车城市空域动态路径规划方法,其特征在于:

8.根据权利要求7所述的基于强化学习的飞行汽车城市空域动态路径规划方法,其特征在于:

9.根据权利要求8所述的基于强化学习的飞行汽车城市空域动态路径规划方法,其特征在于: