一种基于深度强化学习的航空器冲突解脱方法与流程

技术特征：
1.一种基于深度强化学习的航空器冲突解脱方法，其特征在于，包括冲突环境生成模块、智能体通讯模块、ddpg强化学习模块；(1)所述冲突环境生成模块包括环境建模子模块、冲突场景设计子模块；(2)所述智能体通讯模块包括gym接口通讯子模块、openscope空管子模块；(3)所述ddpg强化学习模块包括策略网络子模块actor、价值网络子模块critic、历史数据经验池子模块。2.根据权利要求1所述的方法，其特征在于，各个模块还包括：(1)所述环境建模子模块用于对强化学习的环境进行建模，包括空域范围、飞行起点、目标点、飞行速度以及航班密度等参数的设定和管理；(2)所述冲突场景设计子模块可以为智能体航空器设计不同类型的预设冲突场景，包括迎面而来对头冲突、侧向的交叉冲突；所述gym接口通讯子模块可以完成航空器智能体与其他航空器的通讯，包括位置信息、航向信息；(3)所述openscope空管子模块提供人机交互界面仿真环境以及控制接口，同时还实现了对航空器智能体的飞行控制，如航向、速度、高度等状态的控制。3.根据权利要求2所述的方法，其特征在于，所述仿真环境模块为构建的冲突场景，智能体学习的环境通过gym接口来实现，管制环境通过开源空管平台openscope来搭建，对机场进近区的空域进行地图绘制，通过坐标转换对机场固定点的经、纬度坐标进行平面坐标的投影，构建gym智能体的内部结构，包括状态集合、动作空间以及状态更新等部件的实现。4.根据权利要求1或2或3所述的深度强化学习的航空器冲突解脱方法，其特征在于，包括：(1)所述仿真环境空域复杂，各个扇区存在不同的高度限制，智能体通过调整高度规避冲突但逾越限制，将会受到一定惩罚；(2)智能体的动作空间包括航向角调整、高度调整以及飞行速度的调整，均受限于bada航空器模型的性能参数；(3)智能体的状态空间包括位置信息、飞行速度、航向角度等多个维度，训练过程前均被归一化处理，以加快网络的收敛速度。

技术总结
本发明提出的一种基于深度强化学习的航空器冲突解脱方法，是基于深度确定性策略梯度算法，通过Open AI开源强化学习环境接口Gym构建智能体的各个部件以及冲突场景，采用DDPG算法进行解脱策略的学习。航空器智能体的冲突调配动作涉及航向角、飞行速度以及高度的调整，其状态主要包括位置信息、速度等多个维度的描述。本发明提出的算法对空管中航空器的冲突解脱工作给予了很大的帮助，可减轻管制员管制的工作负荷。工作负荷。


技术研发人员：韩云祥 张建伟 何爱平
受保护的技术使用者：四川大学
技术研发日：2021.06.29
技术公布日：2021/10/8