基于多头注意力与双层强化学习的进近冲突动态消解方法

本发明涉及空中智能控制，尤其涉及一种基于多头注意力与双层强化学习的进近冲突动态消解方法。

背景技术：

1、机场终端区（tracon）进近阶段是航空器由高空巡航向跑道降落过渡的核心交汇空域；随着民航运输密度的持续攀升，多架航空器在时空层面上高度汇聚，导致潜在飞行冲突的发生概率显著增加；高效、实时的空中交通冲突消解（英文全称conflictresolution,英文简称cr）对保障空域运行安全至关重要。传统的冲突消解方法主要依赖几何优化或基于规则优化；然而，在面对高密度、异构多机交汇的复杂非线性场景时，传统几何方法缺乏时域层面的前瞻性（look-ahead）推演能力，容易使规避轨迹产生高频震荡，且难以在保障安全间隔的同时兼顾燃油消耗与飞行舒适度。

2、近年来，深度强化学习在不确定时变环境下的序贯决策中展现出显著优势。然而，现有的单阶段深度强化学习（英文全称deepreinforcementlearning,简称drl）避错方法仍存在核心局限：首先，传统多层感知机编码器无法有效捕获空域中数量多变的障碍航空器与本航空器之间的动态空间依存关系，易造成特征稀释；其次，多目标失衡使得模型难以协调长期安全视界推演与短期高频机动控制之间的矛盾，在长预测时域下极易产生q值过度估计偏差，导致控制策略难以稳定收敛。

技术实现思路

1、本发明的目的在于提供一种基于多头注意力与双层强化学习的进近冲突动态消解方法，构建双层异构强化学习架构，上层决策网络基于双延迟确定性策略梯度（td3）构建战略前瞻预测网络，并采用双独立twincritics评估网络及目标策略平滑化机制，输出连续冲突预测时界；下层战术动作控制模块利用dueling架构网络与c51分布式强化学习处理输出最优离散规避机动动作集，能够有效解耦长时域战略推演与短时域战术机动。

2、本发明的目的通过下述技术方案实现：

3、一种基于多头注意力与双层强化学习的进近冲突动态消解方法，其方法包括：

4、s1、构建空域感知状态空间模型获取时间t研究航空器的飞行状态向量以及研究航空器防御扇区内的入侵航空器飞行状态向量并联合构建感知状态向量；

5、s2、对感知状态向量利用缩放点积自注意力机制计算空间注意力权重并编码得到时空增强特征；

6、s3、构建包含上层决策网络、模态切换机制模块、下层战术动作控制模块的进近冲突动态消解模型，所述上层决策网络利用时空增强特征在空域内前瞻性预测推演并输出冲突预测时界；所述模态切换机制模块内部存储有包含标称进近模态、危险规避模态的模态标准数据库，模态切换机制模块利用模态标准数据库对冲突预测时界进行模态判断并将危险规避模态输入下层战术动作控制模块；所述下层战术动作控制模块接收危险规避模态所对应的时空增强特征并利用dueling架构网络与c51分布式强化学习处理输出最优离散规避机动动作集，最优离散规避机动动作集的动作包括若干个离散转角调节动作和若干个速度调节动作。

7、为了更好地实现本发明，在方法s3中，最优离散规避机动动作集为若干个动作按照动作索引排列的动作集合，离散转角调节动作包括五个航向偏转角，速度调节动作包括三个调速，动作由五个航向偏转角与三个调速构成5×3笛卡尔积的独立复合动作。

8、优选地，下层战术动作控制模块利用dueling架构网络获取状态价值流与动作优势流，然后通过c51分布式强化学习输出51个支撑集atoms的期望概率分布并解算获取各个时间的最优离散规避机动动作，组成最优离散规避机动动作集。

9、为了更好地实现本发明，本发明还包括如下方法：

10、s4、所述下层战术动作控制模块内部具有多目标多模态连续奖励函数，表达式如下：，其中为奖励与惩罚后的最终值，为防撞硬约束参数，为近距离势能惩罚参数，为航向跟踪惩罚参数，为速度平稳性惩罚参数，为终点到达奖励参数，、、、、为权重参数。

11、优选地，研究航空器的飞行状态向量表达式如下：

12、，为研究航空器距跑道着陆点的距离，为跑道相对方位角，为研究航空器当前航向角，为研究航空器当前飞行速度，为研究航空器当前飞行高度，为研究航空器进近空域极限允许速度；所述研究航空器防御扇区由布设于研究航空器前、后、左、右四个方位传感器系统探测半径r1四分之一圆形扇区，四个方位的传感器系统分别探测研究航空器所对应的入侵航空器并记录入侵航空器飞行状态向量。

13、优选地，所述上层决策网络内部构建有包括两套完全独立且参数互不共享critic价值网络构成的双独立twincritics评估网络，双独立twincritics评估网络的目标q值函数表达式如下：

14、，其中为奖励与惩罚后的最终值，为回报折扣因子，为第i个critic价值网络输出，为时间t+1的时空增强特征，为上层决策网络利用处理输出，为截断高斯扰动噪声，为最大前瞻预判时长上界。

15、优选地，所述模态切换机制模块利用冲突预测时界解算出研究航空器与入侵航空器的距离，所述模态切换机制模块内部设定有标称进近阈值，若，则将模态判断为标称进近模态；若，则模态判断为危险规避模态，模态切换机制模块将危险规避模态作为告警以及危险规避模态所对应时空增强特征输入下层战术动作控制模块。

16、优选地，所述c51分布式强化学习的原子总数为51，其分布式状态价值与优势级联组合分布表达式如下：

17、，其中原子、时空增强特征、动作的分布式q分量，为时空增强特征、原子的状态价值流，为时空增强特征、动作、原子的动作优势流，为动作空间总数量，为全部动作在原子处的优势均值。

18、本发明较现有技术相比，具有以下优点及有益效果：

19、（1）本发明通过模态切换机制模块利用上层决策网络预测的冲突预测时界解算实时最小间距并与安全阈值及临界缓冲区阈值进行比较与模态判断，将危险规避模态输入下层战术动作控制模块进行紧急规避模态处理，实现了混合控制模态自适应切换以及紧急避险处理，提升了进近冲突消解效率；本发明解决了多机密集交汇场景下状态空间动态表征盲区、长时序决策过估计偏差以及几何调速高频震荡的问题。

20、（2）本发明利用多头自注意力机制实现动态威胁精准聚焦，提升了高密度场景下安全鲁棒性；实验数据表明，在航空器数量从10架增至30架的空域密度压力测试中，本发明得到的冲突率增速平缓；在30架高饱和极端场景下仍将冲突率控制在5.30%左右，远优于pure-drl算法25.10%的恶性冲突率；且75%的冲突事件属于间距大于3km的轻微接触，小于1km的危急碰撞发生率仅为1%，从宏观上构筑了坚实的安全防线。

21、（3）本发明构建双层异构强化学习架构，上层决策网络基于双延迟确定性策略梯度（td3）构建战略前瞻预测网络，并采用双独立twincritics评估网络及目标策略平滑化机制，输出连续冲突预测时界；下层战术动作控制模块利用dueling架构网络与c51分布式强化学习处理输出最优离散规避机动动作集，能够有效解耦长时域战略推演与短时域战术机动。