一种无人机集群的多目标跟踪避障策略网络优化方法和装置

本发明涉及无人机控制，尤其涉及一种无人机集群的多目标跟踪避障策略网络优化方法和装置。

背景技术：

1、随着人工智能、通信与传感器技术的进步，无人机已从航拍娱乐延伸至农业植保、物流配送及灾害救援等作业领域。集群相较单机具有探测范围广、作业效率高及容错性强等优势，但其目标搜索跟踪与避障任务天然耦合，跟踪要求无人机靠近目标并维持观测距离，而避障则强制与障碍物保持安全间距，尤其在障碍密集区域，最优跟踪位姿可能与威胁区域重叠，使系统需频繁在“追踪”与“规避”间取舍，且历史轨迹易引发避障中断，破坏跟踪连续性。

2、针对该问题，现有技术主要分两类：一是基于机理建模的协同控制方法，如控制屏障函数、模型预测控制及屏障李雅普诺夫函数，依据动力学模型和约束设计控制律；二是基于深度强化学习的多智能体方法，将各无人机视为部分可观马尔可夫决策过程中的智能体，通过试错学习端到端策略，绕开精确建模依赖。两类方法均试图通过优化目标或奖赏设计来平衡跟踪与避障。

3、然而，无论机理建模中的代价函数加权，还是强化学习中的奖赏加权，跟踪与避障的相对权重均预设为常数，而实际飞行中目标运动、障碍密度及相对速度动态变化，固定权重既难以调至全局最优，也无法根据当前态势自动调整侧重，导致无人机在目标加速或障碍骤增等场景切换时，难以兼顾跟踪与避障的平衡性能。

技术实现思路

1、本发明提供了一种无人机集群的多目标跟踪避障策略网络优化方法和装置，解决了无论机理建模中的代价函数加权，还是强化学习中的奖赏加权，跟踪与避障的相对权重均预设为常数，而实际飞行中目标运动、障碍密度及相对速度动态变化，固定权重既难以调至全局最优，也无法根据当前态势自动调整侧重，导致无人机在目标加速或障碍骤增等场景切换时，难以兼顾跟踪与避障的平衡性能的技术问题。

2、本发明提供的一种无人机集群的多目标跟踪避障策略网络优化方法，包括：

3、获取通过仿真训练环境训练得到的跟踪避障网络；

4、将各所述跟踪避障网络分别加载至无人机集群内各无人机分别对应的智能体，并初始化各所述智能体分别对应的动作策略网络；

5、通过各所述智能体实时获取当前环境的观察信息；

6、根据所述观察信息和经验回放机制，对各所述动作策略网络的权重参数进行共享更新，得到各所述智能体分别对应的多目标跟踪避障策略网络。

7、可选地，所述获取通过仿真训练环境训练得到的跟踪避障网络的步骤，包括：

8、获取无人机集群内各无人机的硬件数据、待跟踪目标的第一运动数据、任务区域的位置数据和障碍物的第二运动数据；

9、基于所述硬件数据、所述第一运动数据、所述位置数据和所述第二运动数据，创建所述无人机集群对应的仿真训练环境；所述仿真训练环境包括任务约束模型、无人机运动模型、目标运动特征模型和障碍物特征模型；

10、基于所述无人机运动模型构建所述无人机对应的训练智能体，并初始化所述训练智能体内的初始搜索跟踪经验网络和初始避障经验网络；

11、通过所述训练智能体与所述仿真训练环境交互，基于交互结果对所述训练智能体进行训练，直至满足训练次数，得到搜索跟踪经验网络和避障经验网络；

12、采用所述搜索跟踪经验网络和所述避障经验网络作为跟踪避障网络。

13、可选地，所述初始搜索跟踪经验网络包括初始搜索跟踪策略网络和初始搜索跟踪评价网络，所述初始避障经验网络包括初始避障策略网络和初始避障评价网络；所述通过所述训练智能体与所述仿真训练环境交互，基于交互结果对所述训练智能体进行训练，直至满足训练次数，得到搜索跟踪经验网络和避障经验网络的步骤，包括：

14、初始化所述仿真训练环境内各训练智能体的位置、所述待跟踪目标的位置、所述障碍物的位置以及训练回合总数；

15、通过所述训练智能体从所述仿真训练环境获取训练观察信息；

16、通过所述训练智能体根据所述训练观察信息和所述初始搜索跟踪策略网络输出搜索跟踪动作，并根据所述初始搜索跟踪评价网络对所述搜索跟踪动作进行评估，得到搜索跟踪动作对应的第一评估结果；

17、根据所述第一评估结果和所述搜索跟踪动作对应的第一奖励，更新所述初始搜索跟踪策略网络和所述初始搜索跟踪评价网络的参数，直至达到所述训练回合总数，得到搜索跟踪经验网络；

18、通过所述训练智能体根据所述训练观察信息和所述初始避障策略网络输出避障动作，并根据所述初始避障评价网络对所述避障动作进行评估，得到避障动作对应的第二评估结果；

19、根据所述第二评估结果和所述避障动作对应的第二奖励，更新所述初始避障策略网络和所述初始避障评价网络的参数，直至达到所述训练回合总数，得到避障经验网络。

20、可选地，所述根据所述第一评估结果和所述搜索跟踪动作对应的第一奖励，更新所述初始搜索跟踪策略网络和所述初始搜索跟踪评价网络的参数，直至达到所述训练回合总数，得到搜索跟踪经验网络的步骤，包括：

21、基于所述训练观察信息、所述搜索跟踪动作、所述第一奖励以及下一时刻的训练观察信息构建第一经验元组存储至经验回放缓冲区；

22、基于优先经验回放机制从所述经验回放缓冲区中批量获取第二经验元组；

23、基于所述第二经验元组计算第一策略梯度和第一时序差分误差；

24、根据所述第一策略梯度更新所述初始搜索跟踪策略网络的参数，并根据所述第一时序差分误差更新所述初始搜索跟踪评价网络的参数，直至达到所述训练回合总数，将当前时刻的初始搜索跟踪评价网络确定为搜索跟踪经验网络。

25、可选地，所述根据所述第二评估结果和所述避障动作对应的第二奖励，更新所述初始避障策略网络和所述初始避障评价网络的参数，直至达到所述训练回合总数，得到避障经验网络的步骤，包括：

26、将所述训练观察信息、所述避障动作、所述第二奖励以及下一时刻的训练观察信息作为第三经验元组存储至经验回放缓冲区；

27、基于优先经验回放机制从所述经验回放缓冲区中批量获取第四经验元组；

28、基于所述第四经验元组计算第二策略梯度和第二时序差分误差；

29、根据所述第二策略梯度更新所述初始避障策略网络的参数，并根据所述第二时序差分误差更新所述初始避障评价网络的参数，直至达到所述训练回合总数，将当前时刻的初始避障评价网络确定为避障经验网络。

30、可选地，所述根据所述观察信息和经验回放机制，对各所述动作策略网络的权重参数进行共享更新，得到各所述智能体分别对应的多目标跟踪避障策略网络的步骤，包括：

31、通过所述智能体分别根据所述动作策略网络和所述观察信息，确定执行动作；

32、计算所述执行动作对应的奖励信息，并结合所述观察信息和所述执行动作，构建所述智能体对应的经验元组，并缓存至对应的经验回放缓存区；

33、根据所述跟踪避障网络和所述智能体的评价网络，确定动态权重；

34、基于经验回放机制从所述经验回放缓存区采样目标经验元组，并结合所述动态权重，更新所述动作策略网络的第一参数和所述评价网络的第二参数；

35、当满足终止条件时，将当前时刻的动作策略网络确定为各所述智能体的多目标跟踪避障策略网络。

36、可选地，所述评价网络包括智能体跟踪评价网络和智能体避障评价网络；所述根据所述跟踪避障网络和所述智能体的评价网络，确定动态权重的步骤，包括：

37、根据所述跟踪避障网络中搜索跟踪经验网络和避障经验网络，分别计算所述观察信息对应的第一跟踪评估值和第一避障评估值；

38、采用所述智能体的智能体跟踪评价网络和智能体避障评价网络，分别计算所述观察信息对应的第二跟踪评估值和第二避障评估值；

39、根据所述第一跟踪评估值和所述第二跟踪评估值，计算跟踪修正信息；

40、根据所述第一避障评估值和所述第二避障评估值，计算避障修正信息；

41、基于所述跟踪修正信息和所述避障修正信息，确定动态权重；

42、其中，所述动态权重的计算过程为：

43、；

44、其中，为t时刻观察信息下的动态权重，为跟踪修正信息，为避障修正信息，e为自然常数。

45、可选地，所述基于经验回放机制从所述经验回放缓存区采样目标经验元组，并结合所述动态权重，更新所述动作策略网络的第一参数和所述评价网络的第二参数的步骤，包括：

46、基于经验回放机制对所述经验回放缓存区进行批量采样，得到目标经验元组；

47、基于所述动态权重和所述目标经验元组，计算所述动作策略网络的策略损失函数；

48、基于所述策略损失函数，采用梯度下降法更新所述动作策略网络的第一参数，更新所述评价网络的第二参数；

49、其中，所述策略损失函数的计算过程为：

50、；

51、；

52、；

53、其中，为t时刻动作策略网络的策略损失函数，为t时刻动作策略网络在观察信息下选择执行动作的策略概率，为t时刻的目标搜索跟踪优势函数，为t时刻的避障优势函数，temp为温度系数，γ为折扣因子，为t+1时刻智能体跟踪评价网络对观察信息的评价值，为t时刻智能体跟踪评价网络对观察信息的评价值，为t+1时刻智能体避障评价网络对观察信息的评价值，为t时刻智能体避障评价网络对观察信息的评价值。

54、可选地，所述基于所述策略损失函数，采用梯度下降法更新所述动作策略网络的第一参数，更新所述评价网络的第二参数的步骤，包括：

55、；

56、；

57、；

58、其中，为智能体跟踪评价网络的第二参数，为智能体避障评价网络的第二参数，为动作策略网络的第一参数，为智能体跟踪评价网络的学习率，为智能体避障评价网络的学习率，为动作策略网络的学习率，为动作策略网络的初始参数。

59、本发明还提供了一种无人机集群的多目标跟踪避障策略网络优化装置，包括：

60、跟踪避障网络获取模块，用于获取通过仿真训练环境训练得到的跟踪避障网络；

61、智能体初始化模块，用于将各所述跟踪避障网络分别加载至无人机集群内各无人机分别对应的智能体，并初始化各所述智能体分别对应的动作策略网络；

62、观察信息获取模块，用于通过各所述智能体实时获取当前环境的观察信息；

63、网络优化模块，用于根据所述观察信息和经验回放机制，对各所述动作策略网络的权重参数进行共享更新，得到各所述智能体分别对应的多目标跟踪避障策略网络。

64、从以上技术方案可以看出，本发明具有以下优点：

65、本发明获取通过仿真训练环境训练得到的跟踪避障网络；将各跟踪避障网络分别加载至无人机集群内各无人机分别对应的智能体，并初始化各智能体分别对应的动作策略网络；通过各智能体实时获取当前环境的观察信息；根据观察信息和经验回放机制，对各动作策略网络的权重参数进行共享更新，得到各智能体分别对应的多目标跟踪避障策略网络，从而使无人机集群可依托训练完成的策略网络，在实际开展多目标跟踪任务时，快速响应动态环境变化以及障碍物的位置变化进行避障，实现个体动作决策与集群整体任务目标的协同统一。