一种基于D3QN的无人机网络智能路由的方法、系统、设备及介质与流程

本发明属于无人机网络智能路由的，具体涉及一种基于d3qn的无人机网络智能路由的方法、系统、设备及介质。

背景技术：

1、随着信息化与智能化技术在军事领域的深度应用，现代空战正加速向智能化、协同化方向转型。有人/无人空中平台的性能跃升与智能技术的赋能，推动空战体系从单一平台向网络化、自主化演进。在此趋势下，无人机凭借其高机动性、强隐蔽性、低成本及高性价比优势，迅速成为现代战场的核心力量。然而，设备故障、电磁干扰或敌方战术打击等因素，常导致通信链路频繁波动甚至彻底失效，不仅严重削弱系统响应能力，更可能直接引发任务中断与不可挽回的战场损失。面对无人机网络拓扑高度动态、链路易中断及节点资源受限的核心挑战，近年来，围绕负载均衡、qos保障等方面开展路由策略研究，并形成了典型解决方案。其中，liu等人提出的ardeep协议是一项重要进展。该协议将路由决策建模为马尔可夫决策过程，通过深q网络（dqn）实现分布式路由选择，并且在状态设计中综合考虑了邻居节点与目的地的距离、链路预期连接时间等多维特征，并引入“可靠距离”概念作为奖励函数的核心指标，从而在频繁拓扑变化的环境中实现自适应路由。俞浚等人提出一种基于博弈论qos感知的无人机群无线通信路由方法。该方法为无人机自组网建立缓存队列排队模型，同时周期性地对节点中继的热业务类型、拥塞状态等qos特征进行采集统计，使用统计结果作为路径选择的综合判据，该方法能有效提升网络吞吐量和调度效率。

2、但是，现有技术缺乏无人机集群多维路由性能指标联合优化能力，大多聚焦节点位置或信道状态等局部参数，缺乏对链路时延、带宽利用率等网络性能指标的多维融合，难以兼顾多业务并发场景下的低延迟与防拥塞需求，具体来说：

3、（1）现有技术信息感知成本高，大多需要收集无人机集群全网链路状态信息才能执行路由决策，信息传递开销较大，路由决策延迟高，难以在资源受限的无人机节点实现轻量化部署；现有技术缺乏无人机集群多维路由性能指标联合优化能力，大多聚焦节点位置或信道状态等局部参数，缺乏对链路时延、带宽利用率等网络性能指标的多维融合，难以兼顾多业务并发场景下的低延迟与防拥塞需求。

4、（2）随着无人机集群规模不断扩大，多编队协同作战场景设计需求提升，通信网络环境越来越复杂，传统的dqn算法模型采用单一网络最大化q值引导决策的方案，容易引入过估计偏差，并且极易在动态多变的战场环境中不断累积，影响路由决策性能。

技术实现思路

1、为了解决现有技术中在无人机集群多维路由时，存在难以兼顾多业务并发场景下的低延迟与防拥塞的问题，本发明提供一种基于d3qn的无人机网络智能路由的方法、系统、设备及介质

2、为实现上述目的，本发明提供如下技术方案：

3、在第一方面，本公开实施例提供一种基于d3qn的无人机网络智能路由的方法，包括以下步骤：

4、步骤s1：将无人机网络拓扑结构表示为一个无向图，无向图包括无人机节点集合和通信链路几何，基于带宽负载选择路由路径；

5、步骤s2：计算所述路由路径的最大带宽占用率和传输时延，并构建无人机网络路由决策问题模型；

6、步骤s3：采用全分布式多智能体d3qn算法将所述无人机网络路由决策问题模型建模为部分可观察马尔可夫决策过程，形成深度强化学习训练框架，基于所述深度强化学习训练框架进行训练，并得到待测真实目标的最终路由决策结果。

7、进一步的，所述无向图包括：

8、；

9、式中，表示无人机节点集合，，是第架无人机，是网络中无人机总数；表示通信链路集合，，表示无人机和无人机之间的链路；

10、基于带宽负载选择路由路径时，包括以下步骤：

11、步骤a1：基于传输延迟和总带宽计算带宽占用率，包括：

12、；

13、式中，是链路中当前已占用带宽，是链路中的总带宽，带宽占用率用于反映链路负载的状态，带宽占用率值越高则链路负载越重，带宽占用率值越小则链路负载越轻；

14、步骤a2：选择最小带宽占用率的链路作为路由路径，路由路径包括无人机元素和链路，无人机元素，，其中，表示源节点的无人机，表示中间节点的中继无人机，表示目的节点的指挥中心或攻击无人机，无人机元素中两端为作为源节点和目的节点的无人机以及指挥中心或攻击无人机，中间均为作为中间节点的中继无人机，链路，，其中，表示构成所述路由路径的第条链路。

15、进一步的，构建所述无人机网络路由决策问题模型时，包括以下步骤：

16、步骤b1：计算所述路由路径的传输延迟，包括：

17、；

18、式中，表示第条链路的传输延迟；

19、步骤b2：计算路由路径的最大带宽占用率，包括：

20、；

21、式中，表示第k条链路的带宽占用率；

22、步骤b3：基于所述路由路径的传输延迟和最大带宽占用率，得到所述无人机网络路由决策问题模型，包括：

23、；

24、；

25、；

26、式中，和均为权重系数，对于低时延业务数据，增大权重系数以保证低时延，对于大容量业务数据，增大以保证带宽占用率；为权重约束；为延迟约束；表示通信业务的端到端路径总时延限制。

27、进一步的，所述深度强化学习训练框架执行以下训练步骤：

28、步骤c1：在无人机网络拓扑路由决策问题模型中随机生成源节点和目的节点作为路由决策的路由需求，从源节点开始逐次进行路由决策，得到每一跳训练轮次的路由决策结果，并将当前路由需求转递给下一跳训练轮次；

29、步骤c2：在每次路由决策后，基于总奖励函数得到当前决策的奖励值，记录当前动作及对应的状态、下一跳的状态，以及奖励值作为经验样本，并存入经验重放池；

30、步骤c3：每轮训练从所述经验重放池中随机抽样多个所述经验样本输入估计网络，并根据td偏差计算偏差值，基于偏差值更新估计网络q值，目标网络每隔预设训练步数复制估计网络的全部网络参数并赋值给自身对应的网络参数，直至到达目的节点，一次路由结束；

31、步骤c4：在无人机网络拓扑路由决策问题模型中重复随机生成源节点和目的节点，重复步骤c1-c3进行训练，当达到预设的训练轮次后，得到最优优势函数和最优状态价值函数，并基于最优优势函数和最优状态价值函数得到待测真实目标的最终路由决策结果。

32、进一步的，在步骤c1中，得到每一跳训练轮次的所述路由决策结果时基于 -贪心策略进行路由决策：

33、；

34、其中，为训练步数；为调节因子；为概率阈值，取值范围为0-1；为下一跳的状态：为下一跳的动作；

35、其中，无人机节点的当前状态，包括：

36、；

37、式中，表示当前是否到达目的节点；表示当前无人机节点到目的节点的最短跳数；表示邻居节点到目的节点的最短跳数；和分别代表当前无人机节点到邻居节点的链路时延与带宽；代表当前无人机节点到邻居节点链路的带宽占用率；

38、无人机节点的当前动作，包括：

39、；

40、式中，表示邻居节点的编号，当时，表示选择第个邻居节点作为下一跳的动作。

41、进一步的，所述总奖励函数，包括：

42、；

43、式中，、和均为正权重，且满足；表示时延相关奖励函数，表示负载相关奖励函数，表示路由相关奖励函数，为动作空间对应的奖励函数；

44、其中，所述时延相关奖励函数，包括：

45、；

46、式中，是比例系数，是负值，用于惩罚不满足要求的决策，为路由指标的服务质量，根据不同的通信业务传输要求，包括时延、吞吐量和丢包率；表示当前端到端业务传输的最小跳数；

47、所述负载相关奖励函数，包括：

48、；

49、式中，是比例系数；

50、所述路由相关奖励函数，包括：

51、；

52、式中，是比例系数。

53、进一步的，所述估计网络和目标网络为双网络结构，估计网络采用当前网络，用于选取动作，目标网络采用通过复制当前网络得到的更新网络，用于计算更新估计的估计值；

54、基于目标网络的估计值，采用td偏差计算公式得到偏差值，包括：

55、；

56、式中，为随机采样的样本容量值；表示在目标网络中计算状态时采取下一跳的动作后所获得的目标估计值，并选择在下一跳的状态下产生的最大目标网络估计值所对应的动作作为下一个动作；

57、其中，所述目标网络的估计值，包括：

58、；

59、式中，表示在状态下采取当前动作所获得的奖励值；为估计网络的当前网络的参数；为目标网络的更新网络的参数；γ∈[0,1]表示折扣因子；

60、基于所述估计网络的参数对目标网络的参数进行更新时，包括：

61、；

62、式中，表示调节因子，用来控制网络参数更新受值影响的程度；

63、最优状态价值函数，包括：

64、；

65、式中，表示采用策略时状态对应的价值；

66、最优优势函数，包括：

67、；

68、式中，最优优势函数表示最优q函数与最优状态价值函数的差值；表示最优q函数。

69、在第二方面，本公开实施例提供一种基于d3qn的无人机网络智能路由的系统，包括：

70、初始化单元，被配置为将无人机网络拓扑结构表示为一个无向图，无向图包括无人机节点集合和通信链路几何，基于带宽负载选择路由路径；

71、预处理单元，被配置为计算所述路由路径的最大带宽占用率和传输时延，并构建无人机网络路由决策问题模型；

72、输出单元，被配置为采用全分布式多智能体d3qn算法将所述无人机网络路由决策问题模型建模为部分可观察马尔可夫决策过程，形成深度强化学习训练框架，基于所述深度强化学习训练框架进行训练，并得到待测真实目标的最终路由决策结果。

73、在第三方面，本公开实施例提供一种电子设备，其特征在于，该电子设备包括：

74、至少一个处理器；以及，

75、与该至少一个处理器通信连接的存储器；其中，

76、该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行所述的基于d3qn的无人机网络智能路由的方法。

77、在第四方面，本公开实施例提供一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行所述的基于d3qn的无人机网络智能路由的方法。

78、与现有技术相比，本发明具有以下有益的技术效果：

79、本发明提供一种基于d3qn的无人机网络智能路由的方法、系统、设备及介质，本方法包括将无人机网络拓扑结构表示为一个无向图，无向图包括无人机节点集合和通信链路几何，基于带宽负载选择路由路径；计算所述路由路径的最大带宽占用率和传输时延，并构建无人机网络路由决策问题模型，无人机网络路由决策问题模型具有处理时延敏感型战场业务的能力，如实时操控、目标跟踪数据传输等，从而保障模型的可靠性；然后，采用全分布式多智能体d3qn算法将所述无人机网络路由决策问题模型建模为部分可观察马尔可夫决策过程，形成深度强化学习训练框架，基于所述深度强化学习训练框架进行训练，并得到待测真实目标的最终路由决策结果；采用全分布式多智能体d3qn算法将每个无人机节点作为独立智能体，仅需收集相邻节点与链路的状态信息，且由于采用分布式部署架构，各无人机节点上的智能体仅需在接收到路由请求后决策下一跳节点并转发路由请求信息，下一跳节点收到后继续重复此过程，直至到达目的节点，能够保障路由决策信息顺利执行，提升网络抗毁性与适应性；同时，将每架无人机的路由决策问题建模为部分可观察马尔可夫决策过程，能够使得各智能体独立训练，不共享参数与决策信息，仅通过链路状态间接交互，避免因信息频繁交互而被敌方截获的风险，同时可减少通信开销，提高资源利用率，更适应战场高动态环境。本方法在无中心控制的条件下，实现各无人机节点基于局部感知与历史数据学习，解决了大规模网络路由决策信令开销较大、路由决策延迟高等问题，本方法基于全分布式多智能体d3qn联合优化链路时延与链路利用率，实现高效智能路由决策，避免仅针对链路单一因素，进而满足百架级无人机集群在保障低时延的前提下，实现负载均匀分布，避免局部拥塞，提高无人机通信网络稳定性。