一种面向分簇结构的飞行自组网路由方法及系统

本发明涉及智能路由优化，尤其涉及一种面向分簇结构的飞行自组网路由方法及系统。

背景技术：

1、飞行自组网在应急通信、电力巡检、灾害侦察和区域覆盖等任务中具有机动部署快、拓扑可重构和链路可自组织等优点。然而，在复杂任务环境中，组网飞行节点通常处于持续移动状态，拓扑频繁变化，链路质量波动明显，且飞行节点剩余能量有限。当网络采用分簇转发结构时，跨簇链路质量、簇首可用状态以及飞行节点局部队列状态的波动。

2、现有技术中，第一类方案主要从物理通信或控制协同角度处理网络连通性问题，例如通过重构通信拓扑、调整编队形态或构建分布式观测器来保持控制稳定性；第二类方案尝试在飞行自组织网络中引入强化学习路由。

3、第一类方案通常更关注控制信号的可恢复性或链路几何结构的重组，对于网络层路由更新、链路代价构建、路由环路抑制以及数据业务转发可达性缺乏细粒度建模；第二类方案仅依赖单层观测信息，例如位置、距离或单链路质量，难以同时反映网络层、链路层、物理层和能量层的联合状态。

4、因此，当现有技术的网络采用分簇转发结构时，难以解决由于跨簇链路质量、簇首可用状态以及飞行节点局部队列状态的波动，导致原有转发路径失效、队列堆积、路由不可达乃至环路问题。

技术实现思路

1、鉴于此，本发明实施例提供了一种面向分簇结构的飞行自组网路由方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷。

2、本发明的一个方面提供了一种面向分簇结构的飞行自组网路由方法，该方法的步骤包括：

3、对飞行自组网进行簇化组织，将飞行自组网中的飞行节点划分至对应的节点簇，对于每个节点簇选定簇首节点，所述簇首节点设置有簇级决策单元；

4、在每个控制周期，所述簇首节点统计所在节点簇的状态数据和网络运行环境数据，并发布至所述飞行自组网的每个簇首节点，基于全部节点簇的状态数据和网络运行环境数据构建跨层观测向量；

5、对于每个飞行节点，从所述跨层观测向量中提取与该飞行节点相关的跨层观测子向量，将所述跨层观测子向量输入到该飞行节点对应的簇级决策单元中，得到路由动作，所述路由动作包括路由模式信息和中继候选信息的路由动作；

6、基于所述路由动作更新该飞行节点的路由表；

7、在数据传输过程中，每个所述飞行节点基于所述路由表进行路由传输。

8、采用上述方案，本方案先将分簇结构飞行自组网的全局运行状态、各决策点局部状态和簇间连接关系转换为当前跨层观测，由各簇级路由决策单元输出包括路由模式信息和飞行节点权重调整信息的路由动作；随后根据路由模式信息确定目标路由表，并依据当前网络状态和上一控制周期的转发结果校正各飞行节点权重调整量，将更新后的飞行节点权重写入路由表；再根据更新后的路由表及候选链路状态形成可执行路由；对当前路由路径包含的总边代价进行聚合和归一化，将其作为负向项直接加入初始奖励函数，并结合当前控制周期的实际数据传输结果计算下一奖励和下一跨层观测，从而驱动后续控制周期的路由策略更新；本方案能够自动化调节路由表，当存在由于跨簇链路质量、簇首可用状态以及飞行节点局部队列状态的波动时，能够基于当前网络状态选择最合适的飞行节点进行传输，解决了路由不可达乃至环路问题。

9、在本发明的一些实施方式中，所述簇首节点的簇级决策单元采用强化学习模型，所述方法的步骤还包括：在当前控制周期的下个控制周期，基于所述簇首节点所在节点簇的状态数据和网络运行环境数据计算节点簇中每条边的边代价，并计算总边代价，基于所述总边代价计算总奖励函数，基于总奖励函数更新所述簇首节点簇级决策单元的强化学习模型的网络参数。

10、在本发明的一些实施方式中，所述节点簇的状态数据包括每个边的边距离，所述网络运行环境数据包括信噪比、干扰强度和分组误包率，在基于所述簇首节点所在节点簇的状态数据和网络运行环境数据计算节点簇中每条边的边代价，并计算总边代价的步骤中：

11、基于基于所述簇首节点所在节点簇的状态数据和网络运行环境数据计算每条边的基础边代价，计算所述节点簇中每条边的基础边代价的和，作为总边代价。

12、在本发明的一些实施方式中，在基于基于所述簇首节点所在节点簇的状态数据和网络运行环境数据计算每条边的基础边代价的步骤中，采用如下公式计算基础边代价：

13、

14、其中，表示由飞行节点指向飞行节点的边的基础边代价，表示由飞行节点指向飞行节点的边的归一化的信噪比，表示由飞行节点指向飞行节点的边的归一化的边距离，表示飞行节点的归一化的干扰强度，表示由飞行节点指向飞行节点的边的归一化的分组误包率。

15、在本发明的一些实施方式中，在基于所述总边代价计算总奖励函数的步骤中，基于所述总边代价计算初始奖励函数，基于所述初始奖励函数对应每个路由模式分别计算总奖励函数。

16、在本发明的一些实施方式中，在基于所述总边代价计算初始奖励函数的步骤中，获取每种路由模式对应设置的奖励权重值，基于所述计算每种路由模式的奖励权重值与所述总边代价的乘积，作为该路由模式对应的初始奖励函数。

17、在本发明的一些实施方式中，在基于所述初始奖励函数对应每个路由模式分别计算总奖励函数的步骤中，基于所述簇首节点所在节点簇的状态数据和网络运行环境数据计算可靠性目标分量、时延目标分量、能量目标分量和公共安全约束分量；计算所述可靠性目标分量、时延目标分量、能量目标分量和公共安全约束分量的和，并与所述初始奖励函数做差，得到总奖励函数，并将总奖励函数归一化到区间内。

18、在本发明的一些实施方式中，所述节点簇的状态数据包括队列压力和剩余能量比，所述网络运行环境数据包括分组投递率、端到端时延和路由异常率，采用如下公式计算可靠性目标分量、时延目标分量、能量目标分量和公共安全约束分量：

19、

20、

21、

22、

23、其中，表示可靠性目标分量，表示时延目标分量，表示能量目标分量；表示当前控制周期的分组投递率，表示当前控制周期的归一化平均端到端时延，表示当前路由所经节点簇的归一化队列压力，表示当前路由所经节点簇的平均剩余能量比，表示当前控制周期的路由异常率；、、和分别表示对应可靠性、时延、能量和公共安全约束的权重值。

24、具体的，分组投递率按照下式统计：

25、

26、其中，表示节点簇中当前控制周期由源飞行节点发出的数据包总数，表示节点簇中当前控制周期成功到达目的飞行节点的数据包数；

27、归一化平均端到端时延按照下式统计：

28、；

29、其中，表示节点簇中当前控制周期成功到达目的飞行节点的数据包集合；和分别表示节点簇中数据包的发送时间和接收时间；表示预设的可接受时延参考值，表示归一化到；

30、节点簇的平均剩余能量比按照下式统计：

31、

32、其中，表示第个控制周期内第个节点簇的飞行节点集合；表示第个节点簇的飞行节点集合中的飞行节点数量；表示飞行节点在第个控制周期内的剩余能量；表示飞行节点的预设基准能量。

33、路由异常率按照下式统计：

34、

35、其中，表示节点簇中当前控制周期内发生环路、无路由、接口关闭或路由错误中的至少一种异常的数据包数量。

36、在本发明的一些实施方式中，每种路由模式对应设置有路由表，所述路由表记载有对应每个飞行节点的权重值，所述路由动作记载有对应每个飞行节点的权重值的调整值，所述将所述跨层观测子向量输入到该飞行节点对应的簇级决策单元中，得到路由动作的步骤还包括，对所述簇级决策单元输出的所述路由动作进行安全后处理，所述安全后处理的步骤包括：

37、基于所述中继候选信息的路由动作对应的路由模式信息确定路由动作对应的路由表；

38、获取当前路由表中飞行节点的剩余能量比，若飞行节点的剩余能量比低于预设的能量阈值，则对记录该飞行节点在路由表中的权重值，并对该飞行节点进行隐藏处理；

39、从所述路由动作中确定隐藏处理的飞行节点所对应的调整值，并将调整值置零。

40、在本发明的一些实施方式中，所述簇级决策单元的强化学习模型包括簇级个体动作价值网络和联合价值混合网络；

41、所述簇级个体动作价值网络包括状态特征编码支路、拓扑特征编码支路、特征融合层、路由模式输出分支和飞行节点权重输出分支；

42、所述状态特征编码支路依次包括具有128个神经元的第一全连接层、relu激活层、具有64个神经元的第二全连接层和relu激活层；

43、所述拓扑特征编码支路依次包括具有32个输出通道的第一图卷积层、relu激活层、具有64个输出通道的第二图卷积层和掩码平均池化层；

44、所述特征融合层依次包括特征拼接层、具有128个神经元的第三全连接层、relu激活层、具有64个神经元的第四全连接层和relu激活层；

45、所述路由模式输出分支包括具有3个输出飞行节点的全连接输出层，所述3个输出飞行节点分别输出链路质量优先模式、簇首优先模式和能量优先模式的动作价值；

46、所述飞行节点权重输出分支包括飞行节点特征拼接层、具有64个神经元的第五全连接层、relu激活层和具有3个输出飞行节点的共享全连接输出层，3个输出飞行节点分别输出降低飞行节点权重、保持飞行节点权重和提高飞行节点权重的动作价值；

47、所述联合价值混合网络依次包括非负权重生成层、具有32个神经元的混合隐层、elu激活层和单飞行节点标量输出层，所述单飞行节点标量输出层输出联合动作价值。

48、本发明的第二方面还提供一种面向分簇结构的飞行自组网路由系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如前所述方法所实现的步骤。

49、本发明的第三方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述面向分簇结构的飞行自组网路由方法所实现的步骤。

50、本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。

51、本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。