一种虚拟电厂广域骨干通信网络联合路由调度方法

摘要: 本发明涉及电力通信与工业通信网络,尤其涉及一种虚拟电厂广域骨干通信网络联合路由调度方法。背景技术:1、虚拟电厂骨干通信网络多采用工业以太网、电力线载波通信、光纤...
一种虚拟电厂广域骨干通信网络联合路由调度方法

本发明涉及电力通信与工业通信网络,尤其涉及一种虚拟电厂广域骨干通信网络联合路由调度方法。

背景技术:

1、虚拟电厂骨干通信网络多采用工业以太网、电力线载波通信、光纤以及sdh等通信方式。前述基于ip的传统通信方式大多采用“尽力而为”的传输机制,在网络拥塞、业务混杂及负荷时变条件下,容易出现端到端时延波动大、丢包率上升以及缺乏确定性时延保障等问题,难以满足频率调节、需求响应控制、分布式能源协调控制等业务对毫秒级甚至亚毫秒级时延和高可靠传输的要求;而sdh网络虽然具有一定确定性和稳定性,但其采用固定时隙电路交换方式,带宽分配刚性较强,难以适应业务流量动态变化和优先级实时变化场景,在复杂动态负荷下仍存在资源利用率不足和调度灵活性受限的问题。

2、为克服传统通信技术在确定性传输和灵活调度方面的不足,时间敏感网络tsn因具备高精度时钟同步、确定性调度、低抖动传输及高可靠冗余容错能力,逐渐被认为是适用于虚拟电厂等大规模工业系统高质量通信的重要技术路径。在tsn相关调度机制中,时间感知整形tas能够通过预定义门控列表实现严格确定性传输,但其离线配置复杂度高、计算开销大、可扩展性较弱;循环排队转发cqf则通过周期性交替的“乒乓”队列机制实现收发分离与确定性转发,部署开销相对较低,更适合虚拟电厂广域骨干通信网络场景。然而,cqf主要规定了循环队列模型和时隙转发规则,并未给出面向动态网络状态的具体调度策略,因此在多业务混杂、事件触发流突发到达以及网络负载时变条件下,仍然面临在线优先级自适应能力不足、拥塞场景下低优先级业务易饥饿以及路由与调度协同优化能力不足等问题。

3、在此基础上,现有cqf调度研究多采用smt、ilp或增量式装箱等离线优化方法,通常依赖全局先验流集合、静态路径和预定义转发顺序,难以刻画虚拟电厂广域骨干通信网络中业务流突发、链路状态变化及队列拥塞演化带来的实时影响;同时,现有联合路由调度方法大多仍将路由视为固定先验,未能将逐跳路由选择与时隙内队列转发顺序进行统一优化,导致网络资源利用效率和业务服务质量提升受限。另一方面,强化学习方法虽具备在动态环境中进行决策优化的潜力,但传统基于卷积神经网络或一般深度神经网络的强化学习方法难以显式表征tsn网络中非欧式拓扑结构、节点邻接关系以及链路—队列耦合特征,在复杂拓扑和高维联合路由调度问题中易出现状态表达不足、收敛缓慢和泛化能力有限的问题。

技术实现思路

1、发明目的:本发明旨在提供一种能够在保持cqf确定性传输语义前提下,兼顾业务优先级动态调整、路由与调度协同优化以及复杂网络拓扑特征有效表征的联合路由调度方法。

2、技术方案:本发明所述的虚拟电厂广域骨干通信网络联合路由调度方法,包括

3、步骤s1,根据虚拟电厂分层通信架构、广域骨干通信网络的节点连接关系以及业务流的时序约束特征,构建虚拟电厂广域骨干通信网络模型,建立网络拓扑、交换节点、链路资源以及业务流模型,其中,所述业务流至少包括源节点、目的节点、路由路径、调度周期、截止期限、帧长度、注入偏移量及业务优先级;

4、步骤s2,根据所述业务流的周期性特征、突发性特征、截止期限约束以及交换端口队列资源配置,构建基于循环排队转发cqf机制的传输模型,具体包括:对交换端口的接收队列与发送队列进行交替时隙配置,并针对事件触发业务流引入虚拟周期映射机制,将事件触发业务流转换为满足cqf调度约束的准周期业务流;

5、步骤s3,构建动态优先级排序机制,在每一发送子时隙开始前,基于业务优先级,对上一接收子时隙内到达接收队列的各业务帧进行业务帧在线评分,根据业务帧在线评分进行业务帧排序,并在不改变cqf接收队列与发送队列交替运行时序的前提下,按照业务帧排序结果确定当前发送子时隙内各业务帧的转发顺序

6、步骤s4,以业务帧端到端时延、丢包率及有效吞吐量为优化目标,结合链路容量约束、队列长度约束、截止期限约束以及cqf时隙转发约束,构建面向虚拟电厂广域骨干通信网络的多目标联合路由调度优化模型;

7、步骤s5,将所述多目标联合路由调度优化模型转化为马尔可夫决策过程,构建基于图注意力网络和近端策略优化的联合路由调度决策模型,采用图注意力网络对当前交换节点及其相邻候选节点构成的局部子图进行特征提取与状态表征,采用近端策略优化算法根据状态表征结果进行逐跳路由决策;

8、步骤s6,根据步骤s5得到的逐跳路由决策结果确定业务帧的下一跳转发节点,结合步骤s3得到的业务帧的转发顺序完成当前时隙内的联合路由调度执行,在业务帧完成一次转发后更新网络链路状态、队列状态及业务帧状态,重复执行步骤s3至步骤s6,直至业务帧到达目的节点,得到最终联合路由调度结果。

9、进一步地,所述步骤s1中,所述虚拟电厂广域骨干通信网络模型采用有向图进行表征,网络节点包括终端节点、边缘节点、云调度节点以及tsn交换节点,网络链路采用有向边进行表征;

10、每一交换节点的端口配置两个队列分别作为cqf机制下的接收队列和发送队列;

11、所述业务流至少包括时间触发业务流和事件触发业务流。

12、进一步地,步骤s1中,所述业务流模型至少包含源节点、目的节点、路由路径、调度周期、截止期限、帧长度、注入偏移量以及业务重要度优先级信息;

13、对于事件触发业务流,采用虚拟周期映射方式将其转换为准周期业务流,以使事件触发业务流满足循环排队转发cqf机制下的调度要求。

14、进一步地,步骤s2中,基于循环排队转发cqf机制的传输模型具体包括:将传输周期划分为多个时隙,每一时隙进一步划分为接收阶段和发送阶段;

15、在接收阶段接收来自上一跳交换节点发送的业务帧,在发送阶段将当前交换节点中的业务帧转发至下一跳交换节点;

16、接收队列与发送队列按照时隙交替开启和关闭,以实现业务帧在相邻时隙之间的流水转发;

17、同时,cqf调度过程满足超周期约束、时隙长度约束、注入偏移量约束、端到端时延约束、截止期限约束以及链路队列资源约束。

18、引入虚拟周期映射vpm机制,对事件触发业务流分配一个准周期调度周期,表示为

19、

20、其中,表示事件触发业务流经虚拟周期映射后得到的准周期调度周期;表示该事件触发业务流的最小事件间隔;表示该事件触发业务流的最大突发到达率。

21、进一步地,步骤s3中,所述动态优先级排序机制具体包括:

22、在每一发送子时隙开始前,对上一接收子时隙内进入接收队列的全部业务帧进行一次性在线评分和排序;

23、所述在线评分至少综合考虑业务流的注入偏移量、业务帧长度、业务重要度优先级、当前队列拥塞程度、链路资源利用率以及链路阻塞程度;

24、在完成排序后,保持cqf机制下接收队列与发送队列交替运行的窗口边界和门控时序不变,并按照排序结果依次执行当前发送子时隙内的业务帧转发。

25、进一步地,步骤s4中,所述联合路由调度优化模型以业务帧的端到端时延、丢包率和有效吞吐量为联合优化目标;

26、其中,端到端时延用于表征业务帧从源节点到目的节点的全路径传输时长,丢包率用于表征当前观测窗口内未成功送达目的节点的业务帧比例,有效吞吐量用于表征在当前观测窗口内成功送达目的节点的有效载荷传输能力;

27、所述联合路由调度优化模型还同时考虑链路容量限制、交换节点队列长度限制以及业务帧截止期限限制。

28、进一步地,步骤s5中,将所述联合路由调度优化模型构建为马尔可夫决策过程,具体包括状态空间、动作空间以及奖励函数;

29、其中,状态空间至少包括当前交换节点候选出链路的剩余可用带宽、候选链路的动态丢包状态、当前交换节点的队列优先级状态以及待转发业务帧的固有属性状态;

30、动作空间定义为从当前持有待转发业务帧的交换节点的邻接候选节点集合中选择下一跳节点;

31、奖励函数根据当前动作执行后的端到端时延、丢包率和有效吞吐量综合确定,并叠加约束违背惩罚项。

32、采用图注意力网络对网络状态进行表征时,以当前持有待转发业务帧的交换节点及其直接相邻候选节点构成局部子图;

33、将当前交换节点的节点状态特征、驻留于该交换节点的业务帧属性特征以及当前交换节点与各候选下一跳节点之间链路的边特征共同输入图注意力网络,通过注意力权重对相邻节点特征与链路特征进行加权聚合,得到用于路由决策的状态嵌入表示。

34、所述图注意力网络采用多头注意力机制对局部子图中的节点特征和边特征进行并行建模,并将多个注意力头输出的特征表示进行拼接,以提高对动态拓扑结构、链路状态变化以及队列状态变化的表征能力。

35、采用近端策略优化算法生成逐跳路由决策策略,基于图注意力网络输出的状态嵌入表示,由策略网络输出当前交换节点到各候选下一跳节点的动作概率分布,并依据所述动作概率分布选择下一跳节点;

36、同时,采用价值网络对当前状态进行价值估计,并结合广义优势估计以及剪切目标函数对策略网络参数进行更新,以提高联合路由调度策略训练过程的稳定性。

37、进一步地,所述近端策略优化算法采用并行轨迹采样方式,同时对多个业务帧的转发过程进行交互采样,并通过小批量更新方式对策略网络和价值网络进行迭代优化,以适应虚拟电厂广域骨干通信网络中多业务帧并发转发场景下的联合路由调度需求。

38、进一步地,所述步骤s6中,在完成当前业务帧的一跳转发后,对网络链路状态、交换节点队列状态以及业务帧状态进行更新,并将更新后的状态重新输入图注意力网络和近端策略优化算法,以对下一时刻待转发业务帧执行动态优先级排序和逐跳路由决策;

39、重复执行上述过程,直至业务帧到达目的节点,从而实现面向虚拟电厂广域骨干通信网络的在线联合路由调度。

40、有益效果:本发明与现有技术相比,其显著优点是:1、本发明通过构建虚拟电厂云-网-边-端分层通信架构以及广域骨干通信网络有向图模型,对节点、链路、交换端口队列资源和业务流进行统一建模,并针对事件触发业务流引入虚拟周期映射机制,将其转换为满足循环排队转发cqf调度约束的准周期业务流;2、本发明引入动态优先级排序机制,在不改变cqf接收队列与发送队列交替运行时序的前提下,对当前接收队列中的业务帧进行在线评分与重排序;3、本发明以端到端时延、丢包率和有效吞吐量为核心指标构建多目标联合路由调度优化模型,并将其建模转化为马尔可夫决策过程,采用图注意力网络进行状态表征,结合近端策略优化算法执行逐跳路由决策,从而实现面向虚拟电厂广域骨干通信网络的在线联合路由调度,在保证cqf确定性传输语义的基础上降低端到端时延和丢包率,并提升有效吞吐能力。