基于强化学习的全光网络拓扑重构方法及系统与流程

本发明涉及光交换，具体涉及一种基于强化学习的全光网络拓扑重构方法及系统。

背景技术：

1、全光网络作为下一代光通信网络的核心架构，通过可重构光分插复用器（reconfigurable optical add-drop multiplexer，roadm）实现光信号在物理层的直接交换与调度，无需光电转换即可完成业务的灵活上下路与交叉连接。在流量潮汐变化明显的业务场景下，全光网络拓扑重构技术能够依据实时业务需求动态调整波长资源的分配策略，执行波长直通、添加与丢弃等操作，从而在业务高峰期保障带宽资源的充足供给，在低谷期降低网络整体能耗，已成为提升全光网络资源利用效率与自适应能力的关键手段。

2、近年来，强化学习算法因其在序贯决策问题中的优异表现，逐渐被引入全光网络拓扑重构领域。其中，深度q网络通过经验回放机制与目标网络的协同训练，能够有效拟合复杂网络环境下的状态动作值函数，为动态连接请求分配传输路径与波长资源。现有基于深度q网络的全光网络拓扑重构方法通常将路由选择与波长分配作为统一决策目标，通过设计奖励函数引导预设深度强化学习网络学习最优策略，以期在网络阻塞率、波长利用率与传输损耗等指标间取得平衡。

3、然而，全光网络中节点的资源需求随业务流量动态变化，光层传输的物理特性亦存在实时波动，使得传统强化学习框架中的奖励函数难以准确反映实时的网络状态变化，同时传统扁平动作空间未能适配可重构光分插复用器在路径、波长、端口等多维度上的调控能力，导致拓扑重构决策与实际业务场景之间存在适配偏差，重构后的网络拓扑难以精准匹配动态变化的资源需求与物理传输约束。

技术实现思路

1、为了解决现有技术因状态表征片面、动作空间扁平及奖励反馈滞后，导致拓扑重构过程中存在重构灵活性与业务场景适配性不足的技术问题，本发明的目的在于提供一种基于强化学习的全光网络拓扑重构方法及系统，所采用的技术方案具体如下：

2、第一方面，提供一种基于强化学习的全光网络拓扑重构方法，包括：获取全光网络中可重构光分插复用器之间的连接关系以及光纤链路的链路长度，构建全光网络物理拓扑结构；获取全光网络的网络运行状态信息，构建多维状态向量；根据全光网络物理拓扑结构、网络运行状态信息和多维状态向量，在分层动作空间中逐层决策，确定当前业务请求的最优传输路径对应的路径优化动作、波长调度动作以及链路切换动作，生成拓扑重构策略；根据拓扑重构策略生成交叉连接指令并下发至可重构光分插复用器执行，完成全光网络的拓扑重构。

3、结合上述第一方面，在一种可能的实现方式中，上述网络运行状态信息包括可重构光分插复用器的节点运行参数、光纤链路的传输参数、业务请求参数和全网性能参数；上述获取全光网络的网络运行状态信息，构建多维状态向量的方法，具体包括：获取可重构光分插复用器的端口占用率、波长添加数量、波长丢弃数量、光功率损耗以及电层处理余量，得到节点运行参数；获取光纤链路的流量负载、波长占用数量、传输损耗以及串扰噪声，得到传输参数；获取当前业务请求的流量需求、源节点与目的节点对分布以及未完成连接请求数量，得到业务请求参数；获取全网波长利用率、全网阻塞率以及平均传输损耗，得到全网性能参数；根据业务请求参数中源节点与目的节点对分布确定流量局部集中度、头部流量集中度以及流量分散度；将节点运行参数和传输参数、业务请求参数中的流量需求和未完成连接请求数量、流量局部集中度、头部流量集中度、流量分散度、全网性能参数进行融合，构建多维状态向量。

4、结合上述第一方面，在一种可能的实现方式中，上述根据全光网络物理拓扑结构、网络运行状态信息和多维状态向量，在分层动作空间中逐层决策，确定当前业务请求的最优传输路径对应的路径优化动作、波长调度动作以及链路切换动作的方法，具体包括：根据全光网络物理拓扑结构，生成源节点与目的节点对之间的多个候选路径；根据每个候选路径中的中间节点的数量、端口占用率、光功率损耗以及电层处理余量，确定每个候选路径的路径综合代价，并将路径综合代价最小的候选路径确定为最优传输路径；根据全光网络物理拓扑结构以及节点运行参数确定最优传输路径的路径优化动作；将多维状态向量输入预设深度强化学习网络确定最优传输路径中间节点的波长调度动作；根据最优传输路径中光纤链路的波长通道占用状态以及波长调度动作，通过逐链路验证与回滚机制确定波长通道分配结果，生成链路切换动作。

5、结合上述第一方面，在一种可能的实现方式中，若在当前业务请求前存在前序业务请求，上述确定每个候选路径的路径综合代价的方法，还包括：根据前序业务请求对每个候选路径中的中间节点的资源占用状态确定第一修正系数；根据第一修正系数修正路径综合代价，以根据修正后的路径综合代价确定最优传输路径。

6、结合上述第一方面，在一种可能的实现方式中，若当前业务请求包括多个开始时间相同的业务请求，上述确定每个候选路径的路径综合代价的方法，还包括：根据当前的多个业务请求的候选路径之间的共同中间节点数量以及每个业务请求的流量需求确定第二修正系数；根据第二修正系数修正路径综合代价，以根据修正后的路径综合代价确定最优传输路径。

7、结合上述第一方面，在一种可能的实现方式中，上述将多维状态向量输入预设深度强化学习网络确定最优传输路径中间节点的波长调度动作的方法，具体包括：根据最优传输路径中每个节点的波长占用状态、端口可用状态以及链路故障状态，生成可选动作集；将多维状态向量输入预设深度强化学习网络计算可选动作集中每个候选动作的动作价值函数值，根据动作价值函数值从可选动作集中确定中间节点的波长调度动作。

8、结合上述第一方面，在一种可能的实现方式中，上述根据最优传输路径中光纤链路的波长通道占用状态以及波长调度动作，通过逐链路验证与回滚机制确定波长通道分配结果，生成链路切换动作的方法，具体包括：标记最优传输路径中光纤链路的波长通道的占用状态，确定在光纤链路上处于空闲状态的公共波长通道集合；若公共波长通道集合非空，从公共波长通道集合中选择一条波长通道作为分配波长通道，并在分配波长通道上逐节点验证波长调度动作对应的端口可用性，将通过验证的分配波长通道分配至最优传输路径中的光纤链路；若公共波长通道集合为空，或端口可用性验证失败，重新选取最优候选路径。

9、结合上述第一方面，在一种可能的实现方式中，上述方法，还包括：根据全网波长利用率、全网阻塞率以及平均传输损耗，确定全局网络性能评价值；根据波长调度动作的动作类型，结合最优传输路径中间节点前后链路的链路长度、波长占用情况以及累积传输损耗，确定局部动作代价评价值；构建包含全局网络性能评价值以及局部动作代价评价值的多维度奖励函数，并根据多维度奖励函数更新预设深度强化学习网络。

10、结合上述第一方面，在一种可能的实现方式中，上述根据业务请求参数中源节点与目的节点对分布确定流量局部集中度、头部流量集中度以及流量分散度的方法，具体包括：根据源节点与目的节点对的请求数量最大值与请求总数的比值，确定流量局部集中度；根据源节点与目的节点对的请求数量从大到小处于前预设数量的请求数量之和与请求总数的比值，确定头部流量集中度；根据源节点与目的节点对的概率分布，确定流量分散度。

11、第二方面，提供一种基于强化学习的全光网络拓扑重构系统，包括：拓扑构建模块，用于获取全光网络中可重构光分插复用器之间的连接关系以及光纤链路的链路长度，构建全光网络物理拓扑结构；状态感知模块，用于获取全光网络的网络运行状态信息，构建多维状态向量；分层决策模块，用于根据全光网络物理拓扑结构、网络运行状态信息和多维状态向量，在分层动作空间中逐层决策，确定当前业务请求的最优传输路径对应的路径优化动作、波长调度动作以及链路切换动作，生成拓扑重构策略；拓扑重构模块，用于根据拓扑重构策略生成交叉连接指令并下发至可重构光分插复用器执行，完成全光网络的拓扑重构。

12、本发明具有如下有益效果：

13、通过构建融合节点运行参数、传输参数、业务请求参数及全网性能参数的多维状态向量，并设计包含路径优化、波长调度及链路切换的分层动作空间，利用深度强化学习网络进行逐层决策，实现了对全光网络运行状态的全面感知与多维度调控能力的精准适配，有效提升了拓扑重构决策与动态业务场景的匹配程度，在降低网络阻塞率的同时提高了波长资源利用效率并优化了传输损耗，实现了全光网络在动态流量场景下的高效拓扑重构。