一种基于强化学习的建筑光纤资源调度方法与流程

本发明涉及光纤通信与网络资源调度，尤其涉及一种基于强化学习的建筑光纤资源调度方法。

背景技术：

1、随着建筑光纤网络规模与动态业务需求的爆炸式增长，传统静态资源分配方法在实时调度与动态拓扑适配方面面临着严峻的算力与效率挑战。现有的强化学习调度算法，如基于传统图神经网络的状态提取模型，虽然利用节点特征聚合提升了资源分配的响应速度，但主要依赖于静态拓扑结构与简单的特征拼接进行状态表示。单纯依赖静态拓扑与简单拼接的方法忽略了光纤网络动态演化过程中相邻节点聚合特征与节点历史隐藏状态之间的特征冲突，导致在执行时序展开迭代时发生状态特征的表达失真，从而限制了高维状态嵌入向量对网络真实环境感知的准确性。此外，经典调度方法通常难以充分利用网络性能反馈数据与时序演进状态来动态约束下一时隙的拓扑搜索空间，导致在处理多步时序差分误差校正时往往产生策略梯度的无效震荡，增加了模型参数更新的计算开销。

2、因此，如何提供一种基于强化学习的建筑光纤资源调度方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明提出了一种基于强化学习的建筑光纤资源调度方法，通过基于特征冲突调制与强化学习的闭环反馈优化流程，分别对邻居特征聚合向量与节点历史隐藏状态张量执行特征冲突自适应抑制，提取包含投影残差与动态温度系数的特征冲突度张量，并基于特征冲突度张量计算尺度冲突距离以生成自适应抑制权重张量。将策略损失误差作为优化目标，通过计算策略损失误差关于改进ggnn模型与动作解码网络权重参数的梯度，利用反向传播算法迭代修正改进ggnn模型与动作解码网络权重参数，直至满足收敛条件。闭环反馈优化流程通过建立从“特征冲突度量调制”到“网络参数更新”的闭环反馈通路，有效消除了时序展开迭代过程中的状态特征表达失真，确保生成的改进ggnn模型与动作解码网络能够动态保持高维状态嵌入向量对网络真实环境感知的准确性，实现了在降低策略梯度无效震荡的同时提升建筑光纤资源调度决策响应速度的技术效果。本发明克服了传统方法动态适配难、特征表达失真及忽略时空演进的局限，为建筑光纤资源动态调度提供了高效解决方案。

2、根据本发明实施例的一种基于强化学习的建筑光纤资源调度方法，具体包括：

3、s1、采集建筑光纤网络中各光交换节点的状态数据与光纤链路状态数据，执行特征空间映射与网络拓扑关联映射，分别输出节点特征矩阵与物理邻接矩阵；

4、s2、基于节点特征矩阵和物理邻接矩阵，执行边关系筛选与节点特征联合映射对齐，分配边权值并执行拓扑空间重构，输出建筑光纤动态拓扑图；

5、s3、基于建筑光纤动态拓扑图构建改进ggnn模型，聚合相邻节点特征并对聚合特征与节点历史隐藏状态执行特征冲突调制，结合门控机制融合调制后特征与历史状态执行时序展开迭代，输出高维状态嵌入向量；

6、s4、对高维状态嵌入向量执行特征加权筛选与降维投影对齐，重构强化学习的观测状态空间，输出决策输入状态；

7、s5、将决策输入状态输入动作解码网络执行特征映射与概率分布校准，基于候选动作概率分布执行最大似然动作解码与空间映射，输出建筑光纤资源调度动作指令集；

8、s6、对建筑光纤资源调度动作指令集执行响应采集与偏离度聚合，输出强化学习奖励值，基于所述强化学习奖励值执行状态转移关联与自适应空间重构映射，输出下一时隙建筑光纤动态拓扑图；

9、s7、基于强化学习奖励值与下一时隙建筑光纤动态拓扑图执行差分误差自适应校正输出策略损失误差，基于所述策略损失误差执行梯度映射与自适应步长重构，输出改进ggnn模型与动作解码网络的权重参数。

10、可选的，所述s1具体包括：

11、s11、基于光交换节点的状态数据与光纤链路状态数据，计算各类状态数据的分位数分布特征，基于分位数分布特征执行自适应缩放与归一化映射，输出节点归一化特征序列与链路归一化特征序列；

12、s12、基于节点归一化特征序列，沿节点标识维度执行特征向量拼接与缺失值填充对齐，输出节点特征矩阵；

13、s13、基于链路归一化特征序列，提取链路两端节点的连通性标识，基于连通性标识执行空间二元映射构建网络连接关系，输出物理邻接矩阵。

14、可选的，所述s2具体包括：

15、s21、基于物理邻接矩阵计算节点间的空间关联分布特征，基于空间关联分布特征执行自适应阈值筛选，输出有效拓扑边连接矩阵；

16、s22、基于节点特征矩阵与有效拓扑边连接矩阵，计算节点特征与有效拓扑边连接矩阵的联合映射关系，基于联合映射关系执行节点对齐与边权值分配，输出带权邻接关系图；

17、s23、基于带权邻接关系图，计算图结构的连通子图分布，基于连通子图分布执行拓扑空间重构，输出建筑光纤动态拓扑图。

18、可选的，所述改进ggnn模型包括特征传播聚合层、特征冲突自适应抑制层、门控状态更新层和时序展开映射层：

19、所述特征传播聚合层用于接收建筑光纤动态拓扑图的节点特征张量与物理邻接矩阵，基于所述物理邻接矩阵提取拓扑边连接关系，计算拓扑边连接关系对应的特征传播权重矩阵；

20、将节点特征张量与所述特征传播权重矩阵相乘，执行相邻节点特征映射与空间聚合，输出邻居特征聚合向量；

21、所述特征冲突自适应抑制层用于执行特征冲突调制，接收所述邻居特征聚合向量与节点历史隐藏状态张量，计算所述邻居特征聚合向量在所述节点历史隐藏状态张量正交补空间上的投影残差；基于节点历史隐藏状态张量计算动态温度系数，并基于投影残差与动态温度系数的交叉调制生成特征冲突度张量；

22、基于所述特征冲突度张量计算尺度冲突距离，通过指数衰减生成自适应抑制权重张量；利用所述自适应抑制权重张量构建动态平移因子与归一化门控掩码，对邻居特征聚合向量执行动态仿射变换与软门控过滤，输出冲突抑制特征张量；

23、所述门控状态更新层用于接收所述冲突抑制特征张量与所述节点历史隐藏状态张量，计算门控机制的重置门张量与更新门张量；

24、基于所述重置门张量对节点历史隐藏状态张量执行非线性过滤，得到候选历史状态张量；基于所述更新门张量对候选历史状态张量与所述冲突抑制特征张量执行自适应线性融合，输出节点门控更新状态张量；

25、所述时序展开映射层用于初始化节点初始隐藏状态张量，将节点初始隐藏状态张量作为首个时步的节点历史隐藏状态张量；

26、循环调用所述特征传播聚合层、所述特征冲突自适应抑制层与所述门控状态更新层执行多步时序展开迭代，将迭代过程中生成的所述节点门控更新状态张量作为下一时步的节点历史隐藏状态张量；

27、基于迭代终止时的节点门控更新状态张量执行全图特征映射与维度变换，输出高维状态嵌入向量。

28、可选的，所述特征冲突调制具体包括：

29、接收所述邻居特征聚合向量与节点历史隐藏状态张量，计算所述邻居特征聚合向量在所述节点历史隐藏状态张量正交补空间上的投影残差张量；

30、基于所述投影残差张量计算特征维度的二阶协方差矩阵，提取所述二阶协方差矩阵的主特征向量集作为冲突主轴；

31、计算所述投影残差张量在所述冲突主轴上的投影模长，将所述投影模长映射至双曲正切空间，结合节点历史隐藏状态张量的二阶范数计算动态温度系数，基于所述动态温度系数对映射结果执行指数交叉调制，生成特征冲突度张量；

32、基于所述特征冲突度张量计算沿特征维度的方差作为动态边界参数；将所述特征冲突度张量与所述动态边界参数作差并取平方，得到尺度冲突距离张量；

33、初始化与所述特征冲突度张量形状一致的单位张量；对所述尺度冲突距离张量执行指数运算得到指数衰减值，并利用所述单位张量逐元素减去所述指数衰减值，生成自适应抑制权重张量；

34、计算所述单位张量与所述自适应抑制权重张量的差值生成动态平移因子；对所述邻居特征聚合向量执行所述自适应抑制权重张量的哈达玛乘积，并累加所述动态平移因子以完成动态仿射变换，得到初步调制特征张量；

35、将所述自适应抑制权重张量输入双曲正切函数生成归一化门控掩码，对所述初步调制特征张量执行哈达玛乘积进行软门控过滤，输出冲突抑制特征张量。

36、可选的，所述s4具体包括：

37、s41、基于高维状态嵌入向量，计算各特征维度的状态响应分布特征，基于所述状态响应分布特征执行自适应重要性加权与维度筛选，输出加权状态特征向量；

38、s42、基于所述加权状态特征向量，计算强化学习的观测状态空间的目标维度投影分布，基于所述目标维度投影分布执行空间降维映射与方差归一化，输出对齐状态向量；

39、s43、基于所述对齐状态向量，计算状态转换的时序关联统计量，基于所述时序关联统计量执行特征融合与状态空间重构，输出决策输入状态。

40、可选的，所述动作解码网络具体包括：

41、接收决策输入状态以计算动作状态交互关联分布，基于所述动作状态交互关联分布执行自适应特征映射，输出隐含动作特征；

42、基于所述隐含动作特征，计算候选动作空间的概率分布特征，基于所述候选动作空间的概率分布特征执行自适应温度缩放与归一化转换，输出候选动作概率分布；

43、基于所述候选动作概率分布，计算最大似然动作决策统计量，基于所述最大似然动作决策统计量执行动作解码与空间映射，输出建筑光纤资源调度动作指令集。

44、可选的，所述s6具体包括：

45、s61、基于建筑光纤资源调度动作指令集，计算建筑光纤网络的执行响应状态分布，基于所述执行响应状态分布执行网络性能数据采集与统计特征编码，输出执行后性能统计向量；

46、s62、基于所述执行后性能统计向量，计算多维性能指标的基准偏离度分布，基于所述多维性能指标的基准偏离度分布执行自适应权重分配与映射聚合，输出强化学习奖励值与时序演进状态向量；

47、s63、基于所述强化学习奖励值与所述时序演进状态向量，计算网络拓扑空间的状态转移关联特征，基于所述网络拓扑空间的状态转移关联特征执行自适应空间重构映射，输出下一时隙建筑光纤动态拓扑图。

48、可选的，所述自适应空间重构映射具体包括：

49、基于所述网络拓扑空间的状态转移关联特征，计算拓扑节点间的动态时空演化概率分布，基于所述拓扑节点间的动态时空演化概率分布执行自适应显著性筛选与边连接强度更新，输出下一时隙拓扑关联强度矩阵；

50、基于所述下一时隙拓扑关联强度矩阵，计算拓扑结构的局部连通性统计特征，基于所述拓扑结构的局部连通性统计特征执行自适应阈值映射与稀疏化过滤，输出重构稀疏邻接矩阵；

51、基于所述重构稀疏邻接矩阵，计算全局图结构的拓扑空间映射分布，基于所述全局图结构的拓扑空间映射分布执行空间维度的坐标重构，输出下一时隙建筑光纤动态拓扑图。

52、可选的，所述s7具体包括：

53、s71、基于强化学习奖励值与下一时隙建筑光纤动态拓扑图，计算多步时序差分误差分布，基于所述多步时序差分误差分布执行自适应偏差校正与聚合，输出策略损失误差；

54、s72、基于所述策略损失误差，计算改进ggnn模型与动作解码网络的权重参数的梯度统计分布特征，基于所述梯度统计分布特征执行自适应梯度裁剪与反向传播映射，输出梯度更新向量；

55、s73、基于所述梯度更新向量，计算参数空间的自适应步长分布，基于所述参数空间的自适应步长分布执行参数迭代重构，输出改进ggnn模型与动作解码网络的权重参数。

56、本发明的有益效果是：

57、（1）通过构建改进ggnn模型与特征冲突自适应抑制流程，实现了相邻节点聚合特征与历史隐藏状态的精准解耦与自适应调制。特征传播聚合层基于物理邻接矩阵提取拓扑边连接关系并计算特征传播权重矩阵，执行空间聚合输出邻居特征聚合向量。特征冲突自适应抑制层计算邻居特征聚合向量在节点历史隐藏状态张量正交补空间上的投影残差，结合节点历史隐藏状态张量的二阶范数计算动态温度系数，生成特征冲突度张量。基于特征冲突度张量计算尺度冲突距离并通过指数衰减生成自适应抑制权重张量，构建动态平移因子与归一化门控掩码执行动态仿射变换与软门控过滤。特征冲突自适应抑制流程将特征冲突度量转化为精确的权重抑制与平移调制，彻底消除了时序展开迭代过程中的状态特征表达失真，提供了同时具备高阶拓扑感知能力与低冲突敏感度的高质量高维状态嵌入向量。

58、（2）通过采用动作解码网络与自适应空间重构映射，建立了策略生成与动态拓扑演进的闭环校验体系。动作解码网络基于决策输入状态计算动作状态交互关联分布，执行自适应特征映射与温度缩放，输出候选动作概率分布并进行最大似然动作解码。自适应空间重构映射基于建筑光纤资源调度动作指令集的执行响应状态分布与时序演进状态向量，计算网络拓扑空间的状态转移关联特征，进一步计算拓扑节点间的动态时空演化概率分布与局部连通性统计特征，执行自适应阈值映射与稀疏化过滤输出下一时隙建筑光纤动态拓扑图。闭环校验体系基于多步时序差分误差分布计算策略损失误差，通过自适应梯度裁剪与反向传播映射生成梯度更新向量，进而计算参数空间的自适应步长分布执行参数迭代重构。闭环校验体系通过动作概率校准、拓扑时空演化追踪与自适应步长重构，实现了从决策空间到拓扑空间的全方位动态适配，确保输出的改进ggnn模型与动作解码网络权重参数能够精准匹配建筑光纤网络的动态演化需求。