一种基于SDN架构的多智能体协同通信资源分配方法及系统

本发明属于计算机，特别是涉及一种基于sdn架构的多智能体协同通信资源分配方法及系统。

背景技术：

1、随着数字经济与全域通信需求的深度融合，通信网络正朝着空天地一体化（space-air-ground integrated network,sagin）方向快速演进，以满足低时延响应及高可靠性保障的业务诉求，该网络通常包含天基节点、空基节点和地基节点等异构节点。然而，该类网络在实际运行中面临诸多技术瓶颈，传统路由与通信资源分配方法已难以适配其复杂特性。

2、一方面，网络拓扑具有高度动态性，天基与空基节点的高速移动导致节点间通信链路频繁建立与断开，链路实时传输属性呈现强时变性，传统静态路由协议如ospf依赖固定转发规则，无法实时感知链路状态变化，易导致路由黑洞或资源浪费。并且网络需承载话音、图像、视频等多种异构业务，传统资源分配方法多采用单一指标优化，难以兼顾多业务服务质量（quality of service，qos）保障。另一方面，sagin网络的抗干扰能力需求突出，链路易受空间电磁干扰、大气衰减等因素影响，而传统方法缺乏对链路抗扰性能的量化评估与动态适配机制，无法根据信号干扰噪声比和链路类型权重针对性调整资源配置。为解决上述问题，行业内逐步探索将人工智能技术与软件定义网络（software-definednetworking，sdn）结合，但部分方案虽引入机器学习进行流量预测，却未充分利用时空图神经网络提取节点间空间关联与链路时序演化特征，导致预测精度不足，并且部分多智能体协同方案仅实现域内资源分配，缺乏根智能体与域智能体的高效协同机制。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于sdn架构的多智能体协同通信资源分配方法及系统，旨在提高空天地一体化网络通信资源分配的智能化水平。

2、第一方面，本技术提供了一种基于sdn架构的多智能体协同通信资源分配方法，应用于多控制器sdn通信网络，多控制器sdn通信网络包括多个节点、多个控制器和功能模块，功能模块包括qos解析模块、抗扰评估模块和资源调度引擎，控制器包括根控制器和与节点对应的本地控制器，包括：

3、基于多控制器sdn通信网络的部署信息，获取网络实体清单和交互接口规范，根据网络实体清单构建初始时空图，调用交互接口规范中定义的状态采集接口采集节点的节点实时运行参数与链路实时传输属性，生成时序状态数据序列，通过抗扰评估模块计算链路抗扰指数；

4、根据时序状态数据序列和链路抗扰指数，通过时空图神经网络提取空间特征与时间特征，并对未来预设时间内的流量趋势进行预测得到流量预测结果，融合生成全局特征矩阵及节点关联索引表；

5、基于交互接口规范，构建与本地控制器映射的域智能体和与根控制器映射的根智能体，并基于节点关联索引表，从全局特征矩阵中提取各域智能体对应节点的特征子集；

6、调用qos解析模块获取业务服务质量需求参数，基于各域智能体根据特征子集和业务服务质量需求参数生成域内资源分配动作，并基于根智能体通过协调域内资源分配动作，生成全局资源分配策略及策略执行优先级序列。

7、在其中一个实施例中，多控制器sdn通信网络通过以下步骤构建：

8、对各节点进行部署，生成节点部署清单，节点包括天基节点、空基节点和地基节点，其中，天基节点包括低轨侦察卫星与高轨中继卫星，天基节点预存最大带宽和功率调节范围参数；空基节点包括预警机与察打无人机，空基节点存储邻节点识别标识与通信距离阈值；地基节点包括地面雷达站、指挥车与火力单元，地基节点预存端口最大速率与丢包率容忍阈值；

9、对各控制器进行部署，生成控制器部署清单，本地控制器包括分别与天基节点、空基节点和地基节点对应绑定的天基本地控制器、空基本地控制器和地基本地控制器，天基本地控制器部署于高轨中继卫星的控制单元，空基本地控制器部署于预警机的控制单元，地基本地控制器部署于指挥车的控制单元，且各本地控制器配置一个备用节点；根控制器部署于战区数据中心，根控制器通过加密tcp链路与各本地控制器建立连接；

10、对功能模块进行部署，得到模块部署清单；其中，qos解析模块集成于根控制器，qos解析模块配置有业务需求报文解析单元，业务需求报文解析单元用于支持输出包含业务唯一标识、时延上限、带宽下限和丢包率阈值的标准化参数；抗扰评估模块分别部署于各本地控制器，抗扰评估模块内置有抗扰指数计算模型，抗扰指数计算模型用于根据信号干扰噪声比和链路类型权重计算出链路抗扰指数；资源调度引擎集成于根控制器；

11、对节点部署清单、控制器部署清单与模块部署清单进行整合，得到网络实体清单，网络实体清单用于记录各节点的唯一标识与控制器的映射关系、功能模块的部署位置及功能模块的基础参数；

12、对状态采集接口、控制器间通信接口和模块调用接口进行定义，生成交互接口规范；其中，状态采集接口用于定义节点向本地控制器上报参数的格式，控制器间通信接口用于定义本地控制器与根控制器的数据交互协议，模块调用接口用于定义控制器调用功能模块的请求格式与响应格式。

13、在其中一个实施例中，根据网络实体清单构建初始时空图，调用交互接口规范中定义的状态采集接口采集节点的节点实时运行参数与链路实时传输属性，生成时序状态数据序列，通过抗扰评估模块计算链路抗扰指数，包括：

14、从网络实体清单中提取出各节点的唯一标识、部署位置及互联关系，以节点为顶点、节点间实际通信链路为边，构建初始时空图；其中，初始时空图包括顶点属性与边属性，顶点属性包括节点的唯一标识和节点位置，边属性包括链路标识和链路初始带宽；

15、基于交互接口规范中定义的状态采集接口，按预设时间片对节点实时运行参数和链路实时传输属性进行采集，并按预设结构进行整合，得到时序状态数据序列，节点实时运行参数包括天基节点的剩余能量、空基节点的队列长度和地基节点的端口利用率，链路实时传输属性包括链路带宽、链路时延、信号干扰噪声比、链路类型和当前链路权重；

16、从时序状态数据序列中提取出链路实时传输属性，并根据网络实体清单中记录的唯一标识与本地控制器的映射关系，确定各链路所属的管辖域；

17、将链路实时传输属性输入至对应管辖域的抗扰评估模块，通过抗扰评估模块内置的抗扰指数计算模型，对每条链路的抗扰指数进行计算，得到每条链路的链路抗扰指数；

18、对链路与链路抗扰指数的对应关系进行整理，生成链路与抗扰指数的对应表。

19、在其中一个实施例中，根据时序状态数据序列和链路抗扰指数，通过时空图神经网络提取空间特征与时间特征，并对未来预设时间内的流量趋势进行预测得到流量预测结果，融合生成全局特征矩阵及节点关联索引表，包括：

20、将时序状态数据序列中各帧的节点实时运行参数和链路实时传输属性，分别与链路与抗扰指数的对应表中的链路抗扰指数进行关联，并对初始时空图的顶点属性与边属性进行更新，生成动态时空图序列；

21、将动态时空图序列中最新帧动态时空图输入时空图神经网络的图注意力处理层，以链路抗扰指数为注意力权重计算依据，通过注意力权重计算公式对节点间的空间关联信息进行聚合，输出空间特征；

22、将动态时空图序列中各帧动态时空图的链路实时传输属性按时间顺序输入时空图神经网络的门控循环处理层，通过门控循环处理层对链路的属性的时序演化趋势进行学习，并对未来预设时间内的流量趋势进行预测，分别输出时间特征及流量预测结果，流量预测结果包含未来预设时间内每条链路的预测带宽需求和预测干扰风险；

23、将空间特征、时间特征及流量预测结果按节点的维度进行拼接，得到融合特征；

24、通过全连接层将融合特征矩阵进行特征压缩，生成全局特征矩阵，并对全局特征矩阵的行索引与节点的唯一标识的对应关系进行建立，生成节点关联索引表。

25、在其中一个实施例中，基于交互接口规范，构建与本地控制器映射的域智能体和与根控制器映射的根智能体，并基于节点关联索引表，从全局特征矩阵中提取各域智能体对应节点的特征子集，包括：

26、基于交互接口规范中定义的本地控制器的管辖范围与功能边界，

27、将本地控制器映射为对应的域智能体，将根控制器映射为根智能体，域智能体包括天基域智能体、空基域智能体和地基域智能体，各域智能体用于管辖对应各域智能体范围内节点的资源分配，根智能体用于跨域资源冲突仲裁、多路径路由全局规划及流量跨域调度；

28、从节点关联索引表中，对域智能体对应的节点的唯一标识在全局特征矩阵中对应的行索引进行筛选，得到筛选结果，对筛选结果进行整理，分别得到天基域特征提取范围、空基域特征提取范围和地基域特征提取范围，其中全局特征矩阵中对应的行索引包括对应节点的流量预测结果；

29、根据天基域特征提取范围、空基域特征提取范围和地基域特征提取范围，从全局特征矩阵中提取出对应行的特征数据，分别得到对应的特征子集，特征子集包括天基域特征子集、空基域特征子集和地基域特征子集。

30、在其中一个实施例中，调用qos解析模块获取业务服务质量需求参数，基于各域智能体根据特征子集和业务服务质量需求参数生成域内资源分配动作，并基于根智能体通过协调域内资源分配动作，生成全局资源分配策略及策略执行优先级序列，包括：

31、对qos解析模块输入原始业务需求报文，通过qos解析模块的业务需求报文解析单元，对原始需求报文进行转换，得到业务服务质量需求参数，业务服务质量需求参数包括业务唯一标识、时延上限、带宽下限和丢包率阈值；

32、通过特征子集与对应的域智能体的业务服务质量需求参数，通过训练完成的深度强化学习模型，生成对应的域智能体内的域内资源分配动作，域内资源分配动作包括域内带宽分配、链路选择、功率控制和链路权重调整；

33、基于各域智能体，通过交互接口规范中定义的控制器间通信接口，将对应的域内资源分配动作同步至根智能体；

34、基于根智能体，通过根智能体的冲突仲裁模块对各域内资源分配动作进行冲突检测，识别不同域智能体对同一链路的冲突动作，生成冲突动作清单，并将冲突动作对应的域智能体定义为冲突域智能体；

35、基于根智能体通过控制器间通信接口向冲突域智能体发送协商请求，协商请求携带冲突动作清单、链路的可用资源参数和流量预测结果；

36、基于协商请求，通过冲突域智能体对应的特征子集和业务优先级，对冲突域智能体对应的域内资源分配动作进行调整，得到调整结果，并将调整结果反馈至根智能体；

37、基于根智能体，对冲突域智能体对应的调整结果进行汇总，生成全局资源分配策略，并根据业务优先级与调整结果中域内资源分配动作的类型确定执行顺序，得到策略执行优先级序列，其中业务优先级由业务服务质量需求参数中的时延上限确定。

38、在其中一个实施例中，训练完成的深度强化学习模型通过以下步骤得到：

39、基于多控制器sdn通信网络的域划分逻辑，构建多智能体深度强化学习框架，多智能体深度强化学习框架包含状态空间配置模块、动作空间映射模块、奖励函数生成模块及模型训练模块，其中各域智能体分别对应多智能体深度强化学习框架中的分布式强化学习智能体；

40、通过状态空间配置模块，基于域智能体对应的历史特征子集与历史业务服务质量需求参数，构建状态空间，状态空间的维度包含节点资源维度、链路属性维度、业务需求维度及预测趋势维度；

41、通过动作空间映射模块，根据预设的域内资源分配动作的动作类型，将每种预设的域内资源分配动作映射为可执行动作向量，构建动作空间，其中可执行动作向量包括域内带宽分配动作向量、链路选择动作向量、功率控制动作向量和链路权重调整动作向量；

42、通过奖励函数生成模块，构建多目标奖励函数，多目标奖励函包括正向奖励项和负向奖励项，正向奖励项基于qos满足度、资源利用率和抗扰能力构建，负向奖励项基于链路冲突和资源浪费构建；

43、基于状态空间、动作空间及多目标奖励函数，构建初始深度强化学习模型，初始深度强化学习模型采用dueling dqn算法作为决策算法；

44、利用m/m/1/k排队模型模拟多控制器sdn通信网络的动态拓扑变化与业务负载波动，生成离线训练数据集；

45、通过模型训练模块，基于离线训练数据集，对初始深度强化学习模型进行迭代训练，通过梯度下降优化初始深度强化学习模型的参数，得到训练完成的深度强化学习模型。

46、第二方面，本技术还提供了一种基于sdn架构的多智能体协同通信资源分配系统，应用于多控制器sdn通信网络，多控制器sdn通信网络包括多个节点、多个控制器和功能模块，功能模块包括qos解析模块、抗扰评估模块和资源调度引擎，控制器包括根控制器和与节点对应的本地控制器，包括：

47、数据采集与处理模块，用于基于多控制器sdn通信网络的部署信息，获取网络实体清单和交互接口规范，根据网络实体清单构建初始时空图，调用交互接口规范中定义的状态采集接口采集节点的节点实时运行参数与链路实时传输属性，生成时序状态数据序列，通过抗扰评估模块计算链路抗扰指数；

48、特征提取融合模块，用于根据时序状态数据序列和链路抗扰指数，通过时空图神经网络提取空间特征与时间特征，并对未来预设时间内的流量趋势进行预测得到流量预测结果，融合生成全局特征矩阵及节点关联索引表；

49、多智能体映射构建模块，用于基于交互接口规范，构建与本地控制器映射的域智能体和与根控制器映射的根智能体，并基于节点关联索引表，从全局特征矩阵中提取各域智能体对应节点的特征子集；

50、全局资源分配策略生成模块，用于调用qos解析模块获取业务服务质量需求参数，基于各域智能体根据特征子集和业务服务质量需求参数生成域内资源分配动作，并基于根智能体通过协调域内资源分配动作，生成全局资源分配策略及策略执行优先级序列。

51、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面中的步骤。

52、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的步骤。

53、上述一种基于sdn架构的多智能体协同通信资源分配方法及系统，通过构建初始时空图并采集节点实时运行参数、链路实时传输属性生成时序状态数据序列，并计算链路抗扰指数，为感知网络提供了数据基础。其次，利用时空图神经网络提取空间特征、时间特征并预测流量趋势，能够精准捕捉节点空间关联与链路时序演化规律。随后，构建域智能体与根智能体，并从全局特征矩阵中提取各域智能体对应的特征子集，实现了智能体与控制器的精准映射。最后，根据业务需求参数通过域智能体生成域内资源分配动作，再通过根智能体协调动作生成全局资源分配策略及优先级序列，实现域内与跨域资源的协同，进一步提升通信资源分配的qos适配性与全局利用效率。