SDN架构下基于深度强化学习的资源优化方法及系统与流程

技术特征：

1.一种SDN架构下基于深度强化学习的资源优化方法，其特征在于，包括：

使用已训练好的智能体对网络中的新流，实时地根据当前网络状态与待分配流的带宽需求进行路径分配；所述智能体利用深度强化学习算法训练得到；

检测网络拥堵情况，若网络即将出现拥塞，则触发重路由，对网络中的部分流进行路径的重新选择，以进一步地优化网络资源，实现拥塞避免。

2.如权利要求1所述的SDN架构下基于深度强化学习的资源优化方法，其特征在于，该方法还包括：

当控制器收到来自某交换机转发的数据包后，对该数据包包头进行分析处理，以获取该数据包所在流的相关信息，从而确定出数据包的应用类型，以数据包的应用类型获取流带宽需求。

3.如权利要求1所述的SDN架构下基于深度强化学习的资源优化方法，其特征在于，该方法还包括：周期性地对全网各链路进行负载信息的收集，获得当前网络状态。

4.如权利要求1所述的SDN架构下基于深度强化学习的资源优化方法，其特征在于，该方法还包括：

将获取的数据包所在流的相关信息按时间顺序进行存储，将该集合记为流信息集合Φ，并在链路状态信息收集模块送来当前流信息集合ΦN后，对Φ进行更新。

5.如权利要求1所述的SDN架构下基于深度强化学习的资源优化方法，其特征在于，智能体训练过程为：

将网络从没有流的状态作为一轮训练的起始，逐条向网络中添加流，如果某流能分配到满足其带宽需求的路径，则智能体得到相应奖励，继续进行下一步，如果某流分配到的路径不能满足其带宽需求，则认为网络已拥塞，得到相应的奖励，停止本轮训练。

6.如权利要求1所述的SDN架构下基于深度强化学习的资源优化方法，其特征在于，周期性地检测网络各链路是否到达提前设置好的拥塞阈值，如未到达则继续下一周期的检测，如到达则触发重路由。

7.如权利要求1所述的SDN架构下基于深度强化学习的资源优化方法，其特征在于，触发重路由后，获取存储的流信息集合，然后对这些信息进行多次的序列重排，之后，将重排后的流信息逐个送入已训练好的智能体进行智能演算，全部完成后，依演算的结果选择一个最佳的流信息序列，将该序列中在智能演算中各流获取的路径与原序列流信息中的路径进行对比，将路径不一致的流挑选出来，进行重路由，更替为新的路径。

8.一种SDN架构下基于深度强化学习的资源优化系统，其特征在于，包括：

智能路由模块，其用于使用已训练好的智能体对网络中的新流，实时地根据当前网络状态与待分配流的带宽需求进行路径分配；所述智能体利用深度强化学习算法训练得到；

重路由模块，其用于检测网络拥堵情况，若网络即将出现拥塞，则触发重路由，对网络中的部分流进行路径的重新选择，以进一步地优化网络资源，实现拥塞避免。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的SDN架构下基于深度强化学习的资源优化方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的SDN架构下基于深度强化学习的资源优化方法中的步骤。

技术总结
本发明属于通信技术领域，提供了一种SDN架构下基于深度强化学习的资源优化方法及系统。其中，该方法包括使用已训练好的智能体对网络中的新流，实时地根据当前网络状态与待分配流的带宽需求进行路径分配；所述智能体利用深度强化学习算法训练得到；检测网络拥堵情况，若网络即将出现拥塞，则触发重路由，对网络中的部分流进行路径的重新选择，以进一步地优化网络资源，实现拥塞避免。

技术研发人员：曹叶文;饶雄;
受保护的技术使用者：山东大学;
技术研发日：2021.03.03
技术公布日：2021.10.19