一种基于深度强化学习的网络切片动态优化方法

摘要: 本发明属于计算机网络,具体涉及一种基于深度强化学习的网络切片动态优化方法。背景技术:1、随着5g网络技术的成熟与普及,其支撑的业务场景日益丰富,从工业互联网的实...
一种基于深度强化学习的网络切片动态优化方法

本发明属于计算机网络,具体涉及一种基于深度强化学习的网络切片动态优化方法。

背景技术:

1、随着5g网络技术的成熟与普及,其支撑的业务场景日益丰富,从工业互联网的实时控制、远程医疗的高清会诊,到自动驾驶的低时延通信,均高度依赖网络切片技术实现差异化服务质量(qos)保障。这些关键业务对端到端时延、丢包率、带宽稳定性的要求极为严苛,而网络环境的复杂性却持续加剧,业务流量的突发性、用户行为的不可预测性,使得切片qos的实时性保障难题愈发凸显。

2、针对切片qos保障,当前主流技术思路是动态调整网络资源。在切片从用户设备到核心网的端到端实施过程中,需依据网络实际运行状态和业务实时需求,灵活调配频谱、带宽、路由等资源,以实现切片qos的持续优化。在接入侧,现有研究主要通过动态调整频谱资源来适配业务需求;在承载网侧,则尝试采用带内网络遥测技术实现数据包级监控,并引入强化学习方法输出路由策略进行资源分配,同时利用多路径传输技术提升网络资源利用率。

3、然而,上述现有技术仍存在明显局限。具体而言,当前研究面临的问题集中体现在三个层面:首先是监控与决策脱节,现有带内网络遥测技术虽能实现数据包级监控,但应用场景多局限于故障排查,采集的细粒度状态数据未直接接入资源调度决策算法,导致决策滞后于网络动态变化,无法精准适配切片的qos需求;其次是决策与执行错位,强化学习输出的路由策略虽能基于当前状态优化资源分配,但因无法预判业务流量的突发趋势,常忽略不同切片的动态隔离需求,极易出现带宽被普通切片挤占的问题,导致决策层的优化目标无法在执行端落地;最后是传输控制与qos矛盾,多路径传输虽能提升资源利用率,但现有技术要么因静态分配导致链路拥塞,要么因固定时间间隔调度无法适配链路时延差变化,引发数据包乱序,进而影响切片端到端时延与丢包率,且未结合实时监控数据动态优化调度参数,难以平衡传输效率与qos稳定性。

技术实现思路

1、本发明提出了一种基于深度强化学习的网络切片动态优化方法,解决了现有技术缺乏对网络状态的实时感知与流量趋势的准确预判能力的问题。

2、为解决上述技术问题,本发明提供了一种基于深度强化学习的网络切片动态优化方法,包括以下步骤:

3、步骤s1:获取网络切片的流内状态数据,对所述流内状态数据进行异常值过滤,提取包含历史演进规律的时序统计特征;

4、步骤s2:将所述时序统计特征输入深度强化学习模型,所述深度强化学习模型输出包括多路径流量分配权重的路由策略参数;

5、步骤s3:根据所述路由策略参数生成数据流的时间调度颗粒度,按照所述时间调度颗粒度对数据流进行时序切片与多路径分发;在分发过程中,根据多路径间的最大时延差动态调整相邻数据包簇的发送时间间隔;

6、步骤s4:监测分发后的链路反馈状态,基于所述链路反馈状态计算奖励值,利用所述奖励值更新所述深度强化学习模型的参数。

7、优选地,步骤s1中所述获取网络切片的流内状态数据,包括以下步骤:

8、步骤s11:在边缘节点,对数据包进行解析并根据切片优先级嵌入状态字段:若切片优先级高于预设阈值,执行全量嵌入;若低于预设阈值,执行触发式嵌入;

9、步骤s12:在区域汇聚节点,对边缘节点上报的状态数据进行去重与聚合,生成区域状态摘要;

10、步骤s13:在全局控制节点,融合多区域状态摘要,生成端到端的全网状态视图,从中提取所述时序统计特征。

11、优选地,步骤s2中所述深度强化学习模型利用长短期记忆网络层对最近个时间步的时序统计特征进行扫描,生成包含时序依赖关系的隐藏层状态特征,将所述隐藏层状态特征输入全连接层,生成路由策略参数。

12、优选地,步骤s4中基于所述链路反馈状态及包含缓存队列长度惩罚项的奖励函数计算奖励值,所述奖励函数的表达式为:

13、;

14、式中,为奖励函数;、、、分别为、、、对应的动态权重系数;、、、分别为归一化的时延惩罚项、抖动惩罚项、丢包率惩罚项和缓存队列长度惩罚项;为归一化因子。

15、优选地,所述动态权重系数的值根据各性能指标的平均偏离度动态调整,包括以下步骤:计算各性能指标惩罚项的平均偏离度,计算所有指标平均偏离度的总和;将指标的平均偏离度与所述总和的比值作为指标的动态权重系数。

16、优选地,所述方法还包括对所述流内状态数据进行分级异常检测:将实时标准化特征与预设的基线阈值进行比对,若实时标准化特征超出预设的基线阈值的范围,则标记为一级异常;分析连续多个采样周期的特征变化趋势,若链路利用率的增长速率超过预设增长阈值或丢包率出现突增,则标记为二级异常;当检测到二级异常时,增加所述奖励函数中惩罚项的权重。

17、优选地,步骤s1中对所述流内状态数据进行异常值过滤,包括以下步骤:采用拉依达准则对流内状态数据进行噪声过滤,计算各指标的均值和标准差,剔除超出范围的数据。

18、优选地,步骤s1中所述时序统计特征包括各链路的带宽利用率、端到端时延、缓存队列长度的均值和方差。

19、优选地,步骤s3中所述发送时间间隔的确定方法为:当最大时延差小于第一阈值时,发送时间间隔取第一阈值;当最大时延差不小于第一阈值且小于第二阈值时,发送时间间隔取第二阈值;当最大时延差不小于第二阈值时,发送时间间隔取最大时延差。

20、优选地,步骤s3中所述时间调度颗粒度根据所述数据包簇所属业务流集群的优先级与路径端到端时延关联确定,优先级越高且时延越低的集群,对应的时间调度颗粒度越小。

21、本发明的有益效果至少包括:

22、1、通过提取流内状态数据的时序统计特征并过滤异常值,能够捕捉网络流量的历史演进规律,为深度强化学习模型提供高质量的输入特征;相比仅依赖瞬时状态的传统方法,这种时序建模能力使模型能够预判流量波动趋势,从而提前做出更优的路由决策,有效缓解因流量突发导致的链路拥塞问题;

23、2、深度强化学习模型输出的多路径流量分配权重直接指导数据流的时间调度颗粒度生成,并基于多路径最大时延差动态调整发送间隔,这种闭环协同机制能够主动规避数据包乱序,在提升多路径传输效率的同时,保障端到端时延和丢包率等关键qos指标的稳定性;

24、3、通过监测分发后的链路反馈状态并计算奖励值,形成了感知-决策-执行-评估的完整闭环,强化学习模型能够根据实际网络表现持续更新参数,自适应地优化路由策略,从而应对5g网络中业务流量的突发性和用户行为的不可预测性,实现切片qos的动态可持续优化。

1.一种基于深度强化学习的网络切片动态优化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于深度强化学习的网络切片动态优化方法,其特征在于:步骤s1中所述获取网络切片的流内状态数据,包括以下步骤:

3.根据权利要求1所述的一种基于深度强化学习的网络切片动态优化方法,其特征在于:步骤s2中所述深度强化学习模型利用长短期记忆网络层对最近个时间步的时序统计特征进行扫描,生成包含时序依赖关系的隐藏层状态特征,将所述隐藏层状态特征输入全连接层,生成路由策略参数。

4.根据权利要求1所述的一种基于深度强化学习的网络切片动态优化方法,其特征在于:步骤s4中基于所述链路反馈状态及包含缓存队列长度惩罚项的奖励函数计算奖励值,所述奖励函数的表达式为:

5.根据权利要求4所述的一种基于深度强化学习的网络切片动态优化方法,其特征在于:所述动态权重系数的值根据各性能指标的平均偏离度动态调整,包括以下步骤:计算各性能指标惩罚项的平均偏离度,计算所有指标平均偏离度的总和;将指标的平均偏离度与所述总和的比值作为指标的动态权重系数。

6.根据权利要求4所述的一种基于深度强化学习的网络切片动态优化方法,其特征在于:所述方法还包括对所述流内状态数据进行分级异常检测:将实时标准化特征与预设的基线阈值进行比对,若实时标准化特征超出预设的基线阈值的范围,则标记为一级异常;分析连续多个采样周期的特征变化趋势,若链路利用率的增长速率超过预设增长阈值或丢包率出现突增,则标记为二级异常;当检测到二级异常时,增加所述奖励函数中惩罚项的权重。

7.根据权利要求1所述的一种基于深度强化学习的网络切片动态优化方法,其特征在于:步骤s1中对所述流内状态数据进行异常值过滤,包括以下步骤:采用拉依达准则对流内状态数据进行噪声过滤,计算各指标的均值和标准差,剔除超出范围的数据。

8.根据权利要求1所述的一种基于深度强化学习的网络切片动态优化方法,其特征在于:步骤s1中所述时序统计特征包括各链路的带宽利用率、端到端时延、缓存队列长度的均值和方差。

9.根据权利要求1所述的一种基于深度强化学习的网络切片动态优化方法,其特征在于:步骤s3中所述发送时间间隔的确定方法为:当最大时延差小于第一阈值时,发送时间间隔取第一阈值;当最大时延差不小于第一阈值且小于第二阈值时,发送时间间隔取第二阈值;当最大时延差不小于第二阈值时,发送时间间隔取最大时延差。

10.根据权利要求1所述的一种基于深度强化学习的网络切片动态优化方法,其特征在于:步骤s3中所述时间调度颗粒度根据所述数据包簇所属业务流集群的优先级与路径端到端时延关联确定,优先级越高且时延越低的集群,对应的时间调度颗粒度越小。