一种基于强化学习的应急管理通信多网络聚合传输优化方法及系统

摘要: 本发明涉及通信传输优化,特别涉及一种基于强化学习的应急管理通信多网络聚合传输优化方法及系统。背景技术:1、在自然灾害救援、大型活动安保、远程医疗监控等应急管理场...
一种基于强化学习的应急管理通信多网络聚合传输优化方法及系统

本发明涉及通信传输优化,特别涉及一种基于强化学习的应急管理通信多网络聚合传输优化方法及系统。

背景技术:

1、在自然灾害救援、大型活动安保、远程医疗监控等应急管理场景中,现场通常需要同时回传多种类型的业务数据,例如指挥语音、实时视频、传感器监测数据和文件资料等,不同业务对网络的带宽、时延和可靠性要求差异明显:语音和实时控制指令对时延极为敏感,高清视频需要持续的大带宽,而文件传输更关注整体吞吐量,为了保障通信可靠性,应急现场一般会同时配备卫星通信、4g/5g公网、自组网和专用核心网等多种异构网络链路,希望通过多网络聚合提升总体传输能力和鲁棒性。

2、然而在现有的多路径传输方案中,例如多路径tcp(mptcp),虽然能够将数据流拆分到多条路径上传输,但其默认调度器(如最小rtt优先)仅依赖单向时延或丢包率进行简单路径选择,难以感知业务类型的优先级差异,也无法针对各链路带宽、时延和负载的动态变化进行细粒度优化,而加权轮询等静态调度策略则需要人工预先配置权重,难以适应链路质量的快速波动,其次,一些基于启发式规则的动态调度方法(如按照链路可用带宽比例分配流量)虽然有所改进,但在复杂多变的网络条件和多优先级业务共存时,仍很难同时兼顾高优先级流的低时延需求与低优先级流的公平性,凡此种种都对应急管理场景中的通信造成诸多不便。

技术实现思路

1、本发明的目的在于提供一种基于强化学习的应急管理通信多网络聚合传输优化方法及系统,以解决现有技术中,应急管理场景下的通信方式多采用多路径传输方案,而现有的大多数多路径传输方案都存在较多局限,给应急管理场景中的通信造成诸多不便。

2、为了实现上述目的,本发明提出了一种基于强化学习的应急管理通信多网络聚合传输优化方法,包括以下步骤:

3、获取发送端与接收端之间异构通信链路的实时状态信息,以及待传输数据流的业务属性信息;

4、将所述实时状态信息和所述业务属性信息作为强化学习决策模型的输入,由所述强化学习决策模型根据当前环境状态输出针对所述异构通信链路的数据分发策略;

5、基于所述数据分发策略,并结合所述待传输数据流中各数据包的优先级等级,将高优先级的所述数据包优先调度至当前往返时延最低的链路进行发送;

6、所述发送端接收来自所述接收端的传输质量反馈信息,根据所述传输质量反馈信息计算激励信号,并将所述激励信号反馈至所述强化学习决策模型,驱动所述强化学习决策模型进行策略更新,以优化后续的所述数据分发策略。

7、较佳地,所述实时状态信息包括以下参数中的至少一种:可用带宽、往返时延、丢包率、当前发送队列长度;

8、所述业务属性信息包括以下参数中的至少一种:所述数据包的业务优先级等级、所述数据包大小、所述数据流已存活时间。

9、较佳地,所述将所述实时状态信息和所述业务属性信息作为强化学习决策模型的输入,由所述强化学习决策模型根据当前环境状态输出针对所述异构通信链路的数据分发策略具体为:将所述实时状态信息和所述业务属性信息编码为状态向量作为所述强化学习决策模型的输入,所述强化学习决策模型输出对应所述异构通信链路的发送权重向量,根据所述发送权重向量为对应的所述异构通信链路分配发送配额,并在所述异构通信链路的所述发送配额内优先调度高优先级等级的所述数据包通过当前传输时延最低的链路进行发送;

10、多条所述异构通信链路中的所述发送权重向量均为非负实数,且,多条所述异构通信链路对应的所述发送权重向量总和为1;

11、所述强化学习模型采用深度确定性策略梯度算法,包含策略网络和价值网络,且,所述策略网络以状态向量为输入,通过softmax层输出确定性路径权重,所述价值网络评估状态-动作对应的q值以辅助所述强化学习决策模型进行训练。

12、较佳地,所述发送端接收来自所述接收端的传输质量反馈信息,根据所述传输质量反馈信息计算激励信号具体为:所述激励信号为复合奖励值r,所述复合奖励值r通过对归一化后的吞吐量分量throughput_norm、时延分量avgdelay_norm、优先级违反分量viocount_norm和负载均衡分量balance_norm进行加权组合计算得到;

13、其中,所述吞吐量分量为:,throughput为成功传输的总吞吐量,t_max为各路径可用带宽之和;

14、所述时延分量为:,avgdelay为当前正在传输的全部数据流从所述发送端到所述接收端的平均时延,d_max为高优先级的所述数据包可容忍的最大时延;

15、所述优先级违反分量为:,viocount为高优先级的所述数据包超过所述最大时延的次数,为本周期内发送的高优先级的所述数据包的总数;

16、所述负载均衡分量为:,为本周期内各链路带宽利用率的标准差,为在本周期内各链路带宽利用率理论最大标准差,可取各路径容量一半满载、一半空载时的标准差;

17、复合奖励值r为:

18、其中,α、β、γ、δ为预设的可调节权重系数。

19、较佳地,所述强化学习决策模型采用离线预训练与在线微调相结合的部署方式,具体为:  离线阶段,在仿真环境中对所述策略网络和所述价值网络进行预训练至收敛;在线阶段,所述策略网络以确定性方式输出所述数据分发策略,不引入随机探索噪声,同时,将在线运行中产生的转移样本持续存入经验回放池,并以小于离线阶段的学习率对所述策略网络和所述价值网络进行在线更新,更新过程中执行梯度裁剪以约束参数变化幅度。

20、较佳地,所述将所述激励信号反馈至所述强化学习决策模型,驱动所述强化学习决策模型进行策略更新,以优化后续的所述数据分发策略具体为:将当前的所述实时状态信息、所述数据分发策略、所述激励信号及下一周期的状态信息作为所述转移样本存入所述经验回放池,从所述经验回放池中采样小批量的所述转移样本对所述强化学习决策模型进行参数更新。

21、较佳地,所述接收端汇聚各所述异构通信链路的所述数据包时,为每个所述数据流维护重排序缓冲区,并设置动态超时定时器,所述动态超时定时器的超时阈值根据当前所有活跃的所述异构通信链路中最大往返时延值动态设定。

22、在本发明的另一方面提出了一种基于强化学习的应急管理通信多网络聚合传输优化系统,包括:

23、多网络接口模块,配置为支持至少两种异构通信网络的接入;

24、网络状态感知模块,配置为采集各异构通信链路的实时状态信息;

25、多路径聚合代理模块,部署于发送端,配置为接收上层应用的数据流,识别数据包的优先级等级,并根据强化学习决策引擎输出的数据分发策略,执行数据包分发操作;

26、多路径汇聚模块,部署于接收端,配置为对各链路到达的所述数据包进行汇聚重组,并生成传输质量反馈信息;

27、强化学习决策引擎,包含强化学习决策模型,配置为根据所述网络状态感知模块提供的所述实时状态信息输出所述数据分发策略,并根据所述传输质量反馈信息计算激励信号,对自身进行更新。

28、较佳地,所述多路径聚合代理模块基于用户态协议栈实现,通过区分服务标签或应用层标识识别所述数据包的业务优先级等级;

29、所述多路径汇聚模块维护重排序缓冲区和动态超时定时器,对乱序的所述数据包进行重排序并对超时未达的所述数据包进行丢包判定。

30、较佳地,所述异构通信网络包括卫星通信网络、4g/5g蜂窝网络和专用核心网中的至少两种;

31、所述发送端与所述接收端之间通过多条所述异构通信链路建立多条并行传输路径,以实现多网络聚合传输。

32、本发明相比于现有技术至少具有以下有益效果:将深度强化学习引入应急管理多网络聚合传输调度,可同时感知链路动态变化与业务优先级特征,获得优于静态调度和传统启发式调度的综合传输性能,并且构造出的构造复合奖励函数,在高吞吐量、低时延、优先级保障和负载均衡等多个相互制约的目标之间实现自适应权衡,且各系数可调,能够适应不同应急任务的差异化需求,对强化学习决策模型采用ddpg算法与经验回放池,通过离线预训练与在线微调相结合的部署方式,使系统具备持续适应环境变化的能力,并且对于上层应用,系统在发送端和接收端之间透明实现多路径聚合,屏蔽了底层多路径细节,便于与现有应急通信装备集成,为应急管理场景中的通信提供诸多便捷。