一种基于分层强化学习的自适应视频编码速率控制与带宽分配方法、系统、设备及介质

本技术涉及视频传输，特别是一种基于分层强化学习的自适应视频编码速率控制与带宽分配方法、系统、设备及介质。

背景技术：

1、在广域视联网场景下，中高点位摄像头通常部署于乡村、山区、海防等偏远区域。由于这些区域基础设施建设滞后，光纤等有线网络的部署成本极高且施工难度大，因此摄像头与边缘基站之间大多采用4g/5g等无线通信方式进行视频回传。

2、然而，无线信道极易受天气变化、地理环境及电磁干扰等因素影响，呈现出显著的时变特性，并且，目前仍缺乏对动态网络环境的在线自适应能力。实际部署中，信道增益、可用带宽等网络状态快速波动，若无法实时联合优化传输视频编码速率与带宽分配，轻则引发视频卡顿，重则导致队列溢出与数据丢失，严重威胁监控任务的可靠性。联合优化码率控制与带宽分配是提升视频传输质量、降低时延的关键，但这二者在决策时间尺度上存在天然差异。因此，本技术提出了一种基于分层强化学习的自适应视频编码速率控制与带宽分配方法。

技术实现思路

1、鉴于上述问题，本技术实施例提供了一种基于分层强化学习的自适应视频编码速率控制与带宽分配方法、系统、设备及介质，以便克服上述问题或者至少部分地解决上述问题。

2、本技术实施例第一方面，提供了一种基于分层强化学习的自适应视频编码速率控制与带宽分配方法，所述方法包括：

3、边缘基站获取低层时间间隔对应的低层观测信息，以及，获取所述连续k个低层时间间隔组成的高层时间间隔对应的高层观测信息；k为大于1的整数；

4、所述边缘基站根据所述高层观测信息，每隔k个低层时间间隔，通过高层决策网络，为各个视频采集终端分别设定各自在高层时间间隔内的视频编码速率；

5、所述各个视频采集终端根据各自在高层时间间隔内的视频编码速率，生成待传输视频并添加至各自的待传输视频队列中；

6、所述边缘基站根据低层观测信息，在每个低层时间间隔，通过低层决策网络，为所述各个视频采集终端分别分配各自在低层时间间隔内的带宽比例；

7、所述各个视频采集终端根据所述边缘基站在低层时间间隔内的总带宽，以及，所述各个视频采集终端各自在低层时间间隔内的带宽比例，将各自的待传输视频队列中的视频传输给所述边缘基站。

8、可选地，所述各个视频采集终端根据各自在低层时间间隔内的带宽，将各自的待传输视频队列中的视频传输给所述边缘基站，包括：

9、所述各个视频采集终端根据各自在低层时间间隔内的带宽和信道增益，确定各自在低层时间间隔内的上行传输速率；

10、所述各个视频采集终端根据低层时间间隔的时长，以及，各自在低层时间间隔内的上行传输速率，确定所述各个视频采集终端各自在低层时间间隔内的视频传输量；

11、所述各个视频采集终端根据在低层时间间隔内的视频传输量，将各自的待传输视频队列中的视频传输给所述边缘基站。

12、可选地，所述各个视频采集终端根据各自在高层时间间隔内的视频编码速率，生成待传输视频并添加至各自的待传输视频队列中，包括：

13、所述各个视频采集终端将各自在高层时间间隔内的视频编码速率，确定为各自在对应的连续k个低层时间间隔内的视频编码速率；

14、所述各个视频采集终端按照各自在低层时间间隔内的视频编码速率，对各自在低层时间间隔内的采集的视频数据进行编码，生成待传输视频并添加至各自的待传输视频队列中；

15、所述方法还包括：

16、所述各个视频采集终端根据低层时间间隔的时长，以及，各自在低层时间间隔内的视频编码速率，确定所述各个视频采集终端各自在低层时间间隔内的视频生成量；

17、所述各个视频采集终端根据各自在当前低层时间间隔内的待传输视频队列的长度、视频传输量以及视频生成量，确定所述各个视频采集终端各自在下一个低层时间间隔内的待传输视频队列的长度。

18、可选地，

19、低层观测信息包括：所述各个视频采集终端各自在低层时间间隔内的待传输视频队列的长度和信道增益，以及，所述各个视频采集终端各自在所述高层时间间隔内的视频编码速率；

20、一个视频采集终端在同一高层时间间隔的k个低层时间间隔内的视频编码速率，均为高层决策网络为该视频采集终端设定的在该高层时间间隔内的视频编码速率；

21、所述高层观测信息包括：所述各个视频采集终端各自在高层时间间隔内的待传输视频队列的长度和信道增益，以及，所述各个视频采集终端各自在上一高层时间间隔内的视频编码速率；

22、一个视频采集终端在高层时间间隔内的待传输视频队列的长度和信道增益，等于该视频采集终端在该高层时间间隔内的第一个低层时间间隔内的待传输视频队列的长度和信道增益。

23、可选地，所述方法还包括：

24、以最小化所述各个视频采集终端的待传输视频队列的长度的变化量，并且最大化所述各个视频采集终端传输给所述边缘基站的视频的视频质量为目标，对高层待训练网络和低层待训练网络进行交替训练得到的，所述交替训练的过程包括：

25、在冻结高层待训练网络的模型参数的情况下，低层网络通过和环境的交互获取低层训练样本，并利用低层训练样本对低层待训练网络进行低层强化学习训练，得到参数更新后的低层待训练网络；

26、在冻结所述参数更新后的低层待训练网络的模型参数的情况下，高层网络通过和环境的交互获取高层训练样本，并利用高层训练样本对高层待训练网络进行高层强化学习训练，得到参数更新后的高待训练网络；

27、重复上述过程，对所述高层决策网络和所述低层决策网络进行更新。

28、可选地，所述低层待训练网络的观测空间为：所述各个视频采集终端各自在样本低层时间间隔内的待传输视频队列的长度和信道增益，以及，所述各个视频采集终端各自在所述样本低层时间间隔所属的样本高层时间间隔内的视频编码速率；

29、所述低层待训练网络的动作空间为：所述各个视频采集终端各自在样本低层时间间隔内的带宽分配权重；

30、所述低层待训练网络的奖励函数值表征：各个视频采集终端在当前样本低层时间间隔内的待传输视频队列的长度，与，在下一个样本低层时间间隔内的待传输视频队列的长度之间的变化量。

31、可选地，所述高层待训练网络的观测空间为：所述各个视频采集终端各自在样本高层时间间隔内的待传输视频队列的长度和信道增益，以及，所述各个视频采集终端各自在上一样本高层时间间隔内的视频编码速率；

32、所述高层待训练网络的动作空间为：所述各个视频采集终端各自在样本高层时间间隔内的视频编码速率；

33、所述高层待训练网络的奖励函数值包括：所述各个视频采集终端各自在样本高层时间间隔内的视频质量效用值，以及，所述样本高层时间间隔内k个样本低层时间间隔对应的奖励函数值累加；

34、其中，所述各个视频采集终端各自在样本高层时间间隔内的视频质量效用值，与所述各个视频采集终端各自在样本高层时间间隔内的视频编码速率之间存在对应关系，所述对应关系为：视频质量效用值随视频编码速率单调递增且边际效应递减。

35、本技术实施例第二方面，提供了一种基于分层强化学习的自适应视频编码速率控制与带宽分配系统，所述系统包括：

36、获取模块，用于通过边缘基站获取低层时间间隔对应的低层观测信息，以及，获取所述连续k个低层时间间隔组成的高层时间间隔对应的高层观测信息；k为大于1的整数；

37、设定模块，用于通过所述边缘基站根据所述高层观测信息，每隔k个低层时间间隔，通过高层决策网络，为各个视频采集终端分别设定各自在高层时间间隔内的视频编码速率；

38、生成模块，用于通过所述各个视频采集终端根据各自在高层时间间隔内的视频编码速率，生成待传输视频并添加至各自的待传输视频队列中；

39、分配模块，用于通过所述边缘基站根据低层观测信息，在每个低层时间间隔，通过低层决策网络，为所述各个视频采集终端分别分配各自在低层时间间隔内的带宽比例；

40、传输模块，用于通过所述各个视频采集终端根据所述边缘基站在低层时间间隔内的总带宽，以及，所述各个视频采集终端各自在低层时间间隔内的带宽比例，将各自的待传输视频队列中的视频传输给所述边缘基站。

41、本技术实施例第三方面，提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如本技术第一方面所述的基于分层强化学习的自适应视频编码速率控制与带宽分配方法的步骤。

42、本技术实施例第四方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如本技术第一方面所述的基于分层强化学习的自适应视频编码速率控制与带宽分配方法的步骤。

43、本技术的有益效果：

44、本技术提供了一种基于分层强化学习的自适应视频编码速率控制与带宽分配方法，所述方法包括：边缘基站获取低层时间间隔对应的低层观测信息，以及，获取连续k个低层时间间隔组成的高层时间间隔对应的高层观测信息；k为大于1的整数；所述边缘基站根据所述高层观测信息，每隔k个低层时间间隔，通过高层决策网络，为各个视频采集终端分别设定各自在高层时间间隔内的视频编码速率；所述各个视频采集终端根据各自在高层时间间隔内的视频编码速率，生成待传输视频并添加至各自的待传输视频队列中；所述边缘基站根据低层观测信息，在每个低层时间间隔，通过低层决策网络，为所述各个视频采集终端分别分配各自在低层时间间隔内的带宽比例；所述各个视频采集终端根据所述边缘基站在低层时间间隔内的总带宽，以及，所述各个视频采集终端各自在低层时间间隔内的带宽比例，将各自的待传输视频队列中的视频传输给所述边缘基站。

45、本技术通过边缘基站获取由连续k个低层时间间隔组成的高层时间间隔对应的高层观测信息，并利用高层决策网络每隔k个低层时间间隔为各个视频采集终端设定该高层时间间隔内的视频编码速率，同时根据各低层时间间隔对应的低层观测信息，利用低层决策网络在每个低层时间间隔为各个视频采集终端动态分配对应低层时间间隔内的带宽比例，使各视频采集终端能够按照设定的视频编码速率生成待传输视频，并基于分配得到的带宽比例将待传输视频队列中的视频传输至边缘基站，能够有效契合码率控制和带宽分配天然的决策尺度差异，缓解因信道波动和带宽受限造成的视频卡顿、传输时延大、待传输视频队列溢出以及数据丢失等问题，能够在保证视频传输质量的同时维持队列稳定性，并显著降低在线决策的计算复杂度。