一种多窗口视频解码资源分配方法与流程

摘要: 本发明涉及视频处理与人工智能,尤其涉及一种多窗口视频解码资源分配方法。背景技术:1、随着视频分辨率向4k、8k演进以及多窗口并行播放场景的普及,视频解码的计算需...
一种多窗口视频解码资源分配方法与流程

本发明涉及视频处理与人工智能,尤其涉及一种多窗口视频解码资源分配方法。

背景技术:

1、随着视频分辨率向4k、8k演进以及多窗口并行播放场景的普及,视频解码的计算需求急剧增长。目前主流pc平台支持两种解码方式:硬解码,利用gpu内置专用解码硬件,性能高、功耗低,但受限于硬件解码器实例数量;软解码,利用cpu通用计算能力,灵活性强,但cpu负载过高时易导致卡顿。

2、现有视频解码资源分配技术主要存在以下缺点:在决策维度方面,现有方案仅依据硬解码器“空闲”或“使用中”的二元状态进行决策,未将cpu占用率、gpu整体负载、显存使用量、内存占用率等系统级资源指标纳入考量,即使硬解码器有空闲实例,若gpu整体负载已过高或显存不足,强行分配硬解码仍会导致渲染卡顿,而cpu负载较低时未能主动利用软解码分担gpu压力,造成资源闲置与浪费。在动态调整方面,现有方案仅在播放启动时进行一次性解码器选择,当系统负载动态变化时,已运行窗口的解码方式无法自适应调整,缺乏基于负载变化趋势的主动预判与预防性调度能力。在跨平台自适应方面,现有方案的决策逻辑基于固定阈值和人工规则,在不同硬件配置和不同视频负载场景下难以保持最优效果。在协同调度方面,现有方案未将软解码和硬解码视为可在多窗口间协同调度的资源池,在多窗口场景下的混合调度策略及动态比例优化均未涉及。

技术实现思路

1、本发明的主要目的在于提供一种多窗口视频解码资源分配方法。

2、本发明的另一个目的在于提出一种多窗口视频解码资源分配装置。

3、本发明的第三个目的在于提出一种计算机设备。

4、本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

5、为达上述目的,本发明第一方面实施例提出了一种多窗口视频解码资源分配方法,包括:

6、采集计算设备的系统资源状态数据以及各视频窗口的解码任务属性数据;

7、将历史资源状态数据序列输入至人工智能时序预测模型,生成未来时间步的资源负载趋势预测数据;

8、将当前资源状态数据、所述负载趋势预测数据、各窗口任务属性数据以及当前解码方式输入至基于强化学习的决策模型,生成各窗口的软解码或硬解码分配策略;

9、根据所述分配策略对各窗口执行解码方式分配,并在需要切换解码方式时通过双缓冲机制在帧间隙执行无缝切换。

10、在本发明的一个实施例中,所述采集计算设备的系统资源状态数据以及各视频窗口的解码任务属性数据,包括:

11、周期性采集cpu占用率、gpu占用率、显存使用量、内存占用率以及硬解码器实例数量与使用状态,作为资源状态数据;

12、获取每个视频窗口的编码格式、分辨率、帧率及码率参数,作为任务属性数据。

13、在本发明的一个实施例中,所述人工智能时序预测模型为基于长短期记忆网络的负载预测模型,所述将历史资源状态数据序列输入至人工智能时序预测模型,生成未来时间步的资源负载趋势预测数据,包括:

14、将过去预设数量时间步的资源状态数据序列输入至所述长短期记忆网络负载预测模型,输出未来预设数量时间步的资源负载变化趋势预测数据。

15、在本发明的一个实施例中,所述基于强化学习的决策模型将解码资源调度问题建模为马尔可夫决策过程;

16、状态空间由当前资源状态数据、所述负载趋势预测数据、各视频窗口的任务属性数据以及当前各窗口的解码方式组成;

17、动作空间为针对每个视频窗口的解码方式分配决策,包括软解码和硬解码两种选项。

18、在本发明的一个实施例中,所述基于强化学习的决策模型的奖励函数包含流畅度奖励、卡顿惩罚、资源利用率奖励和切换惩罚,各奖励分量的权重根据应用场景动态调整。

19、在本发明的一个实施例中,所述根据所述分配策略对各窗口执行解码方式分配,并在需要切换解码方式时通过双缓冲机制在帧间隙执行无缝切换,包括:

20、对于新增视频窗口,根据决策结果分配解码方式,若分配硬解码则申请硬解码器实例,若硬解码器实例已满则触发重新决策;

21、对于需要切换解码方式的已运行窗口,在切换期间旧解码方式继续解码直至新解码器输出数据,切换操作在视频帧间隙执行。

22、在本发明的一个实施例中,还包括:

23、在解码方式分配与切换完成后,将各窗口的实际运行指标反馈至所述基于强化学习的决策模型,用于模型的在线微调和持续优化。

24、为达上述目的,本发明第二方面实施例提出了一种多窗口视频解码资源分配装置,包括:

25、数据采集模块,用于采集计算设备的系统资源状态数据以及各视频窗口的解码任务属性数据;

26、负载预测模块,用于将历史资源状态数据序列输入至人工智能时序预测模型,生成未来时间步的资源负载趋势预测数据;

27、决策模块,用于将当前资源状态数据、所述负载趋势预测数据、各窗口任务属性数据以及当前解码方式输入至基于强化学习的决策模型,生成各窗口的软解码或硬解码分配策略;

28、执行模块,用于根据所述分配策略对各窗口执行解码方式分配,并在需要切换解码方式时通过双缓冲机制在帧间隙执行无缝切换。

29、为达上述目的,本申请第三方面实施例提出了一种计算机设备,包括:处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如第一方面实施例所述的一种多窗口视频解码资源分配方法。

30、为达上述目的,本申请第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面实施例所述的一种多窗口视频解码资源分配方法。

31、本发明实施例具有以下有益效果:

32、本发明通过实时采集多维资源状态数据并结合任务属性数据,实现了系统资源状态的全面感知;通过人工智能时序预测模型预估负载变化趋势,实现了在资源紧张前主动触发调度决策;通过基于强化学习的决策模型生成各窗口的软解码或硬解码分配策略,并结合双缓冲机制在帧间隙无缝切换解码方式,实现了多窗口场景下解码资源的智能协同分配,提升了视频播放流畅度与系统资源利用效率。

1.一种多窗口视频解码资源分配方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述采集计算设备的系统资源状态数据以及各视频窗口的解码任务属性数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述人工智能时序预测模型为基于长短期记忆网络的负载预测模型,所述将历史资源状态数据序列输入至人工智能时序预测模型,生成未来时间步的资源负载趋势预测数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于强化学习的决策模型将解码资源调度问题建模为马尔可夫决策过程;

5.根据权利要求4所述的方法,其特征在于,所述基于强化学习的决策模型的奖励函数包含流畅度奖励、卡顿惩罚、资源利用率奖励和切换惩罚,各奖励分量的权重根据应用场景动态调整。

6.根据权利要求1所述的方法,其特征在于,所述根据所述分配策略对各窗口执行解码方式分配,并在需要切换解码方式时通过双缓冲机制在帧间隙执行无缝切换,包括:

7.根据权利要求1所述的方法,其特征在于,还包括:

8.一种多窗口视频解码资源分配装置,其特征在于,包括:

9.一种计算机设备,其特征在于,包括处理器和存储器;

10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的一种多窗口视频解码资源分配方法。