图像渲染方法及装置、电子设备与流程

摘要: 本公开涉及图像渲染,尤其涉及一种图像渲染方法及装置、电子设备。背景技术:1、目前,虚拟数字人在直播、交互一体机、问答大屏及元宇宙等场景中广泛应用,虚拟数字人的渲...
图像渲染方法及装置、电子设备与流程

本公开涉及图像渲染,尤其涉及一种图像渲染方法及装置、电子设备。

背景技术:

1、目前,虚拟数字人在直播、交互一体机、问答大屏及元宇宙等场景中广泛应用,虚拟数字人的渲染方式通常采用全帧、全区域渲染策略处理每一帧动画,渲染计算量大,对终端设备的算力与网络带宽依赖程度较高,因此,容易出现卡顿、延迟等问题,影响用户体验。

2、为了降低渲染开销,相关技术中通过基于语音驱动的方式,对数字人部分区域进行独立渲染,或采用固定策略降低整体渲染质量。然而,相关技术中的渲染方式,对数字人复杂行为的调度效果不佳,也难以兼容不同性能等级的终端设备。

3、因此,如何实现渲染资源的精准分配,以提高数字人呈现质量与用户体验,是目前亟待解决的问题。

技术实现思路

1、本公开提供了一种图像渲染方法及装置、电子设备。其主要目的在于解决如何实现渲染资源的精准分配,以提高数字人呈现质量与用户体验的问题。

2、根据本公开的第一方面,提供了一种图像渲染方法,其中,包括:

3、获取待渲染视频流中数字人的实时动作行为对应的行为复杂度,以及获取终端设备对应的终端性能得分,终端设备用于渲染数字人;

4、根据行为复杂度、终端性能得分以及预设区域优先级,计算数字人中不同渲染区域各自对应的压力得分,并根据压力得分调整不同渲染区域各自的模型精度;

5、根据行为复杂度、终端性能得分调整不同渲染区域各自的渲染帧率;

6、基于调整后模型精度将不同渲染区域按照各自的调整后渲染帧率进行渲染,得到不同渲染区域各自的渲染结果,并将渲染结果进行合并处理,得到渲染后视频流。

7、根据本公开的第二方面,提供了一种图像渲染装置,包括:

8、获取单元,用于获取待渲染视频流中数字人的实时动作行为对应的行为复杂度,以及获取终端设备对应的终端性能得分,终端设备用于渲染数字人;

9、计算单元,用于根据行为复杂度、终端性能得分以及预设区域优先级,计算数字人中不同渲染区域各自对应的压力得分;

10、第一调整单元,用于根据压力得分调整不同渲染区域各自的模型精度;

11、第二调整单元,用于根据行为复杂度、终端性能得分调整不同渲染区域各自的渲染帧率;

12、渲染单元,用于基于调整后模型精度将不同渲染区域按照各自的调整后渲染帧率进行渲染,得到不同渲染区域各自的渲染结果;

13、合并单元,用于将渲染结果进行合并处理,得到渲染后视频流。

14、根据本公开的第三方面,提供了一种电子设备,包括:

15、至少一个处理器;以及

16、与至少一个处理器通信连接的存储器;其中,

17、存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行前述第一方面的方法。

18、根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行前述第一方面的方法。

19、根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如前述第一方面的方法。

20、本公开提供的图像渲染方法及装置、电子设备,通过综合分析数字人实时动作行为的行为复杂度、终端设备的性能得分以及不同渲染区域的预设优先级,动态计算各渲染区域的压力得分以调整模型精度,并同步根据行为复杂度和终端性能调整各渲染区域的渲染帧率,使得渲染资源的分配可以匹配实际需求与终端能力,能够在保障关键区域高画质呈现的同时有效释放非关键区域的渲染负载,解决了全帧全区域渲染算力消耗大、弱网环境下体验差以及局部渲染方法对复杂行为调度效果不佳的问题,因此,本申请可以提升数字人的流畅度与视觉一致性,并增强对不同性能终端及网络环境的适应能力,实现渲染资源的精准分配,提高数字人呈现质量与用户体验。

21、应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

1.一种图像渲染方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取待渲染视频流中数字人的实时动作行为对应的行为复杂度包括:

3.根据权利要求1所述的方法,其特征在于,所述获取终端设备对应的终端性能得分包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述行为复杂度、所述终端性能得分以及预设区域优先级,计算所述数字人中不同渲染区域各自对应的压力得分包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述压力得分调整所述不同渲染区域各自的模型精度包括:

6.根据权利要求1所述的方法,其特征在于,所述根据所述行为复杂度、所述终端性能得分,调整所述不同渲染区域各自的渲染帧率包括:

7.根据权利要求4所述的方法,其特征在于,所述不同渲染区域至少包括核心区、重点区、普通区和背景区域;

8.根据权利要求1所述的方法,其特征在于,所述将所述渲染结果进行合并处理,得到渲染后视频流包括:

9.一种图像渲染装置,其特征在于,包括:

10.一种电子设备,其特征在于,包括: