帧生成方法、装置、芯片、服务器以及程序产品与流程

摘要: 本技术的实施例涉及计算机,更具体地,涉及图形渲染。本技术的实施例涉及帧生成方法、装置、芯片、服务器以及计算机程序产品。背景技术:1、人工智能(artificia...
帧生成方法、装置、芯片、服务器以及程序产品与流程

本技术的实施例涉及计算机,更具体地,涉及图形渲染。本技术的实施例涉及帧生成方法、装置、芯片、服务器以及计算机程序产品。

背景技术:

1、人工智能(artificialintelligence,ai)辅助渲染是一种结合人工智能算法与计算机图形学的前沿技术,旨在通过ai模型加速或优化多帧图像的生成过程。ai辅助渲染可以利用ai模型如深度学习模型替代传统渲染管线中的部分计算密集型环节,实现效率与质量的平衡。ai辅助渲染可以应用于各种场景下,如视频处理、动画制作、虚拟现实、游戏等。

2、为了提升图像生成的效率和质量,为用户提供更加流畅的体验,可以在渲染后的视频序列中插入合成帧,以提升帧率。例如,可以在两个连续渲染帧之间插入一个新帧。在应用于视频的情况下,插帧可以是指依据前后帧信息插值生成中间的视频帧;在应用于游戏的情况下,插帧可以是指依据前两帧画面的图像信息生成第三帧画面对应的图像信息。

技术实现思路

1、本技术的实施例提供了一种帧生成的方案。根据该方案,可以通过多个历史渲染帧和时间参数生成对应的中间帧,该中间帧的生成不需要依赖其他信息,从而能够降低计算复杂度,提高帧生成的效率。这样,通过生成未来的中间帧(如预测下一帧),可减少需渲染的帧数,从而能够节省渲染算力。另外,在生成中间帧后,可以将第一历史渲染帧作为引导,对于中间帧的像素缺失区域或者其他变化信息进行精细修复,进一步提升了图像的真实感和流畅度。也就是说,第一历史渲染帧提供了丰富的上下文信息,使得在修复中间帧时能够更好地理解图像的结构和纹理,从而能够生成更自然、更真实的目标帧。

2、根据本技术的第一方面,提供了一种渲染方法,该方法包括基于多个历史渲染帧以及时间参数,生成与时间参数对应的中间帧。该方法还包括基于第一历史渲染帧,通过修复中间帧的像素缺失区域来确定对应的目标帧,目标帧位于多个历史渲染帧之后。

3、在第一方面的一些实施例中,中间帧包括第一中间帧和第二中间帧,该方法还包括:在生成第二中间帧的同时,通过修复第一中间帧的像素缺失区域来确定对应的第一目标帧。通过并行处理中间帧生成任务和修复任务,能够充分利用计算资源,减少任务等待时间,从而显著提高了多个目标帧的生成效率。

4、在第一方面的一些实施例中,其中基于多个历史渲染帧以及时间参数,生成与时间参数对应的中间帧包括:经由图形处理器的浮点数运算单元,基于多个历史渲染帧以及时间参数,生成与时间参数对应的中间帧。通过利用图形处理器的浮点数运算单元进行中间帧生成,能够充分发挥图形处理器的高性能计算能力,实现高精度、高效率的中间帧生成。由于中间帧生成需要高精度的浮点运算来确保中间帧生成的准确性,而浮点数运算单元能够处理高精度的浮点数运算,从而能够避免因精度不足导致的图像伪影和误差。另外,在中间帧的生成过程中,浮点数运算单元的高精度计算能够保证生成的中间帧在颜色、对比度等方面与多个历史渲染帧保持一致,从而能够提高生成的中间帧的真实感和图像质量。

5、在第一方面的一些实施例中,其中基于第一历史渲染帧,通过修复中间帧的像素缺失区域来确定对应的目标帧包括:经由图形处理器的矩阵运算单元接收浮点数运算单元发送的中间帧;以及经由矩阵运算单元,基于第一历史渲染帧,通过修复中间帧的像素缺失区域来确定对应的目标帧。由于在修复中间帧像素缺失区域的过程中,矩阵运算单元可以同时对多个像素进行计算,从而大大提高了中间帧的修复速度。

6、在第一方面的一些实施例中,其中多个历史渲染帧包括第二历史渲染帧,第二历史渲染帧的渲染时刻晚于多个历史渲染帧中其他历史渲染帧的渲染时刻。

7、在第一方面的一些实施例中,其中第一历史渲染帧为多个历史渲染帧中的一个或多个,第一历史渲染帧与第二历史渲染帧不同;或者第一历史渲染帧的渲染时刻早于多个历史渲染帧中每个历史渲染帧的渲染时刻;或者第一历史渲染帧为多个,部分第一历史渲染帧属于多个历史渲染帧,部分第一历史渲染帧与多个历史渲染帧不同。也就是说,第一历史渲染帧的选取方式并不固定,第一历史渲染帧的数量也不固定,从而能够提供较为灵活的第一历史渲染帧的选取范围。

8、在第一方面的一些实施例中,时间参数用于指示第二历史渲染帧的渲染时刻和第三渲染帧的渲染时刻之间的一个或多个时刻,第三渲染帧为按照预设帧率将要生成的下一帧渲染帧。经由这样的方式,通过限定时间参数的范围,可以使得最终生成的目标帧位于第二历史渲染帧和第三历史渲染帧之间,从而实现了时间参数驱动的帧率扩展。也就是说,能够实现渲染帧率的动态扩展和视觉流畅性的显著提升。另外,在时间参数为多个的情况下,可以生成多帧目标帧,从而能够使得渲染得到的序列帧率更大,为用户提供较佳的视觉体验。

9、在第一方面的一些实施例中,基于多个历史渲染帧以及时间参数,生成与时间参数对应的中间帧包括:基于多个历史渲染帧,确定目标对象对应的运动轨迹,目标对象位于目标场景中,多个历史渲染帧通过对目标场景渲染得到;基于运动轨迹以及第二历史渲染帧,生成对应的中间帧,第二历史渲染帧的渲染时刻晚于多个历史渲染帧中其他历史渲染帧的渲染时刻。这样,通过多个历史渲染帧包含的运动信息即可生成对应的中间帧,无需重新计算整个场景的渲染状态或者无需依赖其他信息,从而能够提高帧生成的效率。另外,运动轨迹为中间帧生成提供了明确的参考标准,使得生成的中间帧更加准确,也更加遵循真实世界的物理规律。

10、在第一方面的一些实施例中,其中基于运动轨迹以及第二历史渲染帧,生成对应的中间帧包括:基于运动轨迹以及时间参数,确定对应的运动向量,时间参数用于表征中间帧的生成时刻;基于运动向量,确定第二历史渲染帧中的多个像素对应的映射位置;以及基于多个像素对应的映射位置,生成对应的中间帧。通过运动轨迹和时间参数计算运动向量,可精确预测目标对象在中间帧时刻的位置、方向和速度,从而能够避免因简单插值导致的拖影或残影现象。另外,将第二历史渲染帧作为中间帧的生成基准,仅需要对第二历史渲染帧中的像素进行变换即可确定对应的中间帧,从而能够提高生成效率,节省了生成成本。另外由于中间帧中的每个像素均来自第二历史渲染帧的精确映射,保留了清晰的纹理和细节,从而使得生成的中间帧的质量更高效果更好。

11、在第一方面的一些实施例中,其中多个像素包括第一像素和第二像素,基于多个像素对应的投影位置,生成对应的中间帧包括:响应于第一像素和第二像素对应的映射位置相同,将第一像素映射至对应的目标映射位置,其中,第一像素对应的第一深度小于第二像素对应的第二深度。通过这样的方式,在映射过程中,通过深度比较确保每个像素的映射位置唯一且正确,避免因深度冲突导致的视觉不稳定以及逻辑错误,使得中间帧的运动过渡更加自然。

12、在第一方面的一些实施例中,第一历史渲染帧中包含像素缺失区域对应的目标对象。

13、在第一方面的一些实施例中,方法还包括:基于连续多帧所述历史渲染帧,确定对应的阴影区域的形态变化信息;以及基于所述形态变化信息,通过调整所述中间帧的阴影区域来确定对应的目标帧。通过分析历史渲染帧的阴影形态变化,可动态调整中间帧的阴影区域,使阴影随场景物体运动或光照变化而自然过渡,更贴合实际物理规律,从而能够提升画面流畅度、真实感与稳定性。

14、根据本技术的第二方面,提供了一种帧生成方法,该方法包括基于多个历史渲染帧以及第一时间参数,生成与第一时间参数对应的第一中间帧。该方法还包括在生成第二中间帧的同时,基于第一历史渲染帧,通过修复第一中间帧的像素缺失区域来确定对应的第一目标帧,第二中间帧与第二时间参数对应,第一目标帧和第二目标帧位于多个历史渲染帧之后。通过这样的方式,能够并行处理中间帧生成任务和修复任务,充分利用计算资源,减少任务等待时间,从而显著提高了多个目标帧的生成效率。

15、在第二方面的一些实施例中,生成第二中间帧包括:基于多个历史渲染帧以及第二时间参数,生成与第二时间参数对应的第二中间帧。

16、在第二方面的一些实施例中,基于多个历史渲染帧以及第一时间参数,生成与第一时间参数对应的第一中间帧的步骤,由图形处理器gpu的浮点数运算单元执行。

17、在第二方面的一些实施例中,基于多个历史渲染帧以及第二时间参数,生成与第二时间参数对应的第二中间帧的步骤由图形处理器gpu的浮点数运算单元执行。

18、在第二方面的一些实施例中,基于第一历史渲染帧,通过修复第一中间帧的像素缺失区域来确定对应的第一目标帧的步骤由图形处理器gpu的矩阵运算单元执行。

19、在第二方面的一些实施例中,其中在生成第二中间帧的同时,基于第一历史渲染帧,通过修复第一中间帧的像素缺失区域来确定对应的第一目标帧包括:图形处理器gpu的矩阵运算单元接收图形处理器gpu的浮点数运算单元发送的第一中间帧;在图形处理器gpu的浮点数运算单元生成第二中间帧的同时,图形处理器gpu的矩阵运算单元基于第一历史渲染帧,通过修复第一中间帧的像素缺失区域来确定对应的第一目标帧。

20、根据本技术的第三方面,提供了一种芯片,包括:第一运算电路,用于基于多个历史渲染帧以及时间参数,生成与时间参数对应的中间帧;以及第二运算电路,用于基于第一历史渲染帧,通过修复中间帧的像素缺失区域来确定对应的目标帧,目标帧位于多个历史渲染帧之后。

21、在第三方面的一些实施例中,其中中间帧包括第一中间帧和第二中间帧,目标帧包括与第一目标帧,还包括:在第一运算电路生成第二中间帧的同时,第二运算电路通过修复第一中间帧的像素缺失区域来确定对应的第一目标帧。通过并行处理中间帧生成任务和修复任务,能够充分利用计算资源,减少任务等待时间,从而显著提高了多个目标帧的生成效率。

22、在第三方面的一些实施例中,其中多个历史渲染帧包括第二历史渲染帧,第二历史渲染帧的渲染时刻晚于多个历史渲染帧中其他历史渲染帧的渲染时刻;第一历史渲染帧为多个历史渲染帧中的一个或多个,第一历史渲染帧与第二历史渲染帧不同;或者第一历史渲染帧的渲染时刻早于多个历史渲染帧中每个历史渲染帧的渲染时刻;或者第一历史渲染帧为多个,部分第一历史渲染帧属于多个历史渲染帧,部分第一历史渲染帧与多个历史渲染帧不同。

23、根据本技术的第四方面,提供了一种服务器,包括:中央处理器cpu、加速器和存储器,加速器执行存储器中的指令,使得服务器执行根据本技术的第一方面的方法。

24、根据本技术的第五方面,提供了一种帧生成装置,包括:中间帧生成单元和目标帧确定单元。中间帧生成单元被配置为,被配置为基于多个历史渲染帧以及时间参数,生成与时间参数对应的中间帧。目标帧确定单元被配置为,基于第一历史渲染帧,通过修复中间帧的像素缺失区域来确定对应的目标帧,目标帧位于多个历史渲染帧之后。

25、根据本技术的第六方面,提供了一种计算机可读存储介质,其上存储有一条或多条计算机指令,其中一条或多条计算机指令被处理器执行使处理器执行根据本技术的第一方面的方法。

26、根据本技术的第七方面,提供了一种计算机程序产品,包括机器可执行指令,机器可执行指令在由设备执行时使设备执行根据本技术的第一方面的方法。