图像生成方法和装置与流程
本技术实施例涉及图像,尤其涉及图像生成方法和装置。
背景技术:
1、随着游戏实时渲染技术的持续革新,游戏画面的画质精细度、分辨率层级及帧率标准均呈现指数级提升趋势,导致图形处理器(graphics processing unit,gpu)承受的渲染压力持续攀升。在此背景下,帧生成技术(frame generation)作为降低渲染负载的关键性技术方案应运而生。
2、帧生成方案作为一种降低渲染负载的关键策略,通过让gpu以低帧率进行渲染,并结合高效的帧生成技术提升帧率,从而实现与原生高帧率渲染相当的画面质量和流畅度体验。从性能功耗的角度来看,插入一帧的时间和功耗开销通常远小于渲染一帧的开销,因此能够显著提升性能。当前主流的帧生成技术主要划分为内插帧(frame interpolation)和外推帧(frame extrapolation)两种类型。
3、内插帧方案依赖于前后两帧来生成中间帧,而生成中间帧至少需要等待后一帧的到来,因此不可避免地会产生延迟,进而影响用户体验。
4、相比之下,外推帧方案通过使用过去的帧来预测未来的帧,理论上可以实现零延迟的未来帧生成。
5、然而,现有的外推帧方案在生成的插帧图像质量方面仍有待提升。
技术实现思路
1、本技术实施例提供了图像生成方法和装置,涉及图像技术领域,用于提升外推帧方案生成的图像帧的图像质量。为达到上述目的,本技术实施例采用如下技术方案:
2、第一方面,本技术实施例提供了一种图像生成方法,该方法包括:获取待生成的第一图像帧的第一运动向量。获取第一图像帧的光流。根据第一运动向量、光流和第二图像帧生成第一图像帧。其中,第二图像帧为第一图像帧的前一图像帧。
3、可以看出,本技术实施例提供的方案,在生成图像帧过程中,不仅使用了图像帧的运动向量,还结合了图像帧的光流,运动向量能够表征图像帧中几何物体的运动趋势,而光流能够表征图像帧中非几何物体(例如光影和特效)的运动趋势,通过融合运动向量和光流,本方案在生成外推帧时,能够全面兼顾几何运动与非几何运动的完整性,从而生成更加自然、流畅的图像帧,由此提升外推帧方案生成的图像帧的图像质量。
4、在一种可能的实现方式中,上述获取第一图像帧的光流,具体包括:获取上述第二图像帧的潜在编码(latent state);根据上述第二图像帧的latent state和上述第一运动向量确定上述光流。
5、可以理解的是,第二图像帧的latent state能够提供该帧的视觉特征(如物体轮廓、纹理)以及历史帧的运动趋势(如加速度、特效变化),而第一运动向量则能表征第一图像帧内几何物体的线性运动轨迹。本方案通过结合第二图像帧的latent state和第一图像帧的第一运动向量,能够较为准确地生成第一图像帧的光流。
6、在一种可能的实现方式中,上述获取第二图像帧的latent state,具体包括:根据上述第二图像帧的第二运动向量和第三图像帧的latent state确定上述第二图像帧的latent state。
7、其中,上述第三图像帧为上述第二图像帧的前一图像帧。
8、可以理解的是,第三图像帧的latent state能够提供该帧的视觉特征以及历史帧的运动趋势,而第二运动向量能够表征第二图像帧内几何物体的线性运动轨迹。本方案通过结合第三图像帧的latent state和第二图像帧的第二运动向量可以较为准确的生成第二图像帧的latent state。
9、在一种可能的实现方式中,上述方法还包括:根据上述第二图像帧的第一深度信息和上述第三图像帧的第二深度信息,确定上述第一图像帧的第三深度信息。
10、在一种可能的实现方式中,上述根据上述第一运动向量、上述光流和第二图像帧生成上述第一图像帧,具体包括:根据上述第三深度信息、上述第一运动向量、上述光流和上述第二图像帧生成上述第一图像帧。
11、可以看出,本技术方案在生成第一图像帧的第三深度信息过程中,不仅使用了第二图像帧的第一深度信息,还结合了第三图像帧的第二深度信息。第一深度信息表征了第二图像帧中每个像素到相机的距离,提供了画面中物体的空间位置,而第二深度信息则反映了第二图像帧前一图像帧中每个像素到相机的距离,通过结合这两者,能够有效推断像素在时间维度上的深度变化趋势。本方案通过结合第一深度信息和第二深度信息可以较为准确的生成第一图像帧的第三深度信息,进而使用该第三深度信息生成较为准确的第一图像帧。
12、在一种可能的实现方式中,上述根据上述第三深度信息、上述第一运动向量、上述光流和上述第二图像帧生成上述第一图像帧,具体包括:获取上述第一图像帧的权重;根据上述第一运动向量、上述光流和上述权重确定光流处理结果;根据上述第三深度信息、上述光流处理结果和上述第二图像帧生成上述第一图像帧。
13、在一种可能的实现方式中,上述获取第一运动向量,具体包括:确定上述第一图像帧在时域上的第一时域位置之前的第二时域位置上的运动向量作为上述第一运动向量。
14、可以理解的是,运动向量描述了画面中几何像素或物体的移动距离和方向,是外推帧生成的重要参数。然而,由于几何物体存在非线性运动(如加速、减速或转向),直接基于运动向量进行线性外推生成的外推帧可能导致预测过于激进,进而引发图像质量问题(如画面抖动或失真)。本方案通过确定外推帧在时域上的第一时域位置之前的第二时域位置上的运动向量作为外推帧的运动向量,实现了对外推帧运动向量数值的有效衰减,从而限制外推幅度,确保图像帧的时序流畅度,生成更加稳定、自然的图像帧。
15、第二方面,本技术实施例提供了一种图像生成装置,该装置可以是电子设备,也可以是应用于电子设备的模块(例如处理器、芯片或芯片系统等),还可以是能实现全部或部分电子设备功能的逻辑节点、逻辑模块或软件,该装置包括:获取单元和生成单元。
16、获取单元,用于获取待生成的第一图像帧的第一运动向量。
17、获取单元,还用于获取上述第一图像帧的光流。
18、生成单元,用于根据上述第一运动向量、上述光流和第二图像帧生成上述第一图像帧,上述第二图像帧为上述第一图像帧的前一图像帧。
19、在一种可能的实现方式中,上述获取单元具体用于:获取上述第二图像帧的latent state;根据上述第二图像帧的latent state和上述第一运动向量确定上述光流。
20、在一种可能的实现方式中,上述获取单元具体用于:根据上述第二图像帧的第二运动向量和第三图像帧的latent state确定上述第二图像帧的latent state,上述第三图像帧为上述第二图像帧的前一图像帧。
21、在一种可能的实现方式中,上述获取单元还用于:根据上述第二图像帧的第一深度信息和上述第三图像帧的第二深度信息,确定上述第一图像帧的第三深度信息;
22、在一种可能的实现方式中,上述生成单元具体用于:根据上述第三深度信息、上述第一运动向量、上述光流和上述第二图像帧生成上述第一图像帧。
23、在一种可能的实现方式中,上述生成单元具体用于:获取上述第一图像帧的权重;根据上述第一运动向量、上述光流和上述权重确定光流处理结果;根据上述第三深度信息、上述光流处理结果和上述第二图像帧生成上述第一图像帧。
24、在一种可能的实现方式中,上述获取单元具体用于:确定上述第一图像帧在时域上的第一时域位置之前的第二时域位置上的运动向量作为上述第一运动向量。
25、第三方面,本技术实施例还提供了一种图像生成装置,该装置包括:至少一个处理器,当上述至少一个处理器执行程序代码或指令时,实现上述第一方面或其任意可能的实现方式中的方法。
26、可选地,该装置还可以包括至少一个存储器,该至少一个存储器用于存储该程序代码或指令。
27、在一种可能的实现方式中,图像生成装置为芯片或芯片系统。
28、第四方面,本技术实施例还提供一种芯片,包括:输入接口、输出接口、至少一个处理器。可选地,该芯片还包括存储器。该至少一个处理器用于执行该存储器中的代码,当该至少一个处理器执行该代码时,该芯片实现上述第一方面或其任意可能的实现方式中的方法。
29、可选地,上述芯片还可以为集成电路。
30、第五方面,本技术实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序包括用于实现上述第一方面或其任意可能的实现方式中的方法。
31、在一种可能的实现方式中,计算机可读存储介质为非瞬时计算机可读介质。
32、第六方面,本技术实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机实现上述第一方面或其任意可能的实现方式中的方法。
33、本实施例提供的图像生成装置、计算机可读存储介质、计算机程序产品和芯片均用于执行上文所提供的图像生成方法,因此,其所能达到的有益效果可参考上文所提供的图像生成方法中的有益效果,此处不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com