一种图像渲染方法、装置、设备及介质与流程

1.本公开实施例涉及图像处理技术领域，具体涉及一种图像渲染方法、装置、设备及介质。


背景技术：

2.针对超高清分辨率(例如4k分辨率、10k分辨率)图像渲染任务，目前的渲染器基于蒙特卡洛的光线追踪渲染方式对每个像素点计算大量光线采样，渲染时间较长，且渲染时间与分辨率基本成正比，例如4k分辨率的渲染时间至少是2k分辨率的2倍。因此，亟需提供一种图像渲染方案，以降低渲染时间。


技术实现要素：

3.本公开的至少一个实施例提供了一种图像渲染方法、装置、设备及介质。
4.第一方面，本公开实施例提出一种图像渲染方法，包括：
5.响应目标图像的第一分辨率渲染任务，通过渲染器对目标图像进行第二分辨率渲染，第二分辨率小于第一分辨率；
6.从渲染器获取多个图层，多个图层为渲染器在第二分辨率渲染的过程中生成的图层；
7.基于第一分辨率对多个图层进行处理，得到目标图像对应的第一分辨率图像。
8.在一些实施例中，基于第一分辨率对多个图层进行处理，得到目标图像对应的第一分辨率图像包括：
9.对多个图层中各第一类图层进行超分辨率重建，得到各第一类图层对应的第一分辨率图层；
10.对多个图层中各第二类图层进行放大处理，得到各第二类图层对应的第一分辨率图层；
11.将各第一类图层对应的第一分辨率图层和各第二类图层对应的第一分辨率图层合并，得到目标图像对应的第一分辨率图像；
12.其中，第一类图层为细节信息量大于或等于预设阈值的图层；第二类图层为细节信息量小于预设阈值的图层。
13.在一些实施例中，第一类图层包括以下至少一个图层：漫反射图层、光照图层、反射图层和折射图层；
14.第二类图层包括以下至少一个图层：反射强度图层、折射强度图层、高光图层、自发光图层和背景图层。
15.在一些实施例中，基于第一分辨率对多个图层进行处理，得到目标图像对应的第一分辨率图像后，图像渲染方法还包括：
16.对目标图像进行超分辨率重建得到第一分辨率rgb图像；
17.基于光照图层和第一分辨率rgb图像，对目标图像对应的第一分辨率图像去除白
边，得到目标图像对应的去除白边后的第一分辨率图像。
18.在一些实施例中，基于光照图层和第一分辨率rgb图像，对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像包括：
19.确定光照图层对应的第一分辨率白边掩膜图；
20.将第一分辨率rgb图像由rgb空间转换至lab空间，得到第一分辨率rgb图像对应的l通道高频图像；
21.基于第一分辨率白边掩膜图和第一分辨率rgb图像对应的l通道高频图像，对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像。
22.在一些实施例中，确定光照图层对应的第一分辨率白边掩膜图包括：
23.确定光照图层的边缘中的白边；
24.将白边各像素点的值设置为1，并将光照图层的边缘中非白边的各像素点的值设置为0，得到光照图层对应的第二分辨率白边掩膜图；
25.基于第一分辨率对第二分辨率白边掩膜图进行放大处理，并将放大处理后得到的值大于0的像素点设置为1，得到光照图层对应的第一分辨率白边掩膜图。
26.在一些实施例中，确定光照图层的边缘中的白边包括：
27.确定光照图层中的边缘；
28.确定边缘两侧像素点的亮度差值；
29.将亮度差值大于或等于预设亮度阈值的边缘确定为白边。
30.在一些实施例中，基于第一分辨率白边掩膜图和第一分辨率rgb图像对应的l通道高频图像，对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像包括：
31.基于第一分辨率白边掩膜图，确定光照图层对应的第一分辨率非白边掩膜图；
32.将目标图像对应的第一分辨率图像由rgb空间转换至lab空间，得到目标图像对应的第一分辨率图像对应的l通道高频图像；
33.将第一分辨率rgb图像对应的l通道高频图像和第一分辨率白边掩膜图进行合并，得到第一分辨率第一合成图像；
34.将目标图像对应的第一分辨率图像对应的l通道高频图像和第一分辨率非白边掩膜图进行合并，得到第一分辨率第二合成图像；
35.将第一分辨率第一合成图像、第一分辨率第二合成图像和第一分辨率rgb图像对应的l通道低频图像合并，得到去除白边后的第一分辨率l通道图像；
36.将去除白边后的第一分辨率l通道图像、第一分辨率rgb图像对应的a通道图像和b通道图像转换至rgb空间，得到目标图像对应的去除白边后的第一分辨率图像。
37.第二方面，本公开实施例还提出一种图像渲染装置，包括：
38.渲染单元，用于响应目标图像的第一分辨率渲染任务，通过渲染器对目标图像进行第二分辨率渲染，第二分辨率小于第一分辨率；
39.获取单元，用于从渲染器获取多个图层，多个图层为渲染器在第二分辨率渲染的过程中生成的图层；
40.处理单元，用于基于第一分辨率对多个图层进行处理，得到目标图像对应的第一
分辨率图像。
41.第三方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；处理器通过调用存储器存储的程序或指令，用于执行如第一方面所述图像渲染方法的步骤。
42.第四方面，本公开实施例还提出一种计算机可读存储介质，其中，计算机可读存储介质存储程序或指令，程序或指令使计算机执行如第一方面所述图像渲染方法的步骤。
43.可见，本公开的至少一个实施例中，针对目标图像的第一分辨率渲染任务，并非通过渲染器直接执行第一分辨率渲染任务，而是通过渲染器执行第二分辨率渲染，第二分辨率小于第一分辨率；进而获取渲染器进行第二分辨率渲染过程中产生的多个图层，并对多个图层进行处理，得到目标图像对应的第一分辨率图像。由于渲染器执行第二分辨率渲染的时间比第一分辨率渲染缩短至少一半，且对多个图层进行处理的时间比第二分辨率渲染缩短至少一半，因此，本公开实施例可以缩短渲染第一分辨率图像的时间，提升用户体验。
附图说明
44.为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
45.图1为本公开实施例提供的一种图像渲染方法的示例性流程图；
46.图2为本公开实施例提供的一种对多个图层进行处理的示例性流程图；
47.图3为本公开实施例提供的一种图像优化方法的示例性流程图；
48.图4为本公开实施例提供的一种去除白边的示例性流程图；
49.图5为本公开实施例提供的一种确定白边掩膜图的示例性流程；
50.图6为本公开实施例提供的另一种去除白边的示例性流程图；
51.图7为本公开实施例提供的一种图像渲染装置的示例性框图；
52.图8是本公开实施例提供的一种电子设备的结构示意图；
53.图9为基于esrgan模型进行超分辨率重建的流程示意图。
具体实施方式
54.为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
55.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
56.目前，针对超高清分辨率的图像渲染任务，例如，4k别墅全景图，渲染器执行4k图像渲染任务得到对应的4k渲染图，渲染时间约500秒。现有技术的一些方案中基于生成对抗网络方式对高动态图像进行超分辨率重建至较高分辨率图像，在图像边缘容易产生伪影。现有技术的一些方案中基于图像的梯度信息进行超高清分辨率重构，但在细小细节部分效
果不明显，如毛发部分，仍然比较模糊。
57.为了减少渲染时间，本公开实施例提供一种图像渲染方案，针对4k图像渲染任务，并非通过渲染器直接执行4k图像渲染任务，而是通过渲染器执行2k图像渲染，进而获取渲染器进行2k图像渲染过程中产生的多个图层，并对多个图层进行处理，得到4k图像，由于渲染器执行2k图像渲染的时间约120秒，且对多个图层进行处理的时间约为30秒，因此，本公开实施例渲染4k图像约150秒，在极少出现的集群满载的情况下渲染4k图像的时间约200秒，可以将渲染时间缩短至少一半。
58.图1是本公开实施例提供的一种图像渲染方法的示例性流程图，该图像渲染方法的执行主体为任意类型的电子设备，例如为智能手机、平板电脑、笔记本电脑等便携移动式设备，又例如为台式计算机、智能电视等固定式设备。该图像渲染方法可以包括但不限于以下步骤101至步骤103：
59.在步骤101中，响应目标图像的第一分辨率渲染任务，通过渲染器对目标图像进行第二分辨率渲染，第二分辨率小于第一分辨率。
60.其中，目标图像可以理解为待渲染的原图，原图为rgb(红绿蓝色彩模式)图像。
61.第一分辨率为超高清分辨率，例如4k分辨率、8k分辨率、10k分辨率、12k分辨率等。第一分辨率渲染任务可以理解为将待渲染的原图渲染为第一分辨率图像的任务。
62.第二分辨率低于第一分辨率，相比第一分辨率，第二分辨率可以理解为低分辨率，例如2k分辨率。
63.本实施例中，响应第一分辨率渲染任务，并非通过渲染器直接执行第一分辨率渲染任务，而是通过渲染器执行第二分辨率渲染，以避免直接渲染第一分辨率耗时较长的问题。
64.例如，针对原图的4k渲染任务，若直接进行4k渲染，需要耗时约500秒，本实施例中，电子设备响应4k渲染任务，并非通过渲染器直接执行原图的4k渲染，而是通过渲染器执行原图的2k渲染，2k渲染的时间约120秒，因此可以避免直接渲染4k图像耗时较长的问题。
65.在步骤102中，从渲染器获取多个图层，多个图层为渲染器在第二分辨率渲染的过程中生成的图层。
66.渲染器在渲染过程中会生成多个图层，多个图层包括以下至少一个图层：漫反射图层、光照图层、反射图层、反射强度图层、折射图层、折射强度图层、高光图层、自发光图层和背景图层。渲染器输出的图像是渲染器将以上多个图层合并得到的图像。
67.以vray(一种渲染器)为例，vray在渲染过程中会生成多个图层：vraydiffusefilter(漫反射图层)、vrayrawtotallighting(光照图层)、vrayrawreflection(反射图层)、vrayreflectionfilter(反射强度图层)、vrayrawrefraction(折射图层)、vrayrefractionfilter(折射强度图层)、vrayspecular(高光图层)、vrayselfillumination(自发光图层)和vraybackground(背景图层)。
68.vray输出的图像通过下式合并：
69.composeimage(vray输出的图像)＝vraydiffusefilter(漫反射图层)
×
vrayrawtotallighting(光照图层) vrayrawreflection(反射图层)
×
vrayreflectionfilter(反射强度图层) vrayrawrefraction(折射图层)
×
vrayrefractionfilter(折射强度图层) vrayspecular(高光图层)
vrayselfillumination(自发光图层) vraybackground(背景图层)。
70.渲染器在进行第二分辨率渲染过程中生成的图层以及渲染器输出的图像均为第二分辨率。
71.在步骤103中，基于第一分辨率对多个图层进行处理，得到目标图像对应的第一分辨率图像。
72.由于步骤101中是通过渲染器执行第二分辨率渲染，虽然避免了直接渲染第一分辨率耗时较长的问题，但是无论是渲染器在渲染过程中生成的图层还是渲染器输出的图像，均为第二分辨率，并未第一分辨率，因此，本实施例基于第一分辨率对多个图层进行处理，得到目标图像对应的第一分辨率图像。
73.本实施例中，由于渲染器执行第二分辨率渲染的时间比第一分辨率渲染缩短至少一半，且对多个图层进行处理的时间比第二分辨率渲染缩短至少一半，因此，本公开实施例可以缩短渲染第一分辨率图像的时间，提升用户体验。
74.例如，针对原图的4k渲染任务，本实施例中，电子设备响应4k渲染任务，通过渲染器执行原图的2k渲染，2k渲染的时间约120秒，且对多个图层进行处理的时间约为30秒，因此，本公开实施例渲染4k图像约150秒，在极少出现的集群满载的情况下渲染4k图像的时间约200秒，相比直接进行4k渲染需要耗时约500秒，本实施例可以将渲染时间缩短至少一半。
75.图2为本公开实施例提供的一种对多个图层进行处理的示例性流程图。其中，多个图层为渲染器在渲染过程中生成的图层。在一些实施例中，多个图层为渲染器在进行第二分辨率(例如2k分辨率)渲染过程中生成的图层，这些图层均为2k分辨率。电子设备基于第一分辨率(例如4k分辨率)对渲染器在第二分辨率(例如2k分辨率)渲染过程中生成的多个图层进行处理，得到第一分辨率图像。
76.在步骤201中，对多个图层中各第一类图层进行超分辨率重建，得到各第一类图层对应的第一分辨率图层。
77.第一类图层为细节信息量大于或等于预设阈值的图层，细节信息包括但不限于纹理信息等体现图像细节的信息。第一类图层包括以下至少一个图层：漫反射图层、光照图层、反射图层和折射图层。以vray(一种渲染器)为例，第一类图层包括vraydiffusefilter(漫反射图层)、vrayrawtotallighting(光照图层)、vrayrawreflection(反射图层)和vrayrawrefraction(折射图层)。
78.由于渲染器生成的图层是hdr(high-dynamic range，高动态范围)图层，为了减少数据处理量，对于各第一类图层进行超分辨率重建之前，需要对图层进行高动态压缩，高动态压缩属于图像处理领域的成熟技术，不再赘述。
79.各第一类图层在高动态压缩后，通过超分(super-resolution)模型进行超分辨率重建。超分模型可选用目前已有的不同超分模型，例如esrgan(enhanced super-resolution generative adversarial networks，增强型超分辨率生成对抗网络)模型。本实施例中，通过超分模型进行超分辨率重建，使得超分模型输出的超分图层包含更加清晰的图像细节信息。
80.由于各第一类图层在高动态压缩后，通过超分模型进行超分辨率重建，因此需要对超分模型输出的超分图层进行高动态恢复，得到对应的第一分辨率图层。
81.例如，渲染器生成2k分辨率(1920
×
1080)的hdr(high-dynamic range，高动态范
围)光照图层，电子设备对该光照图层进行高动态压缩后输入esrgan模型进行4倍超分重建，电子设备对esrgan模型输出的4k分辨率(3840
×
2160)的ldr(low-dynamic range，低动态范围)光照图层进行高动态恢复，得到4k分辨率的hdr光照图层。
82.图9为基于esrgan模型进行超分辨率重建的流程示意图。在图9中，esrgan模型包括多个卷积层(conv)、多个基础模块(basic block)和一个上采样层(upsampling)，各层之间的连接关系如图9所示，各层的功能可以参考esrgan模型的相关文献，不再赘述。
83.图9中，渲染器生成2k分辨率(1920
×
1080)的hdr光照图层首先经过高动态压缩得到lr(low resolution，低分辨率)的ldr光照图层，也即2k分辨率的ldr光照图层；然后输入到esrgan模型进行4倍超分重建，esrgan模型输出sr(super-resolution超分)的ldr光照图层，也即4k分辨率的ldr光照图层；4k分辨率的ldr光照图层再经过高动态恢复，得到4k分辨率的hdr光照图层。
84.在步骤202中，对多个图层中各第二类图层进行放大处理，得到各第二类图层对应的第一分辨率图层。
85.第二类图层为细节信息量小于预设阈值的图层。第二类图层包括以下至少一个图层：反射强度图层、折射强度图层、高光图层、自发光图层和背景图层。以vray(一种渲染器)为例，第二类图层包括vrayreflectionfilter(反射强度图层)、vrayrefractionfilter(折射强度图层)、vrayspecular(高光图层)、vrayselfillumination(自发光图层)和vraybackground(背景图层)。
86.本实施例中，基于第一分辨率对多个图层中各第二类图层进行放大(resize)处理，得到各第二类图层对应的第一分辨率图层。例如，对于2k分辨率的第二类图层，通过resize处理，可以放大到4k分辨率。
87.在步骤203中，将各第一类图层对应的第一分辨率图层和各第二类图层对应的第一分辨率图层合并，得到目标图像对应的第一分辨率图像。
88.以vray(一种渲染器)为例，目标图像对应的第一分辨率图像通过下式合并：
89.composeimage(目标图像对应的第一分辨率图像)＝vraydiffusefilter(漫反射图层)对应的第一分辨率图层
×
vrayrawtotallighting(光照图层)对应的第一分辨率图层 vrayrawreflection(反射图层)对应的第一分辨率图层
×
vrayreflectionfilter(反射强度图层)对应的第一分辨率图层 vrayrawrefraction(折射图层)对应的第一分辨率图层
×
vrayrefractionfilter(折射强度图层)对应的第一分辨率图层 vrayspecular(高光图层)对应的第一分辨率图层 vrayselfillumination(自发光图层)对应的第一分辨率图层 vraybackground(背景图层)对应的第一分辨率图层。
90.图3为本公开实施例提供的一种图像优化方法的示例性流程图。该方法可以对目标图像对应的第一分辨率图像进行优化，以便去除第一分辨率图像中的白色边缘(简称白边)，其中，白色边缘是由于在合并多个第一分辨率图层时，多个第一分辨率图层的边缘不对齐导致的白色边缘。
91.在步骤301中，对目标图像进行超分辨率重建得到第一分辨率rgb图像。
92.本实施例中，对目标图像进行超分辨率重建的方式类似于图2中步骤201提及的超分辨率重建，为避免重复，不再赘述。
93.在一些实施例中，为了减少数据处理量，可以先将目标图像进行高动态压缩后，再
进行超分辨率重建，得到的第一分辨率rgb图像为ldr(low-dynamic range，低动态范围)图像。
94.需要说明的是，第一分辨率rgb图像中的硬边缘(例如桌子的边缘)不存在白边。
95.在步骤302中，基于光照图层和第一分辨率rgb图像，对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像。
96.本方案发明人发现白边出现在光照图层亮度差异较大的边缘，而第一分辨率rgb图像中没有白边，因此，本实施例中，基于光照图层和第一分辨率rgb图像去除目标图像对应的第一分辨率图像中的白边。
97.图4为本公开实施例提供的一种去除白边的示例性流程图，适用于图3中的步骤302。如图4所示，基于光照图层和第一分辨率rgb图像，对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像包括步骤401至步骤403：
98.在步骤401中，确定光照图层对应的第一分辨率白边掩膜图。
99.光照图层为渲染器进行第二分辨率渲染过程中生成的图层，因此，光照图层的分辨率为第二分辨率。
100.第一分辨率白边掩膜图的分辨率为第一分辨率，且第一分辨率白边掩膜图中白边对应的各像素点的值为1，非白边对应的各像素点的值为0。
101.在步骤402中，将第一分辨率rgb图像由rgb空间转换至lab(一种设备无关的颜色模型)空间，得到第一分辨率rgb图像对应的l(亮度)通道高频图像。
102.l通道高频图像是梯度变化较大的亮度图像，对应第一分辨率rgb图像中的边缘、纹理等细节。l通道低频图像对应第一分辨率rgb图像中的非边缘部分。
103.l通道高频图像通过以下方式确定：若第一分辨率rgb图像是hdr(high-dynamic range，高动态范围)图像，则将第一分辨率rgb图像进行高动态压缩后由rgb空间转换至lab空间；若第一分辨率rgb图像是ldr(low-dynamic range，低动态范围)图像，则直接将第一分辨率rgb图像由rgb空间转换至lab空间；在转换至lab空间后，可以分离出l通道图像，进而对l通道图像进行均值滤波得到l通道低频图像，从而将l通道图像减去l通道低频图像得到l通道高频图像。
104.在步骤403中，基于第一分辨率白边掩膜图和第一分辨率rgb图像对应的l通道高频图像，对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像。
105.本实施例中，通过分离亮度图像(即l通道高频图像)，利用第一分辨率白边掩膜图，可以对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像。
106.图5为本公开实施例提供的一种确定白边掩膜图的示例性流程，适用于图4中的步骤402。如图5所示，确定光照图层对应的第一分辨率白边掩膜图包括步骤501至步骤503：
107.在步骤501中，确定光照图层的边缘中的白边。
108.本实施例中，首先确定光照图层中的边缘；然后确定边缘两侧像素点的亮度差值；最后将亮度差值大于或等于预设亮度阈值的边缘确定为白边。
109.预设亮度阈值例如为0.6坎德拉每平方米，本领域技术人员可以根据实际需要设置预设亮度阈值，本实施例不限定预设亮度阈值的具体取值。
110.在一些实施例中，可以通过拉普拉斯边缘算子或其他边缘算法确定光照图层中的边缘。
111.在步骤502中，将白边各像素点的值设置为1，并将光照图层的边缘中非白边的各像素点的值设置为0，得到光照图层对应的第二分辨率白边掩膜图。
112.由于光照图层为渲染器进行第二分辨率渲染过程中生成的图层，因此，光照图层的分辨率为第二分辨率，进而由光照图层确定的白边掩膜图的分辨率为第二分辨率。
113.在步骤503中，基于第一分辨率对第二分辨率白边掩膜图进行放大处理，并将放大处理后得到的值大于0的像素点设置为1，得到光照图层对应的第一分辨率白边掩膜图。
114.本实施例中，基于第一分辨率对第二分辨率白边掩膜图进行放大(resize)处理后，存在值大于0且小于1的多个像素点，这些像素点位于白边两侧，为了提高去除白边的可靠性，将放大处理后得到的值大于0的像素点设置为1，得到光照图层对应的第一分辨率白边掩膜图。
115.图6为本公开实施例提供的另一种去除白边的示例性流程图，适用于图4中的步骤403。如图6所示，基于第一分辨率白边掩膜图和第一分辨率rgb图像对应的l通道高频图像，对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像包括步骤601至步骤606：
116.在步骤601中，基于第一分辨率白边掩膜图，确定光照图层对应的第一分辨率非白边掩膜图。
117.将第一分辨率白边掩膜图中值为1的各像素点设置为0并将值为0的各像素点设置为1，得到光照图层对应的第一分辨率非白边掩膜图。
118.在步骤602中，将目标图像对应的第一分辨率图像由rgb空间转换至lab空间，得到目标图像对应的第一分辨率图像对应的l通道高频图像。
119.l通道高频图像是梯度变化较大的亮度图像，对应第一分辨率图像中的边缘、纹理等细节。l通道低频图像对应第一分辨率图像中的非边缘部分。
120.l通道高频图像通过以下方式确定：若第一分辨率图像是hdr(high-dynamic range，高动态范围)图像，则将第一分辨率图像进行高动态压缩后由rgb空间转换至lab空间；若第一分辨率图像是ldr(low-dynamic range，低动态范围)图像，则直接将第一分辨率图像由rgb空间转换至lab空间；在转换至lab空间后，可以分离出l通道图像，进而对l通道图像进行均值滤波得到l通道低频图像，从而将l通道图像减去l通道低频图像得到l通道高频图像。
121.在步骤603中，将第一分辨率rgb图像对应的l通道高频图像和第一分辨率白边掩膜图进行合并，得到第一分辨率第一合成图像。
122.其中，第一分辨率第一合成图像＝第一分辨率rgb图像对应的l通道高频图像
×
第一分辨率白边掩膜图。
123.可见，第一分辨率第一合成图像中无白边，也即，白边采用第一分辨率rgb图像对应的l通道高频图像进行去除。
124.在步骤604中，将目标图像对应的第一分辨率图像对应的l通道高频图像和第一分辨率非白边掩膜图进行合并，得到第一分辨率第二合成图像。
125.其中，第一分辨率第二合成图像＝目标图像对应的第一分辨率图像对应的l通道
高频图像
×
第一分辨率非白边掩膜图。
126.可见，本实施例中，非白边的边缘采用目标图像对应的第一分辨率图像对应的l通道高频图像来保留细节信息。
127.在步骤605中，将第一分辨率第一合成图像、第一分辨率第二合成图像和第一分辨率rgb图像对应的l通道低频图像合并，得到去除白边后的第一分辨率l通道图像。
128.其中，去除白边后的第一分辨率l通道图像＝第一分辨率第一合成图像 第一分辨率第二合成图像 第一分辨率rgb图像对应的l通道低频图像。
129.可见，本实施例中，白边采用第一分辨率rgb图像对应的l通道高频图像进行去除，非白边的边缘采用目标图像对应的第一分辨率图像对应的l通道高频图像来保留细节信息，再加上第一分辨率rgb图像对应的l通道低频图像，得到去除白边后的第一分辨率l通道图像。
130.在步骤606中，将去除白边后的第一分辨率l通道图像、第一分辨率rgb图像对应的a通道图像和b通道图像转换至rgb空间，得到目标图像对应的去除白边后的第一分辨率图像。
131.若目标图像对应的去除白边后的第一分辨率图像为ldr(low-dynamic range，低动态范围)图像，则进行高动态恢复。
132.在一些实施例中，以现有技术中普通4k渲染方案(即渲染器直接执行4k图像渲染任务)以及以上实施例公开的图像渲染方案(记为超分4k渲染方案)，对不同场景进行4k渲染的耗时如下表所示：
133.场景名称普通4k渲染方案耗时(秒)超分4k渲染方案耗时(秒)哪吒白天3.0412145豪华别墅3.0394191别墅3.0383200
134.对比可见，基于以上实施例公开的图像渲染方案生成4k分辨率图像耗时在200秒以内，在极少出现的集群满载的情况下生成4k分辨率图像耗时为200秒，将渲染时间缩短至少一半。
135.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。
136.图7为本公开实施例提供的一种图像渲染装置的示例性框图。该图像渲染装置可以应用于任意类型的电子设备，例如为智能手机、平板电脑、笔记本电脑等便携移动式设备，又例如为台式计算机、智能电视等固定式设备。如图7所示，图像渲染装置可以包括但不限于以下单元：渲染单元71、获取单元72和处理单元73。
137.渲染单元71，用于响应目标图像的第一分辨率渲染任务，通过渲染器对目标图像进行第二分辨率渲染，第二分辨率小于第一分辨率；
138.获取单元72，用于从渲染器获取多个图层，多个图层为渲染器在第二分辨率渲染的过程中生成的图层；
139.处理单元73，用于基于第一分辨率对多个图层进行处理，得到目标图像对应的第
一分辨率图像。
140.在一些实施例中，处理单元73用于：对多个图层中各第一类图层进行超分辨率重建，得到各第一类图层对应的第一分辨率图层；对多个图层中各第二类图层进行放大处理，得到各第二类图层对应的第一分辨率图层；将各第一类图层对应的第一分辨率图层和各第二类图层对应的第一分辨率图层合并，得到目标图像对应的第一分辨率图像；其中，第一类图层为细节信息量大于或等于预设阈值的图层；第二类图层为细节信息量小于预设阈值的图层。
141.在一些实施例中，第一类图层包括以下至少一个图层：漫反射图层、光照图层、反射图层和折射图层；第二类图层包括以下至少一个图层：反射强度图层、折射强度图层、高光图层、自发光图层和背景图层。
142.在一些实施例中，图像渲染装置还以包括图7中未示出的重建单元74和优化单元75：
143.重建单元74，用于对目标图像进行超分辨率重建得到第一分辨率rgb图像。
144.优化单元75，用于基于光照图层和第一分辨率rgb图像，对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像。
145.在一些实施例中，优化单元75包括确定子单元、转换子单元和去除子单元：
146.确定子单元，用于确定光照图层对应的第一分辨率白边掩膜图；
147.转换子单元，用于将第一分辨率rgb图像由rgb空间转换至lab空间，得到第一分辨率rgb图像对应的l通道高频图像；
148.去除子单元，用于基于第一分辨率白边掩膜图和第一分辨率rgb图像对应的l通道高频图像，对目标图像对应的第一分辨率图像去除白边，得到目标图像对应的去除白边后的第一分辨率图像。
149.在一些实施例中，确定子单元用于：确定光照图层的边缘中的白边；将白边各像素点的值设置为1，并将光照图层的边缘中非白边的各像素点的值设置为0，得到光照图层对应的第二分辨率白边掩膜图；基于第一分辨率对第二分辨率白边掩膜图进行放大处理，并将放大处理后得到的值大于0的像素点设置为1，得到光照图层对应的第一分辨率白边掩膜图。
150.在一些实施例中，确定子单元用于：确定光照图层中的边缘；确定边缘两侧像素点的亮度差值；将亮度差值大于或等于预设亮度阈值的边缘确定为白边。
151.在一些实施例中，去除子单元用于：
152.基于第一分辨率白边掩膜图，确定光照图层对应的第一分辨率非白边掩膜图；
153.将目标图像对应的第一分辨率图像由rgb空间转换至lab空间，得到目标图像对应的第一分辨率图像对应的l通道高频图像；
154.将第一分辨率rgb图像对应的l通道高频图像和第一分辨率白边掩膜图进行合并，得到第一分辨率第一合成图像；
155.将目标图像对应的第一分辨率图像对应的l通道高频图像和第一分辨率非白边掩膜图进行合并，得到第一分辨率第二合成图像；
156.将第一分辨率第一合成图像、第一分辨率第二合成图像和第一分辨率rgb图像对应的l通道低频图像合并，得到去除白边后的第一分辨率l通道图像；
157.将去除白边后的第一分辨率l通道图像、第一分辨率rgb图像对应的a通道图像和b通道图像转换至rgb空间，得到目标图像对应的去除白边后的第一分辨率图像。
158.以上公开的图像渲染装置各实施例的细节可参考前述的图像处理方法各实施例的细节，为避免重复不再赘述。
159.在一些实施例中，以上各装置实施例中各单元的划分仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如至少两个单元可以实现为一个单元；各单元也可以划分为多个子单元。可以理解的是，各个单元或子单元能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。
160.图8是本公开实施例提供的一种电子设备的结构示意图。电子设备例如为智能手机、平板电脑、笔记本电脑等便携移动式设备，又例如为台式计算机、智能电视等固定式设备。
161.如图8所示，电子设备包括：至少一个处理器801、至少一个存储器802和至少一个通信接口803。电子设备中的各个组件通过总线系统804耦合在一起。通信接口803，用于与外部设备之间的信息传输。可理解地，总线系统804用于实现这些组件之间的连接通信。总线系统804除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图8中将各种总线都标为总线系统804。
162.可以理解，本实施例中的存储器802可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
163.在一些实施方式中，存储器802存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
164.其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(media player)、浏览器(browser)等，用于实现各种应用任务。实现本公开实施例提供的图像渲染方法的程序可以包含在应用程序中。
165.在本公开实施例中，处理器801通过调用存储器802存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器801用于执行本公开实施例提供的图像渲染方法各实施例的步骤。
166.本公开实施例提供的图像渲染方法可以应用于处理器801中，或者由处理器801实现。处理器801可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
167.本公开实施例提供的图像渲染方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成
熟的存储介质中。该存储介质位于存储器802，处理器801读取存储器802中的信息，结合其硬件完成方法的步骤。
168.本公开实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如图像渲染方法各实施例的步骤，为避免重复描述，在此不再赘述。在一些实施例中，计算机可读存储介质为非暂态计算机可读存储介质。
169.本公开实施例还提出一种计算机程序产品，其中，该计算机程序产品包括计算机程序，该计算机程序存储在非暂态计算机可读存储介质中，计算机的至少一个处理器从存储介质读取并执行该计算机程序，使得计算机执行如图像渲染方法各实施例的步骤，为避免重复描述，在此不再赘述。
170.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
171.本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。
172.本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
173.虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。