重光照图像的生成方法、装置及电子设备与流程

1.本公开的实施例总体上涉及图像处理技术领域，并且更具体地涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于图像处理场景下。


背景技术：

2.随着移动终端技术以及图像处理(image processing)技术的迅速发展，各种具有基于重光照(relighting)技术的特效功能的应用程序(application，简称app)应运而生，用户对于为图像增加滤镜、更改人脸阴影效果等功能的要求也日益提高。
3.相关技术中，通常采用以下两种方式进行用户异常行为检测：基于人工进行渲染的方式，以及基于神经网络学习训练得到一个用于对待处理图像进行重光照渲染的模型的方式。
4.然而，基于人工进行渲染，存在人力成本极高，且重光照图像生成效率低、可靠性差的问题；基于神经网络学习训练得到的网络，生成的重光照图像往往会存在产生伪影、无法学习到阴影变化等问题。
5.因此，如何提高重光照图像的生成过程中的有效性和可靠性，已成为了重要的研究方向之一。


技术实现要素：

6.本公开提供了一种重光照图像的生成方法、装置及电子设备。
7.根据第一方面，提供了一种重光照图像的生成方法，包括：
8.获取待处理图像；
9.将所述待处理图像输入至重光照图像生成系统中，由所述重光照图像生成系统中的n个小波变换模型进行重光照渲染，输出所述待处理图像对应的目标重光照图像，其中，n为大于或者等于1的整数。
10.根据第二方面，提供了一种重光照图像的生成装置，包括：
11.获取模块，用于获取待处理图像；
12.第一输出模块，用于将所述待处理图像输入至重光照图像生成系统中，由所述重光照图像生成系统中的n个小波变换模型进行重光照渲染，输出所述待处理图像对应的目标重光照图像，其中，n为大于或者等于1的整数。
13.根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的重光照图像的生成方法。
14.根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面所述的重光照图像的生成方法。
15.根据第五方面，提供了一种计算机程序产品，包括计算机程序，其特征在于，所述
计算机程序在被处理器执行时实现根据本公开第一方面所述的重光照图像的生成方法。
16.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
17.附图用于更好地理解本方案，不构成对本公开的限定。其中：
18.图1是根据本公开第一实施例的示意图；
19.图2是一种重光照图像生成过程的示意图；
20.图3是一种待处理图像的示意图；
21.图4是一种重光照图像生成过程中不同方向分量对应的示意图；
22.图5是根据本公开第二实施例的示意图；
23.图6是根据本公开第三实施例的示意图；
24.图7是根据本公开第四实施例的示意图；
25.图8是另一种重光照图像生成过程的示意图；
26.图9是另一种重光照图像生成过程的示意图；
27.图10是另一种重光照图像生成过程的示意图；
28.图11是另一种重光照图像生成过程的示意图；
29.图12是用来实现本公开实施例的重光照图像的生成方法的重光照图像的生成装置的框图；
30.图13是用来实现本公开实施例的重光照图像的生成方法的重光照图像的生成装置的框图；
31.图14是用来实现本公开实施例的重光照图像的生成或者重光照图像的生成的电子设备的框图。
具体实施方式
32.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
33.以下对本公开的方案涉及的技术领域进行简要说明：
34.图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。
35.ai(artificial intelligence，人工智能)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
36.计算机视觉(computer vision)，是一门研究如何使机器“看”的科学，更进一步的
说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取
‘
信息’的人工智能系统。这里所指的信息指shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
37.dl(deep learning，深度学习)，是ml机器学习(machine learning，机器学习)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
38.下面参考附图描述本公开实施例的一种重光照图像的生成方法、装置及电子设备。
39.图1是根据本公开第一实施例的示意图。其中，需要说明的是，本实施例的重光照图像的生成方法的执行主体为重光照图像的生成装置，重光照图像的生成装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。如图1所示，本实施例提出的重光照图像的生成方法，包括如下步骤：
40.s101、获取待处理图像。
41.其中，待处理图像，可以为用户输入的任一图像，又例如，可以对任一视频，例如教学视频和影视剧作品等视频，进行解码、抽帧后，得到一帧的图像作为待处理图像。
42.需要说明的是，在试图获取待处理图像时，可以获取本地或者远程存储区域中预先存储的包括图像作为待处理图像，也可以直接拍摄图像作为待处理图像。
43.可选地，可以从本地或者远程图像库、视频库中的至少一处获取存储的图像或者视频，以获取待处理图像；可选地，也可以直接拍摄图像作为待处理图像。本公开实施例对获取待处理图像的方式不作限定，可以根据实际情况进行选取。
44.s102、将待处理图像输入至重光照图像生成系统中，由重光照图像生成系统中的n个小波变换模型进行重光照渲染，输出待处理图像对应的目标重光照图像，其中，n为大于或者等于1的整数。
45.其中，重光照技术(relighting)，是指将一幅给定图像的光照方向和色温进行改变，从而生成另一幅不同光照方向和色温的图像。
46.举例而言，如图2所示，图2(a)是在色温2500k，光源在东边时的场景图像，图2(b)是在色温6500k，光源在西边时的场景图像。由此可知，当色温值较低时，图像颜色偏黄，属于暖色调；当色温值较高时，图像颜色泛白，属于冷色调。同时，当光源位置不同时，产生的阴影也不同。综上所述，进行重光照渲染，目的是对图2(a)进行渲染，生成图2(b)，并且场景内容保持一致，只改变色温和阴影方向。
47.其中，重光照图像生成系统，包括n个小波变换模型，n为大于或者等于1的整数。例如，重光照图像生成系统包括1个小波变换模型；又例如，重光照图像生成系统包括3个结构一致的小波变换模型，此种情况下，3个小波变换模型以级联(cascade)的方式进行连接。
48.需要说明的是，相关技术中，在对待处理图像进行重光照处理时，通常会采用基于人工进行渲染，或者基于神经网络学习训练得到一个用于对待处理图像进行重光照渲染的模型，例如训练得到一个卷积神经网络(convolutional neural networks,cnn)模型。
49.然而，基于人工进行渲染，存在人力成本极高，且重光照图像生成效率低、可靠性差的问题；基于神经网络学习训练得到的网络，一般仅对应于时域，即于rgb(red green blue)图像下直接进行操作，此种情况下，由于网络设计存在缺陷，得到的重光照图像往往会存在产生伪影、无法学习到阴影变化等问题。
50.由此，本公开提出的重光照图像的生成方法，能够通过训练得到一个小波变换模型对待处理图像进行重光照渲染，以通过在频域图像上进行操作，生成更优质的重光照图像。
51.需要说明的是，本公开对于小波变换的种类不作限定，可以根据实际情况进行选择。可选地，可以选择离散小波变换模型对待处理图像进行重光照渲染。
52.根据本公开实施例的重光照图像的生成方法，既不依赖人工设计，也不再依赖基于神经网络学习训练得到的卷积神经网络模型，利用由至少一个小波变换模型构成的重光照图像生成系统对待处理图像进行渲染，使得得到的重光照图像在低频上保留场景内容结构，在高频上保留细节阴影信息，从而得到渲染效果更加准确、可靠的重光照图像。
53.下面对本公开的方案涉及的小波变换模型的处理过程进行简要说明：
54.图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。
55.举例来说，给定一张大面积的沙漠图像，那么得到的是一片灰度变化缓慢的区域，对应的频率值很低；而对于地表属性变换剧烈的边缘区域，例如层峦叠嶂的高山，在图像中是一片灰度变化剧烈的区域，则对应的频率值较高。
56.由此，从物理效果上看，小波变换可以将图像从空间域转换到频率域，即可以将图像的灰度分布函数变换为图像的频率分布函数，通过逆变换可以将图像的频率分布函数变换为灰度分布函数。
57.以待处理图像的二维离散小波变换模型的处理过程为例，针对如图3所示的待处理图像，可选地，可以对待处理图像的每一行像素进行一维的离散小波变换(discrete wavelet transformation，简称dwt)，以得到原始图像(待处理图像)在水平方向上的低频分量l和高频分量h。进一步地，可以对变换后的数据的每一列像素再进行一维的dwt，从而得到如图4中所示的四个结果。
58.其中，根据得到的水平方向上的低频分量和垂直方向上的低频分量，即ll，可以得到如图4(a)所示的图像；根据水平方向上的低频分量和垂直方向上的高频分量，即lh，可以得到如图4(b)所示的图像；根据水平方向上的高频分量和垂直方向上的低频分量，即hl，可以得到如图4(c)所示的图像；根据水平方向上的高频分量和垂直方向上的高频分量，即hh，可以得到如图4(d)所示的图像。
59.此种情况下，针对图3所示的待处理图像，能够得到如图4(a)所示的能够体现待处理图像中物体摆放情况的图像，即待处理图像的的近似图像。图4(a)所示的图像对应于待处理图像的低频部分，而图4(b)～(d)所示的三张图则对应待处理图像的轮廓，依次为水平、垂直和对角线，共三个方向的细节图像，对应待处理图像的高频部分。
60.本公开实施例中，若输入的待处理图像宽、高均为1024，通道数为3，此种情况下，待处理图像的尺寸可以表示为1024*1024*3。可选地，通过离散小波变换模型中的离散小波变换网络进行dwt处理之后，图像的尺寸则变为512*512*3。
61.进一步地，通过将图4(a)～(d)中的四张图像在通道维度上进行串接，即可得到尺寸为512*512*12的图像。此种情况下，通过dwt之后，图像的宽、高均减小了2倍，同时，通道数增加了4倍，此过程又称空间到深度(spatial2depth)的转换过程。
62.由此，以上述小波变换处理操作替代cnn中常用的最大池化(max pooling)或avg pooling(平均池化)的操作，能够不再仅针对局部进行转换，而是通过dwt针对整个待处理图像进行转换，具有感受野更大、处理区域更广泛的优势，这样一来，处理结果也更加准确。
63.进一步地，在通过小波变换模型中的小波变换网络进行处理后，可选地，可以通过离散小波变换模型中的离散小波反变换网络进行idwt处理，离线小波反变换(inverse discrete wavelet transform，简称idwt)的过程与dwt类似，此处不再赘述。
64.需要说明的是，本公开中，为了进一步提升重光照图像的渲染效果和可靠性，可以采用由至少两个小波变换模型级联的重光照图像生成系统。
65.作为一种可能的实现方式，如图5所示，本公开提出的重光照图像的生成方法，在上述实施例的基础上，具体包括以下步骤：
66.s501、获取待处理图像。
67.该步骤s501与上一实施例中的步骤s101相同，此处不再赘述。
68.上一实施例中的步骤s102具体可包括以下步骤s502～s504。
69.s502、针对第一个小波变换模型，将待处理图像输入至第一个小波变换模型中进行重光照渲染，输出中间重光照图像。
70.本公开实施例中，可以采用多阶段的渲染策略，即针对第一个小波变换模型，将待处理图像输入至第一个小波变换模型中进行重光照渲染，输出中间重光照图像，学习从待处理图像到输出的中间重光照图像之间的映射关系。
71.需要说明的是，在模型训练阶段，在针对第一个小波变换模型，将待处理图像输入至第一个小波变换模型中进行重光照渲染，输出中间重光照图像之后，即可固定第一个小波变换模型，并根据该模型将训练集(预设数量的待处理样本图像)进行处理，输出训练集在第一个小波变换模型下的中间重光照图像。
72.s503、从第二个小波变换模型起，将上一级小波变换模型输出的中间重光照图像输入至下一级小波变换模型中进行重光照渲染，输出下一级小波变换模型对应的中间重光照图像。
73.本公开实施例中，可以从第二个小波变换模型起，将上一级小波变换模型输出的中间重光照图像输入至下一级小波变换模型中进行重光照渲染，输出下一级小波变换模型对应的中间重光照图像，此种情况下，由于上一级小波变换模型已经学到了大部分的映射关系，因此，使得下一级小波变换模型对应的中间重光照图像相较上一级小波变换模型对应的中间重光照图像，更接近准确结果(ground truth)。同时，针对模型训练阶段，下一级小波变换模型的训练难度也会极大降低。
74.s504、每当其中一级小波变换模型输出对应的中间重光照图像，确定对应的中间重光照图像满足优化停止条件，则停止向下一级小波变换模型传递对应的中间重光照图
像，并将对应的中间重光照图像作为目标重光照图像。
75.其中，优化停止条件可以根据实际情况进行设定，本公开不作限定。
76.可选地，可以设定优化停止条件为对图像进行处理的模型数量；可选地，可以设定优化停止条件为中间重光照图像的渲染效果。
77.举例而言，若优化停止条件为对图像进行处理的模型数量为2，此种情况下，其中一级小波变换模型输出对应的中间重光照图像为第二个小波变换模型处理后得到的图像，说明对应的中间重光照图像满足优化停止条件，则停止向下一级小波变换模型传递对应的中间重光照图像，并将对应的中间重光照图像作为目标重光照图像。
78.s505、确定对应的中间重光照图像未满足优化停止条件，则将中间重光照图像继续向下一级小波变换模型传递，由下一级小波变换模型继续对对应的中间重光照图像进行重光照渲染，直至其中一级小波变换模型输出的中间重光照图像满足优化停止条件，则将满足优化停止条件的中间重光照图像作为目标重光照图像。
79.举例而言，若优化停止条件为对图像进行处理的模型数量为3，此种情况下，其中一级小波变换模型输出对应的中间重光照图像为第二个小波变换模型处理后得到的图像，说明对应的中间重光照图像未满足优化停止条件，则将中间重光照图像继续向第三级小波变换模型传递，由第三级小波变换模型继续对对应的中间重光照图像进行重光照渲染，并将第三级小波变换模型继续对应的的中间重光照图像作为目标重光照图像。
80.根据本公开实施例的重光照图像的生成方法，既不依赖单个小波变换模型对待处理图像进行重光照渲染，避免了单个模型无法学习到完整的映射关系的问题，采用多个模型级联的方式构成重光照图像生成系统，可以让不同级模型学习到不同的映射维度，进一步提升了输出的重光照图像的渲染效果和可靠性。
81.需要说明的是，本公开中，在下采样和上采样的处理过程中间加入了残差网络(resblock)以及跨层连接(skip connection)来提升生成的重光照图像的渲染效果。
82.作为一种可能的实现方式，如图6所示，本公开提出的重光照图像的生成方法，在上述实施例的基础上，任一级小波变换模型对图像进行重光照渲染的过程，具体包括以下步骤：
83.s601、将图像输入至小波变换模型的小波变换网络中，由小波变换网络对图像进行下采样处理，输出图像对应的特征图像，其中，图像包括待处理图像和中间重光照图像。
84.s602、将特征图像输入至小波变换模型的残差网络中，由残差网络对特征图像进行重建，输出重建特征图像。
85.s603、将重建特征图像输入至小波变换模型的小波反变换网络中，由小波反变换网络对重建特征图像进行上采样处理，输出重光照图像。
86.本公开实施例中，可以对图像进行下采样，以获取图像对应的特征图像。再将残差网络重建得到的重建特征图像进行上采样，以获取重光照图像，其中，下采样的频率和倍数与上采样的频率和倍数相同。其中，上、下采样的频率和倍数可以根据实际情况进行设定。
87.举例而言，可以将图像逐级下采样4次，每次下采样2倍，共下采样16倍，以获取图像对应的特征图像。进一步地，将重建特征图像逐级上采样4次，每次上采样2倍，共上采样16倍，以得到重光照图像。需要说明的是，在对图像进行采样的过程中，保持获取到的特征图像与图像大小一致。
88.根据本公开实施例的重光照图像的生成方法，通过在小波变换模型中加入残差网络以及跨层连接的连接方式，使得上采样的输入在上一层上采样输出的基础上，结合对应的下采样的输出，对重光照渲染过程起到了监督作用，防止学错，进一步提升了输出的重光照图像的渲染效果和可靠性。
89.需要说明的是，本公开中，重光照图像生成系统中增加了局部卷积
‑
归一化
‑
非线性化网络(conv
‑
in
‑
relu)，进一步对得到的特征图像进行处理。
90.可选地，可以仅针对下采样获取到的图像进行预处理；可选地，可以仅针对上采样获取到的图像进行预处理；可选地，可以分别针对下采样和上采样获取到的图像进行预处理。
91.作为一种可能的实现方式，如图7所示，在上述实施例的基础上，以分别针对下采样和上采样获取到的图像进行预处理为例，具体包括以下步骤：
92.s701、将下采样获取到的特征图像输入至小波变换模型的第一卷积网络中，由第一卷积网络对特征图像进行预处理，并将第一卷积网络输出的预处理后的特征图像输入至残差网络中。
93.s702、将进行上采样处理后得到的上采样特征图像输入至小波变换模型的第二卷积网络，由第二卷积网络对上采样特征图像进行预处理。
94.其中，对特征图像进行预处理的过程，主要包括对图像进行卷积、归一化、激活等操作，进行预处理后的特征图像整合了原特征图像的局部信息，并且增加了非线性。
95.根据本公开实施例的重光照图像的生成方法，通过对图像进行预处理，使得网络被加深，增强了小波变换模型的学习能力及拟合能力，进一步提升了输出的重光照图像的渲染效果和可靠性。
96.需要说明的是，本公开提出的重光照图像的生成方法，可以运用于多种图像处理场景中。
97.针对为普通场景类图片增加滤镜的应用场景，如图8～9所示，可以通过改变其色温来创作不同的滤镜效果，让用户只需要拍一张图片即可得到多张不同色调的结果，方便用户后续编辑使用，提升了用户体验、吸引了用户兴趣。
98.其中，如图8所示，将如图8(a)所示的待处理图像进行重光照渲染，得到如图8(b)所示的重光照图像，8(b)所示的重光照图像色温发生了改变，同时图8(a)所示的待处理图像左侧的黑色阴影区域也被消除掉了。
99.其中，如图9所示，将如图9(a)所示的待处理图像进行重光照渲染，得到如图9(b)所示的重光照图像，9(b)所示的重光照图像阴影发生了改变，同时图9(b)所示的重光照图像的树桩右侧，生成了新的阴影区域，整体图的色调也变成了冷色调。
100.针对为人像类图片增加特效的应用场景，如图10所示，可以通过改变阴影的程度和位置生成多种效果，增加了新玩法，吸引用户使用产品。
101.综上所述，如图11所示，本公开提供的重光照图像的生成方法，在下采样阶段，采用了离散小波变换来降低图像分辨率，同时提高图像通道数。与相关技术中采用局部卷积的操作不同，小波变换直接对整图的全局信息处理，因此感受野区域更大。同样地，在上采样阶段，采用了离散小波反变换来提升图像分辨率，同时减小图像通道数。
102.进一步地，在下采样和上采样之后，增加局部卷积
‑
归一化
‑
非线性化网络对特征
图像进行预处理，进一步对得到的特征图进行处理。此外，在下采样和上采样中间加入了残差网络以及跨层连接的连接方式，提升了生成的重光照图像的渲染效果。
103.需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用，均符合相关法律法规的规定，且不违背公序良俗。本公开的意图是，应以使无意或未经授权的使用访问风险最小化的方式来管理和处理个人信息数据。通过限制数据收集并在不再需要时删除数据，从而将风险降到最低。需要说明的是，本公开中与人员有关的所有信息，均在人员知情且同意的情况下收集。
104.与上述几种实施例提供的重光照图像的生成方法相对应，本公开的一个实施例还提供一种重光照图像的生成装置，由于本公开实施例提供的重光照图像的生成装置与上述几种实施例提供的重光照图像的生成方法相对应，因此在重光照图像的生成方法的实施方式也适用于本实施例提供的重光照图像的生成装置，在本实施例中不再详细描述。
105.图12是根据本公开一个实施例的重光照图像的生成装置的结构示意图。
106.如图12所示，该重光照图像的生成装置1200，包括：获取模块1210和第一输出模块1220。其中：
107.获取模块1210，用于获取待处理图像；
108.第一输出模块1220，用于将所述待处理图像输入至重光照图像生成系统中，由所述重光照图像生成系统中的n个小波变换模型进行重光照渲染，输出所述待处理图像对应的目标重光照图像，其中，n为大于或者等于1的整数。
109.图13是根据本公开另一个实施例的重光照图像的生成装置的结构示意图。
110.如图13所示，该重光照图像的生成装置1300，包括：获取模块1310和第一输出模块1320。
111.其中：n为大于1的整数，其中，第一输出模块1310，包括：
112.第一输出子模块13201，用于针对第一个小波变换模型，将所述待处理图像输入至所述第一个小波变换模型中进行重光照渲染，输出中间重光照图像；
113.第二输出子模块13202，用于从第二个小波变换模型起，将上一级小波变换模型输出的中间重光照图像输入至下一级小波变换模型中进行重光照渲染，输出所述下一级小波变换模型对应的中间重光照图像；
114.第一确定子模块13203，用于每当其中一级小波变换模型输出对应的中间重光照图像，确定所述对应的中间重光照图像满足优化停止条件，则停止向下一级小波变换模型传递所述对应的中间重光照图像，并将所述对应的中间重光照图像作为所述目标重光照图像；
115.第二确定子模块13204，用于确定所述对应的中间重光照图像未满足所述优化停止条件，则将所述中间重光照图像继续向下一级小波变换模型传递，由所述下一级小波变换模型继续对所述对应的中间重光照图像进行重光照渲染，直至其中一级小波变换模型输出的中间重光照图像满足所述优化停止条件，则将所述满足优化停止条件的中间重光照图像作为所述目标重光照图像。
116.其中，重光照图像的生成装置1300，还包括：
117.第二输出模块1330，用于将图像输入至所述小波变换模型的小波变换网络中，由所述小波变换网络对所述图像进行下采样处理，输出所述图像对应的特征图像，其中，所述
图像包括所述待处理图像和所述中间重光照图像；
118.第三输出模块1340，用于将所述特征图像输入至所述小波变换模型的残差网络中，由所述残差网络对所述特征图像进行重建，输出重建特征图像；
119.第四输出模块1350，用于将所述重建特征图像输入至所述小波变换模型的小波反变换网络中，由所述小波反变换网络对所述重建特征图像进行上采样处理，输出所述重光照图像；
120.采样模块1360，用于按照预设频率和预设倍数对所述图像进行下采样和上采样；
121.预处理模块1370，用于将进行上采样处理后得到的上采样特征图像输入至所述小波变换模型的第二卷积网络，由所述第二卷积网络对所述上采样特征图像进行预处理。
122.其中，第三输出模块1340，包括：
123.第三输出子模块13401，用于将下采样获取到的所述特征图像输入至所述小波变换模型的第一卷积网络中，由所述第一卷积网络对所述特征图像进行预处理，并将所述第一卷积网络输出的预处理后的特征图像输入至所述残差网络中。
124.需要说明的是，获取模块1210与获取模块1310具有相同功能和结构。
125.根据本公开实施例的重光照图像的生成装置，既不依赖人工设计，也不再依赖基于神经网络学习训练得到的卷积神经网络模型，利用由至少一个小波变换模型构成的重光照图像生成系统对待处理图像进行渲染，使得得到的重光照图像在低频上保留场景内容结构，在高频上保留细节阴影信息，从而得到渲染效果更加准确、可靠的重光照图像。
126.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
127.图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
128.如图14所示，设备1400包括计算单元1401，其可以根据存储在只读存储器(rom)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(ram)1403中的计算机程序，来执行各种适当的动作和处理。在ram1403中，还可存储设备1400操作所需的各种程序和数据。计算单元1401、rom 1402以及ram 1403通过总线1404彼此相连。输入/输出(i/o)接口1405也连接至总线1404。
129.设备1400中的多个部件连接至i/o接口1405，包括：输入单元1406，例如键盘、鼠标等；输出单元1407，例如各种类型的显示器、扬声器等；存储单元1408，例如磁盘、光盘等；以及通信单元1409，例如网卡、调制解调器、无线通信收发机等。通信单元1409允许设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
130.计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和
处理，例如重光照图像的生成方法。例如，在一些实施例中，重光照图像的生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1408。在一些实施例中，计算机程序的部分或者全部可以经由rom 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到ram 1403并由计算单元1401执行时，可以执行上文描述的重光照图像的生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元1401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行重光照图像的生成方法。
131.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
132.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程人物图像的修复装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
133.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
134.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
135.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网以及区块链网络。
136.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务端可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务(“virtual private server”，或简称“vps”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
137.本公开还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时，实现如上所述的重光照图像的生成方法。
138.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
139.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。