一种图像处理方法、装置、设备以及可读存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备以及可读存储介质。


背景技术：

2.随着计算机技术的快速发展，游戏制作、动画制作以及虚拟现实技术也逐渐兴起，对于虚拟场景(如游戏场景、动画场景、社交场景等等)的渲染图像(重建的无噪声的图像)的要求也越来越高。但在实际渲染中，常常渲染出的图像具有严重的噪声，那么需要在图像空间中对图像进行去噪和重建渲染结果。
3.现有的去噪(即去除图像中的噪声)和重建方法均针对于每像素采样数(sample per pixel,spp)较高(如spp大于1)的图像，主要采用一些神经网络模型(如transformer网络模型)来对渲染图像进行去噪。例如，现有主要是将spp较高的场景渲染图像输入至神经网络模型中后，通过神经网络模型来提取当前场景图像的特征，再基于提取的特征进行推理并输出当前图像对应的无噪声的重建图像。
4.可以看出，现有的方法具有强针对性，对于spp较低的图像，采用现有的方法所得到的图像质量并不高(噪声的去除效果并不理想)；同时，通过神经网络模型的自动学习所提取得到的当前图像的特征较为单一，仅能表征当前图像的片面，基于该简单的特征所推理输出的图像的质量，很可能也无法满足图像质量要求。


技术实现要素：

5.本技术实施例提供一种图像处理方法、装置、设备以及可读存储介质，可以在图像渲染业务中，提高重建图像的图像质量。
6.本技术实施例一方面提供了一种图像处理方法，包括：
7.在目标图像序列中获取目标图像与历史图像；目标图像序列是基于目标单位像素采样数，对目标场景进行图像采集后所得到的图像序列；历史图像是指目标图像序列中，目标图像的上一个图像；
8.获取目标图像对应的目标图像关联特征，以及历史图像对应的历史图像关联特征；
9.根据目标图像关联特征生成针对目标图像的第一混合嵌入特征，根据目标图像关联特征和历史图像关联特征，生成针对历史图像的第二混合嵌入特征，基于第一混合嵌入特征和第二混合嵌入特征，将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征；
10.根据目标图像关联特征、目标累积特征以及历史图像，确定目标图像对应的重建结果图像。
11.本技术实施例一方面提供了另一种图像处理方法，包括：
12.在样本图像序列中获取目标样本噪声图像与历史样本噪声图像；样本图像序列是
基于第一单位像素采样数，对样本场景进行图像采集后所得到的图像序列；历史样本噪声图像是指样本图像序列中，目标样本噪声图像的上一个样本噪声图像；第一单位像素采样数小于单位像素采样数阈值；
13.获取目标样本噪声图像对应的目标样本图像关联特征，以及历史样本噪声图像对应的历史样本图像关联特征；
14.根据目标样本图像关联特征生成针对目标样本噪声图像的第一样本混合嵌入特征，根据目标样本图像关联特征和历史样本图像关联特征，生成针对历史样本噪声图像的第二样本混合嵌入特征，基于第一样本混合嵌入特征和第二样本混合嵌入特征，将目标样本噪声图像与历史样本噪声图像进行特征累积，得到目标样本噪声图像对应的目标样本累积特征；
15.根据目标样本图像关联特征、目标样本累积特征以及历史样本噪声图像，确定目标样本噪声图像对应的目标样本融合级联特征；
16.将目标样本融合级联特征输入至图像重建模型中，在图像重建模型中，根据目标样本融合级联特征输出目标样本噪声图像对应的目标样本重建图像；
17.获取目标样本噪声图像对应的目标标签采样图像；目标标签采样图像是指基于第二单位像素采样数，对样本场景进行图像采集后所得到的图像；第一单位像素采样数小于第二单位像素采样数；
18.根据目标标签采样图像与目标样本重建图像，对图像重建模型进行训练，得到用于对目标图像序列中的目标图像进行图像重建处理的目标图像重建模型。
19.本技术实施例一方面提供了一种图像处理装置，包括：
20.图像获取模块，用于在目标图像序列中获取目标图像与历史图像；目标图像序列是基于目标单位像素采样数，对目标场景进行图像采集后所得到的图像序列；历史图像是指目标图像序列中，目标图像的上一个图像；
21.特征获取模块，用于获取目标图像对应的目标图像关联特征，以及历史图像对应的历史图像关联特征；
22.特征生成模块，用于根据目标图像关联特征生成针对目标图像的第一混合嵌入特征；
23.特征生成模块，还用于根据目标图像关联特征和历史图像关联特征，生成针对历史图像的第二混合嵌入特征；
24.特征累积模块，用于基于第一混合嵌入特征和第二混合嵌入特征，将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征；
25.图像重建模块，用于根据目标图像关联特征、目标累积特征以及历史图像，确定目标图像对应的重建结果图像。
26.在一个实施例中，目标图像关联特征包括目标图像对应的第一法线维度特征与第一深度维度特征；
27.特征生成模块包括：
28.第一特征输入单元，用于将第一法线维度特征与第一深度维度特征，输入至时序累积模型；
29.第一特征卷积单元，用于通过时序累积模型的第一卷积网络层，对第一法线维度
特征与第一深度维度特征进行卷积处理，得到目标图像对应的第一图像嵌入特征；
30.第一特征卷积单元，还用于通过时序累积模型的第二卷积网络层，对第一法线维度特征与第一深度维度特征进行卷积处理，得到目标图像对应的第二图像嵌入特征；
31.第一特征运算单元，用于将第一图像嵌入特征与第二图像嵌入特征进行像素相乘运算处理，得到针对目标图像的第一混合嵌入特征。
32.在一个实施例中，目标图像关联特征包括目标图像对应的第一法线维度特征与第一深度维度特征，历史图像关联特征包括历史图像对应的第二法线维度特征与第二深度维度特征；
33.特征生成模块包括：
34.特征变换单元，用于将第二法线维度特征与第二深度维度特征分别进行仿射变换处理，得到第二法线维度特征对应的法线变换特征，以及第二深度维度特征对应的深度变换特征；
35.第二特征输入单元，用于将第一法线维度特征、第一深度维度特征、法线变换特征以及深度变换特征输入至时序累积模型；
36.第二特征卷积单元，用于通过时序累积模型的第一卷积网络层，对第一法线维度特征与第一深度维度特征进行卷积处理，得到目标图像对应的目标图像嵌入特征；
37.第二特征卷积单元，还用于通过时序累积模型的第二卷积网络层，对法线变换特征与深度变换特征进行卷积处理，得到历史图像对应的历史图像嵌入特征；
38.第二特征运算单元，用于将目标图像嵌入特征与历史图像嵌入特征进行像素相乘运算处理，得到针对历史图像的第二混合嵌入特征。
39.在一个实施例中，特征累积模块包括：
40.融合系数确定单元，用于获取逻辑回归函数，通过逻辑回归函数与第一混合嵌入特征，确定针对目标图像的第一特征融合系数；
41.融合系数确定单元，还用于通过逻辑回归函数与第二混合嵌入特征，确定针对历史图像的第二特征融合系数；
42.特征累积单元，用于根据第一特征融合系数和第二特征融合系数，将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征。
43.在一个实施例中，特征累积单元包括：
44.图像特征获取子单元，用于获取目标图像对应的目标噪声图像特征、目标阴影特征与目标反照率特征，获取历史图像对应的历史累积噪声图像特征、历史累积阴影特征以及历史累积反照率特征；
45.阴影累积子单元，用于根据第一特征融合系数与第二特征融合系数，将目标阴影特征与历史累积阴影特征进行累积，得到目标图像对应的目标累积阴影特征；
46.噪声累积子单元，用于根据第一特征融合系数与第二特征融合系数，将目标噪声图像特征与历史噪声图像特征进行累积，得到目标声图像对应的目标累积噪声图像特征；
47.反照率累积子单元，用于根据第一特征融合系数与第二特征融合系数，将目标反照率特征与历史累积反照率特征进行累积，得到目标图像对应的目标累积反照率特征；
48.累积特征确定子单元，用于将目标累积阴影特征、目标累积噪声图像特征以及目标累积反照率特征，确定为目标图像对应的目标累积特征。
49.在一个实施例中，图像重建模块包括：
50.级联特征确定单元，用于根据目标图像关联特征、目标累积特征以及历史图像，确定目标图像对应的目标融合级联特征；
51.重建图像确定单元，用于将目标融合级联特征输入至目标图像重建模型中，在目标图像重建模型中，根据目标融合级联特征输出目标图像对应的重建结果图像。
52.在一个实施例中，目标图像关联特征包括第一法线维度特征与第一深度维度特征；历史图像关联特征包括历史图像对应的第二法线维度特征与第二深度维度特征；
53.级联特征确定单元包括：
54.特征融合子单元，用于获取目标图像对应的辅助特征；辅助特征包括第一法线维度特征与第一深度维度特征；
55.特征融合子单元，还用于将辅助特征中，除第一法线维度特征与第一深度维度特征以外的维度特征，确定为剩余维度特征；
56.特征融合子单元，还用于将目标累积特征、第一法线维度特征、第一深度维度特征以及剩余维度特征进行特征融合，得到目标图像对应的图像融合特征；
57.特征变换处理子单元，用于将第二法线维度特征与第二深度维度特征分别进行仿射变换处理，得到第二法线维度特征对应的法线变换特征，以及第二深度维度特征对应的深度变换特征；
58.特征级联子单元，用于将图像融合特征、法线变换特征以及深度变换特征进行级联处理，得到目标图像对应的目标融合级联特征。
59.在一个实施例中，重建图像确定单元包括：
60.参数输出子单元，用于通过目标图像重建模型，确定目标融合级联特征对应的预测高质图像、预测低质图像、第一图像重建参数以及第二图像重建参数；预测高质图像未包含噪声，预测高质图像的分辨率大于预测低质图像的分辨率；
61.图像融合子单元，用于在目标图像重建模型中，通过第一图像重建参数将预测高质图像与预测低质图像进行图像融合，得到目标图像对应的初始重建图像；
62.图像融合子单元，还用于获取历史图像对应的历史重建图像，通过第二图像重建参数将初始重建图像与历史重建图像进行图像融合，得到目标图像对应的重建结果图像。
63.本技术实施例一方面提供了另一种图像处理装置，包括：
64.样本图像获取模块，用于在样本图像序列中获取目标样本噪声图像与历史样本噪声图像；样本图像序列是基于第一单位像素采样数，对样本场景进行图像采集后所得到的图像序列；历史样本噪声图像是指样本图像序列中，目标样本噪声图像的上一个样本噪声图像；第一单位像素采样数小于单位像素采样数阈值；
65.样本特征获取模块，用于获取目标样本噪声图像对应的目标样本图像关联特征，以及历史样本噪声图像对应的历史样本图像关联特征；
66.样本特征生成模块，用于根据目标样本图像关联特征生成针对目标样本噪声图像的第一样本混合嵌入特征；
67.样本特征生成模块，还用于根据目标样本图像关联特征和历史样本图像关联特征，生成针对历史样本噪声图像的第二样本混合嵌入特征；
68.样本特征累积模块，用于基于第一样本混合嵌入特征和第二样本混合嵌入特征，
将目标样本噪声图像与历史样本噪声图像进行特征累积，得到目标样本噪声图像对应的目标样本累积特征；
69.样本特征级联模块，用于根据目标样本图像关联特征、目标样本累积特征以及历史样本噪声图像，确定目标样本噪声图像对应的目标样本融合级联特征；
70.样本重建图像输出模块，用于将目标样本融合级联特征输入至图像重建模型中，在图像重建模型中，根据目标样本融合级联特征输出目标样本噪声图像对应的目标样本重建图像；
71.标签图像获取模块，用于获取目标样本噪声图像对应的目标标签采样图像；目标标签采样图像是指基于第二单位像素采样数，对样本场景进行图像采集后所得到的图像；第一单位像素采样数小于第二单位像素采样数；
72.模型训练模块，用于根据目标标签采样图像与目标样本重建图像，对图像重建模型进行训练，得到用于对目标图像序列中的目标图像进行图像重建处理的目标图像重建模型。
73.在一个实施例中，模型训练模块包括：
74.待运算图像确定单元，用于将样本图像序列中，剩余样本噪声图像对应的样本重建图像确定为待运算重建图像，将剩余样本噪声图像对应的标签采样图像确定为待运算标签采样图像；剩余样本噪声图像是指样本图像序列中，除目标样本噪声图像以外的样本噪声图像；
75.损失值确定单元，用于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的目标损失值；
76.模型训练单元，用于根据目标损失值对图像重建模型进行训练，得到目标图像重建模型。
77.在一个实施例中，损失值确定单元包括：
78.损失值确定子单元，用于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的空间损失值；
79.损失值确定子单元，还用于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的时序损失值；
80.损失值确定子单元，还用于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的相对边缘损失值；
81.目标损失值确定子单元，还用于根据空间损失值、时序损失值以及相对边缘损失值，确定针对图像重建模型的目标损失值。
82.在一个实施例中，损失值确定子单元，还具体用于获取空间损失函数，根据空间损失函数、待运算重建图像以及待运算标签采样图像，确定针对剩余样本噪声图像的第一空间子损失值；
83.损失值确定子单元，还具体用于根据空间损失函数、目标标签采样图像以及目标样本重建图像，确定针对目标样本噪声图像的第二空间子损失值；
84.损失值确定子单元，还具体用于将第一空间子损失值与第二空间子损失值进行融合，得到图像重建模型的空间损失值。
85.在一个实施例中，损失值确定子单元，还具体用于获取针对剩余样本噪声图像的
第一训练权重，以及针对目标样本噪声图像的第二训练权重；
86.损失值确定子单元，还具体用于将第一训练权重与第一空间子损失值进行运算处理，得到第一运算空间子损失值；
87.损失值确定子单元，还具体用于将第二训练权重与第二空间子损失值进行运算处理，得到第二运算空间子损失值；
88.损失值确定子单元，还具体用于将第一运算空间子损失值与第二运算空间子损失值进行相加处理，得到图像重建模型的空间损失值。
89.在一个实施例中，目标样本噪声图像为样本图像序列中的最后一个样本噪声图像；
90.目标损失值确定子单元，还具体用于获取历史样本噪声图像对应的历史样本重建图像以及历史标签采样图像，根据历史样本重建图像、目标样本重建图像、历史标签采样图像以及目标标签采样图像，确定针对图像重建模型的仿射变换损失值；
91.目标损失值确定子单元，还具体用于获取目标样本噪声图像对应的目标样本反照率特征，在目标样本累积特征中，获取目标样本噪声图像对应的目标样本累积反照率特征，根据反照率损失函数、目标样本反照率特征以及目标样本累积反照率特征，确定针对图像重建模型的反照率损失值；
92.目标损失值确定子单元，还具体用于将空间损失值、时序损失值、相对边缘损失值、仿射变换损失值以及反照率损失值进行损失值融合，得到图像重建模型的目标损失值。
93.本技术实施例一方面提供了一种计算机设备，包括：处理器和存储器；
94.存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本技术实施例中的方法。
95.本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，执行本技术实施例中的方法。
96.本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例中一方面提供的方法。
97.在本技术实施例中，对于采用目标单位像素采样数对目标场景进行图像采集后，所得到的目标图像序列，无论是高像素采样数还是低像素采样数，均可以基于目标图像序列中，前后两个图像(可称之为目标图像与历史图像，其中，目标图像可为当前图像，历史图像为当前图像的上一个图像)的图像关联特征，来计算出两个图像的混合嵌入特征，并基于混合嵌入特征来对前后两个图像进行特征累积，得到累积特征可作为目标图像对应的目标累积特征；随后，根据目标图像的图像关联特征、目标累积特征以及历史图像，可以确定出目标图像对应的重建图像。可以理解的是，本技术可以根据当前图像与前一帧图像的关联特征，计算出两个图像分别对应的混合嵌入特征，并基于混合嵌入特征来对两个图像进行特征累积，所得到的目标累积特征包含有前后两帧融合后的特征，该融合后的特征可以表征前后两帧的相关性，特征包含维度更广；同时，在确定目标图像的重建结果图像时，也是基于目标图像的目标图像关联特征、该目标累积特征以及上一帧图像(历史图像)共同来确
vision,cv)和机器学习((machine learning,ml)。
112.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑对目标进行识别、测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术。
113.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
114.此外，对本技术实施例进行进一步详细说明之前，以下将对本技术实施例涉及的部分名词和术语进行阐述说明，本技术实施例涉及的名词和术语适用于如下的解释。
115.1)三维场景：基于三维建模技术构建出的三维空间中的场景，三维场景中的物体(即三维物体)可以通过三维坐标来进行描述。其中，三维坐标可以是指包括x轴、y轴以及z轴的三维坐标系中的坐标。在一些实施例中，三维场景可以是虚拟场景(或称三维虚拟场景)，虚拟场景是利用电子设备输出的区别于现实世界的场景，通过裸眼或特定设备的辅助能够形成对虚拟场景的视觉感知。虚拟场景可以是对真实世界的仿真环境，也可以是半仿真半虚构的虚拟环境，还可以是纯虚构的虚拟环境。
116.2)渲染(render)：在本技术实施例中，是指将图像渲染到人机交互界面(如浏览器所提供的人机交互界面)，以在人机交互界面中呈现图像的过程。
117.3)像素(pixel)：指图像中不可继续分割的元素。
118.4)图像通道：用于描述图像中的像素，在本技术实施例中，图像通道可以包括颜色通道以及透明度通道(又可称alpha通道)中的至少之一。其中，颜色通道用于描述像素的颜色，不同的色彩空间(又称色彩模式)中的颜色通道存在差异，例如rgb色彩空间中的颜色通道包括红色(red)通道、绿色(green)通道以及蓝色通道；又例如hsl色彩空间中的颜色通道包括色相(hue)通道、饱和度(saturation)通道以及明亮度(lightness)通道。透明度通道则是用于描述像素的透明度。
119.请参见图1，图1是本技术实施例提供的一种网络架构图。如图1所示，该网络架构可以包括业务服务器1000和终端设备集群(即终端设备集群)。该终端设备集群可以包括一个或者多个终端设备，这里将不对终端设备的数量进行限制。如图1所示，多个终端设备具体可以包括终端设备100a、终端设备100b、终端设备100c、
…
、终端设备100n。如图1所示，终端设备100a、终端设备100b、终端设备100c、
…
、终端设备100n可以分别与上述业务服务器1000进行网络连接，以便于每个终端设备可以通过该网络连接与业务服务器1000进行数据交互。其中，这里的网络连接不限定连接方式，可以通过有线通信方式进行直接或间接地连接，也可以通过无线通信方式进行直接或间接地连接，还可以通过其他方式，本技术在此不
做限制。
120.如图1所示的每个终端设备均可以集成安装有目标应用，当该目标应用运行于各终端设备中时，则每个终端设备对应的后台服务器可以对应用中的业务数据进行存储，并与上述图1所示的业务服务器1000之间进行数据交互。其中，该目标应用可以包括具有显示文字、图像、音频以及视频等数据信息功能的应用。如，应用可以为多媒体应用(如视频应用)，可以用于用户上传图片或视频，也可以用于用户播放观看他人上传的图像或视频；应用也可以为娱乐类应用(如游戏应用)，可以用于用户进行游戏。应用也可以为其他具备数据信息处理功能的应用，如浏览器应用、现实场景仿真应用、社交应用等等，这里将不对应用进行一一举例说明。目标应用也可以为小程序，即只需要下载到浏览器环境中就可以运行的程序独立的程序，当然，目标应用可以为独立应用，也可以为嵌入在某一应用中的子应用(如小程序)，该子应用可以由用户控制运行或关闭。总而言之，目标应用可以为任意形式的应用、模块或插件。对于游戏应用来说，其可以是第一人称游戏(如第一人称射击游戏，first-person shooting，fps)、第三人称游戏、多人在线战术竞技游戏(multiplayer online battle arena，moba)以及多人生存游戏等类型中的任意一种，对此不进行限定。
121.本技术实施例可以在多个终端设备中选择一个终端设备作为目标终端设备，该终端设备可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、台式计算机、智能手表、智能车载等携带数据处理功能(如图像数据处理功能)的智能终端，但并不局限于此。例如，本技术实施例可以将图1所示的终端设备100a作为该目标终端设备，该目标终端设备中可以集成有上述目标应用，此时，该目标终端设备可以与业务服务器1000之间进行数据交互。
122.本技术中的业务服务器1000可以通过这些应用与终端设备(如目标终端设备)之间进行交互。例如，目标终端设备在对三维场景进行数据采集处理得到待渲染数据后，业务服务器1000可以将待渲染数据存储至业务服务器1000的图像缓冲区中。然后，业务服务器1000可以将待渲染数据发送至目标终端设备，目标终端设备可以对接收到的待渲染数据进行渲染处理，业务服务器1000可以将渲染处理后得到的渲染图像发送至目标终端设备，目标终端设备可以对接收到的渲染图像进行噪声去除以及重建处理，以在目标终端设备的人机交互界面中呈现重建图像，用户即可通过该人机交互界面查看到该重建图像。当然，业务服务器1000也可以将渲染处理后的渲染图像进行噪声去除以及重建处理后，再将重建图像发送至目标终端设备，由此目标终端设备可以不用再进行重建处理，而是直接在人机交互界面中呈现该重建图像。
123.在一些实施例中，终端设备可以通过图像计算硬件(如gpu)计算显示所需要的数据，并完成显示数据(如场景图像)的加载、解析、渲染以及重建，借助图像输出硬件(如屏幕)输出能够对三维场景形成视觉感知的图像，例如，在智能手机的显示屏幕上呈现渲染及重建后的场景图像。以目标终端设备为例，目标终端设备对三维场景进行图像采集处理得到待渲染数据后，目标终端设备可以对待渲染数据进行渲染处理以及重建处理，并在人机交互界面中呈现重建后的场景图像(即重建图像)。
124.在一些实施例中，业务服务器1000或终端设备可以在三维场景满足视觉变化条件时，对三维场景进行数据采集处理，得到三维场景的待渲染数据。这里将不对视觉变化条件进行限定，例如，可以在人机交互界面中接收到针对三维场景的触发操作时，确定为满足视
觉变化条件。当满足视觉变化条件时，终端设备可以对正在呈现的三维场景进行数据采集处理，也可以将正在呈现的三维场景的相关数据发送至业务服务器1000，以使业务服务器对正在呈现的三维场景进行数据采集处理。其中，这里的触发操作可以是接触性操作，如点击操作或长按操作等；也可以是非接触式操作，如语音输入操作或手势输入操作等等。也就是说，该待渲染数据(也可称之为业务数据)可以为用户在目标应用中通过触发操作，所触发的业务数据。例如，用户在使用目标终端设备中的目标应用(如游戏应用)时，用户在该游戏应用中对打开降落伞控件产生了触发操作，该触发操作满足视觉变化条件，终端设备可以根据这一针对打开降落伞控件的触发动作，获取到打开降落伞控件所触发的业务数据，该业务数据即为该游戏场景中，打开降落伞控件所对应的待渲染数据。终端设备或业务服务器可以对其进行渲染处理，得到具有一定画面质量的渲染图层(也可称之为渲染图像，例如，降落伞打开后的图像)。
125.可以理解的是，通过图像渲染通常可以得到一组渲染图像序列，而本技术在对图像序列中的当前帧进行重建处理时，可以根据当前帧和前一帧，来确定出当前帧的重建结果图像，其具体实现方式，可以参见后续图3所对应实施例中的描述。
126.可以理解的是，本技术实施例提供的方法可以由计算机设备执行，计算机设备包括但不限于终端设备或业务服务器。其中，业务服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
127.其中，终端设备以及业务服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
128.可选的，可以理解的是，上述计算机设备(如上述业务服务器1000、终端设备100a、终端设备100b等等)可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成的点对点(p2p，peer to peer)网络，p2p协议是一个运行在传输控制协议(tcp，transmission control protocol)协议之上的应用层协议。在分布式系统中，任意形式的计算机设备，比如业务服务器、终端设备等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。为便于理解，以下将对区块链的概念进行说明：区块链是一种分布式数据存储、点对点传输、共识机制以及加密算法等计算机技术的新型应用模式，主要用于对数据按时间顺序进行整理，并加密成账本，使其不可被篡改和伪造，同时可进行数据的验证、存储和更新。当计算机设备为区块链节点时，由于区块链的不可被篡改特性与防伪造特性，可以使得本技术中的数据(如采集得到的待渲染数据，渲染后的场景图像以及重建图像等等)具备真实性与安全性，从而可以使得基于这些数据进行相关数据处理后，得到的结果更为可靠。
129.本技术实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。为便于理解，请一并参见图2，图2是本技术实施例提供的一种对图像进行重建的场景示意图。其中，如图2所示的业务服务器2000可以为上述图1所示的业务服务器1000，且如图2所示的终端设备2a可以为在上述图1所对应实施例的终端设备集群中所选取的任意一个终端设备，比如，该终端设备可以为上述终端设备100b。
130.如图2所示，用户a可以为目标用户，用户a可通过终端设备2a启动运行目标应用(这里以多人竞技游戏应用为例)，终端设备2a需要在显示界面中呈现该多人竞技游戏(以下将称之为目标游戏)的游戏场景画面。如图2所示，当终端设备2a对目标游戏的场景进行数据采集并对之进行渲染后，通常情况下，这些渲染的图像常伴随噪声，而为了提高所呈现的游戏图像的质量，可以对渲染后的图像进行噪声去除处理以及重建渲染结果等一系列图像处理。本技术实施例中，终端设备2a可以将渲染后的图像序列发送至业务服务器2000，由业务服务器2000对这些图像进行噪声去除以及重建等处理。
131.如图2所示，图像序列200可以为终端设备2a对目标游戏场景进行图像采集以及渲染后所得到的图像序列，终端设备2a可以将该图像序列200发送至业务服务器2000，而业务服务器2000可以对该图像序列进行重建处理。其中，在对图像序列中的每一个图像进行重建处理时，可以基于该图像以及该图像的上一个图像的图像特征，来共同预测输出该图像的重建结果图像。为便于理解，当对某个图像进行重建处理时，可以将该图像称之为当前帧(或称之为当前图像，也可称之为目标图像)，可以将图像序列中的当前帧的上一个图像，称之为历史帧(或称之为历史图像)。
132.如图2所示，以图像序列200中的图像20a为目标图像、图像20b的上一个图像20b为历史图像为例，对于预测输出目标图像20a的重建结果图像的具体过程可为以下过程。首先，业务服务器2000可以获取到目标图像20a的图像关联特征(可称之为目标图像关联特征)。其中，可以理解的是，在对目标游戏场景进行图像采集及渲染时，在图像渲染过程中，可以同时得到每个图像对应的辅助特征(具体可以包括法线特征、深度特征、反照率特征(albedo)、运动矢量特征、金属度特征以及粗糙度等维度特征)，这里的图像关联特征可以是指在图像渲染过程中，所得到的辅助特征中的部分特征(如法线维度特征与深度维度特征)，那么这里的目标图像关联特征具体可以包括目标图像20a对应的法线维度特征以及深度维度特征。业务服务器2000也可以获取到历史图像20b的图像关联特征(为便于区别，可称之为历史图像关联特征)，同理，历史图像关联特征具体可以包括历史图像20b对应的法线维度特征以及深度维度特征。
133.进一步地，业务服务器2000可以根据目标图像关联特征，生成针对目标图像20a的混合嵌入特征(embedding特征，可称之为第一混合嵌入特征)；也可以根据历史图像关联特征与目标图像关联，生成针对历史图像20b的混合嵌入特征(embedding特征，为便于区别，可将其称之为第二混合嵌入特征)。根据上述第一混合嵌入特征与第二混合嵌入特征，业务服务器2000可以将目标图像20a与历史图像20b进行特征累积，累积得到的特征(可称之为累积特征)可作为目标图像20a的累积特征(可称之为目标累积特征)，该目标累积特征融合了历史图像的特征与目标图像的特征，一定程度上可以反映两个图像的相关性。随后，可以基于该目标累积特征、上述目标图像关联特征以及历史图像，确定出目标图像20a的重建结果图像。其中，对于确定混合嵌入特征、基于混合嵌入特征进行特征累积以及基于目标累积特征确定重建结果图像的具体实现方式，可以参见后续图3所对应实施例中的描述。
134.以上仅是将图像20a作为当前帧描述了预测当前帧的重建结果图像的方式，对于该图像序列200中的每个图像，业务服务器2000均可以确定出其对应的重建结果图像，业务服务器可以将图像序列200中的每个重建结果图像返回至终端设备2a，终端设备2a可按照时间顺序先后显示重建结果图像(实际上，该重建结果图像可组成一个重建视频，终端设备
2a所显示的实际可理解为一个高质的游戏视频)。
135.进一步地，请参见图3，图3是本技术实施例提供的一种图像处理方法的方法流程图。该方法可以由终端设备(例如，上述图1或图2所示的终端设备)执行，也可以由业务服务器(如上述图1所对应实施例中的业务服务器1000)执行，还可以由终端设备和业务服务器共同执行。为便于理解，本实施例以该方法由上述业务服务器执行为例进行说明。其中，该图像处理方法至少可以包括以下步骤s101-步骤s103：
136.步骤s101，在目标图像序列中获取目标图像与历史图像；目标图像序列是基于目标单位像素采样数，对目标场景进行图像采集后所得到的图像序列；历史图像是指目标图像序列中，目标图像的上一个图像。
137.本技术中，目标场景可以是指某个虚拟场景，其中，虚拟场景可以是对真实世界的仿真环境，也可以是半仿真半虚构的虚拟环境，还可以是纯虚构的虚拟环境。例如，某个游戏应用的游戏虚拟场景可以作为目标场景。
138.本技术中，可以对目标场景进行数据采集，并对采集到的待渲染数据进行渲染处理。而本技术中的目标图像序列可以是指对采集到的待渲染数据进行渲染处理后，所得到的渲染图像序列。其中，对目标场景进行数据采集可以包括：可以对正在人机交互界面(如终端设备中呈现游戏场景的终端显示界面)中呈现的目标场景进行数据采集，得到在当前视野范围(指呈现时的视野范围)或特定的视野范围下的待渲染数据；也可以在目标场景未呈现的情况下，根据特定的视野范围对目标场景进行采集处理得到待渲染数据，其中，数据采集处理过程中所用的视野范围可以预设设定，也可以自动确定。例如，当目标应用为游戏应用时，用户可以通过点击该目标应用的启动控件，以运行该目标应用。其中，该启动控件可以理解为目标控件，当用户点击该启动控件时，终端设备可以响应该用户针对该启动控件的点击触发操作，获取到启动控件所对应的业务数据(即待渲染数据，例如，游戏应用的首页数据)，该待渲染数据即为对游戏场景进行数据采集得到的待渲染数据。
139.可以理解的是，在渲染中，本技术可以基于目标单位像素采样数对目标场景进行采样渲染，其中，这里的目标单位像素采样数可以是指每像素采样数(sample per pixel,spp)。本技术中的目标单位像素采样数可以是指低于单位像素采样数阈值的数值，其中，该单位像素采样数阈值可为人为规定数值(如0.3、0.5
……
)，在单位像素采样数阈值设置的数值较小(如小于1)的情况下，基于目标单位像素采样数对目标场景进行图像采集渲染，实际上可理解为稀疏采样。即，本技术中的目标图像序列可以是指，采用稀疏采样对目标场景进行采样渲染后，所得到的渲染图像序列。在单位像素采样数阈值设置的数值较小(如小于1)的情况下，目标单位像素采样数可为小于1的数值，需要说明的是，当目标单位像素采样数小于1时，可表征对目标场景而言，有的像素并不会被采集到。
140.本技术中的目标图像可以是指目标图像序列中的任一图像，历史图像可以是指目标图像序列中目标图像的上一个图像。其中，当目标图像为目标图像序列中的第一个图像时，可以认为该目标图像不存在历史图像。
141.步骤s102，获取目标图像对应的目标图像关联特征，以及历史图像对应的历史图像关联特征。
142.本技术中，可以采用渲染器(如混合光线渲染器)来进行目标场景的渲染，并生成目标图像序列。在渲染时，可以对场景进行光栅化处理，由此可以得到每个渲染图像所对应
的图像辅助特征，其中，图像辅助特征具体可以包括法线维度特征、深度维度特征、运动矢量、反照率维度(albedo)、金属度维度特征、粗糙度维度特征、阴影特征、透明度维度特征等等。而这里的图像关联特征可以是指图像辅助特征中的部分特征(如可以包括法线维度特征与深度维度特征)，那么目标图像对应的图像关联特征可以称之为目标图像关联特征，历史图像对应的图像关联特征可以称之为历史图像关联特征。也就是说，本技术中某个图像的图像关联特征可以基于其对应的图像辅助特征所确定，图像关联特征可以是指图像辅助特征中的部分特征(具体包含的特征可为人为进行规定，如可以包含法线维度特征与深度维度特征)或全部特征，图像辅助特征又可以是指对目标场景进行图像采集渲染的过程中，所得到的每个渲染图像的图像特征。以目标图像为例，通过对目标场景进行渲染，可以得到目标图像，而在渲染过程中，也可以得到该目标图像对应的图像特征(如上述法线维度特征、深度维度特征、金属度维度特征等等)，在渲染过程中所得到的目标图像的图像特征即可作为目标图像的图像辅助特征(可称之为目标图像辅助特征)，目标图像关联特征即可为目标图像的图像辅助特征中的部分特征(也可为全部特征)。
143.步骤s103，根据目标图像关联特征生成针对目标图像的第一混合嵌入特征，根据目标图像关联特征和历史图像关联特征，生成针对历史图像的第二混合嵌入特征，基于第一混合嵌入特征和第二混合嵌入特征，将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征。
144.本技术中，通过上述可知，图像关联特征中可包括法线维度特征与深度维度特征，为便于区别，可以将目标图像的法线维度特征称之为第一法线维度特征，将目标图像的深度维度特征称之为第一深度维度特征，则目标图像关联特征即可包括目标图像对应的第一法线维度特征与第一深度维度特征。对于根据目标图像关联特征生成针对目标图像的第一混合嵌入特征的具体实现方式可为：可以将第一法线维度特征与第一深度维度特征，输入至时序累积模型；通过时序累积模型的第一卷积网络层，可以对第一法线维度特征与第一深度维度特征进行卷积处理，得到目标图像对应的第一图像嵌入特征；通过时序累积模型的第二卷积网络层，可以对第一法线维度特征与第一深度维度特征进行卷积处理，得到目标图像对应的第二图像嵌入特征；随后，可以将第一图像嵌入特征与第二图像嵌入特征进行像素相乘运算处理，得到针对目标图像的第一混合嵌入特征。
145.同理，可以将历史图像的法线维度特征称之为第二法线维度特征，将历史图像的深度维度特征称之为第二深度维度特征，则历史图像关联特征即可包括历史图像对应的第二法线维度特征与第二深度维度特征。对于根据目标图像关联特征和历史图像关联特征，生成针对历史图像的第二混合嵌入特征的具体实现方式可为：可以将第二法线维度特征与第二深度维度特征分别进行仿射变换处理，得到第二法线维度特征对应的法线变换特征，以及第二深度维度特征对应的深度变换特征；随后，可以将第一法线维度特征、第一深度维度特征、法线变换特征以及深度变换特征输入至时序累积模型；通过时序累积模型的第一卷积网络层，可以对第一法线维度特征与第一深度维度特征进行卷积处理，得到目标图像对应的目标图像嵌入特征(实际上，该目标图像嵌入特征与上述第一图像嵌入特征可以为相同特征)；通过时序累积模型的第二卷积网络层，可以对法线变换特征与深度变换特征进行卷积处理，得到历史图像对应的历史图像嵌入特征；随后，可以将目标图像嵌入特征与历史图像嵌入特征进行像素相乘运算处理，得到针对历史图像的第二混合嵌入特征。
146.可以理解的是，本技术可以基于当前帧图像(即目标图像)与上一帧图像(即历史图像)，分别对应的法线维度特征与深度维度特征，计算出两个图像分别对应的混合嵌入特征(新的混合embedding特征，即，将不同的嵌入特征进行特征混合后，所得到混合后的嵌入特征)，并基于这两个混合嵌入特征对两个图像进行特征累积。
147.其中，对于基于第一混合嵌入特征和第二混合嵌入特征，将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征的具体实现方式可为：可以获取逻辑回归函数，通过逻辑回归函数与第一混合嵌入特征，可以确定针对目标图像的第一特征融合系数；通过逻辑回归函数与第二混合嵌入特征，可以确定针对历史图像的第二特征融合系数；根据第一特征融合系数和第二特征融合系数，将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征。
148.其中，对于根据第一特征融合系数和第二特征融合系数，可以将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征的具体实现方式可为：可以获取目标图像对应的目标噪声图像特征、目标阴影特征与目标反照率特征，获取历史图像对应的历史累积噪声图像特征、历史累积阴影特征以及历史累积反照率特征；根据第一特征融合系数与第二特征融合系数，可以将目标阴影特征与历史累积阴影特征进行累积，得到目标图像对应的目标累积阴影特征；根据第一特征融合系数与第二特征融合系数，可以将目标噪声图像特征与历史噪声图像特征进行累积，得到目标声图像对应的目标累积噪声图像特征；根据第一特征融合系数与第二特征融合系数，可以将目标反照率特征与历史累积反照率特征进行累积，得到目标图像对应的目标累积反照率特征；随后，可以将目标累积阴影特征、目标累积噪声图像特征以及目标累积反照率特征，确定为目标图像对应的目标累积特征。也就是说，目标累积特征可以包括目标累积阴影特征、目标累积噪声图像特征以及目标累积反照率特征。
149.可以理解的是，本技术中的时序累积模型可以是指时序累积器(temporal accumulator)，在时序累积器中可以包含两个神经网络，每个神经网络可以包含两层卷积网络(convolutional neural network，cnn)，上述的第一卷积网络层可以是指时序累积器中的其中一个神经网络，第二卷积网络层可以是指时序累积器中的另一个神经网络。在获取到目标图像关联特征以及历史图像关联特征后，可以将目标图像关联特征(即第一法线维度特征，与第一深度维度特征)输入到时序累积器中的一个神经网络(如第一卷积网络层)中，通过该第一卷积网络层可以输出针对该目标图像关联特征的embedding特征，为便于区别，可以阿静该第一卷积网络层输出的embedding特征称之为目标图像对应的第一图像嵌入特征。而对于时序累积器的另一个神经网络(第二卷积网络层)而言，可以首先对历史图像的第二法线维度特征与第二深度维度特征进行图像仿射变换处理(warp)，从而可以得到法线变换特征与深度变换特征；随后，可以将上述第一法线维度特征、第一深度维度特征、法线变换特征以及深度变换特征输入到另一个神经网络(即第二卷积网络层)中，通过第二卷积网络层可以输出第一法线维度特征、第一深度维度特征对应的embedding特征(需要说明的是，由于两个神经网络的网络结构不同，所以虽然为两个神经网络为同样的输入，但输出的embedding特征仍然可能会存在不同；该embedding特征可称之为目标图像对应的第二图像嵌入特征)，通过第二卷积网络层也可以输出法线变换特征以及深度变换特征对应的embedding特征(可称之为历史图像的历史图像嵌入特征)。
150.进一步地，可以将第一图像嵌入特征与第二图像嵌入特征，以像素级的方式进行相乘(即像素相乘运算处理，可以理解为像素一一对应相乘运算处理，以将两个图像嵌入特征进行特征混合)，得到的运算结果可以作为目标图像对应的新的混合后的embedding特征(即第一混合嵌入特征)。也就是说，通过时序累积模型的两个网络卷积层可以分别输出针对目标图像关联特征的两个不同(或相同)的embedding特征(嵌入特征，本技术中可将其称之为图像嵌入特征)，可以通过像素级计算的方式将两个embedding特征进行混合，得到新的混合后的embedding特征，由于该混合后的embedding特征为混合后的结果，则可将其称之为第一混合嵌入特征，即第一混合嵌入特征是指将第一图像嵌入特征(基于目标图像关联特征所生成)与第二图像嵌入特征(基于目标图像关联特征所生成)进行特征混合后所得到的混合嵌入特征；同理，也可以将第一图像嵌入特征与历史图像嵌入特征，以像素级的方式进行相乘(即像素相乘运算处理)，得到的运算结果可以作为历史图像对应的新的混合后的embedding特征(即第二混合嵌入特征)，也就是说，通过时序累积模型的其中一个网络卷积层可以分别输出针对目标图像关联特征与历史图像关联特征的两个embedding特征，可以通过像素级计算的方式将两个embedding特征进行混合，得到新的混合后的embedding特征，由于该混合后的embedding特征为混合后的结果，则可将其称之为第二混合嵌入特征，即第二混合嵌入特征是指将目标图像嵌入特征(基于目标图像关联特征所生成，目标图像嵌入特征与上述第一图像嵌入特征可为相同嵌入特征)与历史图像嵌入特征进行特征混合后所得到的混合嵌入特征。应当理解，在后续将目标图像与历史图像进行特征累积时，需要使用到混合因子进行累积，而上述第一混合嵌入特征与第二混合嵌入特征主要用于确定进行特征累积时的混合因子。例如，可以调用逻辑回归函数(如softmax函数)，通过该逻辑回归函数可以分别对第一混合嵌入特征与第二混合嵌入特征进行逻辑回归处理，对第一混合嵌入特征进行逻辑回归后得到的结果可以作为目标图像对应的混合因子(可称之为第一特征融合系数)；对第二混合嵌入特征进行逻辑回归后得到的结果可以作为历史图像对应的混合因子(可称之为第二特征融合系数)。根据该第一特征融合系数和第二特征融合系数，可以对目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征。
151.其中，对目标图像与历史图像进行特征累积时，可以对阴影特征、有噪声的图像以及albedo进行累积。其中，对于基于第一特征融合系数和第二特征融合系数，进行特征累积的具体实现方式，可以如公式(1)所示：
[0152][0153]
其中，如公式(1)所示的可用于表征当前帧图像(目标图像，即第t帧)对应的累积特征(可以是指目标累积阴影特征；也可以是指目标累积噪声图像特征；也可以是指目标累积反照率特征)；可以是指直到上一帧图像(即历史图像，第t-1帧)的累积特征(当为目标累积阴影特征时，该可以是指直到t-1帧的历史累积阴影特征；当为目标累积噪声图像特征时，该可以是指直到t-1帧的历史累积噪声图像特征；当为目标累积反照率特征时，该可以是指直到t-1帧的历史累积反照率特征)；fs可用于表征当前帧图像的相关特征(当为目标累积阴影特征时，该fs可以是指第t帧的目标阴影
特征；当为目标累积噪声图像特征时，该fs可以是指第t帧的目标噪声图像特征；当为目标累积反照率特征时，该fs可以是指第t帧的目标反照率特征)。公式(1)中的α可以是指上述第一特征融合系数，β可以是指上述第二特征融合系数；w()可为一个warping运算符，表征使用运动矢量将前一帧图像重新投影到当前帧图像。其中，由于在对图像渲染过程中，可以得到每个图像的图像辅助特征，则目标阴影特征、目标反照率特征以及目标噪声图像特征均可以在目标图像的图像辅助特征中直接获取得到。需要说明的是，当目标图像为包含噪声的图像时，该目标噪声图像特征可以是指该目标图像本身。且当目标图像为目标图像序列中的第一个图像时，该即累积特征为其本身特征，如目标累积阴影特征为目标图像的目标阴影特征。
[0154]
可以理解的是，通过上述公式(1)，可以得到目标图像对应的目标累积反照率特征、目标累积阴影特征以及目标累积噪声图像特征。
[0155]
步骤s104，根据目标图像关联特征、目标累积特征以及历史图像，确定目标图像对应的重建结果图像。
[0156]
本技术中，根据目标图像关联特征、目标累积特征以及历史图像确定目标图像对应的重建结果图像可以理解为：根据目标图像关联特征、目标累积特征以及历史图像对目标图像进行图像重建处理，得到重建结果图像(即重建结果图像实际为对目标图像进行图像重建处理后所得到的图像)。也就是说，本技术在对目标图像进行图像重建处理的过程中，不仅需要目标图像自身的目标图像关联特征以及目标累积特征，还需要历史图像的相关信息。对于根据目标图像关联特征、目标累积特征以及历史图像，可以确定目标图像对应的重建结果图像，其具体实现方式可为：可以根据目标图像关联特征、目标累积特征以及历史图像，确定目标图像对应的目标融合级联特征；随后，可以将目标融合级联特征输入至目标图像重建模型中，在目标图像重建模型中，可以根据目标融合级联特征输出目标图像对应的重建结果图像。
[0157]
其中，对于根据目标图像关联特征、目标累积特征以及历史图像，确定目标图像对应的目标融合级联特征的具体实现方式可为：可以获取目标图像对应的辅助特征；其中，辅助特征包括第一法线维度特征与第一深度维度特征；随后，可以将辅助特征中，除第一法线维度特征与第一深度维度特征以外的维度特征，确定为剩余维度特征；随后，可以将目标累积特征、第一法线维度特征、第一深度维度特征以及剩余维度特征进行特征融合，即可得到目标图像对应的图像融合特征；随后，可以将第二法线维度特征与第二深度维度特征分别进行仿射变换处理，得到第二法线维度特征对应的法线变换特征，以及第二深度维度特征对应的深度变换特征；可以将图像融合特征、法线变换特征以及深度变换特征进行级联处理，得到目标图像对应的目标融合级联特征。
[0158]
可以理解的是，在累积包含噪声的图像特征(噪声图像特征)、阴影特征以及albedo后，可以通过特征融合器(feature fusion)，将累积得到的目标累积噪声图像特征、目标累积阴影特征以及目标累积反照率特征，与目标图像的法线维度特征、深度维度特征以及透明度维度特征、金属度维度特征以及粗糙度维度特征等维度特征(可以是指目标图像的辅助特征中，除法线维度特征与深度维度特征以外的维度特征，如透明度维度特征、金属度维度特征以及粗糙度维度特征等维度特征统称为剩余维度特征)，进行特征融合，得到
目标图像对应的图像融合特征。应当理解，在目标单位像素采样数较小时，对目标场景的采样渲染实际可以理解为稀疏采样渲染，那么所得到的目标图像以及各个特征(如目标累积阴影特征等)也是稀疏的，通过特征融合器，可以将各个维度的特征进行融合，由此得到的图像融合特征可以感知不同空间中的信息。其中，对于特征融合的方式包括但不限于在通道维度上进行拼接。进一步地，可以将目标图像对应的图像融合特征与历史图像的进行warp后的法线维度特征(即法线变换特征)，以及深度维度特征(深度变换特征)，进行图像级联，由此即可得到级联特征(可称之为目标融合级联特征)。
[0159]
进一步地，可以将该目标融合级联特征输入到目标图像重建模型中，通过该目标图像重建模型可以输出目标图像对应的重建结果图像。其具体实现方式可为：通过目标图像重建模型，可以确定目标融合级联特征对应的预测高质图像、预测低质图像、第一图像重建参数以及第二图像重建参数；其中，预测高质图像未包含噪声，预测高质图像的分辨率大于预测低质图像的分辨率；随后，可以在目标图像重建模型中，通过第一图像重建参数将预测高质图像与预测低质图像进行图像融合，得到目标图像对应的初始重建图像；随后，可以获取历史图像对应的历史重建图像，通过第二图像重建参数将初始重建图像与历史重建图像进行图像融合，即可得到目标图像对应的重建结果图像。
[0160]
可以理解的是，对于通过目标图像重建模型确定目标图像的初始重建图像的具体实现方式可如公式(2)所示：
[0161][0162]
其中，如公式(2)所示的o
p
可用于表征目标图像对应的初始重建图像；df可用于表征目标图像重建模型所预测的预测高质图像(高分辨率图像)；dc可用于表征目标图像重建模型所预测的预测低质图像(低分辨率图像)；d和u可分别用于表征2x倍的下采样和最近邻上采样运算；αs可用于表征上述第一图像重建参数。如公式(2)的各个参数的下标p可用于表征像素(即以像素为单位进行运算)。如公式(2)所示的方式，主要为采用多尺度重构方法，将高低分辨率图像进行混合，以得到目标图像对应的初始重建图像。
[0163]
可以理解的是，通过目标图像重建模型可以预测出目标图像对应的去除噪声后的分辨率较高的图像，该图像即可作为预测高质图像；通过目标图像重建模型也可以输出两个通道参数αs与α
t
用于进行图像重建，则参数αs可称之为第一图像重建参数，参数α
t
可称之为第二图像重建参数；通过目标图像重建模型还可以从最后一个图层中(如从预测高质图像的最后一个图层中)，预测2x降采样后的分辨率较低的图像，该图像即可作为预测低质图像。通过参数αs以及上述公式(2)，可以对高低分辨率图像进行混合，得到的混合结果即可作为目标图像的初始重建图像。
[0164]
进一步地，基于另一个参数αo(即第二图像重建参数)，可以确定出目标图像的最终的重建结果图像。其具体实现方式可以如公式(3)所示：
[0165]ot
＝α
top
(1.0-α
t
)o
t-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(3)
[0166]
其中，如公式(3)所示的o
t
可用于表征目标图像对应的重建结果图像；α
t
可用于表征第二图像重建参数；o
t-1
可用于表征历史图像对应的重建结果图像(即历史重建图像)。通过第二图像重建参数，可以将当前输出o
p
与历史重建图像以α
t
为因子进行线性混合。
[0167]
应当理解，本技术实施例可以计算当前帧和前一帧的法线特征和深度特征之间的
每个像素的相关性，基于前后两帧的相关性可以计算权重因子(第一特征融合系数与第二特征融合系数)，基于权重因子可以将前后两个图像的特征进行特征融合以及特征累积，可以使得最终输入至重建模型的特征包含有前后两帧图像的共同的特征，特征维度更丰富、包含内容更深层；基于融合特征以及累积特征可以得到插值多尺度图像(初始重建图像)，通过插值多尺度图像(初始重建图像)与历史帧图像来重建当前帧的重建图像，可以进一步利用到历史图像的信息，即使目标单位像素采样数较小，但通过本技术仍然可以充分利用低spp采样图像下的时域信息，实时重建稀疏采样得到的图像。由此，可以在输出图像时，所输出的为高质量的重建结果图像(即重建结果图像为输出图像)。例如，在终端设备的人机交互界面中输出目标场景(如游戏场景)的图像时，输出的为经过图像重建处理的高质量的重建结果图像。
[0168]
在本技术实施例中，可以根据当前图像与前一帧图像的关联特征，计算出两个图像分别对应的混合嵌入特征，并基于混合嵌入特征来对两个图像进行特征累积，所得到的目标累积特征包含有前后两帧融合后的特征，该融合后的特征可以表征前后两帧的相关性，特征包含维度更广；同时，在确定目标图像的重建结果图像时，也是基于目标图像的目标图像关联特征、该目标累积特征以及上一帧图像(历史图像)共同来确定，在确定目标图像的重建结果图像时，不单考虑到当前帧的特征，还考虑到时间靠前的历史帧的特征，可以充分利用当前帧的时域信息，所得到的重建结果图像具有较高的时域稳定性，图像质量会更高。综上，无论是高像素采样数还是低像素采样数得到的图像，本技术均可以根据目标图像序列中前后两帧图像的图像关联特征，进行特征累积，并通过累积得到的累积特征与历史图像来共同确定目标图像的重建结果图像，具有普适性；通过计算前后两帧的累积特征，再基于累积特征来重建图像的方法，可以充分利用图像的时域信息，由此可以很好地提高重建图像的图像质量。
[0169]
通过上述可知，在确定出目标图像的目标融合级联特征后，可以将目标融合级联特征输入到目标图像重建模型中，通过目标图像重建模型来确定出目标融合级联特征对应的预测重建图像(即目标图像对应的重建结果图像)。而为了优化目标图像重建模型进行图像重建处理后的重建效果(即提高模型输出图像的图像质量)，可以对初始的图像重建模型进行训练调整，使得训练调整后得到的慕白图像重建模型达到最优，基于该训练后的目标图像重建模型，可以进行图像重建处理。为便于理解，请一并参见图4，图4是本技术实施例提供的一种模型训练的流程示意图。该流程可以是对于训练以及调整图像重建模型，得到目标图像重建模型的具体过程。如图4所示，该流程至少可以包括以下步骤s301-步骤s307：
[0170]
步骤s301，在样本图像序列中获取目标样本噪声图像与历史样本噪声图像；样本图像序列是基于第一单位像素采样数，对样本场景进行图像采集后所得到的图像序列；历史样本噪声图像是指样本图像序列中，目标样本噪声图像的上一个样本噪声图像；第一单位像素采样数小于单位像素采样数阈值。
[0171]
具体的，样本场景可以是指某个虚拟场景，例如，某个游戏应用的游戏虚拟场景可以作为样本场景。可以对样本场景进行数据采集，并对采集到的样本待渲染数据进行渲染处理。而本技术中的样本图像序列可以是指对采集到的样本待渲染数据进行渲染处理，所得到的包含噪声的渲染图像序列(可称之为样本噪声图像序列)。这里的第一单位像素采样数可以是指每像素采样数(sample per pixel,spp)。本技术中的第一单位像素采样数可以
是指低于单位像素采样数阈值的数值，其中，该单位像素采样数阈值可为人为规定数值(如0.3、0.5
……
)，在单位像素采样数阈值设置的数值较小(如小于1)的情况下，基于第一单位像素采样数对样本场景进行图像采集渲染，实际上可理解为稀疏采样。即，本技术中的样本图像序列可以是指，采用稀疏采样对样本场景进行采样渲染后，所得到的包含噪声的渲染图像序列。在单位像素采样数阈值设置的数值较小(如小于1)的情况下，第一单位像素采样数可为小于1的数值，需要说明的是，当第一单位像素采样数小于1时，可表征对样本场景而言，有的像素并不会被采集到。在一种可行的实施例中，本技术中的第一单位像素采样数与上述目标单位像素采样数可以为相同数值。
[0172]
目标样本噪声图像可以是指样本图像序列中的任一样本噪声图像，历史样本噪声图像可以是指样本图像序列中，目标样本噪声图像的上一个样本噪声图像。
[0173]
步骤s302，获取目标样本噪声图像对应的目标样本图像关联特征，以及历史样本噪声图像对应的历史样本图像关联特征。
[0174]
具体的，同上述目标图像关联特征与历史图像关联特征一样，目标样本图像关联特征可以包括目标样本噪声图像对应的法线维度特征(可称之为第一样本法线维度特征)与深度维度特征(可称之为第一样本深度维度特征)；历史样本图像关联特征可以包括历史样本噪声图像对应的法线维度特征(可称之为第二样本法线维度特征)与深度维度特征(可称之为第二样本深度维度特征)。
[0175]
对于获取目标样本图像关联特征以及历史样本图像关联特征的具体方式，可以参见上述图3所对应实施例中，对于获取目标图像关联特征以及历史图像关联特征的描述，这里将不再进行赘述。
[0176]
步骤s303，根据目标样本图像关联特征生成针对目标样本噪声图像的第一样本混合嵌入特征，根据目标样本图像关联特征和历史样本图像关联特征，生成针对历史样本噪声图像的第二样本混合嵌入特征，基于第一样本混合嵌入特征和第二样本混合嵌入特征，将目标样本噪声图像与历史样本噪声图像进行特征累积，得到目标样本噪声图像对应的目标样本累积特征。
[0177]
具体的，可以将第二样本法线维度特征于第二样本深度维度特征进行图像仿射变换处理，得到样本法线变换特征以及样本深度变换特征；可以将第一样本法线维度特征于第一样本深度维度特征输入到时序累积模型中，通过时序累积模型的第一卷积网络层，可以输出一个embedding特征(可称之为第一样本图像嵌入特征)；也可以将样本法线变换特征、样本深度变换特征、第一样本法线维度特征与第一样本深度维度特征输入到时序累积模型中，通过时序累积模型的第二卷积网络层，可以输出样本法线变换特征与样本深度变换特征对应的一个embedding特征(可称之为历史样本图像嵌入特征)，也可以输出第一样本法线维度特征与第一样本深度维度特征对应的一个embedding特征(可称之为第二样本图像嵌入特征)；同理，基于第一样本图像嵌入特征与第二样本图像嵌入特征，可以确定出目标样本噪声图像的第一样本混合嵌入特征；基于第一样本图像嵌入特征与历史样本图像嵌入特征，也可以确定出历史样本噪声图像的第二样本混合嵌入特征。而基于第一样本混合嵌入特征和第二样本混合嵌入特征，可以将目标样本噪声图像与历史样本噪声图像进行特征累积，得到目标样本噪声图像对应的目标样本累积特征。
[0178]
对于确定第一样本混合嵌入特征的具体过程，可以参见上述图3所对应实施例中，
对于确定第一混合嵌入特征的描述；对于确定第二样本混合嵌入特征的具体过程，可以参见上述图3所对应实施例中，对于确定第二混合嵌入特征的描述；对于基于第一样本混合嵌入特征和第二样本混合嵌入特征，将目标样本噪声图像与历史样本噪声图像进行特征累积，得到目标样本噪声图像对应的目标样本累积特征的具体方法，可以参见上述图3所对应实施例中，对于基于第一混合嵌入特征和第二混合嵌入特征，将目标图像和历史图像进行特征累积，得到目标累积特征的描述，这里也将不再进行赘述。
[0179]
步骤s304，根据目标样本图像关联特征、目标样本累积特征以及历史样本噪声图像，确定目标样本噪声图像对应的目标样本融合级联特征。
[0180]
具体的，目标样本累积特征也可以包含目标样本累积阴影特征、目标样本累积噪声图像特征以及目标样本累积反照率特征，可以根据目标样本图像关联特征、目标样本累积特征以及历史样本噪声图像，确定目标样本噪声图像对应的目标样本融合级联特征的具体方法，可以参见上述图3所对应实施例中，根据目标图像关联特征、目标累积特征以及历史图像，确定目标融合级联特征的描述，这里将不再进行赘述。
[0181]
步骤s305，将目标样本融合级联特征输入至图像重建模型中，在图像重建模型中，根据目标样本融合级联特征输出目标样本噪声图像对应的目标样本重建图像。
[0182]
具体的，图像重建模型可以是指待训练模型，在图像重建模型中，可以基于待优化的模型参数输出目标样本噪声图像对应的目标样本重建图像。对于在图像重建模型中，根据目标样本融合级联特征输出目标样本噪声图像对应的目标样本重建图像的具体方法，可以参见上述图3所对应实施例中，对于在目标图像重建模型中，根据目标融合级联特征输出目标图像对应的重建结果图像的描述，这里将不再进行赘述。
[0183]
步骤s306，获取目标样本噪声图像对应的目标标签采样图像；目标标签采样图像是指基于第二单位像素采样数，对样本场景进行图像采集后所得到的图像；第一单位像素采样数小于第二单位像素采样数。
[0184]
具体的，目标标签采样图像可以是指基于第二单位像素采样数，对样本场景进行图像采集后所得到图像，其中，第二单位像素采样数可以是指低于单位像素采样数阈值的数值，其中，该单位像素采样数阈值可为人为规定数值(如0.3、0.5
……
)，在单位像素采样数阈值设置的数值较小(如小于1)的情况下，基于第一单位像素采样数对样本场景进行图像采集渲染，实际上可理解为稀疏采样。二基于第二单位像素采样数对样本场景进行图像采集渲染，则可理解为普通采样(或称之为传统采样)。应当理解的是，稀疏采样可以是指对每像素进行一次采样(有的像素甚至不进行采样)，而普通采样可以是指对每像素进行至少一次采样(有的像素甚至进行多次采样)，采用普通采样渲染得到的高分辨率的未包含噪声的图像，即可作为本技术的标签采样图像(即参考图像)；目标标签采样图像则可以是指目标样本噪声图像对应的参考图像，该参考图像为高spp图像(高分辨率的未含噪声的图像)。
[0185]
步骤s307，根据目标标签采样图像与目标样本重建图像，对图像重建模型进行训练，得到用于对目标图像序列中的目标图像进行图像重建处理的目标图像重建模型。
[0186]
具体的，基于目标标签采样图像以及图像重建模型所输出的目标样本重建图像，可以对图像重建模型进行训练。其具体方式可为：可以将样本图像序列中，剩余样本噪声图像对应的样本重建图像确定为待运算重建图像，可以将剩余样本噪声图像对应的标签采样图像确定为待运算标签采样图像；其中，剩余样本噪声图像是指样本图像序列中，除目标样
本噪声图像以外的样本噪声图像；随后，根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，可以确定针对图像重建模型的目标损失值；根据目标损失值即可对图像重建模型进行训练，得到目标图像重建模型。
[0187]
其中，对于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的目标损失值的具体实现方式可为：根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，可以确定针对图像重建模型的空间损失值；根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，可以确定针对图像重建模型的时序损失值；根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，可以确定针对图像重建模型的相对边缘损失值；根据空间损失值、时序损失值以及相对边缘损失值，可以确定针对图像重建模型的目标损失值。
[0188]
其中，对于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的空间损失值的具体实现方式可为：可以获取空间损失函数，根据空间损失函数、待运算重建图像以及待运算标签采样图像，可以确定针对剩余样本噪声图像的第一空间子损失值；根据空间损失函数、目标标签采样图像以及目标样本重建图像，可以确定针对目标样本噪声图像的第二空间子损失值；随后，可以将第一空间子损失值与第二空间子损失值进行融合，即可得到图像重建模型的空间损失值。而对于将第一空间子损失值与第二空间子损失值进行融合，得到图像重建模型的空间损失值的具体实现方式可为：可以获取针对剩余样本噪声图像的第一训练权重，以及针对目标样本噪声图像的第二训练权重；可以将第一训练权重与第一空间子损失值进行运算处理，得到第一运算空间子损失值；可以将第二训练权重与第二空间子损失值进行运算处理，得到第二运算空间子损失值；随后，将第一运算空间子损失值与第二运算空间子损失值进行相加处理，即可得到图像重建模型的空间损失值。
[0189]
为便于理解，请参见公式(4)，公式(4)可以为确定空间损失值的具体方式：
[0190][0191]
其中，对于空间损失值、时序损失值以及相对边缘损失值，均可以是在连续的n帧(n为正整数)的样本图像序列上计算的。而上述公式(4)可以是确定样本图像序列中单帧的空间子损失值的具体方法。如公式(4)所示的l(r,d)可用于表征单帧(如目标样本噪声图像)对应的空间子损失值(如第一空间子损失值)；p可用于表征像素，n可为图像像素的总数量；c可用于表征图像颜色通道数(如对于rgb图像而言，图像颜色通道可以包含三个通道)；d可用于表征图像重建模型输出的样本重建图像(如目标样本重建图像)；r可用于表征标签采样图像(如目标标签采样图像)。ε可用于表征损失参数，可取值为10-2
。应当理解，在得到样本图像序列中每个样本噪声图像对应的空间子损失值后，可以将这些空间子损失值进行相加求和处理，得到的结果即可作为最终的用于训练模型的空间损失值。而可选的，在将这些空间子损失值进行相加求和处理时，可以预先为样本图像序列中不同的样本噪声图像分配不同的权重，并基于这些不同的权重对这些空间子损失值进行加权求和处理。例如，以样本图像序列为5帧图像为例，可以采用[0.05,0.25,0.5,0.75,1]的分配方式，为这5帧样本噪声图像分配权重(即作为其训练权重)，在得到5帧样本图像分别对应的空间子损失值后，
即可将其训练权重与空间子损失值进行相乘处理，得到该帧对应的运算空间子损失值；随后，可以将这些运算空间子损失值进行相加求和处理，即可得到最终的空间损失值。应当理解，目标样本噪声图像对应的训练权重可称之为第一训练权重，剩余样本噪声图像对应的训练权重可称之为第二训练权重。
[0192]
同空间损失值一样，对于时序损失值以及相对边缘损失值也是如此，可以依次计算出样本图像序列中每个样本噪声图像对应的时序子损失值(或相对边缘子损失值)，再将各个样本图像的时序子损失值(或相对边缘子损失值)进行加权求和处理(各个样本噪声图像的训练权重可以预先分配好)，得到最终的时序损失值(或相对边缘损失值)。
[0193]
为便于理解，请参见公式(5)，公式(5)可以为确定时序损失值的具体方式：
[0194][0195]
其中，如公式(5)所示的l(
△
r,
△
d)可用于表征单帧(如目标样本噪声图像)对应的时序子损失值(如第一时序子损失值)；r、d、p、c、ε所表征含义均可以参见上述公式(4)所述。
△
可用于表征连续两帧间计算的时间梯度(即
△
r可用于表征当前帧图像的样本重建图像与上一帧图像的样本重建图像计算得到的时间梯度；
△
d可用于表征前后两个标签采样图像计算得到的时间梯度)。
[0196]
为便于理解，请参见公式(6，公式(6)可以为确定相对边缘损失值的具体方式：
[0197][0198]
其中，如公式(6)所示的可用于表征单帧(如目标样本噪声图像)对应的相对边缘子损失值(如第一相对边缘子损失值)；r、d、p、c、ε所表征含义均可以参见上述公式(4)所述。可用于表征采用高频误差范数(high frequency error norm，hfen)计算得到的梯度(即可用于表征当前帧图像的样本重建图像与上一帧图像的样本重建图像计算得到的梯度；可用于表征前后两个标签采样图像计算得到的梯度)。
[0199]
上述空间损失值、时序损失值以及相对边缘损失值，可以为训练图像重建模型的一部分损失值，对于图像重建模型，还可以包括另一部分的损失值，两部分损失值一起对图像重建模型进行训练。另一部分损失值可以包括仿射变换损失值以及反照率损失值，也就是说，对于目标损失值可以基于空间损失值、时序损失值、相对边缘损失值、仿射变换损失值以及反照率损失值共同确定。其中，仿射变换损失值是只在样本图像序列中的最后两帧上进行计算，而反照率损失值是只在样本图像序列中的最后一个图像上进行计算。这里我们以目标样本噪声图像为样本图像序列中的最后一个样本噪声图像(则历史样本噪声图像与目标样本噪声图像为样本图像序列中的最后两个图像)为例，对于确定目标损失值的具体实现方式可为：可以获取历史样本噪声图像对应的历史样本重建图像以及历史标签采样图像，根据历史样本重建图像、目标样本重建图像、历史标签采样图像以及目标标签采样图像，可以确定针对图像重建模型的仿射变换损失值；随后，可以获取目标样本噪声图像对应的目标样本反照率特征，在目标样本累积特征中，获取目标样本噪声图像对应的目标样本累积反照率特征，根据反照率损失函数、目标样本反照率特征以及目标样本累积反照率特
征，可以确定针对图像重建模型的反照率损失值；将空间损失值、时序损失值、相对边缘损失值、仿射变换损失值以及反照率损失值进行损失值融合，即可得到图像重建模型的目标损失值。
[0200]
为便于理解，请参见公式(7)，公式(7)可以为确定仿射变换损失值的具体方式：
[0201][0202]
其中，如公式(7)中的l(ωr,ωd)可用于表征仿射变换损失值；r、d、p、c、ε所表征含义均可以参见上述公式(4)所述；ωr可用于表征r
4-w(r3)，其中，r4为最后一帧图像(目标样本噪声图像)，r3可用于表征上一帧图像(历史样本噪声图像)，w是一个warping运算符，表示将上一帧重新投影到当前帧。
[0203]
为便于理解，请参见公式(8)，公式(8)可以为确定仿射变换损失值的具体方式：
[0204][0205]
其中，如公式(8)所示的l(a
acc
,ar)可用于表征反照率损失值；r、d、p、c、ε所表征含义均可以参见上述公式(4)所述；a
acc
可用于表征累积得到的反照率特征(目标样本累积反照率特征)；ar可用于表征最后一个图像的反照率特征。
[0206]
进一步地，我们可以对上述损失值进行加权求和，以得到最终用于训练图像重建模型的目标损失值，确定目标损失值的方式如公式(9)所示：
[0207]
l＝0.7ls 0.1l
t
0.2le 0.4l
wt
5.0laꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(9)
[0208]
其中，ls可用于表征空间损失值；l
t
可用于表征时序损失值；le可用于表征相对边缘损失值；l
wt
可拥有表征仿射变换损失值；la可用于表征反照率损失值。需要说明的是，上述各个损失值的权重(如0.7，0.1，0.2，0.4，5.0)为预设数值，其并不限定于此，也可以为其他经过实验测试确定的权重值，对此不进行限定。
[0209]
综上可知，可以采用损失值l来测量样本重建图像与其参考图像之间的差值，通过该目标损失值l可以对图像重建模型的模型参数进行调整，以得到最优估计参数。其具体实现方式可如公式(10)所示：
[0210][0211]
其中，如公式(10)中的可用于表征神经网络函数，主要用于重建出未包含噪声的图像；可用于表征最优估计参数；n可用于表征样本图像序列的总图像数量；ci可用于表征某个样本噪声图像；fii可用于表征在渲染过程中得到的辅助特征；ri可用于表征高spp参考图像。l可用于表征目标损失值，我们可以使用梯度下降算法在样本图像序列上，通过最小化损失值l以得到最优估计参数，由此训练得到深度神经网络该深度神经网络可部署于目标图像重建模型中，用于进行图像重建处理(相当于其为目标图像重建模型)。
[0212]
在本技术实施例中，可以根据当前图像与前一帧图像的关联特征，计算出两个图像分别对应的混合嵌入特征，并基于混合嵌入特征来对两个图像进行特征累积，所得到的目标累积特征包含有前后两帧融合后的特征，该融合后的特征可以表征前后两帧的相关性，特征包含维度更广；同时，在确定目标图像的重建结果图像时，也是基于目标图像的目
标图像关联特征、该目标累积特征以及上一帧图像(历史图像)共同来确定，在确定目标图像的重建结果图像时，不单考虑到当前帧的特征，还考虑到时间靠前的历史帧的特征，可以充分利用当前帧的时域信息，所得到的重建结果图像具有较高的时域稳定性，图像质量会更高。综上，无论是高像素采样数还是低像素采样数得到的图像，本技术均可以根据目标图像序列中前后两帧图像的图像关联特征，进行特征累积，并通过累积得到的累积特征与历史图像来共同确定目标图像的重建结果图像，具有普适性；通过计算前后两帧的累积特征，再基于累积特征来重建图像的方法，可以充分利用图像的时域信息，由此可以很好地提高重建图像的图像质量。
[0213]
进一步地，请参见图5，图5是本技术实施例提供的一种系统架构图。如图5所示，该系统架构可以包括时序累积器(也可称之为时序累积模型)、特征融合器以及目标图像重建模型(也可称之为重建网络)。其中，时序累积器可以由第一卷积网络层与第二卷积网络层所组成，而第一卷积网络层与第二卷积网络层均可以包括两个卷积神经网络(cnn)。特征融合器也可以包括多个卷积神经网络(cnn)。目标图像重建模型可以设计为包含残差模块的u-net结构，即通过多层卷积层(convlayer)堆叠，得到编解码模块，在编解码模块中穿插残差模块的网络结构。
[0214]
应当理解，可以将当前帧的图像关联特征(包括法线特征与深度特征)，与历史帧的图像关联特征(包括法线特征与深度特征)输入至时序累积器中，通过时序累积器可以对两个帧的有噪声图像特征、阴影特征以及反照率特征进行基于时域的累积，得到各个特征各自对应的累积特征。基于时序累积器进行累积得到的各个累积特征输入到特征融合器中，通过特征融合器可以将累积特征与其他辅助特征(如法线特征、透明度维度特征、粗糙度维度特征等)进行特征融合，得到当前帧的图像融合特征。随后，可以将当前帧的融合特征和warp去噪后的历史帧的法线特征与深度特征，进行级联处理，由此可以得到融合级联特征；可以将融合级联特征输入至重建网络(即目标图像重建模型)，通过重建网络可以输出当前帧的重建结果图像。
[0215]
应当理解，本技术可以以较低的像素采样数对目标场景进行渲染，用深度学习的方法来降低渲染高像素采样数图像需要的大量计算开销，本技术在高分辨率下仍然可以实时重建稀疏采样的图像，由此可以在保证良好分辨率以及帧率的条件，采用稀疏采样渲染的方式，对目标场景进行渲染，可以很好地减少计算成本。
[0216]
进一步地，请参见图6，图6是本技术实施例提供的一种图像处理装置的结构示意图。该图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该图像处理装置为一个应用软件；该图像处理装置可以用于执行图3所示的方法。如图6所示，该图像处理装置1可以包括：图像获取模块11、特征获取模块12、特征生成模块13、特征累积模块14以及图像重建模块15。
[0217]
图像获取模块11，用于在目标图像序列中获取目标图像与历史图像；目标图像序列是基于目标单位像素采样数，对目标场景进行图像采集后所得到的图像序列；历史图像是指目标图像序列中，目标图像的上一个图像；
[0218]
特征获取模块12，用于获取目标图像对应的目标图像关联特征，以及历史图像对应的历史图像关联特征；
[0219]
特征生成模块13，用于根据目标图像关联特征生成针对目标图像的第一混合嵌入
特征；
[0220]
特征生成模块13，还用于根据目标图像关联特征和历史图像关联特征，生成针对历史图像的第二混合嵌入特征；
[0221]
特征累积模块14，用于基于第一混合嵌入特征和第二混合嵌入特征，将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征；
[0222]
图像重建模块15，用于根据目标图像关联特征、目标累积特征以及历史图像，确定目标图像对应的重建结果图像。
[0223]
其中，图像获取模块11、特征获取模块12、特征生成模块13、特征累积模块14以及图像重建模块15的具体实现方式，可以参见上述图3所对应实施例中步骤s101-步骤s104的描述，这里将不再进行赘述。
[0224]
在一个实施例中，目标图像关联特征包括目标图像对应的第一法线维度特征与第一深度维度特征；
[0225]
特征生成模块13可以包括：第一特征输入单元131、第一特征卷积单元132以及第一特征运算单元133。
[0226]
第一特征输入单元131，用于将第一法线维度特征与第一深度维度特征，输入至时序累积模型；
[0227]
第一特征卷积单元132，用于通过时序累积模型的第一卷积网络层，对第一法线维度特征与第一深度维度特征进行卷积处理，得到目标图像对应的第一图像嵌入特征；
[0228]
第一特征卷积单元132，还用于通过时序累积模型的第二卷积网络层，对第一法线维度特征与第一深度维度特征进行卷积处理，得到目标图像对应的第二图像嵌入特征；
[0229]
第一特征运算单元133，用于将第一图像嵌入特征与第二图像嵌入特征进行像素相乘运算处理，得到针对目标图像的第一混合嵌入特征。
[0230]
其中，第一特征输入单元131、第一特征卷积单元132以及第一特征运算单元133的具体实现方式，可以参见上述图3所对应实施例中步骤s103的描述，这里将不再进行赘述。
[0231]
在一个实施例中，目标图像关联特征包括目标图像对应的第一法线维度特征与第一深度维度特征，历史图像关联特征包括历史图像对应的第二法线维度特征与第二深度维度特征；
[0232]
特征生成模块13可以包括：特征变换单元134、第二特征输入单元135、第二特征卷积单元136以及第二特征运算单元137。
[0233]
特征变换单元134，用于将第二法线维度特征与第二深度维度特征分别进行仿射变换处理，得到第二法线维度特征对应的法线变换特征，以及第二深度维度特征对应的深度变换特征；
[0234]
第二特征输入单元135，用于将第一法线维度特征、第一深度维度特征、法线变换特征以及深度变换特征输入至时序累积模型；
[0235]
第二特征卷积单元136，用于通过时序累积模型的第一卷积网络层，对第一法线维度特征与第一深度维度特征进行卷积处理，得到目标图像对应的目标图像嵌入特征；
[0236]
第二特征卷积单元136，还用于通过时序累积模型的第二卷积网络层，对法线变换特征与深度变换特征进行卷积处理，得到历史图像对应的历史图像嵌入特征；
[0237]
第二特征运算单元137，用于将目标图像嵌入特征与历史图像嵌入特征进行像素
相乘运算处理，得到针对历史图像的第二混合嵌入特征。
[0238]
其中，特征变换单元134、第二特征输入单元135、第二特征卷积单元136以及第二特征运算单元137的具体实现方式，可以参见上述图3所对应实施例中步骤s103的描述，这里将不再进行赘述。
[0239]
在一个实施例中，特征累积模块14可以包括：融合系数确定单元141以及特征累积单元142。
[0240]
融合系数确定单元141，用于获取逻辑回归函数，通过逻辑回归函数与第一混合嵌入特征，确定针对目标图像的第一特征融合系数；
[0241]
融合系数确定单元141，还用于通过逻辑回归函数与第二混合嵌入特征，确定针对历史图像的第二特征融合系数；
[0242]
特征累积单元142，用于根据第一特征融合系数和第二特征融合系数，将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征。
[0243]
其中，融合系数确定单元141以及特征累积单元142的具体实现方式，可以参见上述图3所对应实施例中步骤s103的描述，这里将不再进行赘述。
[0244]
在一个实施例中，特征累积单元142可以包括：图像特征获取子单元1421、阴影累积子单元1422、噪声累积子单元1423、反照率累积子单元1424以及累积特征确定子单元1425。
[0245]
图像特征获取子单元1421，用于获取目标图像对应的目标噪声图像特征、目标阴影特征与目标反照率特征，获取历史图像对应的历史累积噪声图像特征、历史累积阴影特征以及历史累积反照率特征；
[0246]
阴影累积子单元1422，用于根据第一特征融合系数与第二特征融合系数，将目标阴影特征与历史累积阴影特征进行累积，得到目标图像对应的目标累积阴影特征；
[0247]
噪声累积子单元1423，用于根据第一特征融合系数与第二特征融合系数，将目标噪声图像特征与历史噪声图像特征进行累积，得到目标声图像对应的目标累积噪声图像特征；
[0248]
反照率累积子单元1424，用于根据第一特征融合系数与第二特征融合系数，将目标反照率特征与历史累积反照率特征进行累积，得到目标图像对应的目标累积反照率特征；
[0249]
累积特征确定子单元1425，用于将目标累积阴影特征、目标累积噪声图像特征以及目标累积反照率特征，确定为目标图像对应的目标累积特征。
[0250]
其中，图像特征获取子单元1421、阴影累积子单元1422、噪声累积子单元1423、反照率累积子单元1424以及累积特征确定子单元1425的具体实现方式，可以参见上述图3所对应实施例中步骤s103的描述，这里将不再进行赘述。
[0251]
在一个实施例中，图像重建模块15可以包括：级联特征确定单元151以及重建图像确定单元152。
[0252]
级联特征确定单元151，用于根据目标图像关联特征、目标累积特征以及历史图像，确定目标图像对应的目标融合级联特征；
[0253]
重建图像确定单元152，用于将目标融合级联特征输入至目标图像重建模型中，在目标图像重建模型中，根据目标融合级联特征输出目标图像对应的重建结果图像。
[0254]
其中，级联特征确定单元151以及重建图像确定单元152的具体实现方式，可以参见上述图3所对应实施例中步骤s104的描述，这里将不再进行赘述。
[0255]
在一个实施例中，目标图像关联特征包括第一法线维度特征与第一深度维度特征；历史图像关联特征包括历史图像对应的第二法线维度特征与第二深度维度特征；
[0256]
级联特征确定单元151可以包括：特征融合子单元1511、特征变换处理子单元1512以及特征级联子单元1513。
[0257]
特征融合子单元1511，用于获取目标图像对应的辅助特征；辅助特征包括第一法线维度特征与第一深度维度特征；
[0258]
特征融合子单元1511，还用于将辅助特征中，除第一法线维度特征与第一深度维度特征以外的维度特征，确定为剩余维度特征；
[0259]
特征融合子单元1511，还用于将目标累积特征、第一法线维度特征、第一深度维度特征以及剩余维度特征进行特征融合，得到目标图像对应的图像融合特征；
[0260]
特征变换处理子单元1512，用于将第二法线维度特征与第二深度维度特征分别进行仿射变换处理，得到第二法线维度特征对应的法线变换特征，以及第二深度维度特征对应的深度变换特征；
[0261]
特征级联子单元1513，用于将图像融合特征、法线变换特征以及深度变换特征进行级联处理，得到目标图像对应的目标融合级联特征。
[0262]
其中，特征融合子单元1511、特征变换处理子单元1512以及特征级联子单元1513的具体实现方式，可以参见上述图3所对应实施例中步骤s104的描述，这里将不再进行赘述。
[0263]
在一个实施例中，重建图像确定单元152可以包括：参数输出子单元1521以及图像融合子单元1522。
[0264]
参数输出子单元1521，用于通过目标图像重建模型，确定目标融合级联特征对应的预测高质图像、预测低质图像、第一图像重建参数以及第二图像重建参数；预测高质图像未包含噪声，预测高质图像的分辨率大于预测低质图像的分辨率；
[0265]
图像融合子单元1522，用于在目标图像重建模型中，通过第一图像重建参数将预测高质图像与预测低质图像进行图像融合，得到目标图像对应的初始重建图像；
[0266]
图像融合子单元1522，还用于获取历史图像对应的历史重建图像，通过第二图像重建参数将初始重建图像与历史重建图像进行图像融合，得到目标图像对应的重建结果图像。
[0267]
其中，参数输出子单元1521以及图像融合子单元1522的具体实现方式，可以参见上述图3所对应实施例中步骤s104的描述，这里将不再进行赘述。
[0268]
在本技术实施例中，可以根据当前图像与前一帧图像的关联特征，计算出两个图像分别对应的混合嵌入特征，并基于混合嵌入特征来对两个图像进行特征累积，所得到的目标累积特征包含有前后两帧融合后的特征，该融合后的特征可以表征前后两帧的相关性，特征包含维度更广；同时，在确定目标图像的重建结果图像时，也是基于目标图像的目标图像关联特征、该目标累积特征以及上一帧图像(历史图像)共同来确定，在确定目标图像的重建结果图像时，不单考虑到当前帧的特征，还考虑到时间靠前的历史帧的特征，可以充分利用当前帧的时域信息，所得到的重建结果图像具有较高的时域稳定性，图像质量会
更高。综上，无论是高像素采样数还是低像素采样数得到的图像，本技术均可以根据目标图像序列中前后两帧图像的图像关联特征，进行特征累积，并通过累积得到的累积特征与历史图像来共同确定目标图像的重建结果图像，具有普适性；通过计算前后两帧的累积特征，再基于累积特征来重建图像的方法，可以充分利用图像的时域信息，由此可以很好地提高重建图像的图像质量。
[0269]
进一步地，请参见图7，图7是本技术实施例提供的一种图像处理装置的结构示意图。该图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该图像处理装置为一个应用软件；该图像处理装置可以用于执行图4所示的方法。如图7所示，该图像处理装置2可以包括：样本图像获取模块21、样本特征获取模块22、样本特征生成模块23、样本特征累积模块24、样本特征级联模块25、样本重建图像输出模块26、标签图像获取模块27以及模型训练模块28。
[0270]
样本图像获取模块21，用于在样本图像序列中获取目标样本噪声图像与历史样本噪声图像；样本图像序列是基于第一单位像素采样数，对样本场景进行图像采集后所得到的图像序列；历史样本噪声图像是指样本图像序列中，目标样本噪声图像的上一个样本噪声图像；第一单位像素采样数小于单位像素采样数阈值；
[0271]
样本特征获取模块22，用于获取目标样本噪声图像对应的目标样本图像关联特征，以及历史样本噪声图像对应的历史样本图像关联特征；
[0272]
样本特征生成模块23，用于根据目标样本图像关联特征生成针对目标样本噪声图像的第一样本混合嵌入特征；
[0273]
样本特征生成模块23，还用于根据目标样本图像关联特征和历史样本图像关联特征，生成针对历史样本噪声图像的第二样本混合嵌入特征；
[0274]
样本特征累积模块24，用于基于第一样本混合嵌入特征和第二样本混合嵌入特征，将目标样本噪声图像与历史样本噪声图像进行特征累积，得到目标样本噪声图像对应的目标样本累积特征；
[0275]
样本特征级联模块25，用于根据目标样本图像关联特征、目标样本累积特征以及历史样本噪声图像，确定目标样本噪声图像对应的目标样本融合级联特征；
[0276]
样本重建图像输出模块26，用于将目标样本融合级联特征输入至图像重建模型中，在图像重建模型中，根据目标样本融合级联特征输出目标样本噪声图像对应的目标样本重建图像；
[0277]
标签图像获取模块27，用于获取目标样本噪声图像对应的目标标签采样图像；目标标签采样图像是指基于第二单位像素采样数，对样本场景进行图像采集后所得到的图像；第一单位像素采样数小于第二单位像素采样数；
[0278]
模型训练模块28，用于根据目标标签采样图像与目标样本重建图像，对图像重建模型进行训练，得到用于对目标图像序列中的目标图像进行图像重建处理的目标图像重建模型。
[0279]
其中，样本图像获取模块21、样本特征获取模块22、样本特征生成模块23、样本特征累积模块24、样本特征级联模块25、样本重建图像输出模块26、标签图像获取模块27以及模型训练模块28的具体实现方式，可以参见上述图4所对应实施例中步骤s301-步骤s307的描述，这里将不再进行赘述。
[0280]
在一个实施例中，模型训练模块28可以包括：待运算图像确定单元281、损失值确定单元282以及模型训练单元283。
[0281]
待运算图像确定单元281，用于将样本图像序列中，剩余样本噪声图像对应的样本重建图像确定为待运算重建图像，将剩余样本噪声图像对应的标签采样图像确定为待运算标签采样图像；剩余样本噪声图像是指样本图像序列中，除目标样本噪声图像以外的样本噪声图像；
[0282]
损失值确定单元282，用于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的目标损失值；
[0283]
模型训练单元283，用于根据目标损失值对图像重建模型进行训练，得到目标图像重建模型。
[0284]
其中，待运算图像确定单元281、损失值确定单元282以及模型训练单元283的具体实现方式，可以参见上述图4所对应实施例中步骤s307的描述，这里将不再进行赘述。
[0285]
在一个实施例中，损失值确定单元282可以包括：损失值确定子单元2821以及目标损失值确定子单元2822。
[0286]
损失值确定子单元2821，用于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的空间损失值；
[0287]
损失值确定子单元2821，还用于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的时序损失值；
[0288]
损失值确定子单元2821，还用于根据待运算重建图像、待运算标签采样图像、目标标签采样图像以及目标样本重建图像，确定针对图像重建模型的相对边缘损失值；
[0289]
目标损失值确定子单元2822，用于根据空间损失值、时序损失值以及相对边缘损失值，确定针对图像重建模型的目标损失值。
[0290]
其中，损失值确定子单元2821以及目标损失值确定子单元2822的具体实现方式，可以参见上述图4所对应实施例中步骤s307的描述，这里将不再进行赘述。
[0291]
在一个实施例中，损失值确定子单元2821，还具体用于获取空间损失函数，根据空间损失函数、待运算重建图像以及待运算标签采样图像，确定针对剩余样本噪声图像的第一空间子损失值；
[0292]
损失值确定子单元2821，还具体用于根据空间损失函数、目标标签采样图像以及目标样本重建图像，确定针对目标样本噪声图像的第二空间子损失值；
[0293]
损失值确定子单元2821，还具体用于将第一空间子损失值与第二空间子损失值进行融合，得到图像重建模型的空间损失值。
[0294]
在一个实施例中，损失值确定子单元2821，还具体用于获取针对剩余样本噪声图像的第一训练权重，以及针对目标样本噪声图像的第二训练权重；
[0295]
损失值确定子单元2821，还具体用于将第一训练权重与第一空间子损失值进行运算处理，得到第一运算空间子损失值；
[0296]
损失值确定子单元2821，还具体用于将第二训练权重与第二空间子损失值进行运算处理，得到第二运算空间子损失值；
[0297]
损失值确定子单元2821，还具体用于将第一运算空间子损失值与第二运算空间子损失值进行相加处理，得到图像重建模型的空间损失值。
[0298]
在一个实施例中，目标样本噪声图像为样本图像序列中的最后一个样本噪声图像；
[0299]
目标损失值确定子单元2822，还具体用于获取历史样本噪声图像对应的历史样本重建图像以及历史标签采样图像，根据历史样本重建图像、目标样本重建图像、历史标签采样图像以及目标标签采样图像，确定针对图像重建模型的仿射变换损失值；
[0300]
目标损失值确定子单元2822，还具体用于获取目标样本噪声图像对应的目标样本反照率特征，在目标样本累积特征中，获取目标样本噪声图像对应的目标样本累积反照率特征，根据反照率损失函数、目标样本反照率特征以及目标样本累积反照率特征，确定针对图像重建模型的反照率损失值；
[0301]
目标损失值确定子单元2822，还具体用于将空间损失值、时序损失值、相对边缘损失值、仿射变换损失值以及反照率损失值进行损失值融合，得到图像重建模型的目标损失值。
[0302]
在本技术实施例中，可以根据当前图像与前一帧图像的关联特征，计算出两个图像分别对应的混合嵌入特征，并基于混合嵌入特征来对两个图像进行特征累积，所得到的目标累积特征包含有前后两帧融合后的特征，该融合后的特征可以表征前后两帧的相关性，特征包含维度更广；同时，在确定目标图像的重建结果图像时，也是基于目标图像的目标图像关联特征、该目标累积特征以及上一帧图像(历史图像)共同来确定，在确定目标图像的重建结果图像时，不单考虑到当前帧的特征，还考虑到时间靠前的历史帧的特征，可以充分利用当前帧的时域信息，所得到的重建结果图像具有较高的时域稳定性，图像质量会更高。综上，无论是高像素采样数还是低像素采样数得到的图像，本技术均可以根据目标图像序列中前后两帧图像的图像关联特征，进行特征累积，并通过累积得到的累积特征与历史图像来共同确定目标图像的重建结果图像，具有普适性；通过计算前后两帧的累积特征，再基于累积特征来重建图像的方法，可以充分利用图像的时域信息，由此可以很好地提高重建图像的图像质量。
[0303]
进一步地，请参见图8，图8是本技术实施例提供的一种计算机设备的结构示意图。如图8所示，上述图7所对应实施例中的图像处理装置1可以应用于上述计算机设备8000，上述计算机设备8000可以包括：处理器8001，网络接口8004和存储器8005，此外，上述计算机设备8000还包括：用户接口8003，和至少一个通信总线8002。其中，通信总线8002用于实现这些组件之间的连接通信。其中，用户接口8003可以包括显示屏(display)、键盘(keyboard)，可选用户接口8003还可以包括标准的有线接口、无线接口。网络接口8004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器8005可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器8005可选的还可以是至少一个位于远离前述处理器8001的存储装置。如图8所示，作为一种计算机可读存储介质的存储器8005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
[0304]
在图8所示的计算机设备8000中，网络接口8004可提供网络通讯功能；而用户接口8003主要用于为用户提供输入的接口；而处理器8001可以用于调用存储器8005中存储的设备控制应用程序，以实现：
[0305]
在目标图像序列中获取目标图像与历史图像；目标图像序列是基于目标单位像素
采样数，对目标场景进行图像采集后所得到的图像序列；历史图像是指目标图像序列中，目标图像的上一个图像；
[0306]
获取目标图像对应的目标图像关联特征，以及历史图像对应的历史图像关联特征；
[0307]
根据目标图像关联特征生成针对目标图像的第一混合嵌入特征，根据目标图像关联特征和历史图像关联特征，生成针对历史图像的第二混合嵌入特征，基于第一混合嵌入特征和第二混合嵌入特征，将目标图像与历史图像进行特征累积，得到目标图像对应的目标累积特征；
[0308]
根据目标图像关联特征、目标累积特征以及历史图像，确定目标图像对应的重建结果图像。
[0309]
或实现：
[0310]
在样本图像序列中获取目标样本噪声图像与历史样本噪声图像；样本图像序列是基于第一单位像素采样数，对样本场景进行图像采集后所得到的图像序列；历史样本噪声图像是指样本图像序列中，目标样本噪声图像的上一个样本噪声图像；第一单位像素采样数小于单位像素采样数阈值；
[0311]
获取目标样本噪声图像对应的目标样本图像关联特征，以及历史样本噪声图像对应的历史样本图像关联特征；
[0312]
根据目标样本图像关联特征生成针对目标样本噪声图像的第一样本混合嵌入特征，根据目标样本图像关联特征和历史样本图像关联特征，生成针对历史样本噪声图像的第二样本混合嵌入特征，基于第一样本混合嵌入特征和第二样本混合嵌入特征，将目标样本噪声图像与历史样本噪声图像进行特征累积，得到目标样本噪声图像对应的目标样本累积特征；
[0313]
根据目标样本图像关联特征、目标样本累积特征以及历史样本噪声图像，确定目标样本噪声图像对应的目标样本融合级联特征；
[0314]
将目标样本融合级联特征输入至图像重建模型中，在图像重建模型中，根据目标样本融合级联特征输出目标样本噪声图像对应的目标样本重建图像；
[0315]
获取目标样本噪声图像对应的目标标签采样图像；目标标签采样图像是指基于第二单位像素采样数，对样本场景进行图像采集后所得到的图像；第一单位像素采样数小于第二单位像素采样数；
[0316]
根据目标标签采样图像与目标样本重建图像，对图像重建模型进行训练，得到用于对目标图像序列中的目标图像进行图像重建处理的目标图像重建模型。
[0317]
应当理解，本技术实施例中所描述的计算机设备8000可执行前文图3或图4所对应实施例中对该图像处理方法的描述，也可执行前文图6所对应实施例中对该图像处理装置1，或图7所对应实施例中对该图像处理装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0318]
此外，这里需要指出的是：本技术实施例还提供了一种计算机可读存储介质，且上述计算机可读存储介质中存储有前文提及的数据处理的计算机设备1000所执行的计算机程序，且上述计算机程序包括程序指令，当上述处理器执行上述程序指令时，能够执行前文图3或图4所对应实施例中对上述图像处理方法的描述，因此，这里将不再进行赘述。另外，
对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。
[0319]
上述计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者上述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0320]
本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例中一方面提供的方法。
[0321]
本技术实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
[0322]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0323]
本技术实施例提供的方法及相关装置是参照本技术实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
[0324]
以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。