一种图像修复方法、装置、设备及可读存储介质

1.本技术涉及图像修复技术领域，特别涉及一种图像修复方法、装置、设备及可读存储介质。


背景技术：

2.图像修复的目的是用合理的内容来填充图像中缺失的部分，主要用于修复损坏的区域或去除照片中不想要的目标等，其具体思想是找到充分的先验信息(比如光滑程度以及自相似性)来作为填补漏洞的参考。
3.相关技术中，基于深度学习的修复方法引起了极大的关注，其为了更好地帮助复杂情况下的图像修复，引入结构先验的方法来指导修复任务，该结构先验有效地帮助了完整图像质量的提高。不过，在图像受损面积很大或者预期内容包含复杂的语义信息的情况下，该方法仍然会遇到有许多困难。比如，在受损面积很大时，其往往是通过猜测以合成出缺失空洞处的图像，进而导致修复处的图像与周围图像看起来存在突兀与不合理的现象，即存在修复效果差的问题。


技术实现要素：

4.本技术提供一种图像修复方法、装置、设备及可读存储介质，以解决相关技术中无法有效实现受损面积大或预期内容包含复杂语义信息等图像的修复。
5.第一方面，提供了一种图像修复方法，包括以下步骤：
6.将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；
7.分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；
8.对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；
9.对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；
10.将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。
11.一些实施例中，所述待修复图像的第一特征图包括多张第一浅层特征图和多张第一深层特征图，所述参考图像的第二特征图包括多张第二浅层特征图和多张第二深层特征图。
12.一些实施例中，所述分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征，包括：
13.将所述多张第一浅层特征图进行拼接得到所述待修复图像的第一纹理特征，并将所述多张第一深层特征图进行拼接得到所述待修复图像的第一结构特征；
14.将所述多张第二浅层特征图进行拼接得到所述参考图像的第二纹理特征，并将所述多张第二深层特征图进行拼接得到所述参考图像的第二结构特征。
15.一些实施例中，所述分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征，包括：
16.对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，并将对齐纹理特征和第一纹理特征进行融合处理，得到融合纹理特征；
17.对第一结构特征和第二结构特征进行对齐处理，得到对齐结构特征，并将对齐结构特征和第一结构特征进行融合处理，得到融合结构特征。
18.一些实施例中，所述对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，包括：
19.将第一纹理特征和第二纹理特征进行连接，得到连接纹理特征；
20.基于偏移估计器对连接纹理特征进行计算处理，得到纹理特征偏移图；
21.基于纹理特征偏移图对第二纹理特征进行可变形卷积处理，得到对齐纹理特征。
22.一些实施例中，所述对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征，包括：
23.基于注意力机制对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征。
24.一些实施例中，所述第一编码器与所述第二编码器的运行参数相同。
25.第二方面，提供了一种图像修复装置，包括：
26.特征提取单元，其用于将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；
27.对齐融合单元，其用于分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；
28.特征填充单元，其用于对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；
29.特征均衡单元，其用于对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；
30.图像重建单元，其用于将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。
31.第三方面，提供了一种图像修复设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的图像修复方法。
32.第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现前述的图像修复方法。
33.本技术提供的技术方案带来的有益效果包括：可有效提升图像的修复效果。
34.本技术提供了一种图像修复方法、装置、设备及可读存储介质，包括将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。本技术通过在编码解码网络中引入参考图像，以很好的利用外部信息来推断出受损面积大或预期内容包含复杂语义信息等破损图片的结构特征与纹理特征，进而可以获得更好的修复结果；同时充分考虑待修复图像与参考图像之间存在的潜在差异性，并对二者之间的特征进行有效融合，以提高修复效果。
附图说明
35.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本技术实施例提供的一种图像修复方法的流程示意图；
37.图2为本技术实施例提供的图像修复数据处理示意图；
38.图3为本技术实施例提供的对齐融合数据处理示意图；
39.图4为本技术实施例提供的一种图像修复装置的结构示意图；
40.图5为本技术实施例提供的一种图像修复设备的结构示意图。
具体实施方式
41.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.本技术实施例提供了一种图像修复方法、装置、设备及可读存储介质，其能解决相关技术中无法有效实现受损面积大或预期内容包含复杂语义信息等图像的修复。
43.参见图1和图2所示，本技术实施例提供了一种图像修复方法，包括以下步骤：
44.步骤s10：将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；其中，所述第一编码器与所述第二编码器的运行参数相同。
45.进一步的，所述待修复图像的第一特征图包括多张第一浅层特征图和多张第一深
层特征图，所述参考图像的第二特征图包括多张第二浅层特征图和多张第二深层特征图。
46.进一步的，所述分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征，包括：
47.将所述多张第一浅层特征图进行拼接得到所述待修复图像的第一纹理特征，并将所述多张第一深层特征图进行拼接得到所述待修复图像的第一结构特征；
48.将所述多张第二浅层特征图进行拼接得到所述参考图像的第二纹理特征，并将所述多张第二深层特征图进行拼接得到所述参考图像的第二结构特征。
49.示范性的，在本技术实施例中，所提供的数据集是在dped数据集上利用sift(scale-invariant feature transform，尺度不变特征变换)算法整理出的dped10k数据集，其可提供10000张输入图像与参考图像对。本实施在该dped10k数据集提供的图片上实现，其中，输入图像与其对应的参考图像之间存在视角、颜色等差异。
50.本实施例将待修复图像作为输入图像，并将待修复图像(即图2中的corrupt image)表示为ia，参考图像(即图2中的reference image)表示为ib，则p＝(ia,ib)将作为一个输入对。其中，待修复图像ia和参考图像ib共享相同运行参数(比如相同的惯性权重、学习因子等)的两个编码器e(
·
)，即待修复图像ia输入至第一编码器，参考图像ib输入第二编码器。
51.当待修复图像ia和参考图像ib经过对应的编码器后，可以分别得到两张图像对应的特征图，即待修复图像ia可得到多张第一特征图f
ai
，比如f
ai
＝[f
a1
,f
a2
,f
a3
,f
a4
,f
a5
,f
a6
]，其中f
ai
表示第i层的待修复图像ia的图像特征，且f
a1
、f
a2
和f
a3
为待修复图像ia的第一浅层特征图，f
a4
、f
a5
和f
a6
为待修复图像ia的第一深层特征图；同理，参考图像ib可得到多张第二特征图f
bi
，比如f
bi
＝[f
b1
,f
b2
,f
b3
,f
b4
,f
b5
,f
b6
]，其中f
bi
表示第i层的参考图像ib的图像特征，且f
b1
、f
b2
和f
b3
为参考图像ib的第二浅层特征图，f
b4
、f
b5
和f
b6
为参考图像ib的第二深层特征图。
[0052]
然后将多张第一浅层特征图进行拼接得到待修复图像的第一纹理特征f
ate
，即并将多张第一深层特征图进行拼接得到待修复图像的第一结构特征f
ast
，即同理，将多张第二浅层特征图进行拼接得到参考图像的第二纹理特征f
bte
，即并将多张第二深层特征图进行拼接得到参考图像的第二结构特征f
bst
，即
[0053]
步骤s20：分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；
[0054]
进一步的，所述分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征，包括：
[0055]
对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，并将对齐纹理特征和第一纹理特征进行融合处理，得到融合纹理特征；
[0056]
对第一结构特征和第二结构特征进行对齐处理，得到对齐结构特征，并将对齐结构特征和第一结构特征进行融合处理，得到融合结构特征。
[0057]
进一步的，所述对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，包括：
[0058]
将第一纹理特征和第二纹理特征进行连接，得到连接纹理特征；
[0059]
基于偏移估计器对连接纹理特征进行计算处理，得到纹理特征偏移图；
[0060]
基于纹理特征偏移图对第二纹理特征进行可变形卷积处理，得到对齐纹理特征。
[0061]
示范性的，参见图2和图3所示，为了更好的让待修复图像ia的第一纹理特征f
ate
和第一结构特征f
ast
与参考图像ib对应的第二纹理特征f
bte
和第二结构特征f
bst
相融合，本实施例通过特征对齐模块m(
·
)(即fam)来实现这一功能。具体的，待修复图像ia的特征(即target features)和参考图像ib的特征(即reference features)进行连接，即将待修复图像ia的第一纹理特征f
ate
和参考图像ib的第二纹理特征f
bte
进行连接，得到连接纹理特征f
te
，即并将待修复图像ia的第一结构特征f
ast
和参考图像ib的第二结构特征f
bst
进行连接，得到连接结构特征f
st
，即
[0062]
然后通过偏移估计器(即offset estimator)计算出两幅图像由近而远的潜在相似性，进而得到特征偏移图(即offset map)。具体的，基于偏移估计器分别对连接纹理特征f
te
和连接结构特征f
st
进行计算处理，即通过一个平行的标准卷积单元计算得到纹理特征偏移图p
te
和结构特征偏移图p
st
；然后在纹理特征偏移图p
te
和结构特征偏移图p
st
的引导下，即利用插值算法，并通过梯度反向传播进行端到端的学习，使得参考图像ib的特征通过可变形卷积(即deformable block)后，得到对齐特征(即aligned features)，即第二纹理特征f
bte
和第二结构特征f
bst
分别通过可变形卷积(即deformable block)后，得到对应的对齐纹理特征f
alignedte
和对齐结构特征f
alignedst
。
[0063]
其中，对齐特征可以通过下式计算得到x代表输入，y代表输出，n和n分别代表了卷积核的索引和卷积核的数量，ωn代表第n个卷积核的权重，p代表中心的索引，pn代表第n位的固定偏移量，δpn代表第n个卷积核的可学习的偏移量。
[0064]
最后，将对齐特征与待修复图像ia的特征进行融合得到融合特征(即fused features)。具体的，将对齐纹理特征f
alignedte
和第一纹理特征f
ate
进行融合处理得到融合纹理特征f
te
(即fused textures)，即同时将对齐结构特征f
alignedst
和第一结构特征f
ast
进行融合处理得到融合结构特征f
st
(即fused structures)，即
[0065]
步骤s30：对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；
[0066]
示范性的，针对步骤s20中得到的融合纹理特征f
te
和融合结构特征f
st
，本实施例分别设计了纹理分支和结构分支来分别对f
te
与f
st
进行修复，得到填充纹理特征f
mte
和填充结构特征f
mst
。其中，每个分支(即multi-scale filling)都含有多条有不同大小卷积核(比如卷积核为3x3、5x5、7x7等)的部分卷积(partial convolution)通路流来确保空洞区域能得到多范围充分的填充，即部分卷积每次运算后都能更新图片上的破损区域，因此能够有效的处理不规则的空洞区域，且由于设立了不同大小卷积核，使得f
te
和f
st
能够得到多范围多尺度的填充和修复。此外，在这一过程中，重组损失函数l
texture
(即纹理损失函数)和l
structure
(即结构损失函数)将会被用于监督填充纹理特征和填充结构特征的生成。
[0067]
步骤s40：对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；
[0068]
进一步的，所述对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征，包括：
[0069]
基于注意力机制对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征。
[0070]
示范性的，针对步骤s30中得到多尺度填充后的填充纹理特征f
mte
和填充结构特征f
mst
,本实施通过特征均衡模块将填充纹理特征f
mte
和填充结构特征f
mst
进行连接与卷积(即concatenate and conv)，得到用以均衡的均衡特征fe(即feature equalization)，则由于结构特征和纹理特征始终会存在差异，因此，本实施例可基于注意力机制来设计均衡特征模块，以使得能很好的将融合后的特征按照一定的权重进行赋值。
[0071]
步骤s50：将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。
[0072]
示范性的，在本技术实施例中，均衡特征将与解码器中不同大小的特征层进行跳转连接(即skip connection)，生成最后的修复图像i
out
(即output)。具体的，待修复图像ia经过编码器后生成的f
a1
、f
a2
、f
a3
、f
a4
、f
a5
和f
a6
特征图输入至解码器中，并与解码器中不同大小的特征层进行跳转连接，其中，由扩张卷积组成的残差模块res block可以增加感受域的大小，因此本实施例可以由res block来进一步更好的感知编码器提取的f
a6
，并对感知结果进行输出；均衡特征也与解码器中不同大小的特征层进行跳转连接，然后再将均衡特征分别与各个f
a1
、f
a2
、f
a3
、f
a4
、f
a5
和f
a6
进行相加(即element-wise addition)并输出修复图像；在该过程中，可通过l
rec
(即像素重构损失函数)、l
perc
(即感知损失函数)、l
style
(即风格损失函数)以及l
adv
(即相对论平均ls对抗损失函数)来对整个训练过程中生成的图像进行监督。
[0073]
此外，本技术还将通过本实施例得到的图像修复结果与其他图像修复方法(比如ec、gi和medfe等)得到的图像修复结果进行了比较。其中，图像修复评价指标使用psnr(即峰值信噪比)与ssim值(即结构相似度)；psnr是一种评价图像的客观标准，psnr值越高，表示产生的图像质量越高；ssim基于样本x和y之间的亮度、对比度和结构等三个方面来衡量结构的相似度，ssim值越高，表示产生的图像越真实。
[0074]
本实施例的测试过程在不同的损失程度下(比如以10％、20％以此递增到60％)测试了dped10k数据集上的200张图片，计算其平均psnr值与平均ssim值，并与ec、gi、medfe这三种图像修复方法得到的修复结果进行了对比(具体结果参见表1所示)。从表1的psnr和ssim值比较中可以发现，本实施例基于参考图像指导推理结构和纹理特征的图像修复方法对于现有图像修复算法来说：性能有明显提高。
[0075]
表1测试图片受损程度在10％-60％之间修复后的psnr/ssim值
[0076]
方法10％-20％20％-30％30％-40％40％-50％50％-60％medfe29.88/0.95726.45/0.91223.86/0.85422.05/0.78719.44/0.638ec29.30/0.95026.37/0.90924.23/0/85822.40/0.79420.10/0.668gc31.24/0.96527.34/0.92724.86/0.87722.67/0.82119.88/0.694本实施例31.77/0.96728.07/0.93525.63/0.88823.49/0.83220.58/0.694
[0077]
本实施例为了解决图像修复的不适定问题，将具有相似纹理和结构的参考图像引
入到图像修复中以增加外部信息，即利用参考图像的丰富纹理细节来补偿待修复图像中丢失的细节，从而产生更详细和真实的内容。其中，考虑到图像修复时纹理特征和结构特征存在模式差异，如纹理的风格差异和结构的几何差异较大，因此，本实施例引入参考图像作为引导，分别推理纹理特征和结构特征。具体地说，待修复图像图像和参考图像首先将被编码，以产生各自的纹理特征和结构特征；然后对纹理特征和结构特征进行对齐和融合，并将融合后的纹理特征和结构特征以多尺度填充方式融合并均衡，以确保每个通道中的注意力是相同的，并且特征表示一致；最后均衡后的特征将与来自编码器的特征通过跳转连接到解码器，以生成修复后的图像。
[0078]
由此可见，本技术实施例通过在编码解码网络中引入参考图像，以很好的利用外部信息来推断出受损面积大或预期内容包含复杂语义信息等破损图片的结构特征与纹理特征，进而可以获得更好的修复结果；同时充分考虑待修复图像与参考图像之间存在的潜在差异性，并对二者之间的特征进行有效融合，以提高修复效果。
[0079]
参见图4所示，本技术实施例还提供了一种图像修复装置，包括：
[0080]
特征提取单元，其用于将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；
[0081]
对齐融合单元，其用于分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；
[0082]
特征填充单元，其用于对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；
[0083]
特征均衡单元，其用于对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；
[0084]
图像重建单元，其用于将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。
[0085]
本技术通过在编码解码网络中引入参考图像，以很好的利用外部信息来推断出受损面积大或预期内容包含复杂语义信息等破损图片的结构特征与纹理特征，进而可以获得更好的修复结果；同时充分考虑待修复图像与参考图像之间存在的潜在差异性，并对二者之间的特征进行有效融合，以提高修复效果。
[0086]
进一步的，所述待修复图像的第一特征图包括多张第一浅层特征图和多张第一深层特征图，所述参考图像的第二特征图包括多张第二浅层特征图和多张第二深层特征图。
[0087]
进一步的，所述特征提取单元具体用于：
[0088]
将所述多张第一浅层特征图进行拼接得到所述待修复图像的第一纹理特征，并将所述多张第一深层特征图进行拼接得到所述待修复图像的第一结构特征；
[0089]
将所述多张第二浅层特征图进行拼接得到所述参考图像的第二纹理特征，并将所述多张第二深层特征图进行拼接得到所述参考图像的第二结构特征。
[0090]
进一步的，所述对齐融合单元具体用于：
[0091]
对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，并将对齐纹理特征和第一纹理特征进行融合处理，得到融合纹理特征；
[0092]
对第一结构特征和第二结构特征进行对齐处理，得到对齐结构特征，并将对齐结构特征和第一结构特征进行融合处理，得到融合结构特征。
[0093]
进一步的，所述对齐融合单元具体还用于：
[0094]
将第一纹理特征和第二纹理特征进行连接，得到连接纹理特征；
[0095]
基于偏移估计器对连接纹理特征进行计算处理，得到纹理特征偏移图；
[0096]
基于纹理特征偏移图对第二纹理特征进行可变形卷积处理，得到对齐纹理特征。
[0097]
进一步的，所述特征均衡单元具体用于：
[0098]
基于注意力机制对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征。
[0099]
进一步的，所述第一编码器与所述第二编码器的运行参数相同。
[0100]
需要说明的是，所属本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述图像修复方法实施例中的对应过程，在此不再赘述。
[0101]
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的图像修复设备上运行。
[0102]
本技术实施例还提供了一种图像修复设备，包括：通过系统总线连接的存储器、处理器和网络接口，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现前述的图像修复方法的全部步骤或部分步骤。
[0103]
其中，网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0104]
处理器可以是cpu，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程逻辑门阵列(fieldprogrammable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
[0105]
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外，存储器可以包括高速随存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(smartmedia card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
[0106]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现前述的图像修复方法的全部步骤或部分步骤。
[0107]
本技术实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的
硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccess memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0108]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0109]
本技术是参照根据本技术实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0110]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0111]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。