图像处理方法、图像处理装置及存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置及存储介质。


背景技术：

2.随着科学技术的发展，图像采集作为一种信息交流、传递的方式，被人们运用于日常生活中的各个方面。但由于图像采集过程中受到镜头抖动、运动物体与背景间相对运动等因素影响，经常会出现成像模糊、采集的图像质量较差等问题。
3.相关技术中，可以通过算法处理，将采集的图像参数用傅里叶转化并进行效果优化，以相邻辅助帧图像对中心帧图像的模糊部分进行权重值平衡，来达到抵消图像模糊、优化图像质量的目的。但这些方法存在计算量大、无法筛除极端模糊帧对图像影响的问题，不能高效、清晰的对图像进行优化复原。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提供一种图像处理方法、图像处理装置及存储介质。
5.根据本公开实施例的第一方面，提供一种图像处理方法，包括：
6.获取待处理图像，所述待处理图像为基于第一时间窗口采集的多帧图像；对所述第一时间窗口内的多帧图像进行对齐，并对所述多帧图像按照清晰度大小进行排序，得到第一图像序列；基于所述第一图像序列，按照清晰度从大到小的顺序，进行相邻帧图像傅里叶聚合迭代输出复原图像，直至得到目标图像；其中，每次进行傅里叶聚合迭代的相邻帧图像包括前一次迭代输出的复原图像与剩余图像中清晰度最大的图像，所述剩余图像为所述第一图像序列中未进行傅里叶聚合的图像。
7.一种实施方式中，所述基于所述第一图像序列，按照清晰度从大到小的顺序，对相邻帧图像进行傅里叶聚合迭代输出，包括：
8.基于相同的块重叠率以及相同的块大小，对所述第一图像序列中的每一帧图像进行分块；对所述图像块进行分组，得到多个图像块集合，其中，每一图像块集合中包括有所述第一图像序列中全部帧图像中同一位置的图像块；针对所述多个图像块集合中的每一图像块集合，分别进行相邻帧图像傅里叶聚合迭代输出复原图像，得到各个图像块集合对应的目标图像块；对所述目标图像块进行拼接，得到所述目标图像。
9.一种实施方式中，所述进行相邻帧图像傅里叶聚合迭代输出复原图像，直至得到目标图像，包括：
10.确定当前迭代输出的复原图像的第一清晰度，并确定前一次迭代输出的复原图像的第二清晰度；若所述第一清晰度小于或等于所述第二清晰度，则将前一次迭代输出的复原图像作为目标图像。
11.一种实施方式中，方法还包括：
12.若所述第一清晰度大于所述第二清晰度，则继续进行相邻帧图像傅里叶聚合迭代，直至第一清晰度小于或等于第二清晰度。
13.一种实施方式中，所述第一时间窗口内的多帧图像进行对齐，包括：
14.获取所述加速度传感器检测到的加速度数据，并基于所述加速度数据确定所述多帧图像中各图像对应的像素位移矩阵；基于所述像素位移矩阵以及所述设备参数矩阵，确定所述多帧图像的图像变换矩阵；基于图像变换矩阵，以所述第一时间窗口中的中心帧为基准，对所述第一时间窗口内的多帧图像进行对齐。
15.一种实施方式中，加速度数据确定所述多帧图像中各图像对应的像素位移矩阵，包括：
16.基于所述加速度数据确定所述多帧图像中各图像对应的欧拉角；将所述多帧图像中各图像对应的欧拉角转换为四元数，并将所述四元数转换为多帧图像中各图像对应的像素位移矩阵。
17.根据本公开实施例的第二方面，提供一种图像处理装置，包括：
18.获取单元，用于获取待处理图像，所述待处理图像为基于第一时间窗口采集的多帧图像；对齐单元，用于对所述第一时间窗口内的多帧图像进行对齐；排序单元，用于对所述多帧图像按照清晰度大小进行排序，得到第一图像序列；聚合单元，用于基于所述第一图像序列，按照清晰度从大到小的顺序，进行相邻帧图像傅里叶聚合迭代输出复原图像，直至得到目标图像；其中，每次进行傅里叶聚合迭代的相邻帧图像包括前一次迭代输出的复原图像与剩余图像中清晰度最大的图像，所述剩余图像为所述第一图像序列中未进行傅里叶聚合的图像。
19.一种实施方式中，所述聚合单元采用如下方式基于所述第一图像序列，按照清晰度从大到小的顺序，对相邻帧图像进行傅里叶聚合迭代输出：
20.基于相同的块重叠率以及相同的块大小，对所述第一图像序列中的每一帧图像进行分块；对所述图像块进行分组，得到多个图像块集合，其中，每一图像块集合中包括有所述第一图像序列中全部帧图像中同一位置的图像块；针对所述多个图像块集合中的每一图像块集合，分别进行相邻帧图像傅里叶聚合迭代输出复原图像，得到各个图像块集合对应的目标图像块；对所述目标图像块进行拼接，得到所述目标图像。
21.一种实施方式中，所述聚合单元采用如下方式将前一次迭代输出的复原图像作为目标图像：
22.确定当前迭代输出的复原图像的第一清晰度，并确定前一次迭代输出的复原图像的第二清晰度；若所述第一清晰度小于或等于所述第二清晰度，则将前一次迭代输出的复原图像作为目标图像。
23.一种实施方式中，所述聚合单元还用于：若确定所述第一清晰度大于所述第二清晰度，则继续进行相邻帧图像傅里叶聚合迭代，直至第一清晰度小于或等于第二清晰度。
24.一种实施方式中，所述图像处理设备安装有加速度传感器，并对应有设备参数矩阵；所述对齐单元采用如下方式对所述第一时间窗口内的多帧图像进行对齐：
25.获取所述加速度传感器检测到的加速度数据，并基于所述加速度数据确定所述多帧图像中各图像对应的像素位移矩阵；基于所述像素位移矩阵以及所述设备参数矩阵，确定所述多帧图像的图像变换矩阵；基于图像变换矩阵，以所述第一时间窗口中的中心帧为
基准，对所述第一时间窗口内的多帧图像进行对齐。
26.一种实施方式中，所述对齐单元采用如下方式基于所述加速度数据确定所述多帧图像中各图像对应的像素位移矩阵：基于所述加速度数据确定所述多帧图像中各图像对应的欧拉角；将所述多帧图像中各图像对应的欧拉角转换为四元数，并将所述四元数转换为多帧图像中各图像对应的像素位移矩阵。
27.根据本公开实施例第三方面，提供一种图像处理装置，包括：
28.处理器；用于存储处理器可执行指令的存储器；
29.其中，所述处理器被配置为：执行第一方面或者第一方面任意一种实施方式中所述的图像处理方法。
30.根据本公开实施例第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行第一方面或者第一方面任意一种实施方式中所述的图像处理方法。
31.本公开的实施例提供的技术方案可以包括以下有益效果：对第一时间窗口内的多帧图像进行对齐，并对第一时间窗口内的多帧图像按照清晰度大小进行排序得到第一图像序列。本公开实施例中针对第一图像序列，按照清晰度从大到小的顺序，进行相邻帧图像傅里叶聚合迭代输出复原图像。并且，每次进行傅里叶聚合迭代的相邻帧图像包括前一次迭代输出的复原图像与剩余图像中清晰度最大的图像，可以避免第一时间窗口内极端模糊图像对复原图像的影响，提高了图像模糊处理的处理速度和复原效果。
32.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
33.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
34.图1是根据一示例性实施例示出的一种图像处理方法的流程图。
35.图2是本公开一示例性实施例中示出的一种对第一时间窗口内的多帧图像进行对齐的方法流程示意图。
36.图3是本公开一示例性实施例中示出的一种对相邻帧图像进行傅里叶聚合迭代输出得到目标图像的方法流程图。
37.图4是本公开一示例性实施例中示出的一种进行图像模糊处理的一种场景示意图。
38.图5是本公开一示例性实施例示出的一种进行图像模糊处理的方法流程示意图。
39.图6是根据一示例性实施例示出的一种图像处理装置的框图。
40.图7是根据一示例性实施例示出的一种用于图像处理的装置的框图。
具体实施方式
41.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附
权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
42.本公开实施例提供的图像处理方法可以应用于图像处理设备进行图像模糊处理的场景中。例如，本公开实施例可以应用于包括相机等图像采集装置的图像处理设备(例如终端)进行图像采集过程中的图像模糊处理。其中，图像采集装置在拍摄图像时会遇到成像模糊的问题，例如静止状态拍摄运动物体，或者拍摄时相机镜头的抖动，会使成像模糊。
43.相关技术中，采用图像去模糊算法进行图像处理，将图像的模糊部分进行复原。例如，利用图像的统计学特征，寻找图像像素之间隐含的变化矩阵，并借此来求得图像退化的逆过程，最终复原修复的图像。多帧图像傅里叶聚合算法(简称fba算法)是传统技术中一种进行图像模糊处理的方法。fba算法的基本思想是利用高速摄像机拍摄的一组图像中，首先将这一组图像都转化到傅里叶域，fba算法证明了图像的模糊过程不会放大图像的傅里叶系数，即模糊过程类似一个低通滤波，图像的高频部分会显著衰减。依据此原理，fba选择那些退化较小的图像，赋予它们傅里叶系数较高的权重，而那些退化较大、含有较多模糊的图像就赋予更小的权重，最终加权合成，生成一副得到增强的图像。例如一种方案中，通过设定一个局部时间窗口，将窗口中图像由空域转化到频域，通过相邻辅助帧的冗余信息来恢复中心帧。该方案对任何图像都采用相同的窗口长度，且加权聚合的权重算法也恒定，但当窗口中包含的辅助帧过分模糊时，图像去模糊的效果将会大大下降。
44.上述fba算法中，针对输入的多帧图像，需要先通过光流法对齐全部帧窗口图像，以确定所要优化清晰度的图像范围。然而，通过光流法进行的图像对齐有着庞大的计算量，复杂度高。fba算法中，确定了需要优化清晰度的图像范围后，将图像范围内全部帧图像带入傅里叶聚合算法计算，得到复原图像。对于复原图像来说，每个像素点是全部帧图像对应像素点在傅里叶域的权重平衡结果。然而，该全部帧图像存在清晰度较为极端的图像，例如包括清晰度非常高的图像和清晰度非常低的图像。由于极端模糊帧图像越多，图像模糊程度越高，复原图像的清晰度就越低。故相关傅里叶聚合算法调用全部帧图像的方式，使算法利用清晰帧图像提高图像清晰度的同时，也被过分模糊帧图像降低了还原图像的清晰度，相当于过分模糊值图像的模糊程度、占全部帧图像的比重会对复原图像的清晰度产生直接影响。故，相关技术中利用全部图像帧进行算法迭代会使过于模糊的图像帧参与算法，影响图像的复原结果。
45.有鉴于此，本公开实施例提供一种图像处理方法，在该图像处理方法中，针对局部时间窗口内采集的待处理图像，基于结构置信进行清晰度排序，通过求解最优邻帧子集，避免局部时间窗口中某些过分模糊的帧不利于清晰帧的合成，较原始的傅里叶聚合算法有更好的去模糊效果。
46.本公开实施例中为描述方便，将局部时间窗口称为第一时间窗口。
47.图1是根据一示例性实施例示出的一种图像处理方法的流程图，图像处理方法可应用于图像处理设备。该图像处理设备例如可以是包括相机等图像采集装置的移动终端。如图1所示，本公开实施例提供的图像处理方法包括以下步骤。
48.在步骤s11中，获取待处理图像，其中，待处理图像为基于第一时间窗口采集的多帧图像。
49.本公开实施例中待处理图像可以是需要进行去模糊处理的图像，例如可以是在静止背景下拍摄的物体运动图像，当然也可以是镜头晃动下拍摄到的图像。其中，需要进行去
模糊处理的图像也可以是已拍摄完成需要进行优化处理的图像。
50.其中，本公开实施例一实施方式中，可以对待处理图像进行多帧图像窗口化采集。例如，本公开实施例中，可以捕获局部时间窗口(第一时间窗口)内的图像。比如，可以是基于第一时间窗口连续拍摄的多帧图像，比如2m 1帧图像，每帧间隔为t，记为v＝{ii|i∈[0，2m]}。
[0051]
在步骤s12中，对第一时间窗口内的多帧图像进行对齐，并对多帧图像按照清晰度大小进行排序，得到第一图像序列。
[0052]
本公开实施例中，可以基于图像特征点对齐方法，对第一时间窗口内的多帧图像进行对齐，以得到尽可能多的像素重合的窗口对齐图像。例如，可以是以第一时间窗口内的中心帧为基准帧，对齐第一时间窗口内的所有帧的图像。
[0053]
本公开实施例中，对第一时间窗口内的多帧图像进行对齐后，可以基于结构置信排序第一时间窗口内的多帧图像。例如，可以对多帧图像按照清晰度大小进行排序。比如，将对齐后的2m 1帧图像按照清晰度评价函数nrss算法进行重新排序，并按照图像质量降序排序。
[0054]
本公开实施例中，为描述方便，将对第一时间窗口内的的多帧图像对齐后按照清晰度大小进行排序后的图像，可称为第一图像序列。
[0055]
在步骤s13中，基于第一图像序列，按照清晰度从大到小的顺序，进行相邻帧图像傅里叶聚合迭代输出复原图像，直至得到目标图像。
[0056]
本公开实施例中，可以采用增量傅里叶聚合的去模糊算法，按照清晰度从大到小的顺序，对第一图像序列中的图像进行相邻帧图像进行傅里叶聚合迭代输出，以得到复原图像。
[0057]
其中，每次进行傅里叶聚合迭代的相邻帧图像包括前一次迭代输出的复原图像与剩余图像中清晰度最大的图像。本公开实施例中，剩余图像可以理解为是第一图像序列中未进行傅里叶聚合的图像。
[0058]
可以理解的是，对第一图像序列中的图像进行相邻帧图像进行傅里叶聚合迭代输出的过程可以为：
[0059]
针对第一图像序列中的相邻帧图像进行首次傅里叶聚合迭代时，可以是对第一图像序列中清晰度从大到小顺序中的前两帧图像进行傅里叶聚合迭代，并输出复原图像。将前两帧图像进行傅里叶聚合迭代输出后的复原图像，与剩余图像中清晰度最大的图像继续进行傅里叶聚合迭代，并输出复原图像，重复执行上述过程，直至新输出的复原图像的清晰度小于前一次迭代输出的复原图像的清晰度，终止迭代，将前一次迭代输出的复原图像作为目标图像。
[0060]
一示例中，本公开实施例中，将当前迭代输出的复原图像的清晰度称为第一清晰度，将前一次迭代输出的复原图像的清晰度称为第二清晰度。其中，本公开实施例中，在确定目标图像时，可以确定当前迭代输出的复原图像的第一清晰度，并确定前一次迭代输出的复原图像的第二清晰度。若第一清晰度小于或等于第二清晰度，则将前一次迭代输出的复原图像作为目标图像。其中，若第一清晰度大于第二清晰度，则继续进行相邻帧图像傅里叶聚合迭代，直至第一清晰度小于或等于第二清晰度。
[0061]
本公开实施例中，通过对第一时间窗口内采集的多帧图像，进行清晰度排序，并进
行相邻帧图像进行首次傅里叶聚合迭代，每次傅里叶聚合迭代利用前一次迭代产生的复原图像与剩余邻帧子集(剩余图像)中最清晰图像进行傅里叶聚合迭代，能够较为快速的获取到较为清晰的目标图像，相对fba算法对局部时间窗口内所有图像帧进行傅立叶加权平均，能够避免过分模糊的图像对图像去模糊效果的影响，提高图像去模糊处理的效果。
[0062]
本公开实施例以下结合实际应用对上述实施例涉及的图像处理方法进行说明。
[0063]
一种实施方式中，本公开实施例中，为提高图像去模糊处理的处理效率，减少处理时间，针对安装有陀螺仪等加速度传感器的图像处理设备，可以基于加速度传感器检测到的加速度数据，对第一时间窗口内的多帧图像进行对齐。
[0064]
图2是本公开一示例性实施例中示出的一种对第一时间窗口内的多帧图像进行对齐的方法流程示意图。参阅图2所示，对第一时间窗口内的多帧图像进行对齐包括如下步骤：
[0065]
在步骤s121中，获取加速度传感器检测到的加速度数据，并基于加速度数据确定第一时间窗口内多帧图像中各图像对应的像素位移矩阵。
[0066]
在步骤s122中，基于像素位移矩阵以及图像处理设备的图像采集装置对应的设备参数矩阵，确定多帧图像的图像变换矩阵。
[0067]
其中，本公开实施例一种实施方式中，可以基于加速度数据确定多帧图像中各图像对应的欧拉角，并将多帧图像中各图像对应的欧拉角转换为四元数，并将转换得到的四元数转换为多帧图像中各图像对应的像素位移矩阵。
[0068]
一示例中，假设图像处理设备为具有相机的移动终端。第一时间窗口内采集的多帧图像包括连续拍摄2m 1帧图像，每帧间隔为t，记为v＝{ii|i∈[0，2m]}。进行第一窗口内多帧图像对齐时，可以获取相机的陀螺仪数据，将陀螺仪数据转化为四元数，随后将每一帧的四元数转化为r矩阵，随后，获取相机内参矩阵mk，再通过如下变换计算出图像的变换矩阵m
t
[0069]mt
＝mk×
mr×mk-1
[0070]
最终，利用m
t
以中心帧为参照对齐所有帧，记为
[0071]
在步骤s123中，基于图像变换矩阵，以第一时间窗口中的中心帧为基准，对第一时间窗口内的多帧图像进行对齐。
[0072]
本公开实施例中，借用相机提供的陀螺仪数据，避免利用光流法或单应性矩阵法计算帧与帧之间的相对运动，大大减少了去模糊所需的处理时间，可以实现实时性的图像去模糊，能够较好地应用到实际相机应用中。并且，本公开实施例提供的图像处理方法，能够应用在大部分带有陀螺仪的手机相机场景中，可以为用户带来所需的去模糊功能。
[0073]
本公开实施例中，对第一时间窗口内的多帧图像进行对齐后，可以对第一时间窗口内的多帧图像，基于结构置信进行清晰度排序。
[0074]
本公开实施例以下对进行清晰度排序后的多帧图像按照清晰度从大到小的顺序，进行相邻帧图像傅里叶聚合迭代输出复原图像，得到目标图像的实施过程进行说明。
[0075]
图3是本公开一示例性实施例中示出的一种对相邻帧图像进行傅里叶聚合迭代输出得到目标图像的方法流程图。参阅图3所示，包括以下步骤。
[0076]
在步骤s131中，基于相同的块重叠率以及相同的块大小，对第一图像序列中的每一帧图像进行分块。
[0077]
在步骤s132中，对图像块进行分组，得到多个图像块集合，其中，每一图像块集合中包括有第一图像序列中全部帧图像中同一位置的图像块。
[0078]
在步骤s133中，针对多个图像块集合中的每一图像块集合，分别进行相邻帧图像傅里叶聚合迭代输出复原图像，得到各个图像块集合对应的目标图像块；
[0079]
在步骤s134中，对目标图像块进行拼接，得到目标图像。
[0080]
本公开实施例中，采用对第一图像序列中的每一帧图像进行分块的方式，可以提高傅里叶聚合进行模糊处理的效率。
[0081]
本公开实施例以下以第一时间窗口内采集的多帧图像v＝{i_i|i∈[0,2m]}，进行对齐后的图像s＝{i_i^*|i∈[0,2m]}为例进行说明。假设，采用nrss算法进行清晰度评价，记为γ_s＝{i_(γ_i)|i∈[0,2m]}，并按照图像质量降序排序，即nrss(i_(γ_0))》nrss(i_(γ_1))》
…
》nrss(i_(γ_2m))。
[0082]
一示例中，本公开实施例可以分块每一帧图像为多个大小为w
×
w的图像块，块重叠率为每一组对应的图像块记为其中，j∈[0，n-1]，n为每帧图像分块的块数。
[0083]
本公开实施例中，可以进行图像块选取，得到图像块集合。例如，选择第k个图像块集合，即
[0084]
针对第k个图像块集合进行傅里叶聚合。其中，本公开实施例可以定义一种增量聚合的去模糊算法：其中，0≤t≤2m为迭代次数，x
t
为有序邻帧窗口φs的第t帧，为第t次迭代获得的重建图像块，初始假定图像x
t
的傅立叶变换为v
t
＝f(x
t
)，且令为c个图像通道的平均值，增量傅里叶聚合算法可以定义为:
[0085][0086]
令则又可以表示为：
[0087][0088]
得到递归的表示为：
[0089][0090]
则本公开实施例中进行的傅里叶集合的公式可以表示为：
[0091][0092]
其中，为获得重建图像所使用的帧的傅立叶系数的和，聚合权重指数p沿用文献[3]的可以设置为11。
[0093]
本公开实施例中，可以针对每一图像块集合进行图像傅里叶聚合。其中，利用增量
聚合算法迭代时，利用前一次生成的去模糊的帧和剩余相邻帧中最清晰的帧来重建新的去模糊图像块，当新生成的复原图像块不再优于前一次迭代的复原图像时终止迭代，输出去模糊图像块。当新生成的复原图像块不再优于前一次迭代的复原图像，则继续进行下一图像块集合的增量聚合算法迭代，并利用图像块集合中剩余子集中的最清晰帧进一步复原得到复原图像。
[0094]
本公开实施例可以采用上述方式，对所有图像块集合进行增量聚合算法迭代，直至输出的图像块集合为最后一个图像块集合。进一步的，本公开实施例中，针对完成增量聚合算法迭代的各个目标图像块(去模糊图像块)，可以拼接合成获取的全部去模糊图像块。
[0095]
本公开实施例一种实施方式中，为了减小块效应同样按照重叠率进行合成，合成算法采用平均值方式，最终输出合成好的去模糊图像。
[0096]
本公开实施例提供的图像处理方法，可以减少去模糊所需的处理时间，实现实时性的图像去模糊，并且通过对局部窗口内图像进行清晰度排序，每次利用上一次迭代产生的复原图像与剩余邻帧子集中最清晰图像进行傅里叶聚合，可以达到较好的图像去模糊处理效果。
[0097]
图4是本公开一示例性实施例中示出的一种进行图像模糊处理的一种场景示意图。图5是本公开一示例性实施例示出的一种进行图像模糊处理的方法流程示意图。参阅图4和图5，本公开实施例提供的图像处理方法中，针对输入的待处理图像，捕获局部时间窗口，并对齐窗口图像。针对对齐窗口图像后的图像，可以基于结构置信排序图像。针对排序后的图像，分块窗口图像。针对分块窗口图像后的图像块，可以选取图像块进行傅里叶聚合迭代。确定当前傅里叶聚合后输出的复原帧是否优于上一次迭代输出的复原帧。若当前傅里叶聚合后输出的复原帧优于上一次迭代输出的复原帧，则继续计算傅里叶聚合，直至当前傅里叶聚合后输出的复原帧不再优于上一次迭代输出的复原帧，并输出去模糊图像块。本公开实施例中可以判断输出的去模糊图像块是否为最后一块图像块，若是最后一块图像块，则可以拼接合成获取的全部去模糊图像块，输出去模糊图像，若不是最后一块图像块，则可以跳转至选取图像块的执行步骤，并继续进行后续傅里叶聚合迭代过程，直至输出的图像块集合为最后一个图像块集合，完成对所有图像块集合进行增量聚合算法迭代。
[0098]
进一步的，本公开实施例中，针对完成增量聚合算法迭代的各个目标图像块(去模糊图像块)，可以拼接合成获取的全部去模糊图像块。
[0099]
基于相同的构思，本公开实施例还提供一种图像处理装置。
[0100]
可以理解的是，本公开实施例提供的图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
[0101]
图6是根据一示例性实施例示出的一种图像处理装置框图。参照图6，该图像处理装置100应用于图像处理设备，例如包括相机的移动终端。其中，图像处理装置100包括获取单元101、对齐单元102、排序单元103和聚合单元104。
[0102]
获取单元101，用于获取待处理图像，待处理图像为基于第一时间窗口采集的多帧图像。对齐单元102，用于对第一时间窗口内的多帧图像进行对齐。排序单元103，用于对多帧图像按照清晰度大小进行排序，得到第一图像序列。聚合单元104，用于基于第一图像序列，按照清晰度从大到小的顺序，进行相邻帧图像傅里叶聚合迭代输出复原图像，直至得到目标图像。其中，每次进行傅里叶聚合迭代的相邻帧图像包括前一次迭代输出的复原图像与剩余图像中清晰度最大的图像，剩余图像为第一图像序列中未进行傅里叶聚合的图像。
[0103]
一种实施方式中，聚合单元104采用如下方式基于第一图像序列，按照清晰度从大到小的顺序，对相邻帧图像进行傅里叶聚合迭代输出：
[0104]
基于相同的块重叠率以及相同的块大小，对第一图像序列中的每一帧图像进行分块。对图像块进行分组，得到多个图像块集合，其中，每一图像块集合中包括有第一图像序列中全部帧图像中同一位置的图像块。针对多个图像块集合中的每一图像块集合，分别进行相邻帧图像傅里叶聚合迭代输出复原图像，得到各个图像块集合对应的目标图像块。对目标图像块进行拼接，得到目标图像。
[0105]
一种实施方式中，聚合单元104采用如下方式将前一次迭代输出的复原图像作为目标图像：
[0106]
确定当前迭代输出的复原图像的第一清晰度，并确定前一次迭代输出的复原图像的第二清晰度。若第一清晰度小于或等于第二清晰度，则将前一次迭代输出的复原图像作为目标图像。
[0107]
一种实施方式中，聚合单元104还用于：若确定第一清晰度大于第二清晰度，则继续进行相邻帧图像傅里叶聚合迭代，直至第一清晰度小于或等于第二清晰度。
[0108]
一种实施方式中，图像处理设备安装有加速度传感器，并对应有设备参数矩阵。对齐单元102采用如下方式对第一时间窗口内的多帧图像进行对齐：
[0109]
获取加速度传感器检测到的加速度数据，并基于加速度数据确定多帧图像中各图像对应的像素位移矩阵。基于像素位移矩阵以及设备参数矩阵，确定多帧图像的图像变换矩阵。基于图像变换矩阵，以第一时间窗口中的中心帧为基准，对第一时间窗口内的多帧图像进行对齐。
[0110]
一种实施方式中，对齐单元102采用如下方式基于加速度数据确定多帧图像中各图像对应的像素位移矩阵：基于加速度数据确定多帧图像中各图像对应的欧拉角。将多帧图像中各图像对应的欧拉角转换为四元数，并将四元数转换为多帧图像中各图像对应的像素位移矩阵。
[0111]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0112]
图7是根据一示例性实施例示出的一种用于图像处理的装置200的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0113]
参照图7，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(i/o)接口212，传感器组件214，以及通信组件216。
[0114]
处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相
机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
[0115]
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0116]
电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
[0117]
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0118]
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(mic)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
[0119]
i/o接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0120]
传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0121]
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(nfc)模块，以促进短程通信。例
如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0122]
在示例性实施例中，装置200可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0123]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0124]
可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0125]
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
[0126]
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
[0127]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0128]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。