图像处理方法及装置、计算机可读存储介质和电子设备与流程

1.本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。


背景技术：

2.随着带有拍摄功能的电子设备的普及，越来越多的用户使用电子设备来获取图像。然而，由于摄像模组的拍摄方式或拍摄环境的影响，得到的图像会出现噪声。目前虽然涌现了一些图像降噪的方案，但仍存在降噪效果不佳的问题。


技术实现要素：

3.本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服图像降噪效果不佳的问题。
4.根据本公开的第一方面，提供了一种图像处理方法，包括：获取由图像传感器的第一类图像感测区域感测到的第一图像数据，并获取由图像传感器的第二类图像感测区域感测到的第二图像数据；其中，第一类图像感测区域的曝光时间长于第二类图像感测区域的曝光时间；利用第一图像数据对第二图像数据进行降噪处理，得到第三图像数据；基于第一图像数据与第三图像数据生成输出图像。
5.根据本公开的第二方面，提供了一种图像处理装置，包括：图像数据获取模块，用于获取由图像传感器的第一类图像感测区域感测到的第一图像数据，并获取由图像传感器的第二类图像感测区域感测到的第二图像数据；其中，第一类图像感测区域的曝光时间长于第二类图像感测区域的曝光时间；降噪模块，用于利用第一图像数据对第二图像数据进行降噪处理，得到第三图像数据；图像生成模块，用于基于第一图像数据与第三图像数据融生成输出图像。
6.根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。
7.根据本公开的第四方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的图像处理方法。
8.在本公开的一些实施例所提供的技术方案中，对于同一图像传感器的输出，可以利用长曝光时间获取到的第一图像数据来对短曝光时间获取到的第二图像数据进行降噪，一方面，本公开方案利用了长曝数据噪声小且图像纹理清晰的特点，基于这些数据对短曝产生的数据进行降噪，可以实现精细的降噪效果；另一方面，本公开方案在降噪过程中利用的是同一图像传感器输出的数据，易于实施且成本低。
9.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
10.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
11.图1示出了本公开实施例的图像处理方案的示例性系统架构的示意图；
12.图2示出了适于用来实现本公开实施例的电子设备的结构示意图；
13.图3示意性示出了根据本公开示例性实施方式的图像处理方法的流程图；
14.图4示出了本公开一个实施例的图像感测区域的示意图；
15.图5示出了本公开另一个实施例的图像感测区域的示意图；
16.图6示意性示出了本公开一个实施例的生成输出图像的整个过程的流程图；
17.图7示意性示出了根据本公开示例性实施方式的图像处理装置的方框图。
具体实施方式
18.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
19.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
20.附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”、“第四”仅是为了区分的目的，不应作为本公开内容的限制。
21.通常，终端设备拍摄到的图像会有噪声，这些噪声包括图像传感器(sensor)中光电转换过程中产生的噪声，表现为环境越暗，图像的噪声越大。这是因为环境越暗，进光量越小，导致图像的信噪比变小。对于普通的拍摄设备，在晚上的拍摄图像中的噪声要大于白天拍摄的图像，在夜景拍摄的场景，延长曝光时间可以减少一些噪声，不过曝光时间有一定的限制，过长会降低帧率，也可能会造成图像中的高亮区域过曝。因此需要一些软硬的手段共同抑制噪声。
22.随着技术的发展，图像传感器的曝光方式也产生了新的变化，出现了一些同一图像传感器能够输出长短曝图像的技术，例如dolsensor。这些图像传感器的奇数行的曝光时
间与偶数行的曝光时间可以不同。
23.对于这种图像传感器输出的图像，目前在降噪的过程中，难以避免牺牲清晰度来实现降噪，算法复杂度高且降噪效果不佳。
24.鉴于此，本公开实施方式提供了一种新的图像处理方案。
25.本公开实施方式方式针对的图像传感器可以隔行采用不同的曝光时间，例如，偶数行的曝光时间为d，奇数行的曝光时间为2*d。由此，图像的偶数行生成一张短曝光的图像，奇数行生成一张长曝光的图像。这两张图像的高度均为该图像传感器正常曝光产生的图像的高度的一半。本公开方案可以利用长曝光的图像噪声小且纹理清晰的特性，给短曝光的图像提供更精细纹理的参考，对短曝光的图像进行降噪，再通过图像融合的手段得到最终要输出的图像。
26.图1示出了本公开实施例的图像处理方案的示例性系统架构的示意图。
27.如图1所示，系统架构可以包括终端设备1100和服务器1200。终端设备1100与服务器1200可以通过网络连接，网络的连接类型可以例如包括有线、无线通信链路或者光纤电缆等。
28.应当理解，终端设备1100和服务器1200的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备和服务器。比如服务器1200可以是多个服务器组成的服务器集群等。服务器1200还可以被称为云端或云端服务器。
29.终端设备1100可以通过网络与服务器1200交互，以接收或发送消息等。虽然图1中以智能手机为例示出，然而，终端设备1100还包括平板电脑、智能可穿戴设备、个人计算机等具有拍摄功能的设备。其中，终端设备1100还可以被称为终端、移动终端、移动端、智能终端等。
30.在由终端设备1100执行本公开示例性实施方式的图像处理过程的情况下，首先，终端设备1100可以获取由图像传感器的第一类图像感测区域感测到的第一图像数据，并获取由该图像传感器的第二类图像感测区域感测到的第二图像数据，其中，第一类图像感测区域的曝光时间长于第二类图像感测区域的曝光时间。
31.其中，图像传感器的第一类图像感测区域为图像传感器的奇数行，图像传感器的第二类图像感测区域为图像传感器的偶数行；或者图像传感器的第一类图像感测区域为图像传感器的偶数行，图像传感器的第二类图像感测区域为图像传感器的奇数行。
32.接下来，终端设备1100可以利用第一图像数据对第二图像数据进行降噪处理，得到第三图像数据，并基于第一图像数据与第三图像数据生成输出图像。
33.另外，在本公开的图像处理过程中，可以结合亮度校正、图像对齐、降低运动对图像带来的影响、细节增强等手段，进一步提升降噪效果，提高输出图像的图像质量。
34.在由服务器1200执行本公开示例性实施方式的图像处理过程的情况下，首先，服务器1200可以从终端设备1100或其他设备获取由图像传感器的第一类图像感测区域感测到的第一图像数据以及由该图像传感器的第二类图像感测区域感测到的第二图像数据，其中，第一类图像感测区域的曝光时间长于第二类图像感测区域的曝光时间。
35.接下来，服务器1200可以利用第一图像数据对第二图像数据进行降噪处理，得到第三图像数据，并基于第一图像数据与第三图像数据生成输出图像。另外，还可以结合亮度校正、图像对齐、降低运动对图像带来的影响、细节增强等手段，进一步提升降噪效果，提高
输出图像的图像质量。
36.随后，服务器1200还可以将生成的输出图像反馈给终端设备1100进行展示和/或保存。
37.应当注意的是，上述对图像进行处理的任意步骤均可以由终端设备1100或服务器1200执行，本公开对此不做限制。例如，终端设备1100可以将第一图像数据和第二图像数据发送给服务器1200，由服务器1200生成第三图像数据并发送给终端设备1100，由终端设备1100基于第一图像数据和第三图像数据生成输出图像。
38.图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开示例性实施方式的终端设备可以被配置为如图2的形式。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
39.本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的图像处理方法。
40.具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(universal serial bus，usb)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，sim)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。
41.可以理解的是，本公开实施例示意的结构并不构成对电子设备200的具体限定。在本公开另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
42.处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，ap)、调制解调处理器、图形处理器(graphics processing unit，gpu)、图像信号处理器(image signal processor，isp)、控制器、视频编解码器、数字信号处理器(digital signal processor，dsp)、基带处理器和/或神经网络处理器(neural
‑
etwork processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。
43.电子设备200可以通过isp、摄像模组291、视频编解码器、gpu、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或n个摄像模组291，n为大于1的正整数，若电子设备200包括n个摄像头，n个摄像头中有一个是主摄像头。在本公开方案中，n个摄像头中至少一个是可以实现隔行不等曝方式的摄像头，即，隔行曝光时间不同的摄像头。
44.内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连
接外部存储卡，例如micro sd卡，实现扩展电子设备200的存储能力。
45.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
46.计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
47.计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
48.计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。
49.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
50.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
51.下面以终端设备执行本公开图像处理方法的各个步骤进行说明，在这种情况下，本公开实施方式的图像处理装置可以配置在终端设备中。
52.图3示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图3，图像处理方法可以包括以下步骤：
53.s32.获取由图像传感器的第一类图像感测区域感测到的第一图像数据，并获取由图像传感器的第二类图像感测区域感测到的第二图像数据；其中，第一类图像感测区域的曝光时间长于第二类图像感测区域的曝光时间。
54.在本公开的示例性实施方式中，图像感测区域为图像传感器感测图像信息的区域，用“第一类”和“第二类”区分的目的仅是为了表明二者在曝光时间上是不同的。
55.具体的，第一类图像感测区域的曝光时间长于第二类图像感测区域的曝光时间。例如，第一类图像感测区域的曝光时间为2*d，第二类图像感测区域的曝光时间为d。需要说明的是，本公开对曝光时间的具体取值不做限制。
56.根据本公开的一些实施例，图像传感器的第一类图像感测区域为图像传感器的奇数行，图像传感器的第二类图像感测区域为图像传感器的偶数行。也就是说，图像传感器的奇数行的曝光时间长于偶数行的曝光时间。图4示意性示出了这些实施例下图像感测区域的对应方式。
57.根据本公开的另一些实施例，图像传感器的第一类图像感测区域为图像传感器的偶数行，图像传感器的第二类图像感测区域为图像传感器的奇数行。也就是说，图像传感器的偶数行的曝光时间长于奇数行的曝光时间。图5示意性示出了这些实施例下图像感测区域的对应方式。
58.s34.利用第一图像数据对第二图像数据进行降噪处理，得到第三图像数据。
59.在本公开的示例性实施方式中，可以采用导向滤波(guided fliter)的手段来实现对第二图像数据的降噪处理。导向滤波是指通过导向图像数据，对另一图像数据进行滤波处理，使得得到的滤波结果在纹理上与导向图像数据一致，以实现降噪效果。
60.具体的，可以基于第一图像数据确定出导向图像数据，并利用该导向图像数据对第二图像数据进行导向滤波，得到第三图像数据。
61.下面将对确定导向图像数据的过程进行示例性说明。
62.根据本公开的一些实施例，可以直接将第一图像数据作为导向图像数据。
63.根据本公开的另一些实施例，鉴于第一图像数据对应的图像亮度与第二图像数据对应的图像亮度可能存在较大差异，因此，终端设备可以先对第一图像数据进行亮度校正，得到第一中间图像数据，再基于该第一中间图像数据确定出导向图像数据。其中，第一中间图像数据对应的图像亮度与第二图像数据对应的图像亮度一致。
64.首先，可以基于第一类图像感测区域的曝光时间和第二类图像感测区域的曝光时间，确定亮度校正比例。亮度校正比例可以表示为d0*δ/d1，其中，d0表示第一类图像感测区域的曝光时间，d1表示第二类图像感测区域的曝光时间，δ为修正因子，用于消除图像亮度与曝光时间的非线性关系。
65.接下来，可以利用该亮度校正比例，对第一图像数据进行亮度校正，得到第一中间图像数据。
66.如果将第一图像数据表征的像素点(坐标i，j)的像素值记为img0，将第一中间图像数据表征的像素点(坐标i，j)的像素值记为img1，则img1＝img0*d0*δ/d1。遍历所有像素点，可以得到第一中间图像数据。
67.上述过程可以应用于第一图像数据和第二图像数据没有经历非线性变换(如gamma校正等)的场景，对于经历非线性处理后的场景，本公开还可以采用例如histogram matching(直方图匹配)等亮度对齐的算法来进行亮度校正，本公开对此不做限制。
68.需要注意的是，本公开所述的基于该第一中间图像数据确定出导向图像数据可以包括：直接将第一中间图像数据作为导向图像数据。
69.另外，还可以包括对第一中间该图像数据进行进一步处理，再确定导向图像数据。
70.根据本公开的又一些实施例，第一中间图像数据与第二图像数据存在纹理差异，这些差异主要来源于两方面，一方面，同一图像传感器的第一类图像感测区域与第二类图像感测区域存在一定的角度差异；另一方面，当场景中存在运动对象时，曝光时间的不同，会使图像中运动对象的位置和姿态出现差异。因此，可以利用第二图像数据对第一中间图
像数据进行图像对齐操作，得到第二中间图像数据，再基于第二中间图像数据确定出导向图像数据。
71.具体的，可以采用例如提取特征(如sift特征)及特征匹配的方式来实现图像对齐，本公开对此不做限制。
72.在一个实施例中，可以将第二中间图像数据作为导向图像数据。在另一个实施例中，还可以继续对第二中间图像数据进行优化处理，再确定出导向图像数据，本公开对此不做限制。
73.根据本公开的再一些实施例，还可以直接利用第二图像数据对第一图像数据进行图像对齐操作，得到第三中间图像数据，并基于第三中间图像数据确定出导向图像数据。
74.具体的，终端设备可以直接将第三中间图像数据确定为导向图像数据。或者，终端设备对第三中间图像数据进行亮度校正，得到第四中间图像数据，并将第四中间图像数据确定为导向图像数据。亦或者，再对第四中间图像数据继续进行优化处理，再确定出导向图像数据，本公开对此不做限制。
75.这些实施例中图像对齐、亮度校正的过程与上面实施例中的过程类似，不再赘述。
76.由此，终端设备可以利用上面任一实施例得到的导向图像数据对第二图像数据进行导向滤波，得到第三图像数据。
77.s36.基于第一图像数据与第三图像数据生成输出图像。
78.根据本公开的一些实施例，终端设备可以将第一图像数据与第三图像数据进行融合，以得到输出图像。
79.在图像感应区域对应图像传感器的行的情况下，融合的方式为隔行融合，例如，第一图像数据为图像传感器奇数行采集到的数据，第三图像数据为图像传感器偶数行采集的且经处理后的数据，在这种情况下，输出图像的第1行数据为第一图像数据的第1行数据、第2行数据为第三图像数据的第1行数据、第3行数据为第一图像数据的第2行数据、第四行数据为第三图像数据的第2行数据、
…
等等。
80.根据本公开的另一些实施例，鉴于上述第一中间图像数据与第三图像数据的亮度一致，终端设备可以将第一图像数据经亮度校正而得到的第一中间图像数据与第三图像数据融合，以生成输出图像。融合的方式仍采用上述的隔行融合的方式。
81.此外，还可以将上述第二中间图像数据与第三图像数据融合，或者将上述第三中间图像与第三图像数据融合，亦或者将上述第四中间图像与第三图像数据融合，以生成输出图像。
82.鉴于本公开一些实施例场景中可能存在运动对象，在融合得到图像的情况下，可能存在图像行与行之间过度不自然的问题。本公开还提供了一种解决此问题的方案。
83.首先，终端设备可以基于第一图像数据与第三图像数据得到融合图像，其中，融合的方式如前述实施例所述，不再赘述。
84.接下来，终端设备可以估计融合图像中的运动区域。例如，可以计算并利用上述第一中间图像数据对应像素值与第二中间图像数据对应像素值的差，获取差分图像，以确定出运动区域。本公开对运动估计的手段不做限制。
85.然后，终端设备可以计算运动区域中第一类图像感测区域的像素的梯度，作为第一梯度，并计算与该第一类图像感测区域相邻的第二类图像感测区域的像素的梯度，作为
第二梯度。具体的，可以利用canny算子、sobel算子、laplace算子等算子计算得到梯度，本公开对此不做限制。
86.例如，在第一类图像感测区域为图像传感器的奇数行的情况下，可以计算奇数行的像素的梯度，作为第一梯度。并计算相邻的偶数行的像素的梯度，作为第二梯度。
87.在得到第一梯度和第二梯度后，可以将第一梯度与第二梯度进行比较，并基于比较结果对运动区域的图像数据进行调整，得到调整后的运动区域。
88.具体的，可以配置梯度阈值，如果第一梯度与第二梯度的相似度小于该梯度阈值，即第一梯度与第二梯度比较接近，则说明此处像素过度较自然，可以不进行处理，或进行简单的插值处理。如果第一梯度与第二梯度的相似度大于等于该梯度阈值，则说明当前像素的梯度与周围的梯度存在较大的差异，过度不自然，可以采用双线性插值的方式对这些像素的像素值进行调整。
89.在得到调整后的运动区域后，终端设备可以将调整后的运动区域与融合图像的非运动区域进行融合，生成输出图像。
90.此外，在生成输出图像之后，还可以对该输出图像进行细节恢复、伪影(artifact)消除等操作，本公开对此不做限制。
91.下面将参考图6对本公开一个实施例的图像处理过程进行说明。
92.在步骤s602中，隔行不等曝的图像传感器可以输出图像数据，鉴于该类图像传感器隔行曝光时间不同，可以得到长曝光区域感测到的第一图像数据以及短曝光区域感测到的第二图像数据。
93.在步骤s604中，终端设备可以对第一图像数据进行亮度校正，得到亮度校正后的图像数据。
94.在步骤s606中，终端设备可以对亮度校正后的图像数据进行图像对齐，得到导向图像数据。具体的，可以利用第二图像数据对亮度校正后的图像数据进行图像对齐。
95.在步骤s608中，终端设备可以利用导向图像数据对第二图像数据进行导向滤波，得到第三图像。
96.在步骤s610中，终端设备可以将上述亮度校正后的图像数据与第三图像数据进行融合，以生成输出图像。
97.此外，上述图像处理过程以导向滤波为例对降噪的过程进行说明。然而，本公开方案不以此为限，还可以例如采用将第二中间图像数据与第二图像数据进行加权融合或叠加的图像处理方式，来实现一定程度上的降噪效果。
98.本公开实施方式的图像处理方案可以利用长曝数据噪声小且图像纹理清晰的特点对短曝数据进行降噪，并且利用的是同一图像传感器输出的数据，易于实施，成本低。
99.应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
100.进一步的，本示例实施方式中还提供了一种图像处理装置。
101.图7示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图7，根据本公开的示例性实施方式的图像处理装置7可以包括图像数据获取模块71、降噪模块
73和图像生成模块75。
102.具体的，图像数据获取模块71可以用于获取由图像传感器的第一类图像感测区域感测到的第一图像数据，并获取由图像传感器的第二类图像感测区域感测到的第二图像数据；其中，第一类图像感测区域的曝光时间长于第二类图像感测区域的曝光时间；降噪模块73可以用于利用第一图像数据对第二图像数据进行降噪处理，得到第三图像数据；图像生成模块75可以用于基于第一图像数据与第三图像数据融生成输出图像。
103.根据本公开的示例性实施例，图像传感器的第一类图像感测区域为图像传感器的奇数行，图像传感器的第二类图像感测区域为图像传感器的偶数行；或者图像传感器的第一类图像感测区域为图像传感器的偶数行，图像传感器的第二类图像感测区域为图像传感器的奇数行。
104.根据本公开的示例性实施例，降噪模块73可以被配置为执行：基于第一图像数据确定出导向图像数据；利用导向图像数据对第二图像数据进行导向滤波，得到第三图像数据。
105.根据本公开的示例性实施例，降噪模块73确定出导向图像数据的过程可以被配置为执行：对第一图像数据进行亮度校正，得到第一中间图像数据；其中，第一中间图像数据对应的图像亮度与第二图像数据对应的图像亮度一致；基于第一中间图像数据确定出导向图像数据。
106.根据本公开的示例性实施例，降噪模块73对第一图像数据进行亮度校正的过程可以被配置为执行：基于第一类图像感测区域的曝光时间和第二类图像感测区域的曝光时间，确定亮度校正比例；利用亮度校正比例，对第一图像数据进行亮度校正。
107.根据本公开的示例性实施例，降噪模块73确定出导向图像数据的过程还可以被配置为执行：利用第二图像数据对第一中间图像数据进行图像对齐操作，得到第二中间图像数据；基于第二中间图像数据确定出导向图像数据。
108.根据本公开的示例性实施例，降噪模块73确定出导向图像数据的过程还可以被配置为执行：利用第二图像数据对第一图像数据进行图像对齐操作，得到第三中间图像数据；基于第三中间图像数据确定出导向图像数据。
109.根据本公开的示例性实施例，图像生成模块75可以被配置为执行：将第一图像数据经亮度校正而得到的第一中间图像数据与第三图像数据隔行融合，以生成输出图像。
110.根据本公开的示例性实施例，图像生成模块75还可以被配置为执行：基于第一图像数据与第三图像数据得到融合图像；估计融合图像中的运动区域；计算运动区域中第一类图像感测区域的像素的梯度，作为第一梯度，并计算与该第一类图像感测区域相邻的第二类图像感测区域的像素的梯度，作为第二梯度；将第一梯度与第二梯度进行比较，并基于比较结果对运动区域的图像数据进行调整，得到调整后的运动区域；将调整后的运动区域与融合图像的非运动区域进行融合，生成输出图像。
111.由于本公开实施方式的图像处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。
112.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失
性存储介质(可以是cd
‑
rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
113.此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
114.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
115.本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
116.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。