图像优化方法及装置、存储介质及电子设备与流程

1.本公开涉及图像处理技术领域，具体而言，涉及一种图像优化方法及装置、计算机可读存储介质及电子设备。


背景技术：

2.随着移动技术的发展，相机拍照技术也得到了快速的发展，但是，在视频传输过程中，通常会有各种噪声夹杂其中，也有部分视频中的对比度较弱，降低了视频的视觉效果，因此，需要对视频以及图像做降噪以及对比度增强等优化。
3.相关技术中的图像降噪以及对比度增强的方法在执行时，图像降噪和对比度增强单独执行，计算量较大，且功耗较大。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开的目的在于提供一种图像优化方法、图像优化装置、计算机可读介质和电子设备，进而至少在一定程度上降低图像优化时的计算量以及功耗。
6.根据本公开的第一方面，提供一种图像优化方法，包括：
7.获取当前图像以及参考图像，并对所述当前图像进行空域滤波，得到在第一滤波参数下的第一滤波图像以及在第二滤波参数下的第二滤波图像；其中，所述第二滤波参数大于所述第一滤波参数；
8.对所述参考图像进行空域滤波，获取所述参考图像在第一滤波参数下的参考滤波图像；
9.根据所述参考滤波图像对所述第一滤波图像进行时域滤波得到引导图像和第一待输出图像；
10.根据所述第二滤波图像和所述引导图像对所述当前图像进行对比度增强得到第二待输出图像；
11.根据所述第一待输出图像和所述第二待输出图像得到优化图像并输出。
12.根据本公开的第二方面，提供一种图像优化装置，包括：
13.第一滤波模块，用于获取当前图像以及参考图像，并对所述当前图像进行空域滤波，得到在第一滤波参数下的第一滤波图像以及在第二滤波参数下的第二滤波图像；其中，所述第二滤波参数大于所述第一滤波参数；
14.第二滤波模块，用于对所述参考图像进行空域滤波，获取所述参考图像在第一滤波参数下的参考滤波图像；
15.时域滤波模块，用于根据所述参考滤波图像对所述第一滤波图像进行时域滤波得到引导图像和第一待输出图像；
16.图像增强模块，用于根据所述第二滤波图像和所述引导图像对所述当前图像进行
对比度增强得到第二待输出图像；
17.图像优化模块，根据所述第一待输出图像和所述第二待输出图像得到优化图像并输出。
18.根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
19.根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
20.处理器；以及
21.存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
22.本公开的一种实施例所提供的图像优化方法，获取当前图像以及参考图像，并对当前图像进行空域滤波，得到在第一滤波参数下的第一滤波图像以及在第二滤波参数下的第二滤波图像；对参考图像进行空域滤波，获取参考图像在第一滤波参数下的参考滤波图像；根据参考滤波图像对第一滤波图像进行时域滤波得到引导图像和第一待输出图像；根据第二滤波图像和引导图像对当前图像进行对比度增强得到第二待输出图像；根据第一待输出图像和第二待输出图像得到优化图像并输出。相较于现有技术，一方面，将对图像进行去噪后得到的第二滤波图像参数直接应用到对图像的对比度增强，通过对计算结果的复用，降低了计算量和功耗，另一方面，同时利用空域滤波的结果做对比度增强，解决了细节增强时噪声也增强的问题，进一步的，利用时域滤波后的第一待输出图像强化对比度增强的结果，提升了对图像的优化精度。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
25.图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
26.图2示出了可以应用本公开实施例的一种电子设备的示意图；
27.图3示意性示出本公开示例性实施例中一种图像优化方法的流程图；
28.图4示意性示出本公开示例性实施例中图像优化方法的数据流向图；
29.图5示意性示出本公开示例性实施例中一种获取第一滤波图像和第二滤波图像的流程图；
30.图6示意性示出本公开示例性实施例中一种获取第一滤波图像和第二滤波图像的数据流向图；
31.图7示意性示出本公开示例性实施例中获取引导图像的流程图；
32.图8示意性示出本公开示例性实施例中时域滤波与对比度增强时的数据流向图；
33.图9示意性示出本公开示例性实施例中图像优化装置的组成示意图。
具体实施方式
34.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
35.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
36.图1示出了可以应用本公开实施例的一种图像优化方法及装置的示例性应用环境的系统架构的示意图。
37.如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
38.本公开实施例所提供的图像优化方法一般由终端设备101、102、103中执行，相应地，图像优化装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的图像优化方法也可以由服务器105执行，相应的，图像优化装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103包括的用于采集当前图像和参考图像，然后将当前图像和参考图像上传至服务器105，服务器通过本公开实施例所提供的图像优化方法生成优化图像后，将优化图像传输给终端设备101、102、103等。
39.本公开的示例性实施方式提供一种用于实现图像优化方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行图像优化方法。
40.下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。
41.如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(universal serial bus，usb)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬
声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，sim)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。
42.处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，ap)、调制解调处理器、图形处理器(graphics processing unit，gpu)、图像信号处理器(image signal processor，isp)、控制器、视频编解码器、数字信号处理器(digital signal processor，dsp)、基带处理器和/或神经网络处理器(neural
‑
network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
43.npu为神经网络(neural
‑
network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
44.处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。
45.充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。
46.移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号；移动通信模块250可以提供应用在移动终端200上的包括2g/3g/4g/5g等无线通信的解决方案；调制解调处理器可以包括调制器和解调器；无线通信模块260可以提供应用在移动终端200上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi
‑
fi)网络)、蓝牙(bluetooth，bt)等无线通信的解决方案。在一些实施例中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。
47.移动终端200通过gpu、显示屏290及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏290和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
48.移动终端200可以通过isp、摄像模组291、视频编解码器、gpu、显示屏290及应用处理器等实现拍摄功能。其中，isp用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。
49.外部存储器接口222可以用于连接外部存储卡，例如micro sd卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功
能。例如将音乐，视频等文件保存在外部存储卡中。
50.内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。
51.移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
52.深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291。
53.压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。
54.陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。
55.此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。
56.移动终端200中还可包括其它提供辅助功能的设备。例如，按键294包括开机键，音量键等，用户可以通过按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如，指示器292、马达293、sim卡接口295等。
57.在相关技术中，在图像进行优化时，主要针对主图像和副图像进行配准、匹配、差值，对主图像进行双边滤波来达到对比度增强的效果或者，针对低光照图像进行增强，将亮度分解，求解反射分量，采用retinex模型进行增强对比和噪声抑制。均存在计算量较大、功耗较大，且优化进度角度的问题。
58.下面对本公开示例性实施方式的图像优化方法和图像优化装置进行具体说明。
59.图3示出了本示例性实施方式中一种图像优化方法的流程，包括以下步骤：
60.步骤s310，获取当前图像以及参考图像，并对所述当前图像进行空域滤波，得到在第一滤波参数下的第一滤波图像以及在第二滤波参数下的第二滤波图像；
61.步骤s320，对所述参考图像进行空域滤波，获取所述参考图像在第一滤波参数下的参考滤波图像；
62.步骤s330，根据所述参考滤波图像对所述第一滤波图像进行时域滤波得到引导图像和第一待输出图像；
63.步骤s340，根据所述第二滤波图像和所述引导图像对所述当前图像进行对比度增强得到第二待输出图像；
64.步骤s350，根据所述第一待输出图像和所述第二待输出图像得到优化图像并输出。
65.相较于现有技术，一方面，将对图像进行去噪后得到的第二滤波图像参数直接应用到对图像的对比度增强，通过对计算结果的复用，降低了计算量和功耗，另一方面，同时利用空域滤波的结果做对比度增强，解决了细节增强时噪声也增强的问题，进一步的，利用时域滤波后的第一待输出图像强化对比度增强的结果，提升了对图像的优化精度。
66.下面结合实施例对上述各个步骤进行详细说明。
67.在步骤s310中，获取当前图像以及参考图像，并对所述当前图像进行空域滤波，得到在第一滤波参数下的第一滤波图像以及在第二滤波参数下的第二滤波图像。
68.在本公开的一种示例实施方式中，参考图像和当前图像均可以是视频中的图像，其中正在处理的图像帧可以定义为当前图像，其中参考图像的数量可以是一个，可以将当前图像的前一帧定义为参考图像；参考图像的数量还可以是多个，可以将当前图像的前几帧定义为参考图像，在本示例实施方式中，不对参考图像的数量做具体限定。
69.在本示例实施方式中，可以参照图4所示，可以首先对上述当前图像和参考图像进行空域滤波410，然后再对上述空域滤波后的结果进行时域滤波420，最后进行对比度增强430，得到优化图像。
70.在本示例实施方式中，可以首先对上述从当前图像进行空域滤波，得到第一滤波参数下的第一滤波图像以及在第二滤波参数下的第二滤波图像，参照图5所示，具体可以包括步骤s510至步骤s550。
71.在步骤s510中，对所述当前图像进行下采样得到两个相同的子图像。
72.在步骤s520中，对所述子图像在预设窗口下进行均值滤波得到第一均值。
73.可以首先对当前图像进行下采样，得到两个相同的子图像，即对上述当前图像进行2倍下采样，可以采用下采样模块610对上述当前图像及进行下采样，得到两个相同的子图像。然后可以对上述子图像在预设窗口下进行均值滤波得到第一均值，具体可以参照图6所示，采用窗口大小为上述预设窗口的盒式滤波器620对上述子图像进行均值滤波得到第一均值。
74.在本示例实时方式中，上述预设窗口的尺寸小于上述子图像的尺寸，预设窗口的尺寸可以是上述子图像尺寸的0.25倍、0.2倍、0.1倍等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
75.步骤s530，对两个所述子图像的乘积在所述在预设窗口下进行均值滤波得到第二均值，并根据所述第一均值和所述第二均值得到第一方差；
76.在本示例实施方式中，可以计算对上述两个子图像的乘积在预设窗口下进行均值滤波，参照图5所示，仍然可以采用窗口大小为上述预设窗口的盒式滤波器对上述子图像的乘积做均值滤波得到上述第二均值。
77.需要说明的是，在计算上述两个子图像的乘积时，可以将两个子图像的像素矩阵按矩阵相乘的方式进行计算。
78.然后可以采用方差计算模块630根据上述第一均值和上述第二均值计算第一方差，具体可以为第二均值减去第一均值的平方。
79.步骤s540，根据所述第一方差和第一滤波参数对所述当前图像进行导向滤波得到
第一滤波图像。
80.在本示例实施方式中，可以首先确定一第一滤波参数，然后利用第一滤波参数滤波模块640根据上述第一滤波参数和第一方差对上述当前图像及进行导向滤波的得到第一滤波图像，在本示例实施方式中，导向滤波的引导图与输入图像均可以使当前图像，可以采用以下公式来确定计算得到上述第一滤波图像：
81.q1＝a1i b1[0082][0083][0084]
其中q1为第一滤波图像，var(i)标识第一方差，i表示当前图像，ε1表示第一滤波参数，p表示引导图，在本示例实时方式中与当前图像i相同，cov为协方差计算函数。
[0085]
步骤s550，根据所述第一方差和第二滤波参数对所述当前图像进行导向滤波得到第二滤波图像。
[0086]
在本示例实施方式中，可以首先确定一第二滤波参数，然后利用第二滤波参数滤波模块650根据上述第二滤波参数和第一方差对上述当前图像及进行导向滤波的得到第二滤波图像，在本示例实施方式中，导向滤波的引导图与输入图像均可以使当前图像，可以采用以下公式来确定计算得到上述第二滤波图像：
[0087]
q2＝a2i b2[0088][0089][0090]
其中q2为第二滤波图像，var(i)标识第一方差，i表示当前图像，ε2表示第二滤波参数，p表示引导图，在本示例实时方式中与当前图像i相同，cov为协方差计算函数。
[0091]
在本示例实施方式中，上述第一滤波参数大于上述第二滤波参数，以使得第二滤波图像能够保留更大的边缘，以便以用于对比度增强时不会导致噪声也增强。能够提升图像的优化效果。
[0092]
在步骤s320中，对所述参考图像进行空域滤波，获取所述参考图像在第一滤波参数下的参考滤波图像。
[0093]
在本示例实施方式中，可以对上述参考图像进行空域滤波进而得到在第一滤波参数下的参考滤波图像，在对当前图像及进行优化时，已经对参考图像进行了优化，因此，可以直接在获取扫上述参考图像在第一滤波参数下的参考滤波图像。
[0094]
在本示例实施方式中，若无法直接获取到上述参考图像的参考滤波图像，则可以首先对参考图像进行下采样得到两个相同的子参考图像；对子参考图像在预设窗口下进行均值滤波得到第三均值；对两个子参考图像的乘积在在预设窗口下进行均值滤波得到第四均值，并根据第三均值和第四均值得到第二方差；根据第二方差和第一滤波参数对参考图像进行导向滤波得到参考滤波图像。
[0095]
具体而言，可以首先对参考图像进行下采样，得到两个相同的子参考图像，即对上
述参考图像进行2倍下采样，得到两个相同的子参考图像。然后可以对上述子参考图像在预设窗口下进行均值滤波得到第三均值，采用窗口大小为上述预设窗口的盒式滤波器对上述子参考图像进行均值滤波得到第三均值。
[0096]
在本示例实施方式中，可以计算对上述两个子参考图像的乘积在预设窗口下进行均值滤波，仍然可以采用窗口大小为上述预设窗口的盒式滤波器对上述子参考图像的乘积做均值滤波得到上述第四均值。
[0097]
然后可以根据上述第三均值和上述第四均值计算第二方差，具体可以为第四均值减去第三均值的平方。
[0098]
然后可以根据上述第二方差和上述第一滤波参数对参考图像进行导向滤波得到上述参考滤波图像，其中，导向滤波的过程上述已经进行了详细说明，因此，此处不再赘述。
[0099]
步骤s330，根据所述参考滤波图像对所述第一滤波图像进行时域滤波得到引导图像和第一待输出图像。
[0100]
在本示例实施方式中，可以首先根据参考滤波图像对第一滤波图像进行时域滤波得到引导图像；然后根据引导图像将第一滤波图像和参考滤波图像融合的第一待输出图像。
[0101]
在本示例实施方式中，在根据参考滤波图像对第一滤波图像进行时域滤波得到引导图像时，参照图7所示，可以包括步骤s710至步骤s750
[0102]
在步骤s710中，获取所述第一滤波图像与所述参考滤波图像的差值图像。
[0103]
在本示例实施方式中，参照图8所示，可以将上述得到的第一滤波图像和上述参考滤波图像进行做差得到上述差值图像810。
[0104]
在步骤s720中，获取所述第一滤波图像中的显著性区域图像。
[0105]
在本示例实施方式中，参照图8所示，可以对上述第一滤波图像进行显著性区域提取，可以采用显著性检测算法来完成度显著性区域进行提取并对其进行差异化显示得到显著性区域图像820。
[0106]
在本示例实施方式中，显著性检测算法可以是lc算法、hc算法、ac算法、ft算法等，在本示例实施方式中不做具体限定。
[0107]
在步骤s730中，获对所述第一滤波图像进行边缘检测，得到边缘图像。
[0108]
在本示例实施方式中，参照图8所示，可以对上述第一滤波图像及进行边缘检测，得到边缘图像830，其中边缘图像为对上述第一滤波图像中的边缘进行了差异化显示的图像。
[0109]
在本示例实施方式中，可以采用sobel算子、laplace算子、canny算子来实现图像的边缘检测，在本示例实施方式中不做具体限定。
[0110]
在步骤s740中，获将所述显著性区域图像和所述边缘图像进行融合得到融合图像。
[0111]
在本示例实施方式中，参照图8所示，可以将上述显著性区域的图像与上述边缘图像进行图像融合840得到融合图像，具体而言，可以将上述显著性区域的图像与上述边缘图像进行相加得到上述融合图像。其中，融合图像中包括了人眼较为敏感的细节部分，能够提升对图像优化的精度。
[0112]
在步骤s750中，根据所述融合图像和所述差值图像得到所述引导图像。
[0113]
在本示例实施方式中，参照图8所示，就可以将上述融合图像以及上述差值图像作为引导图像。
[0114]
在本示例实施方式中，参照图8所示，在获取到所述引导图像之后，可以根据上述引导图像对第一滤波图像与所述参考滤波图像进行引导融合850得到第一待输出图像。具体而言，可以将上述图像分为多个区域，若区域内的差值图像中的像素小于预设阈值，则该区域内的第一待输出图像的各点的像素值为第一滤波图像该区域各点的像素值与参考滤波图像该区域各点的像素值平均值。若上述区域内的差值图像的像素大于预设阈值，则该区域的融合图像就是上述当前图像。其中，上述预设阈值的具体取值可以根据用户的需求进行自定义，在本示例实施方式中不做具体限定。
[0115]
在本示例实时方式中，还可以根据上述融合图像作为引导，使得对显著性区域以及边缘区域的细节不易丢失，使得得到的第一待输出图像的精度更好。
[0116]
在另一种示例实施方式中，可以根据上述差值图像的确定融合权重，差值图像的像素值越大，则第一滤波图像的融合权重值越大，能够使得第一待输出图像与当前图像的相似度更高。
[0117]
步骤s340，根据所述第二滤波图像和所述引导图像对所述当前图像进行对比度增强得到第二待输出图像。
[0118]
在本公开的一种示例实施方式中，参照图8所示，可以首先根据当前图像和第二滤波图像得到高通滤波图像，具体而言，将上述第二滤波图像与所述当前图像做差得到上述高通滤波图像，然后利用上述引导图像作为引导对上述高通滤波图像进行对比度增强860得到上述第二待输出图像。
[0119]
在本示例实施方式中，采用融合图像作为引导能够针对人眼较为敏感的细节部分需要重点增强，然后利用上述差值图像，对对比度增强的结果进行强化修正，进一步提升对图像优化的精度。
[0120]
步骤s350，根据所述第一待输出图像和所述第二待输出图像得到优化图像并输出。
[0121]
在本示例实施方式中，参照图8所示，在得到上述第二待输出图像之后，可以将上述第二待输出图像与上述第一待输出图像进行优化融合870，得到优化图像，具体而言，上述优化图像的像素矩阵可以是求解上述第一待输出图像的像素矩阵与第二待输出图像的像素矩阵的平均值得到。
[0122]
综上所述，本示例性实施方式中，一方面，将对图像进行去噪后得到的第二滤波图像参数直接应用到对图像的对比度增强，通过对计算结果的复用，降低了计算量和功耗，另一方面，同时利用空域滤波的结果在做对比度增强，解决了细节增强时噪声也增强的问题。进一步的，利用时域滤波后的第一待输出图像强化对比度增强的结果，提升了对图像的优化精度。
[0123]
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0124]
进一步的，参考图9所示，本示例的实施方式中还提供一种图像优化装置900，包括第一滤波模块910、第二滤波模块920、时域滤波模块930、图像增强模块940和图像优化模块
950。其中：
[0125]
第一滤波模块910用于获取当前图像以及参考图像，并对当前图像进行空域滤波，得到在第一滤波参数下的第一滤波图像以及在第二滤波参数下的第二滤波图像；其中，所述第二滤波参数大于所述第一滤波参数。
[0126]
在一示例性实施例中，第一滤波模块910可以用于对当前图像进行下采样得到两个相同的子图像；对子图像在预设窗口下进行均值滤波得到第一均值；对两个子图像的乘积在在预设窗口下进行均值滤波得到第二均值，并根据第一均值和第二均值得到第一方差；根据第一方差和第一滤波参数对当前图像进行导向滤波得到第一滤波图像；根据第一方差和第二滤波参数对当前图像进行导向滤波得到第二滤波图像；其中，第二滤波参数大于第一滤波参数，且参考图像包括当前图像的前一帧图像。
[0127]
第二滤波模块920可以用于对参考图像进行空域滤波，获取参考图像在第一滤波参数下的参考滤波图像。
[0128]
在一种示例实施方式中，第二滤波模块920可以对参考图像进行下采样得到两个相同的子参考图像；对子参考图像在预设窗口下进行均值滤波得到第三均值；对两个子参考图像的乘积在在预设窗口下进行均值滤波得到第四均值，并根据第三均值和第四均值得到第二方差；根据第二方差和第一滤波参数对参考图像进行导向滤波得到参考滤波图像。
[0129]
时域滤波模块930可以用于根据参考滤波图像对第一滤波图像进行时域滤波得到引导图像和第一待输出图像。
[0130]
在一种示例实施方式中，时域滤波模块930可以首先根据参考滤波图像对第一滤波图像进行时域滤波得到引导图像，具体而言，可以获取第一滤波图像与参考滤波图像的差值图像；获取第一滤波图像中的显著性区域图像；对第一滤波图像进行边缘检测，得到边缘图像将显著性区域图像和边缘图像进行融合得到融合图像；根据融合图像和差值图像得到引导图像；然后根据引导图像将第一滤波图像和参考滤波图像融合的第一待输出图像，具体而言，根据引导图像和差值图像对第一滤波图像和参考滤波图像进行融合得到第一待输出图像。
[0131]
图像增强模块940可以用于根据第二滤波图像和引导图像对当前图像进行对比度增强得到第二待输出图像。
[0132]
在本公开的一种示例实施方式中，图像增强模块940可以根据第二滤波图像和当前图像得到高通滤波图像；利用引导图像作为参考对高通滤波图像进行对比度增强得到第二待输出图像。
[0133]
图像优化模块950可以用于根据第一待输出图像和第二待输出图像得到优化图像并输出。
[0134]
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
[0135]
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0136]
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实
现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
[0137]
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0138]
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0139]
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0140]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0141]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。