图像处理方法、图像处理装置、电子设备及存储介质与流程

1.本公开涉及图像处理领域，更具体地讲，涉及一种图像处理方法、图像处理装置、电子设备及存储介质。


背景技术：

2.通常，在雾霾天气拍摄的图像可能因大气光的影响而劣化。由于在雾霾天气拍摄的图像为灰白色并且具有较少的边缘信息，因此，图像的可检测性将大大降低。因此，研究图像去雾处理具有重要的现实意义。在相关的图像去雾处理中，当在有雾图像中存在包含近白色区域(诸如，白色物体)或天空区域的场景时，可能会出现图像过饱和、边界区域模糊、天空区域的颜色失真、以及过度去雾等问题。
3.上述信息仅作为背景技术信息呈现，以帮助理解本公开。关于上述内容中的任何一个是否可作为关于本公开的现有技术适用，尚未作出任何决定和断言。


技术实现要素：

4.本公开的一些示例实施例提供一种图像处理方法、图像处理装置、电子设备及存储介质以至少解决上述问题和/或缺点。
5.根据本公开的示例实施例的一些方面，提供了一种图像处理方法，包括：确定输入图像的暗通道图像；根据暗通道图像的灰度直方图来确定大气光度；并且基于所述大气光度确定输入图像的去雾图像。
6.在一些示例实施例中，根据暗通道图像的灰度直方图来确定大气光度的步骤包括：基于对暗通道图像的像素进行统计，获得暗通道图像的灰度直方图；并且通过对所述灰度直方图进行灰度遍历来确定所述大气光度。
7.在一些示例实施例中，通过对所述灰度直方图进行灰度遍历来确定所述大气光度的步骤包括：对所述灰度直方图进行滤波；通过沿第一方向遍历滤波的灰度直方图，获得第一方向上的满足第一条件的第一点，其中，第一方向是灰度降低的方向；通过从所述第一点起沿第一方向继续遍历所述滤波的灰度直方图，判断是否存在与波谷对应的第二点，其中，第二点还满足第二条件；基于判断不存在第二点将与第一点对应的灰度值确定为所述大气光度，或者基于判断存在第二点将与第二点对应的灰度值确定为所述大气光度。
8.在一些示例实施例中，基于判断不存在第二点将与第一点对应的灰度值确定为所述大气光度，或者基于判断存在第二点将与第二点对应的灰度值确定为所述大气光度的步骤包括：基于存在与波谷对应且满足第二条件的第二点，将与该第二点对应的灰度值确定为所述大气光度，其中，该第二点是第一方向上的最初的第二点；并且基于不存在与波谷对应且满足第二条件的第二点，将与第一点对应的灰度值确定为所述大气光度。
9.在一些示例实施例中，第一条件是与第一点相应的像素数量大于或等于第一阈值，以及第二条件是与第二点对应的像素数量小于或等于第二阈值并且与第二点对应的灰度值大于或等于第三阈值。
10.在一些示例实施例中，基于所述大气光度确定输入图像的去雾图像的步骤包括：基于输入图像的亮度图像和所述大气光度确定透射率；基于所述透射率确定透射率映射权重；基于所述亮度图像、所述大气光度和所述透射率映射权重确定去雾的亮度图像；至少基于输入图像的色度图像和所述去雾的亮度图像确定去雾图像。
11.在一些示例实施例中，基于输入图像的亮度图像和所述大气光度确定透射率的步骤包括：基于所述亮度图像和所述大气光度确定基础透射率；基于所述基础透射率，获得精细化透射率；基于所述精细化透射率，获得所述透射率。
12.在一些示例实施例中，基于输入图像的亮度图像和所述大气光度确定透射率的步骤还包括：基于所述大气光度确定用于透射率更新的第四阈值，其中，第四阈值是大于0且小于或等于1的值；将所述透射率和第四阈值之中的较大值确定为更新的透射率。
13.在一些示例实施例中，至少基于输入图像的色度图像和所述去雾的亮度图像确定去雾图像的步骤包括：基于所述大气光度和所述亮度图像确定融合权重；通过将加强饱和度值和所述融合权重应用于所述色度图像和所述去雾的亮度图像来获得所述去雾图像。
14.根据本公开的一些示例实施例的一些方面，提供了一种图像处理装置，包括：暗通道图像确定单元，被配置为确定输入图像的暗通道图像；大气光度确定单元，被配置为根据暗通道图像的灰度直方图来确定大气光度；以及去雾处理单元，被配置为基于所述大气光度确定输入图像的去雾图像。
15.在一些示例实施例中，大气光度确定单元被配置为基于以下操作来根据暗通道图像的灰度直方图来确定大气光度：基于对暗通道图像的像素进行统计，获得暗通道图像的灰度直方图；并且通过对所述灰度直方图进行灰度遍历来确定所述大气光度。
16.在一些示例实施例中，大气光度确定单元被配置为通过以下操作来基于对所述灰度直方图进行灰度遍历来确定所述大气光度：对所述灰度直方图进行滤波；通过沿第一方向遍历滤波的灰度直方图，获得第一方向上的满足第一条件的第一点，其中，第一方向是灰度降低的方向；通过从所述第一点起沿第一方向继续遍历所述滤波的灰度直方图，判断是否存在与波谷对应的第二点，其中，第二点还满足第二条件；并且基于判断不存在第二点将与第一点对应的灰度值确定为所述大气光度，或者基于判断存在第二点将与第二点对应的灰度值确定为所述大气光度。
17.在一些示例实施例中，大气光度确定单元被配置为基于以下操作来基于判断不存在第二点将与第一点对应的灰度值确定为所述大气光度，或者基于判断存在第二点将与第二点对应的灰度值确定为所述大气光度：基于存在与波谷对应且满足第二条件的第二点，将与第二点对应的灰度值确定为所述大气光度，其中，该第二点是第一方向上的最初的第二点；以及基于不存在与波谷对应且满足第二条件的第二点，将与第一点对应的灰度值确定为所述大气光度。
18.在一些示例实施例中，第一条件是与第一点相应的像素数量大于或等于第一阈值，以及第二条件是与第二点对应的像素数量小于或等于第二阈值并且与第二点对应的灰度值大于或等于第三阈值。
19.在一些示例实施例中，去雾处理单元被配置为基于以下操作来基于所述大气光度确定输入图像的去雾图像：基于输入图像的亮度图像和所述大气光度确定透射率；基于所述透射率确定透射率映射权重；基于所述亮度图像、所述大气光度和所述透射率映射权重
确定去雾的亮度图像；并且至少基于输入图像的色度图像和所述去雾的亮度图像确定去雾图像。
20.在一些示例实施例中，去雾处理单元被配置为基于以下操作来基于输入图像的亮度图像和所述大气光度确定透射率：基于所述亮度图像和所述大气光度确定基础透射率；基于所述基础透射率，获得精细化透射率；并且基于所述精细化透射率，获得所述透射率。
21.在一些示例实施例中，去雾处理单元还被配置为基于以下操作来基于输入图像的亮度图像和所述大气光度确定透射率：基于所述大气光度确定用于透射率更新的第四阈值，其中，第四阈值是大于0且小于或等于1的值；并且将所述透射率和第四阈值之中的较大值确定为更新的透射率。
22.在一些示例实施例中，去雾处理单元被配置为基于以下操作来至少基于输入图像的色度图像和所述去雾的亮度图像确定去雾图像：基于所述大气光度和所述亮度图像确定融合权重；并且通过将加强饱和度值和所述融合权重应用于所述色度图像和所述去雾的亮度图像来获得所述去雾图像。
23.根据本公开的一些示例实施例的一些方面，提供了一种电子设备，包括：至少一个处理器；至少一个被配置为存储计算机可执行指令的非易失性存储器，其中，所述计算机可执行指令基于被所述至少一个处理器运行，促使所述至少一个处理器执行如上所述的图像处理方法。
24.根据本公开的一些示例实施例的一些方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质中的指令基于被至少一个处理器运行，促使所述至少一个处理器执行如上所述的图像处理方法。
25.根据本公开的一些示例实施例的图像处理方法、图像处理装置、电子设备及存储介质，能够在考虑到图像是否包含天空区域的情况下确定大气光度，为后续的图像处理提供了具有较高准确性的数据，并且处理过程简单，不会增加额外的过多的计算，从而在节省(例如，在处理时间、处理资源、功耗、组件劣化等方面的)计算成本的同时很好地优化图像处理的效果。根据本公开的一些示例实施例的图像处理方法、图像处理装置、电子设备及存储介质可以在不引入天空区域颜色异常的情况下通过暗原色去雾处理来实现改进的去雾效果。根据本公开的一些示例实施例的图像处理方法、图像处理装置、电子设备及存储介质可以提高天空区域的边界过渡区域的去雾强度，使得处理后的图像的整体效果更自然。根据本公开的一些示例实施例的图像处理方法、图像处理装置、电子设备及存储介质可以应用于或者很好地适用于许多图像处理场景，例如，具有大面积天空区域的应用场景。
26.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
27.通过以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显，其中：
28.图1是示出根据本公开的一些示例实施例的图像处理方法的流程图；
29.图2是示出根据本公开的一些示例实施例的灰度遍历的处理的流程图；
30.图3是示出根据本公开的一些示例实施例的基于大气光度确定去雾图像的处理的
流程图；
31.图4是示出根据本公开的一些示例实施例的图像处理装置的框图；以及
32.图5是示出根据本公开的一些示例实施例的电子设备的框图。
具体实施方式
33.为了使本领域普通人员更好地理解本公开的技术构思，下面将结合附图，对本公开的示例实施例中的技术构思进行清楚、完整地描述。
34.示例实施例和关于一些示例实施例使用的术语不旨在将本文描述的技术限制于特定实施例，并且应当被理解为包括一些示例实施例的各种修改、等同物和/或替代方案。如这里所使用的，诸如“a或b”、“a或b中的至少一个”、“a和b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”的描述中的每一个描述可包括在与所述多个描述中的相应一个描述中一起列举出的项的所有可能的组合。如这里所使用的，诸如“第一”和“第二”的术语可用于将相应项与另一项进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述项。
35.传统的图像去雾方法通常在于暗通道先验去雾方法。然而，通过对上万张无雾自然图像进行统计发现，对于晴朗无雾的非天空场景/非白色场景的自然图像，其任何一个局部区域始终存在一个或更多个这样的像素：rgb三个颜色通道之中的至少一个颜色通道的灰度值非常低，例如，接近于零，并且rgb三个颜色通道之中的具有最低的灰度值的通道可被称为暗通道。尽管一些示例实施例涉及rgb颜色通道，但本公开不限于此，并且可以使用其他颜色通道。传统的暗通道先验去雾方法可包括大气光度估计、透射率计算以及图像恢复的处理，具体如下：
36.首先，用于去雾处理的去雾模型如等式(1)所示：
[0037][0038]
其中，i(x)表示观察到的有雾图像；j(x)表示无雾图像，即目标图像；a表示大气光度(也可以被称为大气光值)；表示透射率；x表示像素点。
[0039]
传统的去雾方法的目的在于从有雾图像i(x)恢复无雾图像j(x)。在传统的暗通道先验去雾方法中，通过等式(2)从原始图像计算暗通道图像j
dark
(x)：
[0040][0041]
其中，ω(x)表示以像素点x为中心的方形窗口；jc(y)表示无雾图像j的任意一个颜色通道的图像，也就是说，c表示rgb三个颜色通道之中的某个通道，其中，y表示属于ω(x)的范围内的像素点。
[0042]
通常的大气光度估计的过程主要包括：按照亮度的大小获取暗通道图像中的前0.1％的像素值的像素，在原始有雾图像中寻找与获取的像素相应的点，并且将寻找的点中亮度最高的点的亮度值确定为大气光度a的值。通常，大气光度取值为255。
[0043]
在确定了大气光度之后，通过等式(3)计算透射率：
[0044][0045]
其中，参数ω是用于调整去雾程度的参数，其是大于或等于0且小于或等于1的值，当ω为0时，表示不去雾，当ω为1时，表示全部去雾。
[0046]
最后，通过等式(4)将有雾图像恢复为无雾图像：
[0047][0048]
其中，为了避免无雾图像j过曝，引入常数值t0，t0通常为0.1。
[0049]
通过传统的暗通道先验的去雾方法可以实现去雾，但由于暗通道先验的去雾方法是一种基于统计的处理方法，其依赖于对大量的无雾照片的统计结果，该方法在应用上存在限制。例如，在图像中存在与大气光场景类似的区域(例如，大面积近白色图案区域)或天空区域的情况下，由于传统的暗通道先验的去雾方法没有针对这类有雾图像进行处理，因此，针对这类有雾图像使用传统的暗通道先验的去雾方法将无法获得满意的效果。例如，针对上述有雾图像，可能出现暗通道优先规律失效的问题，从而造成图像过饱和、边界模糊、天空区域明显可见的色彩失真等现象。
[0050]
综上，在相关的图像处理方法存在较大去雾失效的风险且去雾处理应用限制较大的情况下，针对具有与大气光场景类似的场景的有雾图像的去雾图像处理尤为重要。本公开考虑到相关技术存在的上述问题，提出基于暗通道图像的直方图确定大气光度的图像处理方法、图像处理装置、电子设备和存储介质。下面将参照图1至图4对根据本公开的一些示例实施例的图像处理方法、图像处理装置、电子设备和存储介质进行详细描述。
[0051]
应该理解，上述应用场景仅作为示例，根据本公开的一些示例实施例不局限于上述应用场景。在下文中，为了便于描述，尽管根据本公开的一些示例实施例描述了考虑天空区域对图像进行处理，但本领域的普通技术人员将理解的是，该描述仅作为示例性描述，天空区域可包括但不限于任何其他图像区域。此外，在下文中，亮度图像可表示亮度域的图像或相应图像的亮度分量(y)，色度图像可表示色度域的图像或相应图像的色度分量(uv)。
[0052]
首先，将参照图1至图3来描述根据本公开的一些示例实施例的图像处理方法。
[0053]
图1是示出根据本公开的一些示例实施例的图像处理方法的流程图。
[0054]
参照图1，在操作s101，确定输入图像的暗通道图像。这里，根据本公开的一些示例实施例的输入图像可包括将被图像处理的有雾图像，例如，但不限于，rgb格式的原始图像i。例如，可通过上述的等式(2)计算rgb格式的输入图像i的暗通道图像j
dark
，在此不进行重复描述。
[0055]
在操作s102，根据暗通道图像的灰度直方图来确定大气光度。根据本公开的一些示例实施例，大气光度可包括非天空区域的最亮点的灰度值。由于不同的暗通道图像的灰度直方图的差异可能较大，因此基于暗通道图像的灰度直方图可以确定根据本公开的一些示例实施例的大气光度。
[0056]
根据本公开的一些示例实施例，根据暗通道图像的灰度直方图来确定大气光度的步骤可包括：通过基于各个像素灰度(或灰度值)对暗通道图像的像素进行统计，获得暗通道图像的灰度直方图；通过对所述灰度直方图进行灰度遍历来确定所述大气光度。
[0057]
例如，暗通道图像的灰度直方图可被用于表示暗通道图像中的各个灰度出现的频率与灰度的关系。灰度直方图的横坐标可表示灰度或灰度值并且是在1至255之间的值，灰度越大，亮度越高。灰度直方图的纵坐标可表示像素数量并且可反映具有同一灰度值的像素出现的频率，与某一灰度值相应的像素数量越多，与该灰度值相应的像素出现频率就越高。
[0058]
在获得了暗通道图像的灰度直方图的情况下，可通过对灰度直方图进行灰度遍历确定用于后续图像处理的大气光度，下面将参照图2详细描述对通过对所述灰度直方图进行灰度遍历来确定所述大气光度的步骤。
[0059]
图2是示出根据本公开的一些示例实施例的灰度遍历的处理的流程图。图2示出图1的操作s102的描述。
[0060]
参照图2，根据本公开的一些示例实施例，从图1的操作s101起，在步骤s201，对所述灰度直方图进行滤波。例如，首先，可对获得的暗通道图像的灰度直方图进行滤波以获得平滑的曲线。例如，滤波方法包括但不限于，高斯滤波，通过使用滤波处理较为简单的高斯滤波对灰度直方图进行滤波，可获得可保持更多的原有形状的滤波的灰度直方图。
[0061]
然后，在获得了滤波的灰度直方图的情况下，可沿灰度降低的第一方向遍历滤波的灰度直方图，也就是说，沿灰度直方图的横轴的从最亮值至最低值(例如，灰度降低的方向)遍历灰度直方图，以寻找用于确定大气光度的候选点。根据本公开的一些示例实施例，用于确定大气光度的候选点可被定义为非天空区域的最亮点，可包括但不限于，在图像中具有天空区域时的非天空区域的最亮点以及/或者在图像中没有天空区域时的整体图像的最亮点。
[0062]
在操作s202，通过沿第一方向遍历滤波的灰度直方图，获得第一方向上的第一个满足第一条件的第一点，其中，第一方向是灰度降低的方向。
[0063]
例如，根据本公开的一些示例实施例，可将遍历过程中的第一个具有大于或等于第一阈值的像素数量的点(例如，沿横轴的反方向的第一个纵坐标大于或等于第一阈值的点)确定为第一点，该第一点可被认为是在图像中没有天空区域时(例如，包括但不限于，在图像中不存在天空区域、或者可以忽略图像中的天空区域对图像处理的影响的情况)的整体图像的最亮点。根据本公开的一些示例实施例，第一条件可以是，但不限于，与第一点相应的像素数量大于或等于第一阈值。这里，第一阈值可以是根据经验预设的值，或者可选地，期望或选择的值，例如，第一阈值为10、12等。
[0064]
在确定了第一点的情况下，从第一点起继续沿灰度降低的第一方向的遍历过程。在操作s203，通过从所述第一点起沿第一方向继续遍历所述滤波的灰度直方图，判断是否存在满足第二条件的与波谷对应的第二点。
[0065]
例如，根据本公开的一些示例实施例，可判断与继续进行的遍历过程中的一个或更多个波谷(例如，从第一点起沿横轴的反方向上的一个或更多个波谷)相应的一个或更多个点中是否存在满足第二条件的第二点，其中，所述一个或更多个点可被认为是在图像中具有天空区域时(例如，包括但不限于，在图像中存在天空区域、或者必须考虑图像中的天空区域对图像处理的影响的情况)的非天空区域的一个或更多个最亮点，也就是说，判断在上述情况下的一个或更多个最亮点中是否存在满足第二条件的第二点。
[0066]
使用在考虑了天空区域的情况下的第二点确定大气光度的准确性可比使用在没
有考虑天空区域的情况下的第一点确定大气光度的准确性高。然而，在图像处理时，原始图像不总是包括天空区域，这时，如果使用第二点确定大气光度可能不具有较高的准确性。此外，可能确定了多个与波谷相应的最亮点，而仅其中的一个最亮点可以是用于大气光度的参考的最亮点。因此，通过使用第二条件，可判断与一个或更多个波谷对应的一个或更多个点中是否存在满足第二条件的第二点，进而根据第二点是否存在的判断结果，将与第一点或第二点对应的灰度值确定为具有较高精度的大气光度。
[0067]
在操作s204，根据操作s203的第二点是否存在的判断的结果，将与第一点或第二点对应的灰度值确定为所述大气光度。
[0068]
根据本公开的一些示例实施例，根据判断的结果，将与第一点或第二点对应的灰度值确定为所述大气光度的步骤可包括：如果存在满足第二条件的与波谷对应的第二点，则将与第一方向上的第一个第二点对应的灰度值确定为所述大气光度；以及如果不存在满足第二条件的与波谷对应的第二点，则将与第一点对应的灰度值确定为所述大气光度。根据本公开的一些示例实施例，第二条件可以是，但不限于，与第二点对应的像素数量小于或等于第二阈值并且与第二点对应的灰度值大于或等于第三阈值。在一些示例实施例中，第二阈值和第三阈值可以是根据经验预设的值，或者可选地，期望或选择的值，例如，第二阈值可以是160，第三阈值可以是128。
[0069]
例如，存在满足第二条件的与波谷对应的第二点可表示存在合格的非天空区域的最亮点。例如，适合于确定大气光度的非天空区域的最亮点可以是与灰度降低的第一方向上的第一个第二点对应的灰度值。因此，在一些示例实施例中，第二点可以用于确定为大气光度。不存在满足第二条件的与波谷对应的第二点可表示不存在非天空区域或没有成功寻找到非天空区域的最亮点。因此，在一些示例实施例中，可认为不存在天空区域的最亮点，可将与第一点对应的灰度值用于确定为大气光度。像这样，通过遍历处理(例如，通过改进根据一些示例实施例所描述的大气光度的选择标准)对大气光度的估计改进了传统的选取前0.1％的像素的大气光度估计方法。
[0070]
通过根据本公开的一些示例实施例的图像处理方法，能够在考虑到图像是否包含天空区域的情况下确定大气光度，为后续的图像处理提供了具有较高准确性的数据，并且处理方法简单，不会增加额外的过多的计算，从而在节省计算成本的同时很好地优化和/或改进图像处理的效果。例如，可以基于本公开中描述的处理方法来改善电学组件的功耗、处理时间和/或寿命效率。
[0071]
在操作s103，在操作s204之后，基于所述大气光度确定输入图像的去雾图像。下面将参照图3对基于所述大气光度确定输入图像的去雾图像的步骤进行详细描述。
[0072]
图3是示出根据本公开的一些示例实施例的基于大气光度确定去雾图像的处理的流程图。图3示出图1的操作s103的描述。
[0073]
参照图3，根据本公开的一些示例实施例，从操作s102起，在步骤s301，基于输入图像的亮度图像和所述大气光度确定透射率。在一些示例实施例中，在输入图像是rgb图像的情况下，可将rgb图像转换为输入图像的亮度图像和色度图像，基于输入图像的亮度图像来进行去雾处理，最终将输入图像的色度图像与去雾的亮度图像结合以确定最终的去雾图像。除了如本领域普通技术人员将理解的含义之外，rgb图像还可指包括与红色(r)、绿色(g)和蓝色(b)颜色等级(color level)相关的图像数据的图像。除了本领域普通技术人员
将理解的含义之外，亮度图像还可指包括与亮度、或者黑与白、或非彩色(achromatic)等级相关的图像数据的图像。除了本领域普通技术人员将理解的含义之外，色度图像还可指包括与颜色等级相关的图像数据的图像。
[0074]
根据本公开的一些示例实施例，基于输入图像的亮度图像和所述大气光度确定透射率的步骤可包括：基于所述亮度图像和所述大气光度确定基础透射率；基于所述基础透射率，获得精细化透射率；并且基于所述精细化透射率，获得所述透射率。
[0075]
例如，在一些示例实施例中，通过等式(5)基于所述亮度图像和所述大气光度确定基础透射率t
base
：
[0076]
t
base
＝1-ω
×
y/a (5)
[0077]
其中，ω是用于调整去雾程度的参数，其是根据经验预设的值，或者可选地，期望或选择的值，并且可以是小于或等于1且大于或等于0的值，例如，ω可以是0.9；y为输入图像的亮度图像；a是在操作s102确定的大气光度。
[0078]
然后，通过对基础透射率进行滤波来获得精细化透射率。例如，滤波方法包括但不限于，导向滤波。
[0079]
然后，通过对精细化透射率取绝对值来确定用于图像处理的透射率。
[0080]
此外，如果透射率过小，可能会造成最终得到的无雾图像过曝，噪声也会较为明显。因此，可使用第四阈值以便于避免计算出的透射率过小，设定第四阈值以确定恰当的或最小的透射率。根据本公开的一些示例实施例，基于输入图像的亮度图像和所述大气光度确定透射率的步骤还可包括：基于所述大气光度确定用于透射率更新的第四阈值，其中，第四阈值是大于0且小于或等于1的值；并且将所述透射率和第四阈值之中的较大值确定为更新的透射率。
[0081]
例如，可通过以下等式(6)确定第四阈值t4：
[0082]
t4＝ min(1-a /256 t_p,1) (6)
[0083]
其中，t_p是根据经验预设的常数值，或者可选地，期望或选择的值；以及a是在操作s102确定的大气光度。
[0084]
像这样，通过考虑到去雾程度和透射率下限的透射率确定处理，可以确定较为恰当的透射率并(例如，按照及时或快速的方式)调整透射率的值，从而提高图像处理的精度，避免透射率过小造成恢复的无雾图像过度去雾，并且改进资源分配，例如被配置为执行透射率确定的处理电路的资源分配。上述根据本公开的一些示例实施例的透射率的确定仅作为示例，本领域的技术人员还可以通过任何其他适当的方式确定透射率。
[0085]
在操作s302，基于所述透射率确定透射率映射权重。例如，可通过等式(7)基于在操作s301确定的透射率确定透射率映射权重w_t：
[0086]
w_t＝1-a
×
log(t) (7)
[0087]
其中，t是如上所述所确定的透射率；a是根据经验预设的常数值，例如，a可以是1.5。
[0088]
在操作s303，基于所述亮度图像、所述大气光度和所述透射率映射权重确定去雾的亮度图像。例如，基于根据如上所述的方法确定的大气光度和透射率映射权重对光度图像进行计算以获得去雾的亮度图像。根据本公开的一些示例实施例，可通过等式(8)确定去雾的亮度图像y_d：
[0089]
y_d＝(y-a)
×
w_t a
ꢀꢀ
(8)
[0090]
其中，a是在操作s102确定/更新的大气光度；以及y为输入图像的亮度图像。
[0091]
然后，在操作s304，至少基于输入图像的色度图像和所述去雾的亮度图像确定去雾图像。换句话说，在确定了去雾的亮度图像的情况下，基于色度图像和去雾的亮度图像确定最终的去雾图像。
[0092]
根据本公开的一些示例实施例，至少基于输入图像的色度图像和所述去雾的亮度图像确定去雾图像的步骤包括：基于所述大气光度和所述亮度图像确定融合权重；并且通过将加强饱和度值和所述融合权重应用于所述色度图像和所述去雾的亮度图像来获得所述去雾图像。
[0093]
例如，根据本公开的一些示例实施例的融合权重可以是用于衡量去雾的亮度图像的融合程度的值。作为示例，可通过等式(9)确定融合权重wa：
[0094][0095]
其中，a是在操作s102确定的大气光度；y为输入图像的亮度图像；deta是根据经验预设的常数值，或者可选地，期望或选择的常数值。
[0096]
然后，通过等式(10)确定去雾图像的亮度图像j_y和色度图像j_u和j_v：
[0097][0098]
其中，u是色度图像的u分量，v是色度图像的v分量，sat是用于加强色度图像的饱和度的加强饱和度值，其可以是根据经验预设的值，或者可选地，期望或选择的值，并且例如，可以是0.5至1之间的值。
[0099]
像这样，通过考虑融合权重和加强饱和度来确定最终的去雾图像，可以改进无雾图像的恢复，降低图像处理对原始图像的影响。
[0100]
综上，根据本公开的一些示例实施例，首先可通过对输入图像的rgb图像进行处理来确定大气光度，然后例如可通过基于大气光度对输入图像的yuv图像进行处理来确定色度图像和去雾的亮度图像，因此，最终获得去雾图像。
[0101]
根据本公开的一些示例实施例的图像处理方法可以在保持一致的天空颜色的同时(例如，在不引入天空区域颜色异常的情况下)通过暗原色去雾处理来实现改进的去雾效果。根据本公开的一些示例实施例的图像处理方法可以提高天空区域的边界过渡区域的去雾强度，使得处理后的图像的整体效果更自然。根据本公开的一些示例实施例的图像处理方法可以应用并且/或者很好地适用于许多图像处理场景，例如，具有大面积天空区域的图像处理场景。
[0102]
图4是示出根据本公开的一些示例实施例的图像处理装置的框图。
[0103]
参照图4，根据本公开的一些示例实施例的图像处理装置400可包括暗通道图像确定单元401、大气光度确定单元402和去雾处理单元403。
[0104]
根据本公开的一些示例实施例的暗通道图像确定单元401可被配置为确定输入图像的暗通道图像。根据本公开的一些示例实施例的大气光度确定单元402可被配置为根据暗通道图像的灰度直方图来确定大气光度。根据本公开的一些示例实施例的去雾处理单元403可被配置为基于所述大气光度确定输入图像的去雾图像。
[0105]
也就是说，暗通道图像确定单元401可执行与如上参照图1所述的图像处理方法的操作s101相应的操作，大气光度确定单元402可执行与如上参照图1和图2所述的图像处理方法的操作s102相应的操作，去雾处理单元403可执行与如上参照图1和图3所述的图像处理方法的操作s103相应的操作。
[0106]
根据一些示例实施例，暗通道图像确定单元401和/或图像处理装置400可以接收输入图像的输入图像数据。输入图像数据可以包含与有雾图像相关的图像数据。输入图像数据可以包含或伴随有指示图像处理装置400和/或暗通道图像确定单元401执行关于图1和上述其他示例实施例描述的处理的信号、命令、数据或其他特征。也就是说，图像处理装置400可以对接收到的图像数据执行所公开的操作。
[0107]
在一些示例实施例中，暗通道图像确定单元401可以执行与如上参考图1所述的图像处理方法的操作s101相应的操作，并且可以(例如，向大气亮度确定单元402)发送确定的暗通道图像。
[0108]
根据本公开的一些示例实施例，大气光度确定单元402可以从暗通道图像确定单元接收发送的、确定的暗通道图像。
[0109]
在一些示例实施例中，大气光度确定单元402被配置为通过以下操作来根据暗通道图像的灰度直方图来确定大气光度：通过基于各个像素的灰度值对暗通道图像的像素进行统计，获得暗通道图像的灰度直方图；并且通过对所述灰度直方图进行灰度遍历来确定所述大气光度。
[0110]
根据本公开的一些示例实施例，大气光度确定单元402被配置为通过以下操作来通过对所述灰度直方图进行灰度遍历来确定所述大气光度：对所述灰度直方图进行滤波；通过沿第一方向遍历滤波的灰度直方图，获得第一方向上的第一个满足第一条件的第一点，其中，第一方向是灰度降低的方向；通过从所述第一点起沿第一方向继续遍历所述滤波的灰度直方图，判断是否存在满足第二条件的与波谷对应的第二点；并且根据所述判断的结果，将与第一点或第二点对应的灰度值确定为所述大气光度。在一些示例实施例中，大气光度确定单元402可以(例如，向去雾处理单元403)发送确定的大气光度。
[0111]
根据本公开的一些示例实施例，大气光度确定单元402被配置为通过以下操作来根据所述判断的结果，将与第一点或第二点对应的灰度值确定为所述大气光度：如果存在满足第二条件的与波谷对应的第二点，则将与第一方向上的第一个第二点对应的灰度值确定为所述大气光度；并且以及如果不存在满足第二条件的与波谷对应的第二点，则将与第一点对应的灰度值确定为所述大气光度。在一些示例实施例中，大气光度确定单元402可以(例如，向去雾处理单元403)发送确定的大气光度。
[0112]
根据本公开的一些示例实施例，第一条件是与第一点相应的像素数量大于或等于第一阈值，以及第二条件是与第二点对应的像素数量小于或等于第二阈值并且与第二点对应的灰度值大于或等于第三阈值。
[0113]
根据本公开的一些示例实施例，去雾处理单元403可以(例如，从大气光度确定单
元402)接收发送的、确定的大气光度。根据本公开的一些示例性实施例，去雾处理单元403被配置为通过以下操作来基于所述大气光度确定输入图像的去雾图像：基于输入图像的亮度图像和所述大气光度确定透射率；基于所述透射率确定透射率映射权重；基于所述亮度图像、所述大气光度和所述透射率映射权重确定去雾的亮度图像；至少基于输入图像的色度图像和所述去雾的亮度图像确定去雾图像。根据本公开的一些示例实施例，去雾处理单元403被配置为将输入图像的去雾图像和/或去雾图像数据输出到外部(例如，这里未示出的电子装置的处理器和/或显示器)。在一些示例实施例中，去雾处理单元403可以将去雾图像的去雾图像数据发送到外部(例如，这里未示出的电子装置的处理器和/或显示器)。
[0114]
根据本公开的一些示例实施例，去雾处理单元403被配置为通过以下操作来基于输入图像的亮度图像和所述大气光度确定透射率：基于所述亮度图像和所述大气光度确定基础透射率；基于所述基础透射率，获得精细化透射率；并且基于所述精细化透射率，获得所述透射率。
[0115]
根据本公开的一些示例实施例，去雾处理单元403还被配置为通过以下操作来基于输入图像的亮度图像和所述大气光度确定透射率：基于所述大气光度确定用于透射率更新的第四阈值，其中，第四阈值是大于0且小于或等于1的值；并且将所述透射率和第四阈值之中的较大值确定为更新的透射率。
[0116]
根据本公开的一些示例实施例，去雾处理单元403被配置为通过以下操作来至少基于输入图像的色度图像和所述去雾的亮度图像确定去雾图像：基于所述大气光度和所述亮度图像确定融合权重；并且通过将加强饱和度值和所述融合权重应用于所述色度图像和所述去雾的亮度图像来获得所述去雾图像。
[0117]
关于上述实施例中的图像处理装置400，各个单元执行操作的具体方式已经在相关的图像处理方法的一些示例实施例中进行了详细描述，此处将不做详细阐述说明。
[0118]
此外，应当理解的是，根据本公开一些示例实施例的图像处理装置400中的各个单元可被实现为硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(fpga)或专用集成电路(asic)来实现各个单元。在一些示例实施例中，暗通道图像确定单元401、大气光度确定单元402和去雾处理单元403可以被实现为单独的组件，或者可以彼此组合。在一些示例实施例中，暗通道图像确定单元401、大气光度确定单元402和去雾处理单元403中的一个可以执行如上所公开的暗通道图像确定单元401、大气层光度确定单元403和去雾处理单元403中的另一个的一些或全部功能。
[0119]
图5是示出根据本公开的一些示例实施例的电子设备的框图。
[0120]
参照图5，还提供了一种电子设备10。电子设备10包括：至少一个处理器200和至少一个存储器300，其中，至少一个存储器300包括存储计算机可执行指令的至少一个非易失性存储器，其中，所述计算机可执行指令在被所述至少一个处理器200运行时，促使所述至少一个处理器200执行如上所述的图像处理方法。也就是说，处理器200可以包括与图4的图像处理装置400相应的图像处理单元410，并且可以执行其功能，或者可选地，处理器200可指示图像处理装置400执行如上所述的图像处理方法。
[0121]
根据本公开的一些示例实施例，电子设备可以是pc计算机、平板装置、个人数字助理、智能手机、以及/或其他能够执行上述指令集合的装置。这里，电子设备并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合
体。电子设备还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
[0122]
在电子设备中，处理器200可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器和/或微处理器。作为示例而非限制，处理器200还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0123]
处理器200可运行存储在存储器300中的指令或代码，其中，存储器300还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
[0124]
存储器300可包括非易失性存储器，并与处理器集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器300可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器300和处理器200可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器能够读取存储在存储器中的文件。
[0125]
此外，电子设备10还可包括视频显示器(诸如，液晶显示器)500和用户交互接口600(诸如，键盘、鼠标、触摸输入装置等中的一个或更多个)。电子设备的所有组件可经由总线(未示出)和/或网络(未示出)而彼此连接。
[0126]
此外，在一些示例实施例中，电子设备10可以包括图像捕捉装置700，其中，图像捕捉装置700能够收集或以其他方式生成与图像相应的图像数据。图像可与以上讨论的有雾图像相应，并且图像数据可与以上讨论的图像数据相应。在一些示例实施例中，电子设备10不具有图像捕捉装置700，并且可以从外部接收图像数据。
[0127]
在一些示例实施例中，视频显示器500、用户交互接口600和/或图像捕捉装置700中的一些或全部可以从电子设备10中排除。
[0128]
根据本公开的一些示例实施例，还可提供一种(与存储器300相应的)计算机可读存储介质，其中，当所述计算机可读存储介质中的指令被至少一个处理器200运行时，促使所述至少一个处理器200执行如上所述的图像处理方法。
[0129]
根据本公开的一些示例实施例，计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd r、cd-rw、cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等电子设备中部署的环境中运行，此外，在一些示例实施例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
[0130]
本领域技术人员在考虑说明书及实践这里公开的发明后，将可以识别本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和示例实施例仅被视为示例，本公开的真正范围和精神由权利要求指出。
[0131]
第一条件和第二条件以及饱和值可被各种选择、确定、预定或期望。例如，各种条件可以在图像处理装置中被预先确定，或者可以基于图像生成硬件来确定，或者以其他方式基于本公开并且如本领域普通技术人员所理解的被选择。
[0132]
当术语“大约”或“基本上”在本说明书中与数值结合使用时，其旨在相关数值包括所述数值左右的制造或操作公差(例如，
±
10％)。此外，当单词“大体上”和“基本上”与几何形状结合使用时，其旨在不要求几何形状的精度，但形状的自由度在本公开的范围内。此外，无论数值或形状是被修改为“大约”还是“基本上”，都应当理解为这些数值和形状应包括所述数值或所述形状左右的制造或操作公差(例如，
±
10％)。
[0133]
如本文所述，根据任何示例实施例的任何电子装置和/或其部件可以包括处理电路(诸如，包括逻辑电路的硬件；硬件/软件组合，例如，执行软件的处理器；或硬件和硬件/软件组合的任意组合)的一个或多个实例、可被包括在所述处理电路的一个或多个实例中和/或可以由所述处理电路的一个或多个实例实现。例如，处理电路更具体地可以包括但不限于，中央处理器(cpu)、算术逻辑单元(alu)、图形处理单元(gpu)、应用处理器(ap)、数字信号处理器(dsp)、微型计算机、现场可编程门阵列(fpga)和可编程逻辑单元、微处理器、专用集成电路(asic)、神经网络处理单元(npu)、电子控制单元(ecu)、图像信号处理器(isp)等。在一些示例实施例中，处理电路可以包括：存储指令程序的非暂时性计算机可读存储装置(例如，存储器)，例如，dram装置；以及处理器(例如，cpu)，被配置为执行指令程序以实现由根据任何示例实施例的任何装置、系统、模块、单元、控制器、电路、架构中的一些或全部、以及/或者装置、系统、模块、单元、控制器、电路、架构的部分所执行的功能和/或方法，以及/或者所述功能和/或方法的任何部分。
[0134]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由权利要求来限制。