一种融合超像素与窗口偏移的边缘感知引导滤波方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种融合超像素与窗口偏移的边缘感知引导滤波方法。


背景技术：

2.图像在成像、传输、压缩等过程中会受到各种因素的影响，不可避免地会产生噪声从而影响图像的质量。为了有效降低噪声、伪影等带来的干扰，提升图像的品质，在图像预处理阶段对图像进行滤波操作是一项非常重要的工作。边缘保留滤波技术在计算机视觉和图像处理应用中起着非常重要的作用，如图像去噪、图像细节增强、结构转移、图像去雾、图像融合等。迄今为止，已经提出并发展了大量具有边缘保留滤波特性的滤波器，代表性方法主要有双边滤波及其相关改进方法、加权最小二乘滤波、域变换滤波、引导滤波等，其中双边滤波和引导滤波因其简单且高效而得到了广泛应用。
3.双边滤波虽然简单易用，但不能保持边缘处像素梯度方向的一致性，因此可能会受到边缘附近的梯度反转伪影影响，尤其在应用于图像细节增强时最为严重。为了克服双边滤波这一缺点，2010年，he等人提出引导滤波，该方法从局部线性模型出发，考虑引导图像的相关信息，计算滤波输出。引导滤波不仅具有双边滤波的边缘保留特性，而且可以避免产生梯度反转伪影，因此被广泛应用于边缘感知平滑、细节增强、图像羽化、高动态范围压缩、图像融合、图像去噪、图像去雾等领域。同时，受其引导策略的启发，几种边缘保留方法相继被提出，引导滤波在图像处理领域也受到越来越多的关注。
4.引导滤波不仅有着和双边滤波一样的处理速度，而且可以避免梯度反转伪影。但是，引导滤波中的正则化因子是固定不变的。因此，当像素点位于边缘结构处时，将不可避免地出现模糊现象。2015年，li等人在引导滤波基础上提出加权引导滤波，使用边缘感知权重改善引导滤波相同惩罚因子这一问题。针对不同的像素点设置不同的正则项惩罚因子，达到更好保留边缘的效果。同年，受边缘感知与梯度渐变的启发，kou等人结合明确的一阶边缘感知约束进一步改进加权引导滤波，提出比引导滤波和加权引导滤波边缘保留能力更强的梯度域引导滤波。通过邻域的标准差，定义新的边缘感知权重。之后，long等人提出基于log边缘算子改进的加权引导滤波算法，通过在局部窗口内计算log幅值响应，使惩罚因子能对不同区域自适应感知，进一步突出边缘像素和平坦区域像素之间的差异。2016年，xie等人提出融合梯度信息的改进引导滤波算法，借助引导图像的梯度信息来判断图像边缘位置，并结合指数函数设计权值来控制不同图像区域内的平滑力度，避免图像边缘附近由于过度模糊导致的光晕现象。2017年，lu等人提出双引导滤波，通过将图像分解为边缘结构与纹理细节进行双引导，同时实现结构感知与纹理感知，去除纹理的同时更好的保留结构边缘。2018年，ham等人提出一种鲁棒性更强的滤波算法，同时考虑引导图像和输入图像的结构信息，达到对异常值更加鲁棒且边缘保留能力良好的效果。2019年，yin等人提出侧窗引导滤波，通过将每个像素点规则窗口分解为上、下、左、右、东北、西北、东南、西南八个窗口，改进引导滤波的边缘保留性能。2020年，sun等人利用转向内核自适应地感知梯度方
向，提出一种充分利用边缘方向信息的改进引导滤波。同年，ochotorena等人提出一种各向异性的引导滤波算法，利用加权平均实现最大扩散，同时保留图像中的显著边缘，通过基于局部邻域差异优化的权重，实现各向异性滤波，并仍旧具有引导滤波计算高效特点。2021年，deng等人利用局部插值特性，结合广义伽马分布参数估计，通过引导滤波将图像平滑与锐化两个操作集成，只需要调节一个参数值就能实现图像的平滑与锐化操作。
5.引导滤波在边缘附近可能会出现光晕伪影现象，虽然后续的一些改进方法在一定程度上改善了这类问题，使其边缘保留能力更强。但本技术的发明人经过研究发现，由于均值滤波的各向同性，对局部窗口中的所有像素赋予相同的权重，忽略了图像边缘的特征信息，从而导致边缘模糊。考虑到边缘结构信息在滤波处理中的重要作用，因而如何创新地充分利用边缘特征信息进行改进是一项具有重要意义的工作。


技术实现要素：

6.针对现有引导滤波由于均值滤波的各向同性，对局部窗口中的所有像素赋予相同的权重，忽略了图像边缘的特征信息，从而导致边缘模糊的技术问题，本发明提供一种融合超像素与窗口偏移的边缘感知引导滤波方法，通过融合超像素与窗口偏移，改进局部滤波窗口，提高引导滤波方法的边缘保留能力，同时达到对于细节信息的平滑效果。
7.为了解决上述技术问题，本发明采用了如下的技术方案：
8.一种融合超像素与窗口偏移的边缘感知引导滤波方法，包括以下步骤：
9.s1、采用双边滤波对输入图像进行预处理，然后采用slic算法对预处理后的图像进行超像素分割，得到更加准确的超像素区域；
10.s2、计算输入图像每个像素点不同局部窗口内的rtv值，选择最小的rtv值进行窗口偏移，得到基于rtv值的局部最佳滤波窗口；
11.s3、选取偏移后的窗口与当前像素点所在超像素区域的重叠部分作为滤波区域，该滤波区域包含的像素点与当前处理像素点高度相似；
12.s4、通过不同尺度局部窗口保留结构边缘的同时平滑细节信息，结合上一次的滤波结果与超像素区域进行迭代引导滤波，最后融合不同尺度的滤波结果得到最终滤波输出；
13.s5、针对图像滤波的结果，提出参考滤波图像与输入图像异同比较以及滤波图像自身特征的评价指标，用于反映图像滤波效果评价。
14.进一步，所述步骤s2具体包括：
15.s21、将包含噪声、纹理在内的信息定义为图像信号的空间振荡，假设包含噪声、纹理在内的信息具有比相邻结构边缘更小的幅值，则通过下式(1)中的色度范围δ(ωk)来衡量该局部窗口是否包含结构边缘；然后，通过窗口偏移选择具有最小色度范围的局部窗口，但如果包含噪声、纹理在内的信息的局部窗口色度范围与附近的边缘结构一样或接近，则最终使用下式(2)中的rtv(ωk)来度量最佳局部窗口：
16.δ(ωk)＝i
max
(ωk)-i
min
(ωk)
ꢀꢀꢀꢀꢀ
式(1)
[0017][0018][0019]
其中，i
max
(ωk)和i
min
(ωk)分别表示该局部窗口像素强度的最大值与最小值，δ(ωk)表示局部窗口ωk内的色度范围，表示输入图像i在像素点j的梯度，ε表示一个很小的正数，表示输入图像i在像素点j的x方向梯度的平方，表示输入图像i在像素点j的y方向梯度的平方；
[0020]
s22、对于输入图像中的每个像素，选择rtv值最小的窗口进行偏移，得到局部最佳滤波窗口。
[0021]
进一步，所述步骤s4具体包括：
[0022]
s41、首先通过小尺度局部窗口得到的滤波区域，与输入图像进行自引导滤波得到滤波结果；
[0023]
s42、然后使用上一次的滤波结果与步骤s1中得到的超像素区域进行滤波窗口大小更大的引导滤波，得到不同尺度滤波窗口下的引导滤波系数：
[0024][0025][0026]
其中，和表示尺度为s时像素点k的系数，和是引导图像g在最终滤波区域内的均值和方差，是滤波区域的像素点个数，λ表示一个很小的正数，表示输入图像i在滤波区域的均值：
[0027][0028]
s43、融合不同局部窗口大小的引导滤波结果，通过下式计算得到最终的输出图像：
[0029][0030]
[0031][0032]
其中，和表示像素点k在不同尺度下系数的均值，n表示尺度滤波窗口的个数，qk表示像素点k的最终滤波输出值。
[0033]
进一步，所述步骤s5具体包括：
[0034]
s51、从已公开的现有纹理图像数据集中通过挑选收集到多幅图像，使用极小阈值的canny算子对输入图像进行边缘检测，得到结构与细节的所有边缘信息；
[0035]
s52、通过人工标注，从所述边缘信息中分离出图像结构边缘，从而分别得到图像结构边缘与细节信息边缘；
[0036]
s53、对输出图像与滤波图像分别计算每个像素点处x与y方向上的梯度，分别衡量滤波图像与输入图像在结构边缘与细节边缘处的梯度异同，最后整合成一个统一的评价指标eq：
[0037][0038][0039][0040]
其中，s和t分别表示结构边缘与细节信息像素集，i
x
(i)和iy(i)是原始图像像素点i的梯度，q
x
(j)和qy(j)是滤波图像像素点j的梯度，q
x
(i)和qy(i)是滤波图像像素点i的梯度，且滤波图像像素点j是i的邻域，n(i)表示以像素点i为中心的3*3邻域。
[0041]
与现有技术相比，本发明提供的融合超像素与窗口偏移的边缘感知引导滤波方法具有以下优点：
[0042]
1、在局部滤波区域的选择上，本发明采用窗口偏移与超像素区域的重叠部分作为滤波区域，考虑了处理结构边缘像素点时，以其为中心的规则窗口将会包含差异大的像素点，通过窗口偏移思想并融合超像素区域，使得局部滤波时滤波区域所包含的像素点与当前处理像素点的高度一致性，增强引导滤波对结构边缘的保留能力；
[0043]
2、在进行引导滤波时，使用单一尺度的局部窗口会出现细微的块效应现象，本发明采用多尺度迭代方法，通过增加局部滤波窗口大小，使用上一次的滤波结果与超像素区域更新滤波输出，最终融合不同尺度的滤波输出得到输出图像，由此不仅很好的保留了图像结构边缘信息，同时也平滑了图像的细节信息；
[0044]
3、在进行图像滤波效果评价时，本发明通过比较滤波图像与原始输入图像异同以及滤波图像自身特征得到更能反映图像滤波效果的评价指标。
附图说明
[0045]
图1是本发明实施例提供的融合超像素与窗口偏移的边缘感知引导滤波方法流程示意图。
[0046]
图2是本发明实施例提供的窗口偏移与超像素区域重叠部分作为最终滤波区域的
可视化图。
[0047]
图3是本发明实施例提供的使用canny算子并通过人为筛选得到的结构边缘与细节边缘结果图。
[0048]
图4是本发明实施例提供的对man图像分别采用引导滤波(b)、加权引导滤波(c)、梯度域引导滤波(d)和本发明提出方法(e)所得到的滤波结果图。
[0049]
图5是本发明实施例提供的对flower图像分别采用联合双边滤波(b)、滚动引导滤波(c)、侧窗滤波(d)、平滑-锐化滤波器(e)和本发明提出方法(f)所得到的滤波结果图。
[0050]
图6是本发明实施例提供的对收集的20张图像数据集使用本发明提出的评价指标求出的均值对比图。
具体实施方式
[0051]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0052]
请参考图1所示，本发明提供一种融合超像素与窗口偏移的边缘感知引导滤波方法，包括以下步骤：
[0053]
s1、输入一幅彩色图像，为了得到更加准确的超像素区域，首先采用现有双边滤波对输入图像进行预处理，然后采用现有slic(simple linear iterative clustering，简单线性迭代聚类)算法对预处理后的图像进行超像素分割，得到更加准确的超像素区域。
[0054]
s2、计算输入图像每个像素点不同局部窗口内的rtv(相对总变分)值，选择最小的rtv值进行窗口偏移，得到基于rtv值的局部最佳滤波窗口，具体包括以下步骤：
[0055]
s21、考虑局部区域的噪声、纹理等信息，将包含噪声、纹理在内的信息定义为图像信号的空间振荡，假设包含噪声、纹理在内的信息具有比相邻结构边缘更小的幅值，则可以简单通过下式(1)中的色度范围δ(ωk)来衡量该局部窗口是否包含结构边缘；然后，通过窗口偏移选择具有最小色度范围的局部窗口，但如果包含噪声、纹理在内的信息的局部窗口色度范围与附近的边缘结构一样或接近，则窗口偏移通过公式(1)中的色度范围δ(ωk)将无法准确选择最佳的局部窗口，故本发明最终则使用下式(2)中的rtv(ωk)来度量最佳局部窗口：
[0056]
δ(ωk)＝i
max
(ωk)-i
min
(ωk)
ꢀꢀꢀꢀꢀ
式(1)
[0057][0058][0059]
其中，i
max
(ωk)和i
min
(ωk)分别表示该局部窗口像素强度的最大值与最小值，δ(ωk)表示局部窗口ωk内的色度范围，表示输入图像i在像素点j的梯度，ε表示一个很小的正数如10-15
，以防止分母为0，表示输入图像i在像素点j的x方向梯度的平
方，表示输入图像i在像素点j的y方向梯度的平方；
[0060]
s22、对于输入图像中的每个像素，选择rtv值最小的窗口进行偏移，得到局部最佳滤波窗口。
[0061]
s3、偏移后的局部窗口依旧是规则的，当像素点位于角点等区域时，仍旧会包含差异较大的像素点。考虑到超像素特性，通过选取偏移后的窗口与当前像素点所在超像素区域的重叠部分作为滤波区域，该滤波区域包含的像素点与当前处理像素点高度相似，即在步骤s2的基础上，找到每个像素点最小rtv值对应的局部窗口，如图2(b)所示，然后结合步骤s1生成的超像素区域，得到重叠部分作为最终滤波区域，如图2(c)所示，由此避免了差异像素点的影响，从而消除边缘伪影现象，实现具有边缘感知的引导滤波。
[0062]
s4、通过不同尺度局部窗口保留结构边缘的同时平滑细节信息，结合上一次的滤波结果与超像素区域进行迭代引导滤波，最后融合不同尺度的滤波结果得到最终滤波输出，具体包括以下步骤：
[0063]
s41、在通过步骤s3得到像素差异较小的滤波区域内，首先通过小尺度局部窗口得到的滤波区域，与输入图像进行自引导滤波得到滤波结果，即首先使用小尺度的滤波窗口进行引导滤波，以更好的保留图像结构边缘信息；
[0064]
s42、仅在单一的局部窗口内进行引导滤波，会产生轻微的块效应现象。为了解决这一问题，本发明采用多尺度迭代滤波方法，具体为使用上一次的滤波结果与步骤s1中得到的超像素区域进行滤波窗口大小更大的引导滤波，得到不同尺度滤波窗口下的引导滤波系数，即首先通过小尺度保留图像细节，之后在进行下一次迭代时增加滤波窗口半径，从而达到平滑效果。具体不同尺度滤波窗口下的引导滤波系数通过下式计算：
[0065][0066][0067]
其中，和表示尺度为s时像素点k的系数，和是引导图像g在最终滤波区域内的均值和方差，是滤波区域的像素点个数，λ表示一个很小的正数如10-15
，以防止分母为0，表示输入图像i在滤波区域的均值：
[0068][0069]
s43、最后，基于不同尺度滤波窗口得到的引导滤波结果，即融合不同局部窗口大小的引导滤波结果，通过下式计算得到最终的输出图像：
[0070]
[0071][0072][0073]
其中，和表示像素点k在不同尺度下系数的均值，n表示尺度滤波窗口的个数，qk表示像素点k的最终滤波输出值。
[0074]
s5、针对图像滤波的结果，提出参考滤波图像与输入图像异同比较以及滤波图像自身特征的评价指标，用于反映图像滤波效果评价，即更好的反映图像滤波输出的优劣，具体包括以下步骤：
[0075]
s51、从已公开的现有纹理图像数据集(如2012年xuli等人发表的论文里公开的200张纹理图像数据集)中通过挑选收集到多幅如20幅图像，使用极小阈值的canny算子对输入图像进行边缘检测，得到结构与细节的所有边缘信息；
[0076]
s52、通过人工标注，从所述边缘信息中分离出图像结构边缘，从而分别得到图像结构边缘与细节信息边缘，如图3所示；其中，(b)是对输入图像进行边缘提取得到的，(c)是经过人工提取得到的结构边缘，(d)是作差得到的细节信息边缘；
[0077]
s53、对输出图像与滤波图像分别计算每个像素点处x与y方向上的梯度，分别衡量滤波图像与输入图像在结构边缘与细节边缘处的梯度异同，最后整合成一个统一的评价指标eq：
[0078][0079][0080][0081]
其中，s和t分别表示结构边缘与细节信息像素集，i
x
(i)和iy(i)是原始图像像素点i的梯度，q
x
(j)和qy(j)是滤波图像像素点j的梯度，q
x
(i)和qy(i)是滤波图像像素点i的梯度，且滤波图像像素点j是i的邻域，n(i)表示以像素点i为中心的3*3邻域。
[0082]
请参图4所示，为对man图像分别采用引导滤波、加权引导滤波、梯度域引导滤波和本发明提出方法的滤波结果对比图。通过局部放大图可以明显看出，本发明提出的方法对于结构边缘有着更佳的保留能力。
[0083]
请参考图5所示，为对flower图像分别采用联合双边滤波、滚动引导滤波、侧窗滤波、平滑-锐化滤波器和本发明提出方法的滤波结果对比图。该图片具有明显的纹理细节信息，同样通过局部放大图，可以看出本发明提出方法在过滤纹理细节信息的同时也能更好地保留图像结构边缘。
[0084]
请参考图6所示，为在收集整理的20张图片数据集上，对不同滤波方法使用本发明提出的评价指标进行比较的对比图，从中可以看出，本发明提出的方法在该指标上有着更佳的表现。
[0085]
综上所述，所有的理论分析与实验结果充分表明，本发明提出的方法对于平滑图
像细节信息同时保留结构边缘有着比其他滤波方法更佳的效果。
[0086]
与现有技术相比，本发明提供的融合超像素与窗口偏移的边缘感知引导滤波方法具有以下优点：
[0087]
1、在局部滤波区域的选择上，本发明采用窗口偏移与超像素区域的重叠部分作为滤波区域，考虑了处理结构边缘像素点时，以其为中心的规则窗口将会包含差异大的像素点，通过窗口偏移思想并融合超像素区域，使得局部滤波时滤波区域所包含的像素点与当前处理像素点的高度一致性，增强引导滤波对结构边缘的保留能力；
[0088]
2、在进行引导滤波时，使用单一尺度的局部窗口会出现细微的块效应现象，本发明采用多尺度迭代方法，通过增加局部滤波窗口大小，使用上一次的滤波结果与超像素区域更新滤波输出，最终融合不同尺度的滤波输出得到输出图像，由此不仅很好的保留了图像结构边缘信息，同时也平滑了图像的细节信息；
[0089]
3、在进行图像滤波效果评价时，本发明通过比较滤波图像与原始输入图像异同以及滤波图像自身特征得到更能反映图像滤波效果的评价指标。
[0090]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。