一种基于多尺度局域加权方差的多聚焦融合方法与流程

1.本发明涉及数字图像处理技术领域，尤其涉及一种基于多尺度局域加权方差的多聚焦融合方法。


背景技术：

2.图像融合能将不同图片中的信息有效融合在一幅图片中，有效提升图像的质量和信息。在安防监控、医学诊断、生物研究等基于目标检测和目标识别的相关应用中有着重要意义。图像融合中的多聚焦融合能有效克服镜头景深的影响，得到景深范围外的目标全聚焦图像。广泛用于图像处理与计算机视觉领域。
3.多聚焦融合在过去十几年发展迅速，其方法大致可分为两类：基于变换域的方法和基于空间域的方法。前者通过将融合原图分解为不同的变换域系数，再将变换域系数按照不同的融合规则融合，得到结果的变换域系数，最后根据结果的变换域系数重建多聚焦图像。在这个过程中，大量多尺度变换域方法得到应用与发展，如金字塔变换(参见文献：a.toet,l.j.van ruyven,j.m.valeton,merging thermal and visual images by a contrast pyramid,opt.eng.28(7)(1989)789
–
792.)，小波变换(参见文献：m.abdipour,m.nooshyar,multi-focus image fusion using sharpness criteria for visual sensor networks in wavelet domain,comput.electr.eng.51(2016)74
–
88,)，轮廓波变换(参见文献：y.yang,s.tong,s.huang,p.lin,multifocus image fusion based on nsct andfocused area detection,ieee sens.j.15(5)(2015)2824
–
2838)，剪切波变换(参见文献：s.liu,z.zhu,h.li,j.zhao,x.wen,multi-focus image fusion using self-similarity and depth information in nonsubsampled shearlet transform domain,int.j.signal process.image process.pattern recognit.9(1)(2016)347
–
360)，同时主成分分析法(参见文献：t.wan,c.zhu,z.qin,multifocus image fusion based on robust principal component analysis,pattern recognit.lett.34(9)(2013)1001
–
1008)，稀疏表示(参见文献：q.zhang,y.liu,r.s.blum,j.han,d.tao,sparse representation based multisensory image fusion for multi-focus and multi-modality images:a review,inf.fusion 40(2018)57
–
75,)以及脉冲耦合神经网络(参见文献：z.wang,s.wang,y.zhu,y.ma,review of image fusion based on pulsecoupled neural network,arch.comput.methods eng.23(4)(2016)659
–
671,)也被大量用于多聚焦融合，取得了不错的效果。但是在融合的过程中，如果不对空间一致性进行讨论，上述的方法可能会丢失空间信息，导致融合结果亮度和颜色失真。
4.不同于转换域方法，空间域变换直接对原图的像素强度进行融合，可以有效保留空间信息。因为人类视觉系统对单个像素不敏感，但对图像的边缘，方向和纹理等信息比较敏感，所以大部分的空间域融合策略都是采用原图梯度，边界等高频信息生成区域能量函数，之后基于区域能量函数采用对应的融合策略以区分不同原图像的聚焦度，从而进一步提升融合效果。比较经典的聚焦度测量方法有方差，空间频率(sf)(参见文献：s.li,
b.yang,multifocus image fusion using region segmentation and spatial frequency,image vis.comput.26(7)(2008)971
–
979,)以及屈小波等人提出的改进拉普拉斯能力和函数(sml)(参见文献：x.bai,y.zhang,f.zhou,b.xue,quadtree-based multi-focus image fusion using a weighted focus-measure,inf.fusion 22(2015)105
–
118,)，相较于前者，后者能够更好的表述图像的清晰度，对噪声的鲁棒性也更好。2019年，qiu xiaohua等人提出了基于引导滤波和均值滤波的多聚焦融合算法gfmf(参见文献：qiu x,li m,zhang l,et al.guided filter-based multi-focus image fusion through focus region detection[j].signal processing image communication,2018,72.)，在两幅图像的融合中得到了不错的效果，不过在推广到十几幅图像融合的时候，会遇到聚焦区域检测不精细，聚焦边界模糊，离焦区域低频信息会混入到融合图像等问题，降低了多聚焦图像融合的质量。
[0005]
实际在用显微镜观测目标时，目标的尺寸往往会受到镜头景深的影响，例如用景深为10微米左右的镜头拍摄几百微米的蚊子复眼的整体与细节信息，就需要大量聚焦在不同深度图像的融合，而之前的方案大部分都是针对2幅图像的融合，直接推广到多幅图像效果并不好，依次两两融合又会在多次融合中造成细节损失，所以需要进行改进。


技术实现要素：

[0006]
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于多尺度局域加权方差的多聚焦融合方法。
[0007]
为了实现上述目的，本发明采用了如下技术方案：
[0008]
一种基于多尺度局域加权方差的多聚焦融合方法，包括以下步骤：
[0009]
s1、量化区域清晰度获得掩膜：采用多尺度局域加权方差来量化区域清晰度，增加了算法对焦平面边界识别的精度和对噪声的抗干扰性；
[0010]
s2、掩膜精细化：通过形态学方法对掩膜进行精细化，采用形态学方法优化掩膜边界，膨胀算子连接区域，腐蚀算子精细化边界，膨胀算子略大于腐蚀算子；
[0011]
s3、掩膜加权融合：采用与联通区域面积相关的权重对重叠区域进行加权融合。
[0012]
优选地，所述s2中的形态学方法包括以下步骤：
[0013]
s1、采用直径为5的圆形窗口(膨胀因子对应之前最小的滑动窗口尺寸)对进行膨胀，并对面积小于总像素数一千分之一的空洞进行填充得到掩膜；
[0014]
s2、采用窗口直径为3的圆形窗口对e进行腐蚀得到e＇；
[0015]
s3、e＇中连通面积大于等于area的区域赋值为0.8，连通面积小于area的区域赋值为0.2得到精细化之后的掩膜w；
[0016]
s4、对比可见精细化可有效抑制四周始终未聚焦区域的伪焦平面。
[0017]
本发明的有益效果是：
[0018]
1、通过聚焦平面图像的采集、筛选、优化、融合等方法来实现多聚焦成像的一种技术手段，属于数字图像处理领域；可以有效克服探测器的景深限制，并且为图像的理解和分析奠定了良好的基础；可以较好处理探测器景深小于目标尺寸的问题，在图像的相关应用系统中有广阔的前景；
[0019]
2、通过详尽的步骤说明，能很好的为操作人员提供操作方式，保证以有效扩展显
微镜成像的景深，通过改变物距获得大量不同聚焦平面的图像，利用多尺度和局域加权方差来量化区域清晰度，获得焦平面掩膜，之后采用形态学方法优化掩膜边界，最终加权融合焦平面区域得到细节完备的目标整体图；
[0020]
综上所述，本发明可以有效扩展显微镜成像的景深，通过改变物距获得大量不同聚焦平面的图像，利用多尺度和局域加权方差来量化区域清晰度，获得焦平面掩膜，之后采用形态学方法优化掩膜边界，最终加权融合焦平面区域得到细节完备的目标整体图，实验中利用景深为十微米左右的显微镜镜头得到了纵向尺寸为几百微米目标的高质量图像，实验结果表明本方法相较其他方法在对焦平面边界，细节的保留方面有一定优势。
附图说明
[0021]
图1为本发明的多聚焦融合实验流程图；
[0022]
图2为本发明的量化清晰度时的中间结果输出图；
[0023]
图3为本发明的掩膜形态学腐蚀因子大小对最终结果的影响图；
[0024]
图4为本发明的精细化掩膜的中间结果图；
[0025]
图5为本发明的多聚焦融合结果图；
[0026]
图6为本发明的试验数据图；
[0027]
图7为本发明图6a1到a4的多聚焦融合结果图；
[0028]
图8为本发明图6b1到b4的多聚焦融合结果图；
[0029]
图9为本发明图6c1到c4的多聚焦融合结果图。
具体实施方式
[0030]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0031]
参照图1-9，一种基于多尺度局域加权方差的多聚焦融合方法，包括以下步骤：
[0032]
1、量化区域清晰度获得掩膜：
[0033]
我们采用每个区域方差来量化每个像素附近的清晰度，但方差又容易受到噪声的干扰，同时不同焦平面边界处方差可能比较接近，不方便精确区分，为此我们设计了如下的量化方法：
[0034]
采用5x5，7x7，9x9的滑动窗口分别求每幅图i中各个像素附近的方差v5,v7,v9，在v5中以5x5滑动窗口找到各个位置附近窗口内的最大方差v
5max
，同理得到v
7max
,v
9max
，各个像素位置的多尺度清晰度m表示如下：
[0035][0036]
m(i,j)＝max(q,q',q”')
ꢀꢀ
(2)
[0037]
其中max代表求最大值，q',q”,q”'代表不同尺度下对应的清晰度；窗口越大，包含像素越多，整体的清晰度与中心位置清晰度的关联也越小，所以越大的窗口对应系数越小，同时大窗口会降低焦平面区域划分的准确度，小窗口中方差容易受到局部噪声的影响，所以采用窗口方差与附近窗口方差最大值的平均值，这样可以在不增加窗口半径的同时提升
窗口清晰度对噪声的鲁棒性；
[0038]
图2原图量化清晰度时的中间结果输出(这里数据所对应的原图有30幅)，a1为30幅原图中第15幅原图，a2为5x5滑动窗和方差得到的掩膜，a3为5x5滑动窗，方差和区域方差最大值得到的掩膜，a4为采用5x5，7x7，9x9滑动窗，方差和方差最大值得到的掩膜，b1为a4局部放大图，b2为掩膜内部某一像素点位置处在不同原图中对应的清晰度b3为掩膜边界某一像素点位置处在不同原图中对应的清晰度，a2,a3,a4中方法分别对应b2,b3中的线段；观察图2中a2,a3,a4可看出，他们中噪声在依次减少，a4中间环状焦平面区域附近噪声已明显减少，可见多尺度方差与其附近方差的加权都能提升量化清晰度对噪声的鲁棒性，观察图2中b1,b2,b3，其中b1为a4中局部放大图，b2为焦平面内部一点(b1中红点)在30幅原图中的清晰度量化，可看出对于焦平面内部的点，三种方法都能有很好的区分性，b3为焦平面边界处一点(b1中的绿点)在原图中的量化之后的清晰度，蓝线在11到15这四幅原图中都有差不多的清晰度，且12处为峰值，绿线在11和14处产生明显峰值，可见蓝线和绿线所对应的清晰度量化方法在焦平面边界处存在不稳定性，容易在之后的掩膜生成中引入噪声和错误，红线中峰值在14，且15清晰度与14接近，符合所采样像素位于14，15这两幅原图焦平面边界的事实，由此可见多尺度方差和附近最大方差的加权对量化清晰度的意义，
[0039]
2、掩膜精细化：
[0040]
观察图2，a4(白色连通区域即为计算出的焦平面区域)可看出，焦平面附近噪声较少，但在图像四周还是有大量噪声，是因为所有原图中四周区域一直为离焦区域，没有细节信息，所以对清晰度求极值时会不稳定，造成四周出现离散伪焦平面，针对这一问题我们采用形态学方法对掩膜进行精细化，具体可分为四步，
[0041]
第一步：采用直径为5的圆形窗口(膨胀因子对应之前最小的滑动窗口尺寸)对m进行膨胀，并对面积小于总像素数一千分之一的空洞进行填充得到掩膜e，如图4中b，
[0042]
e＝f
ill
(e
epand
(m),a
rea
)
ꢀꢀ
(3)
[0043]
其中e
epand
为膨胀操作，f
ill
为填孔操作，a
rea
表示表示总像素数千分之一的面积，
[0044]
第二步：采用窗口直径为3的圆形窗口对e进行腐蚀得到e'，
[0045]
e'＝c
orrosion
(e)
ꢀꢀ
(4)
[0046]
其中c
orrosion
为腐蚀操作，如图4中c，这里腐蚀因子的直径略小于膨胀因子，使得经过形态学操作之后，焦平面区域略大于实际，之后不同焦平面边界处会重叠，融合结果在不同焦平面边界处取加权的值，如果腐蚀因子等于或者大于膨胀因子，会使得在不同焦平面边界处无掩膜，在融合结果中会造成焦平面边界处产生空洞，结果如图3：图3掩膜形态学腐蚀因子大小对最终结果的影响，a为腐蚀因子略小于膨胀因子时的融合结果，b为腐蚀因子大于等于膨胀因子的融合结果；第三步：e'中连通面积大于等于a
rea
的区域赋值为0.8，连通面积小于a
rea
的区域赋值为0.2得到精细化之后的掩膜w，如图4中d，图4精细化掩膜的中间结果，a为量化区域清晰度获得的掩膜，b为膨胀，填孔处理后的掩膜，c为腐蚀后的掩膜，d为安面积赋权重后的掩膜；
[0047]
第四步：对比图4中a,d可见精细化可有效抑制四周始终未聚焦区域的伪焦平面，
[0048]
3、掩膜加权融合：
[0049]
[0050]
r为多聚焦融合结果，∑为求和，.*表示点乘，ii,wi为对应的原图和掩膜，
[0051]
由图5为按照本文的方法采用景深仅为10微米左右的显微镜拍到的尺寸为300微米左右的蚊子复眼的整体图像，图6为三组实验中部分原图展示，图7，8，9为本文算法针对三组实验的多聚焦融合结果展示，图6部分原图a组为实验一中蚊子复眼的部分数据，b组为小白鼠肾小球的部分数据，c组为蜜蜂翅膀的部分数据。
[0052]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。