一种显微镜图像的景深延拓方法及装置与流程

1.本发明涉及图像处理领域，主要涉及图像融合与景深延拓两大技术领域，特别涉及一种显微镜图像的景深延拓方法及装置。


背景技术：

2.景深延拓技术是指将同一个观测对象，不同聚焦层下拍摄的图像融合成一幅大景深图像的技术，该技术在显微数码成像领域有非常大的意义。
3.目前获取大景深图像的主要方法是通过步进电机控制显微镜的z轴调节旋钮，将不同层的图像成像到图像传感器，在定位以后，一张张保存下来，然后对所有图像进行清晰度区域提取，最后融合得到一幅大景深的图像。如公开号为cn111989608a的中国专利公开的对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法。
4.另一种方法是通过步进电机精确控制z轴调焦机械，对普通显微镜z轴进行等步距扫描，边扫描边融合。这种方法也需要对传统的显微镜进行改装，对专业应用有一定的意义，但对普通用户，会增加成本，意义不大。如公开号为cn112241065a的中国专利公开的显微镜和用于产生具有扩展的景深的显微图像的方法。
5.除此以外，常见的景深延拓算法用于实时处理有很多困难，例如融合质量问题，即局部融合产生的图像撕裂现象，这是因为由小景深镜头产生的弥散斑容易被误判成高频信息进而被融合到最终的大景深图像中，使最终结果图对比度降低。


技术实现要素：

6.本发明的目的在于提供一种显微镜图像的景深延拓方法及装置，可以有效减小显微镜直接获取图像的弥散斑对最终大景深图像对比度的影响。
7.本发明提供如下技术方案：
8.一种显微镜图像的景深延拓方法，所述方法包括以下步骤：
9.(1)对显微镜图像建立拉普拉斯金字塔，获取图像在不同尺度上的高频信息；
10.(2)对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图；
11.(3)将步骤(1)中的高频信息和步骤(2)中的深度估计信息图组成深度估计金字塔，融合深度估计金字塔得到大分辨率的相对深度图；
12.(4)将步骤(3)中的大分辨率的相对深度图以最大值原则获取决策图；
13.(5)由步骤(4)获取的决策图指导显微镜图像清晰度区域提取，再进行图像序列融合，得到景深延拓后的显微镜图像。
14.优选的，在本发明中，基于尽量让更多位于不同焦面深度的图像参与景深延拓且尽可能节约运算资源两个前提，筛选出焦面变化大的显微镜图像序列用于景深延拓方法。
15.在步骤(1)中，所述高频信息的获取方法为：
16.将单张图像输入图像建立拉普拉斯金字塔；记第i层原图像为gi，down()为下采样
操作，up()为上采样操作，拉普拉斯金字塔第i图像li的获取方法如下：
17.li＝g
i-up(down(gi))
18.得到的拉普拉斯金字塔只是图像的高频成分，残差层的像素值有正有负，不论像素值的符号如何都属于高频成分，对拉普拉斯金字塔的残差层图像取绝对值，完成多尺度图像高频信息的提取，最终得到的拉普拉斯金字塔的残差图层表达式为：
19.li＝abs(g
i-up(down(gi)))。
20.在步骤(1)中，所述高频信息用于后续大分辨率深度估计图像的重建。
21.其中，建立图像的拉普拉斯金字塔，对图像进行下采样得到小尺寸图像，再对小尺寸图像进行上采样，将上采样得到的图像与原图像取差值得到拉普拉斯差分图像，也就是原图像的高频成分。
22.优选的，图像清晰度包括图像分辨率和图像锐度。研究表明,彩色图像的清晰度主要取决于图像的亮度分量。图像的细节和边缘部分含有较多的图像特征和信息,同时也是影响图像清晰度的主要区域。基于这一研究，该发明对输入图像进行颜色空间转换，将图像从rgb空间转换到hsv空间，取hsv空间中的v分量建立拉普拉斯差分金字塔。
23.在步骤(2)中，对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图的方法为：将拉普拉斯金字塔的残差图层作为先验信息结合自然图像抠图理论，具体为：
24.通过对先验信息应用matting laplacian矩阵得到图像每个像素的深度信息，它是通过最小化如下损失函数得到的图像深度信息：
[0025][0026]
和d是向量形式的图像先验信息和图像深度信息，是一个对角矩阵，当i像素处于图像中物体的边缘位置时，l是matting laplacian矩阵，矩阵l的元素值为：
[0027][0028]
δ
ij
是kronecker函数，u3是3阶单位阵，μk和σk是窗口ωk的均值和协方差矩阵，ε是正则化参数，ii和ij是像素点i和j的像素值，|ωk|是窗口ωk的大小；
[0029][0030]
求解上述方程得到最终深度估计信息图d。
[0031]
在步骤(2)中，对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，这是因为深度估计算法计算量大，对大分辨率图像进行深度估计会耗费大量内存并且求解效率很低。对金字塔顶层的小分辨率图像进行深度估计，得到深度估计信息图，结合得到的不同尺度的高频信息(拉普拉斯金字塔的残差图层)组成深度估计金字塔，融合深度估计金字塔得到大分辨率的相对深度图。对于自然图像抠图理论：以图像的清晰度图作为先验信息结合自然图像抠图理论，得到的图像前景就是清晰区域，背景为模糊区域，像素值大的区域(前景)离镜头的距离更近，背景相对距离更远；以图像的高频区域作为清晰区域为根据获取图像的清晰度图，而拉普拉斯金字塔的残差图像层中包含了高频信号，将其视作先验信息输
入以获取深度估计图。
[0032]
在步骤(4)中，获取决策图的方法为：根据得到的深度信息图像序列逐像素取大返回索引值得到决策图(其中，决策图的像素值是输入图像序列的序号)：
[0033][0034]
其中，n表示深度信息图像序列组数，i表示深度信息图像中的i行，j表示深度信息图像中的j列。
[0035]
在步骤(5)中，对决策图应用中值滤波除去椒盐噪声，用滤波后的决策图指导源图像序列进行融合，融合图像的像素值是对应索引图像像素点的像素值。逐像素对比的过程中没有受到局部像素的约束，得到的决策图中存在噪声，为了获得更好的显示效果，因此需要请出去噪声。
[0036]
本发明还提供了一种显微镜图像的景深延拓装置，所述装置包括：
[0037]
高频信息提取模块，对显微镜图像建立拉普拉斯金字塔，获取图像在不同尺度上的高频信息并输入到深度估计模块；
[0038]
深度估计模块，对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图；将步骤(1)中的高频信息和步骤(2)中的深度估计信息图组成深度估计金字塔，融合深度估计金字塔得到大分辨率的相对深度图；
[0039]
融合模块，将大分辨率的相对深度图以最大值原则获取决策图；及由决策图指导显微镜图像清晰度区域提取，再进行图像序列融合，得到景深延拓后的显微镜图像。
[0040]
优选的，在高频信息模块：将单张图像输入图像建立拉普拉斯金字塔；记第i层原图像为gi，down()为下采样操作，up()为上采样操作，拉普拉斯金字塔第i图像li的获取方法如下：
[0041]
li＝g
i-up(down(gi))
[0042]
得到的拉普拉斯金字塔只是图像的高频成分，残差层的像素值有正有负，不论像素值的符号如何都属于高频成分，对拉普拉斯金字塔的残差层图像取绝对值，完成多尺度图像高频信息的提取，最终得到的拉普拉斯金字塔的残差图层表达式为：
[0043]
li＝abs(g
i-up(down(gi)))。
[0044]
优选的，在深度估计模块：
[0045]
对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图的方法为：将拉普拉斯金字塔的残差图层作为先验信息结合自然图像抠图理论，具体为：
[0046]
通过对先验信息应用matting laplacian矩阵得到图像每个像素的深度信息，它是通过最小化如下损失函数得到的图像深度信息：
[0047][0048]
和d是向量形式的图像先验信息和图像深度信息，是一个对角矩阵，当i像素处于图像中物体的边缘位置时，l是matting laplacian矩阵，矩阵l的元素值为：
[0049]
[0050]
δ
ij
是kronecker函数，u3是3阶单位阵，μk和σk是窗口ωk的均值和协方差矩阵，ε是正则化参数，ii和ij是像素点i和j的像素值，|ωk|是窗口ωk的大小；
[0051][0052]
求解上述方程得到最终深度估计信息图d。
[0053]
优选的，在融合模块：
[0054]
获取决策图的方法为：根据得到的深度信息图像序列逐像素取大返回索引值得到决策图：
[0055][0056]
优选的，在融合模块：
[0057]
对决策图应用中值滤波除去椒盐噪声，用滤波后的决策图指导源图像序列进行融合，融合图像的像素值是对应索引图像像素点的像素值。
[0058]
与现有技术相比，本发明提供的显微镜图像的景深延拓方法及装置可以有效减小显微镜直接获取图像的弥散斑对最终大景深图像对比度的影响，且该方法及装置对于景深变化具有较强鲁棒性，不易受景深变化程度或方向的改变而影响最终融合质量。
附图说明
[0059]
图1是实施例中景深延拓方法一次融合过程的整体流程。
[0060]
图2是实施例中处理过程中得到的图像多尺度高频信息的实例。
[0061]
图3是实施例中处理过程中一次小分辨率深度估计的实例。
[0062]
图4是实施例中处理过程中一次大分辨率深度估计的实例。
[0063]
图5是实施例中处理过程中得到的决策图及超景深图像的实例。
具体实施方式
[0064]
本发明可用作显微相机的配套软件，用于景深延拓时，将显微镜小景深图像传输到软件的输入接口，手动调整显微镜载物台相对物镜的物距，获取不同焦面图像，点击融合操作即可生成景深延拓图像。
[0065]
图1是景深延拓一次融合过程的整体流程，包括：
[0066]
s1、在高频信息模块对显微镜图像建立拉普拉斯金字塔，获取图像在不同尺度上的高频信息；
[0067]
s2、在深度估计模块对拉普拉斯金字塔的最顶层高斯模糊图层进行深度估计，得到深度估计信息图；将s1中的高频信息和深度估计信息图组成深度估计金字塔，融合深度估计金字塔得到大分辨率的相对深度图；
[0068]
s3、在融合模块将大分辨率的相对深度图以最大值原则获取决策图；及由决策图指导显微镜图像清晰度区域提取，再进行图像序列融合，得到景深延拓后的显微镜图像。
[0069]
具体地：
[0070]
在s1中：图2是获取图像多尺度高频信息一个具体实例，处理图像的分辨率为3072*2048。将图像从rgb空间转换到hsv空间，提取v分量图像进行深度估计并获取决策图操作，步骤如下：
[0071]
1、对图像建立五层图像金字塔，尺度最小的一层尺寸是192*148；
[0072]
2、记第i层原图像为gi，down()为下采样操作，up()为上采样操作，拉普拉斯金字塔第i图像li的获取方法如下：
[0073]
li＝g
i-up(down(gi))
[0074]
得到的拉普拉斯金字塔只是图像的高频成分，残差层的像素值有正有负，不论像素值的符号如何都属于高频成分，对拉普拉斯金字塔残差层图像取绝对值，完成多尺度图像高频信息的提取。最终拉普拉斯残差层的数学表达为：
[0075]
li＝abs(g
i-up(down(gi)))
[0076]
3、金字塔残差图层的像素值是在拉普拉斯金字塔的基础上取绝对值得到的，包含了当前尺度的全部高频信息；最小尺寸图像就是应用自然图像抠图理论得到的深度信息图像。
[0077]
在s2中：图3是深度估计模块中，对于小尺度图像进行深度估计的实例，出于显示原因，对得到的深度估计图像进行放大，其具体步骤如下：
[0078]
1、对金字塔第五层图像获取高频信息，再联合第五层原本的高斯图像应用matting laplacian得到深度信息图；
[0079]
2、通过对高频先验信息应用matting laplacian得到图像每个像素的深度信息，它是通过最小化如下损失函数得到的图像深度信息：
[0080][0081]
和d是向量形式的图像先验信息和图像深度信息，是一个对角矩阵，当i像素处于图像中物体的边缘位置时，l是matting laplacian矩阵，矩阵l的元素值为：
[0082][0083]
δ
ij
是kronecker函数，u3是3阶单位阵，μk和σk是窗口ωk的均值和协方差矩阵，ε是正则化参数，ii和ij是像素点i和j的像素值，|ωk|是窗口ωk的大小。
[0084][0085]
求解上述方程得到最终的深度信息图d；
[0086]
图4是大尺度深度估计的一次实例，将拉普拉斯残差图层和深度信息图层组合成融合金字塔，组合融合金字塔即得到大分辨率的相对深度图。
[0087]
在s3中：图5是根据得到的深度信息图像序列逐像素取大返回索引值得到的决策图
[0088][0089]
其中，n表示深度信息图像序列组数，i表示深度信息图像中的i行，j表示深度信息图像中的j列。
[0090]
并对直接获取的决策图应用中值滤波除去椒盐噪声，用滤波后的决策图指导源图像序列进行融合，融合图像的像素值是对应索引图像像素点的像素值。
[0091]
完成以上步骤，就是一次完整的景深延拓过程。