一种基于马尔科夫随机场约束的显微三维重建方法与流程

1.本发明涉及数字图像处理、计算机视觉等技术领域，特别涉及一种基于马尔科夫随机场约束的显微三维重建方法。


背景技术：

2.精密加工技术的发展对显微三维重建技术提出了更高的要求。三维重建技术的关键在于准确的提取显微样本的深度信息和全焦信息。在这种情况下，由于聚焦法测量范围大、对待测样本表面光滑程度的要求较低，成为了在精密加工领域内进行质量检测的可靠方法，尤其是对切削刀具等具有大倾角斜面样本的检测。
3.尽管聚焦法具有快速获取样本表面深度信息和全焦信息的能力，但其关键技术——聚焦评价函数仍存在一些固有问题，从而严重限制了显微三维重建算法应用范围的扩展。第一，为了达到精确的效果，聚焦评价函数需要对高频信息敏感，但同时还需要对噪声保持鲁棒性，这是很难平衡的。第二，聚焦评价函数表现的上限仍然受样本表面纹理信息丰富性的影响，对表面光滑且纹理弱的样本很难进行准确的聚焦检测，进而限制了三维重建的精度。目前现有技术中多以提高聚焦评价函数的敏锐性和鲁棒性为目的，例如ydin t,akgul y s.a new adaptive focus measure for shape from focus[c]//bmvc.2008:1-10.；以及公开号为cn108036739b、cn110443882b、cn111624756a和cn111932677a等中国专利公开文本。
[0004]
综上所述，可以发现，尽管与其他三维重建算法相比，聚焦法在显微三维重建领域存在一定优势，但其重建算法仍有待提高。


技术实现要素：

[0005]
本发明的目的在于提供一种基于马尔科夫随机场约束的显微三维重建方法，该方法解决了现有技术中聚焦评价函数难以平衡检测灵敏性和对噪声鲁棒性的问题，以及提高了弱纹理样本的重建能力。
[0006]
为实现上述发明目的，本发明提供的技术方案为：
[0007]
一种基于马尔可夫随机场约束的显微三维重建算法，包括以下步骤：
[0008]
(1.1)利用显微镜和扫描平台搭建显微三维重建系统对待测样本进行纵向扫描成像，得到反映样本表面不同深度区域聚焦情况的多聚焦图像序列；
[0009]
(1.2)、借助基于非下采样轮廓波变换的聚焦评价函数对多聚焦图像序列进行处理，得到与多聚焦图像序列对应的反映图像聚焦区域的掩模版序列；
[0010]
(1.3)借助掩模版序列得到样本表面初始深度信息和全焦信息；
[0011]
(1.4)借助马尔科夫随机场和初始深度信息构建能量函数，通过对能量函数进行求解，得到深度信息的优化结果；
[0012]
(1.5)利用提取的全焦信息和优化的深度信息进行三维重建。
[0013]
其中，在(1.1)中，借助显微镜小景深的成像特点，通过等间距移动显微镜载物台z
轴对待测样本进行纵向扫描成像。
[0014]
优选的，所述借助基于非下采样轮廓波变换的聚焦评价函数对多聚焦图像序列进行处理，得到与多聚焦图像序列对应的反映图像聚焦区域的掩模版序列的具体方法包括：
[0015]
1，将多聚焦图像转换为单通道图像，并借助非下采样轮廓波变换对聚焦图像序列中的每张图像进行变换；
[0016]
2，对于每张图像变换后的结果，利用金字塔形低通滤波器组进行处理，得到一个相同大小的矩阵；
[0017]
3，为多聚焦图像序列中每张图像构建相同大小的、初始值为0的掩模版图像，构成掩模版序列；
[0018]
4，对图像之间处理结果(2中得到的矩阵)逐像素进行比较，记录比较结果中最值所在的像素位置和通道数目，并在掩模版序列中修改相应的数值为1，以更新掩模版序列。
[0019]
优选的，所述将多聚焦图像转换为单通道图像，并借助非下采样轮廓波变换对图像序列中的每张图像进行变换的具体方法包括：
[0020]
对多聚焦图像序列中的每张图像进行非下采样轮廓波变换，提取3个频段的高频信息，在低频段到高频段依次构建2、3、4级方向滤波器组进行方向滤波，以获得28个矩阵表示不同频段、不同方向的纹理分布。
[0021]
优选的，所述对于每张图像变换后的结果，利用金字塔形低通滤波器组进行处理，得到一个相同大小的矩阵的具体方法包括：
[0022]
1，按照均值μ＝0，方差σ＝1的参数设置，从低频段到高频段分别构建尺寸为21、13、5的高斯滤波器，形成金字塔形低通滤波器组；
[0023]
2，对不同尺度下的方向系数矩阵进行绝对值求和处理，每次加上一个系数矩阵的绝对值后，用对应尺度的低通滤波器组对结果进行处理，直到该尺度下所有方向系数矩阵相加完成，以得到不同尺度的处理结果；
[0024]
3，对不同尺度的处理结果求和，以得到一个反映图像中每个像素聚焦程度的矩阵。
[0025]
优选的，所述借助掩模版序列得到样本表面初始深度信息和全焦信息包括：
[0026]
1，将不同图像的掩模版与对应的通道相乘，并将相乘的结果相加，以得到基于聚焦评价算法估计到的初始深度信息；
[0027]
2，将不同的图像与对应的掩模版相乘，并将相乘的结果相加，以得到反映样本表面纹理信息的全焦图像。
[0028]
优选的，所述借助马尔科夫随机场和初始深度信息构建能量函数，通过对能量函数进行求解，得到深度信息的优化结果包括：
[0029]
1，基于最大后验概率的能量函数框架，代入初始深度信息作为能量函数的保真项，代入样本表面的马尔可夫随机场作为能量函数中的惩罚项；
[0030]
2，将能量函数表示为无向图的形式，借助以α拓展图割算法为核心的迭代优化算法对无向图进行求解，以得到修正后的深度信息。
[0031]
优选的，所述将能量函数表示为无向图的形式，借助以α拓展图割算法为核心的迭代优化算法对无向图进行求解，以得到修正后的深度信息包括：
[0032]
1，以像素与八邻接像素之间差的绝对值作为无向图中的n-links，以当前深度信
息与当前通道之间差的绝对值作为无向图中的t-links，并将无向图的能量作为初始的最小割能量；
[0033]
2，基于α拓展图割对当前无向图进行求解，以得到无向图的最小割；
[0034]
3，计算最小割能量是否降低，如果是，以当前最小割重新构建无向图的t-links，并返回步骤2，否则将上次迭代的最小割作为优化结果输出。
[0035]
优选的，所述用提取的全焦信息和优化的深度信息进行三维重建，是以全焦信息作为三维图形的底面和颜色，以深度信息作为三维图形的高度，构建三维图形。
[0036]
与现有技术相比，本发明具有以下技术效果：
[0037]
利用非下采样轮廓波变换与金字塔形低通滤波器结合的方法进行聚焦评价，不仅发挥了非下采样轮廓波变换多尺度、多方向提取纹理信息的优势，而且针对不同尺度的变换结果，进行不同程度的低通处理，很好地平衡了聚焦评价函数的敏锐性和鲁棒性。保证了在样本纹理不足的区域，具有较强的检测能力，同时在样本纹理丰富的区域，较强的检测能力也不会受到过多的干扰。
[0038]
此外，为进一步消除弱纹理对估计的深度信息结果的影响，本发明进一步基于马尔科夫随机场的先验约束对深度信息结果进行修正。根据马尔科夫随机场，有选择地对深度信息进行平滑操作，以消除由弱纹理引入的不满足马尔科夫随机场的误差，提高了弱纹理样本的重建能力。
[0039]
该方法实现原理简单，可以有效地应用于精细结构检测、超精密加工以及医疗手术等领域。
附图说明
[0040]
图1为实施例中待重建样本。
[0041]
图2为实施例中用显微镜扫描获取待测样本表面多聚焦图像序列的示意图。
[0042]
图3为实施例中聚焦法评价的流程图。
[0043]
图4为实施例中非下采样轮廓波变换示意图。
[0044]
图5为实施例中深度优化流程图。
[0045]
图6为实施例中图割法无向图示意图。
[0046]
图7为实施例中三维重建结果图。
具体实施方式
[0047]
为使本发明目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
[0048]
本实施例提供一种基于马尔可夫随机场约束的显微三维重建算法，包括以下步骤：
[0049]
步骤1：对图1所示的样本构建多聚焦图像序列。
[0050]
具体地，利用显微镜和扫描平台搭建如图2所示的显微三维重建系统，借助显微镜小景深的成像特点，通过等间距移动扫描平台对待测样本进行扫描成像，得到反映样本表面不同深度区域聚焦情况的多聚焦图像序列。
[0051]
步骤2：如图3所示，借助基于非下采样轮廓波变换的聚焦评价函数对多聚焦图像序列进行处理，得到与多聚焦图像序列对应的反映图像聚焦区域的掩模版序列。
[0052]
步骤2具体过程为：
[0053]
步骤2.1：将多聚焦图像转换为单通道图像，借助非下采样轮廓波变换对图像序列中的每张图像进行变换。
[0054]
对多聚焦图像序列中的每张图像进行如图4所示的非下采样轮廓波变换，提取3个频段的高频信息，在低频段到高频的依次构建2、3、4级方向滤波器组进行方向滤波，以获得28个矩阵表示不同频段不同方向的纹理分布。
[0055]
步骤2.2：对于每张图像变换后的结果，利用金字塔形低通滤波器组进行处理，得到一个相同大小的矩阵。
[0056]
按照均值μ＝0，方差σ＝1的参数设置，从低频段到高频段分别构建尺寸为21、13、5的高斯滤波器，形成金字塔形低通滤波器组；对不同尺度下的方向系数矩阵进行绝对值求和处理，每次加上一个系数矩阵的绝对值后，用对应尺度的低通滤波器组对结果进行处理，直到该尺度下所有方向系数矩阵相加完成，以得到不同尺度的处理结果；对不同尺度的处理结果求和，以得到一个反映图像不同像素聚焦程度的矩阵。
[0057]
步骤2.3：为多聚焦图像序列中每张图像构建相同大小的，初始值为0的掩模版图像。
[0058]
步骤2.4：对图像之间处理结果逐像素进行比较，记录比较结果中最值所在的像素位置和通道数目，并在掩模版序列中修改相应的数值为1，以更新掩模版序列。
[0059]
步骤3：借助掩模版序列得到样本表面初始深度信息和全焦信息。
[0060]
步骤3具体过程为：
[0061]
步骤3.1：将不同图像的掩模版与对应的通道相乘，并将相乘的结果相加，以得到基于聚焦评价算法估计到的初始深度信息。
[0062]
步骤3.2：将不同的图像与对应的掩模版相乘，并将相乘的结果相加，以得到反映样本表面纹理信息的全焦图像。
[0063]
步骤4：按照图5所示，借助马尔科夫随机场和初始深度信息构建能量函数，通过对能量函数进行求解，得到深度信息的优化结果。
[0064]
步骤4具体过程为：
[0065]
步骤4.1：基于最大后验概率的能量函数框架，代入初始深度信息作为能量函数的保真项，代入样本表面的马尔可夫随机场作为能量函数中的惩罚项；
[0066]
步骤4.2：将能量函数表示为如图6所示的无向图的形式，借助以α拓展图割算法为核心的迭代优化算法对无向图进行求解，以得到修正后的深度信息；
[0067]
以像素与八邻接像素之间差的绝对值作为无向图中的n-links，以当前深度信息与当前通道之间差的绝对值作为无向图中的t-links，并将无向图的能量作为初始的最小割能量；基于α拓展图割对当前无向图进行求解，以得到无向图的最小割；计算最小割能量是否降低，如果是，以当前最小割重新构建无向图的t-links，并进行新一轮迭代，否则将上次迭代的最小割作为优化结果输出。
[0068]
步骤5具体过程为：
[0069]
以全焦信息作为三维图形的底面和颜色，以优化的深度信息作为三维图形的高
度，构建三维图形，三维重建的结果如图7所示。可以看到受马尔科夫随机场的约束，样本表面的噪声较少，同时不同深度区域之间的分界也比较明显，达到了较好的三维重建效果。