一种多相似性测度结合的立体匹配方法与流程

1.本发明涉及计算机视觉技术领域，特别是涉及一种多相似性测度结合的立体匹配方法。


背景技术：

2.双目立体视觉是计算机视觉的一个重要分支，它根据同一空间物体在不同视角拍摄的两幅图像之间存在的差异，采用几何方法计算物体表面的深度信息，进而实现三维重建。这种获取三维信息的方法操作简单、可靠性高、成本低，在许多领域有十分广泛的应用价值，如虚拟现实技术、机器人导航与航测、3d打印、工业零件检测、无人驾驶汽车、医学成像等领域均有它的身影，这将在很大程度上改变人类未来的生产实践活动和日常生活方式。
3.立体匹配是双目立体视觉的核心问题，一直以来都广受学术界关注，各种匹配方法层出不穷。简单地说，立体匹配就是根据图像的某些特征信息和空间约束关系，将不同视角的空间物体上的点在图像中的投影点对应起来，并在此基础上得到视差图。当空间三维物体投影成平面二维图像时，同一物体从不同视角获得的图像存在很大差异，而且容易受到环境中很多因素(如光照、背景、自身纹理和几何形状等)的影响。因此，对复杂因素影响下的图像对进行高效无歧义的匹配是极具挑战性的，这个难题至今尚未圆满解决。
4.当前，针对双目立体视觉系统的研究过程中，形成挑战、制约其发展的关键问题主要有如下几个方面：
5.(1)视差不连续区域、弱纹理或无纹理区域和遮挡区域，是图像立体匹配研究中的一个难点和重点，至今尚未有任何一种算法能够完美的解决这三个区域的立体匹配问题。尤其在双目立体视觉的实际应用中，如何对这三个区域的立体匹配进行后期优化处理，进一步改善视差图的质量也是一个值得研究的课题。
6.(2)在实际应用中立体视觉系统需要处理的数据量十分庞大，很难实现实时的处理。如何从实际应用出发，建立实时性好、精度高而且稳定的立体匹配算法，是非常有意义的，也是双目立体视觉的一个难点。
7.例如，申请公布号为202010637588.7，名称为“一种基于边缘信息的双目立体匹配方法”的中国专利公开了一种基于边缘信息的双目立体匹配方法，包括：利用邻域中值替换法和高斯颜色模型进行匹配代价计算；采用最小生成树结合跨尺度代价聚合法进行代价聚合；采用胜者为王策略进行视差计算；利用超像素分割算法进行分割，并结合加权中值滤波进行优化。该方法能够在遮挡区域和边缘信息不连续区域获得较精确的视差图，但由于使用了超像素分割算法，导致计算量较大，实时性不高。


技术实现要素：

8.本发明提供了一种多相似性测度结合的立体匹配方法，该匹配方法能够弥补单一代价函数的不足，实现优势互补，获得较低的误匹配率，特别是在低纹理区域、物体边缘处
和重复纹理区域能够得到更加准确的视差图。
9.为实现上述目的，本发明的技术方案为：
10.一种多相似性测度结合的立体匹配方法，包括如下步骤：
11.(1)、基于图像的色彩信息、梯度信息和census变换构造多相似性测度函数结合的匹配代价函数；其中，对基于census变换的相似性测度函数进行归一化处理；
12.(2)、利用引导滤波器完成匹配代价聚合；
13.(3)、计算最优视差，并利用最小聚合代价与次小聚合代价的比值来描述可信度进行视差修正；
14.(4)、进行左右交叉一致性检查及优化处理得到最终视差图。
15.优选的，所述的步骤(1)中，包括如下具体步骤：
16.a1、采用灰度差绝对值之和sad(sum of absolute differences)算法，计算基于颜色信息的相似性测度函数；
17.b1、采用基于梯度的度量gbm(gradient
‑
based measure)算法，计算基于梯度信息的相似性测度函数；
18.c1、计算基于census变换的相似性测度函数，census变换是一种典型的非参数变换，利用像素邻域窗口内像素点与中心像素点灰度值大小相对值对左右图像间的相似性进行度量；
19.d1、对基于census变换的相似性测度函数进行归一化；
20.e1、分配权值，结合颜色信息的相似性测度函数、梯度信息的相似性测度函数和归一化后的基于census变换的相似性测度函数构造匹配代价函数。
21.优选的，所述的具体步骤d1中，归一化的公式为：
[0022][0023]
式中，h(p,d)是得到的基于census变换的相似性测度函数，λ
ct
是通过实验测试得到的比例参数，取λ
ct
＝31。
[0024]
优选的，所述的具体步骤e1中，匹配代价函数的计算公式如下：
[0025]
c(p,d)＝γ1min(c
ad
(p,d),t
ad
) γ2min(c
grad
(p,d),t
grad
) γ3min(c
ct
(p,d),t
ct
)
[0026]
γ1 γ2 γ3＝1
[0027]
式中，t
ad
、t
grad
和t
ct
分别是色彩灰度差的截断阈值、梯度信息差的截断阈值和census度量的截断阈值，γ1、γ2和γ3是各相似性测度的权重。
[0028]
优选的，匹配代价函数的计算公式中，经过实验，参数设置如下：
[0029]
t
ad
＝0.02745，t
grad
＝0.00784，t
ct
＝14，γ1＝0.11，γ2＝0.889，γ3＝0.001。
[0030]
优选的，所述的步骤(2)包括如下具体步骤：
[0031]
a2、假设左图像为引导图，基于匹配窗口进行线性加权求和；
[0032]
b2、确定像素邻域窗口内像素点对中心像素点的支持权重。
[0033]
优选的，所述的步骤(3)包括如下具体步骤：
[0034]
a3、在视差计算阶段，使用“胜者为王”(wta)准则，选择聚合代价取最小值时对应的视差为该点的视差值；
[0035]
b3、利用最小聚合代价与次小聚合代价的比值来描述可信度进行视差修正；其中，
可信度越高，则视差值越可靠，可信度越低，则视差值的可靠性越低，当可信度的值低于设定的阈值时，则认为该点的视差不可靠，需要对其重新计算进行修正。
[0036]
优选的，重新计算的公式为：
[0037][0038]
式中，d'(p)是更新后p点的视差值，d(p)是通过视差计算得到的p点的视差值，d
r
(p)是d(p)利用中值滤波后更新的值，c
f
(p)是可信度，t
cf
是设定阈值，经过实验测试取t
cf
＝0.17。
[0039]
优选的，所述的步骤(4)包括如下具体步骤：
[0040]
a4、分别计算左图像到右图像的视差图和右图像到左图像的视差图，然后检查对应点的视差值是否一致；
[0041]
b4、若对应点的视差值一致，说明该点满足左右一致性约束，否则，该点匹配无效；
[0042]
c4、对于匹配无效的像素点，可以根据视差连续性约束，用同一扫描线上与它最接近的有效匹配像素点的最小视差值来表示。
[0043]
本发明一种多相似性测度结合的立体匹配方法的有益效果是：
[0044]
1、本发明通过结合sad、gbm和census变换构造多相似性测度结合的匹配代价函数，gbm能很好地突出物体的边缘，弥补sad在物体边缘处造成的误匹配，但gbm对噪声依然比较敏感，而census度量对噪声和光照变化具有鲁棒性，所以本发明提出的匹配方法能够弥补单一代价函数的不足，实现优势互补，获得更好的匹配结果。
[0045]
2、本发明通过利用引导滤波器完成匹配代价聚合，主要有以下三个方面的优势：(1)引导滤波器具有良好的“保边”特性，有助于提高物体边缘部分的匹配准确率；(2)引导滤波器是以一种线性方式快速实现，运行时间与滤波窗口大小无关，仅与图像的总像素个数有关，有助于降低时间开销，提升算法速度；(3)引导滤波器技术，方便实现gpu编程。
附图说明
[0046]
图1、本发明的步骤框图；
[0047]
图2、本发明的详细流程图；
[0048]
图3、本发明提供的census变换代价计算过程示意图；
[0049]
图4、本发明提供的基于区域匹配算法基本原理示意图；
[0050]
图5、本发明提供的wta策略示意图；
[0051]
图6、本发明提供的middlebury测试平台的四幅标准图像的左图像；
[0052]
图7、本发明提供的middlebury测试平台的四幅标准图像的真实视差图；
[0053]
图8、本发明提供的四幅标准图像通过sad算法得到的视差图；
[0054]
图9、本发明提供的四幅标准图像通过census算法得到的视差图；
[0055]
图10、本发明提供的四幅标准图像通过本发明算法得到的视差图。
具体实施方式
[0056]
以下所述，是以阶梯递进的方式对本发明的实施方式详细说明，该说明仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所
作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
[0057]
本发明的描述中，需要说明的是，术语“上”“下”“左”“右”“顶”“底”“内”“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以及特定的方位构造和操作，因此不能理解为对本发明的限制。
[0058]
本发明的总体实施方案为：
[0059]
一种多相似性测度结合的立体匹配方法，如图1所示，包括如下步骤：
[0060]
(1)、基于图像的色彩信息、梯度信息和census变换构造多相似性测度函数结合的匹配代价函数；其中，对基于census变换的相似性测度函数进行归一化处理；
[0061]
(2)、利用引导滤波器完成匹配代价聚合；
[0062]
(3)、计算最优视差，并利用最小聚合代价与次小聚合代价的比值来描述可信度进行视差修正；
[0063]
(4)、进行左右交叉一致性检查及优化处理得到最终视差图。
[0064]
优选的，所述的步骤(1)中，包括如下具体步骤：
[0065]
a1、采用灰度差绝对值之和sad(sum of absolute differences)算法，计算基于颜色信息的相似性测度函数；
[0066]
b1、采用基于梯度的度量gbm(gradient
‑
based measure)算法，计算基于梯度信息的相似性测度函数；
[0067]
c1、计算基于census变换的相似性测度函数，census变换是一种典型的非参数变换，利用像素邻域窗口内像素点与中心像素点灰度值大小相对值对左右图像间的相似性进行度量；
[0068]
d1、对基于census变换的相似性测度函数进行归一化；
[0069]
e1、分配权值，结合颜色信息的相似性测度函数、梯度信息的相似性测度函数和归一化后的基于census变换的相似性测度函数构造匹配代价函数。
[0070]
如图2所示，所述的具体步骤d1中，归一化的公式为：
[0071][0072]
式中，h(p,d)是得到的基于census变换的相似性测度函数，λ
ct
是通过实验测试得到的比例参数，取λ
ct
＝31。
[0073]
如图2所示，所述的具体步骤e1中，匹配代价函数的计算公式如下：
[0074]
c(p,d)＝γ1min(c
ad
(p,d),t
ad
) γ2min(c
grad
(p,d),t
grad
) γ3min(c
ct
(p,d),t
ct
)
[0075]
γ1 γ2 γ3＝1
[0076]
式中，t
ad
、t
grad
和t
ct
分别是色彩灰度差的截断阈值、梯度信息差的截断阈值和census度量的截断阈值，γ1、γ2和γ3是各相似性测度的权重。
[0077]
匹配代价函数的计算公式中，经过实验，参数设置如下：
[0078]
t
ad
＝0.02745，t
grad
＝0.00784，t
ct
＝14，γ1＝0.11，γ2＝0.889，γ3＝0.001。
[0079]
如图2所示，所述的步骤(2)包括如下具体步骤：
[0080]
a2、假设左图像为引导图，基于匹配窗口进行线性加权求和；
[0081]
b2、确定像素邻域窗口内像素点对中心像素点的支持权重。
[0082]
如图2所示，所述的步骤(3)包括如下具体步骤：
[0083]
a3、在视差计算阶段，使用“胜者为王”(wta)准则，选择聚合代价取最小值时对应的视差为该点的视差值；
[0084]
b3、利用最小聚合代价与次小聚合代价的比值来描述可信度进行视差修正；其中，可信度越高，则视差值越可靠，可信度越低，则视差值的可靠性越低，当可信度的值低于设定的阈值时，则认为该点的视差不可靠，需要对其重新计算进行修正。
[0085]
重新计算的公式为：
[0086][0087]
式中，d'(p)是更新后p点的视差值，d(p)是通过视差计算得到的p点的视差值，d
r
(p)是d(p)利用中值滤波后更新的值，c
f
(p)是可信度，t
cf
是设定阈值，经过实验测试取t
cf
＝0.17。
[0088]
如图2所示，所述的步骤(4)包括如下具体步骤：
[0089]
a4、分别计算左图像到右图像的视差图和右图像到左图像的视差图，然后检查对应点的视差值是否一致；
[0090]
b4、若对应点的视差值一致，说明该点满足左右一致性约束，否则，该点匹配无效；
[0091]
c4、对于匹配无效的像素点，可以根据视差连续性约束，用同一扫描线上与它最接近的有效匹配像素点的最小视差值来表示。
[0092]
下面结合附图对本发明的实施方式进行具体说明：
[0093]
如图2所示：
[0094]
步骤(1)的目的是利用匹配代价函数计算匹配代价，进而度量左、右图像对应点之间的相似程度，其详细步骤为：
[0095]
a1、在数字图像处理中，像素颜色的相对明暗程度可以用像素的灰度值来表示。通常在同一邻域内，颜色越相近的像素点具有相似视差的可能性越大，反之，颜色相差越大的像素点具有相似视差的可能性越小。用每个颜色通道的sad来度量相应像素的灰度相似性，其计算公式如下：
[0096][0097]
式中，表示左图像中像素点p的第i个颜色通道的灰度值，表示像素点p在右图像中对应的点的第i个颜色通道的灰度值，d表示像素点p对应的视差值。
[0098]
b1、图像梯度值与图像灰度变换率成正比，梯度值越大，灰度变化越剧烈，表征图像的边缘部分。因此，图像梯度值在一定程度上可以体现图像中物体的边缘和轮廓。所以，gbm能够突出图像的边缘信息，可以有效获得图像中物体边缘处的视差值。基于梯度信息度量像素相似性的具体公式为：
[0099][0100]
式中，表示左视图中像素点p的梯度值，表示像素点p在右图像中对应的点的梯度值，d表示像素点p对应的视差值。
[0101]
c1、利用census变换度量左右图像中两个点的差异程度。census变换是一种典型的非参数变换，通过像素灰度值的比较，将以像素点p为中心建立的窗口内的像素变换成一个比特串。变换的原则是，用中心像素点的灰度值作为阈值分别与窗口内其他像素点的灰度值依次进行比较，如果中心像素灰度值较大，则该像素点记为1，否则记为0。具体公式如下：
[0102][0103]
式中，i(p)和i(q)分别是中心像素点p和邻域窗口像素点q的灰度值。表示按照设定顺序对每一个布尔值进行排列，得到对应的比特串。以3
×
3窗口为例进行说明，如图3所示。
[0104]
计算两个比特串的汉明距离，汉明距离的大小代表左右图像中两个点的差异程度，汉明距越小表明两点的相似程度越高，反之则相似的可能性越小。计算公式如下：
[0105]
h(p,d)＝hamming(c
tl
(p),c
tr
(p,d))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0106]
其中，hamming表示汉明距离，c
tl
和c
tr
分别是左图像和右图像经过census变换后的图像，d为视差值。
[0107]
d1、由于sad测度、gbm测度与census变换测度采用的评价标准不相同，由此产生的初始匹配代价是不一致的，故需要对census变换的相似性测度归一化，计算公式如下：
[0108][0109]
式中，h(p,d)是上述得到的基于census变换的相似性测度函数，λ
ct
是通过实验测试得到的比例参数，取λ
ct
＝31。
[0110]
e1、为提高匹配效率，避免非匹配点的影响，在各相似性测度中采用截断阈值，即对灰度值、梯度值和汉明距离相差很大，超出设定阈值的对应像素点视为非匹配点。匹配代价函数具体公式如下：
[0111]
c(p,d)＝γ1min(c
ad
(p,d),t
ad
) γ2min(c
grad
(p,d),t
grad
) γ3min(c
ct
(p,d),t
ct
)
ꢀꢀꢀ
(6)
[0112]
γ1 γ2 γ3＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0113]
式中，t
ad
、t
grad
和t
ct
分别是色彩灰度差的截断阈值、梯度信息差的截断阈值和census度量的截断阈值，γ1、γ2和γ3是各相似性测度的权重。经过实验测试，参数设置如下：
[0114]
t
ad
＝0.02745，t
grad
＝0.00784，t
ct
＝14，γ1＝0.11，γ2＝0.889，γ3＝0.001。
[0115]
所述的步骤(2)中，具体步骤如下：
[0116]
a2、假设左图像i
l
为引导图像，基于匹配窗口进行线性加权求和，计算公式如下：
[0117][0118]
式中，c(p,d)是被引导的图像的匹配代价，c
′
(p,d)为聚合后的匹配代价，q为像素p的邻域内任意像素，w
p,q
(i
l
)是像素q对像素p的支持权重。
[0119]
b2、确定权重w
p,q
(i
l
)，它是关于引导图像i
l
的函数，由于引导图像是彩色图像，所以计算公式如下：
[0120][0121]
式中，w
k
表示引导图中以k点为中心的支持窗口，|w|为窗口内像素的数量，μ
k
和σ
k
分别是窗口内所有像素的均值和协方差矩阵，ε是一个平滑系数，此处设置为ε＝0.0001，u为3
×
3的单位矩阵。
[0122]
所述的步骤(3)的具体步骤如下：
[0123]
a3、在窗口内聚合完匹配代价后，如图4所示，首先在参考图(以左图像为例)上取任意点p(x
l
,y
l
)作为待匹配点，然后，在待匹配图(右图像)中以点p(x
l
,y
l
)坐标对应的像素点p(x
r
,y
r
)为中心建立同样大小的窗口模板w
′
，再以d为搜索范围在同一极线上水平移动窗口模板w
′
，利用上一步得到的该点与右图上(x0‑
maxdisparity,y0)到(x0‑
mindisparity,y0)之间所有像素的代价，画出窗口模板w
′
的聚合后的匹配代价直方图。
[0124]
b3、获取视差通常采用“胜者为王”策略，即在视差搜索范围内选择累积代价最小的点作为对应匹配点，与之对应的视差即为所求的视差。如图5所示，选择最小代价值所对应的视差作为最优视差。具体表示为：
[0125][0126]
式中，r
d
＝[d
min
,d
max
]是所有视差的取值范围，c
′
(p,d)为聚合后的匹配代价。
[0127]
c3、使用胜者为王算法可能会出现不同的视差值可能同时具有最小的聚合代价的情况。因此，提出利用最小聚合代价与次小聚合代价的比值来描述可信度，具体表示为：利用最小聚合代价与次小聚合代价的比值来描述可信度，可信度越高，则视差值越可靠，反之亦然。
[0128]
具体表示为：
[0129][0130]
其中，c
′
(p,d)为聚合后的匹配代价。
[0131]
d3、当可信度的值低于设定的阈值时，则认为该点的视差不可靠，需要对其进行修正，计算公式如下：
[0132][0133]
式中，d
r
(p)是d(p)利用中值滤波后更新的值，t
cf
是设定阈值，经过实验测试取t
cf
＝0.17。
[0134]
所述的步骤(4)的具体步骤如下：
[0135]
a4、计算左图像到右图像的视差图和右图像到左图像的视差图，然后检验这两个视差图中对应点的视差值是否一致或相似。lrc检查过程可表示为下式：
[0136]
|d
′
l
(p)
‑
d
′
r
(p
‑
d
′
l
(p))|＜δ
ꢀꢀꢀꢀꢀ
(13)
[0137]
式中，d
′
l
(p)和d
′
r
(p
‑
d
′
l
(p))分别是p点的左图到右图的视差和右图到左图的视差，δ是检测阈值，经过实验测试，取δ＝1。
[0138]
b4、检查上式是否成立。若上式成立，说明该点满足左右一致性约束；若不满足上式，则该点匹配无效。
[0139]
c4、对于匹配无效的像素点，可以根据视差连续性约束，用同一扫描线上与它最接近的有效匹配像素点的最小视差值来表示。一般情况下，遮挡部分是背景，深度值比前景要大，又因为深度与视差成反比，所以选择视差值较小的作为遮挡点的视差值。具体可表示为：
[0140]
d
lrc
(p)＝min(d
′
(p
l
),d
′
(p
r
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0141]
式中，d
′
l
(p)和d
′
r
(p)分别是无效匹配点的左、右两侧第一个有效像素点的视差值。
[0142]
为突出本发明的优点，下面结合效果图加以说明：
[0143]
图6为来自middlebury测试平台的四幅标准图像对的左图像，从左到右依次为tsukuba图像、venus图像、teddy图像和cones图像。
[0144]
图7为来自middlebury测试平台的四幅标准图像的真实视差图，用来与其他算法得到的视差图做对比。
[0145]
图8为四幅标准图像通过sad算法得到的视差图。从图中可以看出，sad算法在物体边缘部分效果不太理想，如venus图像中的报纸边缘和cones图像中的椎体部分。
[0146]
图9为四幅标准图像通过census算法得到的视差图。从图中可以看出，census变换得到的视差图匹配精度不高，在深度不连续区域效果不太好。
[0147]
图10为四幅标准图像通过本发明算法得到的视差图。从图中可以看出，本发明提出的算法无论是在物体边缘处还是平坦区域都能够得到更加准确的视差图。在低纹理区域，如tsukuba图像中的背景墙壁和书架区域，teddy图像的画布和cones图像的椎体区域等都能获得更好的效果。对于venus图像中各个报纸的边缘(物体的边缘)，cones图像中人脸右侧的木条(重复纹理区域)，在以上这些区域可以发现本发明提出的算法的效果明显优于sad算法和census变换。
[0148]
误匹配率(pbm)是目前国际通用的评价匹配算法性能最重要的指标，表1给出三种算法在不同标准图像对下的的误匹配率以及平均误匹配率。
[0149]
表1三种立体匹配方法比较
[0150][0151]
通过对比可知，由于四组标准图像中场景侧重点不同，三种算法在不同的图像对中误匹配率有所变化。本文算法的误匹配率要低于其他两种常用匹配算法，尤其在tsukuba和venus标准图像中提升更为明显。对四组图像对的误匹配率取平均，本文算法误匹配率为6.5％，低于sad算法和census算法，说明本发明提出的算法匹配精度较高。