基于改进三值Census的半全局密集匹配方法及系统与流程

基于改进三值census的半全局密集匹配方法及系统
技术领域
1.本发明涉及密集匹配领域，具体涉及核线像对的基于改进三值census的半全局密集匹配方法及系统。


背景技术：

2.在密集匹配领域，代价计算的方式有很多种，其中基于census变换的代价计算较为常见。而传统的census变换均为二值census变换，即将边缘像素与中心像素的灰度值的关系简化为了两种(大于等于和小于或小于等于和大于)，由于没有将等于关系区分开来，导致代价计算的逻辑不够严谨，精度也会收到影响，于是基于改进三值census的半全局密集匹配方法就有了意义，使得代价计算时边缘像素与中心像素的灰度值大小关系能够正确反映，从而逻辑更加严密，并提高匹配精度。一方面，可以通过基于互信息的半全局匹配实现核线影像的密集匹配；另一方面，可以通过二值census变换的半全局匹配实现核线影像的密集匹配。但是，上述方法的匹配代价计算方式均存在一定的问题，基于互信息的半全局密集匹配的匹配速度较慢，需要改进；基于二值census变换的半全局密集匹配没有区分出边缘像素与中心像素的灰度值相等关系。这些均导致了密集匹配的逻辑缺乏严谨性，匹配精度有待提高。


技术实现要素：

3.本发明所要解决的技术问题是解决了基于二值census变换的代价计算存在的无法区分边缘像素与中心像素灰度值相等情况的问题，目的在于提供逻辑更严谨、精度更高的半全局密集匹配方法。利用基于改进三值census的半全局密集匹配方法，既能够充分提取中心像素与周围像素的灰度值大小关系，保证匹配精度，同时比特串位运算的使用也使得三值 census变换较二值census在效率上几乎没有变换，最终实现了对核线像对的密集匹配，输出视差图。
4.本发明通过下述技术方案实现：
5.基于改进三值census的半全局密集匹配方法及系统，包括如下步骤：
6.步骤a)输入核线像对和视差搜索范围。
7.步骤b)分别对输入的左右影像做三值census变换得到各像素census值(二进制比特串)。输入核线像对，取一个邻域窗口(窗口大小为n
×
m，n和m都为奇数，例如5
×
5)，将领域内的像素灰度值与窗口中心像素的灰度值进行比较，像素的灰度值大于中心
→
记为两位二进制10、像素的灰度值等于中心
→
记为两位二进制11、像素的灰度值小于中心
→
记为两位二进制01，得到一个二进制比特串，作为中心像素的census变换值。得到像素的census变换值后，对左影像中的每一个像素，在输入的视差搜索范围内的每一个视差下，匹配右影像中对应的像素，两个像素对应两个census值进行异或运算(相同比特位比较，相同记为0，不同记为 1)，得到的比特串结果中1的个数即为代价值，用hamming距离表示，从而得到三维代价数组。
8.步骤c)采用路径聚合来近似求解二维最优。将每个像素的初始代价值从n个不同方向路径下(4方向或8方向)进行单独聚合，然后将所有路径聚合值进行累加。方向路径下(4方向或8方向)进行单独聚合，然后将所有路径聚合值进行累加。方向路径下(4方向或8方向)进行单独聚合，然后将所有路径聚合值进行累加。中，c(p，d)表示像素p在视差d下的初始代价。lr(p，d)表示像素p在视差d下的聚合代价。惩罚项p1为一个常量，按照经验设置，一般设置为10。惩罚项p2为一个随左影像相邻像素灰度差变化的变量，其值按照p2＞p1进行计算(p2’＝150， i
bp
为像素p的灰度值，i
bq
为像素q的灰度值)。输入三维代价数组和聚合方向，按照上式，对于聚合方向下每一条路径，进行代价聚合更新代价值(路径的首个像素的聚合代价等于初始代价)，得到各方向的聚合代价值后，进行累加，从而完成n方向下的代价聚合。
9.步骤d)采用winner takes all赢家通吃准则，对于左影像聚合后的代价数组中的每一个像素，其在视差范围下每一个视差对应的代价值cost中值最小时对应的视差即为该像素的视差，遍历代价数组，完成视差计算。
10.步骤e)获取左影像和右影像的视差图。对左影像视差图的每一个像素a，计算出同名点在右影像视差图中的像素位置b。判断a和b的视差值之差的绝对值是否小于一个阈值(通常为1个像素)，如果超过阈值，则一致性检查不通过，把对应位置的视差值变为无效值。遍历整张影像，完成一致性检查。
11.步骤f)在得到某一像素的最小代价值cost时，再得到其次最小代价值cost，比较两者的差值，若两者的差值小于阈值，则该像素视差设置为无效值。遍历整张影像，完成唯一性约束。
12.步骤g)通过中值滤波剔除视差图中的一些孤立的离群外点，同时填补视差图中的一些小洞。
13.步骤h)剔除连通在一起的小块错误匹配像素。通过区域跟踪，把它们跟踪成块，然后判断块的大小是否小于一定的阈值，如果是则剔除，即把整块区域像素的视差都设置为无效视差。
14.本发明在基于三值census变换计算匹配代价的基础上进行半全局密集匹配，使得核线影像的各中心像素与周围像素灰度值相等情况被混入不等关系而未被区分出来的情况得到有效避免。同时，两位比特位的使用，可以有效地表达出中心像素与周围像素灰度值的大于、小于和等于关系，因为一位比特位(0或1)只能表示两种情况，如果出现灰度值相等情况可能会使匹配精度降低。另外一方面，本发明是在二进制比特串上进行匹配代价——汉明距离的计算，运算效率较快。
15.本发明与现有技术相比，具有如下的优点和有益效果：
16.本发明通过三值census变换来计算初始匹配代价，更能真实地检测出中心像素与周围像素的灰度值关系，逻辑关系更为严密，精度更高，且并未增加内存负担保证了后续的代价聚合和视差计算的精度和效率。
附图说明
17.图1为本发明流程图。
18.图2a为标准数据cone的左影像，图2b为经本发明处理得到的对应视差图。
19.图3a为标准数据cloth的左影像，图3b为经本发明处理得到的对应视差图。
20.图4a为标准数据wood的左影像，图4b为经本发明处理得到的对应视差图。
21.图5a为标准数据reindeer的左影像，图5b为经本发明处理得到的对应视差图。
22.此处所说明的图2a、图2b、图3a、图3b、图4a、图4b、图5a和图5b用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定。
23.为使本发明的目的和优点更加清楚明白，下面结合实例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
具体实施方式
24.步骤a)输入核线像对和视差搜索范围。
25.步骤b)分别对输入的左右影像做三值census变换得到各像素census值(二进制比特串)。输入核线像对，取一个邻域窗口(窗口大小为n
×
m，n和m都为奇数，例如5
×
5)，将领域内的像素灰度值与窗口中心像素的灰度值进行比较，像素的灰度值大于中心
→
记为两位二进制10、像素的灰度值等于中心
→
记为两位二进制11、像素的灰度值小于中心
→
记为两位二进制01，得到一个二进制比特串，作为中心像素的census变换值。得到像素的census变换值后，对左影像中的每一个像素，在输入的视差搜索范围内的每一个视差下，匹配右影像中对应的像素，两个像素对应两个census值进行异或运算(相同比特位比较，相同记为0，不同记为 1)，得到的比特串结果中1的个数即为代价值，用hamming距离表示，从而得到三维代价数组。
26.步骤c)采用路径聚合来近似求解二维最优。将每个像素的初始代价值从n个不同方向路径下(4方向或8方向)进行单独聚合，然后将所有路径聚合值进行累加。方向路径下(4方向或8方向)进行单独聚合，然后将所有路径聚合值进行累加。方向路径下(4方向或8方向)进行单独聚合，然后将所有路径聚合值进行累加。中，c(p，d)表示像素p在视差d下的初始代价。lr(p，d)表示像素p在视差d下的聚合代价。惩罚项p1为一个常量，按照经验设置，一般设置为10。惩罚项p2为一个随左影像相邻像素灰度差变化的变量，其值按照p2＞p1进行计算(p2’＝150， i
bp
为像素p的灰度值，i
bq
为像素q的灰度值)。输入三维代价数组和聚合方向，按照上式，对于聚合方向下每一条路径，进行代价聚合更新代价值(路径的首个像素的聚合代价等于初始代价)，得到各方向的聚合代价值后，进行累加，从而完成n方向下的代价聚合。
27.步骤d)采用winner takes all赢家通吃准则，对于左影像聚合后的代价数组中的每一个像素，其在视差范围下每一个视差对应的代价值cost中值最小时对应的视差即为该像素的视差，遍历代价数组，完成视差计算。
28.步骤e)获取左影像和右影像的视差图。对左影像视差图的每一个像素a，计算出同名点在右影像视差图中的像素位置b。判断a和b的视差值之差的绝对值是否小于一个阈值(通常为1个像素)，如果超过阈值，则一致性检查不通过，把对应位置的视差值变为无效值。遍历整张影像，完成一致性检查。
29.步骤f)在得到某一像素的最小代价值cost时，再得到其次最小代价值cost，比较两者的差值，若两者的差值小于阈值，则该像素视差设置为无效值。遍历整张影像，完成唯
一性约束。
30.步骤g)通过中值滤波剔除视差图中的一些孤立的离群外点，同时填补视差图中的一些小洞。
31.步骤h)剔除连通在一起的小块错误匹配像素。通过区域跟踪，把它们跟踪成块，然后判断块的大小是否小于一定的阈值，如果是则剔除，即把整块区域像素的视差都设置为无效视差。
32.输出结果见说明书附图。
33.以上所述的具体实施方式,对本发明的目的.技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围, 凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。