基于改进三值Census的半全局密集匹配方法及系统与流程

技术特征：
1.基于改进三值census的半全局密集匹配方法及系统，其特征在于，包括如下步骤：步骤a)输入核线像对和视差搜索范围；步骤b)分别对输入的左右影像做三值census变换得到各像素census值(二进制比特串)；输入核线像对，取一个邻域窗口(窗口大小为n
×
m，n和m都为奇数，例如5
×
5)，将领域内的像素灰度值与窗口中心像素的灰度值进行比较，像素的灰度值大于中心
→
记为两位二进制10、像素的灰度值等于中心
→
记为两位二进制11、像素的灰度值小于中心
→
记为两位二进制01，得到一个二进制比特串，作为中心像素的census变换值；得到像素的census变换值后，对左影像中的每一个像素，在输入的视差搜索范围内的每一个视差下，匹配右影像中对应的像素，两个像素对应两个census值进行异或运算(相同比特位比较，相同记为0，不同记为1)，得到的比特串结果中1的个数即为代价值，用hamming距离表示，从而得到三维代价数组；步骤c)采用路径聚合来近似求解二维最优；将每个像素的初始代价值从n个不同方向路径下(4方向或8方向)进行单独聚合，然后将所有路径聚合值进行累加；路径下(4方向或8方向)进行单独聚合，然后将所有路径聚合值进行累加；路径下(4方向或8方向)进行单独聚合，然后将所有路径聚合值进行累加；中，c(p，d)表示像素p在视差d下的初始代价；l
r
(p，d)表示像素p在视差d下的聚合代价；惩罚项p1为一个常量，按照经验设置，一般设置为10；惩罚项p2为一个随左影像相邻像素灰度差变化的变量，其值按照p2＞p1进行计算(p2’＝150，i
bp
为像素p的灰度值，i
bq
为像素q的灰度值)；输入三维代价数组和聚合方向，按照上式，对于聚合方向下每一条路径，进行代价聚合更新代价值(路径的首个像素的聚合代价等于初始代价)，得到各方向的聚合代价值后，进行累加，从而完成n方向下的代价聚合；步骤d)采用winner takes all赢家通吃准则，对于左影像聚合后的代价数组中的每一个像素，其在视差范围下每一个视差对应的代价值cost中值最小时对应的视差即为该像素的视差，遍历代价数组，完成视差计算；步骤e)获取左影像和右影像的视差图；对左影像视差图的每一个像素a，计算出同名点在右影像视差图中的像素位置b；判断a和b的视差值之差的绝对值是否小于一个阈值(通常为1个像素)，如果超过阈值，则一致性检查不通过，把对应位置的视差值变为无效值；遍历整张影像，完成一致性检查；步骤f)在得到某一像素的最小代价值cost时，再得到其次最小代价值cost，比较两者的差值，若两者的差值小于阈值，则该像素视差设置为无效值；遍历整张影像，完成唯一性约束；步骤g)通过中值滤波剔除视差图中的一些孤立的离群外点，同时填补视差图中的一些小洞；步骤h)剔除连通在一起的小块错误匹配像素；通过区域跟踪，把它们跟踪成块，然后判断块的大小是否小于一定的阈值，如果是则剔除，即把整块区域像素的视差都设置为无效视差。2.根据权利要求1所述的基于改进三值census的半全局密集匹配方法及系统，其特征在于，步骤b)中通过三值census变换得到各像素census值，从而计算左影像各像素在各视
下的匹配代价，使用三值census变换充分考虑了中心像素与周围像素的灰度值关系，将大于、等于和小于三种情况充分考虑并加以区分，实现了更高精度的密集匹配，因为传统的二值census变换没有将中心像素灰度值与周围像素灰度值的等于关系区分开来，所以会导致匹配代价的计算在逻辑和精度上都存在问题与欠缺，故需要通过三值census变换进行初始代价计算以充分反映中心像素与周围像素的灰度值大小关系。

技术总结
本发明涉及密集匹配领域，具体而言，涉及基于改进三值Census的半全局密集匹配方法及系统。本发明提供的基于改进三值Census的半全局密集匹配方法及系统，通过对核线像对进行基于三值Census变换的代价计算，得到左影像各像素各视差下的初始代价。然后进行代价聚合，对左影像各像素各视差下的代价进行更新。接着使用WTA算法进行视差计算，得到初始视差值。利用一致性检查、唯一性约束、子像素拟合、中值滤波和剔除小连通区进行视差优化。最终，输出得到左影像的视差图。左影像的视差图。左影像的视差图。


技术研发人员：唐可正 肖雄武 钟智超 李天乐 沈健 农飞洋 钟昊楠 戴苏湘 李金瑞 刘小松
受保护的技术使用者：唐可正
技术研发日：2022.08.10
技术公布日：2022/12/16