一种基于双目竞争匹配与遮挡拓扑推理的稠密视差估计方法、电子设备及计算机可读存储介质
本发明属于计算机视觉、双目立体匹配、三维重建及智能感知,具体涉及一种基于双目竞争匹配与遮挡拓扑推理的稠密视差估计方法、电子设备及计算机可读存储介质。
背景技术:
1、双目稠密视差估计是三维视觉感知系统中实现环境几何恢复与空间关系建模的关键基础,其结果直接影响后续深度测量、目标定位、场景重建和运动决策的可靠性。该技术通过在具有重叠视场的两个成像视图之间建立像素级对应关系,利用同一空间点在不同成像平面上的位置差异求取视差,并进一步恢复场景深度。随着机器人自主作业、智能驾驶、工业检测、增强现实和数字孪生等应用对高精度空间感知需求的提升,稠密视差结果已不再仅用于获得深度数值,还需要准确保持物体轮廓、前后层次、局部连续性及遮挡关系。实际双目数据既可以由一体式双目相机获得,也可以由两台同步相机或多相机系统中的任意两个具有公共视场的成像单元获得,其成像基线、视角关系和公共可见区域往往随系统配置而变化。
2、现有立体匹配方法通常采用统一的特征表达、匹配代价计算、空间聚合和视差回归机制处理全部像素,其基本前提是各区域能够通过相近的对应规则获得稳定匹配。然而,真实场景中的双目对应关系具有明显的非均一性:共同可见区域存在可直接验证的跨视图对应;遮挡区域中的部分像素在另一视图内不存在真实匹配点;重复纹理区域可能产生多个外观相似且代价接近的候选位置;弱纹理区域则缺乏足以支持唯一匹配的局部信息。此外,反光表面、细小结构、前景—背景交界及视场边缘还会进一步削弱匹配响应的稳定性。若忽略上述差异并采用统一方式进行估计,容易在遮挡区域形成虚假对应,在重复纹理区域发生视差跳变,在弱纹理区域产生大范围不稳定预测,并使前景视差向背景扩散,最终造成深度边界模糊、细小结构丢失和场景层次关系失真。
3、现有方案虽然可通过扩大感受野、多尺度特征融合、注意力加权或多分支预测提高整体匹配能力,但多数改进仍集中于特征表达和信息融合层面,尚未充分解决不同几何状态具有不同对应成立条件这一根本问题。尤其是在遮挡区域不存在真实对应点的情况下,仅增强特征相关性并不能保证所得视差具有物理合理性;在多候选或低纹理区域,单一回归结果也难以反映候选之间的不确定性及其空间依赖关系。同时,部分方法将遮挡判断置于视差预测之后,使其只能用于结果修补,难以从候选建立阶段抑制错误对应;部分多分支模型虽能够输出不同结果,但各分支之间缺少明确的几何职责,导致分支选择依据、结果来源和边界传播过程缺乏可解释性。因此,复杂场景下的稠密视差估计亟需突破统一匹配机制的局限,使不同几何成因产生的不确定性能够被区分处理,并保证最终结果同时满足双目对应关系、遮挡可见性和深度边界连续性等基本几何要求。
技术实现思路
1、为了解决上述技术问题,本发明提供了一种基于双目竞争匹配与遮挡拓扑推理的稠密视差估计方法、电子设备及计算机可读存储介质。本发明以状态驱动的多假设几何推理为主线,利用遮挡拓扑限制跨边界传播,最终获得具有较高完整性、连续性和几何合理性的稠密视差图及深度图。
2、为实现上述目的,本发明采用如下技术方案:
3、第一方面,本发明提供一种基于双目竞争匹配与遮挡拓扑推理的稠密视差估计方法,包括以下步骤:
4、s1、获取同一场景的双目图像及相机标定参数,确定基准视图和匹配视图,完成畸变校正、极线校正及有效公共视场确定;
5、s2、根据基准视图和匹配视图构建多尺度几何证据,并在极线约束和预设视差范围内建立自适应候选视差及候选匹配概率分布;
6、s3、结合候选匹配概率分布和多尺度几何证据,判别解析各像素的几何对应关系,得到各像素对应的直接对应状态、遮挡状态或非明确对应几何状态;
7、s4、依据像素对应的各类几何状态,分别通过直接对应路径、遮挡拓扑推断路径、局部几何结构延续路径,依次生成直接对应视差假设、遮挡拓扑视差假设、几何机构延续视差假设;
8、s5、计算空间自适应的竞争权重,对上述直接对应视差假设、遮挡拓扑视差假设、几何机构延续视差假设进行条件竞争仲裁,并依据遮挡拓扑进行边界保持优化;
9、s6、对上述优化后的视差结果执行双向一致性、同表面连续性和边界合法性验证,输出结果图。
10、进一步优化,所述步骤s1中,基准视图和匹配视图的确定规则为:当下游任务预先指定输出坐标系时,将与该坐标系对应的成像视图确定为基准视图;当输出坐标系未固定时,在满足公共视场要求的视图中,选取公共有效区域比例高、无效像素比例低且成像质量好的视图作为基准视图,另一视图作为匹配视图。
11、进一步优化,所述步骤s2包括:
12、s21、基于选定的基准视图与匹配视图的双目图像,转换得到候选匹配特征表达,在极线几何范围内对候选位置做局部自适应调整,分别对基准视图、匹配视图做多尺度编码得到各尺度特征;
13、s22、基于步骤s21得到的多尺度特征,设置各尺度基础候选视差集合,结合基准视图局部特征生成受限残差偏移,得到自适应候选视差;
14、s23、基于步骤s22输出的自适应候选视差,结合极线约束计算匹配视图对应的候选采样坐标;
15、s24、依据初始相关响应、纹理能量、候选分布熵生成候选激活掩码,在张量维度固定前提下自适应控制实际参与计算的候选数量;
16、s25、结合步骤s23的候选采样坐标读取匹配视图特征,与基准视图特征进行拼接,构造候选嵌入;
17、s26、获取基于视差搜索范围、极线投影及匹配视图有效像素区域得到的候选几何有效性掩码,将其与候选激活掩码结合得到实际计算掩码,完成无效候选的屏蔽处理,以供后续代价求解使用。
18、进一步优化,所述步骤s3包括:
19、s31、依据基准视图位置和候选位置的归一化特征,求解出局部纹理代价;
20、s32、利用大范围池化、跨窗口注意或沿极线方向的上下文聚合方式,分别获得基准视图和匹配视图的全局几何描述,并求解全局几何代价;
21、s33、根据双目边缘方向、梯度幅值及候选两侧结构一致性,求解边界结构代价;基于纹理能量、初始候选熵和边界响应生成位置相关的代价融合系数,候选综合代价满足:
22、,
23、其中,、、分别表示局部纹理代价、全局几何代价和边界结构代价;为实际参与候选掩码;为对无效或未激活候选施加的较大惩罚值;在纹理充分区域提高,在弱纹理或重复纹理区域提高,在深度边界和细小结构区域提高;
24、s34、将候选综合代价转换为候选视差概率,由候选概率分布中提取归一化分布熵、第一峰值与第二峰值的间隔、初始视差期望及有效候选占比,以匹配视图为基准构建反向视差,计算双向一致性误差;
25、s35、将归一化分布熵、峰值间隔、双向一致性误差、纹理能量、边界响应和有效候选比例组成几何状态向量,并生成几何状态概率:
26、,
27、其中,、、和分别表示正常对应、遮挡、匹配歧义和弱纹理状态概率;表示几何状态解析函数,由卷积模块、多层感知机或规则组合实现。
28、进一步优化,所述步骤s4中,直接对应路径根据候选概率对自适应候选视差进行期望回归,得到直接对应视差假设:
29、,
30、其中,表示位置p的直接对应视差假设,为第k个经残差修正的候选视差;
31、遮挡拓扑推理路径根据基准视图边缘、视差粗边缘及双向失配方向确定候选遮挡边界,对于边界位置p,沿边界法向建立两侧邻域,分别统计正常对应像素的代表视差:
32、
33、,
34、其中,表示中位数运算;和分别表示以遮挡边界位置p为中心、沿边界法向正方向和负方向设置的两个带状邻域;q为邻域中的支持像素;表示位置q的正常对应状态概率;为正常对应支持点的筛选阈值;median表示对满足条件的直接对应视差取中位数;所得和分别为边界两侧的代表视差;
35、结合边界法向、双向失配方向以及待推断像素所处方位确定前景-背景归属系数,再利用前景视差、背景视差及前景-背景归属系数形成遮挡拓扑视差假设:
36、,
37、其中,和分别表示位置p属于前景表面和背景表面的归属权重,满足;
38、几何结构延续路径在不跨越显著图像边界的同一结构区域内选取有效支持点集合,并通过稳健局部模型拟合视差表面:
39、,
40、其中,、和表示局部视差平面参数;表示由特征相似性、边缘连通性和空间距离确定的支持权重;表示稳健误差函数。由所述局部模型得到几何结构延续视差假设:
41、。
42、进一步优化,所述步骤s5计算空间自适应的竞争权重,对直接对应视差假设、遮挡拓扑视差假设、几何结构延续视差假设进行条件竞争仲裁,并依据遮挡拓扑进行边界保持优化,包括:
43、s51、将几何状态概率、候选分布特征、双向一致性误差、纹理能量、边界响应以及三类视差假设之间的差异输入分支适配度函数,得到直接对应分支、遮挡拓扑分支、几何结构延续分支的未归一化适配度;
44、s52、为各分支设置可用性掩码,根据像素位置的有效候选、遮挡边界、局部支持点条件设置掩码取0或1以控制分支是否参与竞争;
45、s53、采用带可用性掩码的竞争归一化计算逐像素分支竞争权重:
46、,
47、其中,表示位置p处第j个分支的竞争权重;p表示当前像素位置;j表示当前分支索引,,分别对应直接对应分支、遮挡拓扑分支和几何结构延续分支;表示第j个分支在位置p处的可用性掩码,取值为0或1,取1表示该分支可参与竞争,取0表示该分支不可用;表示第j个分支在位置p处的未归一化适配度评分;表示自然指数函数;r表示分母中的分支遍历索引,;和分别表示第r个分支的可用性掩码和未归一化适配度评分;
48、s54、利用所述竞争权重对三类视差假设加权聚合得到竞争仲裁后的初始视差;构建遮挡拓扑边界集合,生成拓扑连通标记,该标记在像素对跨越遮挡拓扑边界时置0以阻断跨边界视差传播;结合拓扑连通标记、特征差异、视差差异计算边界保持聚合权重,利用该聚合权重对初始视差执行邻域精化,得到最终视差:
49、,
50、其中,表示边界保持精化后的最终视差;表示竞争仲裁得到的初始视差;表示邻域精化强度;表示位置p的局部邻域;表示邻域聚合权重;q表示邻域像素。
51、第二方面,本发明提供一种电子设备,包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如一种基于双目竞争匹配与遮挡拓扑推理的稠密视差估计方法中的任一步骤。
52、第三方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序经计算机处理器执行时实现如一种基于双目竞争匹配与遮挡拓扑推理的稠密视差估计方法中的任一步骤。
53、相对于现有技术,本发明的有益效果为:
54、1)本发明将正常对应、遮挡和非明确对应视为形成机理不同的双目几何状态,先解析状态再选择视差生成机制,避免采用同一匹配规则强制处理全部像素。
55、2)本发明在极线几何和视差范围约束下建立候选位置,并以受限残差偏移进行局部修正,使候选生成兼具几何可解释性和空间适应性。
56、3)本发明把竞争对象由同源特征响应提升为具有明确物理含义的视差假设,并由几何状态、假设残差和假设可用性共同确定逐像素竞争权重,使仲裁结果能够对应具体的几何解释。
57、4)本发明使遮挡状态直接参与视差假设生成(避免先形成时差,再判断遮挡),通过边界两侧代表视差、边界法向和双向失配方向确定前景—背景归属,避免在不存在真实对应点的位置强行采用直接匹配结果。
58、5)本发明利用遮挡拓扑边界限制跨表面信息传播,并结合双向一致性、同表面连续性和边界合法性验证视差结果,可降低前景视差向背景扩散、细小结构消失和深度边界模糊。
59、6)本发明的核心几何推理过程与具体神经网络结构解耦,可由卷积网络、transformer、循环更新网络、图模型或其组合实现,适用于不同计算平台和双目成像系统。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com