基于内部匹配证据受限响应的双目视觉残余误差诊断方法
本发明涉及计算机视觉、双目立体视觉、深度感知可靠性评估及神经网络内部表征诊断,具体涉及一种在保持双目输入和已训练立体匹配模型参数不变的条件下,通过限制具有匹配语义的内部证据源、测量正常推理与证据受限推理之间的视差响应,并据此对原始预测视差进行像素级残余误差风险诊断的方法、装置、电子设备及计算机可读存储介质。
背景技术:
1、双目立体视觉通过估计左右视图之间的像素对应关系获得视差,并进一步恢复场景深度和三维几何信息。深度立体匹配网络通常通过特征提取、相关性或代价体构建、代价聚合、概率回归以及迭代更新等机制提高视差估计精度。
2、然而,视差估计精度与视差结果的可靠性诊断能力并非同一技术目标。在遮挡、弱纹理、重复纹理、反射区域、细小结构以及数据分布变化等情况下,即使整体视差精度较高,局部像素仍可能产生显著残余误差。因此,除获得视差结果外,还需要确定哪些像素的原始预测更可能存在残余误差。
3、现有方案多根据最终匹配代价、匹配概率分布、熵、最大概率、峰值间隔、局部一致性或学习得到的置信度预测器进行可靠性评估。此类方案主要观察正常推理结束后形成的最终状态。当某一预测表面上具有低熵、高峰值或较大赢家间隔,但实际过度依赖某一内部对应关系证据通路时,仅观察最终状态难以充分揭示该潜在风险。
4、因此,需要一种区别于单纯读取最终置信状态的技术方案,在不改变待诊断图像和已训练模型参数的条件下,对网络内部具有明确匹配语义的证据源实施受控限制,并利用输出视差对该限制的响应表征原始预测对内部匹配证据的依赖程度,从而为残余误差诊断提供补充信息。
技术实现思路
1、本发明主要解决以下技术问题:
2、(1)在不改变待诊断双目图像且不重新训练立体匹配主体网络的条件下,获得能够反映原始预测对内部匹配证据依赖程度的诊断信息;
3、(2)将网络内部不同匹配阶段中具有明确对应关系语义的表示定义为可受控限制的证据源,并保证限制操作不改变非目标证据通路和推理接口;
4、(3)根据正常推理与证据受限推理之间的视差变化构造像素级诊断特征,以识别常规置信度不能充分揭示的残余误差风险;
5、(4)在不以受限预测替换正常预测的前提下,将证据响应单独或与常规匹配分布统计信息组合,实现原始视差结果的可靠性排序、错误像素识别或残余误差量值估计;
6、(5)根据计算资源选择完整多证据诊断或单一关键证据的轻量诊断模式。
7、为解决上述技术问题,本发明提供一种基于内部匹配证据受限响应的双目视觉残余误差诊断方法。该方法包括正常推理、内部匹配证据限制、证据受限推理、响应构造和残余误差诊断五个相互衔接的处理阶段。正常推理与证据受限推理使用相同的双目输入和同一组已训练网络参数,二者的差别仅在于目标内部匹配证据源是否经过预定义限制。由两次推理输出之间的差异形成证据依赖响应,所述响应作为对原始预测可靠性的诊断信息,而不是新的视差估计结果。
8、本发明技术方案如下:
9、s101,获取双目输入。获取经双目标定和极线校正的左视图与右视图,并按照预训练立体匹配网络的输入规范进行尺寸、填充和归一化处理。
10、s102,冻结待诊断立体匹配网络。加载已训练双目立体匹配网络及其参数,使诊断阶段网络参数保持不变,并保持评估模式、迭代次数、解码器、上采样器及其他普通推理配置不变。
11、s103,执行正常推理。将左右视图输入冻结的立体匹配网络,在不施加证据限制的情况下执行正常推理,得到原始预测视差,并可同时获得匹配概率分布、相关性表示或其他常规置信状态。
12、s104,确定内部匹配证据源。在网络内部选择至少一种具有明确对应关系语义的中间表示作为目标证据源。所述证据源包括相关性体、代价体、投影特征拼接体、全对特征相关查询、几何体查询、聚合后的匹配体或具有等价匹配语义的内部表示中的至少一种。
13、s105,施加证据限制。按照与目标证据源形状和接口兼容的预定义限制算子,对目标证据源的全部或部分通道、切片或查询分量进行限制。可将目标证据替换为相同形状的零张量、对部分通道置零、降低幅值或替换为预定义参考状态;非目标证据通路保持不变。
14、s106,执行证据受限推理。在保持双目输入、网络参数、非目标证据通路及其余推理配置不变的条件下重新执行完整推理,得到与被限制证据源对应的证据受限预测视差。
15、s107,构造证据响应。计算原始预测视差与证据受限预测视差之间的有符号响应和/或绝对响应,形成像素级证据依赖特征;对多个证据源分别处理时,将多个响应按预定顺序组合形成多通道证据响应表示。
16、s108,构造辅助静态诊断特征。可选地,从正常推理的匹配概率分布、预测视差及局部邻域中提取熵、局部熵、局部视差范围、分布标准差、最大概率、次大概率、赢家间隔、概率比、分布方差、峰值曲率、峰值邻域质量、期望视差与众数差异、视差梯度中的至少一种静态特征。
17、s109,执行残余误差诊断。将证据响应特征单独输入诊断模型,或者与辅助静态诊断特征拼接后输入诊断模型,输出像素级残余误差风险分数、误差排序分数或残余误差估计值。
18、s110,输出诊断结果。保持s103获得的原始预测视差作为立体匹配结果,不以任何证据受限预测视差替代原始预测;将s109得到的诊断结果作为与原始预测对应的可靠性信息,用于高风险区域标记、结果筛选、后续融合或安全决策。
19、s111,选择诊断模式。当计算资源允许时,针对多个内部匹配证据源分别执行证据受限推理,形成完整多证据诊断;当计算资源受限时,仅选择预先确定的一个或少数内部证据源执行受限推理,形成轻量诊断。两种模式均不修改已训练立体匹配模型参数。
20、符号与优选数学表达
21、为进一步明确上述各技术步骤之间的关系,并便于对本发明技术方案进行归纳,下面结合相应步骤对正常推理、内部匹配证据限制、证据受限推理、证据响应构造以及诊断模型训练监督目标进行数学表达。各公式均按像素位置执行;为简化书写,公式中省略像素坐标。
22、其中,式(1)对应步骤s103,用于表示正常推理得到的原始预测视差;式(2)对应步骤s105,用于表示对步骤s104所确定的目标内部匹配证据源实施预定义限制;式(3)对应步骤s106,用于表示在目标证据源受到限制后的证据受限推理结果;式(4)和式(5)对应步骤s107,分别用于构造目标证据源对应的有符号响应和绝对响应;式(6)进一步对应步骤s107,并结合步骤s111,用于按照预定顺序构造完整多证据模式或轻量模式下的证据依赖响应表示。
23、式(7)和式(8)用于步骤s109所涉及的诊断模型训练过程。其中,式(7)根据原始预测视差与训练阶段可获得的参考视差确定像素级残余误差监督量,式(8)进一步将所述残余误差转换为诊断模型的优选监督目标。参考视差及由其形成的监督目标仅用于诊断模型的训练、验证或性能评价,不作为实际部署诊断阶段的必要输入。
24、
25、对应步骤s103,式(1)中,表示正常推理得到的原始预测视差,表示参数保持冻结的双目立体匹配估计器;至表示估计器正常推理所使用的个内部匹配证据源;表示内部匹配证据源的总数;公式左侧表示在未施加证据限制时由正常推理得到的原始预测视差,式(1)用于确定后续残余误差诊断所针对的原始视差基准。
26、
27、对应步骤s105,式(2)中,经限制后的目标证据状态设为,表示被选择进行限制的第个内部匹配证据源的索引,且不小于、不大于;表示限制前的第个内部匹配证据源;表示与该证据源对应的预定义证据限制算子;上标表示受限状态,所述限制算子保持目标表示的张量维度和下游接口兼容,并仅降低目标证据的信息贡献。
28、
29、对应步骤s106,式(3)中,设表示针对第个内部匹配证据源实施限制后获得的证据受限预测视差,除第个证据源由其受限状态替代外,左右双目输入、估计器的训练参数、其他非目标证据源以及迭代次数、解码和上采样等推理配置均与式(1)的正常推理保持一致,式(3)用于形成与原始预测视差比较的受限推理结果。
30、
31、对应步骤s107,式(4)中,由证据受限预测视差与原始预测视差在相同像素位置相减得到,的正负表示限制目标证据后预测视差相对于原始预测视差的变化方向,其数值大小同时包含变化幅度信息;
32、对于第个证据源对应的像素级绝对响应设为,
33、,
34、对应步骤s107,式(5)中,绝对值符号表示逐像素绝对值运算,为非负量,用于表征原始预测对第个内部匹配证据源的依赖强度,而不区分视差变化方向。
35、
36、对应步骤s107并结合步骤s111,式(6)中,以表示按照预定证据顺序构造的多通道证据依赖响应向量,至为各证据源的绝对响应;至为各证据源的有符号响应;表示转置,即将各响应按特征通道组织;根据部署资源和诊断需求,采用全部响应或采用预先确定的响应子集,但其通道顺序在训练和部署阶段保持一致。
37、
38、在步骤s109所涉及的诊断模型训练阶段,式(7)中,表示原始预测视差的像素级绝对残余误差,原始预测视差由式(1)定义,表示训练或性能评价阶段获得的参考视差;绝对值表示逐像素绝对值运算;参考视差仅用于诊断模型训练、验证或效果评价,不是实际部署诊断阶段的必要输入;
39、,
40、在步骤s109所涉及的诊断模型训练阶段,式(8)中,表示用于监督训练残余误差诊断模型的对数误差目标,表示自然对数;采用能够压缩大误差样本的数值范围。在其他实施方式中,也可以直接采用绝对残余误差、二值错误事件或误差次序作为训练目标。
41、优选的内部匹配证据源
42、:对组间相关性体实施形状保持的证据限制。在一个实施方式中,将完整相关性体替换为相同形状的零张量。
43、:对由投影后的左右特征构成的候选视差索引拼接体实施形状保持的证据限制。
44、:在迭代更新过程中,对组合查询中的全对特征相关性查询分量实施局部通道限制,同时保持几何体查询分量及查询输出维度不变。
45、:在迭代更新过程中,对由过滤和聚合后的混合匹配体形成的几何体查询分量实施限制,同时保持全对特征相关性查询分量不变。
46、上述至为优选实例,并不将保护范围限定于特定立体匹配模型、固定数量的证据源或置零形式。只要目标内部表示具有匹配或对应关系语义,并在保持输入、模型参数和非目标推理路径基本不变的条件下形成可比较的正常输出与受限输出响应,均可用于本发明。
47、有益效果
48、与现有技术相比,本发明具有以下有益效果:
49、(1)通过受控限制内部匹配证据并测量输出响应,获得原始预测对内部证据依赖关系的补充诊断信息,区别于仅根据最终匹配分布或最终置信状态进行被动评估;
50、(2)诊断过程中保持待诊断双目输入和已训练模型参数不变,无需为了产生证据响应而重新训练或微调立体匹配主体网络;
51、(3)证据受限预测仅作为诊断探针,不替代正常预测,从而在不改变原始视差输出定义的情况下附加可靠性信息;
52、(4)能够同时利用响应的幅值和方向,并可与熵、峰值和局部空间结构等常规置信特征组合,覆盖仅依赖单一不确定性量度难以揭示的风险模式;
53、(5)内部证据源按匹配语义定义,而非任意神经元或随机通道屏蔽,使诊断结果能够对应到具体的匹配证据路径;
54、(6)可根据部署资源选择多证据完整诊断或单证据轻量诊断,在诊断信息量和额外推理开销之间进行配置;
55、(7)可用于像素级高风险区域识别、残余误差排序、残余误差量值估计以及后续三维感知结果筛选。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com