基于逻辑流配准与相位门控解码的图像融合方法
本发明涉及计算机视觉与多源图像处理领域,尤其涉及基于逻辑流配准与相位门控解码的图像融合方法。
背景技术:
1、多源图像融合通过综合不同传感器或不同成像条件下获得的图像信息,形成同时包含空间结构、纹理和目标响应的融合图像。现有深度学习融合方法通常假定输入图像已经准确对齐,或者分别完成图像配准和特征融合,配准结果在后续网络中作为固定输入使用。
2、当传感器安装位置、成像视角、采样尺度、曝光条件、采集时序、局部形变或噪声不同,待融合图像容易出现全局位移和非刚性错位。刚性变换、单尺度匹配或逐像素相关难以在弱纹理、重复纹理、大位移、遮挡和低信噪比区域保持稳定对应;同时,常规加权、拼接或注意力解码未联合判断局部相位一致性、配准可信度和信息有效性,容易把冲突特征直接写入融合结果,造成重影、边缘双化、伪纹理、晕轮和结构断裂。
3、因此,需要一种能够解决上述现有技术不足的基于逻辑流配准与相位门控解码的图像融合方法。
技术实现思路
1、本发明的一个目的在于提出一种基于逻辑流配准与相位门控解码的图像融合方法,针对多源图像在空间位置、轮廓边界和局部纹理上存在错位,且常规解码缺少对相位冲突和配准可信度联合判断的问题,构建由多候选对应边及其状态量组成并由粗至细传播的逻辑流;对候选位置的待配准特征和复响应进行采样,以相位角环形距离和逻辑流状态分别形成局部相位一致度与几何可信度;采用可信写入、保底限幅和回退校正三态迟滞门控控制待配准信息写入,并将回退校正信息反馈至下一较细尺度复核,最后聚合各尺度融合特征并重建融合图像,使冲突信息在当前尺度被隔离而可疑对应在后续尺度获得定向校正。
2、本发明提供了一种基于逻辑流配准与相位门控解码的图像融合方法,包括:
3、s1、获取同一场景的第一源图像和第二源图像,将所述第一源图像作为参考图像、所述第二源图像作为待配准图像,对二者进行模态专属编码和共享结构编码,得到由粗至细的多尺度参考特征、待配准特征和复响应;
4、s2、以所述参考特征的位置为参考节点,在最粗尺度建立指向所述待配准特征位置的多条候选对应边及其状态量,将所述候选对应边逐尺度向细尺度传播和更新,得到至少包含候选位移的逻辑流状态;
5、s3、按照所述候选位移采样所述待配准特征和复响应,根据采样所得复响应与参考图像复响应的相位角环形距离确定局部相位一致度,并根据所述逻辑流状态的匹配不确定性和局部变换有效性确定几何可信度;
6、s4、将所述局部相位一致度和所述几何可信度输入三态迟滞门控单元,在可信写入动作、保底限幅动作和回退校正动作中确定当前动作,分别实施配准特征写入、参考特征保留下的受限写入、以及相位冲突特征阻断和校正信息生成,以生成当前尺度的融合特征,并将所述校正信息用于下一细尺度的逻辑流状态更新;
7、s5、由粗至细聚合各尺度的融合特征并重建融合图像。
8、可选的,s1包括:利用彼此参数不共享的浅层卷积分支分别提取所述参考图像和所述待配准图像的模态响应,将所述模态响应输入参数共享的结构编码分支,以获得具有相同通道语义的所述参考特征和所述待配准特征;
9、利用具有不同方向选择性的复数滤波器组对各尺度的所述参考特征和所述待配准特征进行卷积,分别得到实部响应和虚部响应组成的所述多方向复响应。
10、可选的,s2包括:在所述最粗尺度为每一参考节点建立至少两条候选对应边;
11、每条候选对应边的状态量还包括边概率、遮挡概率以及正向匹配结果经反向匹配返回所述参考节点所得的循环误差,所述最粗尺度的候选对应边具有根标识,除所述最粗尺度以外的候选对应边具有指向上一较粗尺度候选对应边的尺度父节点标识;
12、根据结构相关值的归一化结果初始化所述边概率,并使同一参考节点对应的各边概率之和为一;
13、进一步的,所述将当前尺度的候选对应边传播至下一较细尺度包括:根据相邻尺度的采样间隔比将父候选对应边的候选位移换算至所述下一较细尺度的坐标系,得到父边换算位移;
14、在由所述父边换算位移确定的候选终点的预设邻域内生成局部增量位移,并将所述父边换算位移与所述局部增量位移组合为下一较细尺度的候选位移;
15、根据所述下一较细尺度的结构相关值对候选对应边进行概率重归一;
16、根据同一参考节点对应的各边概率计算路径熵,并将所述路径熵作为所述匹配不确定性的组成量输入步骤s3。
17、可选的,s3包括:采用可微采样对每一候选对应边取得所述待配准特征及对应的复响应,将参考图像的复响应相位角与采样所得复响应相位角之差映射至一个相位周期内,以所述相位角之差的绝对值经方向响应幅值加权后确定所述局部相位一致度;
18、对参考节点邻域内具有相同候选索引的候选位移进行插值,形成与该候选索引对应的候选级局部位移场;
19、根据所述路径熵、所述循环误差、所述遮挡概率和所述候选级局部位移场的jacobian行列式是否处于预设有效区间,确定所述几何可信度,其中所述路径熵、所述循环误差或所述遮挡概率增大时降低所述几何可信度,所述jacobian行列式处于所述预设有效区间外时将相应候选对应边标记为无效候选。
20、可选的,s4包括:按照所述边概率对采样所得待配准特征进行加权并与所述参考特征组合,得到暂态融合特征,根据所述暂态融合特征与所述参考特征的结构梯度之差确定暂态融合结构残差;
21、所述三态迟滞门控单元为每一门控动作分别设置进入阈值和退出阈值,按照所述局部相位一致度、所述几何可信度以及所述暂态融合结构残差与对应阈值的比较结果确定状态转移;
22、在当前输入未达到当前门控动作的退出阈值且未达到另一门控动作的进入阈值时保持当前门控动作,以抑制相邻尺度之间的门控动作往复切换;
23、进一步的,将采样所得待配准特征与所述参考特征的归一化通道响应进行比较,由所述待配准特征中通道响应大于所述参考特征对应通道响应的特征分量构成互补特征;
24、所述可信写入动作按照所述边概率对有效候选对应边的所述互补特征进行加权并写入所述融合特征;
25、以采样所得待配准特征的结构梯度幅值作为目标响应值,以采样所得待配准特征与所述参考特征之差作为目标残差,所述保底限幅动作保留所述参考特征,并仅将空间频率未超过预设分界频率的待配准特征分量以及由所述目标响应值达到或超过目标响应阈值的空间位置构成的目标掩膜所选取的目标残差按照预设幅值上限写入所述融合特征;
26、所述目标响应阈值根据当前尺度目标响应值的预设分位数确定,所述预设分界频率和所述预设幅值上限由当前尺度的参考特征频谱统计量确定;
27、进一步的,以候选对应边的所述相位角环形距离超出相位冲突阈值的差值作为相位冲突量,所述相位冲突量增大时对应的边概率惩罚不减;
28、所述回退校正动作将发生相位冲突的候选对应边所对应且空间频率高于所述预设分界频率的待配准特征分量的写入系数置零,根据候选对应边的索引将所述相位冲突量转换为用于从相应边概率中扣减惩罚量的所述边概率惩罚,并将所述暂态融合结构残差转换为指示局部位移方向和位移量的局部偏移种子;
29、从相应边概率中扣减所述边概率惩罚后得到惩罚后边概率,所述惩罚后边概率为负值时将其置零;
30、所述边概率惩罚和所述局部偏移种子不改变当前尺度已经生成的融合特征,而是在所述下一较细尺度的候选终点邻域扩展和概率重归一过程中,由所述局部偏移种子调整候选位置,并由所述边概率惩罚调整边概率;
31、进一步的,将候选对应边的jacobian有效性和预设最小可写入覆盖率作为安全约束;
32、对所述jacobian行列式不大于零或处于所述预设有效区间外的候选对应边执行熔断并将其边概率置零,对同一参考节点仍存在有效候选对应边的空间位置中其余候选对应边的边概率进行温度校准和归一化,对同一参考节点的全部候选对应边均无效的空间位置停止概率校准和归一化并以所述参考特征作为该空间位置的融合特征;
33、将执行所述可信写入动作的位置以及执行所述保底限幅动作且待配准特征写入系数不为零的位置共同计入可写入位置,所述可写入位置占当前尺度全部空间位置的比例为可写入覆盖率,将至少存在一条有效候选对应边的空间位置占当前尺度全部空间位置的比例作为有效候选可达覆盖率,并对所述预设最小可写入覆盖率按所述有效候选可达覆盖率进行上限截断以得到目标覆盖率;
34、当所述可写入覆盖率未达到所述目标覆盖率时,仅在当前尚未计入所述可写入位置且至少存在一条有效候选对应边的空间位置中,按照所述几何可信度的排序补充执行所述保底限幅动作,直至所述可写入覆盖率达到所述目标覆盖率或不存在可补充的空间位置。
35、可选的,s5包括:将当前尺度的融合特征上采样至下一较细尺度,并与所述下一较细尺度的融合特征及参考特征进行通道拼接,通过卷积投影获得所述下一较细尺度的聚合特征;
36、将所述聚合特征逐尺度传递至最细尺度,通过重建卷积层将最细尺度的聚合特征映射为所述融合图像,并利用从所述参考图像提取的亮度基准对所述融合图像进行亮度约束。
37、本发明的有益效果是:
38、1、通过在最粗尺度为参考节点建立多条候选对应边,并结合结构相关结果将候选关系向细尺度传播,使配准过程能够保留多种可能对应,降低弱纹理、重复纹理和大位移条件下单一匹配错误逐层传播的风险。
39、2、通过相位角环形距离得到候选级局部相位一致度,并结合匹配不确定性和局部变换有效性得到几何可信度,使门控动作同时依据相位相容性与配准可靠性确定,能够减少错误对齐和相位冲突特征引起的重影、边缘双化和伪纹理。
40、3、通过三态迟滞门控隔离当前尺度冲突,并将边概率惩罚和局部偏移种子用于下一较细尺度的候选复核,同时设置jacobian熔断、全无效参考回退和可达覆盖率边界,使融合过程在遮挡、非物理形变和低有效候选覆盖情况下保持可终止的保底输出。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com