图像处理方法及装置、电子设备和存储介质与流程

技术特征：
1.一种图像处理方法，其特征在于，包括：获取针对同一场景的广角图像及长焦图像；对所述广角图像及所述长焦图像进行特征提取，得到所述广角图像的广角特征图及所述长焦图像的长焦特征图；从所述长焦特征图的多个长焦特征图块中，确定出与所述广角特征图的各个广角特征图块对应的匹配特征图块；针对任一广角特征图块，对与所述广角特征图块对应的匹配特征图块进行变换，得到与所述广角特征图块对齐的对齐特征图块；将多个对齐特征图块与所述广角特征图进行特征融合，得到融合后的目标图像。2.根据权利要求1所述的方法，其特征在于，所述从所述长焦特征图的多个长焦特征图块中，确定出与所述广角特征图的各个广角特征图块对应的匹配特征图块，包括：按照预设的切分规则，分别对所述广角特征图及所述长焦特征图进行切分，得到所述多个广角特征图块及所述多个长焦特征图块；针对任一广角特征图块，根据所述广角特征图块与所述多个长焦特征图块之间的相似度，从所述多个长焦特征图块中确定出与所述广角特征图块对应的匹配特征图块。3.根据权利要求1或2所述的方法，其特征在于，所述针对任一广角特征图块，对与所述广角特征图块对应的匹配特征图块进行变换，得到与所述广角特征图块对齐的对齐特征图块，包括：针对任一广角特征图块，确定所述广角特征图块与所述匹配特征图块之间的映射关系，所述映射关系包括所述广角特征图块与所述匹配特征图块之间的仿射矩阵；根据所述仿射矩阵，对所述匹配特征图块进行仿射变换，得到所述对齐特征图块。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：针对任一广角特征图块，根据所述广角特征图块与对应的匹配特征图块之间的相似度，确定所述匹配特征图块的置信度，所述置信度用于指示所述广角特征图块与所述匹配特征图块的匹配程度；其中，所述将多个对齐特征图块与所述广角特征图进行特征融合，得到融合后的目标图像，包括：将所述多个对齐特征图块进行拼接，得到对齐特征图；根据多个匹配特征图块的置信度，将所述广角特征图与所述对齐特征图进行特征融合，得融合特征图；根据所述融合特征图，生成所述目标图像。5.根据权利要求4所述的方法，其特征在于，所述根据所述多个匹配特征图块的置信度，将所述广角特征图与所述对齐特征图进行特征融合，得融合特征图，包括：确定所述多个匹配特征图块的置信度中高于置信度阈值的置信度；将所述对齐特征图中所述高于置信度阈值的置信度所指示的特征值，与所述广角特征图的特征值进行特征融合，得到融合特征图。6.根据权利要求4或5所述的方法，其特征在于，所述长焦特征图包括i个尺度，所述广角特征图包括i个尺度，i是正整数，其中，所述根据所述融合特征图，生成所述目标图像，包括：
对第(i
‑
1)尺度的融合特征图进行上采样，得到第i尺度的特征图，(i 1)≥i≥2；将所述第i尺度的特征图与第i尺度的对齐特征图进行特征融合，得到第i尺度的融合特征图，所述第i尺度的对齐特征图是根据第i尺度的长焦特征图与第i尺度的广角特征图得到的；在i＝(i 1)的情况下，对第(i 1)尺度的特征图进行解码处理，得到所述目标图像。7.根据权利要求6所述的方法，其特征在于，所述将所述第i尺度的特征图与第i尺度的对齐特征图进行特征融合，得到第i尺度的融合特征图，包括：将所述第i尺度的特征图、所述第i尺度的对齐特征图及第i尺度的广角特征图进行特征融合，得到第i尺度的融合特征图。8.根据权利要求4
‑
7任一项所述的方法，其特征在于，所述方法还包括：通过索引图记录与各个广角特征图块对应的匹配特征图块；其中，所述将所述多个对齐特征图块进行拼接，得到对齐特征图，包括：根据所述索引图，将所述多个对齐特征图块进行拼接，得到对齐特征图。9.根据权利要求1
‑
8任一项所述的方法，其特征在于，所述方法还包括：提取所述长焦图像的图像细节，得到所述长焦图像的细节图像；将所述目标图像与所述细节图像进行图像融合，得到融合图像。10.根据权利要求9所述的方法，其特征在于，所述将所述目标图像与所述细节图像进行图像融合，得到融合图像，包括：根据所述目标图像的多个目标图像块与所述细节图像的多个细节图像块之间的相似度，从所述多个细节图像块中分别确定出与各个目标图像块对应的匹配图像块，以及确定所述匹配图像块的置信度；针对任一目标图像块，根据所述目标图像块与对应的匹配图像块之间的映射关系，对所述匹配图像块进行变换，得到与所述目标图像块对齐的对齐图像块；根据多个匹配图像块的置信度，将多个对齐图像块与所述目标图像进行图像融合，得到所述融合图像。11.根据权利要求1
‑
10任一项所述的方法，其特征在于，所述图像处理方法是通过图像处理网络实现的，所述图像处理网络包括特征提取子网络、对齐注意力子网络以及自适应性融合子网络；其中，所述对所述广角图像及所述长焦图像进行特征提取，得到所述广角图像的广角特征图及所述长焦图像的长焦特征图，包括：通过所述特征提取子网络对获取的所述广角图像及所述长焦图像进行特征提取，得到所述广角图像的广角特征图及所述长焦图像的长焦特征图。12.根据权利要求11所述的方法，其特征在于，所述对齐注意力子网络包括：匹配网络层、对齐网络层以及映射关系确定网络层；其中，从所述长焦特征图的多个长焦特征图块中，确定出与所述广角特征图的各个广角特征图块对应的匹配特征图块，包括：通过所述匹配网络层从所述长焦特征图的多个长焦特征图块中，确定出与所述广角特征图的各个广角特征图块对应的匹配特征图块。13.根据权利要求12所述的方法，其特征在于，所述针对任一广角特征图块，对与所述
广角特征图块对应的匹配特征图块进行变换，得到与所述广角特征图块对齐的对齐特征图块，包括：通过所述映射关系确定网络层确定所述广角特征图块与所述匹配特征图块之间的映射关系；通过所述对齐网络层针对任一广角特征图块，根据所述广角特征图块与所述匹配特征图块之间的映射关系，对与所述广角特征图块对应的匹配特征图块进行变换，得到与所述广角特征图块对齐的对齐特征图块。14.根据权利要求11所述的方法，其特征在于，所述自适应性融合子网络包括：置信度学习网络层以及融合网络层；其中，所述将多个对齐特征图块与所述广角特征图进行特征融合，得到融合后的目标图像，包括：通过所述置信度学习网络层确定各个匹配特征图块的置信度；通过融合网络层根据所述各个匹配特征图块的置信度，将多个对齐特征图块与所述广角特征图进行特征融合，得到融合后的目标图像。15.一种图像处理装置，其特征在于，包括：获取模块，用于获取针对同一场景的广角图像及长焦图像；特征提取模块，用于对所述广角图像及所述长焦图像进行特征提取，得到所述广角图像的广角特征图及所述长焦图像的长焦特征图；匹配模块，用于从所述长焦特征图的多个长焦特征图块中，确定出与所述广角特征图的各个广角特征图块对应的匹配特征图块；变换模块，用于针对任一广角特征图块，对与所述广角特征图块对应的匹配特征图块进行变换，得到与所述广角特征图块对齐的对齐特征图块；特征融合模块，用于将多个对齐特征图块与所述广角特征图进行特征融合，得到融合后的目标图像。16.一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至14中任意一项所述的方法。17.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至14中任意一项所述的方法。

技术总结
本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：获取针对同一场景的广角图像及长焦图像；对广角图像及长焦图像进行特征提取，得到广角图像的广角特征图及长焦图像的长焦特征图；从长焦特征图的多个长焦特征图块中，确定出与广角特征图的各个广角特征图块对应的匹配特征图块；针对任一广角特征图块，对与广角特征图块对应的匹配特征图块进行变换，得到与广角特征图块对齐的对齐特征图块；将多个对齐特征图块与广角特征图进行特征融合，得到融合后的目标图像。本公开实施例可有利于提高融合后的目标图像的图像质量。例可有利于提高融合后的目标图像的图像质量。例可有利于提高融合后的目标图像的图像质量。


技术研发人员：孙文秀 谢佳芯 严琼 王腾飞 陈启峰
受保护的技术使用者：深圳市慧鲤科技有限公司
技术研发日：2021.07.15
技术公布日：2021/10/23