图像处理方法、装置、设备、介质及产品与流程
本申请涉及图像处理,特别涉及一种图像处理方法、装置、设备、介质及产品。
背景技术:
1、图像复原(image restoration)是图像处理领域中的一项重要任务,旨在从退化的图像中恢复出高质量的原始图像。图像复原通常涉及到去除或减少图像中的噪声、模糊、失真等退化现象,以提高图像的视觉效果和分析价值。
2、相关技术中,基于深度学习方法实现图像复原时,通常在实现图像复原的主干网络中插入基于特定退化现象的引导模块,从而基于特定退化现象的逆过程来恢复图像。
3、然而,引导模块将退化现象的引导信息直接注入到主干网络中,引导信息和图像特征之间交互效果较差,使得最终的复原效果较差。
技术实现思路
1、本申请实施例提供了一种图像处理方法、装置、设备、介质及产品,本申请提供的技术方案包括如下几个方面。
2、根据本申请实施例的一个方面,提供了一种图像处理方法,所述方法包括:
3、获取第一图像对应的第一特征表示,以及获取所述第一图像对应的第二特征表示,所述第一特征表示用于指示所述第一图像的初始特征,所述第二特征表示用于指示所述第一图像的发生质量变化的特征;
4、基于所述第一特征表示获取第一权重,以及基于所述第二特征表示获取第二权重;
5、将使用所述第二权重对所述第一特征表示进行加权处理得到的第一加权结果,和使用所述第一权重对所述第二特征表示进行加权处理得到的第二加权结果进行融合,得到交叉特征表示;
6、基于所述交叉特征表示预测得到第二图像。
7、根据本申请实施例的一个方面,提供了一种图像处理装置,所述装置包括:
8、第一获取模块,用于获取第一图像对应的第一特征表示,以及获取所述第一图像对应的第二特征表示,所述第一特征表示用于指示所述第一图像的初始特征,所述第二特征表示用于指示所述第一图像的发生质量变化的退化特征;
9、第二获取模块,用于基于所述第一特征表示获取第一权重,以及基于所述第二特征表示获取第二权重;
10、交叉融合模块,用于将使用所述第二权重对所述第一特征表示进行加权处理得到的第一加权结果,和使用所述第一权重对所述第二特征表示进行加权处理得到的第二加权结果进行融合,得到交叉特征表示;
11、生成模块,用于基于所述交叉特征表示预测得到第二图像。
12、根据本申请实施例的一个方面,提供了一种终端设备,所述终端设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述图像处理方法。
13、根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述图像处理方法。
14、根据本申请实施例的一个方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中,处理器从所述计算机可读存储介质读取并执行所述计算机程序,以实现上述图像处理方法。
15、本申请实施例提供的技术方案可以带来如下有益效果:
16、在对第一图像执行图像复原时,在表征第一图像的初始特征的第一特征表示的基础上获取对应的第一权重,在表征第一图像的退化特征的第二特征表示的基础上获取对应的第二权重,使用第一权重对第二特征表示加权,以及使用第二权重对第一特征表示加权,将两个加权结果融合以得到交叉特征表示。在该过程中,第一特征表示代表了第一图像的语义特征,是图像复原过程中的复原目标,第二特征表示代表了第一图像的退化特征,反映了第一图像发生图像质量变化的根源,因此,语义特征和退化特征之间存在互补性。由于第一权重携带了第一图像的初始特征(例如,内容特征)的信息,第二权重携带了第一图像的退化特征的信息,使得在将第一特征表示和第二特征表示融合时实现了初始特征和退化特征之间的信息交互,因此,能够使得退化特征所表征的对于图像质量变化的先验知识融入至在初始特征基础上的图像复原,从而提升了最终图像复原结果的复原效果,例如,通过初始特征和退化特征之间的信息交互,使得图像复原过程能够自适应感知第一图像中不同的内容表达所依赖的退化的具体类型(例如,是运动模糊所产生的退化,或是噪声所产生的退化),进而根据对应退化所具有的先验知识进行图像复原,从而增强图像复原的准确度,进而提升图像复原效果。
1.一种图像处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述第二权重对所述第一特征表示的第一加权结果,和所述第一权重对所述第二特征表示的第二加权结果进行融合,得到交叉特征表示,包括:
3.根据权利要求2所述的方法,其特征在于,所述将所述第一加权特征表示和所述第二加权特征表示进行融合,得到所述交叉特征表示,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述拼接特征表示的线性变换结果,得到所述交叉特征表示,包括:
5.根据权利要求4所述的方法,其特征在于,所述将所述映射特征表示输入门控深度卷积网络层,得到所述交叉特征表示,包括:
6.根据权利要求1至5任一所述的方法,其特征在于,所述基于所述第一特征表示获取第一权重,以及基于所述第二特征表示获取第二权重,包括:
7.根据权利要求1至5任一所述的方法,其特征在于,所述获取第一图像对应的第一特征表示,包括:
8.根据权利要求7所述的方法,其特征在于,所述基于注意力机制提取得到所述第一图像对应的所述第一特征表示,包括:
9.根据权利要求1至5任一所述的方法,其特征在于,所述获取所述第一图像对应的第二特征表示,包括:
10.根据权利要求9所述的方法,其特征在于,所述基于所述至少两个候选退化类型分别对应的所述类型概率和所述专家特征表示,生成所述第二特征表示,包括:
11.根据权利要求10所述的方法,其特征在于,所述基于所述至少两个候选退化类型分别对应的所述类型概率,从所述至少两个候选退化类型中筛选得到所述至少一个退化类型,包括:
12.根据权利要求9所述的方法,其特征在于,所述方法还包括:
13.一种图像处理装置,其特征在于,所述装置包括:
14.一种终端设备,其特征在于,所述终端设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至12任一项所述的图像处理方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至12任一项所述的图像处理方法。
16.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中,处理器从所述计算机可读存储介质读取并执行所述计算机程序,以实现如权利要求1至12任一项所述的图像处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com