基于退化感知的多退化通用图像复原方法
本发明属于光学图像增强与计算机视觉智能领域,涉及一种基于退化感知的多退化通用图像复原方法。
背景技术:
1、低质量图像复原增强是计算机视觉领域的一个重要研究方向。依据任务场景的不同,低质量图像复原增强方法可以分为两大类,即针对特定退化的单退化方法和多退化通用方法。其中,单退化方法研究较多,为多退化通用方法的研究提供了基础和铺垫。当前基于卷积神经网络(convolutional neural networks,cnn)、生成对抗网络(generativeadversarial network,gan)、transformer、diffusion等架构的低质量图像复原方法大多针对某一特定退化场景设计,不自动具备处理多退化或复合退化的能力。
2、多退化通用图像复原是低质量图像增强领域的未来趋势,其目标是在不给定具体退化的场景下实现对多种潜在退化的去除和高质量图像复原生成。现有多退化通用图像复原方法主要依靠针对不同退化类型单独设计退化编码器或单独训练网络参数来构建“分部映射”,缺少对不同退化之间潜在共享分布信息的学习,导致这类方法在真实复杂退化场景下的可用性和鲁棒性较为一般,无法实现对退化特征的自适应调整,且复原图像容易出现幻觉失真,复原保真度与生成可信度较差,难以适用于退化未知多变的真实应用场景。此外,现有复原方法对退化类型和强度等退化特征的感知能力受限,缺乏可解释的跨模态融合机制,制约了其在实际场景的落地应用。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够在包含多种潜在退化且输入图像退化类型未知的条件下实现图像高质量、高保真、高效率的复原生成的基于退化感知的多退化通用图像复原方法。
2、一种基于退化感知的多退化通用图像复原方法,所述方法包括:
3、获取待进行恢复的退化类型未知的低质量图像;构建多退化通用图像复原模型;多退化通用图像复原包括退化感知模块、扩散复原模块和特征融合模块;
4、在退化感知模块对低质量图像的多维度特征进行跨模态细粒度感知,输出退化感知特征;
5、在扩散复原模块基于mcmc的共享退化扩散图像复原模型,在前向过程中引入确定性的正逆退化扩散项,引导模型高保真地学习多种退化的共享分布特征,在反向推理过程中基于马尔科夫链蒙特卡洛方法采样,在退化残差网络预测的基础上增加对应退化物理建模表征的显式约束来引导采样方向并采用确定性采样策略加速反向推理过程,得到图像复原特征;
6、在特征融合模块,通过交叉注意力机制将退化感知特征与图像复原特征融合,实现在给定退化下的高保真复原图像生成。
7、上述基于退化感知的多退化通用图像复原方法,本申请构建了多退化通用图像复原模型,即退化感知与扩散生成协同优化的框架。首先,设计轻量级退化适配器网络对多模态基础模型clip进行细粒度微调,以极少的网络参数、较小的样本规模、较短的训练时间实现了高效的退化感知,为盲多退化图像复原提供了多维退化特征感知支撑,实现对模糊、雨、雾、低光照、噪声等多种退化类型和强度的跨模态精准感知;其次,提出基于马尔科夫链蒙特卡洛方法的共享退化扩散图像复原模型,在前向扩散中引入正逆退化扩散项以引导模型学习多退化共享退化特征,在反向推理中基于mcmc采样增加退化物理建模表征的显式约束以引导采样减少幻觉伪影,并利用确定性加速采样提升推理效率;最后,基于交叉注意力机制将感知得到的多维度退化特征与扩散模型学习的图像数据特征进行深层融合,约束模型生成对应退化场景下的高保真复原结果,实现了多维退化特征与图像分布数据特征的嵌入融合,提升了图像复原质量和复杂退化场景下的泛化能力,构建了语义驱动与数据驱动协同优化的融合范式。试验结果表明,本申请在大规模多退化场景下具有优越性能,可以处理退化类型未知的复杂场景,psnr和ssim指标显著优于主流方法,能够为自动驾驶、安防监控等任务提供高质量复原图像支撑。
1.一种基于退化感知的多退化通用图像复原方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述退化感知模块包括预训练好的clip模型和轻量级适配器网络;在所述退化感知模块对所述低质量图像的多维度特征进行跨模态细粒度感知,输出退化感知特征,包括:
3.根据权利要求2所述的方法,其特征在于,所述轻量级退化适配器网络结构仅三层,由全连接层、非线性激活函数和一个残差跳跃组成;通过轻量级退化适配器网络对预训练好的clip模型进行迁移微调,包括:
4.根据权利要求3所述的方法,其特征在于,根据所述修正后的文本特征向量和图像特征向量计算分类预测概率,包括:
5.根据权利要求3所述的方法,其特征在于,基于所述分类预测概率设置交叉熵损失函数,包括:
6.根据权利要求1所述的方法,其特征在于,在前向过程中引入确定性的正逆退化扩散项,包括:
7.根据权利要求1所述的方法,其特征在于,在反向推理过程中基于马尔科夫链蒙特卡洛方法采样,包括:
8.根据权利要求1所述的方法,其特征在于,所述显式约束为:
9.根据权利要求1所述的方法,其特征在于,在特征融合模块,通过交叉注意力机制将退化感知特征与图像复原特征融合,实现在给定退化下的高保真复原图像生成,包括:
10.根据权利要求9所述的方法,其特征在于,通过重新定义交叉注意力机制中查询向量、键向量和值向量,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com