一种基于自适应掩码图像建模的一体化盲图像复原方法与流程

摘要: 本发明涉及图像处理,具体涉及一种基于自适应掩码图像建模的一体化盲图像复原方法。背景技术:1、传统图像复原方法多依赖物理成像建模与手工设计的先验知识,对复杂多变的...
一种基于自适应掩码图像建模的一体化盲图像复原方法与流程

本发明涉及图像处理,具体涉及一种基于自适应掩码图像建模的一体化盲图像复原方法。

背景技术:

1、传统图像复原方法多依赖物理成像建模与手工设计的先验知识,对复杂多变的真实退化场景适配能力极差,已无法满足多场景工业应用需求。随着深度学习技术的快速发展,基于深度神经网络的一体化图像复原方法,即退化类型、退化参数均未知条件下的多任务图像复原,凭借多任务参数共享、部署成本低、应用灵活性强的优势,成为了当前图像复原领域的研究热点。

2、但在实际技术落地与应用过程中,一体化图像复原技术不仅要求网络具备对不同退化类型、未知退化程度的自适应判别与适配能力,还需要同时具备极强的图像特征表达、结构还原与细节重建能力。而真实场景中的图像退化往往具备不可知性、复合叠加性,例如图像同时受到模糊与低照度的双重影响,进一步加剧了模型适配与高质量复原的技术难度。

3、现有研究多围绕退化类型感知与任务适配方向开展技术攻关,形成了主流的技术解决思路:一类是通过引入预训练的退化分类器,辅助模型识别当前任务类型并匹配对应的处理路径,代表方案如airnet;另一类是借鉴自然语言处理中的提示学习机制,通过显式添加退化类型的提示向量,引导网络针对不同退化执行对应的重建过程,代表方案如promptir。这类方法虽在一定程度上提升了模型对多种退化的适应能力,实现了多任务下的参数共享,但在实际应用中仍存在诸多技术缺陷,例如:

4、(1)高度依赖显式的退化类型先验或标签指导,无法适配真实场景中的未知退化与复合退化场景。现有方法本质上仍将每种退化视为独立任务进行处理,需要提前获取准确的退化标签或依赖大量标注数据完成训练,而实际应用中退化类型往往不可知、甚至存在多类型复合叠加的情况,极易导致模型对退化类型的错误判断,最终造成图像恢复质量的显著下降。

5、(2)缺乏对图像底层语义与视觉内容的统一建模能力,无法学习到跨任务通用的自然图像先验知识。现有方法虽在网络结构中实现了参数共享,但并未突破分任务处理的核心逻辑,未能挖掘不同退化复原任务中通用的图像结构、内容与语义先验,导致模型对图像中语义复杂、纹理丰富的区域重建能力不足,易出现细节丢失、纹理模糊、结构失真等问题。

6、(3)缺乏合理的预训练与微调适配机制,无法兼顾复原效果与落地应用的资源成本。现有一体化模型多采用全参数微调或固定层级微调的模式,全参数微调会带来极高的计算与存储资源消耗,难以适配边缘端等计算资源受限的应用场景;而固定层级微调无法适配预训练阶段与推理阶段的输入分布差异,易导致预训练阶段学习的先验知识丢失,无法保障图像复原的精度与泛化能力。

7、(4)对图像深层语义特征的挖掘与利用不足,复原结果的语义一致性与结构保持能力较差。现有方法多聚焦于像素层面的损失优化,缺乏对图像全局语义特征的有效提取与利用,无法为图像重建提供充足的结构与语义引导,导致复原结果易出现主体结构畸变、边缘模糊、语义信息不符等问题,难以满足高精度图像复原的应用需求。

8、例如,公开号为cn121169723a的《基于无退化感知特征建模的一体化图像复原方法和装置》,以clip编码器为骨干,结合双moe系统、退化无感知块与线性同余哈希选择器构建dara模型,实现无显式退化感知的多任务复原。但该方法依赖已知退化标签完成索引分配,难以处理未知与复合退化场景,同时 clip 编码器对低质量退化图像的特征提取能力有限,两阶段训练易造成高频细节丢失,加上固定的专家数量限制了模型扩展能力,且全程依赖配对数据训练,缺少自监督学习机制,在真实无标注数据上泛化性不足。

9、又如,公开号为cn122023156a的《基于掩码自动编码器自监督预训练的图像处理方法及系统》,提出csformer模型与maeip自监督预训练框架,通过两阶段预训练提升单任务图像处理鲁棒性。但该方案并非针对一体化多任务复原设计,只能以单任务模式独立训练,无法用单一模型处理多种退化问题,加上固定架构缺少自适应调制能力,在复合退化场景下性能明显下降,同时预训练未引入退化先验导致特征针对性不足,且模型计算与参数量较大,难以在边缘设备上部署使用。

10、综上所述,现有一体化图像复原技术无法同时突破退化先验依赖、通用先验学习不足、资源成本与复原效果难以兼顾、语义保持能力薄弱四大核心技术瓶颈,难以适配真实场景中未知、复合的退化情形,无法同时满足工业应用对模型鲁棒性、复原精度的多重需求。

技术实现思路

1、本发明的目的是针对现有技术对应的不足,提供一种基于自适应掩码图像建模的一体化盲图像复原方法,通过构建一体化的盲图像复原模型,结合自适应语义感知掩码对盲图像复原模型进行预训练,并采用掩码属性导通机制进行模型微调,以及利用dinov2表征对模型进行特征增强,得到能够对盲图像复原的一体化盲图像复原模型,能够有效克服现有方法高度依赖退化标签、难以适配未知与复合退化、通用先验学习不足、微调资源开销大、语义保持能力弱等技术缺陷,实现对多种复杂未知退化场景下的图像内容有效建模与统一复原。

2、本发明的目的是采用下述方案实现的:

3、一种基于自适应掩码图像建模的一体化盲图像复原方法,包括以下步骤:

4、1)构建盲图像复原模型,包括数据预处理模块、自适应语义感知掩码模块、多层级语义特征融合模块、盲图像复原主干网络;

5、2)构建多类型退化-干净图像对,并结合自适应语义感知掩码对盲图像复原模型进行预训练,对预训练后的盲图像复原模型进行微调,并在盲图像复原模型中融入dinov2-base语义特征,得到能够对盲图像复原的盲图像复原模型;

6、3)利用盲图像复原模型对盲图像进行恢复,获得复原图像。

7、优选地,所述数据预处理模块,用于对输入图像进行预处理,包括图像格式转换、像素值归一化、尺寸适配、数据增强;

8、所述自适应语义感知掩码模块,用于通过多头注意力机制提取图像全局语义特征,计算图像区域语义复杂度,并动态生成像素级掩码矩阵,引导模型学习图像通用结构与语义先验;

9、所述多层级语义特征融合模块,用于提取dinov2-base模型多层transformer语义特征,通过通道注意力机制完成相邻层特征加权融合,并适配维度后将强语义特征注入主干网络,强化模型语义与结构识别能力;

10、所述盲图像复原主干网络,用于实现对输入图像的多尺度特征提取、解码与上采样重建,最终端到端输出尺寸匹配的高质量复原图像。

11、优选地,步骤2)中,能够对盲图像复原的盲图像复原模型按照下列方式获得:

12、2-1)采用大规模通用图像数据集,随机生成包括退化图像和干净图像的退化-干净图像对,其中,退化图像的退化类型包括高斯噪声、泊松噪声、高斯模糊、运动模糊、jpeg压缩、雾天退化、雨天退化、低照度退化;

13、2-2)利用数据预处理模块对所有退化 - 干净图像对进行预处理,包括格式转换、归一化、尺寸统一和数据增强操作;

14、2-3)将退化图像输入到自适应语义感知掩码模块中,生成掩码退化图像,并利用掩码退化图像对盲图像复原主干网络进行自适应语义感知掩码预训练;

15、2-4)结合掩码属性导通机制,从盲图像复原主干网络各个网络层中筛选出关键层进行微调,并冻结其余网络层,用于增强盲图像复原模型在恢复不同退化图像时的泛化能力;

16、2-5)利用多层级语义特征融合模块提取dinov2-base模型的transformer块输出特征,并融入到盲图像复原主干网络中,用于提升复原结果中的语义一致性和结构清晰度。

17、优选地,步骤2-3)中,将退化图像输入到自适应语义感知掩码模块中,生成掩码退化图像,并利用掩码退化图像对盲图像复原主干网络进行自适应语义感知掩码预训练,具体过程如下:

18、2-3-1)将退化-干净图像对中的退化图像输入到盲图像复原主干网络的第一个特征提取块,得到初始特征图;

19、2-3-2)将初始特征图输入自适应语义感知掩码模块的多头注意力模块中,计算全局语义特征;

20、2-3-3)根据全局语义特征,计算初始特征图每个区域的语义复杂度得分;

21、2-3-4)结合预设语义复杂阈值,根据语义复杂得分,划分出初始特征图的高语义复杂度区域;

22、2-3-5)对初始特征图的高语义复杂度区域进行动态掩码,生成掩码退化图像;

23、2-3-6)将掩码退化图像输入到盲图像复原主干网络中,输出重建图像,并以对应的干净图像为监督目标,采用预训练损失函数对盲图像复原主干网络进行监督训练,迭代优化至模型收敛。

24、优选地,步骤2-4)中,结合掩码属性导通机制,从盲图像复原主干网络各个网络层中筛选出关键层进行微调,并冻结其余网络层的具体过程如下:

25、2-4-1)从大规模通用图像数据集中随机采样若干张图像,分别生成掩码输入图像集和完整输入图像集;

26、2-4-2)固化盲图像复原主干网络所有网路层参数,将掩码输入图像集与完整输入图像集依次输入盲图像复原主干网络;

27、2-4-3)基于神经元导通度度量隐藏层激活变化对图像复原主干网络输出的复原图像的贡献,按照下列公式计算各个网络层的掩码属性归因通量,按照下列公式计算各个网络层的掩码属性归因通量:

28、

29、式中,为神经元y相对于输入属性x的掩码属性归因通量,为掩码概率,为第i个输入样本在积分路径参数下的插值输入,为在掩码参数作用下形成的掩码插值输入,为盲图像复原主干网络中待评估网络层的隐藏层激活值,为积分路径参数,为隐藏层激活值的微小变化量,为积分路径参数的微小变化量,为模型输出函数对隐藏层激活值y的梯度,为掩码输入条件下模型输出函数对隐藏层激活值y的梯度,为隐藏层激活值沿积分路径的变化率。

30、2-4-4)根据掩码属性归因通量的数值大小,确定盲图像复原主干网络中的关键层,将其余网络层参数冻结;

31、2-4-5)构建微调数据集,将微调数据集输入到盲图像复原主干网络中,采用微调损失函数对盲图像复原主干网络进行训练,仅对关键层的参数进行更新,迭代至验证集性能不再提升。

32、优选地,步骤2-5)中,利用多层级语义特征融合模块提取dinov2-base模型的transformer块输出特征,并融入到盲图像复原主干网络中,具体过程包括:

33、2-5-1)将退化图像输入到预训练的 dinov2-base模型中,并从dinov2-base模型中提取若干层的transformer块输出特征;

34、2-5-2)对相邻transformer块输出特征进行通道注意力调节,计算相邻层特征的动态融合权重,生成低层语义融合特征与高层语义融合特征;

35、2-5-3)将融合后的语义特征通过1×1卷积调整通道维度后,分别注入盲图像复原主干网络编码器的对应阶段,与主干网络提取的结构特征进行拼接融合。

36、优选地,所述盲图像复原主干网络为swinir或promptir。

37、本发明的有益效果包括以下几点:

38、① 本发明采用端到端一体化盲图像复原架构,彻底摒弃显式退化分类器与退化类型提示向量,无需依赖退化标签及先验知识,可直接处理未知、复合叠加的图像退化场景。并且本发明构建的一体化盲图像复原模型兼容高斯噪声、运动模糊、低照度、雾天退化等多类型退化组合,突破分任务独立处理的固有逻辑,无需提前判别退化类型,从根源避免退化误判导致的复原质量下降,实现复杂真实场景下图像的统一高效复原,大幅提升模型对真实退化的适配能力与工业落地适用性。实验结果表明,在七任务(即高斯噪声去除、运动模糊去模糊、低照度图像增强、图像去雾、散焦模糊复原、压缩伪影去除、多类型叠加混合退化联合复原)统一复原设定下,本发明方法psnr平均提升达到0.70db,说明该架构在多任务统一建模中具有稳定增益。针对极端退化和混合退化场景,本发明方法在cdd11测试集上相较既有一体化图像复原方法提升0.17db,体现出对真实复杂退化、跨域退化和叠加退化的适配能力与工业落地适用性。

39、② 本发明通过自适应语义感知掩码模块,依托多头注意力机制提取图像全局语义特征,精准计算区域语义复杂度并动态生成像素级掩码,结合掩码图像建模策略,强制模型从局部可见信息中重建完整图像内容。该设计可高效学习跨退化任务的通用图像结构与语义先验,强化对语义复杂、纹理丰富区域的特征表达与重建能力,有效解决现有方法细节丢失、纹理模糊、结构失真等问题,实现自然图像底层语义与视觉内容的统一建模。

40、③ 本发明提出掩码属性导通机制,通过对比掩码预训练与真实图像推理阶段的网络响应差异,量化各网络层的任务转移敏感性,精准筛选关键层实施微调并冻结其余层,并且该机制既可规避全参数微调带来的高计算、高存储开销,适配边缘端等资源受限场景,又避免固定层级微调引发的预训练先验丢失,能够最大程度保留通用图像先验,以低资源开销实现高精度任务适配,有效平衡图像复原效果与落地应用的资源成本。

41、④ 本发明构建基于dinov2-base的多层级语义特征融合模块,提取预训练视觉transformer的多层强语义特征,通过通道注意力机制完成相邻层特征加权融合,经1×1卷积适配维度后注入复原主干网络,该模块将深层语义表征与图像结构特征协同融合,为图像重建提供充足的全局语义引导,能够提升复原结果的语义一致性与结构保持能力,有效改善主体结构畸变、边缘模糊、语义信息不符等问题,满足高精度图像复原的应用需求。定量实验显示,在ood退化测试中,即使训练阶段仅使用高斯噪声,本发明方法在urban数据集的多种未知噪声类型上仍相较restormer基线取得平均1.84db的psnr增益,体现出语义先验对未知退化分布的泛化支撑作用。

42、名词解释:

43、盲图像复原:是图像处理与计算机视觉领域的核心图像复原任务,指在图像退化模型、退化过程及退化参数完全未知或先验信息缺失的条件下,仅依据观测到的退化图像自身特征、图像先验约束与统计规律,同步估计未知退化信息并重构原始清晰图像的复原技术。

44、掩码属性导通(mask attribute conductance,mac):掩码扰动的网络层重要性评估机制。该机制通过对输入属性进行选择性开启或屏蔽,分析属性信息在神经网络各层、通道及节点间的传递与激活情况,并计算得到对应网络层的导通度量值(mac 值),用于量化各网络层对掩码属性信息传递的贡献程度。

45、dinov2-base:简称dinov2-b/vit-b/14,是meta ai于2023年发表论文《dinov2:learning robust visual features without supervision》推出的中等规模自监督视觉transformer基础模型。

46、sots-outdoor:是reside数据集的室外合成客观测试子集,包含500组室外场景雾图-清晰真值配对图像。

47、rain13k-test:是4k-rain13k超高清去雨数据集的独立测试子集,共1000组4k分辨率雨图-清晰真值配对图像。

48、lol:是真实拍摄成对低光图像基准数据集,其中lol测试集含15组室内实拍弱光-正常光配对图像。

49、bsd68:是伯克利分割数据集精选的68张自然灰度图像标准测试子集。

50、lsdir-val:是大规模通用图像复原数据集lsdir的验证子集,包含1000张无压缩高清干净自然真值图像。

51、nafnet:是面向图像复原的极简单阶段u-net基线cnn,移除全部传统非线性激活,仅依靠逐元素门控乘法实现特征筛选。

52、mprnet:是多阶段渐进式cnn复原架构,将复原流程拆分为多级递进修复,前期编码器提取全局上下文、末段高分辨率分支保留纹理细节,搭配跨阶段监督注意力sam,是分任务高精度复原经典基准。

53、restormer:是用于高分辨率图像复原优化的u型编码器-解码器transformer,提出mdta线性复杂度转置多头注意力、gdfn门控前馈网络,解决原生vit空间二次复杂度缺陷,擅长建模远距离像素依赖。

54、swinir:是基于swin滑动窗口注意力构建的图像复原transformer基线,分为浅层提取、残差swin transformer深层编码、图像重建三模块,是图像超分、压缩伪影去除领域通用标准对比模型。

55、dl:是开创稠密残差连接范式的基础cnn复原网络,通过rdb稠密残差块、连续记忆机制实现全层特征复用,充分挖掘多尺度层级特征,属于早期图像超分、降噪的经典基线。

56、tape:是任务无关通用图像先验嵌入插件框架,分为无标注图像预训练通用先验、下游复原微调两阶段,可嵌入任意复原主干网络,提升未知、混合退化场景跨域泛化性能。

57、airnet:是初代一体化盲图像复原双模块框架,由对比学习退化编码器cbde、退化引导复原主干dgrn组成,单模型处理多种未知退化,推理无需退化标签与先验,需两阶段分步训练。

58、promptir:是基于提示学习的轻量化插件式一体化盲复原框架,由pgm提示生成模块、pim提示交互模块构成,动态从输入退化图像生成专属提示引导主干,单阶段端到端训练,无需额外退化编码器,适配复合叠加、未知真实退化场景。