基于退化状态与修复策略的自我优化全场景图像恢复方法

摘要: 本发明属于图像处理,具体涉及一种基于退化状态与修复策略的自我优化全场景图像恢复方法。背景技术:1、全场景图像恢复作为集去雾、去雨、去噪、低光增强等问题于一体的任...
基于退化状态与修复策略的自我优化全场景图像恢复方法

本发明属于图像处理,具体涉及一种基于退化状态与修复策略的自我优化全场景图像恢复方法。

背景技术:

1、全场景图像恢复作为集去雾、去雨、去噪、低光增强等问题于一体的任务,早已成为一个热门方向。它希望用一个统一框架处理多种退化,不再为每一种退化单独设计完整模型。现有方法大致可以分成几类:(1)通过可学习提示向量表示退化类型;(2)通过视觉语言模型生成修复指令;(3)使用多专家网络让不同专家处理不同退化;(4)把图像恢复看成智能体调用工具的过程,由大模型判断应该先去噪、再去雨,还是先增强低光、再去模糊等流程。

2、由此可见,图像恢复不再只是像素映射问题,而是逐渐演变为先理解图像,再制定策略,再执行修复的问题。

3、然而,现有全场景图像恢复方法较多关注识别退化类型和选择模型分支,通过判断图像里是否有雨、有雾、有雪,调整某个专家分支的权重,而不是根据实际的测试场景把整个任务拆成一个完整的策略过程。比如同样是一张低光雨夜图,如果用于自动驾驶,车道线、交通标志和行人轮廓应该更重要;如果用于手机摄影,画面自然、色彩舒服和纹理好看会更重要;如果用于安防监控,人脸、车牌、文字区域的清晰度又会更重要。现有技术通常不会认真区分这些修复目标。

4、此外,生成式人工智能,例如扩散模型也从文生图到图生图的方向被用于图像恢复。这类方法能够补出纹理和细节,恢复的图像视觉效果比传统模型更自然,但容易产生模型幻觉,比如原本模糊的车牌被恢复成了看似清楚但其实不真实的字符,或者建筑边缘被生成得很锐利但结构发生了改变。对于摄影美化来说可能无关紧要;但对于自动驾驶等这类需要精细检测的场景,这种幻觉会直接影响可靠性。

5、综上所述,现有技术存在的主要缺点如下:

6、(1)对复合退化的描述还不够精细。很多方法会输出一个退化类别,或者给出一个简单的退化概率向量,例如雾0.6、雨0.3、噪声0.1。真实图像的退化通常有空间分布差异。例如天空区域可能雾比较重,道路区域可能雨线比较明显,人脸区域可能主要是暗光和噪声,文字区域可能主要是模糊。若只用一个全局判断,后续的恢复中极易出现全图增强,导致所有区域都存在未处理或者过度处理的极端。

7、(2)缺少修复意图建模。现有的方法大多从指标判断修复效果,但考虑到不同场景涉及不同目标,例如摄影场景更关注美观,老照片修复更关注纹理和色彩自然,社交媒体图像更关注整体观感,而某些视觉任务则更关注局部清晰度,因此仅关注单一指标容易导致评价时存在清晰图像前后景割裂等问题。

8、(3)把提示词或混合专家的权重当作最终策略。但这两者都不能完整表达一个图像应该怎样修复。真正的修复策略应该包括修复顺序、局部区域处理方式、纹理增强强度、色彩恢复强度、生成式修复强度、是否需要二次修正等内容。如果没有策略层,整个系统很容易变成模型在人给出的范围内自由发挥,可控性和可解释性均较差。

9、(4)缺少修复后的反思和记忆。多数恢复模型是一次性推理,即使这次生成结果出现了色偏、纹理发黑、边缘伪影等问题,再遇到相似图像时模型也不会主动记住这个失败经验。对于真实应用场景来说,这种没有经验积累的系统不够稳定。

10、因此,现有全场景图像恢复方法虽然已经向统一模型、多专家、大模型提示、智能体调度等方向发展,但仍然缺少一种比较完整的闭环:先对退化状态进行合适的画像,再根据修复目标生成策略,然后执行受控恢复,最后根据评价结果反思并更新经验。

技术实现思路

1、针对现有的技术问题,本发明提出了一种基于退化状态与修复策略的自我优化全场景图像恢复方法,通过先对退化图像建立一个相对清晰的退化状态,再结合修复意图生成具体策略,最后通过双阶段修复、评价反思和记忆更新,让系统形成自己的修复经验。

2、具体技术方案如下:

3、s1,获取待修复的rgb图像;

4、s2,基于rgb图像,生成包含软退化类型概率、图像属性评分和退化区域掩膜的退化状态向量,以及包含美学自然度、纹理细节恢复和色彩恢复的修复意图向量;

5、s3,基于退化状态向量和修复意图向量,使用llm得到用于描述不同退化类型的修复顺序、处理强度以及修复区域的修复策略;

6、s4,将rgb图像、修复策略和退化区域掩膜输入扩散模型,在每个扩散步,结合扩散步嵌入、软退化类型概率和修复策略得到融合嵌入向量,并注入扩散模型各层特征图中;迭代执行所有扩散步,最终输出修复图像;

7、s5,从美学自然度、纹理细节恢复、色彩恢复和退化区域修复情况,对修复图像进行打分,将打分高于阈值的修复图像作为最终修复图像。

8、进一步地,所述s2中,退化状态向量采用蒸馏后的视觉语言模型得到,视觉语言模型的蒸馏过程为:

9、将多张rgb图像以及人为设置的退化状态向量真实值组成训练样本;

10、将视觉语言模型作为学生模型,多模态大模型作为教师模型,分别为所述教师模型和所述学生模型设置问答模板;教师模型的问答模板用于引导教师模型根据训练样本,生成针对每张rgb图像的退化分析思维链,学生模型的问答模板用于引导学生模型根据rgb图像,输出退化状态向量;

11、将训练样本中的rgb图像输入学生模型,以教师模型输出的退化分析思维链为监督标签训练学生模型,得到蒸馏后的视觉语言模型。

12、进一步地,所述s2中,软退化类型概率用于描述图像中存在的多个退化类型以及影响程度;图像属性评分用于分别从多个视觉属性对图像进行评分;退化区域掩膜用于表示图像中存在退化的区域;所述视觉属性包含亮度、对比度、锐度和饱和度。

13、进一步地,所述s2中,修复意图向量使用llm生成。

14、进一步地,所述s2中,所述美学自然度用于控制视觉协调度,所述纹理细节恢复用于控制纹理细节,所述色彩恢复用于控制全局色彩和谐度;美学自然度、纹理细节恢复和色彩恢复各自的指标权重通过使用llm分析rgb图像后生成或使用llm分析用户输入的具体需求生成。

15、进一步地,所述s4中,在每个扩散步,获得融合嵌入向量的过程具体为:

16、将软退化类型概率和修复策略拼接并编码为条件向量;将条件向量与扩散步对应的扩散步嵌入相加或拼接,得到融合嵌入向量。

17、进一步地,对于相加得到的融合嵌入向量,每个扩散步中,将融合嵌入向量注入扩散模型各层特征图的具体过程为:

18、对于主干网络中的每一个卷积层,均执行以下操作:

19、将融合嵌入向量输入主干网络每个卷积层对应的线性层中,通过自适应层归一化机制,得到缩放参数和偏移参数;

20、将缩放参数和偏移参数作用于当前卷积层生成的特征图中,得到更新后的特征图;

21、将更新后的特征图输入下一个卷积层,直至遍历主干网络所有卷积层,此时进入下一扩散步。

22、进一步地,对于拼接得到的融合嵌入向量,每个扩散步中,将融合嵌入向量注入扩散模型各层特征图的具体过程为:

23、对于主干网络中的每一个卷积层,均执行以下操作:

24、将融合嵌入向量作为键向量和值向量,主干网络每个卷积层生成的特征图作为查询向量,通过交叉注意力机制,得到特征图上每个像素位置的注意力权重;

25、结合注意力权重和特征图,得到更新后的特征图;

26、将更新后的特征图输入下一个卷积层,直至遍历主干网络所有卷积层,此时进入下一扩散步。

27、进一步地,所述s5中,使用llm对修复图像进行打分的过程具体为:

28、分别从修复图像的美学自然度效果、纹理细节恢复效果、色彩恢复效果和存在退化的区域的修复状况,使用llm对修复图像进行打分并生成评价报告;将所有打分加权求和,得到修复图像的得分。

29、进一步地,所述s5中,若修复图像的得分未高于阈值,则进入反思修正阶段;所述反思修正阶段具体为:

30、使用llm分析评价报告,并根据分析结果重新生成退化状态向量和修复意图向量;基于退化状态向量、修复意图向量和修复图像,重复s3-s5,直至得到得分高于阈值的修复图像。

31、本发明具有的有益效果是:

32、(1)本发明通过构建退化状态向量,使得修复系统不仅知道图像中可能有什么退化类型以及退化程度,还知道图像当前的亮度、对比度、锐度、饱和度等状态,以及这些退化主要集中在哪些区域,从而在后续恢复过程中更加局部化和精细化,避免全图统一增强带来的过处理问题。

33、(2)本发明构建的修复意图向量,通过将修复目标通过数值显式可视化,帮助修复系统能够平衡美学自然、纹理细节和色彩恢复。

34、(3)相比直接使用生成式大模型修复,本发明中设计的策略不仅提供了详细的各个退化类型,还包含了和的改进意见,可以更好地保持原图结构,减少幻觉;还把退化的恢复强度嵌入到时间维度中,控制修复的程度;同时,修复策略约束扩散分步嵌入,可以有效降低生成模型幻觉,保留原图结构。

35、(4)本发明还设计了反思修正阶段,使得本发明方法具有反思和记忆能力。系统不是一次性输出结果,而是在修复后根据评价报告调整策略,并把成功或失败经验保存下来。随着处理样本增加,系统可以逐渐形成更稳定的修复策略,对类似退化场景的处理也会更加可靠。