基于脑电信号引导与退化感知的暗光图像超分辨率方法
本发明涉及图像处理,尤其涉及一种基于脑电信号引导与退化感知的暗光图像超分辨率方法。
背景技术:
1、暗光图像超分辨率(low-light image super-resolution,llsr)任务中的输入图像通常伴随多种耦合退化,包括严重衰减的光照、复杂的噪声以及空间分辨率的显著损失。这种大量的信息丢失既严重影响了人类视觉感知质量,也妨碍了下游计算机视觉应用的性能。
2、现有暗光图像超分辨率方法在多重退化耦合的极端条件下,缺乏能够有效引导复原过程的高层级语义信息,导致重建图像的感知真实度不足。
技术实现思路
1、本发明提供一种基于脑电信号引导与退化感知的暗光图像超分辨率方法,用以解决现有技术中暗光图像超分辨率方法在多重退化耦合的极端条件下,缺乏能够有效引导复原过程的高层级语义信息,导致重建图像的感知真实度不足的缺陷。
2、本发明提供一种暗光图像超分辨率方法,包括:
3、获取待处理的暗光图像,获取从所述暗光图像对应的脑电信号中提取的认知表征和所述暗光图像的退化信息;
4、通过认知增强适配器,将所述认知表征与扩散模型的中间扩散特征进行融合,得到认知引导特征;
5、依据所述退化信息,通过退化敏感低秩适配模块,为所述扩散模型的不同阶段分别生成对应的低秩适配参数,利用所述低秩适配参数对所述扩散模型的原始参数进行更新;
6、将所述待处理的暗光图像输入至参数更新后的扩散模型,利用所述认知引导特征引导扩散模型的扩散过程,生成超分辨率图像。
7、根据本发明提供的一种暗光图像超分辨率方法,所述通过认知增强适配器,将所述认知表征与扩散模型的中间扩散特征进行融合,得到认知引导特征,包括:
8、对所述认知表征进行低频滤波处理,提取所述认知表征的低频分量;
9、将所述低频分量与扩散模型的中间扩散特征进行加权融合,得到认知增强特征;
10、以所述中间扩散特征作为查询,以所述认知增强特征作为键和值,执行跨模态注意力计算,得到注意力响应;
11、将所述注意力响应通过零初始化卷积层后,与所述中间扩散特征进行残差相加,得到认知引导特征。
12、根据本发明提供的一种暗光图像超分辨率方法,所述低频滤波处理采用高斯滤波核提取所述认知表征的低频分量;
13、所述加权融合所使用的权重系数包括:可学习的第一权重系数和第二权重系数,所述第一权重系数和所述第二权重系数用于分别调节所述低频分量与所述中间扩散特征的贡献比例。
14、根据本发明提供的一种暗光图像超分辨率方法,所述依据所述退化信息,通过退化敏感低秩适配模块为所述扩散模型的不同阶段分别生成对应的低秩适配参数,利用所述低秩适配参数对所述扩散模型的原始参数进行更新,包括:
15、调用预训练的退化估计器,对所述待处理的暗光图像进行分析,输出表征退化类型和强度的多维退化向量,所述退化类型包括噪声、模糊和分辨率损失中的至少一种;
16、获取与所述扩散模型的不同阶段对应的可学习引导向量,将所述多维退化向量与各可学习引导向量分别进行编码,生成对应于不同阶段的多个方向矩阵;
17、对于扩散模型中待调整的原始参数矩阵,采用低秩分解形式进行参数更新,将所述原始参数矩阵与多个低秩项之和相加,其中每个低秩项由可学习的权重系数、第一低秩分解矩阵、对应阶段的方向矩阵以及第二低秩分解矩阵的乘积构成。
18、根据本发明提供的一种暗光图像超分辨率方法,所述扩散模型的不同阶段对应于所述扩散模型的去噪网络中的不同深度层级或不同时间步,每个阶段关联一组所述低秩适配参数;不同阶段所对应的方向矩阵彼此独立,使所述低秩适配参数依据所处的扩散阶段以及所述退化信息而动态变化。
19、根据本发明提供的一种暗光图像超分辨率方法,所述获取待处理的暗光图像之前,还包括:
20、获取预训练的单步扩散模型,将所述单步扩散模型的所有预训练参数设置为冻结状态;
21、将所述认知增强适配器插入所述单步扩散模型的u-net结构的相邻网络层之间;
22、将所述退化敏感低秩适配模块,部署于所述u-net结构的参数层以及所述单步扩散模型的变分自编码器的编码器参数层中;
23、将所述认知增强适配器和所述退化敏感低秩适配模块的参数标记为可训练参数。
24、根据本发明提供的一种暗光图像超分辨率方法,所述获取待处理的暗光图像之前,还包括:
25、获取配对的脑电信号样本与图像样本;
26、利用脑电编码器对所述脑电信号样本进行编码,得到脑电表征;
27、利用图像编码器对所述图像样本进行编码,得到图像表征;
28、采用对比损失函数,约束所述脑电表征与所述图像表征在同一表征空间中的对齐程度;
29、迭代更新所述脑电编码器的参数,直至所述对比损失函数收敛,得到用于从脑电信号中提取认知表征的脑电编码器。
30、根据本发明提供的一种暗光图像超分辨率方法,所述得到用于从脑电信号中提取认知表征的脑电编码器之后,还包括:
31、冻结预训练的扩散模型的所有参数以及所述脑电编码器的所有参数;
32、构造重建损失函数,所述重建损失函数包括像素级均方误差损失、离散小波变换域损失和感知相似度损失的加权和;
33、以最小化所述重建损失函数为目标,利用训练数据集中的暗光图像与高光参考图像对,更新所述认知增强适配器和所述退化敏感低秩适配模块的参数。
34、根据本发明提供的一种暗光图像超分辨率方法,所述获取待处理的暗光图像的退化信息,包括:
35、将所述待处理的暗光图像输入至预训练的退化估计器,输出噪声强度估计值、模糊核尺寸估计值以及分辨率缩放因子估计值中的至少一种;
36、将所述退化估计器的输出作为退化信息。
37、根据本发明提供的一种暗光图像超分辨率方法,所述利用所述认知引导特征引导扩散模型的扩散过程,生成超分辨率图像,包括:
38、将所述待处理的暗光图像经过变分自编码器的编码器映射到潜在空间,得到潜在特征;
39、将所述潜在特征输入至部署有退化敏感低秩适配模块的u-net结构中进行去噪处理,在所述u-net结构的每一层中,将所述认知引导特征通过所述认知增强适配器注入到所述每一层的扩散特征中;
40、将所述u-net结构输出的去噪后潜在特征输入至所述变分自编码器的解码器,重建出超分辨率图像。
41、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述暗光图像超分辨率方法。
42、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述暗光图像超分辨率方法。
43、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述暗光图像超分辨率方法。
44、有益效果
45、本发明提供的一种基于脑电信号引导与退化感知的暗光图像超分辨率方法,通过从脑电信号中提取认知表征,经由认知增强适配器注入扩散模型,为复原过程提供了高层级语义信息,解决了感知真实度不足的问题,依据退化信息对扩散模型参数进行更新调整,使模型能够自适应多种退化模式,从而在极端暗光条件下显著提升超分辨率图像的感知质量与真实感。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com