一种视频快照压缩成像的二次消伪影降噪重建方法及设备与流程
本发明属于计算成像与压缩感知图像处理,具体涉及一种视频快照压缩成像的二次消伪影降噪重建方法及设备。
背景技术:
1、近年来,高速瞬态场景观测、超快光学成像等应用需求持续攀升,视频快照压缩成像(vsci)凭借单次曝光即可编码采集多帧高速视频的优势,突破了传统高速相机硬件帧率、存储带宽的限制,在瞬态燃烧、流体观测、生物超快成像等领域得到大量应用。该成像体制通过空间编码掩模将时序高速画面压缩编码至单帧二维探测器测量图像,后续依靠重建算法从压缩观测数据中还原原始连续视频,重建算法性能直接决定最终成像质量。
2、当前vsci重建算法主要分为模型驱动迭代优化算法与数据驱动端到端深度学习算法两大类。其中以admm为代表的模型驱动优化方法依托严格的物理成像约束,数学可解释性强、无需大量标注样本,但在高压缩比、高分辨率成像条件下,受欠采样失真、系统掩模编码误差与迭代噪声累积影响,重建结果极易产生鬼影、纹理漂移、帧间时序不一致等伪影,大幅降低图像信噪比与视觉效果。而纯端到端深度学习重建方法依靠cnn、transformer强大的非线性拟合能力能够有效抑制伪影、恢复细节,但该类模型属于黑盒建模,缺少物理成像模型约束,训练依赖大量真值高速视频样本,面对掩模更换、采样条件变化等分布外数据时泛化性能急剧恶化,难以满足精密光学成像系统对结果可靠性、物理一致性的工程使用要求。
3、现有部分混合正则化与插入式即插即用网络的改进方案,虽尝试融合物理模型与深度学习优势,但普遍存在计算开销大、伪影去除不彻底或过度依赖真实样本训练的缺陷,无法在兼顾物理可解释性、低数据依赖与高保真去伪影三者之间实现平衡。
技术实现思路
1、本发明的目的在于提供一种视频快照压缩成像的二次消伪影降噪重建方法及设备,以解决现有技术中纯物理模型重建(如admm)在高压缩比下伪影严重(鬼影、纹理漂移),以及纯端到端深度学习网络缺乏物理可解释性、泛化能力差的技术问题。
2、为达到上述目的,本发明采用如下技术方案:
3、第一方面,本发明提供一种视频快照压缩成像的二次消伪影降噪重建方法,包括以下步骤:利用交替方向乘子法求解视频快照压缩成像的前向物理模型,生成包含伪影的初步重建视频;构建时空域融合的伪影精炼网络,将所述初步重建视频输入所述伪影精炼网络,利用空间维度transformer层和时间维度u-net层提取时空特征,估计得到伪影残差图;基于残差学习策略,将所述初步重建视频与所述伪影残差图进行差运算,输出最终的干净重建视频。
4、进一步的,所述利用交替方向乘子法求解视频快照压缩成像的前向物理模型具体包括:构建包含数据保真项和正则化项的约束优化问题,其表达式为:
5、
6、其中,为压缩测量值,
h为观测矩阵,为主变量,
z为辅助变量,为正则化参数;利用交替方向乘子法对上述增广拉格朗日函数进行迭代求解,更新数据一致性子问题、先验项降噪子问题以及对偶变量,直至满足收敛准则,输出初步重建结果。
7、进一步的,所述构建时空域融合的伪影精炼网络具体包括:设计模块化堆叠架构,包含多个串联的基本模块;所述基本模块内部采用串行结构,先通过空间维度transformer层建模局部空间依赖关系,再通过时间维度u-net层融合多尺度时序特征;在堆叠模块末端连接空间卷积精炼层,用于整合高维特征并输出伪影残差。
8、进一步的,所述空间维度transformer层的处理过程为:将输入特征图在空间维度上划分为若干互不重叠的子窗口;在每个子窗口内部独立执行多头自注意力运算,其注意力计算引入相对高斯位置偏置,以显式建模相邻像素之间的空间关系;通过局部窗口划分与自注意力建模,捕捉复杂纹理结构及空间关联特性。
9、进一步的,所述时间维度u-net层的处理过程为:构建轻量级u-net结构,包括编码器、瓶颈层和解码器;所述编码器通过时间维度的下采样操作提取多尺度时序特征,扩大感受野;所述解码器通过上采样操作及跳跃连接融合编码器对应层的特征,恢复时序细节,抑制帧间闪烁与运动拖影。
10、进一步的,所述估计得到伪影残差图具体包括:将第一阶段输出的初步重建视频同时作为网络的输入和监督信号,构建自监督学习目标;定义网络输出的伪影残差
r为:
11、其中,为伪影精炼网络的映射函数;通过最小化复合损失函数训练网络,使网络专注于学习鬼影、纹理漂移及噪声组成的伪影分布。
12、进一步的,所述复合损失函数包含数据一致性损失,其表达式为:
13、
14、其中,
ν为数据一致性权重。引入所述数据一致性损失以约束精炼后的结果满足物理前向模型;为感知损失,为数据一致性损失,定义如下:
15、
16、
17、其中,为通过vgg-19进行特征映射,
h感知矩阵,
y为压缩测量值。
18、进一步的,所述基于残差学习策略具体为:将最终的干净重建视频定义为:
19、
20、利用显式减法操作保留真实信号的主结构,仅对伪影进行针对性抑制,降低网络过参数化风险。
21、第二方面,本发明提供一种基于两阶段学习的视频快照压缩成像重建系统,包括第一处理模块、第二处理模块和输出模块,其中,第一处理模块利用交替方向乘子法求解视频快照压缩成像的前向物理模型,生成包含伪影的初步重建视频;第二处理模块通过时空域融合的伪影精炼网络,利用空间维度transformer层和时间维度u-net层提取时空特征,估计得到伪影残差图。输出模块:用于输出最终的干净重建视频。
22、第三方面,提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
23、第四方面,一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
24、与现有技术相比,本发明具有以下有益的技术效果:本发明提供一种视频快照压缩成像的二次消伪影降噪重建方法,针对视频快照压缩成像重建中高质量重建与可解释性难以兼顾的问题,提出了一种“数学驱动初重建+深度神经网络驱动二次精炼”的混合架构。
25、第一阶段利用admm算法保证了重建结果的物理一致性与结构完整性;第二阶段引入时空域融合网络,通过空间维度transformer层捕捉长程空间依赖以消除块状伪影,结合时间维度u-net层融合多尺度时序特征以抑制伪影,实验表明(参见表2),在压缩比为24时,本发明psnr达到31.64db,相比经典gap-tv算法提升5.45db,相比pnp-ffdnet提升2.28db;尤其在高压缩比(压缩比30)下,psnr仍较第一阶段admm初重建提升2.96db,证明了本发明在高压缩比极端条件下的鲁棒性。同时,ssim与lpips指标均显著优于现有对比算法,视觉上鬼影和帧间闪烁得到有效抑制。”
26、本发明采用自监督残差学习策略,在难以得到的真实高速视频作为标签时,直接利用第一阶段重建结果作为伪真值训练网络,传统监督学习方法需采集数千组高帧率真值视频(如davis数据集需上万帧标注),成本高昂且难以覆盖实际瞬态场景。本发明采用自监督学习,仅需单次压缩测量即可构建训练对,训练样本需求减少约80%,且在真实火焰观测等无真值场景下依然有效,大幅提升了方法的工程实用性。”
27、同时,引入数据一致性损失()将物理前向模型约束嵌入深度学习过程,确保了精炼结果在数学与物理上的合理性,解决了纯数据驱动方法在非分布数据上泛化能力弱的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com