一种基于梯度引导的轻量大气湍流视频矫正系统及方法与流程
本发明涉及图像处理,尤其涉及一种基于梯度引导的轻量大气湍流视频矫正系统及方法。
背景技术:
1、大气湍流会导致光学成像系统采集的视频出现空间随机像素位移、几何畸变和模糊,严重影响视频监控、自动驾驶、远距离观测等应用中目标检测与识别的准确性。随着边缘计算在智能安防、无人系统等领域的快速普及,如何在计算资源受限的嵌入式边缘平台上实现实时、高质量的大气湍流视频校正,已成为提升远距离光学视觉感知系统鲁棒性的关键研究方向。
2、为了实现大气湍流视频校正,现有技术主要采用了深度学习复原方法及传统处理方法。然而,如公开号为cn116029933a的专利提供的基于高低频合成重建的湍流图像复原方法,采用双u-net级联结构分别重建高频信息与清晰图像,不仅因双级网络导致参数量与计算量成倍增加、难以在边缘设备上实现实时推理,且本质上属于单帧复原,忽略了视频序列中多帧的时序互补信息,在强湍流下复原效果受限;公开号为cn121392716a的专利提供的一种多尺度特征融合的大气湍流视频校正方法,其依赖spynet光流估计网络、可变形注意力模块、双向门控循环单元及多头时间通道自注意力模块,虽然复原质量较高,但网络结构臃肿、参数量巨大,且逐像素偏移量预测开销大、双向时序建模需占用大量内存缓冲,无法在资源受限的嵌入式npu等边缘设备上实现实时运行。此外,经典幸运成像方法虽具有轻量和无需显式对齐的优势,但其依赖手工设计的清晰度指标进行“硬选择”拼接,存在块效应和场景适应性差的问题,且尚未被有效转化为可端到端学习的深度网络范式。
3、因此,需要提出一种基于梯度引导的轻量大气湍流视频矫正方法,解决现有大气湍流校正技术计算复杂度高、难以在边缘设备实时运行,以及轻量网络复原质量差、易产生重影与块效应的问题。
技术实现思路
1、有鉴于此,本发明提供一种基于梯度引导的轻量大气湍流视频矫正系统及方法,用以解决在计算资源极度受限的嵌入式边缘平台上,现有技术难以通过低计算量与低内存开销实现实时、低延迟且无块效应的大气湍流视频高质量复原校正的技术问题。
2、为达到上述技术目的,本发明采取了以下技术方案:
3、第一方面,本发明提供了一种基于梯度引导的轻量大气湍流视频矫正系统,包括:
4、多帧输入模块,用于获取连续的多帧大气湍流退化视频帧,将所述多帧大气湍流退化视频帧沿通道维度进行拼接,形成多帧输入张量;
5、梯度引导模块,与所述多帧输入模块连接,用于基于所述多帧输入张量分别生成各大气湍流退化视频帧对应的全局帧级权重和空间像素级权重,并根据所述全局帧级权重和空间像素级权重生成像素级融合权重;
6、加权融合模块,与所述多帧输入模块和梯度引导模块连接,用于基于所述像素级融合权重对多个大气湍流退化视频帧进行逐像素软加权融合,得到多帧融合图像;
7、残差增强模块,与加权融合模块连接,用于基于所述多帧融合图像生成细节残差,将所述细节残差与所述多帧融合图像进行叠加,得到矫正后视频图像。
8、进一步的,所述梯度引导模块包括并联设置的全局得分分支和空间权重分支;
9、所述全局得分分支用于基于所述多帧输入张量提取全局特征,并生成各大气湍流退化视频帧对应的全局帧级权重;
10、所述空间权重分支用于针对各大气湍流退化视频帧提取梯度特征,并将所述梯度特征与对应的视频帧图像特征进行联合处理,以生成对应的空间像素级权重;
11、所述梯度引导模块基于所述全局帧级权重和所述空间像素级权重生成所述像素级融合权重。
12、进一步的,所述全局得分分支包括依次连接的降采样卷积单元、全局特征汇聚单元和全局权重映射单元,用于对所述多帧输入张量进行空间分辨率压缩和全局特征聚合,并映射生成各大气湍流退化视频帧的全局帧级权重;
13、所述空间权重分支包括依次连接的空间梯度提取单元、特征通道拼接单元和空间权重映射单元,用于提取各大气湍流退化视频帧的梯度特征,并根据所述梯度特征与对应的视频帧图像特征的联合特征生成空间像素级权重。
14、进一步的,所述梯度引导模块还包括权重组合与归一化单元,用于将所述全局帧级权重与所述空间像素级权重进行逐元素组合,得到对应于各大气湍流退化视频帧及各像素位置的初始融合权重,并在帧维度对所述初始融合权重进行归一化,生成所述像素级融合权重,以使同一像素位置对应的不同大气湍流退化视频帧之间实现归一化的权重分配。
15、进一步的,所述残差增强模块包括依次连接的特征扩展单元、残差特征提取单元、细化单元、残差映射单元和残差叠加单元;
16、所述特征扩展单元用于对所述多帧融合图像进行特征维度扩展;
17、所述残差特征提取单元用于从扩展后的特征中提取纹理和结构细节特征;
18、所述细化单元用于对所述纹理和结构细节特征进行卷积映射,以调整所述纹理和结构细节特征的特征响应,得到细化后的细节特征;
19、所述残差映射单元用于将所述细化后的细节特征映射为与所述多帧融合图像对应的细节残差;
20、所述残差叠加单元用于将所述细节残差与多帧融合图像进行逐元素叠加,得到所述矫正后视频图像。
21、进一步的,所述梯度引导模块、加权融合模块和残差增强模块共同构成可微分的端到端深度神经网络;
22、所述梯度引导模块和所述残差增强模块分别包括可学习参数,所述加权融合模块为无可学习参数的前向融合节点。
23、第二方面,本发明公开了一种基于梯度引导的轻量大气湍流视频矫正方法,采用上述技术方案所述的系统实现,包括:
24、获取连续多帧大气湍流退化视频帧,将所述多帧大气湍流退化视频帧沿通道维度进行拼接,形成多帧输入张量;
25、将所述多帧输入张量输入至包括全局得分分支和空间权重分支的梯度引导模块,通过所述全局得分分支预测各帧的全局帧级清晰度得分,通过所述空间权重分支结合固定梯度算子与可学习卷积预测各帧的空间像素级权重图;
26、将所述全局帧级权重与所述空间像素级权重进行逐元素组合,并在帧维度进行归一化,生成各视频帧对应的像素级融合权重图,基于各所述视频帧及其对应的像素级融合权重图执行逐像素加权求和,得到多帧融合图像;
27、将所述多帧融合图像输入轻量残差增强网络,得到对应的细节残差,并将所述细节残差与所述多帧融合图像进行逐元素相加,得到矫正后的视频图像。
28、第三方面,本发明公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述技术方案所述的大气湍流视频矫正方法。
29、相比于现有技术,本发明提出的基于梯度引导的轻量大气湍流视频矫正方法具有以下优势:
30、(1)极低计算量实现边缘端实时处理:本发明全网络采用深度可分离卷积与一维通道注意力构建,不含任何光流估计、可变形卷积、循环网络或自注意力等计算密集型模块,总参数量控制在15k至25k量级。经整型量化后,在嵌入式npu上单帧推理延迟低于30毫秒,可满足30fps以上视频流的实时去湍流处理需求,解决了现有深度学习方法因计算开销过大而无法在边缘设备上实时运行的核心难题。
31、(2)无需显式对齐的自适应时序融合:本发明以一维通道注意力机制替代传统的光流配准或可变形对齐模块,通过全局平均池化和一维卷积动态学习各帧特征在通道维度上的贡献权重。该机制仅增加数个参数,即实现了类似“帧选择”的自适应融合效果,对不同湍流强度和场景内容均具有良好自适应性,避免了显式对齐在大位移场景下的失效问题。
32、(3)中心帧残差学习保障复原质量与训练效率:本发明以输入序列中心帧作为基底,网络仅输出退化残差进行补偿。该策略使网络聚焦于湍流退化成分的学习,避免了从零重建完整图像可能引入的结构失真和伪影。中心帧天然保留场景的真实光照与色彩分布,复原结果忠实于原始输入,同时学习目标简化使训练收敛速度显著加快。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com