基于可靠性门控机制引导的ALL-in-One视频复原方法和系统

本发明属于视频处理，具体涉及一种基于可靠性门控机制引导的all-in-one视频复原方法和系统。

背景技术：

1、随着移动终端、智能监控、网络视频平台和自动驾驶等应用的快速发展，视频数据已经成为重要的信息载体。然而，在真实采集、传输和存储过程中，视频往往会受到多种退化因素影响，例如低分辨率采样、运动模糊、传感器噪声、压缩伪影、弱光成像以及复杂运动引起的帧间不一致等。这些退化会显著降低视频的视觉质量，并进一步影响后续目标检测、识别、跟踪等高层视觉任务的性能。因此，如何从低质量视频序列中恢复出清晰、稳定且细节完整的高质量视频，是计算机视觉和图像处理领域中的重要研究问题。传统视频复原方法通常针对单一退化类型进行建模，例如专门用于视频去噪或视频去模糊的方法。这类方法在特定任务中能够取得一定效果，但面对真实场景中多种退化混合存在的情况时，往往需要分别训练或部署多个模型，存在泛化能力不足、使用成本较高以及实际应用灵活性较差等问题。近年来，all-in-one视频复原方法受到越来越多关注，其目标是通过一个统一模型处理多种视频退化任务，从而提升模型在真实场景中的适用性。

2、然而，现有all-in-one视频复原方法仍面临以下核心挑战：一是复杂运动、遮挡及光流估计误差导致帧间对齐不准确，易引入不可靠历史信息，产生重影、边缘错位和纹理污染；二是不同退化任务对特征需求差异显著，缺乏对传播特征可信度的显式约束，易出现特征混用或错误传播；三是频域细节建模不足，导致复原结果过于平滑，高频纹理不清晰；四是部分高性能模型参数量和计算量较大，难以实际部署。

技术实现思路

1、为解决现有技术存在的问题，本发明提供一种基于可靠性门控机制引导的all-in-one视频复原方法和系统，通过改进特征传播机制和细节增强方式，提升模型在复杂退化场景下的时序特征利用效率和高频细节恢复能力，从而实现适应多种退化任务的基于可靠性门控机制引导的all-in-one视频复原。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于可靠性门控机制引导的all-in-one视频复原方法，包括：

4、步骤s1、获取连续低质量视频数据；

5、步骤s2、将连续低质量视频数据输入到视频复原模型，通过运动可靠性门控模块对时序传播特征的可信度进行建模，并结合频域/高频细节细化模块增强复原视频帧的边缘和纹理细节，实现视频去噪、去模糊和压缩伪影去除多种视频复原任务的统一处理。

6、作为优选，视频复原模型以循环传播式视频复原网络为基础，引入运动可靠性门控模块mrg和频域细节细化模块fdr，实现在多种视频退化任务中的时序对齐稳定性和细节恢复能力。

7、作为优选，视频复原模型包括：deformalignment可变形对齐模块、运动可靠性门控模块mrg和频域细节细化模块fdr；其中，deformalignment模块用于对前向传播和后向传播过程中的相邻帧特征进行空间对齐；mrg模块用于估计传播特征可靠性的轻量级门控结构，根据当前帧特征、传播特征及运动信息生成空间位置相关的可靠性权重图；fdr模块用于在图像重建阶段增强边缘、纹理高频细节。

8、本发明还提供一种基于可靠性门控机制引导的all-in-one视频复原系统，包括：

9、第一处理模块，用于获取连续低质量视频数据；

10、第二处理模块，用于将连续低质量视频数据输入到视频复原模型，通过运动可靠性门控模块对时序传播特征的可信度进行建模，并结合频域/高频细节细化模块增强复原视频帧的边缘和纹理细节，实现视频去噪、去模糊和压缩伪影去除多种视频复原任务的统一处理。

11、作为优选，视频复原模型以循环传播式视频复原网络为基础，引入运动可靠性门控模块mrg和频域细节细化模块fdr，实现在多种视频退化任务中的时序对齐稳定性和细节恢复能力。

12、作为优选，视频复原模型包括：deformalignment可变形对齐模块、运动可靠性门控模块mrg和频域细节细化模块fdr；其中，deformalignment模块用于对前向传播和后向传播过程中的相邻帧特征进行空间对齐；mrg模块用于估计传播特征可靠性的轻量级门控结构，根据当前帧特征、传播特征及运动信息生成空间位置相关的可靠性权重图；fdr模块用于在图像重建阶段增强边缘、纹理高频细节。

13、与现有技术相比，本发明的有益效果为：

14、第一，通过引入运动可靠性门控模块，对时序传播特征的可信程度进行自适应判断，能够在复杂运动、遮挡和帧间对齐误差存在时，有效降低不可靠历史特征对当前帧复原结果的影响，减少重影、边缘错位和纹理污染等问题。

15、第二，在循环传播过程中根据当前帧特征、传播特征及运动信息生成可靠性权重，使可靠的多帧互补信息得到充分利用，同时抑制不可靠的传播信息，从而提升视频复原的时序一致性和稳定性。

16、第三，通过引入频域细节细化模块，对复原特征中的高频响应进行建模和增强，有效改善边缘、纹理等细节区域的恢复效果，减轻复原结果过平滑的问题。

17、第四，能够在同一网络框架下处理视频去噪、去模糊、压缩伪影去除等多种退化任务，相比针对单一退化类型分别设计模型的方法，具有更好的任务适应性和应用灵活性。

18、第五，可靠性门控模块和频域细节细化模块结构简洁，可方便嵌入现有循环传播式视频复原框架，在不显著增加网络参数量和计算复杂度的前提下，实现整体性能提升，便于实际场景部署。

1.一种基于可靠性门控机制引导的all-in-one视频复原方法，其特征在于，包括：

2.如权利要求1所述的基于可靠性门控机制引导的all-in-one视频复原方法，其特征在于，视频复原模型以循环传播式视频复原网络为基础，引入运动可靠性门控模块mrg和频域细节细化模块fdr，实现在多种视频退化任务中的时序对齐稳定性和细节恢复能力。

3.如权利要求2所述的基于可靠性门控机制引导的all-in-one视频复原方法，其特征在于，视频复原模型包括：deformalignment可变形对齐模块、运动可靠性门控模块mrg和频域细节细化模块fdr；其中，deformalignment模块用于对前向传播和后向传播过程中的相邻帧特征进行空间对齐；mrg模块用于估计传播特征可靠性的轻量级门控结构，根据当前帧特征、传播特征及运动信息生成空间位置相关的可靠性权重图；fdr模块用于在图像重建阶段增强边缘、纹理高频细节。

4.一种基于可靠性门控机制引导的all-in-one视频复原系统，其特征在于，包括：

5.如权利要求4所述的基于可靠性门控机制引导的all-in-one视频复原系统，其特征在于，视频复原模型以循环传播式视频复原网络为基础，引入运动可靠性门控模块mrg和频域细节细化模块fdr，实现在多种视频退化任务中的时序对齐稳定性和细节恢复能力。

6.如权利要求5所述的基于可靠性门控机制引导的all-in-one视频复原系统，其特征在于，视频复原模型包括：deformalignment可变形对齐模块、运动可靠性门控模块mrg和频域细节细化模块fdr；其中，deformalignment模块用于对前向传播和后向传播过程中的相邻帧特征进行空间对齐；mrg模块用于估计传播特征可靠性的轻量级门控结构，根据当前帧特征、传播特征及运动信息生成空间位置相关的可靠性权重图；fdr模块用于在图像重建阶段增强边缘、纹理高频细节。