低码率复杂场景下背景质量提升方法及装置与流程

技术特征：
1.一种低码率复杂场景下背景质量提升方法，其特征在于，包括：训练过程，进一步包括利用训练数据预处理模块将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；利用前后景特征分离模块，输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样，得到特征，对背景特征的分离使用m组双残差密集网络串联提取特征，对前景特征的分离使用残差网络，输出前后景分离特征；利用前后景特征融合模块对前后景分离特征作融合和上采样操作，得到融合帧；利用目标函数优化模块，将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数，进而得到优化后的前后景特征分离模块和前后景特征融合模块；推理过程，进一步包括将从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧，利用推理数据预处理模块将加载得到的视频序列与参考背景帧序列组合成数据对；将视频序列与参考背景帧序列组合成的数据对通过优化后的前后景特征分离模块得到前后景分离特征；利用优化后的前后景特征融合模块，输入前后景分离特征，得到背景增强帧序列即得到处理后的视频。2.如权利要求1所述的低码率复杂场景下背景质量提升方法，其特征在于，m的取值范围为10～30。3.如权利要求1所述的低码率复杂场景下背景质量提升方法，其特征在于，每个残差网络包含卷积层，用于提取训练数据预处理模块得到的低质量的训练序列或推理数据预处理模块得到的视频序列中的前景区域。4.如权利要求1所述的低码率复杂场景下背景质量提升方法，其特征在于，使用双残差密集网络对齐训练序列与输入参考帧，识别出训练序列和输入参考帧边缘的差异，然后提取背景区域特征。5.如权利要求1所述的低码率复杂场景下背景质量提升方法，其特征在于，前后景特征融合模块包括多个卷积层、leakyrelu激活层和上采样操作。6.一种低码率复杂场景下背景质量提升装置，其特征在于，包括：训练数据预处理模块用于将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；前后景特征分离模块，用于将输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样，得到特征，对背景特征的分离使用m组双残差密集网络串联提取特征，对前景特征的分离直接使用残差网络，输出前后景分离特征；前后景特征融合模块用于对前后景分离特征作融合和上采样操作，得到融合帧；目标函数优化模块用于将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数，进而得到优化后的前后景特征分离模块和前后景特征融合模块；推理数据预处理模块用于从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧，并将加载得到的视频序列与参考背景帧序列组合成数据对；优化后的前后景分离特征用于将视频序列与参考背景帧序列组合成的数据处理得到前后景分离特征；优化后的前后景特征融合模块用于将前后景分离特征处理得到背景增强帧序列即
得到处理后的视频。7.如权利要求6所述的低码率复杂场景下背景质量提升装置，其特征在于，m的取值范围为10～30。8.如权利要求6所述的低码率复杂场景下背景质量提升装置，其特征在于，每个残差网络包含卷积层，用于提取训练数据预处理模块得到的低质量的训练序列或推理数据预处理模块得到的视频序列中的前景区域。9.如权利要求6所述的低码率复杂场景下背景质量提升装置，其特征在于，输入帧中的背景区域信息几乎完全来源于高清背景帧中的背景信息，使用双残差密集网络对齐输入帧与参考帧，识别出输入帧和参考帧边缘的差异，然后提取背景区域特征。10.如权利要求6所述的低码率复杂场景下背景质量提升装置，其特征在于，前后景特征融合模块包括多个卷积层、leakyrelu激活层和上采样操作。

技术总结
本发明公开了一种低码率复杂场景下背景质量提升方法及装置，其中方法包括：训练过程，进一步包括利用训练数据预处理模块将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；利用前后景特征分离模块得到特征；利用前后景特征融合模块对前后景分离特征作融合和上采样操作，得到融合帧；推理过程，进一步包括将从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧；利用优化后的前后景特征融合模块，输入前后景分离特征，得到背景增强帧序列即得到处理后的视频。增强帧序列即得到处理后的视频。增强帧序列即得到处理后的视频。


技术研发人员：赵浩 陈梅丽 谢亚光 祁伟
受保护的技术使用者：杭州当虹科技股份有限公司
技术研发日：2022.08.25
技术公布日：2022/12/5