低码率复杂场景下背景质量提升方法及装置与流程

1.本发明属于视频增强技术领域，具体涉及一种低码率复杂场景下背景质量提升方法及装置。


背景技术：

2.在现实生活中，因为视频在传输过程中会占用大量带宽，需要使用降低传输码率，视频压缩等手段降低传输成本，这样会造成视频在播放端画质很差的结果，例如监控类的视频，由于需要全时段监控，视频数据量巨大，为了降低传输成本必然会导致播放端视频质量较差，缺少细节信息，不利于作为调取监控证据的材料。
3.对于以上需求场景，如果能在播放端提升背景质量，就能在视频传输过程中减少对背景的质量要求，将传输资源都留给重要的细节区域，背景信息则可以在播放端进行优化增强，既减轻了传输成本，又保留了视频关键信息。
4.目前针对视频图像质量提升一般使用超分辨率技术。传统的超分辨率是基于图像的纹理，通过判断纹理的方向，在此基础上再做增强，处理后仍然比较模糊，得到的质量都不尽如人意。近年来，利用机器学习来做超分辨率越来越成为一种趋势。基于机器学习的神经网络结构，可以更好地获得图像细节，基于生成对抗网络(gan)技术可以生成很高质量的结果，但基于gan的超分辨率模型都有如下缺陷：图像增加的细节基于训练数据生成，得到的图像很可能与原图存在较大特征细节上的歧义，不适合如监控视频的对图像细节有要求的场景。


技术实现要素：

5.鉴于以上存在的问题，本发明提供一种低码率复杂场景下背景质量提升方法及装置，用于解决经过高压缩率、超低码率传输的各类监控场景的视频背景质量差的问题。
6.为解决上述技术问题，本发明采用如下的技术方案：
7.本发明实施例的一方面提供一种低码率复杂场景下背景质量提升方法，包括：
8.训练过程，进一步包括利用训练数据预处理模块将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；利用前后景特征分离模块，输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样，得到特征，对背景特征的分离使用m组双残差密集网络串联提取特征，对前景特征的分离使用残差网络，输出前后景分离特征；利用前后景特征融合模块对前后景分离特征作融合和上采样操作，得到融合帧；利用目标函数优化模块，将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数，进而得到优化后的前后景特征分离模块和前后景特征融合模块；
9.推理过程，进一步包括将从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧，利用推理数据预处理模块将加载得到的视频序列与参考背景帧
序列组合成数据对；将视频序列与参考背景帧序列组合成的数据对通过优化后的前后景特征分离模块得到前后景分离特征；利用优化后的前后景特征融合模块，输入前后景分离特征，得到背景增强帧序列即得到处理后的视频。
10.一种可能的设计中，m的取值范围为10～30。
11.一种可能的设计中，每个残差网络包含卷积层，用于提取训练数据预处理模块得到的低质量的训练序列或推理数据预处理模块得到的视频序列中的前景区域。
12.一种可能的设计中，使用双残差密集网络对齐训练序列与输入参考帧，识别出训练序列和输入参考帧边缘的差异，然后提取背景区域特征。
13.一种可能的设计中，前后景特征融合模块包括多个卷积层、leakyrelu激活层和上采样操作。
14.本发明实施例的又一方面提供一种低码率复杂场景下背景质量提升装置，包括：
15.训练数据预处理模块用于将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；前后景特征分离模块，用于将输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样，得到特征，对背景特征的分离使用m组双残差密集网络串联提取特征，对前景特征的分离直接使用残差网络，输出前后景分离特征；前后景特征融合模块用于对前后景分离特征作融合和上采样操作，得到融合帧；目标函数优化模块用于将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数，进而得到优化后的前后景特征分离模块和前后景特征融合模块；
16.推理数据预处理模块用于从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧，并将加载得到的视频序列与参考背景帧序列组合成数据对；优化后的前后景分离特征用于将视频序列与参考背景帧序列组合成的数据处理得到前后景分离特征；优化后的前后景特征融合模块用于将前后景分离特征处理得到背景增强帧序列即得到处理后的视频。
17.一种可能的设计中，m的取值范围为10～30。
18.一种可能的设计中，每个残差网络包含卷积层，用于提取训练数据预处理模块得到的低质量的训练序列或推理数据预处理模块得到的视频序列中的前景区域。
19.一种可能的设计中，输入帧中的背景区域信息几乎完全来源于高清背景帧中的背景信息，使用双残差密集网络对齐输入帧与参考帧，识别出输入帧和参考帧边缘的差异，然后提取背景区域特征。
20.一种可能的设计中，前后景特征融合模块包括多个卷积层、leakyrelu激活层和上采样操作。
21.采用本发明具有如下的有益效果：通过计算输入的待处理帧与参考帧之间的前景与背景的特征差异，分离并提取前景与背景特征信息，再将分离后的特征信息进行融合，可以完成参考帧中高质量的背景特征信息与待处理帧中前景特征信息的融合，在保证帧中细节的正确性的前提下，仍能得到有效的背景质量提升，不仅可以在保持视频质量不变的情况下降低传输带宽，还能在超低传输码率，很差视频质量的情况下，对达到4k尺寸的视频流的背景质量进行实时提升。
附图说明
22.图1为本发明实施例的低码率复杂场景下背景质量提升方法的流程示意图；
23.图2为本发明实施例的低码率复杂场景下背景质量提升方法中前后景分离模块工作流程图；
24.图3为采用本发明实施例之前的低质量高压缩率图；
25.图4为图3采用本发明实施例的低码率复杂场景下背景质量提升方法处理后的图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.参见图1，所示为本发明实施例的低码率复杂场景下背景质量提升方法的流程示意图，包括：
28.训练过程，进一步包括利用训练数据预处理模块将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列img
x
、对应的高质量背景基准序列gt以及对应场景下的高质量无干扰背景作输入参考帧img
ref
；利用前后景特征分离模块，输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样，得到特征，对背景特征的分离使用m组双残差密集网络串联提取特征，对前景特征的分离直接使用残差网络，输出前后景分离特征；利用前后景特征融合模块对前后景分离特征作融合和上采样操作，得到融合帧；利用目标函数优化模块，将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数，进而得到优化后的前后景特征分离模块和前后景特征融合模块；
29.推理过程，进一步包括从视频流里或存储介质里加载得到待处理的视频序列frame
x
和对应场景下的参考背景帧frame
ref
，利用推理数据预处理模块将加载得到的视频序列与参考背景帧序列组合成数据对《frame
x
,frame
ref
》；将视频序列与参考背景帧序列组合成的数据对通过优化后的前后景特征分离模块得到前后景分离特征；利用优化后的前后景特征融合模块，输入前后景分离特征，得到背景增强帧序列即得到处理后的视频。
30.本发明一实施例中，前后景特征分离处理流程图如图2所示，输入序列img
x
和img
ref
，首先进行4倍像素解重组下采样(pixel_unshuffle)，得到特征feats，对背景特征的分离需要使用m组双残差密集网络(res2denseblock)串联提取特征，m可取10～30，对前景特征的分离直接使用残差网络(resnet)，最终该模块输出前后景分离特征前后景特征分离可以用公式表示为：
[0031][0032]
res2denseblockm(pixel_unshuffle(《img
x
,img
ref
》))》
[0033]
每个resnet里仅包含卷积层(conv，卷积层是用于提取图像特征的一种滤波器)，适用于提取输入帧中的前景区域；输入帧中的背景区域信息几乎完全来源于高清背景帧中
的背景信息，首先res2denseblock要对齐输入帧img
x
与参考帧img
ref
，识别出对齐输入帧img
x
与参考帧img
ref
边缘的差异，然后提取背景区域特征。
[0034]
每组res2denseblock包含n个密集卷积网络(densenet)，n一般取3就足够了，所有densenet采用残差公式进行连接，λ是残差增益，计算公式为：
[0035]
featsi＝denseneti(feats
i,1
)*λ feats
i,1
，3≤i≤n,λ∈(0.1,0.2)
[0036]
densenet模块采用多个卷积层叠加处理，m表示叠加层数，所有上层的处理结果均作为下层的一部分输入，公式如下：
[0037][0038]
最终前后景特征分离模块输出《f
pre
,f
back
》送入前后景特征融合模块作进一步处理。
[0039]
本发明一实施例中，对前后景分离后的特征作融合和上采样操作，可以将输入帧分离的前景特征和参考帧的背景特征融合到一起，保持边缘过渡平滑，达到背景清晰化的同时，整体色调与输入帧保持一致。
[0040]
前后景特征融合模块fusion包括多个卷积层、leakyrelu激活层(一种非线性函数，提高模型的拟合能力)和上采样操作(upsample)，激活函数表示为：
[0041]
α是可学习参数
[0042]
模块整体逻辑可表示为：
[0043]
fusion(feat)＝leakyrelu(conv(upsample(feat)))
[0044][0045]
将融合帧交给目标函数优化模块进行参数更新。
[0046]
本发明一实施例中，利用目标函数优化模块将融合帧和对应的基准图像序列gt之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块extract和前后景特征融合模块fusion的最优参数θ，过程如下公式所示：
[0047][0048][0049]
在训练过程中，经过大量数据多次迭代训练得到的参数θ可以提高融合帧的质量指标，最佳的参数θ得到的融合帧可以作为背景增强帧y输出。
[0050]
本发明一实施例中，待处理的视频序列frame
x
和对应场景下的参考背景帧frame
ref
通过优化后的前后景特征分离模块得到前后景分离特征《f
p
re,f
back
》。公式如下：
[0051]
《f
p
re,f
back
》＝extract(《frame
x
,frame
ref
》)
[0052]
最后将前后景分离特征《f
pre
,f
back
》交给优化后的前后景特征融合模块处理。
[0053]
本发明一实施例中，优化后的前后景特征融合模块输入前后景分离特征《f
pre
,f
back
》，得到背景增强帧序列y，整个过程如下：
[0054]
y＝fusion(《f
pre
,f
back
》)。
[0055]
通过以上设置的低码率复杂场景下背景质量提升方法，在前后景特征分离时充分利用了输入的待处理帧与参考帧之间的前景与背景的特征差异，成功分离并提取前景与背景特征信息；在前后景特征融合时完成了参考帧中高质量的背景特征信息与待处理帧中前景特征信息的平滑融合；通过前后景特征分离与前后景特征融合的操作，处理后的视频帧既保留了前景区域的关键信息的正确性，又增强了背景质量，同时消除了不同前后景边缘在融合时的不连贯性，满足了视觉要求。不仅可以在保持视频质量不变的情况下降低传输带宽，还能在超低传输码率，很差视频质量的情况下，对达到4k尺寸的视频流的背景质量进行实时提升。
[0056]
与本发明方法实施例对应的，继续参见图1，本发明实施例同时提供了一种低码率复杂场景下背景质量提升装置，包括：
[0057]
训练数据预处理模块用于将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；前后景特征分离模块，用于将输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样，得到特征，对背景特征的分离使用m组双残差密集网络串联提取特征，对前景特征的分离直接使用残差网络，输出前后景分离特征；前后景特征融合模块用于对前后景分离特征作融合和上采样操作，得到融合帧；目标函数优化模块用于将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数，进而得到优化后的前后景特征分离模块和前后景特征融合模块；
[0058]
推理数据预处理模块用于从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧，并将加载得到的视频序列与参考背景帧序列组合成数据对；优化后的前后景分离特征用于将视频序列与参考背景帧序列组合成的数据处理得到前后景分离特征；优化后的前后景特征融合模块用于将前后景分离特征处理得到背景增强帧序列即得到处理后的视频。
[0059]
本发明一实施例中，前后景特征分离处理流程图如图2所示，输入序列img
x
和img
ref
，首先进行4倍像素解重组下采样(pixel_unshuffle)，得到特征feats，对背景特征的分离需要使用m组双残差密集网络(res2denseblock)串联提取特征，m可取10～30，对前景特征的分离直接使用残差网络(resnet)，最终该模块输出前后景分离特征前后景特征分离可以用公式表示为：
[0060][0061]
res2denseblockm(pixel_unshuffle(《img
x
,img
ref
》))》
[0062]
每个resnet里仅包含卷积层(conv，卷积层是用于提取图像特征的一种滤波器)，适用于提取输入帧中的前景区域；输入帧中的背景区域信息几乎完全来源于高清背景帧中的背景信息，首先res2denseblock要对齐输入帧img
x
与参考帧img
ref
，识别出对齐输入帧img
x
与参考帧img
ref
边缘的差异，然后提取背景区域特征。
[0063]
每组res2denseblock包含n个密集卷积网络(densenet)，n一般取3就足够了，所有densenet采用残差公式进行连接，λ是残差增益，计算公式为：
[0064]
featsi＝denseneti(feats
i,1
)*λ feats
i,1
，3≤i≤n,λ∈(0.1,0.2)
[0065]
densenet模块采用多个卷积层叠加处理，m表示叠加层数，m一般取5-6层，所有上层的处理结果均作为下层的一部分输入，公式如下：
[0066][0067]
最终前后景特征分离模块输出《f
pre
,f
back
》送入前后景特征融合模块作进一步处理。
[0068]
本发明一实施例中，对前后景分离后的特征作融合和上采样操作，可以将输入帧分离的前景特征和参考帧的背景特征融合到一起，保持边缘过渡平滑，达到背景清晰化的同时，整体色调与输入帧保持一致。
[0069]
前后景特征融合模块fusion包括多个卷积层、leakyrelu激活层(一种非线性函数，提高模型的拟合能力)和上采样操作(upsample)，激活函数表示为：
[0070]
α是可学习参数
[0071]
模块整体逻辑可表示为：
[0072]
fusion(feat)＝leakyrelu(conv(upsample(feat)))
[0073][0074]
将融合帧交给目标函数优化模块进行参数更新。
[0075]
本发明一实施例中，利用目标函数优化模块将融合帧和对应的基准图像序列gt之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块extract和前后景特征融合模块fusion的最优参数θ，过程如下公式所示：
[0076][0077][0078]
在训练过程中，经过大量数据多次迭代训练得到的参数θ可以提高融合帧的质量指标，最佳的参数θ得到的融合帧可以作为背景增强帧y输出。
[0079]
本发明一实施例中，待处理的视频序列frame
x
和对应场景下的参考背景帧frame
ref
通过优化后的前后景特征分离模块得到前后景分离特征《f
pre
,f
back
》。公式如下：
[0080]
《f
pre
,f
back
》＝extract(《frame
x
,frame
ref
》)
[0081]
最后将前后景分离特征《f
pre
,f
back
》交给优化后的前后景特征融合模块处理。
[0082]
本发明一实施例中，优化后的前后景特征融合模块输入前后景分离特征《f
pre
,f
back
》，得到背景增强帧序列y，整个过程如下：
[0083]
y＝fusion(《f
pre
,f
back
》)。
[0084]
通过以上设置的低码率复杂场景下背景质量提升装置，训练数据预处理模块用于加载待训练的前后景样本序列和参考背景序列，经过数据处理后得到训练数据对，将训练数据对交给前后景特征分离模块和目标函数优化模块；推理数据预处理模块用于读取实时视频流或者已保存在存储介质内的视频并加载为待处理序列，读取实时视频流里的参考帧或者已存在于存储介质内的参考图像加载为参考帧，由此得到推理数据对，将推理数据对交给前后景特征分离模块；前后景特征分离模块首先计算输入的待处理帧与参考背景帧之间的前景与背景的特征差异，分离并提取前景与背景特征信息，前后景分离处理可以在提升背景质量的同时，保证重要前景区域的正确完整性，最后将处理后的前后景特征传递给前后景特征融合模块；前后景特征融合模块将分离后的前后景信息进行融合，可以完成参考帧中高质量的背景特征信息与待处理帧中前景特征信息的融合，得到预测帧，最后将预测帧交给目标函数优化模块进行参数更新，或者保存到存储介质中；目标函数优化模块对前后景特征融合模块输出的图像与训练数据预处理模块提供的训练样本之间的损失函数进行梯度下降优化，用于模型的训练。在前后景特征分离时充分利用了输入的待处理帧与参考帧之间的前景与背景的特征差异，成功分离并提取前景与背景特征信息；在前后景特征融合时完成了参考帧中高质量的背景特征信息与待处理帧中前景特征信息的平滑融合；通过前后景特征分离与前后景特征融合的操作，处理后的视频帧既保留了前景区域的关键信息的正确性，又增强了背景质量，同时消除了不同前后景边缘在融合时的不连贯性，满足了视觉要求。不仅可以在保持视频质量不变的情况下降低传输带宽，还能在超低传输码率，很差视频质量的情况下，对达到4k尺寸的视频流的背景质量进行实时提升。
[0085]
参见图3和图4，所示分别为采用本发明实施例之前的低质量高压缩率图和采用本发明实施例的低码率复杂场景下背景质量提升方法处理后的图，整体画质得到提升后的效果图，处理后的视频帧既保留了前景区域的关键信息的正确性，又增强了背景质量，同时消除了不同前后景边缘在融合时的不连贯性。
[0086]
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。