视频降噪方法和装置、计算机系统和可读存储介质与流程

1.本发明涉及视频降噪技术领域，尤其涉及视频降噪方法和装置、计算机系统和可读存储 介质。


背景技术：

2.在现代社会中，使用相机或探测器进行视频拍摄，是一件常见的事情，在进行视频拍摄 的时候，由于各种因素的影响，导致所获取到的视频流中经常会含有噪音，例如，高斯噪音、 压缩噪音等。在发明人的长期实践中，发现在拍摄视频时，相机或探测器通常都不会静置的， 而是处于振动或运动中，从而导致所拍摄的视频中的背景也会运动，这会导致噪音的产生的， 因此，需要针对这种情况所拍摄到的视频进行降噪处理。
3.在现有技术中，通常会使用以下技术进行视频降噪：
4.(1)基于监督学习的降噪方法，该降噪方法大多数都是对视频流的每一个图像帧进行降 噪处理，即这些降噪方法没有很好地利用相邻图像帧之间的信息以及时间一致性，导致降噪 效果不佳。
5.(2)rpca(robust principle componentanalysis，主成分分析法)分解方法，该方法只 能针对静态背景的视频进行前后景建模，无法针对由相机镜头运动引起的移动背景视频进行 处理。


技术实现要素：

6.本发明的目在于提供视频降噪方法和装置、计算机系统和可读存储介质。
7.为了实现上述发明目的之一，本发明一实施例提供了一种视频降噪方法，包括以下步骤： 获取视频流，所述视频流中包含有以时间顺序排列的多个图像帧i0，i1，...，i
t
，t为自然数； 生成图像帧i
m
和图像帧i
m
‑1之间的光流场o
m
→
m
‑1＝g
flow
(i
m
，i
m
‑1)，其中，g
flow
为光流估计 器；基于光流场o
m
→
m
‑1，构建前景图并进行视频分解，并生成图像帧i
m
对应的前景s
m
和背 景l
m
；对前景s
m
和背景l
m
分别进行降噪处理并得到降噪后的前景和降噪后的背景基 于以下公式生成降噪后的前景于以下公式生成降噪后的前景其中，m＝1，2，...，t，w()是配准函数，ρ为平滑度值； 基于前景和背景生成降噪后的视频流，其中，m＝1，2，...，t。
8.作为本发明实施方式的进一步改进，所述“基于光流场o
m
→
m
‑1，构建前景图并进行视频 分解，并生成图像帧i
m
对应的前景s
m
和背景l
m”包括：生成i
m
与i
m
‑1之间的背景偏移量；基 于所述背景偏移量、生成当前图像帧i
m
相对于前一图像帧i
m
‑1之间的单应矩阵h
m
→
m
‑1；利用 单应矩阵生成图像帧i
m
对应的全景尺寸下的图像y
m
以及掩码矩阵基于全景图、主成分 追踪算法和光流场o
m
→
m
‑1、生成图像帧i
m
对应的前景s
m
和背景l
m
。
9.作为本发明实施方式的进一步改进，所述掩码矩阵为对图像帧i
m
进行透视变换而得 到。
10.作为本发明实施方式的进一步改进，所述“生成i
m
与i
m
‑1之间的背景偏移量”包括：基 于核密度估计器生成一个用于描述所述光流场o
m
→
m
‑1的概率密度函数，选取概率密度值最大 的窗口的位移作为i
m
与i
m
‑1之间的背景偏移量。
11.作为本发明实施方式的进一步改进，所述“对前景s
m
和背景l
m
分别进行降噪处理并得到 降噪后的前景和降噪后的背景”包括：基于单帧自监督降噪网络对前景s
m
和背景l
m
分别进行降噪处理并得到降噪后的前景和降噪后的背景
12.作为本发明实施方式的进一步改进，所述“对前景s
m
和背景l
m
分别进行降噪处理并得到 降噪后的前景和降噪后的背景”包括：基于self2self网络、对前景s
m
和背景l
m
分别进 行降噪处理并得到降噪后的前景和降噪后的背景
13.作为本发明实施方式的进一步改进，所述“基于光流场o
m
→
m
‑1，构建前景图并进行视频 分解，并生成图像帧i
m
对应的前景s
m
和背景l
m”包括：基于主成分追踪算法和光流场o
m
→
m
‑1， 生成图像帧i
m
对应的前景s
m
和背景l
m
。
14.本发明实施例还提供了一种视频降噪装置，包括以下模块：数据获取模块，用于获取视 频流，所述视频流中包含有以时间顺序排列的多个图像帧i0，i1，...，i
t
，t为自然数；数据 处理模块，用于生成图像帧i
m
和图像帧i
m
‑1之间的光流场o
m
→
m
‑1＝g
flow
(i
m
，i
m
‑1)，其中， g
flow
为光流估计器；基于光流场o
m
→
m
‑1，构建前景图并进行视频分解，并生成图像帧i
m
对 应的前景s
m
和背景l
m
；对前景s
m
和背景l
m
分别进行降噪处理并得到降噪后的前景和降噪 后的背景基于以下公式生成降噪后的前景基于以下公式生成降噪后的前景其中，m＝1，2，...，t，w()是配准函数，ρ为平滑度值； 视频流生成模块，用于基于前景和背景生成降噪后的视频流，其中，m＝1，2，...，t。
15.本发明实施例还提供了一种计算机系统，包括：一个或多个处理器；计算机可读存储介 质，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行 时，使得所述一个或多个处理器实现上述的方法。
16.本发明实施例还提供了一种可读存储介质，其上存储有可执行指令，该指令被处理器执 行时使处理器实现上述的方法。
17.相对于现有技术，本发明的技术效果在于：本发明实施例提供了一种视频降噪方法和装 置、计算机系统和可读存储介质，降噪方法包括：获取视频流，视频流中包含有以时间顺序 排列的多个图像帧；生成相邻图像帧之间的光流场；基于光流场，构建前景图并进行视频分 解，生成图像帧对应的前景和背景；对前景和背景分别进行降噪处理并得到降噪后的前景和 背景，生成降噪后的前景；基于降噪后的前景和背景生成降噪后的视频流；该神经网络系统 能够对视频流进行降噪处理。
附图说明
18.图1是本发明实施例中的视频降噪方法的流程示意图；
19.图2是本发明实施例中的视频降噪方法的原理图；
20.图3和图4是本发明实施例中的视频降噪方法的实验结果图。
具体实施方式
21.以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本 发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包 含在本发明的保护范围内。
22.本文使用的例如“上”、“上方”、“下”、“下方”等表示空间相对位置的术语是出 于便于说明的目的来描述如附图中所示的一个单元或特征相对于另一个单元或特征的关系。 空间相对位置的术语可以旨在包括设备在使用或工作中除了图中所示方位以外的不同方位。 例如，如果将图中的设备翻转，则被描述为位于其他单元或特征“下方”或“之下”的单元 将位于其他单元或特征“上方”。因此，示例性术语“下方”可以囊括上方和下方这两种方 位。设备可以以其他方式被定向(旋转90度或其他朝向)，并相应地解释本文使用的与空间 相关的描述语。
23.并且，应当理解的是尽管术语第一、第二等在本文中可以被用于描述各种元件或结构， 但是这些被描述对象不应受到这些术语的限制。这些术语仅用于将这些描述对象彼此区分开。 例如，第一数据获取模块可以被称为第二数据获取模块，并且类似地第二数据获取模块也可 以被称为第一数据获取模块，这并不背离本技术的保护范围。
24.本发明实施例一提供了一种视频降噪方法，如图1所示，包括以下步骤：
25.步骤101：获取视频流，所述视频流中包含有以时间顺序排列的多个图像帧i0，i1，...，i
t
，t为自然数；这里，可以理解的是，视频流是由若干图像帧组成的，这些图像帧以时间 先后顺序排列，视频流{i0，i1，...，i
t
}∈r
m
×
n
×
t
，其中，m和n分别表示图像帧的长和宽， r为实数集。
26.可以理解的是，在拍摄视频流时，如果目标物体发生移动，则用户通常会转动镜头以追 踪该目标物体，于是，就会导致背景出现位移，从而使得该视频流的时间一致性被破坏。这 里，为了保留时间一致性，需要该视频流中的每一个图像帧都构建对应的全景图。
27.为了便于计算和理解，可以先构建一个世界视角画布(world view canvas)，引入第一 个图像帧i0作为整个视频的参考帧，即第一个图像帧i0的背景作为世界视角画布，则第一个图 像帧i0在世界坐标为[0，0]。
[0028]
步骤102：生成图像帧i
m
和图像帧i
m
‑1之间的光流场o
m
→
m
‑1＝g
flow
(i
m
，i
m
‑1)，其中， g
flow
为光流估计器；基于光流场o
m
→
m
‑1，构建前景图并进行视频分解，并生成图像帧i
m
对 应的前景s
m
和背景l
m
；对前景s
m
和背景l
m
分别进行降噪处理并得到降噪后的前景和降噪 后的背景基于以下公式生成降噪后的前景基于以下公式生成降噪后的前景其中，m＝1，2，...，t，w()是配准函数，ρ为平滑度值；
[0029]
这里，可以使用一个单帧自监督降噪网络来降噪前景s
m
与背景l
m
、并将降噪结果分别 记为和还可以使用self2self这个自监督降噪网络来实现单帧降噪。
[0030]
这里，ρ能够用于控制平滑度，当ρ越大则产生更加平滑的降噪结果。
[0031]
步骤103：基于前景和背景生成降噪后的视频流，其中，m＝1，2，...，t。
[0032]
本实施例中，所述“基于光流场o
m
→
m
‑1，构建前景图并进行视频分解，并生成图像帧i
m
对 应的前景s
m
和背景l
m”包括：
[0033]
生成i
m
与i
m
‑1之间的背景偏移量；基于所述背景偏移量、生成当前图像帧i
m
相对于前一 图像帧i
m
‑1之间的单应矩阵h
m
→
m
‑1；利用单应矩阵生成图像帧i
m
对应的全景尺寸下的图像 yrn以及掩码矩阵基于全景图、主成分追踪算法和光流场o
m
→
m
‑1、生成图像帧i
m
对应的 前景s
m
和背景l
m
。
[0034]
基于所述背景偏移量、生成当前图像帧i
m
相对于前一图像帧i
m
‑1之间的单应矩阵 h
m
→
m
‑1。与此类似，也可以算出当前图像帧i
m
与第一个图像帧i0之间的单应矩阵h
m
→0，此 外，还可以得到一个全景当前图片y
m
和一个通过透视变换得到的i
m
的掩码矩阵可以理解 的是，基于单应性矩阵，没一个图像被放置在世界视野画布中的一个具体的固定位置上，这 保留了视频的时间一致性。
[0035]
这里，首先说明一下视频分解对于视频降噪的有效性：假设图像帧y包含有噪音，且y 可以被分解为y＝l s，其中，l为背景，s为前景，可以理解的是，l和s均可以理解为 一个m*n的矩阵，其中，m和n分别为y的长和高。
[0036]
给定一个作为标示着s矩阵中非零元素的一个掩码矩阵，根据前景的稀疏性， 有背景l是基于低秩假设而生成的，其不会随着时间轴的变化而产生明显 的变化，这也将意味着大部分噪音的能量将会聚集在前景上面而背景的噪音能量相对较低。 因此，如果对低噪音背景l进行降噪得到对前景s降噪得到就可以定义那么 的噪音能量肯定不会超过直接对污染的图像帧y进行降噪的噪音能量，记为假设x是噪音 图像y的干净数据，可以证明元素间乘法。
[0037]
这里，背景的偏移会导致连续的两个图像帧并不处在世界视野画布相同的位置上，引入 符号与分别代表着未重叠区域与相互重叠区域。但是，一般来说，未重叠的区域一 般都会引入新的信息，这使得与因此，有
[0038][0039]
其中，由于前景是零，因此也是全零，将它从未重叠区域的公式中剔除。将与降噪结 果的误差分别记为以及所以有这也就意味着视频分解的结果是 有利于降噪效果的。
[0040]
本实施例中，所述掩码矩阵为对图像帧i
m
进行透视变换而得到。
[0041]
本实施例中，所述“生成i
m
与i
m
‑1之间的背景偏移量”包括：基于核密度估计器生成一 个用于描述所述光流场o
m
→
m
‑1的概率密度函数，选取概率密度值最大的窗口的位移作为i
m
与 i
m
‑1之间的背景偏移量。
[0042]
这里，可以理解的是，光流场o
m
→
m
‑1∈r
m
×
n
×2。可以理解的是，虽然移动的目标物体 的像素数量要多于背景的像素数量，但是由于目标物体的像素的光流的移动方向是分散且混 乱的，而背景的光流移动方向是高度一致的，因此，可以用核密度估计器来构建一个概率密 度函数、进而就能够描述光流场o
m
→
m
‑1，从中选取具有最大概率密度值[u
max
，v
max
]的窗口对 应的位移[x，y]作为当前图像帧i
m
相对于前一图像帧i
m
‑1之间的背景偏移量。
[0043]
本实施例中，所述“对前景s
m
和背景l
m
分别进行降噪处理并得到降噪后的前景和降噪 后的背景”包括：
[0044]
基于单帧自监督降噪网络对前景s
m
和背景l
m
分别进行降噪处理并得到降噪后的前景 和降噪后的背景
[0045]
本实施例中，所述“对前景s
m
和背景l
m
分别进行降噪处理并得到降噪后的前景和降噪 后的背景”包括：
[0046]
基于self2self网络、对前景s
m
和背景l
m
分别进行降噪处理并得到降噪后的前景和降噪 后的背景
[0047]
在self2self网络的训练阶段，可以首先用伯努利采样生成了许多训练样本记为其 中所以定义而b是降采样的掩码矩阵，因此通过最小化下面这个 损失函数来训练这个网络：
[0048]
在测试阶段，为了减小预测所花费的时间，采用了一个u
‑
net作为学生网络通过全监 督的训练方式来去学习self2self的降噪能力，它的损失函数为督的训练方式来去学习self2self的降噪能力，它的损失函数为
[0049]
最终，采用了一个基于光流的空间
‑
时间双边带滤波器实现一个多帧降噪。对于给定的 2k 1个连续的前景图光流场因此，使用双边滤波器去平均这2k 1个配准后的图像帧从而得到降噪结果
[0050]
本实施例中，所述“基于光流场o
m
→
m
‑1，构建前景图并进行视频分解，并生成图像帧i
m
对 应的前景s
m
和背景l
m”包括：基于主成分追踪算法和光流场o
m
→
m
‑1，生成图像帧i
m
对应的 前景s
m
和背景l
m
。
[0051]
基于上文提到的理论，在本阶段，将会对在前一阶段构建的全景帧y∈r
mn
×1分解为
低秩 背景l∈r
mn
×1与稀疏前景s∈r
mn
×1。
[0052]
在主成分追踪算法算法中，有四个操作分别是partialsvd，incsvd，repsvd与dwnsvd。 通过这些操来维护与更新此算法中的∑矩阵，u矩阵与v矩阵，最终通过∑uv(
‑
1，：)来计算出 背景矩阵，但在分解之前，由于连续两全景帧在世界视野中并不是在相同的地方，因此需要 用如下这两个公式来填补非重叠区域：
[0053][0054]
其中表示在u中相对于y中的未知区域，而表示在y中相对于u中的未知区域。(
·
)

表 示求一个矩阵的伪逆矩阵。该公式的上部分用于补全y中的未重叠区域，而该公式的下部分表 示用于补全u中的未重叠区域。在矩阵u与矩阵y进行相互补全之后，再用上述提到的主成分 追踪算法操作来去分解y。
[0055]
该主成分追踪算法可以以逐帧的方式去实时分解视频，该成分追踪算法解决了下列松弛：可以通过该主成分追踪算法来解决此问题， 该主成分追踪算法最后返回了一个低秩矩阵b与稀疏矩阵f，他们通过进一步的重整形为视 频的背景b与前景f。
[0056]
在主成分追踪算法中，partialsvd，incsvd，repsvd与downsdv是奇异值分解(svd， singularvalue decomposition)的变种，整个在主成分追踪算法的算法流程如下表所示：
[0057]
表
1024
×
1024。在inc
‑
pcp算法中，他是在gpu上实现的除了填补空白的代码，并设置 rank＝1，参数并且窗口大小为30帧。在时空双边带滤波器，设置参数ρ为 0.02.所有的实验将在nvidia geforce rtx 2080ti gpu上完成。
[0062]
选取了自监督深度模型作为基准，包括noise2void，noise2self，self2self。由于此数据 集包括干净的真值数据，psnr与ssim可以作为客观量化指标来反映每个模型的性能。表1 展示了各个模型之间的性能对比，本发明的psnr与ssim分数在这些自监督学习模型中是 最好的，有5
‑
6个db的提升，尤其是与self2self对比来说，他展示了stabilize阶段与 decompose阶段的有效性。相似地，根据ssim，模型也是最好的，值得注意的是，随着噪音 能量的增加，本发明能够一直保持着最好的分数，具有很好的鲁棒性。图3是可视化的处理 结果。
[0063]
下表与自监督去噪方法的去噪结果进行比较。斜体字表示本神经网络系统在去噪阶段采 用了不同的去噪方法。加粗的部分显示最好的分数。
[0064][0065]
下表为基于s2s的三阶段降噪和无稳定阶段框架对比
[0066][0067]
首先由于摄像镜头的运动会导致视频背景出现偏移，这导致在视频分解后得到的背景出 现严重的模糊。为了量化该现象，计算了每个背景的图片熵作为测量stabilize阶段的方法来 验证该阶段对于保留视频的时间一致性的有效性。发明人绘制了图像熵曲线，比较了有与没 有stabilize阶段的结果如图4所示。这十分明显地对比出了有stabilize阶段对于信息在背景 图片上的保留。表2也证实了这一现象。此外为了去验证本发明的泛化性能，将本发明中的 降噪器替换为noise2void，noise2self，他们的结果如表1所示，这清晰地证明了本神经网络 系统的有效性
[0068]
本发明实施例二提供了一种视频降噪装置，包括以下模块：
[0069]
数据获取模块，用于获取视频流，所述视频流中包含有以时间顺序排列的多个图像帧i0， i1，...，i
t
，t为自然数；
[0070]
数据处理模块，用于生成图像帧i
m
和图像帧i
m
‑1之间的光流场0
m
→
m
‑1＝g
flow
(i
m
，i
m
‑1)， 其中，g
flow
为光流估计器；基于光流场o
m
→
m
‑1，构建前景图并进行视频分解，并生成图像帧 i
m
对应的前景s
m
和背景l
m
；对前景s
m
和背景l
m
分别进行降噪处理并得到降噪后的前景和 降噪后的背景基于以下公式生成降噪后的前景基于以下公式生成降噪后的前景其中，m＝1，2，...，t，w()是配准函数，ρ为平滑度值；
[0071]
视频流生成模块，用于基于前景和背景生成降噪后的视频流，其中，m＝1，2，...，t。
[0072]
本发明实施例三提供了一种计算机系统，包括：
[0073]
一个或多个处理器；
[0074]
计算机可读存储介质，用于存储一个或多个程序，
[0075]
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处 理器实现实施例一中的方法。
[0076]
本发明实施例四提供了一种可读存储介质，其上存储有可执行指令，该指令被处理器执 行时使处理器实现实施例一中的方法。
[0077]
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立 的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为 一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其 他实施方式。
[0078]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们 并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应 包含在本发明的保护范围之内。