用于图像和视频编码的基于全局跳过连接的CNN滤波器的制作方法

本发明实施例大体上涉及图像处理领域，更具体地，涉及用于图像和视频编码的基于神经网络的滤波。

背景技术：

1、视频译码（视频编码和解码）广泛用于数字视频应用，例如广播数字电视（tv）、基于互联网和移动网络的视频传输、视频聊天、视频会议等实时会话应用、dvd和蓝光光盘、视频内容采集和编辑系统以及安全应用的可携式摄像机。

2、即使在视频较短的情况下，也需要大量的视频数据来描述，当数据要在带宽容量有限的通信网络中发送或以其它方式传输发送时，这样可能会造成困难。因此，视频数据通常要先压缩，然后通过现代电信网络进行传输。由于内存资源可能有限，当在存储设备上存储视频时，该视频的大小也可能成为问题。视频压缩设备通常在信源侧使用软件和/或硬件对视频数据进行编码，然后进行传输或存储，从而减少表示数字视频图像所需的数据量。然后，解码视频数据的视频解压缩设备在目的地侧接收压缩数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够在几乎不牺牲图像质量的前提下提高压缩比。

3、一般来说，图像压缩可以是无损的或有损的。在无损图像压缩中，原始图像可以根据压缩图像完美地重建。然而，压缩率相当低。相比之下，有损图像压缩可以具有高压缩率，缺点是无法完美重建原始图像。尤其是在低码率下使用时，有损图像压缩会引入可见的空间压缩伪影。

技术实现思路

1、本发明涉及用于图像修改（例如图像增强或其它类型的修改）的方法和装置。

2、本发明由独立权利要求的范围限定。从属权利要求中提供了一些有利的实施例。

3、特别地，本发明的实施例通过使用机器学习的特征提供了一种高效的图像修改方法。

4、根据一个方面，提供了一种用于修改输入图像的方法，其中，所述方法包括：通过使用神经网络处理所述输入图像来生成校正图像，其中，所述使用神经网络进行的处理包括：图像下采样和对所述下采样图像进行滤波的至少一个阶段；图像上采样的至少一个阶段；通过将所述输入图像与所述校正图像组合来修改所述输入图像。

5、这种方法提供了一种高效的处理，其中，仅学习和产生校正图像而不是整个图像，以便修改输入图像。

6、在一种示例性实现方式中，所述校正图像和所述输入图像具有相同的垂直尺寸和水平尺寸。所述校正图像是差分图像，并且通过将所述差分图像添加到所述输入图像来进行所述组合。

7、提供与所述输入图像相同大小的差异图像可以实现低复杂度的组合和处理。

8、例如，所述神经网络是基于u-net的。为了建立所述神经网络，通过向这样的u-net引入跳过连接来修改所述u-net，所述跳过连接适于将所述输入图像与所述输出图像相连。

9、u-net具有有利于图像处理的结构。u-net的使用还能够至少部分地利用某些处理阶段的一些可用实现方式或进一步修改这些实现方式，可能产生更简单的实现方式。

10、在一个实施例中，所述神经网络根据表示所述输入图像的失真量或失真类型的参数的值参数化。

11、用失真类型或失真量参数化神经网络可能有助于专门针对不同类型和量的失真训练网络，从而提供更准确的结果。

12、根据一个实施例，所述图像下采样是通过应用跨步卷积和/或应用填充卷积执行的。

13、应用所述跨步卷积可以降低复杂性，而使用填充卷积可能有利于在整个处理过程中保持图像大小。

14、在一种示例性实现方式中，所述神经网络的激活函数是泄露型修正线性单元（rectified linear unit，relu）激活函数。一个泄露型relu接近sigmoid函数，并允许改进学习。

15、根据一个方面，提供了一种用于根据码流重建经编码图像的方法。所述方法包括：从所述码流中解码所述经编码图像，并应用如上所述用于修改输入图像的方法，其中，所述输入图像是所述经解码图像。这对应于处理作为后滤波器的应用，例如减少压缩伪影，或解决观众的特定感知偏好。

16、根据一个方面，提供了一种用于重建视频的压缩图像的方法，包括：根据存储在存储器中的参考图像，使用图像预测重建图像；应用如上所述的用于修改输入图像的方法，其中，所述输入图像是所述重建图像；将所述修改后的图像存储在所述存储器中作为参考图像。这对应于将处理作为环内滤波器的应用，例如，在编码和/或解码过程中减少压缩伪影。改进不仅是在解码图像的水平上，而且由于环内应用，预测也可以得到改进。

17、根据一个方面，提供了一种用于训练神经网络以修改失真图像的方法，其中，所述方法包括：将作为目标输入的失真图像和作为目标输出的校正图像对输入到所述神经网络，其中，所述校正图像是根据原始图像获取的，其中，使用所述神经网络进行的处理包括图像下采样和对所述下采样图像进行滤波的至少一个阶段；图像上采样的至少一个阶段，根据所述输入的对调整所述滤波的至少一个参数。

18、例如，根据与均方差（mean squared error，mse）对应的损失函数调整所述滤波的所述至少一个参数。

19、替代地或另外，根据包括多个颜色通道的平方差加权平均值的损失函数调整所述滤波的所述至少一个参数。

20、根据一个方面，提供了一种计算机程序，其中，当在一个或多个处理器上执行时，使所述一个或多个处理器执行根据上文所述的方法的步骤。

21、根据一个方面，提供了一种用于修改输入图像的设备。所述设备包括：处理单元，用于通过使用神经网络处理所述输入图像来生成校正图像，其中，所述使用神经网络进行的处理包括：图像下采样和对所述下采样图像进行滤波的至少一个阶段；图像上采样的至少一个阶段；修改单元，用于通过将所述输入图像与所述校正图像组合来修改所述输入图像。

22、根据一个方面，提供了一种用于根据码流重建经编码图像的设备，其中，所述设备包括：解码单元，用于从所述码流中解码所述经编码图像，所述设备用于如上所述修改所述经解码图像。

23、根据一个方面，提供了一种用于重建视频的压缩图像的设备，其中，所述设备（装置）包括：重建单元，用于根据存储在存储器中的参考图像，使用图像预测重建图像；所述设备用于如上所述修改所述经解码图像；存储单元，用于存储所述修改后的图像作为参考图像。

24、根据一个方面，提供了一种用于训练神经网络以修改失真图像的设备，其中，所述设备包括：训练输入单元，用于将作为目标输入的失真图像和作为目标输出的校正图像对输入到所述神经网络，其中，所述校正图像是根据原始图像获取的；处理单元，用于使用所述神经网络进行处理，其中，使用所述神经网络进行的处理包括：图像下采样和对所述下采样图像进行滤波的至少一个阶段；图像上采样的至少一个阶段；调整单元，用于根据所述输入的对调整所述滤波的至少一个参数。

25、此外，还提供了与上述处理电路执行的步骤相对应的方法。

26、根据一个方面，提供了一种计算机产品，包括用于执行根据上述方法所述的程序代码。所述计算机产品可以提供在非瞬时性介质上，并包括指令，当在一个或多个处理器上执行时，这些指令执行所述方法的步骤。

27、上述任一装置都可以实施在集成芯片上。

28、上述实施例和示例性实现方式中的任何一个都可以被组合。