用于有损图像或视频编码、传输和解码的方法和数据处理系统与流程

背景技术：

1、本发明涉及用于有损图像或视频编码、传输和解码的方法和系统，用于有损图像或视频编码和传输的方法、装置、计算机程序和计算机可读存储介质，以及用于有损图像或视频接收和解码的方法、装置、计算机程序和计算机可读存储介质。

2、来自通信网络的用户对图像和视频内容的需求日益增长。需求日益增长不仅针对观看图像的数量，而且还针对视频的播放时间；对更高分辨率内容的需求也日益增长。这对通信网络提出了日益增长的需求，并且由于要传输更大量的数据而增加了它们的能量使用。

3、为了减少这些问题的影响，图像和视频内容被压缩以便跨网络传输。图像和视频内容的压缩可以是无损或有损压缩。在无损压缩中，图像或视频被压缩，使得在解压缩时可以恢复内容中的所有的原始信息。然而，当使用无损压缩时，能够实现的数据量方面的减少是有限的。在有损压缩中，在压缩过程期间，来自图像或视频的一些信息损失。已知的压缩技术试图通过去除导致解压缩图像或视频的变化的信息来使明显的信息的损失最小化，所述变化对于人类视觉系统来说不是特别明显。jpeg、jpeg2000、avc、hevc和avi是图像和/或视频文件的压缩过程的示例。

4、一般来说，已知的有损图像压缩技术使用图像中像素之间的空间相关性来在压缩期间去除冗余信息。例如，在蓝天的图像中，如果给定像素是蓝色的，则相邻像素及它们的相邻像素等等也很可能是蓝色的。因此，不需要保留所有的原始像素数据。代之以，我们可以只保留占用较少比特的像素的子集，并使用从空间相关性导出的信息来推断其他像素的像素值。

5、在已知的有损视频压缩技术中应用了类似的方法。也就是说，像素之间的空间相关性允许在压缩期间去除冗余信息。然而，在视频压缩中，进一步存在以时间相关性的形式的信息冗余。例如，在航空器飞过蓝天背景的视频中，蓝天的大多数像素在视频的帧之间完全没有变化。视频中位置t = 0处的帧的大部分蓝天像素数据与位置t = 10处相同。存储这种相同的、时间上相关的信息是低效的。代之以，只存储帧的子集的蓝天像素数据，而其余部分根据从时间相关性导出的信息推断。

6、特别是在有损视频压缩的领域中，去除视频序列中的冗余的时间相关信息被称为帧间冗余。

7、在标准视频压缩算法中广泛使用的一种使用帧间冗余的技术涉及将视频帧分为三种类型：i帧、p帧和b帧。每种帧类型都携带关于它们的编码和解码过程的不同属性，在实现高压缩比的同时保持可接受的视觉质量方面扮演着不同的角色。

8、i帧或帧内编码帧用作视频序列的基础。这些帧是独立的，每个帧对完整的图像进行编码，而不参考任何其他帧。就压缩而言，i帧是所有帧类型中压缩最小的，因此携带最多数据。然而，它们的独立性提供了若干个益处，包括作为解压缩的起点和使能实现随机访问，这对于比如快进或快退视频的功能至关重要。

9、p帧或预测帧利用视频序列中的时间冗余来实现更大的压缩。与比如i帧的对整个图像进行编码不同，p帧表示其自身与最接近的前一个i帧或p帧之间的差异。被称为运动补偿的该过程，仅对已发生的变化进行标识和编码，从而显著减少传输的数据量。然而，p帧依赖于先前的帧进行解码。因此，编码或传输过程期间的任何误差都可能传播到后续帧，从而影响整体视频质量。

10、b帧或双向预测帧表示最高级别的压缩。与p帧不同，b帧在它们的编码过程中使用先前的帧和之后的帧两者作为参考。通过预测时间上向前和向后两者的运动，b帧仅对无法根据先前的帧和接下来的帧准确预测的差异进行编码，从而导致显著的数据减少。尽管这种双向预测使得b帧的生成和解码更加复杂，但是它不会传播解码误差，因为它们不用作其他帧的参考。基于人工智能（ai）的压缩技术通过在压缩和解压缩过程中使用训练的神经网络来实现图像和视频的压缩和解压缩。通常，在神经网络的训练期间，分析原始图像和视频与压缩和解压缩的图像和视频之间的差异，并且修改神经网络的参数以减小该差异，同时使要传输内容所需的数据最小化。然而，基于ai的压缩方法可能在压缩图像或视频的外观或需要传输的信息量方面实现较差的压缩结果。

11、在ballé、johannes等人的“variational image compression with a scalehyperprior”，arxiv预印本arxiv:1802.01436 (2018)中描述了包括超网络的基于ai的图像压缩过程的示例，该文献通过引用并入于此。

12、在ieee/cvf conference on computer vision and pattern recognition的论文集（第8503-8512页）中的agustsson, e.、minnen, d.、johnston, n.、balle, j.、hwang,s. j.和toderici, g. (2020)的“scale-space flow for end-to-end optimized videocompression”中示出了基于ai的视频压缩方法的示例，该文献通过引用并入于此。

13、在computer vision–eccv 2022: 17th european conference, tel aviv,israel，2022年10月23-27日，论文集，第xxvi部分（第562-578页）中的mentzer, f.、agustsson, e.、ballé, j.、minnen, d.、johnston, n.和toderici, g.（2022年11月）的“neural video compression using gans for detail synthesis and propagation”中示出了基于ai的视频压缩方法的进一步的示例，该文献通过引用并入于此。

技术实现思路

1、根据本公开的一方面，提供了一种用于有损图像或视频编码、传输和解码的方法。所述方法包括在第一计算机系统处接收第一图像和第二图像的步骤。此外，所述方法进一步包括利用第一神经网络使用第一图像和第二图像产生光流信息的步骤。所述光流信息指示第一图像与第二图像之间的差异。所述方法还包括利用第二神经网络使用第一图像和光流信息产生残差信息的步骤。所述残差信息指示第一图像与第二图像之间的差异。此外，所述方法包括将残差信息传输到第二计算机系统的步骤。所述方法进一步包括利用第三神经网络对残差信息进行解码以产生中间输出图像的步骤。最后，所述方法包括将先前解码的图像的一部分与中间输出图像的一部分进行组合以产生最终输出图像的步骤。所述最终输出图像是第一图像的近似。

2、可选地，所述方法包括从第一神经网络的一个或多个中间层提取信息。如上所述，所述部分基于所提取的信息。

3、可选地，如上所述，所述方法可以涉及信息的提取。所提取的信息包括一个或多个输出。这些输出是从第一神经网络的一个或多个卷积层和/或激活层导出的。

4、可选地，所述方法包括估计所述部分。通过应用掩码来实现对所述部分的估计。将掩码应用于先前解码的图像或中间输出图像或应用于两者。

5、可选地，如上所述，所述方法进一步包括掩码。所述掩码基于所提取的信息。

6、可选地，所述方法可以涉及应用所述掩码。在该上下文中，将掩码应用于先前解码的图像或中间输出图像中的一个。另外，将掩码的逆应用于先前解码的图像或中间输出中的另一个。

7、可选地，如上所述，所述方法包括掩码。所述方法中的掩码包括非二进制掩码。

8、可选地，所述方法包括产生掩码。如上所述，使用第三神经网络来促进产生掩码。

9、可选地，所述方法进一步包括使用第三神经网络来产生掩码。在该上下文中，产生掩码涉及将一个或多个卷积层和/或激活层应用于残差信息和所提取的信息。

10、可选地，所述方法包括产生掩码。使用第四神经网络来实现产生掩码。

11、可选地，所述方法进一步包括使用第四神经网络来产生掩码。在该上下文中，产生掩码涉及将一个或多个卷积层和/或激活层应用于残差信息和所提取的信息。

12、可选地，所述方法可以涉及使用掩码。所述掩码指定先前解码的图像对最终输出图像的贡献的程度。将该贡献与中间输出图像对最终输出图像的贡献的程度进行比较。

13、可选地，所述方法可以涉及应用掩码。所述掩码在逐像素的基础上应用于先前解码的图像和/或中间输出图像。应用所述掩码用于执行第一图像的逐像素的部分帧跳过。

14、可选地，所述方法涉及利用第三神经网络对残差信息进行解码。在该上下文中，解码过程利用由第一神经网络输出的光流信息。

15、可选地，如上所述，所述方法可以涉及使用先前解码的图像。在该上下文中，先前解码的图像是第二图像的近似。

16、可选地，所述方法包括针对视频的帧的序列重复产生、传输、解码和组合的步骤。在第二计算机系统处重建帧的序列。重复这些步骤用于减轻所重建的帧的序列中的图像伪影。

17、根据本公开的一方面，提供了一种数据处理系统。所述数据处理系统被配置成执行如上所述的方法。

18、根据本公开的一方面，提供了一种用于有损图像或视频接收和解码的方法。所述方法包括在第一计算机系统处使用第一神经网络对光流信息进行解码的步骤。所述光流信息指示第一图像与第二图像之间的差异。所述方法进一步包括在第一计算机系统处使用第二神经网络对残差信息进行解码以产生中间输出图像的步骤。所述残差信息指示第一图像与第二图像之间的差异。此外，所述方法包括将先前解码的图像的一部分与中间输出图像的一部分进行组合以产生最终输出图像的步骤。所述最终输出图像是第一图像的近似。

19、可选地，提供了一种数据处理装置。所述数据处理装置被配置成执行如上所述的方法。

20、可选地，提供了一种计算机程序。所述计算机程序包括指令。当计算机程序由计算机执行时，所述指令使计算机执行如上所述的方法。

21、根据本公开的一方面，提供了一种计算机可读存储介质。所述计算机可读存储介质包括指令。当这些指令由计算机执行时，所述计算机执行如上所述的方法。

22、根据本公开的一方面，提供了一种训练一个或多个神经网络的方法，所述一个或多个神经网络用于在有损图像或视频编码、传输和解码中使用，所述方法包括以下步骤：在第一计算机系统处接收第一图像和第二图像；利用第一神经网络使用第一图像和第二图像产生光流信息，所述光流信息指示第一图像与第二图像之间的差异；利用第二神经网络使用第一图像和光流信息产生残差信息，所述残差信息指示第一图像与第二图像之间的差异；利用第三神经网络对残差信息进行解码以产生中间输出图像；以及将先前解码的图像的一部分与中间输出图像的一部分进行组合以产生最终输出图像，其中所述最终输出图像是第一图像的近似；

23、基于第一图像与输出图像之间的差异来评估函数；基于所评估的函数来更新第一、第二和/或第三神经网络的参数；以及使用第一组输入图像重复上述步骤以产生第一、第二和/或第三训练的神经网络。

24、根据本公开的一方面，提供了一种用于有损图像或视频编码、传输和解码的方法。所述方法包括在第一计算机系统处接收第一图像和第二图像的步骤。此外，所述方法进一步包括利用第一神经网络使用第一图像和第二图像产生光流信息的步骤。所述光流信息指示第一图像与第二图像之间的差异。所述方法还包括从第一神经网络的一个或多个中间层提取信息的步骤。此外，所述方法包括利用第二神经网络使用第一图像和光流信息产生残差信息的步骤。所述残差信息指示第一图像与第二图像之间的差异。此外，所述方法包括将残差信息传输到第二计算机系统的步骤。所述方法进一步包括利用第三神经网络对残差信息进行解码以产生中间输出图像的步骤。最后，所述方法包括基于从一个或多个中间层提取的信息来修改中间输出图像以产生修改的输出图像的步骤。所述修改的输出图像是第一图像的近似。

25、可选地，所述方法包括使用从一个或多个中间层提取的输出。这些提取的输出被用来产生掩码。

26、可选地，所述方法可以涉及修改中间输出图像。如上所述，该修改过程包括将掩码应用于中间输出图像。

27、可选地，如上所述，所述方法可以涉及掩码。掩码包括至少三个不同值。这些值位于最小值与最大值之间。

28、可选地，所述方法包括产生掩码。利用第三神经网络的一个或多个层产生掩码。

29、可选地，所述方法包括利用第四神经网络来产生掩码，如上所述。

30、可选地，所述方法可以涉及从第一神经网络的一个或多个中间层提取信息。从这些中间层提取的信息包括一个或多个输出。这些输出是从第一神经网络的一个或多个卷积层和/或激活层导出的。

31、可选地，所述方法包括针对视频的帧的序列重复所述步骤，如上所述。重复这些步骤用于在第二计算机系统处重建视频的帧的序列。

32、可选地，所述方法可以涉及针对视频的帧的序列重复所述步骤。重复这些步骤用于减轻所重建的帧的序列中的图像伪影。

33、可选地，提供了一种数据处理系统。所述数据处理系统被配置成执行如上所述的方法。

34、根据本公开的一方面，提供了一种用于有损图像或视频接收和解码的方法。所述方法包括在第一计算机系统处使用第一神经网络对光流信息进行解码的步骤。所述光流信息指示第一图像与第二图像之间的差异。所述方法进一步包括从第一神经网络的一个或多个中间层提取信息的步骤。此外，所述方法包括在第一计算机系统处使用第二神经网络对残差信息进行解码以产生中间输出图像的步骤。所述残差信息指示第一图像与第二图像之间的差异。此外，所述方法包括修改中间输出图像的步骤。所述修改基于从第一神经网络的一个或多个中间层提取的信息。所述修改产生修改的输出图像。所述修改的输出图像是第一图像的近似。

35、可选地，提供了一种数据处理装置。所述数据处理装置被配置成执行如上所述的方法。

36、可选地，提供了一种计算机程序。所述计算机程序包括指令。当计算机程序由计算机执行时，所述指令使计算机执行如上所述的方法。

37、可选地，提供了一种计算机可读存储介质。所述计算机可读存储介质包括指令。当这些指令由计算机执行时，它们使计算机执行如上所述的方法。

38、根据一方面，提供了一种用于有损图像或视频编码、传输和解码的方法，所述方法包括以下步骤：

39、在第一计算机系统处接收第一图像；

40、使用第一神经网络对第一图像进行编码以产生潜在表示；

41、至少部分地掩蔽潜在表示；

42、将掩蔽的潜在表示传输到第二计算机系统；

43、使用第二神经网络对掩蔽的潜在表示进行解码以产生输出图像，其中所述输出图像是第一图像的近似。

44、可选地，至少部分地掩蔽潜在表示降低了潜在表示的分布的熵。

45、可选地，所述掩蔽包括基于第一图像来产生掩码。

46、可选地，所述方法包括利用第三神经网络来产生掩码。

47、可选地，所述方法包括将掩蔽的潜在表示熵编码成比特流，其中传输掩蔽的潜在表示包括传输比特流，并且其中与在没有至少部分地掩蔽的步骤的情况下产生的比特流相比，所述至少部分地掩蔽潜在表示的步骤减小了所述熵编码之后的比特流的大小。

48、可选地，至少部分地掩蔽潜在表示包括至少部分地掩蔽潜在表示的归一化的表示。

49、可选地，所述方法包括使用一个或多个第一学习的缩放和/或零点参数来产生潜在表示的归一化的表示。

50、可选地，所述方法包括使用第四神经网络对潜在表示进行编码以产生超潜在表示，以及使用第五神经网络对超潜在表示进行解码以产生一个或多个第一学习的缩放和/或零点参数。

51、可选地，所述方法包括至少部分地掩蔽超潜在表示以降低超潜在表示的分布的熵。

52、可选地，所述方法包括将掩蔽的超潜在表示熵编码并传输到第二计算机系统。

53、可选地，至少部分地掩蔽超潜在表示包括至少部分地掩蔽超潜在表示的归一化的表示。

54、可选地，所述方法包括使用一个或多个第二学习的缩放和/或零点参数来产生超潜在表示的归一化的表示。

55、可选地，所述方法包括使用第六神经网络对超潜在表示进行编码以产生超超潜在表示，以及使用第七神经网络对超超潜在表示进行解码以产生第二学习的缩放和/或零点参数。

56、可选地，所述方法包括至少部分地掩蔽超超潜在表示以降低超超潜在表示的分布的熵。

57、可选地，至少部分地掩蔽超超潜在表示包括至少部分地掩蔽超超潜在表示的归一化的表示。

58、可选地，所述方法包括将掩蔽的超超潜在表示熵编码并传输到第二计算机系统。

59、根据一方面，提供了一种用于有损图像或视频编码和传输的方法，所述方法包括以下步骤：

60、在第一计算机系统处接收第一图像；

61、使用第一神经网络对第一图像进行编码以产生潜在表示；

62、至少部分地掩蔽潜在表示；

63、将掩蔽的潜在表示传输到第二计算机系统。

64、根据一方面，提供了一种用于有损图像或视频接收和解码的方法，所述方法包括以下步骤：

65、在第二计算机系统处接收掩蔽的潜在表示，所述掩蔽的潜在表示是通过使用第一神经网络对第一图像进行编码并通过至少部分地掩蔽潜在表示而产生的；

66、使用第二神经网络对掩蔽的潜在表示进行解码以产生输出图像，其中所述输出图像是第一图像的近似。

67、根据一方面，提供了一种数据处理装置，其被配置成执行上述方法中的任何方法。

68、根据一方面，提供了一种计算机程序，其包括指令，当程序由计算机执行时，所述指令使计算机执行上述方法中的任何方法。

69、根据一方面，提供了一种计算机可读存储介质，其包括指令，当由计算机执行时，所述指令使计算机执行上述方法中的任何方法。

70、根据一方面，提供了一种用于有损图像或视频编码、传输和解码的方法，所述方法包括以下步骤：

71、在第一计算机系统处接收第一图像和第二图像；

72、利用第一神经网络使用第一图像和第二图像产生光流信息，所述光流信息指示第一图像与第二图像之间的差异；

73、利用第二神经网络使用第一图像和光流信息产生残差信息，所述残差信息指示第一图像与第二图像之间的差异；

74、至少部分地掩蔽残差信息；

75、将掩蔽的残差信息传输到第二计算机系统；

76、利用第三神经网络对掩蔽的残差信息进行解码以产生输出图像，其中所述输出图像是第一图像的近似。

77、可选地，至少部分地掩蔽残差信息降低了残差信息的分布的熵。

78、可选地，所述掩蔽包括基于第一图像和/或第二图像来产生掩码。

79、可选地，所述方法包括利用第四神经网络来产生掩码。

80、可选地，所述方法包括将掩蔽的残差信息熵编码成比特流，其中传输掩蔽的残差信息包括传输比特流，并且其中与在没有至少部分地掩蔽的步骤的情况下产生的比特流相比，至少部分地掩蔽残差信息的步骤减小了所述熵编码之后的比特流的大小。

81、可选地，至少部分地掩蔽残差信息包括至少部分地掩蔽残差信息的归一化的表示。

82、可选地，所述方法包括使用一个或多个第一学习的缩放和/或零点参数来产生残差信息的归一化的表示。

83、可选地，所述方法包括使用第五神经网络对残差信息进行编码以产生残差信息的超潜在表示，以及使用第六神经网络对残差信息的超潜在表示进行解码以产生一个或多个第一学习的缩放和/或零点参数。

84、可选地，所述方法包括至少部分地掩蔽残差信息的超潜在表示以降低残差信息的超潜在表示的分布的熵。

85、可选地，所述方法包括将残差信息的掩蔽的超潜在表示熵编码并传输到第二计算机系统。

86、可选地，至少部分地掩蔽残差信息的超潜在表示包括至少部分地掩蔽残差信息的超潜在表示的归一化的表示。

87、可选地，所述方法包括使用一个或多个第二学习的缩放和/或零点参数来产生残差信息的超潜在表示的归一化的表示。

88、可选地，所述方法包括使用第七神经网络对残差信息的超潜在表示进行编码以产生残差信息的超超潜在表示，以及使用第八神经网络对残差信息的超超潜在表示进行解码以产生第二学习的缩放和/或零点参数。

89、可选地，所述方法包括至少部分地掩蔽残差信息的超超潜在表示以降低残差信息的超超潜在表示的分布的熵。

90、可选地，至少部分地掩蔽残差信息的超超潜在表示包括至少部分地掩蔽残差信息的超超潜在表示的归一化的表示。

91、可选地，所述方法包括将残差信息的掩蔽的超超潜在表示熵编码并传输到第二计算机系统。

92、根据一方面，提供了一种用于有损图像或视频编码和传输的方法，所述方法包括以下步骤：

93、在第一计算机系统处接收第一图像和第二图像；

94、利用第一神经网络使用第一图像和第二图像产生光流信息，所述光流信息指示第一图像与第二图像之间的差异；

95、利用第二神经网络使用第一图像和光流信息产生残差信息，所述残差信息指示第一图像与第二图像之间的差异；

96、至少部分地掩蔽残差信息；以及

97、将掩蔽的残差信息传输到第二计算机系统。

98、根据一方面，提供了一种用于有损图像或视频接收和解码的方法，所述方法包括以下步骤：

99、在第二计算机系统处接收掩蔽的残差信息，所述掩蔽的残差信息是通过利用第一神经网络使用第一图像和第二图像产生光流信息并通过利用第二神经网络使用第一图像和光流信息产生残差信息并通过至少部分地掩蔽残差信息而产生的，所述残差信息指示第一图像与第二图像之间的差异；以及

100、利用第三神经网络对掩蔽的残差信息进行解码以产生输出图像，其中所述输出图像是第一图像的近似。

101、根据一方面，提供了一种数据处理装置，其被配置成执行上述方法中的任何方法。

102、根据一方面，提供了一种计算机程序，包括指令，当程序由计算机执行时，所述指令使计算机执行上述方法中的任何方法。

103、根据一方面，提供了一种计算机可读存储介质，其包括指令，当由计算机执行时，所述指令使计算机执行上述方法中的任何方法。

104、根据一方面，提供了一种用于有损图像或视频编码、传输和解码的方法，所述方法包括以下步骤：

105、在第一计算机系统处接收图像序列的第一图像和第二图像；

106、利用第一神经网络使用第一图像和第二图像产生光流信息，所述光流信息指示第一图像与第二图像之间的差异；

107、至少部分地掩蔽光流信息；

108、将掩蔽的光流信息的表示传输到第二计算机系统；

109、利用第二神经网络对掩蔽的光流信息的表示进行解码以产生光流信息的近似；以及

110、利用第三神经网络使用光流信息产生输出图像，其中所述输出图像是第一图像的近似。

111、可选地，至少部分地掩蔽光流信息降低了光流信息的分布的熵。

112、可选地，所述掩蔽包括基于第一图像和/或第二图像来产生掩码。

113、可选地，所述方法包括利用第四神经网络来产生掩码。

114、可选地，所述方法包括将掩蔽的光流信息熵编码成比特流，其中传输掩蔽的光流信息包括传输比特流，并且其中与在没有至少部分地掩蔽的步骤的情况下产生的比特流相比，至少部分地掩蔽光流信息的步骤减小了所述熵编码之后的比特流的大小。

115、可选地，至少部分地掩蔽光流信息包括至少部分地掩蔽光流信息的归一化的表示。

116、可选地，所述方法包括使用一个或多个第一学习的缩放和/或零点参数来产生光流信息的归一化的表示。

117、可选地，所述方法包括使用第五神经网络对光流信息进行编码以产生光流信息的超潜在表示，以及使用第六神经网络对光流信息的超潜在表示进行解码以产生一个或多个第一学习的缩放和/或零点参数。

118、可选地，所述方法包括至少部分地掩蔽光流信息的超潜在表示以降低光流信息的超潜在表示的分布的熵。

119、可选地，所述方法包括将光流信息的掩蔽的超潜在表示熵编码并传输到第二计算机系统。

120、可选地，至少部分地掩蔽光流信息的超潜在表示包括至少部分地掩蔽光流信息的超潜在表示的归一化的表示。

121、可选地，所述方法包括使用一个或多个第二学习的缩放和/或零点参数来产生光流信息的超潜在表示的归一化的表示。

122、可选地，所述方法包括使用第七神经网络对光流信息的超潜在表示进行编码以产生光流信息的超超潜在表示，以及使用第八神经网络对光流信息的超超潜在表示进行解码以产生第二学习的缩放和/或零点参数。

123、可选地，所述方法包括至少部分地掩蔽光流信息的超超潜在表示以降低光流信息的超超潜在表示的分布的熵。

124、可选地，至少部分地掩蔽光流信息的超超潜在表示包括至少部分地掩蔽光流信息的超超潜在表示的归一化的表示。

125、可选地，所述方法包括将光流信息的掩蔽的超超潜在表示熵编码并传输到第二计算机系统。

126、根据一方面，提供了一种用于有损图像或视频编码和传输的方法，所述方法包括以下步骤：

127、在第一计算机系统处接收图像序列的第一图像和第二图像；

128、利用第一神经网络使用第一图像和第二图像产生光流信息，所述光流信息指示第一图像与第二图像之间的差异；

129、至少部分地掩蔽光流信息；以及

130、将掩蔽的光流信息的表示传输到第二计算机系统。

131、根据一方面，提供了一种用于有损图像或视频接收和解码的方法，所述方法包括以下步骤：

132、在第二计算机系统处接收掩蔽的光流信息的表示，所述掩蔽的光流信息是利用第一神经网络使用第一图像和第二图像产生的，并且是通过至少部分地掩蔽光流信息而产生的；

133、利用第二神经网络对掩蔽的光流信息的表示进行解码以产生光流信息的近似；以及

134、利用第三神经网络使用光流信息产生输出图像，其中所述输出图像是第一图像的近似。

135、根据一方面，提供了一种数据处理装置，其被配置成执行上述方法中的任何方法。

136、根据一方面，提供了一种计算机程序，其包括指令，当程序由计算机执行时，所述指令使计算机执行上述方法中的任何方法。

137、根据一方面，提供了一种计算机可读存储介质，其包括指令，当由计算机执行时，所述指令使计算机执行上述方法中的任何方法。

138、根据一方面，提供了一种用于有损图像或视频编码、传输和解码的方法，所述方法包括以下步骤：

139、在第一计算机系统处接收图像序列的第一图像和第二图像；

140、利用第一神经网络使用第一图像和第二图像产生光流信息，所述光流信息指示第一图像与第二图像之间的差异；

141、将光流信息的表示传输到第二计算机系统；

142、利用第二神经网络对光流信息的表示进行解码以产生光流信息的近似；

143、使用光流信息的近似来扭曲先前解码的第二图像的表示；

144、将扭曲的先前解码的第二图像的表示与第一图像的表示进行组合；以及

145、利用第三神经网络使用组合的扭曲的先前解码的第二图像的表示产生输出图像，其中所述输出图像是第一图像的近似。

146、可选地，所述方法包括利用第二神经网络来产生第一图像的表示。

147、可选地，所述方法包括利用第二神经网络来产生掩码，并使用所述掩码来组合第一图像的表示与扭曲的先前解码的第二图像的表示。

148、可选地，所述方法包括利用第四神经网络使用第一图像来产生第一图像的表示。

149、可选地，所述方法包括利用第四神经网络使用第一图像来产生掩码，并使用所述掩码来组合第一图像的表示与扭曲的先前解码的第二图像的表示。

150、可选地，所述组合包括使用基于掩码的值的权重来执行第一图像的表示与扭曲的先前解码的第二图像的表示的加权和。

151、可选地，所述组合减小了（i）扭曲的先前解码的第二图像的表示与（ii）第一图像之间的差异。

152、可选地，所述组合减小了（i）利用第三神经网络使用组合的扭曲的先前解码的第二图像的表示产生的输出图像与（ii）第一图像之间的差异。

153、可选地，所述组合校正扭曲的先前解码的第二图像的表示中的伪影。

154、根据一方面，提供了一种用于有损图像或视频编码和传输的方法，所述方法包括以下步骤：

155、在第一计算机系统处接收图像序列的第一图像和第二图像；

156、利用第一神经网络使用第一图像和第二图像产生光流信息，所述光流信息指示第一图像与第二图像之间的差异；以及

157、将光流信息的表示传输到第二计算机系统。

158、根据一方面，提供了一种用于有损图像或视频接收和解码的方法，所述方法包括以下步骤：

159、在第二计算机系统处接收光流信息的表示，所述光流信息由第一神经网络使用图像序列的第一图像和第二图像产生并且指示第一图像与第二图像之间的差异；

160、利用第二神经网络对光流信息的表示进行解码以产生光流信息的近似；

161、使用光流信息的近似来扭曲先前解码的第二图像的表示；

162、将扭曲的先前解码的第二图像的表示与第一图像的表示进行组合；以及

163、利用第三神经网络使用组合的扭曲的先前解码的第二图像的表示产生输出图像，其中所述输出图像是第一图像的近似。

164、根据一方面，提供了一种训练一个或多个神经网络的方法，所述一个或多个神经网络用于在有损图像或视频编码、传输和解码中使用，所述方法包括以下步骤：

165、在第一计算机系统处接收图像序列的第一图像和第二图像；

166、利用第一神经网络使用第一图像和第二图像产生光流信息，所述光流信息指示第一图像与第二图像之间的差异；

167、将光流信息的表示传输到第二计算机系统；

168、利用第二神经网络对光流信息的表示进行解码以产生光流信息的近似；

169、使用光流信息的近似来扭曲先前解码的第二图像的表示；

170、将扭曲的先前解码的第二图像的表示与第一图像的表示进行组合；

171、利用第三神经网络使用组合的扭曲的先前解码的第二图像的表示产生输出图像，其中所述输出图像是第一图像的近似；

172、基于第一图像与输出图像之间的差异来评估所述函数；

173、基于所评估的函数来更新第一、第二和/或第三神经网络的参数；以及

174、使用第一组输入图像重复上述步骤以产生第一、第二和/或第三训练的神经网络。

175、可选地，所述方法包括利用第二神经网络来产生第一图像的表示。

176、可选地，所述方法包括利用第二神经网络来产生掩码，并使用所述掩码来组合第一图像的表示与扭曲的先前解码的第二图像的表示。

177、可选地，所述方法包括利用第四神经网络使用第一图像来产生第一图像的表示。

178、可选地，所述方法包括利用第四神经网络使用第一图像来产生掩码，并使用所述掩码来组合第一图像的表示与扭曲的先前解码的第二图像的表示。

179、可选地，所述所述函数进一步基于（i）由第二神经网络或第四神经网络产生的第一图像的表示与（ii）由教师神经网络产生的第一图像的表示之间的差异。

180、可选地，所述函数进一步基于（i）由第二神经网络或第四神经网络产生的掩码与（ii）由教师神经网络产生的掩码之间的差异。

181、可选地，所述评估所述函数包括对通过所述函数的一个或多个项的梯度的传播进行正则化。

182、可选地，所述评估所述函数包括对通过所述函数的与（i）由第二神经网络或第四神经网络产生的掩码和（ii）由教师神经网络产生的掩码之间的差异相关联的项的梯度的传播进行正则化。

183、可选地，所述方法包括基于预定的正则化调度来控制所述正则化。

184、根据一方面，提供了一种数据处理装置，其被配置成执行上述方法中的任何方法。

185、根据一方面，提供了一种计算机程序，包括指令，当程序由计算机执行时，所述指令使计算机执行上述方法中的任何方法。

186、根据一方面，提供了一种计算机可读存储介质，包括指令，当由计算机执行时，所述指令使计算机执行上述方法中的任何方法。