使用混合学习型稀疏和连续视觉表示结合高保真度引导的超低码率高质量学习型图像压缩的制作方法

本发明涉及学习型图像压缩（learned image compression，lic），尤其涉及基于混合学习的图像压缩系统，基于混合学习的图像压缩系统采用学习型连续视觉表示（learned continuous visual representation，lcvr）和学习型稀疏图像表示（learnedsparse image representation，lsvr）两者。

背景技术：

1、学习型图像压缩（learned image compression，lic）是一种视频编码方法，使用神经网络（neural network，nn）压缩视频，以在发送方和接收方之间传输。在某些情况下，lic产生的性能可以优于联合图像专家组（joint photographic experts group，jpeg）、多功能视频编码（versatile video coding，vvc）和高效视频编码（high efficiency videocoding，hevc）等编码方法的性能。然而，不同的lic方法具有不同的优缺点。

技术实现思路

1、第一方面涉及一种在视频编码设备中实现的方法，所述方法包括：根据学习型稀疏图像表示（learned sparse image representation，lsvr）将图像作为码索引集编码到比特流中，其中，所述码索引集表示基本元素集；根据学习型连续视觉表示（learnedcontinuous visual representation，lcvr）将所述图像作为一系列连续实数编码到所述比特流中；通过神经网络（neural network，nn）确定退化感知潜值，所述退化感知潜值近似于lcvr编码期间所述图像发生的退化；将所述退化感知潜值编码到所述比特流中；存储所述比特流。

2、可选地，在根据第一方面的一种实现方式中，所述退化感知潜值通过熵编码被编码到所述比特流中。

3、可选地，在根据第一方面或其任一实现方式的一种实现方式中，所述退化感知潜值通过以下方式确定：对所述一系列连续实数进行解码，以获取基于lcvr的解码后图像，并使用所述nn，基于对lcvr期间图像发生的退化的先验训练来估计所述基于lcvr的解码后图像发生的退化。

4、可选地，在根据第一方面或其任一实现方式的一种实现方式中，所述退化感知潜值通过以下方式确定：使用所述nn，基于对所述lcvr期间所述图像发生的所述退化的所述先验训练来估计所述一系列连续实数发生的退化。

5、可选地，在根据第一方面或其任一实现方式的一种实现方式中，所述nn使用目标重构损失进行训练，所述目标重构损失包括输出图像与输入图像之间的像素级失真和感知损失。

6、可选地，在根据第一方面或其任一实现方式的一种实现方式中，确定所述退化感知潜值，以在根据所述基本元素集对所述图像进行解码时用作条件。

7、可选地，在根据第一方面或其任一实现方式的一种实现方式中，确定所述退化感知潜值，以在根据所述基本元素集和所述一系列连续实数的融合对所述图像进行解码时用作条件。

8、第二方面涉及一种在视频解码设备中实现的方法，所述方法包括：接收包括图像的比特流，其中，所述图像根据学习型稀疏图像表示（learned sparse imagerepresentation，lsvr）编码为码索引集并根据学习型连续视觉表示（learnedcontinuous visual representation，lcvr）编码为一系列连续实数，所述码索引集表示基本元素集；获取退化感知潜值，其中，所述退化感知潜值近似于lcvr编码期间所述图像发生的退化；基于所述基本元素集、所述一系列连续实数和所述退化感知潜值对所述图像进行解码。

9、可选地，在第二方面的一种实现方式中，所述退化感知潜值表示为退化感知潜值，从所述比特流中获取。

10、可选地，在根据第二方面或其任一实现方式的一种实现方式中，所述退化感知潜值由第一神经网络（neural network，nn）根据基于lcvr的解码后图像确定。

11、可选地，在根据第二方面或其任一实现方式的一种实现方式中，所述退化感知潜值由所述第一nn基于所述基本元素集和所述一系列连续实数确定。

12、可选地，在根据第二方面或其任一实现方式的一种实现方式中，第二nn对所述退化感知潜值应用反向扩散，以获取去噪后的退化感知潜值。

13、可选地，在根据第二方面或其任一实现方式的一种实现方式中，应用所述反向扩散包括：根据所述基于lcvr的解码后图像确定扩散潜值，并基于所述扩散潜值迭代地将噪声施加于所述退化感知潜值，以获取更高质量的退化感知潜值。

14、可选地，在根据第二方面或其任一实现方式的一种实现方式中，应用所述反向扩散包括：根据所述一系列连续实数确定扩散潜值，并基于所述扩散潜值迭代地将噪声施加于所述退化感知潜值，以获取更高质量的退化感知潜值。

15、可选地，在根据第二方面或其任一实现方式的一种实现方式中，所述噪声为高斯噪声。

16、可选地，在根据第二方面或其任一实现方式的一种实现方式中，对所述图像进行解码包括：将所述退化感知潜值应用于所述一系列连续实数，以获取一系列高质量连续实数，并将所述一系列高质量连续实数用作对所述基本元素集进行解码的条件。

17、可选地，在根据第二方面或其任一实现方式的一种实现方式中，对所述图像进行解码包括：融合所述一系列连续实数和所述基本元素以确定编码特征组合集，并将所述退化感知潜值用作对所述编码特征组合集进行解码的条件。

18、第三方面涉及一种装置，所述装置包括：存储器或存储构件，用于存储指令；一个或多个处理器或处理构件，耦合到所述存储器或所述存储构件并用于执行所述指令，以使得所述装置执行根据第一方面或其任一实现方式所述的方法。

19、第四方面涉及一种装置，所述装置包括：存储器或存储构件，用于存储指令；一个或多个处理器或处理构件，耦合到所述存储器或所述存储构件并用于执行所述指令，以使得所述装置执行根据第二方面或其任一实现方式所述的方法。

20、第五方面涉及一种计算机程序产品，包括存储在非瞬时性计算机可读存储介质中的计算机可执行指令，所述计算机可执行指令在由装置的一个或多个处理器执行时，使得所述装置执行根据第一方面、第二方面或其任一实现方式所述的方法。

21、为了清楚起见，任一上述实施例可以与上述其它任何一个或多个实施例组合以创建在本发明范围内的新实施例。

22、根据以下结合附图和权利要求书的具体实施方式，将会更清楚地理解这些和其它特征及其优点。

1.一种由视频编码设备实现的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述退化感知潜值通过熵编码被编码到所述比特流中。

3.根据权利要求1或2所述的方法，其特征在于，所述退化感知潜值通过以下方式确定：对所述一系列连续实数进行解码，以获取基于lcvr的解码后图像，并使用所述nn，基于对lcvr期间图像发生的退化的先验训练来估计所述基于lcvr的解码后图像发生的退化。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述退化感知潜值通过以下方式确定：使用所述nn，基于对所述lcvr期间所述图像发生的所述退化的所述先验训练来估计所述一系列连续实数发生的退化。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述nn使用目标重构损失进行训练，所述目标重构损失包括输出图像与输入图像之间的像素级失真和感知损失。

6.根据权利要求1至5中任一项所述的方法，其特征在于，确定所述退化感知潜值，以在根据所述基本元素集对所述图像进行解码时用作条件。

7.根据权利要求1至6中任一项所述的方法，其特征在于，确定所述退化感知潜值，以在根据所述基本元素集和所述一系列连续实数的融合对所述图像进行解码时用作条件。

8.一种由视频解码设备实现的方法，其特征在于，所述方法包括：

9.根据权利要求8所述的方法，其特征在于，所述退化感知潜值表示为退化感知潜值，从所述比特流中获取。

10.根据权利要求8或9所述的方法，其特征在于，所述退化感知潜值由第一神经网络（neural network，nn）根据基于lcvr的解码后图像确定。

11.根据权利要求8至10中任一项所述的方法，其特征在于，所述退化感知潜值由所述第一nn基于所述基本元素集和所述一系列连续实数确定。

12.根据权利要求8至11中任一项所述的方法，其特征在于，还包括：第二nn对所述退化感知潜值应用反向扩散，以获取去噪后的退化感知潜值。

13.根据权利要求8至12中任一项所述的方法，其特征在于，应用所述反向扩散包括：根据所述基于lcvr的解码后图像确定扩散潜值，并基于所述扩散潜值迭代地将噪声施加于所述退化感知潜值，以获取更高质量的退化感知潜值。

14.根据权利要求8至13中任一项所述的方法，其特征在于，应用所述反向扩散包括：根据所述一系列连续实数确定扩散潜值，并基于所述扩散潜值迭代地将噪声施加于所述退化感知潜值，以获取更高质量的退化感知潜值。

15.根据权利要求9至14中任一项所述的方法，其特征在于，所述噪声为高斯噪声。

16.根据权利要求9至15中任一项所述的方法，其特征在于，对所述图像进行解码包括：将所述退化感知潜值应用于所述一系列连续实数，以获取一系列高质量连续实数，并将所述一系列高质量连续实数用作对所述基本元素集进行解码的条件。

17.根据权利要求9至16中任一项所述的方法，其特征在于，对所述图像进行解码包括：融合所述一系列连续实数和所述基本元素以确定编码特征组合集，并将所述退化感知潜值用作对所述编码特征组合集进行解码的条件。

18.一种装置，其特征在于，包括：

19.一种装置，其特征在于，包括：

20.一种计算机程序产品，其特征在于，包括存储在非瞬时性计算机可读存储介质中的计算机可执行指令，其中，所述计算机可执行指令在由装置的一个或多个处理器执行时，使得所述装置执行根据权利要求1至17中任一项所述的方法。