一种图像编码方法、存储介质及终端设备与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像编码方法、存储介质及终端设备。


背景技术：

2.图像编码是指以较少的字节数表示原来的图像素矩阵的技术。通常在存储图像时为了节省存储空间需要对图像进行编码，或者在需要传输图像时为了提高图像传输速度。目前图像编码在对图像进行熵编码时，会为显著性图像内容(例如，前景内容等)和非显著性图像内容(例如，背景内容等)分配相同比特位，使得编码得到编码文件中携带重要图像内容的图像信息量与非重要图像内容的图像信息量相同。然而，在人眼视觉系统中，人眼会对前景内容更敏感，从而这样采用相同比特位的方式的编码文件，会影响重构得到重构图像效果不好。


技术实现要素：

3.本技术要解决的技术问题在于，针对现有技术的不足，提供一种图像编码方法、存储介质及终端设备。
4.为了解决上述技术问题，本技术实施例第一方面提供了一种图像编码方法，所述方法包括：
5.获取待编码图像对应的图像特征图、显著性特征图以及注意力图；
6.基于所述注意力图以及所述显著性特征图，确定所述待编码图像对应掩膜特征图；
7.基于所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图；
8.基于所述编码特征图，得到所述待编码图像对应的编码文件。
9.在一个实现方式中，所述掩膜特征图中的各通道与所述显著性特征图中的各通道一一对应，并且所述掩膜特征图中至少存在两个包含图像信息量不同的通道。
10.在一个实现方式中，所述图像编码方法应用图像编码模型。
11.在一个实现方式中，所述图像编码模型包括特征图提取模块、显著性提取模块以及注意力模块；所述获取待编码图像对应的图像特征图、显著性特征图以及注意力图具体包括：
12.所述特征图提取模块基于所述待编码图像，确定所述待编码图像对应的图像特征图；
13.所述显著性提取模块基于所述待编码图像，确定所述待编码图像的显著性特征图；
14.所述注意力模块基于图像特征图，确定所述待编码图像对应的注意力图。
15.在一个实现方式中，所述注意力模块包括第一注意力单元、第二注意力单元以及
融合单元；所述注意力模块基于图像特征图，确定所述待编码图像对应的注意力图具体包括：
16.所述第一注意力单元基于所述图像特征图，确定所述待编码图像对应的第一注意力图；
17.所述第二注意力单元基于所述图像特征图，确定所述待编码图像对应的第二注意力图；
18.所述融合单元基于所述第一注意力图和所述第二注意力图，确定所述待编码图像对应的注意力图。
19.在一个实现方式中，所述图像编码模型包括掩膜模块，所述基于所述注意力图以及所述显著性特征图确定所述待编码图像对应掩膜特征图具体包括：
20.所述掩膜模块基于所述注意力图和显著性特征图，确定中间特征图，其中，所述中间特征图为单通道特征图；
21.所述掩膜模块基于所述中间特征图，确定所述待编码图像对应掩膜特征图。
22.在一个实现方式中，所述注意力图像的图像尺度与所述显著性特征图的图像尺度相同；所述掩膜模块基于所述注意力图和显著性特征图，确定中间特征图具体包括：
23.对于注意力图中的每个像素点，获取该像素点对应的候选像素点，其中，所述候选像素点在所述显著性特征图中的像素位置与该像素点在注意力图中的像素位置相对应；
24.基于所述候选像素点的像素值调整该像素点的像素值，将调整后的像素值作为该像素点的像素值，以得到调整后的注意力图；
25.基于调整后的注意力图，确定所述中间特征图。
26.在一个实现方式中，所述掩膜模块基于所述中间特征图，确定所述待编码图像对应掩膜特征图具体包括：
27.所述掩膜模块确定一多通道特征图，其中，多通道特征图的图像尺寸与所述中间特征图的图像尺寸相同；
28.对于所述多通道特征图中每个通道，所述掩膜模块基于该通道的通道号以及所述中间特征图调整该通道中各像素点的像素值；
29.将调整后的多通道特征图作为所述掩膜特征图。
30.在一个实现方式中，所述掩膜模块基于该通道的通道号以及所述中间特征图确定该通道中各像素点的像素值具体包括：
31.对于该通道中的每个像素点，所述掩膜模块确定该像素点对应的目标像素值，其中，所述目标像素值为目标像素点的像素值，所述目标像素点在中间特征图中的像素位置与该像素点在该通道中的像素位置相对应；
32.所述掩膜模块根据该目标像素值以及该通道的通道号，确定该像素点的像素值。
33.在一个实现方式中，所述掩膜模块确定一多通道特征图之前，所述方法包括：
34.所述掩膜模块调整所述中间特征图的图像尺寸，并将调整后的中间特征图作为中间特征图，其中，调整后的中间特征图的图像尺寸与所述图像特征图的图像尺寸相同。
35.在一个实现方式中，所述图像编码模块包括量化模块；基于所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图之后，所述方法包括：
36.所述量化模块基于所述编码特征图，生成所述待编码图像的量化特征图，并将所
述量化特征图作为所述编码特征图。
37.本技术实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像编码方法中的步骤。
38.本技术实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
39.所述通信总线实现处理器和存储器之间的连接通信；
40.所述处理器执行所述计算机可读程序时实现如上任一所述的图像编码方法中的步骤。
41.有益效果：与现有技术相比，本技术实施例提供了一种图像编码方法、存储介质及终端设备，所述图像编码方法包括获取待编码图像对应的图像特征图及显著性特征图，并基于所述图像特征图确定所述待编码图像的注意力图；基于所述注意力图以及所述显著性特征图确定所述待编码图像对应掩膜特征图；根据所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图；根据所述编码特征图，得到所述待编码图像对应的编码文件。本技术根据显著性特征图和注意力图确定的掩膜特征图，使得编码特征图可以反映待编码图像的显著性特征以及注意力特征，这样根据显著性特征以及注意力特征确定编码特征图中的各通道的信息量，进而为不同信息量的通道分配不同的比特位，从而可以提高编码文件中显著性图像内容的图像信息，进而提高根据编码文件重构得到的重构图像的图像效果。
附图说明
42.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术提供的图像编码方法的流程图。
44.图2为本技术提供的图像编码方法的原理示意图。
45.图3为本技术提供的图像编码方法中的特征提取模块的原理示意图。
46.图4为本技术提供的图像编码方法中的注意力模块的原理示意图。
47.图5为本技术提供的图像编码方法中的掩膜模块的工作原理示意图。
48.图6为本技术提供的图像编码方法得到的编码文件生成重构图像的原理示意图。
49.图7为本技术提供的解码模块的结构原理图。
50.图8为本技术提供的解码模块中残差块的结构原理图。
51.图9为本技术提供的解码模块中上采样模块的结构原理图。
52.图10为采集本技术提供的图像编码方法得到的编码文件生成的重构图像的示意图。
53.图11为直接采用图像特征图编码得到的编码文件生成的重构图像的示意图。
54.图12为本技术提供的终端设备的结构原理图。
具体实施方式
55.本技术提供一种图像编码方法、存储介质及终端设备，为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
56.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
57.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
58.发明人经过研究发现，随着深度学习技术的不断发展，深度卷积网络已经被普遍应用于图像压缩方法中。然而，目前普遍使用的基于自编码器的网络模型，在通过自编码器的网络模型得到编码特征图后，通常都是对所述编码特征进行了量化，并对量化后的编码特征图进行熵编码，并且在熵编码是会对量化后的编码特征图中的显著性图像内容(例如，前景内容等)和非显著性图像内容(例如，背景内容等)分配相同比特位，这使得以使得编码得到编码文件中携带显著性图像内容的图像信息量与非显著性图像内容的图像信息量相同。然而，在人眼视觉系统中，人眼会对显著性图像区域对应的内容更敏感，从而这样采用相同比特位的方式的编码文件，会影响重构得到重构图像效果不好。
59.为了解决上述问题，在本技术实施例中，本实施例通过图像编码模型获取待编码图像对应的图像特征图及显著性特征图，并基于所述图像特征图确定所述待编码图像的注意力图；基于所述注意力图以及所述显著性特征图确定所述待编码图像对应掩膜特征图；根据所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图；根据所述编码特征图，得到所述待编码图像对应的编码文件。本技术根据显著性特征图和注意力图确定的掩膜特征图，使得编码特征图可以反映带编码图像的显著性特征以及注意力特征，这样根据显著性特征以及注意力特征确定编码特征图中的各通道的信息量，进而为不同信息量的通道分配不同的比特位，从而可以提高编码文件中显著性图像内容的图像信息，进而提高根据编码文件重构得到的重构图像的图像效果。
60.举例说明，本技术实施例可以应用到配置有图像编码模型的电子设备的场景。在该场景中，首先，电子设备可以采集待编码图像，并通过所述图像编码模型获取待编码图像对应的图像特征图及显著性特征图，并基于所述图像特征图确定所述待编码图像的注意力图；基于所述注意力图以及所述显著性特征图确定所述待编码图像对应掩膜特征图；根据所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图；根据所述编码特征图，得到所述待编码图像对应的编码文件。
61.需要注意的是，上述应用场景仅是为了便于理解本技术而示出，本技术的实施方式在此方面不受任何限制。相反，本技术的实施方式可以应用于适用的任何场景。
62.下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
63.本实施提供了一种图像编码方法，如图1和图2所示，所述方法包括：
64.s10、获取待编码图像对应的图像特征图、显著性特征图以及注意力图。
65.具体地，所述待编码图像可以是通过运行图像编码方法的电子设备(例如，服务器)获取到的图像，该待编码图像可以是由图像采集设备采集的原始图像，其中，所述图像采集设备可以配置于运行有图像编码方法的电子设备，也可以配置于其他外部设备上，通过外部设备将获取到原始图像发送至运行有图像编码方法的电子设备中。在本实施例的一个可能实现方式中，所述图像采集装置配置于运行有图像编码方法的电子设备，这样在电子设备采集到图像后，可以直接对图像进行编码，一方面可以减少图像所占用的存储空间，另一方当需要将图像发送至其他外部设备时，可以发送编码后的图像，以提高图像传输速度。
66.所述图像特征图为所述待编码图像的全局特征图，其包含所述待编码图像的全部图像特征，所述图像特征图中的每个通道为所述待编码图像的局部特征图，包含有待编码图像的局部特征。由此，各通道携带的局部特征在所述待编码图像中的重要程度级别不同，例如，由于在人眼视觉系统中，人眼会对显著性区域对应的内容更敏感(例如，前景区域等)，从而待编码图像中的显著性区域对应的内容比待编码图像中的非显著性区域对应的内容的重要程度高，由此，可以根据显著性区域和非显著性区域将待编码图像的图像内容的重要程度级别划分为1级和2级，其中，1级对应于显著性区域，2级对应于非显著性区域，并且1级对应的重要程度高于2级对应的重要程度，并且携带显著性区域对应的内容的图像特征的通道中的图像信息量比携带非显著性区域对应的内容的通道中的图像信息量多。
67.进一步，所述显著性特征图用于反映待编码图像的前景特征信息，其中，所述显著性特征图为单通道特征图，并且显著性特征图中的像素点的取值范围可以为[0,1]，像素值为1的像素点用于表示待编码特征图中的第一部分前景区域，像素值为0的像素点表示待编码特征图中的第一部分背景区域；像素值在0和1之间的像素点中部分像素点表示第二部分前景区域，部分像素点表示第二部分背景区域。第一部分前景区域和第二部分前景区域构成待编码图像的前景区域，第一部分背景区域和第二部分背景区域构成待编码图像的背景区域，其中，第二部分前景区域为前景区域的边界区域，第二部分背景区域为背景区域的边界区域，第二部分前景区域与第二部分背景区域相交。
[0068]
进一步，在本实施例的一个实现方式中，所述图像编码方法应用于图像编码模块，所述图像编码模块内嵌入注意力机制，所述注意力图为基于图像特征图通过注意力机制确定得到的，用于突出图像特征图中的前景信息以及抑制背景信息。其中，所述注意力机制是深度学习中利用与人眼类似的注意力机制，实现对特征图谱中的特定目标(例如，待编码图像中的对象，如，人等)的基于像素的信息增强机制。注意力机制是一种可以对图像特征图中的目标信息(例如，前景信息等)进行增强的机制。基于注意力机制对图像特征图进行处理后，图像特征图中的目标信息将被增强。注意力增强后的图像特征图能够实现基于目标的像素级信息的增强。
[0069]
进一步，在本实施例的一个实现方式中，如图2所示，所述图像编码模型包括特征
图提取模块、显著性提取模块以及注意力模块；所述获取待编码图像对应的图像特征图、显著性特征图以及注意力图具体包括：
[0070]
s11、所述特征图提取模块基于所述待编码图像，确定所述待编码图像对应的图像特征图；
[0071]
s12、所述显著性提取模块基于所述待编码图像，确定所述待编码图像的显著性特征图；
[0072]
s13、所述注意力模块基于图像特征图，确定所述待编码图像对应的注意力图。
[0073]
具体地，在所述步骤s11中，所述特征提取模块用于获取所述待编码图像的特征图，所述特征提取模块的输入项为待编码图像，输出项为图像特征图。其中，所述特征提取模块可以包括若干级联的卷积模块，通过若干级联的卷积模块生成所述待编码图像对应的图像特征图。在本实施例的一个具体实现方式中，如图3所示，所述特征提取模块包括六个卷积模块，分别记为第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块以及第六卷积模块。其中，所述第一卷积中，卷积核为7*7，卷积核数量为60，步长为1，填充像素为3；归一化操作为instancenorm归一化；非线性变换函数为relu函数；第二卷积模块中，卷积核为3*3，卷积核数量为120，步长为1，填充像素为3；归一化操作为instancenorm归一化；非线性变换函数为relu函数；第三卷积模块中，卷积核为3*3，卷积核数量为240，步长为2，填充像素为1；归一化操作为instancenorm归一化；非线性变换函数为relu函数；第四卷积模块中，卷积核为3*3，卷积核数量为480，步长为2，填充像素为1；归一化操作为instancenorm归一化；非线性变换函数为relu函数；第五卷积模块中，卷积核为3*3，卷积核数量为960，步长为2，填充像素为1；归一化操作为instancenorm归一化；非线性变换函数为relu函数；第六卷积模块中，卷积核为3*3，卷积核数量为c，步长为1，填充像素为1；归一化操作为instancenorm归一化。其中，所述c可以根据实际需求确定，在本实施例的一个可能实现方式中，c设为16。
[0074]
基于此，所述图像特征图的通道数为16，即所述图像特征图为16通道特征图，所述图像特征图的获取过程可以为：待编码图像输入第一卷积模块，通过卷积模块输出60通道的特征图a；将特征图a输入第二卷积模块，通过第二卷积模块输出120通道的特征图b；将特征图b输入第三卷积模块，通过第三卷积模块输出240通道的特征图c；将特征图c图输入第四卷积模块，通过第四卷积模块输出480通道的特征图d；将特征图d输入第五卷积模块，通过第五卷积模块输出960通道的特征图e；将特征图e输入第六卷积模块，通过第六卷积模块输出16通道的图像特征图。
[0075]
进一步，在所述步骤s12中，所述显著性模块用于提取待编码图像的显著性特征，并基于提取到显著性特征生成显著性特征图。所述显著性模块可以为传统机器学习模型，也可以是深度学习模型。在本实施例的一个实现方式中，由于所述深度学习模型是一种能够模拟出人脑的神经结构的机器学习模型，其具有强大的图像处理能力以及正向传播，使得学习结果最接近于人脑结果，因此所述检测算法模型采用深度学习模型。
[0076]
进一步，所述显著性模块可以采用显著性检测网络模型，所述显著性检测网络模型可以包括编码-解码单元及残差单元；所述编码-解码单元用于提取所述待编码图像对应的初始显著性特征图，其中，所述初始显著性特征图中前景区域的边界与带编码图像的真实前景区域的边界的对齐程度小于预设阈值(例如，95％等)，所述残差单元用于对初始显
著性特征图进行修正，以得到显著性特征图，其中，所述初始显著性特征图中前景区域的边界与带编码图像的真实前景区域的边界的对齐程度大于或等于预设阈值。当然，在实际应用中，显著模块也可以采用现有的显著性检测网络模型，例如，basnet网络等。
[0077]
进一步，在所述步骤s13中，所述注意力模块用于获取所述待编码图像对应的注意力图，其中，所述注意力模块的输入项为图像特征图，所述注意力模块的输出项为注意力图。所述注意力图为空间注意力图，所述注意力模型通过缩小图像特征的特征图尺寸来凸显全局感受野对应的高层目标语义特征；然后在扩大图像特征图的图像尺寸来放大图像特征图中激活的前景显著区域，从而突出前景区域与背景区域的差异性特征，得到空间注意力特征图。
[0078]
在本实施例的一个实现方式中，如图4所示，所述注意力模块包括第一注意力单元、第二注意力单元以及融合单元；所述注意力模块基于图像特征图，确定所述待编码图像对应的注意力图具体包括：
[0079]
所述第一注意力单元基于所述图像特征图，确定所述待编码图像对应的第一注意力图；
[0080]
所述第二注意力单元基于所述图像特征图，确定所述待编码图像对应的第二注意力图；
[0081]
所述融合单元基于所述第一注意力图和所述第二注意力图，确定所述待编码图像对应的注意力图。
[0082]
具体地，所述第一注意力单元的输入项为图像特征图，输出项为第二注意力图。所述第一注意力单元包括级联的第一卷积子单元和第二卷积子单元，其中，第一卷积子单元包括操作为卷积操作和归一化操作，其中，卷积操作的参数为卷积核为1*k，卷积核数量为c//2，步长为1，填充像素为(0,k//2)，其中，//为整除符号，c为图像特征图的通道数,归一化操作为batchnorm。所述第二卷积子单元中卷积操作的参数为k*1，卷积核数量为1，步长为1，填充像素为(k//2，0)，其中，//为整除符号,归一化操作为batchnorm。
[0083]
进一步，所述第二注意力单元的输入项为图像特征图，输出项为第二注意力图。所述第二注意力单元包括级联的第三卷积子单元和第四卷积子单元，其中，第三卷积子单元包括操作为卷积操作和归一化操作，其中，卷积操作的参数为卷积核为k*1，卷积核数量为c//2，步长为1，填充像素为(k//2，0)，其中，//为整除符号，c为图像特征图的通道数,归一化操作为batchnorm。所述第二卷积子单元中卷积操作的参数为1*k，卷积核数量为1，步长为1，填充像素为(0,k//2)，其中，//为整除符号,归一化操作为batchnorm。
[0084]
进一步，在获取到第一注意力图和第二注意力图后，基于所述第一注意力图和第二注意力图确定待编码图像对应的注意力图，其中，所述第一注意力图的图像尺度和第二注意力图的图像尺度相同。可以理解的是，第一注意力图的图像尺寸与第二注意力图的图像尺寸相同，并且第一注意力图的通道数与第二注意力图的通道数相同。在本实施例的一个实现方式中，第一注意力图的图像尺寸和第二注意力图的图像尺寸均与图像特征图的图像尺寸相同。例如，图像特征图的图像尺寸为224*224，第一注意力图的图像尺寸和第二注意力图的图像尺寸均为224*224。此外，在一个具体实现方式中，所述基于所述第一注意力图和第二注意力图确定待编码图像对应的注意力图具体可以为：将所述第一注意力图和第二注意力图相加以得到融合特征图；再对所述融合特征图进行激活操作，将激活后的融合
特征图作为注意力图。
[0085]
进一步，所述激活操作可以为sigmoid激活操作，所述sigmoid激活操作为非线性激活函数，利用sigmoid激活函数将注意力图中的像素点的像素值限制在0至1之间，使得基于注意力图和显著性特征图确定得到的中间特征图中显著性特征图中的显著性信息不发生变化，且能够对背景信息进行抑制。
[0086]
s20、基于所述注意力图以及所述显著性特征图，确定所述待编码图像对应掩膜特征图。
[0087]
具体地，所述掩膜特征图用于反映显著性特征图中的各通道的显著性图像信息，其中，所述显著性图像信息指的是编码时各通道需要保留的图像信息(例如，前景区域的图像信息)，相应的，显著性图像信息指的是编码时各通道的冗余图像信息(例如，背景区域的图像信息)。此外，所述掩膜特征图中每个通道用于反映该通道对应的目标通道的显著性图像信息，目标通道为在所述显著性特征图中的通道，并且目标通道在显著性特征图中的通道号与该通道在掩膜特征图中的通道号相同。由此，掩膜特征图的第一通道数与所述显著性特征图的第二通道数相同，例如，显著性特征图的第二通道数为16，那么掩膜特征图的通道数为16，掩膜特征图中的通道10用于反映显著性特征图中的通道10携带的显著性图像信息。
[0088]
进一步，在本实施例的一个实现方式中，所述图像编码模型包括掩膜模块，如图5所示，基于所述注意力图以及所述显著性特征图，确定所述待编码图像对应掩膜特征图具体包括：
[0089]
所述掩膜模块基于所述注意力图和显著性特征图，确定中间特征图，其中，所述中间特征图为单通道特征图；
[0090]
所述掩膜模块基于所述中间特征图，确定所述待编码图像对应掩膜特征图。
[0091]
具体地，所述中间特征图为单通道特征图，用于反映所述待编码特征图中显著性区域信息，并抑制待编码特征图的背景区域。其中，所述注意力图像的图像尺度与所述显著性特征图的图像尺度相同，并且所述注意力图像的图像尺度以及所述显著性特征图的图像尺寸均与所述中间特征图的图像尺度相同。例如，注意力图的图像尺度为256*256*1，则显著性特征图的图像尺度为256*256*1，相应的，中间特征图的图像尺度为256*256*1。
[0092]
在本实施例的一个实现方式中，所述掩膜模块基于所述注意力图和显著性特征图，确定中间特征图具体包括：
[0093]
对于注意力图中的每个像素点，获取该像素点对应的候选像素点；
[0094]
基于所述候选像素点的像素值调整该像素点的像素值，将调整后的像素值作为该像素点的像素值，以得到调整后的注意力图；
[0095]
基于调整后的注意力图，确定所述中间特征图。
[0096]
具体地，所述候选像素点在所述显著性特征图中的像素位置与该像素点在注意力图中的像素位置相对应。可理解的是，对于注意力图中的每个像素点，获取该像素点在该注意力图的像素位置，在获取到像素位置后，基于该像素位置在显著性特征中选取该像素位置对应的像素点，作为该像素点的候选像素点。例如，对于该通道中的像素点b，像素点b在该注意力图中的像素位置为(50，50)，则候选的像素点在显著性特征图中的像素点位置为(50，50)。此外，在获取到候选像素点后，基于所述候选像素点的像素值调整该像素点的像
素值的调整过程可以包括：计算候选像素点的像素值与该像素点的平均值，并基于平均值对该像素点的像素值进行调整，例如，将平均值作为该像素点的像素值；或者是，将候选像素点的像素值与该像素点进行加权处理，并将加权处理得到像素值作为该像素点的像素值；或者是，选取候选像素点的像素值与该像素点的像素值中的最大像素值，将最大像素值作为该像素点的像素值。此外，由所述显著性特征图中各像素点的像素值的取值范围和注意力图中各像素点的像素值的取值范围均为[0，1]可知，中间特征图中各像素点的像素值的取值范围为[0，1]。
[0097]
进一步，在本实施例的一个实现方式中，所述掩膜模块基于所述中间特征图，确定所述待编码图像对应掩膜特征图具体包括：
[0098]
a10、所述掩膜模块确定一多通道特征图，其中，多通道特征图的图像尺寸与所述中间特征图的图像尺寸相同；
[0099]
a20、对于所述多通道特征图中每个通道，所述掩膜模块基于该通道的通道号以及所述中间特征图调整该通道中各像素点的像素值；
[0100]
a30、将调整后的多通道特征图作为所述掩膜特征图。
[0101]
具体地，在所述步骤a10中，所述多通道特征图的图像尺寸与所述中间特征图的图像尺寸相同，并且所述多通道特征图的通道数与图像特征图的通道数相同。例如，中间特征图的图像尺寸为128*128，图像特征图的通道数为16，那么多通道特征图的图像尺寸为128*18，通道数为16。此外，由于所述掩膜特征图用于对图像特征图中的各通道携带图像信息量进行调节，从而所述掩膜特征图的图像尺寸需要与图像特征图的图像尺寸相同。然而，所述显著性特征图为基于待编码图像确定，用于反映带编码图像中的显著性图像内容区域以及非显著性图像内容区域，从而所述显著性特征图的图像尺寸与待编码图像的图像尺寸相同。
[0102]
基于此，在基于中间特征图确定多通道特征图之前，可以对中间特征图的图像尺寸进行调整，以使得中间特征图的图像尺寸与图像特征图的图像尺寸相同。相应的，在本实施例的一个实现方式中，所述掩膜模块确定一多通道特征图之前，所述方法包括：
[0103]
所述掩膜模块调整所述中间特征图的图像尺寸，并将调整后的中间特征图作为中间特征图，其中，调整后的中间特征图的图像尺寸与所述特征图的图像尺寸相同。
[0104]
具体地，在调整所述中间特征图的图像尺寸之前，可以先获取中间特征图的第一图像尺寸以及图像特征图的第二图像尺寸，并根据所述第一图像尺寸和第二图像尺寸确定调整比例，并基于该调整比例对所述中间特征图的图像尺寸的图像尺寸进行调整。例如，中间特征图的第一图像尺寸为256*256，图像特征图的第二图像尺寸为32*32，那么调整比例为256/32＝8，其中，所述调整比例为第一图像尺寸的宽度与第二图像尺寸的宽度的比值，或者第一图像尺寸的高度与第二图像尺寸的高度的比值，其中，第一图像尺寸的宽度与高度的比值与第二图像尺寸的宽度与高度的比值相同。此外，在确定调整比例后，基于所述调整比例对所述显著性特征图进行下采样，以得到调整后的中间特征图，其中，下采样的步长为所述调整比例，例如，调整比例为16，则下采样的步长为16。
[0105]
进一步，在所述步骤a20中，所述多通道特征图中的各像素点的像素值可以均为预设值，例如，1,0等。所述通道号为所述多通道特征图中各通道的通道编号，所述多通道特征图中的通道编号为从0开始的自然数，并且相邻两个通道对应的通道编号连续。可以理解的
是，多通道特征图中的沿通道方向位于第一位通道的通道号为0，位于第二位通道的通道号为1，依次类推，位于最后位通道的通道号为c-1，其中，c为多通道特征图的通道数。换句话说，当多通道特征图的通道数为c时，么多通道特征图的通道号分别为0,1，...，c-1。例如，多通道特征图的通道数c为4,通道号分别为0,1,2和3。
[0106]
进一步，在本实施例的一个实现方式中，所述掩膜模块基于该通道的通道号以及所述中间特征图确定该通道中各像素点的像素值具体包括：
[0107]
对于该通道中的每个像素点，所述掩膜模块确定该像素点对应的目标像素值；
[0108]
所述掩膜模块根据该目标像素值以及该通道的通道号，确定该像素点的像素值。
[0109]
具体地，所述目标像素值为中间特征图中目标像素点的像素值，目标像素点在中间特征图中的像素位置与该像素点在该通道中的像素位置相对应。可理解的是，对于该通道中的每个像素点，获取该像素点在该通道的像素位置，其中，所述像素位置指的是像素点在该通道所处位置对应的坐标信息，例如，对于通道0中所处位置对应的坐标信息为(0,0)的像素点，该像素点在通道0中的像素位置为(0,0)；在获取到像素位置后，基于该像素位置在中间特征图中选取该像素位置对应的像素点，并将选取得到的像素点的像素值作为该像素点对应的目标像素值。例如，对于该通道中的像素点a，像素点a在该通道中的像素位置为(50，50)，则目标像素值对应的像素点在显著性特征图中的像素点位置为(50，50)。
[0110]
进一步，中间特征图中的像素点的像素值的取值范围0-1，多通道特征图的通道数为预设数，多通道特征图中每个通道中各像素点的像素为基于像素值与通道号确定。为了提高显著性特征图中的像素点的像素值与通道号的相关性，在基于该通道的通道号以及中间特征图调整该通道之前，需要将所述中间特征图中的各像素点的像素值调整至预设区间上，其中，所述预设区间用于调整后的单通道特征图中各像素点的像素值的取值范围，所述预设区间的上限值为基于多通道特征图的通道数确定，预设区间的下限值为0。例如，多通道特征图的通道数为c，那么所述预设区间为[0，c]，调整后的中间特征图中各像素点的像素值均处于[0，c]范围内。在本实施例的一个具体实现方式中，当中间特征图为归一化后的单通道特征图时，将所述中间特征图中的各像素点的像素值调整至预设区间上可以将所述单通道特征图中的每个像素点的像素值均乘以多通道特征图的通道数，例如，多通道特征图的通道数为c，则对于显著性特征图中的每个像素点的像素值，将该像素点的像素值乘以c，并将得到的乘积作为该目标像素值对应的像素值。这样将所述中间特征图中的各像素点的像素值调整至预设区间上，这样可以确定各中间特征图中各像素点在多通道特征图的各通道上的重要程度，以此来确定各通道中的显著性区域信息。
[0111]
进一步，在获取到像素点对应的目标像素值后，根据该目标像素值与该像素点所在通道图对应的通道号，计算该像素点对应的像素值，并将计算得到的像素值作为该像素点对应的像素值。由此，可以调整多通道特征图中各通道中的各像素点的像素值，并将调整后的多通道特征图作为掩膜特征图。在本实施例的一个具体实现方式中，多通道特征图中各通道中像素点的像素值的计算公式可以为：
[0112]
[0113]
其中，k为多通道特征图中通道的通道号，k＝0,1,2...,c-1，c为多通道特征图的通道数；i,j表示像素点在通道中的位置；m
i,j,k
为像素点的像素值；y
i,j
为中间特征图中i,j位置的目标像素值的像素值。
[0114]
本实施例通过将中间特征图中各像素点的像素值的取值范围从[0,1]映射至[0,c]，然后依据上述公式将中间特征图与多通道特征图的各通道相对应，用各像素点的像素值y
i,j
与各通道的通道号k确定各通道k中的各像素点的像素值，可以使得各通道k携带不同的显著性图像信息，这样使得编码得到的编码特征图中各通道携带显著性图像信息量不同，在编码时可以根据携带显著性图像信息量进行自适应编码，从而携带有用信息量多的通道可以被分配多的比特位，因而编码得到的编码文件中保留多的显著性图像信息。
[0115]
s30、基于所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图。
[0116]
具体地，所述编码特征图为用于编码的特征图，在获取到编码特征图后，可以对所述编码特征图进行编码以得到待编码图像对应的编码文件。所述掩膜特征图用于反映图像特征图中的各通道的显著性图像信息。从而在根据所述图像特征图和所述掩膜特征图确定编码特征图时，可以通过掩膜特征图对所述图像特征图中的各通道进行信息过滤，以去除所述图像特征图中各通道携带非显著性图像信息。
[0117]
此外，通过掩膜特征图对所述图像特征图中的各通道进行信息过滤指的是，对于图像特征图中每个目标通道，确定该目标通道对应的参考通道，并所述图像特征图中的各通道与各自对应的参考通道进行元素乘法运算，并将元素乘法运算得到的图像作为编码特征图。所述参考通道在所述掩膜特征图中的通道号与目标通道在图像特征图中的通道号相同，并且对于图像特征图中对每个目标通道，掩膜特征图中均存在一个参考通道与该目标通道相对应，这是由于掩膜特征图的通道数与图像特征图的通道数相同，并且掩膜特征图中各通道的通道编号方式与图像特征图中各通道的通道编号方式相同。例如，图像特征图的通道数为c，通道编码方式为0,1，...，c-1，那么掩膜特征图的通道数为c，通道编码方式为0,1，...，c-1；基于此，图像特征图中的通道号为5的目标通道与掩膜特征图终中通通道号为5的参考通道相对应。本实施例中采用掩膜特征图对所述图像特征图进行筛选，可以提高编码特征图中的显著性区域信息，对非显著性区域信息进行过滤，提高编码特征图中显著区域信息量。
[0118]
进一步，在获取到掩膜特征图后，可以对所述掩膜特征图进行调整，使得掩膜特征图在携带显著性区域信息的同时，保留部分非显著性区域信息，这样在包括编码特征图中显著性区域信息的信息量，同时可以使得编码特征图中包括部分非显著性区域信息，使得基于编码文件对应的编码文件得到重构图像，在保证提高显著性区域的图像细节的同时，可以使得重构图像携带非显著性区域的图像内容。基于此，在本实施例的一个实现方式中，所述掩膜特征图的调整过程具体可以包括：对于掩膜特征图中的每个通道，将该通道中的每个像素点的像素值与第一预设数值相加，以得到相加得到的像素值；再将该通道中每个像素点对应的相加得到的像素值与第二预设数值相除，并将相除得到的商作为该像素点对应的像素值，以得到调整后的掩膜特征图。这样得到的掩膜特征图中用于表示显著性区域的像素点的第一像素值中的任一第一像素值均大于所有第二像素值，第二像素值用于表示非显著性区域，且第二像素值不为零，这样在基于掩膜图像和图像特征图确定得到的编码
图像中即可以突出显著性区域内容的同时(保留更多的信息，即表示分配更多的比特位)，也能保留住非显著性区域的内容(保留更少信息，即表示分配更少的比特位)，使得解码图像能完整并且增强显著性区域的细节和纹理。在本实施例的一个实现方式中，所述第一预设数值可以为1，第二预设数值可以为2。
[0119]
进一步，为了降低编码特征图的数据量，在所述图像编码模型根据所述图像特征图以及所述掩膜特征图之后，可以对编码特征图进行量化，并根据量化得到量化特征图得到编码特征图。相应的，在本实施例的一个实现方式中，所述图像编码模块包括量化模块，基于所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图之后，所述方法包括：
[0120]
所述量化模块基于所述编码特征图，生成所述待编码图像的量化特征图，并将所述量化特征图作为所述编码特征图。
[0121]
具体地，所述量化指的是将所述编码特征图的每个像素点的取值范围分成若干区间，并每个区间中所有像素点的值均采用设置为相同数值。所述对编码特征图进行量化可以采用现有的可以实现图像量化的量化方法。在本实施例的一个实现方式中，所述对所述编码特征图进行量化的方式可以为采用聚类量化方式对所述编码特征图进行量化。所述采用聚类量化方式对编码特征图进行量化的过程可以为：给定聚类量化中心点计算编码特征图中每个像素点与量化中心点的距离，并将获取到的所有距离中的最小距离作为量化值，其中，每个像素点与量化中心点的距离的计算公式可以为：
[0122]
q(input_xi):＝argminj(input_x
i-cj)，
[0123]
其中，input_xi表示输入编码特征图的第i个数据，cj表示聚类量化中心点c＝{c1,c2,...,c
l
}的第j个分量，j∈[1,l]，l为正整数。
[0124]
进一步，为了保证误差反向传播，需要对每个像素点与量化中心点的距离先进行软量化处理，再进行硬量化处理。所述软量化处理的处理方式为：
[0125][0126]
所述硬量化处理的处理过程为：
[0127]
stop_gradient(q(input_xi)-soft_q(input_xi)) soft_q(input_xi)
[0128]
其中，stop_gradient(
·
)停止梯度计算。
[0129]
此外，在量化处理后，对量化得到各距离进行取整，根据取整得到的各距离来确定量化值，最后根据量化值对编码特征图进行量化，以得到量化后的编码特征图。
[0130]
s40、基于所述编码特征图，得到所述待编码图像对应的编码文件。
[0131]
具体地，所述编码文件为对所述编码特征图进行编码得到，并且在对所述编码特征图进行编码时可以采用熵编码方式进行编码，由熵编码可以将编码特征图无损压缩得到编码文件，其中，所述熵编码可以采用现有多种编码方法，例如，哈夫曼编码或者算数编码等。当然，值得说明的是，在通过熵编码对所述编码特征图进行编码时，采用是基于通道携带显著性图像信息的信息量进行的自适应编码方式，可以理解的是，在对编码特征图进行编码时，基于编码特征图中各通道携带的显著性图像信息的信息量确定各通道对应的比特位，并在编码时为各通道分别相应的比特位。此外，通道对应的比特位与通道携带的显著性
图像信息的信息量正相关，即通道携带的显著性图像信息的信息量越多，通道对应的比特位越大；反之，通道携带的显著性图像信息的信息量越少，通道对应的比特位越小。
[0132]
基于上述图像编码方法，本实施例还可以提供一种图像解码方法，如图6所示，所述图像解码方法应用于图像解码模型，所述图像解码方法包括：
[0133]
所述图像解码模块基于编码文件，确定该编码文件对应的重构图像，其中，所述编码文件为基于上述编码方法编码得到的。
[0134]
具体地，如图7所示，所述图像解码模型包括第一卷积模块a、第二卷积模块a以及重构模块，所述第一卷积模块a包括第一卷积单元、第二卷积单元以及第三卷积单元，其中，所述第一卷积单元中，卷积核为3*3，卷积核数量为480，步长为1，填充像素为1；归一化操作为instancenorm操作；非线性变换函数为relu函数；所述第一卷积单元中，卷积核为3*3，卷积核数量为960，步长为1，填充像素为1；归一化操作为instancenorm操作；非线性变换函数为relu函数；所述第三卷积单元中，卷积核为3*3，卷积核数量为960，步长为1，填充像素为1；归一化操作为instancenorm操作；非线性变换函数为relu函数。
[0135]
所述第二卷积模块a包括9个残差块，如图8所示，每个残差块包括第四卷积单元和第五卷积单元，所述第四卷积单元中，卷积核为3*3，卷积核数量为960，步长为1，填充像素为1；归一化操作为instancenorm操作；非线性变换函数为relu函数：所述第五卷积单元中，卷积核为3*3，卷积核数量为960，步长为1，填充像素为1；归一化操作为instancenorm操作；在通过第五卷积单元输出特征图后，通过短接操作将第四卷积单元的输入项与第五卷积单元的输出项进相加以得到各残差块对应的输出项。
[0136]
所述重构模块包括四个级联的上采样模块以及第六卷积单元；如图9所示，所述上采样模块包括上采样单元以及第七卷积单元，在所述上采样单元中执行2倍双线性差值上采样，其中，上采样对应的卷积核数量为480；所述第七卷积单元中，卷积核为3*3，卷积核数量为480，步长为1，归一化操作为instancenorm操作；非线性变换函数为relu函数。在所述第六卷积单元中，卷积核为7*7，卷积核数量为3，步长为1，填充像素为3。
[0137]
综上所述，本实施例提供了一种图像编码方法，所述图像编码方法通过图像编码模型获取待编码图像对应的图像特征图及显著性特征图；基于所述显著性特征图确定所述待编码图像对应掩膜特征图；根据所述图像特征图以及所述掩膜特征图，生成所述待编码图像对应的编码特征图；最后根据所述编码特征图，得到所述待编码图像对应的编码文件。本技术根据显著性特征图确定的掩膜特征图，并基于掩膜特征图确定图像特征图中的各通道包括的图像信息，使得编码特征图中各通道携带的显著性图像信息不同，这样在图像编码时可以根据显著性图像信息为不同通道分配不同的比特位，从而使得包括显著性图像信息多的通道占用的比特位多，提高了编码文件中显著性图像内容的图像信息，进而提高了根据编码文件重构得到的重构图像的图像效果，例如，如图10所示的采用本实施例提供编码方法得到编码文件生成的第一重构图像，以及如图11所示直接采用图像特征图进行等位宽编码得到的编码文件生成的第二重构图像，可以得知，第一重构图像中作为显著性区域的鹦鹉区域的图像细节优于第二重构图像中作为显著性区域的鹦鹉区域的图像细节。
[0138]
基于上述图像编码方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像编码方法中的步骤。
[0139]
基于上述图像编码方法，本技术还提供了一种终端设备，如图12所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
[0140]
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0141]
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0142]
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0143]
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0144]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。