图像处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.传统的图像压缩方法以及基于深度学习的图像压缩方法中，针对待压缩图像块或者待压缩图像特征进行压缩时，通常借助于该目标图像块或者目标特征周围的局部信息。图像中不同位置存在较为重复的纹理时，理论上对重复的纹理可以有更好的压缩效果。但是本公开发明人发现，由于基于局部信息的图像压缩方法仅涉及待压缩图像块或者特征的局部信息，不考虑局部信息之外的重复纹理，因此存在对重复纹理进行重复压缩的情形。因此，如何减少对重复纹理的重复压缩是本领域当前需要解决的技术问题之一。


技术实现要素：

3.本公开实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质。
4.第一方面，本公开实施例中提供了一种图像处理方法，包括：
5.获取待处理图像中的已处理特征；
6.根据所述已处理特征，确定所述待处理图像中当前待处理特征的相似信息；其中，所述相似信息包括相似特征；
7.基于所述相似信息，确定对所述当前待处理特征进行处理时的参考信息。
8.进一步地，所述当前待处理特征的编码流程中，所述已处理特征包括待处理图像中的已编码特征；所述当前待处理特征的解码流程中，所述已处理特征包括所述待处理图像中的已解码特征。
9.进一步地，所述方法还包括：
10.获取所述待处理图像；
11.利用第一自编码器模型中的编码网络对所述待处理图像进行压缩，得到压缩特征；
12.对所述压缩特征进行量化得到所述待处理图像对应的图像特征。
13.进一步地，所述相似信息还包括所述当前待处理特征与所述相似特征之间的相似度。
14.进一步地，根据所述已处理特征，确定所述待处理图像中当前待处理特征的相似信息，包括：
15.利用所述当前待处理特征的局部信息从所述已处理特征搜索得到所述相似特征；
16.确定所述当前待处理特征与所述相似特征的相似度。
17.进一步地，基于所述相似信息，确定对所述当前待处理特征进行处理时的参考信息，包括：
18.根据所述相似特征以及所述相似特征的局部信息获取用于确定所述参考信息的
第一辅助信息；
19.利用所述相似度对所述第一辅助信息加权操作之后确定所述参考信息。
20.进一步地，所述方法还包括：
21.根据所述当前待处理特征的局部信息获取用于确定所述参考信息的第二辅助信息；
22.根据所述第二辅助信息获得所述当前待处理特征在所述待处理图像对应的图像特征中的第一概率估计；
23.根据所述第一概率估计获得所述当前待处理特征的置信度。
24.进一步地，利用所述相似度对所述第一辅助信息加权操作之后确定所述参考信息，包括：
25.将所述第一辅助信息和第二辅助信息进行结合得到第一结合结果；
26.利用所述相似度和所述置信度对所述第一结合结果进行过滤得到过滤结果；
27.根据所述过滤结果和所述第一概率估计得到所述当前待处理特征的第二概率估计。
28.进一步地，所述方法还包括：
29.利用第二自编码器模型从所述待处理图像对应的图像特征获取用于确定所述参考信息的第三辅助信息；
30.将所述第一辅助信息、所述第二辅助信息和所述第三辅助信息进行结合得到第二结合结果；
31.利用第二结合结果和所述第二概率估计得到所述当前待处理特征的第三概率估计。
32.进一步地，所述方法还包括：
33.获取所述待处理图像对应的第二编码码流；
34.利用第二自编码器模型从所述第二编码码流获取用于确定所述参考信息的第三辅助信息；
35.将所述第一辅助信息、所述第二辅助信息和所述第三辅助信息进行结合得到第二结合结果；
36.利用第二结合结果和所述第二概率估计得到所述当前待处理特征的第三概率估计。
37.进一步地，利用所述相似度对所述第一辅助信息加权操作之后确定所述参考信息，还包括：
38.根据所述第三概率估计确定所述参考信息。
39.第二方面，本公开实施例中提供了一种图像编码方法，包括：
40.获取待编码图像；
41.利用第一方面所述的方法获取对所述待编码图像中各特征进行编码时的参考信息；
42.利用所述参考信息对所述待编码图像进行编码。
43.第三方面，本公开实施例中提供了一种图像解码方法，包括：
44.获取待解码图像的编码码流；
45.利用第一方面所述的方法获取用于解码所述待解码图像中各特征的参考信息；
46.利用所述参考信息对所述编码码流进行解码。
47.第四方面，本公开实施例中提供了一种图像处理方法，包括：
48.获取待编码图像中的已编码特征；
49.调用预设服务接口，以便由所述预设服务接口根据所述已编码特征，确定所述待编码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于对所述当前待处理特征进行编码时的参考信息；其中，所述相似信息包括相似特征；
50.输出所述参考信息。
51.第五方面，本公开实施例中提供了一种图像处理方法，包括：
52.获取待解码图像中的已解码特征；
53.调用预设服务接口，以便由所述预设服务接口根据所述已解码特征，确定所述待解码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于解码所述当前待处理特征的参考信息；其中，所述相似信息包括相似特征；
54.输出所述参考信息。
55.第六方面，本公开实施例中提供了一种图像处理方法，包括：
56.获取待编码图像；
57.调用预设服务接口，以便由所述预设服务接口根据所述待编码图像中的已编码特征，确定所述待编码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于对所述当前待处理特征进行编码时的参考信息，以及利用所述参考信息对所述当前待处理特征进行编码；其中，所述相似信息包括相似特征；
58.输出编码结果。
59.第七方面，本公开实施例中提供了一种图像处理方法，包括：
60.获取待解码图像的编码码流；
61.调用预设服务接口，以便由所述预设服务接口根据所述编码码流得到的已解码特征，确定所述待解码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于解码所述当前待处理特征的参考信息，以及基于所述参考信息解码得到所述当前待处理特征；所述相似信息包括相似特征；
62.输出解码结果。
63.第八方面，本公开实施例中提供了一种图像处理装置，包括：
64.特征获取模块，被配置为获取待处理图像中的已处理特征；
65.第一确定模块，被配置为根据已处理特征确定当前待处理特征的相似信息；其中，所述相似信息包括相似特征；
66.第二确定模块，被配置为基于所述相似信息，确定对所述当前待处理特征进行处理时的参考信息。
67.第九方面，本公开实施例中提供了一种图像编码装置，包括：
68.第十获取模块，被配置为获取待编码图像；
69.第十一获取模块，被配置为利用第六方面所述的装置获取对所述待编码图像中各特征进行编码时的参考信息；
70.编码模块，被配置为利用所述参考信息对所述待编码图像进行编码。
71.第十方面，本公开实施例中提供了一种图像解码装置，包括：
72.第十二获取模块，被配置为获取待解码图像的编码码流；
73.第十三获取模块，被配置为利用第六方面所述的装置获取用于解码所述待解码图像中各特征的参考信息；
74.解码模块，被配置为利用所述参考信息对所述编码码流进行解码。
75.第十一方面，本公开实施例中提供了一种图像处理装置，包括：
76.第十四获取模块，被配置为获取待编码图像中的已编码特征；
77.第一调用模块，被配置为调用预设服务接口，以便由所述预设服务接口根据所述已编码特征，确定所述待编码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于对所述当前待处理特征进行编码时的参考信息；其中，所述相似信息包括相似特征；
78.第一输出模块，被配置为输出所述参考信息。
79.第十二方面，本公开实施例中提供了一种图像处理装置，包括：
80.第十五获取模块，被配置为获取待解码图像中的已解码特征；
81.第二调用模块，被配置为调用预设服务接口，以便由所述预设服务接口根据所述已解码特征，确定所述待解码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于解码所述当前待处理特征的参考信息；其中，所述相似信息包括相似特征；
82.第二输出模块，被配置为输出所述参考信息。
83.第十三方面，本公开实施例中提供了一种图像处理装置，包括：
84.第十六获取模块，被配置为获取待编码图像；
85.第三调用模块，被配置为调用预设服务接口，以便由所述预设服务接口根据所述待编码图像中的已编码特征，确定所述待编码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于对所述当前待处理特征进行编码时的参考信息，以及利用所述参考信息对所述当前待处理特征进行编码；其中，所述相似信息包括相似特征；
86.第三输出模块，被配置为输出编码结果。
87.第十四方面，本公开实施例中提供了一种图像处理装置，包括：
88.第十七获取模块，被配置为获取待解码图像的编码码流；
89.第四调用模块，被配置为调用预设服务接口，以便由所述预设服务接口根据所述编码码流得到的已解码特征，确定所述待解码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于解码所述当前待处理特征的参考信息，以及基于所述参考信息解码得到所述当前待处理特征；所述相似信息包括相似特征；
90.第四输出模块，被配置为输出解码结果。
91.所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
92.在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。
93.第十五方面，本公开实施例提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理
器执行以实现上述任一方面所述的方法。
94.第十六方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，其包含用于执行上述任一方面所述方法所涉及的计算机指令。
95.本公开实施例提供的技术方案可以包括以下有益效果：
96.本公开实施例在参考信息的确定过程中，通过从已解码特征或者已编码特征确定当前待处理特征的相似信息，该相似信息包括当前待处理特征的相似特征，进而根据该相似信息确定当前待处理特征的参考信息。通过这种方式，可以基于当前待处理特征在图像特征中的全局信息确定参考信息，使得当前待处理特征的编码流程能够参考图像特征中的全局信息，而不仅限于当前待处理特征的局部信息，针对重复纹理较多的图像，能够减少编码图像中全局信息的冗余，提高图像的压缩率。
97.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
98.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
99.图1示出根据本公开一实施方式的图像处理方法的流程图；
100.图2示出根据本公开一实施方式中相似特征的搜索与匹配过程示意图；
101.图3示出根据本公开一实施方式在图像编码或者解码过程中的应用框架示意图；
102.图4示出图3中局部上下文部分(local context)、全局信息参考部分(global reference)、超先验部分(hyperprior)的一种实现示意图；
103.图5示出根据本公开一实施方式的图像编码方法的流程图；
104.图6示出根据本公开另一实施方式的图像解码方法的流程图；
105.图7示出根据本公开另一实施方式的图像处理方法的流程图；
106.图8示出根据本公开另一实施方式的图像处理方法的流程图；
107.图9是适于用来实现根据本公开一实施方式的图像处理方法、图像编码方法和/或图像解码方法的电子设备的结构示意图。
具体实施方式
108.下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
109.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
110.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
111.下面通过具体实施例详细介绍本公开实施例的细节。
112.图1示出根据本公开一实施方式的图像处理方法的流程图。如图1所示，该图像处
理方法包括以下步骤：
113.在步骤s101中，获取待处理图像中的已处理特征；
114.在步骤s102中，根据所述已处理特征，确定所述待处理图像中当前待处理特征的相似信息；其中，所述相似信息包括相似特征；
115.在步骤s103中，基于所述相似信息，确定对所述当前待处理特征进行处理时的参考信息。
116.本实施例中，该图像处理方法适用于图像编码过程或者图像解码过程中用于确定编码当前待处理特征的参考信息或者解码当前待处理特征的参考信息。已处理特征和当前待处理特征均是待处理图像中的图像特征，在图像编码过程中，待处理图像为待编码图像，图像特征可以是从待编码图像中提取的特征，已处理特征为在当前待处理特征之前已经被编码过的图像特征，当前待处理特征可以为当前待要编码的图像特征；在图像解码过程中，待处理图像为待解码图像，图像特征可以是通过待解码图像对应的编码码流解码得到的特征，已处理特征为在当前待处理特征之前已经被解码的图像特征，当前待处理特征为当前待要解码的图像特征特征；在解码图像特征中的当前待处理特征时，图像特征中的已解码特征为已知特征，而未解码特征属于未知特征，需要经过后续的解码流程从编码码流中解码得到。本公开实施例适用于基于深度学习的图像编解码方法，而基于深度学习的网络模型可以采用自编码器模型。
117.在一些实施例中，图像编码过程中，可以利用基于深度学习的自编码器模型中的编码网络对待编码图像进行下采样处理，经过下采样处理的结果经过量化后可以得到图像特征。在另一些实施例中，图像的解码方法中，可以利用自编码器模型对编码码流进行解码获得待解码图像对应的图像特征，而在解码过程中，可以通过逐点解码的方式进行解码，并且针对图像特征中当前待处理特征进行解码时，可以通过本公开实施例公开的图像处理方法确定该当前待处理特征的参考信息，进而再根据该参考信息解码得到当前待处理特征，之后可以继续按照同样的方法解码下一特征。
118.在图像编码过程中，图像特征中的已处理特征可以包括在当前待处理特征之前编码的已编码特征；而在图像解码过程中，图像特征中的已处理特征可以包括在当前待处理特征之前解码的已解码特征。相似信息至少可以包括当前待处理特征的相似特征，在一些实施例中，该相似特征可以是已处理特征中与当前待处理特征最相似的特征。
119.在得到当前待处理特征的相似信息之后，可以根据该相似信息确定当前待处理特征的参考信息。参考信息可以是用于对当前待处理特征进行编码或者解码时所参考的信息。可以理解的是，通过从图像特征中的已编码特征或已解码特征进行全局搜索而获得当前待处理特征的相似特征，进而再根据该相似特征确定当前待处理特征的参考信息，使得对当前待处理特征的编码过程参考了当前待处理特征在图像特征中的全局信息，也即通过这种方式使得图像能够参考全局信息进行编解码。
120.在一些实施例中，以熵编码为例，参考信息可以是用于确定当前待处理特征采用的码字长度的熵编码信息，例如可以是用于表示该当前待处理特征在整个图像特征中出现概率的信息，一些情况下熵编码信息可以是当前待处理特征在图像特征中的高斯分布参数(可以包括期望值μ和标准差σ)。
121.可以理解的是，本公开实施例在确定对当前待处理特征进行处理时的参考信息
时，将当前待处理特征的相似信息作为其中一个因子，使得对图像进行编码的参考信息中体现了当前待处理特征在整个图像特征中的相似信息，也即全局信息。在图像编码过程中，针对当前待处理特征的编码流程参考了其相似特征，而不仅限于当前待处理特征的局部信息(局部信息可以包括当前待处理特征的周围特征，而相似特征则包括图像特征中除周围特征之外的其他特征，相似特征体现的是全局信息)。
122.在确定参考信息之后，可以针对该当前待处理特征进行编码或解码。在编码过程中，可以基于参考信息确定当前待处理特征的码字长度，进而再根据该码字长度对当前待处理特征进行编码得到对应的码流。而在解码过程中，可以基于参考信息确定当前待处理特征的码字长度，进而再根据码字长度对当前待处理特征对应的码流进行解码得到当前待处理特征。
123.本公开实施例在参考信息的确定过程中，通过从待处理图像的已解码特征或者已编码特征确定当前待处理特征的相似信息，该相似信息包括当前待处理特征的相似特征，进而根据该相似信息确定对当前待处理特征进行处理时的参考信息。通过这种方式，可以基于当前待处理特征在图像特征中的全局信息确定参考信息，使得当前待处理特征的编码流程能够参考图像特征中的全局信息，而不仅限于当前待处理特征的局部信息，针对重复纹理较多的图像，能够减少编码图像中全局信息的冗余，提高图像的压缩率。
124.在本实施例的一个可选实现方式中，该方法进一步包括以下步骤：
125.获取所述待处理图像；
126.利用第一自编码器模型中的编码网络对所述待处理图像进行压缩，得到压缩特征；
127.对所述压缩结果进行量化得到所述待处理图像对应的图像特征。
128.该可选的实现方式中，基于深度学习的图像压缩方案中，自编码器模型常用于图像的编码或解码。自编码器模型通常包括编码网络和解码网络，编码网络和解码网络均可以是基于深度学习的卷积神经网络模型。在编码过程中，自编码器模型对待处理图像也即待编码图像的处理过程通常包括：利用编码网络对输入的待编码图像进行下采样处理，也即可以对待编码图像进行压缩编码，得到压缩特征。该压缩特征经过量化等处理之后可以得到上述图像特征。该图像特征可以进一步被输入至编码器中进行编码，得到编码码流；该编码码流可以经过与编码器对应的解码器解码后可以恢复出上述图像特征，该图像特征经过第一自编码器模型中的解码网络的上采样处理之后，可以得到解码后的图像。
129.因此，在编码过程中，可以利用第一自编码器模型中的编码网络对待编码图像进行压缩处理后得到压缩特征，进而再将压缩特征进行量化等处理之后得到图像特征。而在解码过程中，可以针对待解码图像对应的编码码流进行逐点解码。因此，在针对当前待处理特征进行解码时，可以先获取图像特征中已解码特征，进而再从已解码特征中获取与当前待处理特征相似的特征。当前待处理特征的相似特征的获取过程中，由于当前待处理特征还未解码得到，因此可以基于当前待处理特征的局部信息也即周围的特征(该周围特征也仅包括已解码特征)搜索图像特征中的已解码特征，进而再确定当前待处理特征的相似特征。
130.在本实施例的一个可选实现方式中，所述相似信息还包括所述当前待处理特征与所述相似特征之间的相似度。
131.在本实施例的一个可选实现方式中，步骤s102，即根据所述已处理特征，确定所述待处理图像中当前待处理特征的相似信息的步骤，进一步包括以下步骤：
132.利用所述当前待处理特征的局部信息从所述图像特征中的已处理特征搜索得到所述相似特征；
133.确定所述当前待处理特征与所述相似特征的相似度。
134.该可选的实现方式中，当前待处理特征的相似特征可以是通过对图像特征中已编码特征进行逐点搜索得到的，该相似特征可以是已编码特征中与当前待处理特征最相似的特征。在搜索过程中，可以利用当前待处理特征的局部信息与图像特征中已编码特征的局部信息进行匹配的方式确定相似度，将相似度最大的确定为当前待处理特征的相似特征。在实际处理过程中，该步骤输出的是相似特征在图像特征中的位置以及对应的相似度。
135.需要说明的是，在进行相似特征的搜索与匹配时，所使用的局部信息为当前待处理特征之前已编码或已解码的特征。例如，当前待处理特征的局部信息为其周围的3
×
3＝9个特征时，所使用的局部信息包括当前待处理特征之前的特征，也即从左上角开始的4个特征(第一行中的3个特征和第二行中的第1个特征)，而其他5个特征为当前待处理特征和位于当前待处理特征之后的特征，由于未被编码或者解码，因此不被用于匹配相似特征。
136.在本实施例的一个可选实现方式中，步骤s103，即基于所述相似信息，确定对所述当前待处理特征进行处理时的参考信息的步骤，进一步包括以下步骤：
137.根据所述相似特征以及所述相似特征的局部信息获取用于确定所述参考信息的第一辅助信息；
138.利用所述相似度对所述第一辅助信息加权操作之后确定所述参考信息。
139.该可选的实现方式中，可以利用相似特征以及相似特征的局部信息获取用于确定参考信息的第一辅助信息，该参考信息用于对当前待处理特征进行编码或者解码。第一辅助信息可以是从相似特征及其局部信息提取出的特征。在一些实施例中，可以通过相似特征和相似特征的局部信息构成的矩阵(例如可以是3
×
3的特征矩阵，最中间的是相似特征)与一层掩膜卷积相乘之后得到第一辅助信息。掩膜卷积可以通过将相似特征之后的特征进行屏蔽的方式从该3
×
3的特征矩阵提取信息，进而获得第一辅助信息。例如，相似特征的局部信息可以是相似特征周围3
×
3＝9个特征信息，而相似特征位于最中心的位置，被掩膜卷积层屏蔽的特征包括相似特征之后的4个特征，也即第二行最后一个特征以及第三行三个特征。
140.图2示出根据本公开一实施方式中相似特征的搜索与匹配过程示意图。如图2所示，针对图像特征中的当前待处理特征，利用当前待处理特征的局部信息从已编码特征中进行搜索，可以得到相似特征的位置h以及相似度s，针对位置h处的相似特征以及该相似特征的局部信息进行掩膜卷积操作之后，可以得到第一辅助信息
141.该第一辅助信息可以用于表示对当前待处理特征编码时的参考信息，其体现的是编码或者解码过程中所参考的全局信息。在相似特征与当前待处理特征的相似度较低时，可以认为图像特征中与当前待处理特征重复的纹理较少，则针对当前待处理特征进行编码时，可以不参考全局信息或者尽量少参考全局信息，因此通过相似度对第一辅助信息进行加权之后再确定当前待处理特征的参考信息的方式，可以使得与当前待处理特征重复的纹
理较多时，对第一辅助信息采用相似度较大的加权操作，参考信息可以较多的考虑全局信息，而与当前待处理特征重复的纹理较少时，对第一辅助采用相似度较小的加权操作，参考信息可以较少地参考全局信息，最终能够达到的效果是，针对重复纹理较多的图像能够提高图像压缩率，而针对没有重复纹理的图像也不会降低图像压缩率。
142.在本实施例的一个可选实现方式中，该方法进一步还包括以下步骤：
143.根据所述当前待处理特征的局部信息获取用于确定所述参考信息的第二辅助信息；
144.根据所述第二辅助信息获得所述当前待处理特征在所述待处理图像对应的图像特征中的第一概率估计；
145.根据所述第一概率估计获得所述当前待处理特征的置信度。
146.该可选的实现方式中，还可以利用当前待处理特征的局部信息获取用于确定参考信息的第二辅助信息，该参考信息用于对当前待处理特征进行编码或者解码。当前待处理特征的局部信息可以是当前待处理特征周围的图像特征，例如可以是当前待处理特征周围的9个特征，与当前待处理特征可以构成3
×
3的特征矩阵，最中间的为当前待处理特征。第二辅助信息由于是从当前待处理特征的局部信息提取得的，其可以使得编码过程或者解码过程能够参考局部信息对当前待处理特征进行编码或解码。
147.在一些实施例中，可以通过将当前待处理特征的局部信息构成的矩阵(例如可以是3
×
3的特征矩阵，最中间的是当前待处理特征)与一层掩膜卷积相乘之后得到第二辅助信息，该第二辅助信息可以用于表示对当前待处理特征进行编码时的另一参考信息。掩膜卷积可以通过将当前待处理特征以及当前待处理特征之后的特征进行屏蔽的方式从该3
×
3的特征矩阵中提取信息，进而获得第二辅助信息。例如，当前待处理特征的局部信息可以是当前待处理特征周围3
×
3＝9个特征信息，而当前待处理特征位于最中心的位置，被掩膜卷积层屏蔽的特征包括当前待处理特征以及当前待处理特征之后的5个特征，也即第二行最后一个特征以及第三行的三个特征。
148.通过该第二辅助信息可以获取当前待处理特征在图像特征中的第一概率估计，该第一概率估计可以从局部信息的角度表示该当前待处理特征在图像特征中的出现概率。该第一概率估计可以包括高斯分布的期望值μ和标准差σ。在一些实施例中，参考信息包括该第一概率估计。
149.利用该第一概率估计可以得到当前待处理特征的置信度。该置信度可以用于表示当前待处理特征在整个图像特征中出现的概率值，与当前待处理特征相似的特征越多，该概率值越大，而与当前待处理特征相似的特征越少，该概率值则越小。在编码过程中，针对概率值较高的特征，可以分配码字较短的比特流，而对于概率值较低的特征，可以分配码字较长的比特流，通过这种方式编码得到图像的编码码流总长度会相对减少，能够节省图像的存储空间以及传输带宽。
150.在本实施例的一个可选实现方式中，利用所述相似度对所述第一辅助信息加权操作之后确定所述参考信息的步骤，进一步包括以下步骤：
151.将所述第一辅助信息和第二辅助信息进行结合得到第一结合结果；
152.利用所述相似度和所述置信度对所述第一结合结果进行过滤得到过滤结果；
153.根据所述过滤结果和所述第一概率估计得到所述当前待处理特征的第二概率估
计。
154.该可选的实现方式中，在对当前待处理特征进行编码时，为了能够共同参考局部信息和全局信息，可以将利用全局信息得到的第一辅助信息和利用局部信息得到的第二辅助信息进行结合操作得到第一结合结果。结合操作例如可以是concat(字符连接)操作，也即将第一辅助信息和第二辅助信息连接在一起。
155.连接得到第一结合结果之后，可以利用相似度以及置信度对第一结合结果进行加权操作，也即在相似度以及置信度较大的情况下，该第一结合结果可以在参考信息的确定流程中起更重要的作用，使得当前待处理特征在编码过程中可以更多地参考局部信息以及全局信息，进而提高图像压缩率；而在相似度以及置信度较小的情况下，该第一结合结果在参考信息的确定流程可以被忽略或者起较小的作用，进而减少第一辅助信息以及第二辅助信息对当前待处理特征的编码影响。
156.根据过滤结果和第一概率估计可以得到第二概率估计，该第二概率估计可以从全局信息和局部信息的角度表示该当前待处理特征在图像特征中的出现概率。该第二概率估计可以包括高斯分布的期望值μ和标准差σ。在一些实施例中，参考信息包括该第二概率估计。
157.在本实施例的一个可选实现方式中，该方法进一步还包括以下步骤：
158.利用第二自编码器模型从所述待处理图像对应的图像特征获取用于确定所述参考信息的第三辅助信息；
159.将所述第三辅助信息与所述第一辅助信息进行结合得到第二结合结果；
160.利用第二结合结果和所述第二概率估计得到所述当前待处理特征的第三概率估计。
161.该可选的实现方式中，在编码过程中，还可以利用整个图像特征获取用于确定参考信息的第三辅助信息。该步骤中可以利用第二自编码器模型从整个图像特征获取第三辅助信息，该自编码器模型包括编码网络和解码网络。图像特征输入至编码网络之后得到经过压缩的中间特征，该中间特征经过无损编码器的编码之后得到编码码流(编码码流作为图像特征的压缩码流会输出给图像解码端)。该编码码流再经过与无损编码器对应的无损解码器进行解码之后可以恢复出上述中间特征，该中间特征经过第二自编码器模型中的解码网络可以得到第三辅助信息。第三辅助信息可以理解为利用自编码器模型从整个图像特征预测得到的当前待处理特征的参考信息。
162.该第三辅助信息可以与上述第一辅助信息以及第二辅助信息进行结合，例如可以通过concat(字符连接)操作得到第二结合结果。利用该第二结合结果以及第二概率估计可以得到第三概率估计，该第三概率估计最终用于确定当前待处理特征的参考信息。该第三概率估计通过综合整个图像特征、当前待处理特征的全局信息和局部信息而得到的该当前待处理特征在图像特征中的出现概率。该第三概率估计可以包括高斯分布的期望值μ和标准差σ。在一些实施例中，参考信息包括该第三概率估计。
163.在本实施例的一个可选实现方式中，该方法进一步还包括以下步骤：
164.获取所述待处理图像对应的第二编码码流；
165.利用第二自编码器模型从所述第二编码码流获取用于确定所述参考信息的第三辅助信息；
166.将所述第一辅助信息、所述第二辅助信息和所述第三辅助信息进行结合得到第二结合结果；
167.利用第二结合结果和所述第二概率估计得到所述当前待处理特征的第三概率估计。
168.该可选的实现方式中，如上文中所述，在编码阶段，利用第二自编码器模型从待处理图像对应的图像特征获取第三辅助信息的过程中，会产生图像特征对应的编码码流，该编码码流被图像解码端所获取。可以理解的是，在图像编码过程中会产生两部分码流，一部分是利用参考信息对图像特征中的各特征进行编码产生的第一编码码流，而另一部分是为了获取用于确定参考信息的第三辅助信息而将图像特征进行编码产生的第二编码码流。在解码过程中，通过对第二编码码流解码可以获得第三辅助信息；也即第二编码码流输入至无损解码器之后可以解码得到中间特征，该中间特征输入至第二自编码器模型的解码网络可以后得到该第三辅助信息。第三辅助信息可以理解为利用自编码器模型从整个图像特征预测得到的当前待处理特征的参考信息。
169.该第三辅助信息可以与上述第一辅助信息以及第二辅助信息进行结合，例如可以通过concat(字符连接)操作得到第二结合结果。利用该第二结合结果以及第二概率估计可以得到第三概率估计，该第三概率估计最终用于确定当前待处理特征的参考信息。该第三概率估计通过综合整个图像特征、当前待处理特征的全局信息和局部信息而得到的该当前待处理特征在图像特征中的出现概率。该第三概率估计可以包括高斯分布的期望值μ和标准差σ。
170.在本实施例的一个可选实现方式中，利用所述相似度对所述第一辅助信息加权操作之后确定所述参考信息的步骤，进一步还包括以下步骤：
171.根据所述第三概率估计确定所述参考信息。
172.该可选的实现方式中，当前待处理特征的参考信息最终可以利用第三概率估计来确定，该参考信息可以用于确定当前待处理特征的码字长度。在编码过程中，以熵编码为例，根据第三概率估计给出的概率分布，在确定该当前待处理特征在图像特征中出现次数较多时，则可以为当前待处理特征分配码字较短的比特流，而在确定该当前处理特征在图像特征中出现次数较少时，则可以为当前待处理特征分配码字较长的比特流。
173.下面通过举例说明本公开实施例的实现细节。
174.图3示出根据本公开一实施方式在图像编码或者解码过程中的应用框架示意图。如图3所示，该框架中三个虚框分别表示用于确定(也即上文中提到的第一辅助信息)、(也即上文中提到的第二辅助信息)和(也即上文中提到的第三辅助信息)的结构；其中全局信息参考部分(global reference)用于确定第一辅助信息局部上下文部分(local context)用于确定第二辅助信息超先验部分(hyperprior)用于确定第三辅助信息虚框外面也即左半部分图中示出的是对图像进行编解码的编解码流程框架。
175.下面分别全局信息参考部分(global reference)、局部上下文部分(local context)、超先验部分(hyperprior)以及编解码流程框架进行详细描述。
176.编解码流程框架包括一自编码器模型，该自编码器模型包括编码网络e和解码网
络d；在编码过程中，输入图像x经过编码网络e的压缩处理之后得到压缩特征y，压缩特征y经过量化器q量化后得到图像特征图像特征经过无损编码器可以得到编码码流，该编码码流可以发送至图像解码端进行解码；在解码过程中，编码码流经过无损解码器可以还原出图像特征图像特征再经过自编码器模型中的解码网络可以得到解码后的图像
177.从图3可以看出，对图像特征进行无损编码或解码的过程中，超先验部分(hyperprior)输出的第三概率估计(μ3，σ3)作为对图像特征的参考信息，输入至无损编码器或者无损解码器后对图像进行编码或者解码。
178.第三概率估计根据第三辅助信息以及第一概率估计(μ1，σ1)得到，而第一概率估计根据第一辅助信息以及第二概率估计(μ2，σ2)得到，第二概率估计根据第二辅助信息得到。
179.局部上下文部分(local context)为利用当前待处理特征的上下文信息也即局部信息预测获得第二辅助信息的结构。表示图像特征中当前待处理特征的局部信息(如图3中所示，为当前待处理特征i周围3
×
3＝9个特征中位于当前待处理特征之前编码或解码的特征)，在局部上下文部分(local context)中将当前待处理特征的局部信息作为输入，由上下文模块(context model)进行处理之后获得第二辅助信息第二辅助信息经过一网络模型h
le
(
·
)的处理之后输出第二概率估计(μ2，σ2)。
180.全局信息参考部分(global reference)为利用当前待处理特征的相似信息也即全局信息预测获得第一辅助信息的结构。表示图像特征中当前待处理特征的局部信息(如图3中所示，为当前待处理特征i周围3
×
3＝9个特征中位于当前待处理特征之前编码或解码的特征)，在全局信息参考部分(global reference)中将当前待处理特征的局部信息作为输入，由参考模块(reference model)进行处理之后获得第一辅助信息第一辅助信息和第二辅助信息合并之后，该合并结果经过一网络模型h
ge
(
·
)的处理，处理结果与第二概率估计进行结合后输出第一概率估计(μ1，σ1)。
181.超先验部分(hyperprior)也包括一自编码器模型，该自编码器模型包括编码网络he和解码网络hd；在编码过程中，经过编解码流程框架中的编码网络e得到的压缩特征y作为超先验部分(hyperprior)中编码网络he的输入，经过编码网络he的进一步压缩处理之后可以得到压缩特征z，压缩特征z经过量化器q量化后得到中间特征中间特征经过无损编码器ae编码后可以得到编码码流，该编码码流可以发送至图像解码端进行解码；在解码过程中，编码码流经过无损解码器ad解码后可以还原出中间特征中间特征再经过自编码器模型中的解码网络hd可以得到第三辅助信息超先验部分在编解码过程中可以利用因式分解模块(factorized entropy model)。第三辅助信息第一辅助信息和第二辅助信息合并之后，该合并结果经过一网络模型h
se
(
·
)的处理，处理结果与第一概率估计进行结合后输出第三概率估计(μ3，σ3)。
182.图4示出图3中局部上下文部分(local context)、全局信息参考部分(global reference)、超先验部分(hyperprior)的一种实现示意图。
183.如图4所示，针对当前待处理特征，局部上下文部分(local context)接收当前待处理特征的局部信息该局部信息输入至一层掩膜卷积层mask conv进行处理，该掩膜卷积层mask conv通过将局部信息中当前待处理特征以及当前待处理特征之后编码或解码的特征信息屏蔽后提取出第二辅助信息第二辅助信息再经过卷积核为1
×
1的卷积层处理之后得到第二概率估计(μ2，σ2)(图中示出的是logσ2)。
184.针对当前待处理特征，局部上下文部分(local context)接收当前待处理特征的局部信息该局部信息经过参考模块(reference model)之后，可以从当前待处理特征之前已编码特征或已解码特征中搜索匹配到相似特征，并输出相似特征的位置以及相似度s，根据相似特征所在的位置提取出相似特征以及相似特征的局部信息，将其输入至一层掩膜卷积层mask conv进行处理，该掩膜卷积层mask conv通过将局部信息中相似特征之后编码或解码的特征信息屏蔽后提取出第一辅助信息第一辅助信息与第二辅助信息经过concat操作进行合并，合并结果再经过卷积核为1
×
1的卷积层处理，该处理结果与相似度和置信度(该置信度根据第二概率估计得到)进行相乘之后的结果，与第二概率估计(μ2，σ2)结合得到第一概率估计(μ1，σ1)(图中示出的是logσ1)。
185.针对当前待处理特征，在编码过程中，压缩特征y作为超先验部分(hyperprior)的输入经过上文中描述的一系列处理之后得到中间特征中间特征输入至超先验部分(hyperprior)的解码网络之后得到第三辅助信息该第三辅助信息与第一辅助信息第二辅助信息经过contact操作进行合并，合并结果再经过卷积核为1
×
1的卷积层处理，该处理结果与与第二概率估计(μ2，σ2)结合得到第三概率估计(μ3，σ3)(图中示出的是logσ1)。
186.图5示出根据本公开一实施方式的图像编码方法的流程图。如图5所示，该图像处理方法包括以下步骤：
187.在步骤s501中，获取待编码图像；
188.在步骤s502中，利用上述图像处理方法获取所述待编码图像中对各特征进行编码时的参考信息；
189.在步骤s503中，利用所述参考信息对所述待编码图像进行编码。
190.本实施例中，在图像编码过程中，针对所获取的待编码图像，可以逐点获取待编码图像中对各特征进行编码时的参考信息，并在确定了所有特征的参考信息之后可以根据确定的参考信息对待编码图像中的所有特征进行编码。当然可以理解的是，在编码过程中也可以逐点进行编码，也即逐点获取待编码图像中当前待处理特征对应的参考信息，并根据该参考信息对当前待处理特征进行编码，重复上述过程，直到待编码图像中的所有特征均被编码为止。
191.当前待处理特征的参考信息的获取可以参见上述对图1所示实施例及相关实施例的描述，在此不再赘述。
192.通过本公开实施例中图像处理方法图像进行编码的过程中，由于参考了图像特征的相似特征的信息，也即参考了全局信息，使得针对重复纹理较多的图像进行编码时，能够减少全局信息中的冗余，进而提高图像的压缩率。
193.图6示出根据本公开另一实施方式的图像解码方法的流程图。如图6所示，该图像解码方法包括以下步骤：
194.在步骤s601中，获取待解码图像的编码码流；
195.在步骤s602中，利用上述图像处理方法获取用于解码所述待解码图像中各特征的参考信息；
196.在步骤s603中，利用所述参考信息对所述编码码流进行解码。
197.本实施例中，在图像解码过程中，针对所获取的待解码图像的编码码流，可以逐点获取用于解码待解码图像中各特征的参考信息，并在确定了当前待处理特征的参考信息之后，可以根据该参考信息对编码码流中当前待处理特征对应的比特流进行解码以获得当前待处理特征，重复上述过程，直到获得待解码图像中的所有特征为止。
198.当前待处理特征的参考信息的获取可以参见上述对图1所示实施例及相关实施例的描述，在此不再赘述。
199.图7示出根据本公开另一实施方式的图像处理方法的流程图。如图7所示，该图像处理方法包括以下步骤：
200.在步骤s701中，获取待编码图像中的已编码特征；
201.在步骤s702中，调用预设服务接口，以便由所述预设服务接口根据所述已编码特征，确定所述待编码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于对所述当前待处理特征进行编码时的参考信息；其中，所述相似信息包括相似特征；
202.在步骤s703中，输出所述参考信息。
203.本实施例中，该图像处理方法可以在云端执行。预设服务接口可以预先部署在云端，该预设服务接口可以是saas(software-as-a-service，软件即服务)接口，需求方可以预先获得该预设服务接口的使用权，在需要时可以通过调用该预设服务接口对待编码图像进行处理，以便获得待编码图像中各特征的参考信息。
204.该图像处理方法适用于图像编码过程中用于确定编码当前待处理特征的参考信息。在图像编码过程中，已编码特征和当前待处理特征可以是从待编码图像中提取的图像特征，已编码特征可以为当前已经编码过的特征，而当前待处理特征可以为当前待要编码的特征。本公开实施例适用于基于深度学习的图像编码方法，而基于深度学习的网络模型可以采用自编码器模型。
205.在一些实施例中，图像编码过程中，可以利用基于深度学习的自编码器模型中的编码网络对待编码图像进行下采样处理，经过下采样处理的结果经过量化后可以得到图像特征。
206.在图像编码过程中，已处理特征可以包括在当前待处理特征之前编码的已编码特征。相似信息至少可以包括当前待处理特征的相似特征，在一些实施例中，该相似特征可以是已处理特征中与当前待处理特征最相似的特征。
207.在得到当前待处理特征的相似信息之后，可以根据该相似信息确定当前待处理特征的参考信息。参考信息可以是用于对当前待处理特征进行编码时所参考的信息。可以理
解的是，通过从已编码特征进行全局搜索而获得当前待处理特征的相似特征，进而再根据该相似特征确定当前待处理特征的参考信息，使得对当前待处理特征的编码过程参考了当前待处理特征在图像特征中的全局信息，也即通过这种方式使得图像能够参考全局信息进行编码。
208.在一些实施例中，以熵编码为例，参考信息可以是用于确定当前待处理特征采用的码字长度的熵编码信息，例如可以是用于表示该当前待处理特征在整个图像特征中出现概率的信息，一些情况下熵编码信息可以是当前待处理特征在图像特征中的高斯分布参数(可以包括期望值μ和标准差σ)。
209.可以理解的是，本公开实施例在确定用于编码当前待处理特征的参考信息时，将当前待处理特征的相似信息作为其中一个因子，使得对图像进行编码的参考信息中体现了当前待处理特征在整个图像特征中的相似信息，也即全局信息。在图像编码过程中，针对当前待处理特征的编码流程参考了其相似特征，而不仅限于当前待处理特征的局部信息(局部信息可以包括当前待处理特征的周围特征，而相似特征则包括图像特征中除周围特征之外的其他特征，相似特征体现的是全局信息)。
210.在确定参考信息之后，可以针对该当前待处理特征进行编码。在编码过程中，可以基于参考信息确定当前待处理特征的码字长度，进而再根据该码字长度对当前待处理特征进行编码得到对应的码流。
211.本公开实施例在参考信息的确定过程中，通过从已解码特征或者已编码特征确定当前待处理特征的相似信息，该相似信息包括当前待处理特征的相似特征，进而根据该相似信息确定当前待处理特征的参考信息。通过这种方式，可以基于当前待处理特征在待编码图像对应的图像特征中的全局信息确定参考信息，使得当前待处理特征的编码流程能够参考图像特征中的全局信息，而不仅限于当前待处理特征的局部信息，针对重复纹理较多的图像，能够减少编码图像中全局信息的冗余，提高图像的压缩率。
212.图8示出根据本公开另一实施方式的图像处理方法的流程图。如图8所示，该图像处理方法包括以下步骤：
213.在步骤s801中，获取待解码图像中的已解码特征；
214.在步骤s802中，调用预设服务接口，以便由所述预设服务接口根据所述已解码特征，确定所述待解码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于解码所述当前待处理特征的参考信息；其中，所述相似信息包括相似特征；
215.在步骤s803中，输出所述参考信息。
216.本实施例中，该图像处理方法可以在云端执行。预设服务接口可以预先部署在云端，该预设服务接口可以是saas(software-as-a-service，软件即服务)接口，需求方可以预先获得该预设服务接口的使用权，在需要时可以通过调用该预设服务接口对待解码图像对应的编码码流进行处理，以便获得待解码图像中各特征的参考信息。
217.该图像处理方法适用于图像解码过程中用于确定解码当前待处理特征的参考信息。在图像解码过程中，已解码特征可以是待解码图像对应的图像特征中已经被解码的图像特征，而当前待处理特可以为当前待要解码的特征，在解码当前待处理特征时，图像特征中的已解码特征为已知特征，而未解码特征属于未知特征，需要经过后续的解码流程从编码码流中解码得到。本公开实施例适用于基于深度学习的图像解码方法，而基于深度学习
的网络模型可以采用自编码器模型。
218.在一些实施例中，图像的解码方法中，可以利用自编码器模型对编码码流进行解码获得待解码图像对应的图像特征，而在解码过程中，可以通过逐点解码的方式进行解码，并且针对图像特征中当前待处理特征进行解码时，可以通过本公开实施例公开的图像处理方法确定该当前待处理特征的参考信息，进而再根据该参考信息解码得到当前待处理特征，之后可以继续按照同样的方法解码下一特征。
219.在图像解码过程中，图像特征中的已处理特征可以包括在当前待处理特征之前解码的已解码特征。相似信息至少可以包括当前待处理特征的相似特征，在一些实施例中，该相似特征可以是已处理特征中与当前待处理特征最相似的特征。
220.在得到当前待处理特征的相似信息之后，可以根据该相似信息确定当前待处理特征的参考信息。参考信息可以是用于对当前待处理特征进行解码时所参考的信息。可以理解的是，通过从已解码特征进行全局搜索而获得当前待处理特征的相似特征，进而再根据该相似特征确定当前待处理特征的参考信息，使得对当前待处理特征的编码参考了当前待处理特征在图像特征中的全局信息的情况下，可以通过该参考信息从编码码流中解码出当前待处理特征。
221.在一些实施例中，以熵编码为例，参考信息可以是用于确定当前待处理特征采用的码字长度的熵编码信息，例如可以是用于表示该当前待处理特征在整个图像特征中出现概率的信息，一些情况下熵编码信息可以是当前待处理特征在图像特征中的高斯分布参数(可以包括期望值μ和标准差σ)。
222.可以理解的是，本公开实施例在确定用于解码当前待处理特征的参考信息时，将当前待处理特征的相似信息作为其中一个因子，使得对图像进行编码的参考信息中体现了当前待处理特征在整个图像特征中的相似信息，也即全局信息。由于在图像编码过程中，针对当前待处理特征的编码流程参考了其相似特征，而不仅限于当前待处理特征的局部信息(局部信息可以包括当前待处理特征的周围特征，而相似特征则包括图像特征中除周围特征之外的其他特征，相似特征体现的是全局信息)。
223.在确定参考信息之后，可以针对该当前待处理特征进行解码。在解码过程中，可以基于参考信息确定当前待处理特征的码字长度，进而再根据码字长度对当前待处理特征对应的码流进行解码得到当前待处理特征。
224.本公开实施例在参考信息的确定过程中，通过从已解码特征或者已编码特征确定当前待处理特征的相似信息，该相似信息包括当前待处理特征的相似特征，进而根据该相似信息确定当前待处理特征的参考信息。通过这种方式，可以基于当前待处理特征在图像特征中的全局信息确定参考信息，使得当前待处理特征的编码流程能够参考图像特征中的全局信息，而不仅限于当前待处理特征的局部信息，针对重复纹理较多的图像，能够减少编码图像中全局信息的冗余，提高图像的压缩率。
225.根据本公开另一实施方式的图像处理方法，该数据处理方法包括以下步骤：
226.获取待编码图像；
227.调用预设服务接口，以便由所述预设服务接口根据所述待编码图像中的已编码特征，确定所述待编码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于对所述当前待处理特征进行编码的参考信息，以及利用所述参考信息对所述当前待处理特征
进行编码；其中，所述相似信息包括相似特征；
228.输出编码结果。
229.本实施例中，该图像处理方法可以在云端执行。预设服务接口可以预先部署在云端，该预设服务接口可以是saas(software-as-a-service，软件即服务)接口，需求方可以预先获得该预设服务接口的使用权，在需要时可以通过调用该预设服务接口对待编码图像进行编码，以便获得待编码图像对应的编码码流。
230.该图像处理方法适用于图像编码过程中对待编码图像进行编码。在图像编码过程中，已编码特征和当前待处理特征可以是从待编码图像中提取的图像特征，已编码特征可以为当前已经编码过的特征，而当前待处理特征可以为当前待要编码的特征。本公开实施例适用于基于深度学习的图像编码方法，而基于深度学习的网络模型可以采用自编码器模型。
231.在一些实施例中，图像编码过程中，可以利用基于深度学习的自编码器模型中的编码网络对待编码图像进行下采样处理，经过下采样处理的结果经过量化后可以得到图像特征。
232.在图像编码过程中，已处理特征可以包括在当前待处理特征之前编码的已编码特征。相似信息至少可以包括当前待处理特征的相似特征，在一些实施例中，该相似特征可以是已处理特征中与当前待处理特征最相似的特征。
233.在得到当前待处理特征的相似信息之后，可以根据该相似信息确定当前待处理特征的参考信息。参考信息可以是用于对当前待处理特征进行编码时所参考的信息。可以理解的是，通过从已编码特征进行全局搜索而获得当前待处理特征的相似特征，进而再根据该相似特征确定当前待处理特征的参考信息，使得对当前待处理特征的编码过程参考了当前待处理特征在图像特征中的全局信息，也即通过这种方式使得图像能够参考全局信息进行编码。
234.在一些实施例中，以熵编码为例，参考信息可以是用于确定当前待处理特征采用的码字长度的熵编码信息，例如可以是用于表示该当前待处理特征在整个图像特征中出现概率的信息，一些情况下熵编码信息可以是当前待处理特征在图像特征中的高斯分布参数(可以包括期望值μ和标准差σ)。
235.可以理解的是，本公开实施例在确定用于编码当前待处理特征的参考信息时，将当前待处理特征的相似信息作为其中一个因子，使得对图像进行编码的参考信息中体现了当前待处理特征在整个图像特征中的相似信息，也即全局信息。在图像编码过程中，针对当前待处理特征的编码流程参考了其相似特征，而不仅限于当前待处理特征的局部信息(局部信息可以包括当前待处理特征的周围特征，而相似特征则包括图像特征中除周围特征之外的其他特征，相似特征体现的是全局信息)。
236.在确定参考信息之后，可以针对该当前待处理特征进行编码。在编码过程中，可以基于参考信息确定当前待处理特征的码字长度，进而再根据该码字长度对当前待处理特征进行编码得到对应的码流。在对待编码图像中所有特征进行编码后，可以获得该待编码图像的编码码流，可以将该编码码流输出给需求方。
237.本公开实施例在参考信息的确定过程中，通过从已解码特征或者已编码特征确定当前待处理特征的相似信息，该相似信息包括当前待处理特征的相似特征，进而根据该相
似信息确定当前待处理特征的参考信息。通过这种方式，可以基于当前待处理特征在待编码图像对应的图像特征中的全局信息确定参考信息，使得当前待处理特征的编码流程能够参考图像特征中的全局信息，而不仅限于当前待处理特征的局部信息，针对重复纹理较多的图像，能够减少编码图像中全局信息的冗余，提高图像的压缩率。
238.根据本公开另一实施方式的图像处理方法，该图像处理方法包括以下步骤：
239.获取待解码图像的编码码流；
240.调用预设服务接口，以便由所述预设服务接口根据所述编码码流得到的已解码特征，确定所述待解码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于解码所述当前待处理特征的参考信息，以及基于所述参考信息解码得到所述当前待处理特征；所述相似信息包括相似特征；
241.输出解码结果。
242.本实施例中，该图像处理方法可以在云端执行。预设服务接口可以预先部署在云端，该预设服务接口可以是saas(software-as-a-service，软件即服务)接口，需求方可以预先获得该预设服务接口的使用权，在需要时可以通过调用该预设服务接口对待解码图像对应的编码码流进行解码，以便获得待解码图像的图像特征。
243.该图像处理方法适用于图像解码过程中用于确定待解码图像的图像特征。在图像解码过程中，已解码特征可以是待解码图像对应的图像特征中已经被解码的图像特征，而当前待处理特可以为当前待要解码的特征，在解码当前待处理特征时，图像特征中的已解码特征为已知特征，而未解码特征属于未知特征，需要经过后续的解码流程从编码码流中解码得到。本公开实施例适用于基于深度学习的图像解码方法，而基于深度学习的网络模型可以采用自编码器模型。
244.在一些实施例中，图像的解码方法中，可以利用自编码器模型对编码码流进行解码获得待解码图像对应的图像特征，而在解码过程中，可以通过逐点解码的方式进行解码，并且针对图像特征中当前待处理特征进行解码时，可以通过本公开实施例公开的图像处理方法确定该当前待处理特征的参考信息，进而再根据该参考信息解码得到当前待处理特征，之后可以继续按照同样的方法解码下一特征。
245.在图像解码过程中，图像特征中的已处理特征可以包括在当前待处理特征之前解码的已解码特征。相似信息至少可以包括当前待处理特征的相似特征，在一些实施例中，该相似特征可以是已处理特征中与当前待处理特征最相似的特征。
246.在得到当前待处理特征的相似信息之后，可以根据该相似信息确定当前待处理特征的参考信息。参考信息可以是用于对当前待处理特征进行解码时所参考的信息。可以理解的是，通过从已解码特征进行全局搜索而获得当前待处理特征的相似特征，进而再根据该相似特征确定当前待处理特征的参考信息，使得对当前待处理特征的编码参考了当前待处理特征在图像特征中的全局信息的情况下，可以通过该参考信息从编码码流中解码出当前待处理特征。
247.在一些实施例中，以熵编码为例，参考信息可以是用于确定当前待处理特征采用的码字长度的熵编码信息，例如可以是用于表示该当前待处理特征在整个图像特征中出现概率的信息，一些情况下熵编码信息可以是当前待处理特征在图像特征中的高斯分布参数(可以包括期望值μ和标准差σ)。
248.可以理解的是，本公开实施例在确定用于解码当前待处理特征的参考信息时，将当前待处理特征的相似信息作为其中一个因子，使得对图像进行编码的参考信息中体现了当前待处理特征在整个图像特征中的相似信息，也即全局信息。由于在图像编码过程中，针对当前待处理特征的编码流程参考了其相似特征，而不仅限于当前待处理特征的局部信息(局部信息可以包括当前待处理特征的周围特征，而相似特征则包括图像特征中除周围特征之外的其他特征，相似特征体现的是全局信息)。
249.在确定参考信息之后，可以针对该当前待处理特征进行解码。在解码过程中，可以基于参考信息确定当前待处理特征的码字长度，进而再根据码字长度对当前待处理特征对应的码流进行解码得到当前待处理特征，在获得待解码图像中的所有图像特征之后，可以将该图像特征输出给需求方。
250.本公开实施例在参考信息的确定过程中，通过从已解码特征或者已编码特征确定当前待处理特征的相似信息，该相似信息包括当前待处理特征的相似特征，进而根据该相似信息确定当前待处理特征的参考信息。通过这种方式，可以基于当前待处理特征在图像特征中的全局信息确定参考信息，使得当前待处理特征的编码流程能够参考图像特征中的全局信息，而不仅限于当前待处理特征的局部信息，针对重复纹理较多的图像，能够减少编码图像中全局信息的冗余，提高图像的压缩率。
251.下述为本公开装置实施例，可以用于执行本公开方法实施例。
252.根据本公开一实施方式的图像处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该图像处理装置包括：
253.特征获取模块，被配置为获取待处理图像中的已处理特征；
254.第一确定模块，被配置为根据已处理特征确定当前待处理特征的相似信息；其中，所述相似信息包括相似特征；
255.第二确定模块，被配置为基于所述相似信息，确定对所述当前待处理特征进行处理时的参考信息。
256.在本实施例的一个可选实现方式中，所述当前待处理特征的编码流程中，所述已处理特征包括待处理图像中的已编码特征；所述当前待处理特征的解码流程中，所述已处理特征包括所述待处理图像中的已解码特征。
257.在本实施例的一个可选实现方式中，所述方法还包括：
258.第一获取模块，被配置为获取所述待处理图像；
259.压缩模块，被配置为利用第一自编码器模型中的编码网络对所述待处理图像进行压缩，得到压缩特征；
260.量化模块，被配置为对所述压缩特征进行量化得到所述待处理图像对应的图像特征。
261.在本实施例的一个可选实现方式中，所述相似信息还包括所述当前待处理特征与所述相似特征之间的相似度。
262.在本实施例的一个可选实现方式中，所述第一确定模块，包括：
263.搜索子模块，被配置为利用所述当前待处理特征的局部信息从所述已处理特征搜索得到所述相似特征；
264.第一确定子模块，被配置为确定所述当前待处理特征与所述相似特征的相似度。
265.在本实施例的一个可选实现方式中，所述第二确定模块，包括：
266.第一获取子模块，被配置为根据所述相似特征以及所述相似特征的局部信息获取用于确定所述参考信息的第一辅助信息；
267.第二确定子模块，被配置为利用所述相似度对所述第一辅助信息加权操作之后确定所述参考信息。
268.在本实施例的一个可选实现方式中，所述装置还包括：
269.第二获取模块，被配置为根据所述当前待处理特征的局部信息获取用于确定所述参考信息的第二辅助信息；
270.第三获取模块，被配置为根据所述第二辅助信息获得所述当前待处理特征在所述待处理图像中的第一概率估计；
271.第四获取模块，被配置为根据所述第一概率估计获得所述当前待处理特征的置信度。
272.在本实施例的一个可选实现方式中，所述第二确定子模块，包括：
273.结合子模块，被配置为将所述第一辅助信息和第二辅助信息进行结合得到第一结合结果；
274.过滤子模块，被配置为利用所述相似度和所述置信度对所述第一结合结果进行过滤得到过滤结果；
275.第二获取子模块，被配置为根据所述过滤结果和所述第一概率估计得到所述当前待处理特征的第二概率估计。
276.在本实施例的一个可选实现方式中，所述装置还包括：
277.第五获取模块，被配置为利用第二自编码器模型从所述待处理图像对应的图像特征获取用于确定所述参考信息的第三辅助信息；
278.第一结合模块，被配置为将所述第一辅助信息、所述第二辅助信息和所述第三辅助信息进行结合得到第二结合结果；
279.第六获取模块，被配置为利用第二结合结果和所述第二概率估计得到所述当前待处理特征的第三概率估计。
280.在本实施例的一个可选实现方式中，所述装置还包括：
281.第七获取模块，被配置为获取所述待处理图像对应的第二编码码流；
282.第八获取模块，被配置为利用第二自编码器模型从所述第二编码码流获取用于确定所述参考信息的第三辅助信息；
283.第二结合模块，被配置为将所述第一辅助信息、所述第二辅助信息和所述第三辅助信息进行结合得到第二结合结果；
284.第九获取模块，被配置为利用第二结合结果和所述第二概率估计得到所述当前待处理特征的第三概率估计。
285.在本实施例的一个可选实现方式中，所述第二确定子模块，还包括：
286.第三确定子模块，被配置为根据所述第三概率估计确定所述参考信息。
287.本实施例中的图像处理装置与图1所示实施例及相关实施例中的图像处理装置对应一致，具体细节可以参见上述对图1所示实施例及相关实施例的描述，在此不再赘述。
288.根据本公开一实施方式的图像编码装置，该装置可以通过软件、硬件或者两者的
结合实现成为电子设备的部分或者全部。该图像编码装置包括：
289.第十获取模块，被配置为获取待处理图像；
290.第十一获取模块，被配置为利用上述图像处理方法获取对所述待编码图像中各特征进行编码时的参考信息；
291.编码模块，被配置为利用所述参考信息对所述待编码图像进行编码。
292.本实施例中的图像处理装置与图5所示实施例及相关实施例中的图像编码装置对应一致，具体细节可以参见上述对图5所示实施例及相关实施例的描述，在此不再赘述。
293.根据本公开一实施方式的图像解码装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该图像解码装置包括：
294.第十二获取模块，被配置为获取待解码图像的编码码流；
295.第十三获取模块，被配置为利用上述图像处理方法获取用于解码所述待解码图像中各特征的参考信息；
296.解码模块，被配置为利用所述参考信息对所述编码码流进行解码。
297.本实施例中的图像处理装置与图6所示实施例及相关实施例中的图像处理装置对应一致，具体细节可以参见上述对图6所示实施例及相关实施例的描述，在此不再赘述。
298.根据本公开另一实施方式的图像处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该图像处理装置包括：
299.第十四获取模块，被配置为获取待编码图像中的已编码特征；
300.第一调用模块，被配置为调用预设服务接口，以便由所述预设服务接口根据所述已编码特征，确定所述待编码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于对所述当前待处理特征进行编码时的参考信息；其中，所述相似信息包括相似特征；
301.第一输出模块，被配置为输出所述参考信息。
302.本实施例中的图像处理装置与图7所示实施例及相关实施例中的图像处理装置对应一致，具体细节可以参见上述对图7所示实施例及相关实施例的描述，在此不再赘述。
303.根据本公开另一实施方式的图像处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该图像处理装置包括：
304.第十五获取模块，被配置为获取待解码图像中的已解码特征；
305.第二调用模块，被配置为调用预设服务接口，以便由所述预设服务接口根据所述已解码特征，确定所述待解码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于解码所述当前待处理特征的参考信息；其中，所述相似信息包括相似特征；
306.第二输出模块，被配置为输出所述参考信息。
307.本实施例中的图像处理装置与图8所示实施例及相关实施例中的图像处理装置对应一致，具体细节可以参见上述对图8所示实施例及相关实施例的描述，在此不再赘述。
308.根据本公开另一实施方式的图像处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该图像处理装置包括：
309.第十六获取模块，被配置为获取待编码图像；
310.第三调用模块，被配置为调用预设服务接口，以便由所述预设服务接口根据所述待编码图像中的已编码特征，确定所述待编码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于对所述当前待处理特征进行编码时的参考信息，以及利用所述参
考信息对所述当前待处理特征进行编码；其中，所述相似信息包括相似特征；
311.第三输出模块，被配置为输出编码结果。
312.本实施例中的图像处理装置与上述相关实施例中的图像处理装置对应一致，具体细节可以参见上述相关实施例的描述，在此不再赘述。
313.根据本公开另一实施方式的图像处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该图像处理装置包括：
314.第十七获取模块，被配置为获取待解码图像的编码码流；
315.第四调用模块，被配置为调用预设服务接口，以便由所述预设服务接口根据所述编码码流得到的已解码特征，确定所述待解码图像中当前待处理特征的相似信息，并基于所述相似信息，确定用于解码所述当前待处理特征的参考信息，以及基于所述参考信息解码得到所述当前待处理特征；所述相似信息包括相似特征；
316.第四输出模块，被配置为输出解码结果。
317.本实施例中的图像处理装置与上述相关实施例中的图像处理装置对应一致，具体细节可以参见上述相关实施例的描述，在此不再赘述。
318.图9是适于用来实现根据本公开实施方式的图像处理方法、图像编码方法和/或图像解码方法的电子设备的结构示意图。
319.如图9所示，电子设备900包括处理单元901，其可实现为cpu、gpu、fpga、npu等处理单元。处理单元901可以根据存储在只读存储器(rom)902中的程序或者从存储部分908加载到随机访问存储器(ram)903中的程序而执行本公开上述任一方法的实施方式中的各种处理。在ram903中，还存储有电子设备900操作所需的各种程序和数据。处理单元901、rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
320.以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
321.特别地，根据本公开的实施方式，上文参考本公开实施方式中的任一方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中任一方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。
322.附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用
执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
323.描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
324.作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
325.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。