一种图像处理方法以及相关设备与流程

1.本技术涉及人工智能领域，尤其涉及一种图像处理方法以及相关设备。


背景技术：

2.如今多媒体数据占据了互联网的绝大部分流量。对于图像数据的压缩对于多媒体数据的存储和高效传输有着至关重要的作用。所以图像编码是一项具有重大实用价值的技术。
3.对于图像编码的研究已经有较长的历史，研究人员提出了大量的方法，并制定了多种国际标准，比如jpeg，jpeg2000，webp，bpg等图像编码标准。这些编码方法虽然在目前都得到了广泛应用，但是针对现在不断增长的图像数据量及不断出现的新媒体类型，这些传统方法显示出了某些局限性。近年来，开始有研究人员开展了基于深度学习图像编码方法的研究。有些研究人员已经取得了不错的成果，比如ball
é
等人提出了一种端到端优化的图像编码方法，取得了超越目前最好的图像编码性能，甚至超越了目前最好的传统编码标准bpg。深度学习图像编码是一种有损图像编码技术，深度学习图像编码的一般流程如下：在编码端提取图像的自适应数据，利用自适应数据对图像进行预处理，通过编码神经网络对预处理后的图像进行编码得到压缩数据，在解码端对压缩数据进行解码，得到与原始图像相近的图像。
4.虽然上述深度学习图像编码相对于传统编码方法有较大的进步，但如何降低编码过程中图像质量的损失，是有损图像编码技术一直需要解决的问题。


技术实现要素：

5.本技术提供了一种图像处理方法以及相关设备，用于提升图像质量。
6.本技术第一方面提供了一种图像处理方法，所述方法包括：
7.编码端获取第一图像，然后分割第一图像，获得n个第一图块，n为大于1的整数。编码端从n个第一图块中获取n个第一自适应数据，n个第一自适应数据与n个第一图块一一对应。编码端通过n个第一自适应数据对n个第一图块进行预处理。在预处理后，编码端通过编码神经网络处理预处理后n个第一图块，得到n组第一特征图。编码端对n组第一特征图进行量化和熵编码，得到n个第一编码表示。其中，通过提取多个自适应信息，该多个自适应信息可用于对多个重构图块进行补偿，从而凸显局部特性，提升第二图像的图像质量。
8.在第一方面的一种可选设计中，如果对n个第一编码表示进行熵解码，可得到n组第二特征图。如果通过解码神经网络处理n组第二特征图，可得到n个第一重构图块，n个第一自适应数据用于对n个第一重构图块进行补偿。如果通过组合补偿后的n个第一重构图块，可得到第二图像。
9.在第一方面的一种可选设计中，所述方法还包括：编码端向解码端发送n个第一编码表示，n个第一自适应数据和对应关系，对应关系包括n个第一自适应数据和n个第一编码表示的对应关系。
10.在第一方面的一种可选设计中，所述方法还包括：编码端量化n个第一自适应数据，获得n个第一自适应量化数据。编码端向解码端发送n个第一自适应量化数据，n个第一自适应量化数据用于对n个第一重构图块进行补偿。其中，n为大于1的整数，编码端需要获取多个第一自适应数据。相比于只从第一图像中获取一个自适应数据，在获取多个自适应数据时，量化第一自适应数据，可以减少第一自适应数据的数据量。
11.在第一方面的一种可选设计中，n越大，单个第一自适应量化数据的信息熵越小。其中，n越大，第一图块的数量越多，第一自适应量化数据的数量越多。在此情况下，通过减少第一自适应量化数据的信息熵，可以进一步提升第一自适应数量的量化程度，减少第一自适应数据的数据量。
12.在第一方面的一种可选设计中，n个第一编码表示的排列顺序和n个第一图块的排列顺序相同，n个第一图块的排列顺序为n个第一图块在第一图像中的排列顺序，对应关系包括n个第一编码表示的排列顺序和n个第一图块的排列顺序。相比于只从第一图像中获取一个自适应数据，本技术中存在多个自适应数据和多个第一图块。因此，本技术需要保证多个自适应数据和多个第一图块的对应关系。通过排列顺序来保证上述对应关系，可以减少数据量。
13.在第一方面的一种可选设计中，如果通过融合神经网络处理第二图像，得到第三图像，融合神经网络用于降低第二图像与第一图像的差异，差异包括块效应。本技术通过凸显每个图像块的局部特性，增强了每个图块的表现，但也因此容易造成图块与图块之间的块效应。通过融合神经网络处理第二图像，可以减少块效应造成的影响，提升图像质量。
14.在第一方面的一种可选设计中，n个第一图块中的每个第一图块的大小相同。其中，每个第一图块的大小相同，则在编码神经网络中的特征图和卷积层的运算中，每个图块的参与卷积运算中的乘法次数和加法次数相同，从而可以提升运算效率。
15.在第一方面的一种可选设计中，当所述方法用于分割不同大小的所述第一图像时，所述第一图块的大小为固定值。其中，编码端在处理不同大小的图像时，将图像分割为大小相同的图块。通过固定第一图块的大小，使得卷积运算单元与图块的高匹配成为可能，从而可以减轻卷积运算单元的成本或提高卷积运算单元的使用效率。
16.在第一方面的一种可选设计中，第一图块的像素为a
×
b，a和b是根据目标像素得到的，目标像素为c
×
d，等于整数，等于整数，a和c为宽度方向上的像素点数量，b和d为高度方向上的像素点数量，目标像素是根据终端设备的目标分辨率得到的，终端设备包括摄像部件，摄像部件在目标分辨率的设置下得到的图像的像素为目标像素，第一图像由摄像部件获得。编码端和/或解码端可以是终端设备，也可以不是终端设备。其中，在目标分辨力的设置下，编码端得到的图像可以刚好被划分成不同的图块，从而避免填充无用的数据，提升图像质量。
17.在第一方面的一种可选设计中，目标分辨率是根据摄像应用中的设置界面对摄像部件的分辨率设置得到的。其中，摄像应用的设置界面可对摄像部件拍摄得到的分辨力进行设置。将设置界面中已经选定的分辨力作为目标分辨力，提高目标分辨力的获取效率。
18.在第一方面的一种可选设计中，目标分辨率是根据摄像部件得到的图库中的目标图像组得到的，目标图像组的像素为目标像素，在不同像素的图像组中，目标图像组在图库
中的比值最大。其中，编码端通过摄像部件得到的图库包括不同像素的图像组。通过目标图像组确定目标像素，可以保证大多数图像刚好可以被划分成不同的图块，从而避免填充无用的数据，提升图像质量。
19.在第一方面的一种可选设计中，其特征在于，通过摄像部件得到多个像素的图像，多个像素为e
×
f，等于整数，等于整数，e包括c，f包括d。其中，终端设备可通过摄像部件得到不同像素的图像，e
×
f是不同像素的图像的像素集合。本技术限定摄像部件得到的不同像素的图像都能刚好被划分成不同的图块，避免填充无用的数据，从而提升图像质量。
20.在第一方面的一种可选设计中，多个像素是通过摄像应用中的设置界面对摄像部件的分辨率设置得到的。
21.在第一方面的一种可选设计中，第一图块的像素为a
×
b，a为宽度方向上的像素点数量，b为高度方向上的像素点数量，第一图像的的像素为r
×
t。在获取第一图像后，在分割第一图像之前，方法还包括：若不等于整数，和/或不等于整数，则用像素中值填充所述第一图像的边缘，使得等于整数，等于整数，填充后的第一图像的像素为r1
×
t1。其中，第一图块的大小是固定的，编码端可能需要面对不同像素的图像，即有些像素的图像可能无法被刚好划分。在图像无法被刚好划分的情况下，用图像中值填充图像的边缘，可以在降低对图像质量的影响的情况下，提高模型的兼容性。图像中值是像素点的中值。
22.在第一方面的一种可选设计中，在获取第一图像后，在填充所述第一图像的边缘之前，所述方法还包括：若不等于整数，则等比放大r和t，得到像素为r2
×
t2的第一图像，等于整数。若不等于整数，则用像素中值填充所述第一图像的边缘。其中，填充像素中值的图块的数量会影响图像的质量。通过等比放大图像，减少填充图像中值的图块的数量，提升图像质量。
23.在第一方面的一种可选设计中，在等比放大r和t后，若不等于整数，则获取的余数。若余数大于则只在第一图像的宽度方向的一侧填充像素中值。其中，只在图像的一侧填充像素中值，在减少填充对图像块的影响的情况下，进一步减少填充图像中值的图块的数量，提升图像质量。
24.在第一方面的一种可选设计中，若余数小于则在第一图像的宽度方向的二侧填充像素中值，使得每侧填充的所述像素中值的宽度为其中，g为所述余数。其中，减少填充对图像块的影响，提升图像质量。
25.在第一方面的一种可选设计中，n个第一图块包括第一目标图块，第一目标图块的像素值的范围小于第一图像的像素值的范围。在从n个第一图块中获取n个第一自适应数据之前，所述方法还包括：编码端反量化第一目标图块的像素值。编码端从反量化后的第一目标图块获取一个第一自适应数据。反量化第一目标图块的像素值，进一步凸显图像的局部特性。
26.本技术第二方面提供了一种图像处理方法，所述方法包括：
27.解码端获取n个第一编码表示，n个第一自适应数据和对应关系。对应关系包括n个第一自适应数据和n个第一编码表示的对应关系。n个第一自适应数据与n个第一编码一一对应，n为大于1的整数。解码端对n个第一编码表示进行熵解码，得到n组第二特征图。解码端通过解码神经网络处理n组第二特征图，得到n个第一重构图块。解码端通过n个第一自适应数据补偿n个第一重构图块。解码端组合补偿后的n个第一重构图块，以获得第二图像。其中，通过多个自适应数据对多个重构图块进行补偿，凸显每个图块的局部特性，从而提升第二图像的图像质量。
28.在第二方面的一种可选设计中，n个第一编码表示是通过n组第一特征图量化和熵编码得到的，n组第一特征图是通过编码神经网络处理预处理后的n个第一图块得到的，预处理后的n个第一图块是通过n个第一自适应数据对n个第一图块进行预处理得到的，n个第一自适应数据是从n个第一图块中得到的，n个第一图块是通过分割第一图像得到的。
29.在第二方面的一种可选设计中，n个第一自适应数据为n个第一自适应量化数据，n个第一自适应量化数据是通过量化n个第一自适应数据得到的。解码端具体通过n个第一自适应量化数据补偿n个第一重构图块。
30.在第二方面的一种可选设计中，n越大，单个第一自适应量化数据的信息熵越小。
31.在第二方面的一种可选设计中，n个第一编码表示的排列顺序和n个第一图块的排列顺序相同，n个第一图块的排列顺序为n个第一图块在第一图像中的排列顺序，对应关系包括n个第一编码表示的排列顺序和n个第一图块的排列顺序。
32.在第二方面的一种可选设计中，所述方法还包括：解码端通过融合神经网络处理第二图像，得到第三图像。通过融合神经网络处理第二图像，以降低第二图像与第一图像的差异，差异包括块效应。
33.在第二方面的一种可选设计中，n个第一图块中的每个第一图块的大小相同。
34.在第二方面的一种可选设计中，当所述方法用于组合生成不同大小的第二图像时，所述第一图块的大小为固定值。在第二方面的一种可选设计中，第一图块的像素为a
×
b。a和b是根据目标像素得到的，目标像素为c
×
d，等于整数，等于整数，a和c为宽度方向上的像素点数量，b和d为高度方向上的像素点数量。目标像素是根据终端设备的目标分辨率得到的，终端设备包括摄像部件，摄像部件在目标分辨率的设置下得到的图像的像素为目标像素，第一图像由摄像部件获得。
35.在第二方面的一种可选设计中，目标分辨率是根据摄像应用中的设置界面对摄像部件的分辨率设置得到的。
36.在第二方面的一种可选设计中，目标分辨率是根据摄像部件得到的图库中的目标图像组得到的，目标图像组的像素为目标像素。在不同像素的图像组中，目标图像组在图库中的比值最大。
37.在第二方面的一种可选设计中，通过摄像部件得到多个像素的图像，多个像素为e
×
f，等于整数，等于整数，e包括c，f包括d。
38.在第二方面的一种可选设计中，多个像素可通过摄像应用中的设置界面对摄像部件的分辨率设置得到。
39.在第二方面的一种可选设计中，第一图块的像素为a
×
b，a为宽度方向上的像素点
数量，b为高度方向上的像素点数量，第一图像的像素为r
×
t。在不等于整数，和/或不等于整数的情况下，第一图像的边缘被像素中值填充，使得等于整数，等于整数，填充后的第一图像的像素为r1
×
t1。
40.在第二方面的一种可选设计中，在不等于整数的情况下，r和t被编码端等比放大，得到了像素为r2
×
t2的第一图像，等于整数。
41.在第二方面的一种可选设计中，若不等于整数，的余数大于第一图像只在宽度方向的一侧被填充像素中值。
42.在第二方面的一种可选设计中，若余数小于第一图像在宽度方向的二侧被填充像素中值，每侧填充的像素中值的宽度为其中，g为余数。
43.在第二方面的一种可选设计中，n个第一图块包括第一目标图块，第一目标图块的像素值的范围小于第一图像的像素值的范围，至少其中一个第一自适应数据是从反量化后的第一目标图块得到的，反量化后的第一目标图块是通过反量化第一目标图块的像素值得到的。
44.本技术第三方面提供了一种模型训练方法，所述方法包括：
45.获取第一图像；
46.分割所述第一图像，获得n个第一图块，n为大于1的整数；
47.从所述n个第一图块中获取n个第一自适应数据，所述n个第一自适应数据与所述n个第一图块一一对应；
48.根据所述n个第一自适应数据对所述n个第一图块进行预处理；
49.通过第一编码神经网络处理预处理后的n个第一图块，得到n组第一特征图；
50.对所述n组第一特征图进行量化和熵编码，得到n个第一编码表示；
51.对所述n个第一编码表示进行熵解码，得到n组第二特征图；
52.通过第一解码神经网络处理所述n组第二特征图，得到n个第一重构图块；
53.通过所述n个第一自适应数据补偿所述n个第一重构图块；
54.组合补偿后的n个第一重构图块，得到第二图像；
55.获取所述第二图像相对于所述第一图像的失真损失；
56.利用损失函数对模型进行联合训练，直至所述第一图像与所述第二图像之间的图像失真值达到第一预设程度，所述模型包括所述第一编码神经网络、量化网络、熵编码网络、熵解码网络、所述第一解码神经网络。可选地，所述模型还包括分割网络，分割网络中的可训练的参数为第一图块的大小。
57.输出第二编码神经网络和第二解码神经网络，所述第二编码神经网络为所述第一编码神经网络执行过迭代训练后得到的模型，所述第二解码神经网络为所述第一解码神经网络执行过迭代训练后得到的模型。
58.在第三方面的一种可选设计中，所述方法还包括：
59.量化所述n个第一自适应数据，获得n个第一自适应量化数据，所述n个第一自适应
量化数据用于对所述n个第一重构图块进行补偿；
60.在第三方面的一种可选设计中，所述n越大，单个第一自适应量化数据的信息熵越小。
61.在第三方面的一种可选设计中，所述n个第一编码表示的排列顺序和所述n个第一图块的排列顺序相同，所述n个第一图块的排列顺序为所述n个第一图块在所述第一图像中的排列顺序。
62.在第三方面的一种可选设计中，通过融合神经网络处理所述第二图像，得到第三图像，所述融合神经网络用于降低所述第二图像与所述第一图像的差异，所述差异包括块效应；
63.获取所述第二图像相对于所述第一图像的失真损失包括：
64.获取所述第三图像相对于所述第一图像的失真损失；
65.所述模型包括融合神经网络。
66.在第三方面的一种可选设计中，所述n个第一图块中的每个第一图块的大小相同。
67.在第三方面的一种可选设计中，在两次迭代训练中，训练用的第一图像的大小不同，第一图块的大小为固定值。
68.在第三方面的一种可选设计中，所述第一图块的像素为a
×
b，所述a和所述b是根据目标像素得到的，所述目标像素为c
×
d，等于整数，等于整数，所述a和c为宽度方向上的像素点数量，所述b和d为高度方向上的像素点数量，所述目标像素是根据终端设备的目标分辨率得到的，所述终端设备包括摄像部件，所述摄像部件在所述目标分辨率的设置下得到的图像的像素为所述目标像素，第一图像由所述摄像部件获得。
69.在第三方面的一种可选设计中，所述目标分辨率是根据摄像应用中的设置界面对所述摄像部件的分辨率设置得到的。
70.在第三方面的一种可选设计中，所述目标分辨率是根据所述摄像部件得到的图库中的目标图像组得到的，所述目标图像组的像素为所述目标像素，在不同像素的图像组中，所述目标图像组在所述图库中的比值最大。
71.在第三方面的一种可选设计中，通过所述摄像部件得到多个像素的图像，所述多个像素为e
×
f，等于整数，等于整数，所述e包括所述c，所述f包括所述d。
72.在第三方面的一种可选设计中，所述多个像素是通过所述摄像应用中的设置界面对所述摄像部件的分辨率设置得到的。
73.在第三方面的一种可选设计中，所述第一图块的像素为a
×
b，所述a为宽度方向上的像素点数量，所述b为高度方向上的像素点数量，所述第一图像的像素为r
×
t；
74.在获取所述第一图像后，在分割所述第一图像之前，所述方法还包括：
75.若不等于整数，和/或不等于整数，则用像素中值填充所述第一图像的边缘，使得等于整数，等于整数，填充后的所述第一图像的像素为r1
×
t1。
76.在第三方面的一种可选设计中，在获取所述第一图像后，在填充所述第一图像的边缘之前，所述方法还包括：
77.若所述不等于整数，则等比放大所述r和所述t，得到像素为r2
×
t2的所述第一图像，所述等于整数；
78.所述若不等于整数，和/或不等于整数，则用像素中值填充所述第一图像的边缘包括：
79.若不等于整数，则用像素中值填充所述第一图像的边缘。
80.在第三方面的一种可选设计中，在等比放大r和t后，若不等于整数，则获取的余数。若余数大于则只在第一图像的宽度方向的一侧填充像素中值。
81.在第三方面的一种可选设计中，若所述余数小于则在所述第一图像的宽度方向的二侧填充所述像素中值，使得每侧填充的所述像素中值的宽度为其中，所述g为所述余数。
82.在第三方面的一种可选设计中，所述n个第一图块包括第一目标图块，所述第一目标图块的像素值的范围小于所述第一图像的像素值的范围；
83.在从所述n个第一图块中获取n个第一自适应数据之前，所述方法还包括：
84.反量化所述第一目标图块的像素值；
85.从所述n个第一图块中获取n个第一自适应数据包括：
86.从反量化后的所述第一目标图块获取所述一个第一自适应数据。
87.本技术第四方面提供了一种编码装置，所述装置包括：
88.第一获取模块，用于获取第一图像；
89.分割模块，用于分割第一图像，获得n个第一图块，n为大于1的整数；
90.第二获取模块，用于从n个第一图块中获取n个第一自适应数据，n个第一自适应数据与n个第一图块一一对应；
91.预处理模块，用于根据n个第一自适应数据对n个第一图块进行预处理；
92.编码神经网络模块，通过编码神经网络处理预处理后的n个第一图块，得到n组第一特征图；
93.量化和熵编码模块，用于对n组第一特征图进行量化和熵编码，得到n个第一编码表示。
94.在第四方面的一种可选设计中，n个第一编码表示用于进行熵解码，得到n组第二特征图，n组第二特征图用于通过解码神经网络处理，得到n个第一重构图块，n个第一自适应数据用于对n个第一重构图块进行补偿，补偿后的n个第一重构图块用于组合成第二图像。
95.在第四方面的一种可选设计中，所述装置还包括：
96.发送模块，用于向解码端发送n个第一编码表示，n个第一自适应数据和对应关系，对应关系包括n个第一自适应数据和n个第一编码表示的对应关系。
97.在第四方面的一种可选设计中，所述装置还包括：
98.量化模块，用于量化n个第一自适应数据，获得n个第一自适应量化数据，n个第一自适应量化数据用于对n个第一重构图块进行补偿；
99.发送模块具体用于向解码端发送n个第一自适应量化数据。
100.在第四方面的一种可选设计中，n越大，单个第一自适应量化数据的信息熵越小。
101.在第四方面的一种可选设计中，n个第一编码表示的排列顺序和n个第一图块的排列顺序相同，n个第一图块的排列顺序为n个第一图块在第一图像中的排列顺序，对应关系包括n个第一编码表示的排列顺序和n个第一图块的排列顺序。
102.在第四方面的一种可选设计中，第二图像用于通过融合神经网络处理，得到第三图像，融合神经网络用于降低第二图像与第一图像的差异，差异包括块效应。
103.在第四方面的一种可选设计中，n个第一图块中的每个第一图块的大小相同。
104.在第四方面的一种可选设计中，当所述装置用于处理不同大小的所述第一图像时，所述第一图块的大小为固定值。在第四方面的一种可选设计中，第一图块的像素为a
×
b，a和b是根据目标像素得到的。目标像素为c
×
d，等于整数，等于整数，所述a和c为宽度方向上的像素点数量，所述b和d为高度方向上的像素点数量。目标像素是根据终端设备的目标分辨率得到的，终端设备包括摄像部件，摄像部件在所述目标分辨率的设置下得到的图像的像素为目标像素，第一图像由摄像部件获得。
105.在第四方面的一种可选设计中，目标分辨率是根据摄像应用中的设置界面对摄像部件的分辨率设置得到的。
106.在第四方面的一种可选设计中，目标分辨率是根据摄像部件得到的图库中的目标图像组得到的，目标图像组的像素为目标像素，在不同像素的图像组中，目标图像组在图库中的比值最大。
107.在第四方面的一种可选设计中，通过摄像部件得到多个像素的图像，多个像素为e
×
f，等于整数，等于整数，e包括c，f包括d。
108.在第四方面的一种可选设计中，多个像素是通过摄像应用中的设置界面对摄像部件的分辨率设置得到的。
109.在第四方面的一种可选设计中，第一图块的像素为a
×
b，a为宽度方向上的像素点数量，b为高度方向上的像素点数量，第一图像的像素为r
×
t。所述装置还包括：
110.填充模块，用于若不等于整数，和/或不等于整数，则用像素中值填充所述第一图像的边缘，使得等于整数，等于整数，填充后的所述第一图像的像素为r1
×
t1。
111.在第四方面的一种可选设计中，所述装置还包括：
112.放大模块，用于若所述不等于整数，则等比放大所述r和所述t，得到像素为r2
×
t2的所述第一图像，所述等于整数；
113.填充模块具体用于若不等于整数，则用像素中值填充所述第一图像的边缘。
114.在第四方面的一种可选设计中，所述第二获取单元还用于若不等于整数，则获
取的余数；
115.所述填充模块具体用于若余数大于则只在第一图像的宽度方向的一侧填充像素中值。
116.在第四方面的一种可选设计中，所述填充模块具体用于若余数小于则在第一图像的宽度方向的二侧填充像素中值，使得每侧填充的像素中值的宽度为其中，g为所述余数。
117.在第四方面的一种可选设计中，n个第一图块包括第一目标图块，第一目标图块的像素值的范围小于所述第一图像的像素值的范围。所述装置还包括：
118.反量化模块，用于反量化第一目标图块的像素值；
119.第二获取模块具体用于从反量化后的所述第一目标图块获取一个第一自适应数据。
120.本技术第五方面提供了一种解码装置，所述解码装置包括：
121.获取模块，用于获取n个第一编码表示，n个第一自适应数据和对应关系，对应关系包括n个第一自适应数据和n个第一编码表示的对应关系，n个第一自适应数据与n个第一编码一一对应，n为大于1的整数；
122.熵解码模块，对n个第一编码表示进行熵解码，得到n组第二特征图；
123.解码神经网络模块，用于处理n组第二特征图，得到n个第一重构图块；
124.补偿模块，用于通过n个第一自适应数据补偿n个第一重构图块；
125.组合模块，用于组合补偿后的n个第一重构图块，得到第二图像。
126.在第五方面的一种可选设计中，所述n个第一编码表示是通过n组第一特征图量化和熵编码得到的，所述n组第一特征图是通过编码神经网络处理预处理后的n个第一图块得到的，所述预处理后的n个第一图块是通过所述n个第一自适应数据对n个第一图块进行预处理得到的，所述n个第一自适应数据是从所述n个第一图块中得到的，所述n个第一图块是通过分割第一图像得到的。
127.在第五方面的一种可选设计中，n个第一自适应数据为n个第一自适应量化数据，n个第一自适应量化数据是通过量化n个第一自适应数据得到的；
128.补偿模块具体用于通过n个第一自适应量化数据补偿n个第一重构图块。
129.在第五方面的一种可选设计中，n越大，单个第一自适应量化数据的信息熵越小。
130.在第五方面的一种可选设计中，n个第一编码表示的排列顺序和n个第一图块的排列顺序相同，n个第一图块的排列顺序为n个第一图块在所述第一图像中的排列顺序。对应关系包括n个第一编码表示的排列顺序和n个第一图块的排列顺序。
131.在第五方面的一种可选设计中，所述装置还包括：
132.融合神经网络模块，用于处理第二图像，得到第三图像，以降低第二图像与第一图像的差异，差异包括块效应。
133.在第五方面的一种可选设计中，n个第一图块中的每个第一图块的大小相同。
134.在第五方面的一种可选设计中，当所述装置用于组合生成不同大小的第二图像时，所述第一图块的大小为固定值。在第五方面的一种可选设计中，第一图块的像素为a
×
b，a和b是根据目标像素得到的，目标像素为c
×
d，等于整数，等于整数，a和c为宽度方向上的像素点数量，b和d为高度方向上的像素点数量，目标像素是根据终端设备的目标分辨率得到的，终端设备包括摄像部件，摄像部件在目标分辨率的设置下得到的图像的像素为目标像素，第一图像由摄像部件获得。
135.在第五方面的一种可选设计中，目标分辨率是根据摄像应用中的设置界面对摄像部件的分辨率设置得到的。
136.在第五方面的一种可选设计中，目标分辨率是根据摄像部件得到的图库中的目标图像组得到的，目标图像组的像素为目标像素，在不同像素的图像组中，目标图像组在图库中的比值最大。
137.在第五方面的一种可选设计中，通过摄像部件得到多个像素的图像，多个像素为e
×
f，等于整数，等于整数，e包括c，f包括d。
138.在第五方面的一种可选设计中，多个像素是通过摄像应用中的设置界面对摄像部件的分辨率设置得到的。
139.在第五方面的一种可选设计中，第一图块的像素为a
×
b，a为宽度方向上的像素点数量，b为高度方向上的像素点数量，第一图像的像素为r
×
t。在不等于整数，和/或不等于整数的情况下，第一图像的边缘被像素中值填充，使得等于整数，等于整数，填充后的第一图像的像素为r1
×
t1。
140.在第五方面的一种可选设计中，在不等于整数的情况下，r和t被编码端等比放大，得到了像素为r2
×
t2的第一图像，等于整数。
141.在第五方面的一种可选设计中，若不等于整数，的余数大于第一图像只在宽度方向的一侧被填充像素中值。
142.在第五方面的一种可选设计中，若余数小于第一图像在宽度方向的二侧被填充像素中值，每侧填充的像素中值的宽度为其中，g为所述余数。
143.在第五方面的一种可选设计中，n个第一图块包括第一目标图块，第一目标图块的像素值的范围小于第一图像的像素值的范围，至少其中一个第一自适应数据是从反量化后的第一目标图块得到的，反量化后的第一目标图块是通过反量化第一目标图块的像素值得到的。
144.本技术第六方面提供了一种训练装置，所述装置包括：
145.第一获取模块，用于获取第一图像；
146.分割模块，用于分割所述第一图像，获得n个第一图块，n为大于1的整数；
147.第二获取模块，用于从所述n个第一图块中获取n个第一自适应数据，所述n个第一自适应数据与所述n个第一图块一一对应；
148.预处理模块，用于根据所述n个第一自适应数据对所述n个第一图块进行预处理；
149.第一编码神经网络模块，用于处理预处理后的n个第一图块，得到n组第一特征图；
150.量化和熵编码模块，用于对所述n组第一特征图进行量化和熵编码，得到n个第一编码表示；
151.熵解码模块，对所述n个第一编码表示进行熵解码，得到n组第二特征图；
152.第一解码神经网络模块，用于处理所述n组第二特征图，得到n个第一重构图块；
153.补偿模块，用于通过所述n个第一自适应数据补偿所述n个第一重构图块；
154.组合模块，用于组合补偿后的n个第一重构图块，得到第二图像；
155.第三获取模块，用于获取所述第二图像相对于所述第一图像的失真损失；
156.训练模块，用于利用损失函数对模型进行联合训练，直至所述第一图像与所述第二图像之间的图像失真值达到第一预设程度，所述模型包括所述第一编码神经网络、量化网络、熵编码网络、熵解码网络、所述第一解码神经网络。可选地，所述模型还包括分割网络，分割网络中的可训练的参数为第一图块的大小。可选地，所述模型还包括分割网络，分割网络中的可训练的参数为第一图块的大小；
157.输出模块，用于输出第二编码神经网络和第二解码神经网络，所述第二编码神经网络为所述第一编码神经网络执行过迭代训练后得到的模型，所述第二解码神经网络为所述第一解码神经网络执行过迭代训练后得到的模型。
158.在第六方面的一种可选设计中，所述装置还包括：
159.量化模块，用于量化所述n个第一自适应数据，获得n个第一自适应量化数据，所述n个第一自适应量化数据用于对所述n个第一重构图块进行补偿；
160.在第六方面的一种可选设计中，所述n越大，单个第一自适应量化数据的信息熵越小。
161.在第六方面的一种可选设计中，所述n个第一编码表示的排列顺序和所述n个第一图块的排列顺序相同，所述n个第一图块的排列顺序为所述n个第一图块在所述第一图像中的排列顺序。
162.在第六方面的一种可选设计中，通过融合神经网络处理所述第二图像，得到第三图像，所述融合神经网络用于降低所述第二图像与所述第一图像的差异，所述差异包括块效应；
163.第三获取模块具体用于获取所述第三图像相对于所述第一图像的失真损失；
164.所述模型包括融合神经网络。
165.在第六方面的一种可选设计中，所述n个第一图块中的每个第一图块的大小相同。
166.在第六方面的一种可选设计中，在两次迭代训练中，训练用的第一图像的大小不同，第一图块的大小为固定值。
167.在第六方面的一种可选设计中，所述第一图块的像素为a
×
b，所述a和所述b是根据目标像素得到的，所述目标像素为c
×
d，等于整数，等于整数，所述a和c为宽度方向上的像素点数量，所述b和d为高度方向上的像素点数量，所述目标像素是根据终端设备的目标分辨率得到的，所述终端设备包括摄像部件，所述摄像部件在所述目标分辨率的设置下得到的图像的像素为所述目标像素，第一图像由所述摄像部件获得。
168.在第六方面的一种可选设计中，所述目标分辨率是根据摄像应用中的设置界面对
所述摄像部件的分辨率设置得到的。
169.在第六方面的一种可选设计中，所述目标分辨率是根据所述摄像部件得到的图库中的目标图像组得到的，所述目标图像组的像素为所述目标像素，在不同像素的图像组中，所述目标图像组在所述图库中的比值最大。
170.在第六方面的一种可选设计中，通过所述摄像部件得到多个像素的图像，所述多个像素为e
×
f，等于整数，等于整数，所述e包括所述c，所述f包括所述d。
171.在第六方面的一种可选设计中，所述多个像素是通过所述摄像应用中的设置界面对所述摄像部件的分辨率设置得到的。
172.在第六方面的一种可选设计中，所述第一图块的像素为a
×
b，所述a为宽度方向上的像素点数量，所述b为高度方向上的像素点数量，所述第一图像的像素为r
×
t；
173.所述装置还包括：
174.填充模块，用于若不等于整数，和/或不等于整数，则用像素中值填充所述第一图像的边缘，使得等于整数，等于整数，填充后的所述第一图像的像素为r1
×
t1。
175.在第六方面的一种可选设计中，所述装置还包括：
176.放大模块，用于若所述不等于整数，则等比放大所述r和所述t，得到像素为r2
×
t2的所述第一图像，所述等于整数；
177.填充模块具体用于若不等于整数，则用像素中值填充所述第一图像的边缘。
178.在第六方面的一种可选设计中，所述第二获取模块还用于在等比放大r和t后，若不等于整数，则获取的余数；
179.所述填充模块具体用于若所述余数大于则只在所述第一图像的宽度方向的一侧填充所述像素中值。
180.在第六方面的一种可选设计中，若所述余数小于则在所述第一图像的宽度方向的二侧填充所述像素中值，使得每侧填充的所述像素中值的宽度为其中，所述g为所述余数。
181.在第六方面的一种可选设计中，所述n个第一图块包括第一目标图块，所述第一目标图块的像素值的范围小于所述第一图像的像素值的范围；
182.所述装置还包括：
183.反量化模块，用于反量化所述第一目标图块的像素值；
184.所述第二获取模块具体用于从反量化后的所述第一目标图块获取一个第一自适应数据。
185.本技术第七方面提供了一种编码设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：
186.获取第一图像；
187.分割第一图像，获得n个第一图块，n为大于1的整数；
188.从n个第一图块中获取n个第一自适应数据，n个第一自适应数据与n个第一图块一一对应；
189.通过n个第一自适应数据对n个第一图块进行预处理；
190.通过编码神经网络处理预处理后的n个第一图块，得到n组第一特征图；
191.对n组第一特征图进行量化和熵编码，得到n个第一编码表示。
192.在第七方面的一种可选设计中，编码设备为虚拟现实vr设备、手机、平板、笔记本电脑、服务器或者智能穿戴设备。
193.本技术第七方面中，处理器还可以用于执行第一方面的各个可能实现方式中编码端执行的步骤，具体均可以参阅第一方面，此处不再赘述。
194.本技术第八方面提供了一种解码设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：
195.获取n个第一编码表示，n个第一自适应数据和对应关系，对应关系包括n个第一自适应数据和n个第一编码表示的对应关系，n个第一自适应数据与n个第一编码一一对应，n为大于1的整数；
196.对n个第一编码表示进行熵解码，得到n组第二特征图；
197.通过解码神经网络处理n组第二特征图，得到n个第一重构图块；
198.通过n个第一自适应数据补偿n个第一重构图块；
199.组合补偿后的n个第一重构图块，得到第二图像。
200.在第八方面的一种可选设计中，解码设备为虚拟现实vr设备、手机、平板、笔记本电脑、服务器或者智能穿戴设备。
201.本技术第八方面中，处理器还可以用于执行第二方面的各个可能实现方式中解码端执行的步骤，具体均可以参阅第二方面，此处不再赘述。
202.本技术第九方面提供了一种训练设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：
203.获取第一图像；
204.分割所述第一图像，获得n个第一图块，n为大于1的整数；
205.从所述n个第一图块中获取n个第一自适应数据，所述n个第一自适应数据与所述n个第一图块一一对应；
206.根据所述n个第一自适应数据对所述n个第一图块进行预处理；
207.通过第一编码神经网络处理预处理后的n个第一图块，得到n组第一特征图；
208.对所述n组第一特征图进行量化和熵编码，得到n个第一编码表示；
209.对所述n个第一编码表示进行熵解码，得到n组第二特征图；
210.通过第一解码神经网络处理所述n组第二特征图，得到n个第一重构图块；
211.通过所述n个第一自适应数据补偿所述n个第一重构图块；
212.组合补偿后的n个第一重构图块，得到第二图像；
213.获取所述第二图像相对于所述第一图像的失真损失；
214.利用损失函数对所述第一编码神经网络、量化网络、熵编码网络、熵解码网络、所述第一解码神经网络进行联合训练，直至所述第一图像与所述第二图像之间的图像失真值
达到第一预设程度；
215.输出第二编码神经网络和第二解码神经网络，所述第二编码神经网络为所述第一编码神经网络执行过迭代训练后得到的模型，所述第二解码神经网络为所述第一解码神经网络执行过迭代训练后得到的模型。
216.本技术第九方面中，处理器还可以用于执行第三方面的各个可能实现方式中解码端执行的步骤，具体均可以参阅第三方面，此处不再赘述。
217.第十方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面至第三方面任一所述的图像处理方法。
218.第十一方面，本技术实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面至第三方面任一所述的图像处理方法。
219.第十二方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
附图说明
220.图1为人工智能主体框架的一种结构示意图；
221.图2a为本技术实施例的一个应用场景示意图；
222.图2b为本技术实施例的另一个应用场景示意图；
223.图2c为本技术实施例的另一个应用场景示意图；
224.图3a为本技术实施例提供的图像处理方法的一个流程示意图；
225.图3b为本技术实施例提供的图像处理方法的另一个流程示意图；
226.图4为本技术实施例中分割、组合图像的示意图；
227.图5为本技术实施例中一种基于cnn的图像编码处理过程的示意图；
228.图6为本技术实施例中一种基于cnn的图像解码过程的示意图；
229.图7为本技术实施例中的终端设备的相机设置分辨率的设置界面的示意图；
230.图8为本技术实施例中图像填充的一个流程示意图；
231.图9为本技术实施例中图像填充的另一个流程示意图；
232.图10为本技术实施例中图像压缩质量的对比示意图；
233.图11为本技术实施例提供的图像处理系统的一种系统架构图；
234.图12为本技术实施例提供的模型训练方法的一种流程示意图；
235.图13为本技术实施例提供的一种训练过程的示意图；
236.图14为本技术实施例提供的编码装置的一个结构示意图；
237.图15为本技术实施例提供的解码装置的一个结构示意图；
238.图16为本技术实施例提供的训练装置的一个结构示意图；
239.图17为本技术实施例提供的执行设备的一种结构示意图；
240.图18是本技术实施例提供的训练设备一种结构示意图；
241.图19为本技术实施例提供的芯片的一种结构示意图。
具体实施方式
242.下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
243.下面结合附图，对本技术的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
244.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本技术的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
245.首先对人工智能系统总体工作流程进行描述，请参见图1，图1为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“it价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“it价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
246.(1)基础设施
247.基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(cpu、npu、gpu、asic、fpga等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
248.(2)数据
249.基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
250.(3)数据处理
251.数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
252.其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
253.推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
254.决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
255.(4)通用能力
256.对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
257.(5)智能产品及行业应用
258.智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、平安城市等。
259.本技术可以应用于人工智能领域的图像处理领域中，下面将对多个落地到产品的多个应用场景进行介绍。
260.一、应用于终端设备中的图像压缩，解压过程，编码端和解码端都是终端设备。
261.本技术实施例提供的图像压缩方法可以应用于终端设备中的图像压缩过程，具体的，可以应用于终端设备上的相册、视频监控等。具体的，可以参照图2a，图2a为本技术实施例的一个应用场景示意图，如图2a中示出的那样，终端设备可以获取到待压缩图像，其中待压缩图像可以是摄像部件拍摄的照片或是从视频中截取的一帧画面，摄像部件一般为相机。终端设备通过中央处理器(central processing unit，cpu)分割提取到的图像，获得多个图块。在得到多个图块后，终端设备可以通过嵌入式神经网络(neural-network processing unit，npu)中的人工智能(artificial intelligence，ai)编码神经网络(简称编码神经网络)对获取到的多个图块进行特征提取，将图块数据变换成冗余度更低的输出特征，且产生输出特征中各特征点的概率估计，中央处理器(central processing unit，cpu)通过输出特征中各点的概率估计对提取获得的输出特征进行熵编码，降低输出特征的编码冗余，进一步降低图块压缩过程中的数据传输量，并将编码得到的编码数据以数据文件的形式保存在对应的存储位置。当用户需要获取上述存储位置中保存的文件时，cpu可以在相应的存储位置获取并加载上述保存的文件，并基于熵解码获取到解码得到的特征图，通过npu中的ai解码神经网络(简称解码神经网络)对特征图进行重构，得到多个重构图块。在得到多个图块后，终端设备通过cpu组合该多个重构图块，获得重构图像。
262.特别地，在这种场景下，终端设备可以在云端设备上保存编码数据。当用户需要获取上述编码数据时，可以从云端设备获取该编码数据。
263.二、应用于云端的图像压缩，解压过程，编码端和解码端都是云端设备。
264.本技术实施例提供的图像压缩方法可以应用于云端的图像压缩过程，具体的，可以应用于云端设备上的云相册等功能，云端设备可以是云端服务器。具体的，可以参照图2b，图2b为本技术实施例的另一个应用场景示意图，如图2b中示出的那样，终端设备可以获取到待压缩图像，其中待压缩图像可以是摄像部件拍摄的照片或是从视频中截取的一帧画面。终端设备可以通过cpu对待压缩图片进行熵编码，得到编码数据。除了采用熵编码，也可以采用基于现有技术中的任意一种无损压缩方法。终端设备可以将编码数据传输至云端设备，云端设备可以对接收到的编码数据进行相应的熵解码，得到待压缩图像。终端设备通过cpu分割提取到的图像，获得多个图块。在得到多个图块后，服务器可以通过图形处理器(graphics processing unit，gpu)中的编码神经网络对获取到的多个图块进行特征提取，将图块数据变换成冗余度更低的输出特征，且产生输出特征中各点的概率估计，cpu通过输出特征中各点的概率估计对提取获得的输出特征进行熵编码，降低输出特征的编码冗余，
进一步降低图块压缩过程中的数据传输量，并将编码得到的编码数据以数据文件的形式保存在对应的存储位置。当用户需要获取上述存储位置中保存的文件时，cpu可以在相应的存储位置获取并加载上述保存的文件，并基于熵解码获取到解码得到的特征图，通过npu中的解码神经网络对特征图进行重构，得到多个重构图块，在得到多个图块后，云端设备通过cpu组合该多个重构图块，获得重构图像。云端设备可以通过cpu对待压缩图片进行熵编码，得到编码数据，编码方法还可以是其它的基于现有技术中的任意一种无损压缩方法，云端设备可以将编码数据传输至终端设备，终端设备可以对接收到的编码数据进行相应的熵解码，得到解码后的图像。
265.三、应用于终端设备的图像解压，云端设备的图像压缩过程，编码端是云端设备，解码端是终端设备。
266.本技术实施例提供的图像压缩方法可以应用于终端设备的图像压缩，云端设备的图像解压过程，具体的，可以应用于云端设备上的云相册等功能，云端设备可以是云端服务器。具体的，可以参照图2c，图2c为本技术实施例的另一个应用场景示意图，如图2c中示出的那样，终端设备可以获取到待压缩图像，其中待压缩图像可以是摄像部件拍摄的照片或是从视频中截取的一帧画面。终端设备可以通过cpu对待压缩图片进行熵编码，得到编码数据。除了采用熵编码，也可以采用基于现有技术中的任意一种无损压缩方法。终端设备可以将编码数据传输至云端设备，云端设备可以对接收到的编码数据进行相应的熵解码，得到待压缩图像。终端设备通过cpu分割提取到的图像，获得多个图块。在得到多个图块后，服务器可以通过gpu中的编码神经网络对获取到的多个图块进行特征提取，将图块数据变换成冗余度更低的输出特征，且产生输出特征中各点的概率估计，cpu通过输出特征中各点的概率估计对提取获得的输出特征进行熵编码，降低输出特征的编码冗余，进一步降低图块压缩过程中的数据传输量，并将编码得到的编码数据以数据文件的形式保存在对应的存储位置。当终端设备需要获取上述图像时，终端设备接收云端设备发送的编码数据，并基于熵解码获取到解码得到的特征图。终端设备通过npu中的解码神经网络对特征图进行重构，得到多个重构图块。在得到多个图块后，终端设备通过cpu组合该多个重构图块，获得重构图像。
267.由于本技术实施例涉及大量神经网络的应用，为了便于理解，下面先对本技术实施例可能涉及的神经网络的相关术语和概念进行介绍。
268.(1)神经网络
269.神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
[0270][0271]
其中，s＝1、2、
……
、n，n为大于1的自然数，ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
[0272]
(2)深度神经网络
[0273]
深度神经网络(deep neural network，dnn)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对dnn进行划分，dnn内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i 1层的任意一个神经元相连。
[0274]
虽然dnn看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，是输入向量，是输出向量，是偏移向量，w是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量经过如此简单的操作得到输出向量由于dnn层数多，系数w和偏移向量的数量也比较多。这些参数在dnn中的定义如下所述：以系数w为例：假设在一个三层的dnn中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为上标3代表系数w所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
[0275]
综上，第l-1层的第k个神经元到第l层的第j个神经元的系数定义为
[0276]
需要注意的是，输入层是没有w参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量w形成的权重矩阵)。
[0277]
(3)卷积神经网络
[0278]
卷积神经网络(convolutional neuron network，cnn)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
[0279]
(4)损失函数
[0280]
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值
(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
[0281]
(5)反向传播算法
[0282]
神经网络可以采用误差反向传播(back propagation，bp)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
[0283]
本技术实施例中，不仅仅进行了图像分割的操作，还在图像分割和编码神经网络之间，增加了对多个图块的自适应数据提取的步骤，自适应数据可以是均值，均方差等。提取到的自适应数据，用于对图块进行预处理。编码神经网络对预处理后的多个图块进行特征提取。自适应数据除了用于对图块进行预处理，还用于对重构图块进行补偿。为了方便描述，下面将以自适应数据为均值，应用场景为上述的第三种应用场景为例，对本技术实施例中的图像处理方法进行详细描述。在第三种应用场景中，云端设备为编码端，终端设备为解码端。
[0284]
作为一种示例，终端设备可以为手机、平板、笔记本电脑、智能穿戴设备等。作为另一示例，所述终端设备可以为虚拟现实(virtual reality，vr)设备。作为另一示例，本技术实施例也可以应用于智能监控中，可以在所述智能监控中配置相机，则智能监控可以通过相机获取待压缩图片等，应当理解，本技术实施例还可以应用于其他需要进行图像压缩的场景中，此处不再对其他场景进行一一列举。
[0285]
请参阅图3a，图3a为本技术实施例提供的图像处理方法的一个流程示意图。
[0286]
在步骤301中，终端设备获取第一图像。
[0287]
终端设备可以获取到第一图像，其中第一图像可以是摄像部件拍摄的照片或是从拍摄的视频中截取的一帧画面，终端设备包括该摄像部件，摄像部件一般为相机。第一图像也可以是终端设备从网络中获得的图像，或者终端设备利用截屏工具获取的图像。
[0288]
特别地，关于本技术实施例中的图像处理方法，也可以参考图3b，图3b为本技术实施例提供的图像处理方法的另一个流程示意图。图3b示意了从第一图像输出第三图像的整个流程。
[0289]
在步骤302中，终端设备向云端设备发送第一图像。
[0290]
在终端设备向云端设备发送第一图像前，终端设备可以对第一图像进行无损编码，得到编码数据。编码方法可以熵编码，或是其它的无损压缩方法。
[0291]
在步骤303中，云端设备分割第一图像，获得n个第一图块。
[0292]
云端设备可以接收到终端设备发送的第一图像。若该第一图像经过终端设备的无损编码，则云端设备还需要对其进行无损解码。云端设备分割第一图像，获得n个第一图块，n为大于1的整数。图4为本技术实施例中分割、组合图像的示意图。如图4所示，第一图像401被分割成了12个第一图块。其中，在第一图像的大小确定的情况下，第一图块的大小决定了n的数值。此处描述的n为12只是一个示例，在后续的描述中，会对第一图块的大小做详细的描述。
[0293]
可选地，n个第一图块中的每个第一图块的大小相同。
[0294]
在步骤304中，云端设备从n个第一图块中获取m个第一均值。
[0295]
若第一图像是三通道图像，则第一图块包括三个通道的数据，云端设备获取的第一均值的数量m等于3n。若第一图像是灰度图，即一通道图像，则第一图块包括一个通道的数据，云端设备获取的第一均值的数量m等于n。因为每个通道的处理方式是类似的，为了方便描述，本技术实施例中，只以一个通道为例进行描述。均值是指第一图块中所有像素点的像素值的均值。
[0296]
在步骤305中，云端设备通过n个第一均值对n个第一图块进行预处理。
[0297]
预处理可以是将第一图块中每个像素点的像素值减去均值，以获得预处理后的n个第一图块。
[0298]
在步骤306中，通过编码神经网络处理预处理后的n个第一图块，以获得n组第一特征图。
[0299]
本技术实施例中，可选地，编码神经网络为cnn，终端设备可以基于cnn对预处理后的n个第一图块进行特征提取，得到n组第一特征图。每组第一特征图对应一个第一图块，每组第一特征图至少包括一个特征图。在下文中，第一特征图也可以称为通道特征图图像，其中每个语义通道对应一个第一特征图。
[0300]
本技术实施例中，参照图5，图5为本技术实施例中一种基于cnn的图像编码处理过程的示意图，图5示出了第一图块501、cnn502，通道特征图503和一组第一特征图504，其中cnn502可以包括多个cnn层。
[0301]
例如，cnn502可以将输入数据(第一图块)的左上3
×
3像素乘以权重，并将其映射至第一特征图的左上端的神经元。要被乘的权重将也是3
×
3。此后，在相同的处理中，cnn502从左到右以及从上到下逐个地扫描输入数据(第一图块)，并且乘以权重以映射特征图的神经元。这里，使用的3
×
3权重被称为滤波器或滤波器核。也就是说，在cnn502中应用滤波器的过程是使用滤波器核执行卷积运算的过程，并且所提取的结果被称为“通道特征图”，其中，通道特征图也可以为称为多通道特征图图像，术语“多通道特征图图像”可以指与多个通道对应的特征图图像集。根据实施例，可以由cnn502生成通道特征图，cnn502也被称为cnn的“特征提取层”或“卷积层”。cnn的层可以定义输出到输入的映射。将由层定义的映射作为一个或多个要被应用于输入数据的滤波器核(卷积核)来执行，以生成要被输出到下一层的通道特征图。输入数据可以是第一图块或cnn502输出的通道特征图。
[0302]
参照图5，在向前执行期间，cnn502接收第一图块501并作为输入而生成通道特征图503。另外，在向前执行期间，下一层cnn接收通道特征图503作为输入，并作为输出而生成通道特征图503。然后，每一个后续层将接收在前一层中生成的通道特征图，并作为输如而生成下一层通道特征图。最后，接收在第(x1)层中生成的一组第一特征图504。其中，x1为大于1的整数，即上述的每一层的通道特征图，都有可能作为一组第一特征图504。
[0303]
云端设备对每个第一图块重复上述的操作，便可以获得n组第一特征图。
[0304]
可选地，随着cnn502层次的增加，多通道特征图图像中每个特征图的长和宽逐渐减小，多通道特征图图像的语义通道的数量逐渐增加，以此实现对第一图块的数据压缩。
[0305]
同时，除了应用将输入特征图映射到输出特征图的卷积核的操作之外，还可以执行其他处理操作。其他处理操作的示例可以包括但不限于诸如激活功能、池化、重采样等的应用。
[0306]
例如，如图3b所示，可选地，在每层卷积核之后，还包括gdn(generalized divisive normalization，广义分歧归一化)激活函数，gdn的表达形式为：
[0307][0308]
其中，u表示第i个卷积层输出的第j个通道。v表示对应的激活函数输出结果，β和γ分别是激活函数的可训练参数，用来增强神经网络的非线性表达能力。
[0309]
需要说明的是，以上仅为对所述第一图块进行特征提取的一种实现方式，在实际应用中，并不限定特征提取的具体实现方式。
[0310]
本技术实施例中，通过上述方式，通过cnn卷积神经网络将第一图块变换到另一空间(至少一个第一特征图)。可选的，第一特征图的数量为192，即语义通道的数量为192，每一个语义通道对应一个第一特征图。本技术实施例中，至少一个第一特征图可以为一个三维张量的形式，其尺寸可以为192
×w×
h，其中，w
×
h为单个通道的第一特征图对应的矩阵的宽与长。
[0311]
在步骤307中、对n组第一特征图进行量化和熵编码，以获得n个第一编码表示。
[0312]
本技术实施例中，通过编码神经网络处理预处理后的n个第一图块，获得n组第一特征图后，可以对处理后的n组第一特征图进行量化和熵编码，得到n个第一编码表示。
[0313]
本技术实施例中，将n组第一特征图根据指定规则转换至量化中心，以便后续进行熵编码。量化操作可以将n组第一特征图由浮点数转换为比特流(例如，使用8位整数或4位整数等特定位整数的比特流)。在一些实施例中，可以但不限于采用四舍五入round对n组第一特征图执行量化操作。
[0314]
本技术实施例中，可以利用熵估计网络得到输出特征中各点概率估计，利用该概率估计对输出特征进行熵编码，得到二进制的码流，需要说明的是，本技术提及的熵编码过程可采用现有的熵编码技术，本技术对此不再赘述。
[0315]
在步骤308中，云端设备向终端设备发送n个第一编码表示，n个第一均值和对应关系。
[0316]
在上述步骤302中，终端设备将第一图像存储于云端设备。若终端设备需要获取该第一图像，可以向云端设备发送请求。云端设备接收到终端设备发送的请求后，云端设备向终端设备发送n个第一编码表示，n个第一均值和对应关系。其中，对应关系是指n个第一编码表示和n个第一均值的对应关系。
[0317]
可选地，n个第一编码表示的排列顺序和n个第一图块的排列顺序相同，n个第一图块的排列顺序为n个第一图块在第一图像中的排列顺序，对应关系包括n个第一编码表示的排列顺序和n个第一图块的排列顺序。
[0318]
可选地，在云端设备向终端设备发n个第一均值之前，云端设备量化该n个第一均值，以获得n个第一量化均值。例如，第一图块中的每个像素点的像素值用8比特表示，第一图块的第一均值为32比特的浮点数。云侧设备量化第一均值，得到的第一量化均值的比特数小于32。第一量化均值的比特数越小，第一量化均值的信息熵越小。进一步地，第一量化均值的比特数等于第一图块中的每个像素点的像素值的比特数，即当第一图块中的每个像素点的像素值用8比特表示时，第一量化均值也用8比特表示。
[0319]
可选地，在云端设备量化n个第一均值的基础上，n的数值越大，单个第一量化均值的信息熵越小。信息熵用于形容云侧设备对n个第一均值的量化程度。若单个第一量化均值的信息熵越小，则表示云侧设备对n个第一均值的量化程度越高。在处理相同像素的第一图像时，每个第一图像的像素越小，则n越大。n越大，n个第一均值的数据量就越大。例如，假设第一图像的像素为640
×
480，第一图块的像素为320
×
480，n为2，每个第一量化均值用8比特表示，则n个第一量化均值的数据量为2
×
8比特。假设第一图块的像素为1
×
1，n为640
×
480，每个第一量化均值用8比特表示，则n个第一量化均值的数据量为640
×
480
×
8比特。第一图像的数据量也为640
×
480
×
8比特。由此可知，n值越大，n个第一均值的数据量越大，当n等于第一图像的像素大小时，即使是量化后的第一均值的数据量也达到了第一图像的数据量。因此，本技术实施例中n的数值越大，单个第一量化均值的信息熵越小。
[0320]
在步骤309中，终端设备对n个第一编码表示进行熵解码，以获得n组第二特征图。
[0321]
终端设备接收到云端设备发送的n个第一编码表示后，终端设备对n个第一编码表示进行熵解码，以获得n组第二特征图。
[0322]
在步骤310中,终端设备通过解码神经网络处理n组第二特征图，以获得n个第一重构图块。
[0323]
本技术实施例中，可选地，解码神经网络为cnn，终端设备可以基于cnn对n组第二特征图进行重构，得到n组第一图块。每组第二特征图对应一个第一图块，每组第二特征图至少包括一个特征图。在下文中，第二特征图也可以称为重构特征图图像，其中每个语义通道对应一个第二特征图。
[0324]
本技术实施例中，参照图6，图6为本技术实施例中一种基于cnn的图像解码过程的示意图，图6示出了一组第二特征图601，转置cnn602，重构特征图603，第一重构图块604。其中转置cnn602可以包括多个转置cnn层。
[0325]
例如，转置cnn602可以将输入数据(一组第二特征图601)的左上一个像素乘以权重，并将其映射至重构特征图603的左上端的神经元。要被乘的权重将是3
×
3。此后，在相同的处理中，转置cnn602从左到右以及从上到下逐个地扫描输入数据(一组第二特征图601)，并且乘以权重以映射特征图的神经元。经过权重3
×
3的转置cnn602后，得到的重构特征图603的长和宽都变为第二特征图的3倍。这里，使用的3
×
3权重被称为反滤波器或反滤波器核。也就是说，在转置cnn602中应用反滤波器的过程是使用反滤波器核执行反卷积运算的过程，并且所提取的结果被称为“重构特征图”。根据实施例，可以由转置cnn602生成重构特征图，转置cnn602也被称为cnn的转置卷积层。cnn的层可以定义输出到输入的映射。将由层定义的映射作为一个或多个要被应用于输入数据的反滤波器核(转置卷积层)来执行，以生成要被输出到下一层的重构特征图。输入数据可以是一组第二特征图或特定层的重构特征映像。
[0326]
参照图6，转置cnn602接收一组第二特征图601并作为输出而生成重构特征图603。另外，下一层转置cnn接收重构特征图603作为输入，并作为输出而生成下一层的重构特征图。然后，每一个后续的转置cnn层将接收在前一层中生成的重构特征图，并作为输出而生成下一重构特征图。最后，接收在第(x2)层中生成的第一重构图块604，其中，x2为大于1的整数，即上述的每一层的重构特征图，都有可能作为第一重构图块604。云端设备对每组第二特征图重复上述的操作，便可以获得n个第一重构图块。
[0327]
可选地，随着转置cnn的层数的增加，重构特征图中每个特征图的长和宽逐渐增大，直至恢复第一图块在输入编码神经网络前的大小。重构特征图的语义通道的数量逐渐减小，直至恢复第一图块在输入编码神经网络前的语义通道，当第一图块为单通道图像时，第一重构图块604的语义通道为1，当第一图块为三通道图像时，第一重构图块604的语义通道为3。通过上述重构，以此实现对第一图块的数据解码。
[0328]
同时，除了应用将每组第二特征图映射到重构特征图的转置卷积核的操作之外，还可以执行其他处理操作。其他处理操作的示例可以包括但不限于诸如激活功能、池化、重采样等的应用。
[0329]
例如，可选地，如图3b所示，在解码神经网络中的每层转置卷积核之后，还包括逆广义分歧归一化(inverse generalized divisive normalization，igdn)，igdn是编码段gdn激活函数的近似逆形式，igdn的表达形式为：
[0330][0331]
其中，v表示第i个卷积层输出的第j个通道。u表示对应的激活函数输出结果，β和γ分别是激活函数的可训练参数，用来增强神经网络的非线性表达能力。
[0332]
在步骤311中，终端设备通过n个第一均值补偿n个第一重构图块。
[0333]
在上述步骤308中，云端设备向终端设备发送了n个第一均值和对应关系。在通过解码神经网络获得n个第一重构图块后，终端设备通过对应关系，利用n个第一均值补偿n个第一重构图块。补偿是指将第一重构图块中每个像素点的像素值加第一均值，获得补偿后的第一重构图块。终端设备重复对n个第一重构图块执行补偿后，可以获得补偿后的n个第一重构图块。
[0334]
可选地，当终端设备从云端设备接收到的是n个第一量化均值时，终端设备通过n个第一量化均值补偿n个第一重构图块。应当确定的是，当终端设备通过n个第一量化均值补偿n个第一重构图块时，云端设备也将通过n个第一量化均值对n个第一图块进行预处理。
[0335]
在步骤312中，终端设备组合补偿后的n个第一重构图块，以获得第二图像。
[0336]
请参阅图4，组合为分割的逆过程，将n个第一图块替换为n个第一重构图块，然后对n个第一重构图块进行组合。
[0337]
在步骤313中，终端设备通过融合神经网络处理第二图像，以获得第三图像。
[0338]
本技术实施例通过凸显每个第一图块的局部特性，增强了每个图块的表现，但也因此容易造成第一重构图块与第一重构图块之间的块效应。块效应是指在第一重构图块与第一重构图块的边界会出现不连续现象,形成重建图像的缺陷。通过融合神经网络处理第二图像，可以减少块效应造成的影响，提升图像质量。
[0339]
可选地，融合神经网络为cnn。请参阅图5和图6，从cnn的结构上来说，融合神经网络可以是编码神经网络和解码神经网络的结合。通过将图5中的输出504作为图6中的输入601，将第二图像作为图5的输入501，图6输出的是第三图像。通过融合神经网络，便可以消除第二图像中的块效应。应当确定的是，这里是简单举例说明融合神经网络的框架。在实际应用中，融合神经网络的框架，例如cnn的层数，转置cnn的层数，每个cnn层的矩阵的大小等可以与编码神经网络，解码神经网络没有关系。
[0340]
可选地，如图3b所示，在融合神经网络的卷积核后，还包括线性整流单元层relu，
relu用于将卷积核输出的特征图中的负数修正为零。
[0341]
上面对使用本技术实施例中的图像处理方法处理一张图像的流程进行了相应描述，可选地，本技术实施例中的图像处理方法可以处理不同大小的图像，例如第四图像，第四图像的像素与第一图像的像素不同。使用本技术实施例中的图像处理方法处理第四图像的流程与上述处理第一图像的流程类似，具体此处不再赘述。特别地，在使用本技术实施例中的图像处理方法处理第四图像时，云端设备分割第四图像，可以获得m个第二图块。其中，第二图块的大小与第一图块的大小相同。在第一图块和第二图块的大小相同的情况下，使用相同的编码神经网络和解码神经网络处理第一图块和第二图块，第一图块和第二图块在处理流程中的卷积运算的次数以及每次参与卷积运算的数据的个数是相同的。在此情况下，就可以根据上述卷积运算的次数和/或每次参与卷积运算的数据的个数设计相应的卷积运算单元，使得卷积运算单元与处理流程相匹配。因为处理流程中的卷积运算的次数以及每次参与卷积运算的数据的个数由第一图块的大小和cnn决定，因此也可以认为卷积运算单元和第一图块匹配，或卷积运算单元和编码神经网络和/或解码神经网络匹配。卷积运算单元与第一图块的匹配度越高，则在处理流程中，卷积运算单元中空闲的乘法器，加法器的数量越小，即卷积运算单元的使用效率越高。
[0342]
上面对本技术实施例中的图像处理方法进行了相应描述。上述流程中，第一图块的大小不仅会影响n的大小，还会影响图像是否刚好被分割成整数块的图块。而第一图块的大小的决定因素一般有以下两方面。第一方面，是模型对第一图块的大小的影响，模型包括编码神经网络和解码神经网络，可能还包括融合神经网络。模型对第一图块的大小的影响一般包括训练模型时对第一图块的大小的影响和使用模型时对第一图块的大小的影响。训练模型时对第一图块的大小的影响包括利用不同大小的图块对模型进行训练，确定出在哪个区间，或哪个数值的图块下，模型的收敛速度比较快，或模型输出的图像质量高，或模型的压缩性能高。不同的模型针对不同大小的图像块，在使用不同的模型时，不同的模型在不同场景的表现可能会有差异，即模型的泛化性问题。使用模型时对第一图块的大小的影响包括该泛化性问题。在第二方面，是图像是否刚好被分割成整数块的图块对第一图块的大小的影响。若图像无法被刚好分割成整数块，则会存在某些图块不完整，影响模型对该图块的重构，降低图像的质量。为了减少第二方面对图像质量的影响，下面提出了一些相关的技术方案。
[0343]
在上述步骤302中，终端设备向云端设备发送了第一图像。在这种场景下，云端设备中的编码神经网络可以专门服务于该终端设备，或该类终端设备。若终端设备包括摄像部件，例如相机，则希望终端设备通过相机获得的第一图像可以被云端设备分割成整数块。假设第一图块的像素为a
×
b，a为宽度方向上的像素点数量，b为高度方向上的像素点数量，a和b是根据目标像素得到的，目标像素为c
×
d，等于整数，等于整数，目标像素是根据终端设备的目标分辨率得到的，目标分辨率是终端设备的拍摄部件的默认分辨率，或终端设备对其设定的分辨率。终端设备的摄像部件在目标分辨率的设置下得到的图像的像素为目标像素，第一图像是根据摄像部件得到的。特别地，当终端设备为编码端时，例如前述第一种应用场景，通过目标分辨率来确定第一图块的大小是更有意义的。因为目标分辨率表明了终端设备未来可能会获取的图像的像素，即编码端未来将会使用本技术实施例中的图像
处理方法来处理的图像的像素，因此在训练模型时，便可以针对该目标像素进行训练。
[0344]
可选地，目标分辨率是根据摄像应用中的设置界面对摄像部件的分辨率设置得到的。其中，摄像应用的设置界面可对摄像部件拍摄得到的分辨力进行设置。将设置界面中已经选定的分辨力作为目标分辨力。请参阅图7，图7为本技术实施例中的终端设备的相机设置分辨率的设置界面的示意图。在设置界面示意图中，分辨率为[4:3]10mp的选项701被选定，虽然此处的选项未具体说明目标分辨率的具体数值。但根据拍摄得到的第一图像，可知第一图像的像素为2736
×
3648，即目标像素为2736
×
3648。通过确定目标像素，确定第一图块的大小，使得等于整数，等于整数。
[0345]
可选地，目标分辨率是根据摄像部件得到的图库中的目标图像组得到的，目标图像组的像素为目标像素，在不同像素的图像组中，目标图像组在图库中的比值最大。其中，编码端通过摄像部件得到的图库包括不同像素的图像组。例如，如图7所示，该设置界面示意图对应的终端可以通过相机获得4种像素的图像。在终端设备的相机的图库中，确定哪种像素的图像占比最多，则可以保证该像素的图像可以刚好被分割成整数块。
[0346]
可选地，通过摄像部件得到多个像素的图像，多个像素为e
×
f，等于整数，等于整数，e包括c，f包括d。其中，终端设备可通过摄像部件得到不同像素的图像，e
×
f是不同像素的图像的像素集合。例如，如图7所示，该设置界面示意图对应的终端可以通过相机获得4种像素的图像。若等于整数，等于整数，则表明这4种像素的图像都可以被分割成整数块。
[0347]
可选地，e
×
f还包括终端设备通过截屏获得的像素。
[0348]
可选地，多个像素是通过摄像应用中的设置界面对摄像部件的分辨率设置得到的。
[0349]
上面对尽量保证第一图像被分割成整数块的方案进行了描述，但是在实际应用中，总有图像是无法被分割成整数块的。在这种情况下，为了提高模型的兼容性，需要对第一图像进行填充，下面对此进行相关描述。
[0350]
可选地，第一图块的像素为a
×
b，a为宽度方向上的像素点数量，b为高度方向上的像素点数量，第一图像的的像素为r
×
t。在获取第一图像后，在分割第一图像之前，方法还包括：若不等于整数，和/或不等于整数，则用像素中值填充所述第一图像的边缘，使得等于整数，等于整数，填充后的第一图像的像素为r1
×
t1。像素中值是指第一图像的单个像素点的像素值的中间值，例如，当用8比特表示第一图像的一个像素点时，像素中值为128。通过用图像中值填充图像的边缘，可以在降低对图像质量的影响的情况下，提高模型的兼容性。图像中值是像素点的中值。
[0351]
可选地，在填充第一图像的边缘之前，还包括：若所述不等于整数，则等比放大所述r和所述t，得到像素为r2
×
t2的所述第一图像，所述等于整数。其中，填充像素中值的图块的数量会影响图像的质量。通过等比放大图像，减少填充图像中值的图块的数量，提升图像质量。如图8所示，图8为本技术实施例中图像填充的一个流程示意图。在图8的8a中，第一图块的像素为a
×
b，第一图像的的像素为r
×
t，等比放大r和t后，如图8的8b所示，第一图
像的像素为r2
×
t2。放大前，如图8的8a所示，需要填充的图块的个数为6个，在放大后，如图8的8b所示，需要填充的图块的个数为4个，因此减少了需要填充的图块的数量。特别地，若不等于整数，等比放大r和t，使得则使得需要填充的图块的个数缩减为2个。
[0352]
可选地，在等比放大r和t后，若不等于整数，则获取的余数。若余数大于则只在第一图像的宽度方向的一侧填充像素中值。其中，只在图像的一侧填充像素中值，在减少填充对图像块的影响的情况下，进一步减少填充图像中值的图块的数量，提升图像质量。如图8的8b所示，余数g大于如图8的8c所示，在第一图像的单侧填充像素中值。
[0353]
可选地，若余数小于则在第一图像的宽度方向的二侧填充像素中值，使得每侧填充的所述像素中值的宽度为其中，g为所述余数。其中，减少填充对图像块的影响，提升图像质量。如图9所示，图9为本技术实施例中图像填充的另一个流程示意图。若余数g小于则在第一图像的两侧填充图像中值，填充的图像中值的宽度为
[0354]
本技术通过分割第一图像，获得n个第一图块，从不同的第一图块中获取各自的均值，然后利用均值对第一重构图块进行补偿，以实现凸显第一图像局部特性的目的。特别地，n个第一图块包括第一目标图块，第一目标图块的像素值的范围小于第一图像的像素值的范围。在从n个第一图块中获取n个第一自适应数据之前，所述方法还包括：云端设备反量化第一目标图块的像素值。云端设备从反量化后的第一目标图块获取n个第一自适应数据。通过反量化第一目标图块的像素值，进一步凸第一图像的显局部特性。任一第一图块都可以理解为第一图像的局部特性，通过凸显第一图像的局部特性，可以提升图像的重构质量，即提升图像的压缩质量。如图10所示，图10为本技术实施例中图像压缩质量的对比示意图。横坐标表示每像素的比特数(bit-per-pixel，bpp)，用于度量码率。纵坐标表示峰值信噪比(peak signal-to-noise ratio，psnr)，用于度量质量。与本技术实施例中的图像处理方法对比的压缩算法包括jpeg2000、hevc(high efficiency video coding)和vvc(versatile video coding)标准的不同实现。对于jpeg2000，采用参考软件openjpeg来表示其压缩性能。同时，将集成在matlab中的实现作为jpeg2000压缩性能的补充。对于hevc，采用参考软件hm-16.15来反映率失真(rd)性能。使用vvc标准参考软件vtm-6.2表示vvc标准的性能。需要注意的是，在vtm-6.2的编码配置中，将输入图像位深度和内部计算位深度设置为8，以与输入图像的格式兼容，使用全帧内(ai)配置对测试图像进行编码。各种压缩算法的率失真性能如图10所示，openjpeg的率失真性能曲线为1001，jpeg2000的matlab实现的率失真性能曲线为1002，参考软件hm-16.15的420图像格式压缩的性能曲线为1003，未分块的卷积神经网络图像压缩算法的性能曲线为1004，本发明的性能曲线为1005，参考软件vtm-6.2的420图像格式压缩的性能曲线为1006。
[0355]
上面对本技术实施例中的图像处理方法进行了描述，下面对本技术实施例中的图像处理系统进行描述。
[0356]
请参阅图11，图11为本技术实施例提供的图像处理系统的一种系统架构图，在图11中，图像处理系统200包括执行设备210、训练设备220、数据库230、客户设备240和数据存
储系统250，执行设备210中包括计算模块211。
[0357]
其中，数据库230中存储有第一图像集合，可选地，数据库230中还包括第四图像合集。训练设备220生成用于处理第一图像和/或第四图像的目标模型/规则201，并利用数据库中的第一图像和/或第四图像对目标模型/规则201进行迭代训练，得到成熟的目标模型/规则201。本技术实施例中以目标模型/规则201包括编码神经网络和解码神经网络，可选地，目标模型/规则201还包括融合神经网络。
[0358]
训练设备220得到的编码神经网络和解码神经网络可以应用不同的系统或设备中，例如手机、平板、笔记本电脑、vr设备、监控系统等等。其中，执行设备210可以调用数据存储系统250中的数据、代码等，也可以将数据、指令等存入数据存储系统250中。数据存储系统250可以置于执行设备210中，也可以为数据存储系统250相对执行设备210是外部存储器。
[0359]
计算模块211接收客户设备240发送的第一图像，分割第一图像，以获得n个第一图块，从n个第一图块中提取n个第一自适应数据，利用n个第一自适应数据对n个第一图块进行预处理，然后通过编码神经网络对预处理后的n个第一图块进行特征提取，得到n组第一特征图，对得到的n组第一特征图进行量化和熵编码，得到n个编码表，n为大于1的整数。
[0360]
计算模块211还可以对n个编码表示进行熵解码，得到n组第二特征图，然后通过解码解码神经网络处理n组第二特征组，得到n个第一重构图块。得到n个第一重构图块后，利用n个第一自适应数据补偿该n个第一重构图块。计算模块211组合n个第一重构图块，得到第二图像。可选地，当目标模型/规则201还包括融合神经网络时，计算模块211还可以使用融合神经网络处理第二图像，以得到第三图像。其中，融合神经网络用于降低第二图像和第一图像的差异，该差异包括块效应。
[0361]
本技术的一些实施例中，请参阅图11，执行设备210和终端设备240可以为分别独立的设备，执行设备210配置有i/o接口212，与终端设备240进行数据交互，“用户”可以通过终端设备240向i/o接口212输入第一图像，执行设备210通过i/o接口212将第二图像返回给终端设备240，提供给用户。除此之外，终端设备240与执行设备210的关系可以通过终端设备与编码端，解码端的关系来描述。编码端为使用编码神经网络的设备，解码端为使用解码神经网络的设备，编码端和解码端可以是同一个设备，也可以是独立的设备。终端设备与上述图像处理方法中的终端设备类似，终端设备可以是编码端和/或解码端。为了便于理解终端设备240与执行设备210的关系，可以参考前述图2a-图2c的相关描述。
[0362]
值得注意的，图11仅是本发明实施例提供的图像处理系统的架构示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。例如，在本技术的另一些实施例中，执行设备210可以配置于终端设备240中，作为示例，例如当终端设备为手机或平板时，执行设备210可以为手机或平板的主处理器(host cpu)中用于进行阵列图像处理的模块，执行设备210也可以为手机或平板中的图形处理器(graphics processing unit，gpu)或者神经网络处理器(npu)，gpu或npu作为协处理器挂载到主处理器上，由主处理器分配任务。
[0363]
结合上述描述，下面开始对本技术实施例提供的图像处理方法的训练阶段的具体实现流程进行描述。
[0364]
具体的，请参阅图12，图12为本技术实施例提供的模型训练方法的一种流程示意图，本技术实施例提供的模型训练方法可以包括：
[0365]
在步骤1201中，训练设备获取第一图像。
[0366]
在步骤1202中，训练设备分割所述第一图像，获得n个第一图块，n为大于1的整数。
[0367]
在步骤1203中，训练设备从所述n个第一图块中获取n个第一自适应数据，所述n个第一自适应数据与所述n个第一图块一一对应。
[0368]
在步骤1204中，训练设备根据所述n个第一自适应数据对所述n个第一图块进行预处理。
[0369]
在步骤1205中，训练设备通过第一编码神经网络处理预处理后的n个第一图块，得到n组第一特征图。
[0370]
在步骤1206中，训练设备对所述n组第一特征图进行量化和熵编码，得到n个第一编码表示。
[0371]
在步骤1207中，训练设备对所述n个第一编码表示进行熵解码，得到n组第二特征图。
[0372]
在步骤1208中，训练设备通过第一解码神经网络处理所述n组第二特征图，得到n个第一重构图块。
[0373]
在步骤1209中，训练设备通过所述n个第一自适应数据补偿所述n个第一重构图块。
[0374]
在步骤1210中，训练设备组合补偿后的n个第一重构图块，得到第二图像。
[0375]
在步骤1211中，训练设备获取所述第二图像相对于所述第一图像的失真损失。
[0376]
在步骤1212中，训练设备利用损失函数对模型进行联合训练，直至所述第一图像与所述第二图像之间的图像失真值达到第一预设程度，所述模型包括所述第一编码神经网络、量化网络、熵编码网络、熵解码网络、所述第一解码神经网络。
[0377]
请参阅图13，图13为本技术实施例提供的一种训练过程的示意图。实施例中模型的损失函数为：
[0378]
loss＝ld p
×
lr[0379]
上面的损失函数中，ld表示第一编码表示的信息熵。p
×
lr用于表示第一图像与第二图像之间的失真度量，lr表示第一图像和第二图像的失真损失，p表示了两个损失函数之间的平衡因子，用来刻画第一编码表示与重构图像质量的相对关系。
[0380]
可选地，为了获得合适的分块大小，训练过程包括在多次迭代训练中，将第一图像分割成不同大小的图块，即n的数值不同。将多次迭代得到的损失函数进行对比，对第一图块的大小进行优化。
[0381]
在步骤1213中，训练设备输出第二编码神经网络和第二解码神经网络，所述第二编码神经网络为所述第一编码神经网络执行过迭代训练后得到的模型，所述第二解码神经网络为所述第一解码神经网络执行过迭代训练后得到的模型。
[0382]
步骤1201至步骤1211的具体描述可以参照上述图像处理方法中的描述。
[0383]
可选地，所述方法还包括：
[0384]
训练设备量化所述n个第一自适应数据，获得n个第一自适应量化数据，所述n个第一自适应量化数据用于对所述n个第一重构图块进行补偿。
[0385]
可选地，所述n越大，单个第一自适应量化数据的信息熵越小。
[0386]
可选地，所述n个第一编码表示的排列顺序和所述n个第一图块的排列顺序相同，
所述n个第一图块的排列顺序为所述n个第一图块在所述第一图像中的排列顺序。
[0387]
可选地，训练设备通过融合神经网络处理所述第二图像，得到第三图像，以降低所述第二图像与所述第一图像的差异，所述差异包括块效应；
[0388]
训练设备具体用于获取所述第三图像相对于所述第一图像的失真损失；
[0389]
所述模型包括融合神经网络。
[0390]
可选地，所述n个第一图块中的每个第一图块的大小相同。
[0391]
可选地，在两次迭代训练中，训练用的第一图像的大小不同，第一图块的大小为固定值。
[0392]
可选地，所述第一图块的像素为a
×
b，所述a和所述b是根据目标像素得到的，所述目标像素为c
×
d，等于整数，等于整数，所述a和c为宽度方向上的像素点数量，所述b和d为高度方向上的像素点数量，所述目标像素是根据终端设备的目标分辨率得到的，所述终端设备包括摄像部件，所述摄像部件在所述目标分辨率的设置下得到的图像的像素为所述目标像素，第一图像由所述摄像部件获得。
[0393]
可选地，所述目标分辨率是根据摄像应用中的设置界面对所述摄像部件的分辨率设置得到的。
[0394]
可选地，所述目标分辨率是根据所述摄像部件得到的图库中的目标图像组得到的，所述目标图像组的像素为所述目标像素，在不同像素的图像组中，所述目标图像组在所述图库中的比值最大。
[0395]
可选地，通过所述摄像部件得到多个像素的图像，所述多个像素为e
×
f，等于整数，等于整数，所述e包括所述c，所述f包括所述d。
[0396]
可选地，所述多个像素是通过所述摄像应用中的设置界面对所述摄像部件的分辨率设置得到的。
[0397]
可选地，所述第一图块的像素为a
×
b，所述a为宽度方向上的像素点数量，所述b为高度方向上的像素点数量，所述第一图像的像素为r
×
t；
[0398]
在获取所述第一图像后，在分割所述第一图像之前，所述方法还包括：
[0399]
若不等于整数，和/或不等于整数，则用像素中值填充所述第一图像的边缘，使得等于整数，等于整数，填充后的所述第一图像的像素为r1
×
t1。
[0400]
可选地，在获取所述第一图像后，在填充所述第一图像的边缘之前，所述方法还包括：
[0401]
若所述不等于整数，则等比放大所述r和所述t，得到像素为r2
×
t2的所述第一图像，所述等于整数；
[0402]
所述若不等于整数，和/或不等于整数，则用像素中值填充所述第一图像的边缘包括：
[0403]
若不等于整数，则用像素中值填充所述第一图像的边缘。
[0404]
可选地，在等比放大r和t后，若不等于整数，则获取的余数。若所述余数大于则训练设备只在所述第一图像的宽度方向的一侧填充所述像素中值。
[0405]
可选地，若所述余数小于则在所述第一图像的宽度方向的二侧填充所述像素中值，使得每侧填充的所述像素中值的宽度为其中，所述g为所述余数。
[0406]
可选地，所述n个第一图块包括第一目标图块，所述第一目标图块的像素值的范围小于所述第一图像的像素值的范围；
[0407]
在从所述n个第一图块中获取n个第一自适应数据之前，所述方法还包括：
[0408]
训练设备反量化所述第一目标图块的像素值；
[0409]
训练设备具体用于从反量化后的所述第一目标图块获取一个第一自适应数据。
[0410]
在图1至图13所对应的实施例的基础上，为了更好的实施本技术实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图14，图14为本技术实施例提供的编码装置1400的一个结构示意图，编码装置1400对应编码端，编码装置1400可以是终端设备或云端设备，编码装置1400包括：
[0411]
第一获取模块1401，用于获取第一图像；
[0412]
分割模块1402，用于分割第一图像，获得n个第一图块，n为大于1的整数；
[0413]
第二获取模块1403，用于从n个第一图块中获取n个第一自适应数据，n个第一自适应数据与n个第一图块一一对应；
[0414]
预处理模块1404，用于根据n个第一自适应数据对n个第一图块进行预处理；
[0415]
编码神经网络模块1405，通过编码神经网络处理预处理后的n个第一图块，得到n组第一特征图；
[0416]
量化和熵编码模块1406，用于对n组第一特征图进行量化和熵编码，得到n个第一编码表示。可选地，编码装置还用执行前述图3a对应的实施例中云端设备执行的全部或部分操作。
[0417]
上面对本技术实施例中的编码装置进行了描述，在图1至图13所对应的实施例的基础上，为了更好的实施本技术实施例的上述方案，下面还提供对本技术实施例中的解码装置进行描述。具体参阅图15，图15为本技术实施例提供的解码装置1500的一个结构示意图，解码装置1500对应解码端，解码装置1500可以是终端设备或云端设备，解码装置1500包括：
[0418]
获取模块1501，用于获取n个第一编码表示，n个第一自适应数据和对应关系，对应关系包括n个第一自适应数据和n个第一编码表示的对应关系，n个第一自适应数据与n个第一编码一一对应，n为大于1的整数；
[0419]
熵解码模块1502，对n个第一编码表示进行熵解码，得到n组第二特征图；
[0420]
解码神经网络模块1503，用于处理n组第二特征图，得到n个第一重构图块；
[0421]
补偿模块1504，用于通过n个第一自适应数据补偿n个第一重构图块；
[0422]
组合模块1505，用于组合补偿后的n个第一重构图块，得到第二图像。
[0423]
可选地，解码装置还用执行前述图3a对应的实施例中终端设备执行的全部或部分操作。
[0424]
上面对本技术实施例中的解码装置进行了描述，在图1至图13所对应的实施例的基础上，为了更好的实施本技术实施例的上述方案，下面还提供对本技术实施例中的训练装置进行描述。具体参阅图16，图16为本技术实施例提供的训练装置1600的一个结构示意图，训练装置1600包括：
[0425]
第一获取模块1601，用于获取第一图像。
[0426]
分割模块1602，用于分割所述第一图像，获得n个第一图块，n为大于1的整数。
[0427]
第二获取模块1603，用于从所述n个第一图块中获取n个第一自适应数据，所述n个第一自适应数据与所述n个第一图块一一对应。
[0428]
预处理模块1604，用于根据所述n个第一自适应数据对所述n个第一图块进行预处理；
[0429]
第一编码神经网络模块1605，用于处理预处理后的n个第一图块，得到n组第一特征图。
[0430]
量化和熵编码模块1606，用于对所述n组第一特征图进行量化和熵编码，得到n个第一编码表示。
[0431]
熵解码模块1607，对所述n个第一编码表示进行熵解码，以得到n组第二特征图。
[0432]
第一解码神经网络模块1608，用于处理所述n组第二特征图，得到n个第一重构图块。
[0433]
补偿模块1609，用于通过所述n个第一自适应数据补偿所述n个第一重构图块。
[0434]
组合模块1610，用于组合补偿后的n个第一重构图块，得到第二图像。
[0435]
第三获取模块1611，用于获取所述第二图像相对于所述第一图像的失真损失。
[0436]
训练模块1612，用于利用损失函数对模型进行联合训练，直至所述第一图像与所述第二图像之间的图像失真值达到第一预设程度，所述模型包括所述第一编码神经网络、量化网络、熵编码网络、熵解码网络、所述第一解码神经网络。可选地，所述模型还包括分割网络，分割网络中的可训练的参数为第一图块的大小。可选地，所述模型还包括分割网络，分割网络中的可训练的参数为第一图块的大小。
[0437]
输出模块1613，用于输出第二编码神经网络和第二解码神经网络，所述第二编码神经网络为所述第一编码神经网络执行过迭代训练后得到的模型，所述第二解码神经网络为所述第一解码神经网络执行过迭代训练后得到的模型。
[0438]
可选地，所述训练装置还用于执行前述图3a对应的实施例中终端设备和/或云端设备执行的全部或部分操作。
[0439]
在第六方面的一种可选设计中，所述n个第一图块包括第一目标图块，所述第一目标图块的像素值的范围小于所述第一图像的像素值的范围；
[0440]
所述装置还包括：
[0441]
反量化模块，用于反量化所述第一目标图块的像素值；
[0442]
所述第二获取模块1603具体用于从反量化后的所述第一目标图块获取一个第一自适应数据。
[0443]
接下来介绍本技术实施例提供的一种执行设备，请参阅图17，图17为本技术实施例提供的执行设备的一种结构示意图，执行设备1700具体可以表现为虚拟现实vr设备、手机、平板、笔记本电脑、智能穿戴设备、监控数据处理设备、服务器等，此处不做限定。其中，
执行设备1700上可以部署有图14对应实施例中所描述的编码装置和/或图15对应实施例中所描述的解码装置，用于实现图14和/或图15对应实施例中装置的功能。具体的，执行设备1700包括：接收器1701、发射器1702、处理器1703和存储器1704(其中执行设备1700中的处理器1703的数量可以一个或多个，图17中以一个处理器为例)，其中，处理器1703可以包括应用处理器17031和通信处理器17032。在本技术的一些实施例中，接收器1701、发射器1702、处理器1703和存储器1704可通过总线或其它方式连接。
[0444]
存储器1704可以包括只读存储器和随机存取存储器，并向处理器1703提供指令和数据。存储器1704的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，nvram)。存储器1704存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
[0445]
处理器1703控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
[0446]
上述本技术实施例揭示的方法可以应用于处理器1703中，或者由处理器1703实现。处理器1703可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1703中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1703可以是通用处理器、数字信号处理器(digital signal processing，dsp)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1703可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1704，处理器1703读取存储器1704中的信息，结合其硬件完成上述方法的步骤。
[0447]
接收器1701可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1702可用于通过第一接口输出数字或字符信息；发射器1702还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1702还可以包括显示屏等显示设备。
[0448]
本技术实施例中，在一种情况下，处理器1703，用于执行图3a对应实施例中的终端设备和/或云端设备执行的操作。
[0449]
可选地，应用处理器17031，用于获取第一图像；
[0450]
分割第一图像，获得n个第一图块，n为大于1的整数；
[0451]
从n个第一图块中获取n个第一自适应数据，n个第一自适应数据与n个第一图块一一对应；
[0452]
根据n个第一自适应数据对n个第一图块进行预处理；
[0453]
通过编码神经网络处理预处理后的n个第一图块，得到n组第一特征图；
[0454]
对n组第一特征图进行量化和熵编码，以获得n个第一编码表示；
[0455]
除此之外，应用处理器17031还可以用于执行上述图3a对应的实施例中的云端设备可以执行的全部或部分操作。
[0456]
可选地，应用处理器17031，用于获取n个第一编码表示；
[0457]
对n个第一编码表示进行熵解码，以获得n组第二特征图；
[0458]
通过解码神经网络处理n组第二特征图，以获得n个第一重构图块；
[0459]
通过n个第一自适应数据补偿n个第一重构图块；
[0460]
组合补偿后的n个第一重构图块，以获得第二图像；
[0461]
除此之外，应用处理器17031还可以用于执行上述图3a对应的实施例中的终端设备可以执行的全部或部分操作。
[0462]
本技术实施例还提供了一种训练设备，请参阅图18，图18是本技术实施例提供的训练设备一种结构示意图，训练设备1800上可以部署有图16对应实施例中所描述的训练装置，用于实现图16对应实施例中训练装置的功能，具体的，训练设备1800由一个或多个服务器实现，训练设备1800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1822(例如，一个或一个以上处理器)和存储器1832，一个或一个以上存储应用程序1842或数据1844的存储介质1830(例如一个或一个以上海量存储设备)。其中，存储器1832和存储介质1830可以是短暂存储或持久存储。存储在存储介质1830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器1822可以设置为与存储介质1830通信，在训练设备1800上执行存储介质1830中的一系列指令操作。
[0463]
训练设备1800还可以包括一个或一个以上电源1826，一个或一个以上有线或无线网络接口1850，一个或一个以上输入输出接口1858，和/或，一个或一个以上操作系统1841，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
[0464]
本技术实施例中，中央处理器1822，用于执行图16对应实施例中的训练装置执行的全部或部分操作。
[0465]
本技术实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图17所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图18所示实施例描述的方法中训练设备所执行的步骤。
[0466]
本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述图17所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图18所示实施例描述的方法中训练设备所执行的步骤。
[0467]
本技术实施例提供的执行设备、训练设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述图3a所示实施例描述的终端设备和/或云端设备执行的操作，或者，以使训练设备内的芯片执行上述图13所示实施例描述的模型训练方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，rom)或可存储静态信息和指
令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)等。
[0468]
具体的，请参阅图19，图19为本技术实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器npu2000，npu2000作为协处理器挂载到主cpu(host cpu)上，由host cpu分配任务。npu的核心部分为运算电路2003，通过控制器2004控制运算电路2003提取存储器中的矩阵数据并进行乘法运算。
[0469]
在一些实现中，运算电路2003内部包括多个处理单元(process engine,pe)。在一些实现中，运算电路2003是二维脉动阵列。运算电路2003还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路2003是通用的矩阵处理器。
[0470]
举例来说，假设有输入矩阵a，权重矩阵b，输出矩阵c。运算电路从权重存储器2002中取矩阵b相应的数据，并缓存在运算电路中每一个pe上。运算电路从输入存储器2001中取矩阵a数据与矩阵b进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)2008中。
[0471]
统一存储器2006用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller，dmac)2005，dmac被搬运到权重存储器2002中。输入数据也通过dmac被搬运到统一存储器2006中。
[0472]
biu为bus interface unit即，总线接口单元2010，用于axi总线与dmac和取指存储器(instruction fetch buffer，ifb)2009的交互。
[0473]
总线接口单元2010(bus interface unit，简称biu)，用于取指存储器2009从外部存储器获取指令，还用于存储单元访问控制器2005从外部存储器获取输入矩阵a或者权重矩阵b的原数据。
[0474]
dmac主要用于将外部存储器ddr中的输入数据搬运到统一存储器2006或将权重数据搬运到权重存储器2002中或将输入数据数据搬运到输入存储器2001中。
[0475]
向量计算单元2007包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如batch normalization(批归一化)，像素级求和，对特征平面进行上采样等。
[0476]
在一些实现中，向量计算单元2007能将经处理的输出的向量存储到统一存储器2006。例如，向量计算单元2007可以将线性函数和/或非线性函数应用到运算电路2003的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元2007生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路2003的激活输入，例如用于在神经网络中的后续层中的使用。
[0477]
控制器2004连接的取指存储器(instruction fetch buffer)2009，用于存储控制器2004使用的指令；
[0478]
统一存储器2006，输入存储器2001，权重存储器2002以及取指存储器2009均为on-chip存储器。外部存储器私有于该npu硬件架构。
[0479]
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，asic，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
[0480]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
[0481]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本技术各个实施例所述的方法。
[0482]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0483]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。