图像编码和解码的方法、装置、计算机设备及存储介质与流程

1.本技术涉及图像处理技术领域，并且更具体地，涉及一种图像编码和解码的方法、装置、计算机设备及存储介质。


背景技术：

2.随着深度学习技术的快速发展，深度学习在图像分类，语义分割和目标检测都取得了长足的进步，深度学习技术也应用到各个领域。但是在工业缺陷检测应用场景中，经常需要在分辨率为两千万像素以上的图像中，分割出最短拓扑宽度只有三、四个像素左右的小目标缺陷。而在图像分割的过程中，通常采用基于深度神经网络的图像分割方法，其骨干网络中都采用了池化层或带步长卷积以逐步减少特征图的分辨率。随着网络阶段的深入，骨干网络提取到的特征更加抽象、丰富，但是精细的空间元素信息也在逐渐损失，这也致使无法恢复出精细的分割结果。因此，在一些应用场景下，基于深度神经网络的图像分割方法检出的准确率和召回率远低于人工水平，并不能实际部署于产线进行缺陷检测。
3.因此，基于深度神经网络的图像分割方法缺陷漏杀率较高，缺陷检测性能差的问题，是一项亟需解决的技术问题。


技术实现要素：

4.本技术实施例提供一种图像编码和解码的方法、装置、计算机设备及存储介质，以解决现有的基于深度神经网络的图像分割方法缺陷漏杀率较高，缺陷检测性能差的问题。
5.第一方面，提供了一种图像编码的方法，应用于图像编码器，该方法包括：
6.对获取的第一图像进行预处理，得到第二图像，该第一图像为待检测图像；
7.将第二图像输入改进骨干网络中，基于反向像素重组的方式，对第二图像进行下采样得到第一特征图，并基于交叉型卷积核，对第一特征图进行特征提取得到第二特征图，第二特征图包括第一图像的细节特征；
8.通过跨层连接，向图像解码器发送第二特征图，以使得图像解码器对第二特征图进行上采样，恢复出分割图像，该分割图像为包括第一图像的细节特征且与第一图像分辨率相同的图像。
9.应理解，上述图像分割的过程可以包括图像编码和图像解码两部分。
10.示例地，上述第一图像可以通过计算机设备拍摄得到，该计算机设备可以为具有高分辨率摄像头的照相机、电脑等。
11.示例地，上述改进骨干网络可以是一种改进的高分辨率网络(high-resolution net，hrnet)，并且保留了现有的普通hrnet内部结构中保持的一条具有高分辨率特征图的支路，该支路能够较好保留小目标缺陷的特征，以提升小目标缺陷的检出率。
12.应理解，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。因此，上述图像特征提取的操作即为一种图像分割的方式。
13.基于上述技术方案，通过反向像素重组的方式实现信息无损的下采样，以充分保
留小目标的空间位置信息；通过交叉型卷积核可以更好地适配工业场景中容易出现的细长划痕的拓扑结构，以更好地提取其边缘特征；并通过跨越连接的方式与解码器连接，以使得多尺度的细节特征可以直接传递并融合到解码结果中。在兼顾检测效率的同时，较为精确地分割出小目标缺陷，减少缺陷漏杀率，提升缺陷检测性能。
14.结合第一方面，在第一方面的某些实现方式中，上述基于反向像素重组的方式，对第二图像进行下采样得到第一特征图，包括：
15.将第二图像的特征张量的空间维度元素排列到多个反向像素重组通道上，得到第一特征图；下采样得到的第一特征图包括第二图像的特征张量的所有空间维度元素。
16.示例地，上述第二图像的形状为m
×w×
h，其中m为第二图像特征张量的通道数，w为第二图像的宽度，h为第二图像的高度。此时需要对该第二图像进行n倍的下采样操作，将该第二图片输入至上述反向像素重组模块中，该模块包括多个反向像素重组通道。通过该模块，将第二图像的特征张量的m
×w×
h空间维度元素，分别排列到多个反向像素重组通道上，最终输出为m
×n×
n通道的(w/n)
×
(h/n)的第一特征图。
17.基于上述技术方案，能够实现对第二图像信息无损的下采样，充分保留第二图像中的小目标的空间位置信息，并提取更丰富、更抽象的语义信息，以减少空间细节信息的损失，有助于提升工业场景的小目标缺陷检测的准确性和精度。
18.结合第一方面，在第一方面的某些实现方式中，上述基于反向像素重组的方式，对第二图像进行下采样得到第一特征图应用于上述改进骨干网络的输入层。
19.应理解，上述反向像素重组的方式计算开销相对较大，考虑到神经网络的浅层特征图通常包含着目标的细节特征。所以在计算资源有限的情况下，只在骨干网络的输入层以反向像素重组的方式对第二图像进行下采样更能解决计算资源，并且不过多损失特征提取精度，以实现缺陷检测计算效率和检测精度的平衡。
20.结合第一方面，在第一方面的某些实现方式中，改进骨干网络包括n个阶段，每个阶段包括一组交叉型卷积核，各组交叉型卷积核之间依次连接；上述基于交叉型卷积核，对第一特征图进行特征提取得到第二特征图，包括：
21.通过第一组交叉型卷积核对第一特征图进行卷积处理，得到第一阶段的第二特征图，通过第二组交叉型卷积核对第一阶段的第二特征图进行卷积处理，得到第二阶段的第二特征图，直至通过第n组交叉型卷积核对第n-1阶段的第二特征图进行卷积处理，得到第n阶段的第二特征图，n为大于1的整数。
22.应理解，上述通过交叉型卷积核对第一特征图进行卷积处理的过程也是对第一特征图进行下采样的过程。
23.示例地，一组交叉型卷积核可以由多个交叉型卷积核构成，对于第n组中包括的交叉型卷积核的数量大于第n-1组中包括的交叉型卷积核的数量。其中n为大于1且小于等于n的整数。
24.应理解，将骨干网络输入层中的i
×
i方型卷积核替换为交叉型卷积，可以更好地适配斜划痕在第一特征图中的拓扑结构，从而更好地捕捉斜划痕的形态特征。而普通骨干网络的神经网络结构可以包括n个阶段。类似地，上述改进骨干网络也可以是n个阶段的神经网络结构。
25.示例地，改进骨干网络的神经网络结构通常包括四个阶段。
26.示例地，通过交叉卷积可以将方型卷积核转化为非对称卷积结构，以增加对多尺度特征的适应性和模型的非线性表达能力。
27.基于上述技术方案，由于产品表面的斜长划痕等缺陷特征可能具有形状不规则的情况，利用交叉卷积核对上述第一特征图进行特征提取，能够提高特征提取的稳定性和精度，从而更好地捕捉斜划痕的形态特征。
28.结合第一方面，在第一方面的某些实现方式中，图像解码器包括n个解码层，改进骨干网络包括的n个阶段与图像解码器包括的n个解码层一一对应；通过跨层连接，向图像解码器发送第二特征图，包括：
29.通过跨层连接，将得到的n个阶段的第二特征图一一对应的发送至图像解码器包括的n个解码层。
30.基于上述技术方案，通过将改进骨干网络各个阶段提取的细节信息直接发送至图像解码器，使图像解码器能够解出不同特征提取尺度下的细节信息，以保证第一特征图中的细节特征不丢失，增加分割图像的精细程度，降低了缺陷漏杀率，并提升了缺陷检测性能。
31.示例地，在上述特征提取的过程中使用数据增广，该数据增广包括随机裁剪、随机缩放、随机翻转和颜色扰动。
32.基于上述技术方案，在后续改进骨干网络训练过程中，使用基于预处理的各种数据增广以增强数据的丰富性，进而能够提升改进骨干网络的泛化性能。
33.第二方面，提供了一种图像解码的方法，应用于图像解码器，该方法包括：
34.通过跨层连接，接收来自改进骨干网络的第二特征图，该第二特征图是通过改进骨干网络基于交叉型卷积核对第一特征图进行特征提取得到的，该第一特征图是通过改进骨干网络基于反向像素重组的方式对第二图像进行下采样得到的，该第二特征图包括第一图像的细节特征，该第二图像是对获取的第一图像进行预处理得到的，该第一图像为待检测图像；
35.对第二特征图进行上采样，恢复出分割图像，分割图像为包括第一图像的细节特征且与第一图像分辨率相同的图像。
36.示例地，在各个解码层中，可以通过反卷积模型对上述第二特征图进行上采样；也可以通过双线性插值的方式对上述第二特征图进行上采样；还可以通过其他能够实现图像上采样操作的方式实现对第二特征图进行上采样的操作。
37.基于上述技术方案，尽可能保证了最终恢复的分割图像细节缺陷不丢失，降低了产品缺陷检测过程中的缺陷漏杀率，提升了缺陷检测性能。
38.结合第二方面，在第二方面的某些实现方式中，改进骨干网络包括n个阶段，每个阶段包括一组交叉型卷积核，各组交叉型卷积核之间依次连接；
39.上述通过改进骨干网络基于交叉型卷积核对第一特征图进行特征提取得到第二特征图的过程为：
40.通过第一组交叉型卷积核对第一特征图进行卷积处理，得到第一阶段的第二特征图，通过第二组交叉型卷积核对第一阶段的第二特征图进行卷积处理，得到第二阶段的第二特征图，直至通过第n组交叉型卷积核对第n-1阶段的第二特征图进行卷积处理，得到第n阶段的第二特征图，n为大于1的整数。
41.基于上述技术方案，由于产品表面的斜长划痕等缺陷特征可能具有形状不规则的情况，利用交叉卷积核对上述第一特征图进行特征提取，能够提高特征提取的稳定性和精度，从而更好地捕捉斜划痕的形态特征。
42.结合第二方面，在第二方面的某些实现方式中，图像解码器包括n个解码层，改进骨干网络包括的n个阶段与图像解码器包括的n个解码层一一对应，上述通过跨层连接，接收来自改进骨干网络的第二特征图，包括：
43.通过跨层连接，图像解码器包括的n个解码层一一对应的接收改进骨干网络发送的n个阶段的第二特征图。
44.基于上述技术方案，图像解码器通过跨层连接的方式，直接接收改进骨干网络的各个阶段提取的细节信息，使图像解码器能够解出不同特征提取尺度下的细节信息，以保证第一特征图中的细节特征不丢失，增加分割图像的精细程度，降低了缺陷漏杀率，并提升了缺陷检测性能。
45.结合第二方面，在第二方面的某些实现方式中，上述对第二特征图进行上采样，恢复出分割图像，包括：
46.通过第n层解码层对第n阶段的第二特征图进行上采样，得到第n层上采样结果，通过第n-1层解码层基于第n层上采样结果对第n-1阶段的第二特征图进行上采样，得到第n-1层上采样结果，直至通过第一层解码层基于第二层上采样结果对第一阶段的第二特征图进行上采样，得到第一层上采样结果；
47.根据第一层上采样结果，恢复出分割图像。
48.应理解，由于图像编码器将n个阶段中各个特征提取尺度下的第二特征图通过跨层连接的方式分别传输至上述n个解码层。所以上述各层的上采样结果分别包括了各个尺度下的细节特征，从而更多地保留了浅层细节信息，该浅层细节信息可以是改进骨干网络的n个阶段中相对靠前的阶段下提取的细节特征，例如第一阶段、第二阶段。
49.示例地，除第n层解码层之外，其他解码层的上采样操作均需要两方面的参数作为输入。以第一层解码层为例，一方面需要将基于跨层连接接收到的图像编码器第一阶段发来的第一阶段的第二特征图作为输入；另一方面需要将第二层解码层对第二阶段的第二特征图进行上采样后的第二层上采样结果作为输入，从而使最终得到的第一层上采样结果能够还原此前在图像编码器侧在多尺度下提取的细节特征。
50.示例地，在各个解码层中，可以通过反卷积模型对上述第二特征图进行上采样；也可以通过双线性插值的方式对上述第二特征图进行上采样；还可以通过其他能够实现图像上采样操作的方式实现对第二特征图进行上采样的操作。
51.基于上述技术方案，能够使最终恢复的分割图像尽可能保证其各个特征提取尺度下的细节特征信息无损，以提升后续对产品缺陷检测的效果。
52.结合第二方面，在第二方面的某些实现方式中，在每个解码层中都对应添加损失函数，该损失函数为dice损失函数和交叉熵损失函数的加权和。
53.应理解，上述技术方案是一种神经网络中对梯度反向传播过程进行深监督的方法。
54.基于上述技术方案，采用深监督的方法加强神经网络中各层的梯度反向传播，进而有助于快速得到最优的神经网络模型的参数。
55.第三方面，提供了一种图像编码的装置，包括：
56.预处理单元，用于对获取的第一图像进行预处理，得到第二图像，第一图像为待检测图像；
57.第一处理单元，用于将第二图像输入改进骨干网络中，基于反向像素重组的方式，对第二图像进行下采样得到第一特征图，并基于交叉型卷积核，对第一特征图进行特征提取得到第二特征图，第二特征图包括第一图像的细节特征；
58.发送单元，用于通过跨层连接，向图像解码器发送第二特征图，以使得图像解码器对第二特征图进行上采样，恢复出分割图像，分割图像为包括第一图像的细节特征且与第一图像分辨率相同的图像。
59.结合第三方面，在第三方面的某些实现方式中，上述第一处理单元具体用于：
60.将第二图像的特征张量的空间维度元素排列到多个反向像素重组通道上，得到第一特征图；下采样得到的第一特征图包括第二图像的特征张量的所有空间维度元素。
61.结合第三方面，在第三方面的某些实现方式中，改进骨干网络包括n个阶段，每个阶段包括一组交叉型卷积核，各组交叉型卷积核之间依次连接；上述第一处理单元具体用于：
62.通过第一组交叉型卷积核对第一特征图进行卷积处理，得到第一阶段的第二特征图，通过第二组交叉型卷积核对第一阶段的第二特征图进行卷积处理，得到第二阶段的第二特征图，直至通过第n组交叉型卷积核对第n-1阶段的第二特征图进行卷积处理，得到第n阶段的第二特征图，n为大于1的整数。
63.结合第三方面，在第三方面的某些实现方式中，上述图像解码器包括n个解码层，改进骨干网络包括的n个阶段与图像解码器包括的n个解码层一一对应；上述发送单元具体用于：
64.通过跨层连接，将得到的n个阶段的第二特征图一一对应的发送至图像解码器包括的n个解码层。
65.第四方面，提供了一种图像解码的装置，包括：
66.接收单元，用于通过跨层连接，接收来自改进骨干网络的第二特征图，该第二特征图是通过改进骨干网络基于交叉型卷积核对第一特征图进行特征提取得到的，该第一特征图是通过改进骨干网络基于反向像素重组的方式对第二图像进行下采样得到的，该第二特征图包括第一图像的细节特征，该第二图像是对获取的第一图像进行预处理得到的，该第一图像为待检测图像；
67.第二处理单元，用于对第二特征图进行上采样，恢复出分割图像，分割图像为包括第一图像的细节特征且与第一图像分辨率相同的图像。
68.结合第四方面，在第四方面的某些实现方式中，图像解码器包括n个解码层，改进骨干网络包括的n个阶段与图像解码器包括的n个解码层一一对应，上述接收单元具体用于：
69.通过跨层连接，图像解码器包括的n个解码层一一对应的接收改进骨干网络发送的n个阶段的第二特征图。
70.结合第四方面，在第四方面的某些实现方式中，上述第二处理单元具体用于：
71.通过第n层解码层对第n阶段的第二特征图进行上采样，得到第n层上采样结果，通
过第n-1层解码层基于第n层上采样结果对第n-1阶段的第二特征图进行上采样，得到第n-1层上采样结果，直至通过第一层解码层基于第二层上采样结果对第一阶段的第二特征图进行上采样，得到第一层上采样结果；
72.根据第一层上采样结果，恢复出分割图像。
73.第五方面，提供了一种计算机设备，该计算机设备包括存储器及处理器，该存储器存储有计算机指令，该处理器执行计算机指令时实现上述第一方面的方法中任意一种可能的实现方式中的方法，或者上述第二方面的方法中任意一种可能的实现方式中的方法。
74.第六方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现上述第一方面的方法中任意一种可能的实现方式中的方法，或者上述第二方面的方法中任意一种可能的实现方式中的方法。
75.第七方面，提供了一种芯片，包括处理器，该处理器用于执行上述第一方面的方法中任意一种可能的实现方式中的方法，或者第二方面的方法中任意一种可能的实现方式中的方法。
76.第八方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令被处理器执行时实现上述第一方面的方法中任意一种可能的实现方式中的方法，或者第二方面的方法中任意一种可能的实现方式中的方法。
附图说明
77.图1是本技术实施例提供的一种图像编码的方法的流程示例图。
78.图2是本技术实施例提供的一种反向像素重组的示意图。
79.图3是本技术实施例提供的一种将方型卷积核转化为交叉卷积核的示意图。
80.图4是本技术实施例提供的一种基于交叉型卷积核特征提取的示意图。
81.图5是本技术实施例提供的一种图像编码器和图像解码器之间跨层连接的示意图。
82.图6是本技术实施例提供的一种图像解码的方法的流程示例图。
83.图7是本技术实施例提供的一种图像编码的装置700的示意性框图。
84.图8是本技术实施例提供的一种图像解码的装置800的示意性框图。
85.图9为本技术实施例提供的一例计算机设备的示意性框图。
86.图10为本技术实施例提供的一例计算机可读存储介质的示意性框图。
具体实施方式
87.下面将结合附图，对本技术实施例中的技术方案进行描述。
88.本技术实施例所提供的图像编码和解码的方法、装置、计算机设备及存储介质可以应用于工业缺陷检测场景中。
89.在一些可能的实施例中，工业缺陷检测场景可以是在工业生产线上，对产品表面进行缺陷检测。进一步地，还可以是对产品表面的小目标缺陷进行检测，例如产品表面的细划痕、小异物和污点等，当检测到产品表面存在上述小目标缺陷时，该产品应当在生产线上召回。
90.由于本技术实施例涉及大量神经网络在缺陷检测中的相关应用，为了便于理解，
下面先对本技术实施例可能涉及的神经网络和缺陷检测技术的相关术语和概念进行介绍。
91.(1)神经网络
92.神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以以公式(1)所示：
[0093][0094]
其中，s＝1、2、
……
n，n为大于1的自然数，ws为xs的权重，其中w和x均为向量，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
[0095]
(2)深度神经网络
[0096]
深度神经网络(deep neural network，dnn)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对dnn进行划分，dnn内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i 1层的任意一个神经元相连。
[0097]
dnn每一层可以通过如下线性关系表达式表示：其中，是输入向量，是输出向量，是偏移向量，w是权重矩阵(也称系数)，α()是激活函数。每一层仅是对输入向量经过操作得到输出向量由于dnn层数多，系数w和偏移向量的数量也比较多。这些参数在dnn中的定义如下所述：以系数w为例：假设在一个三层的dnn中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为上标3代表系数所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
[0098]
综上，第l-1层的第k个神经元到第l层的第j个神经元的系数定义为
[0099]
需要注意的是，输入层是没有w参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量形成的权重矩阵)。
[0100]
(3)损失函数
[0101]
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)。比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值
之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
[0102]
(4)反向传播算法
[0103]
神经网络可以采用误差反向传播(back propagation，bp)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
[0104]
(5)基于深度神经网络的图像分割方法
[0105]
常见的基于深度神经网络的图像分割方法，例如全卷积网络(fully convolutional network，fcn)、deeplab，能够利用误差反传机制自主地学习数据的特征表达，避免了繁琐的手动特征提取，从而高效准确地分割出目标物体。
[0106]
当前大部分的基于深度神经网络的图像分割方法，其骨干网络中都采用了池化层或带步长卷积以逐步减少特征图的分辨率。随着网络阶段的深入，骨干网络提取到的特征更加抽象、丰富，但是精细的空间信息在逐渐损失，这也致使无法恢复出精细的分割结果。然而，在典型的工业缺陷检测场景中，通常需要在分辨率两千万像素以上的图像中，分割出最短拓扑结构为三、四个像素的小目标。在这种情况下，常用的下采样操作会严重丢失小目标的空间位置信息，使得在后续的计算处理中无法精细地恢复出小目标的分割结果。
[0107]
(6)像素重组
[0108]
像素重组(pixelshuffle)最初是为了解决图像超分辨率问题而提出的，其主要功能是将低分辨率的特征图，通过卷积和多通道间的重组得到高分辨率的特征图，是一种可以替代插值或反卷积的上采样方法。其算法过程为，要把一张h
×
w的低分辨输入图转变为rh
×
rw的高分辨输出图，其中，r为上采样因子，w为图像的宽度，h为图像的高度。首先通过卷积得到r2个通道的特征图(该特征图分辨率与输入低分辨率图像一致)，然后通过周期筛选方法即可得到高分辨率图像。
[0109]
(7)可形变卷积
[0110]
神经网络对几何形变的建模存在固有的缺陷，这种缺陷来源于其内部模块固有的几何结构：卷积单元对输入特征图的固定位置进行采样以及池化层以固定的比例进行池化。然而，同样的物体在图像中可能呈现出不同的大小、姿态、视角变化甚至非刚体形变，如何适应这些复杂的几何形变是物体识别的主要难点。可形变卷积被提出以提升神经网络对于形变物体的建模能力。该方法引入了学习空间几何形变的能力，通过一个平行网络学习偏移量，使得卷积核在特征图上的采样点发生偏移，更加集中于感兴趣的区域或者目标。但是在实际的工业场景中，受限于采集图像时成像环境等因素，小目标缺陷的边界通常较为模糊，与背景的差异较小，这导致使用额外的可形变卷积分支并不能很好地学习出小目标边界特征，反而会削弱网络的缺陷检出能力。
[0111]
基于上述说明可知，将现有的基于深度神经网络的图像分割技术应用到工业缺陷检测场景中存在着一定的技术瓶颈。
[0112]
鉴于此，本技术实施例提供了一种图像编码和解码的方法、装置、计算机设备及存储介质，编码器基于反向像素重组的方式和交叉型卷积核的神经网络，对包括产品表面细节特征的图像进行下采样以及特征提取。并且解码器与编码器的神经网络通过跨层连接，以接收编码器提取的多尺度的细节特征，再将这些细节特征融合到编码结果中，此外采用深监督(deep supervision)的方法加强神经网络中各层的梯度反向传播，增强对于小目标缺陷的检出能力和最终分割结果的精细程度。以使得在兼顾缺陷检测效率的同时，整个缺陷检测网络也能够较为精确地分割出小目标缺陷，降低缺陷漏杀率，提升缺陷检测性能。
[0113]
图1是本技术实施例一种图像编码的方法的流程示例图。应理解，图1示出了图像编码的方法的步骤或操作，但这些步骤或操作仅是示例，本技术实施例还可以执行其他操作或者图1中的各个操作的变形。此外，图1中的各个步骤可以按照与图1呈现的不同的顺序来执行，并且有可能并非要执行图1中的全部操作。
[0114]
s110：对获取的第一图像进行预处理，得到第二图像，该第一图像为待检测图像。
[0115]
应理解，该方法应用于图像编码器。
[0116]
在一些可能的实施例中，该第一图像可以通过计算机设备拍摄得到，该计算机设备可以为具有高分辨率摄像头的照相机、电脑等，本技术实施例对获取第一图像的方式不作任何限定。
[0117]
在一些可能的实施例中，上述还可以对第一图像进行归一化预处理，并且在后续改进骨干网络的训练过程中，使用基于预处理的各种数据增广以增强数据的丰富性，进而提升改进骨干网络的泛化性能。而这些基于预处理的数据增广包括随机裁剪、随机缩放、随机翻转和颜色扰动等。而对后续步骤包括的相应操作，则能够体现针对于改进骨干网络的改进点。
[0118]
s120：将该第二图像输入改进骨干网络中。
[0119]
在一些可能的实施例中，上述经过预处理的第二图像，首先会进入神经网络中的上述改进骨干网络中，该神经网络可以是一种深度神经网络，该改进骨干网络可以是一种改进的hrnet。已知现有的普通hrnet作为骨干网络，已经能够取得较好性能，这是因为其内部结构中保持了一条具有高分辨率特征图的支路，该支路能够较好保留小缺陷的特征，以提升小目标缺陷的检出率。然而，现有的普通hrnet中最高分辨率的特征图也会通过带步长的卷积，下采到原始分辨率的1/4。在面对一些小目标缺陷检测的场景时，例如污点可能只有三、四个像素。而现有的hrnet的各个阶段都会通过池化操作或带步长卷积对特征图进行下采样处理。而各个阶段的下采样过程都会损失一部分细节位置信息，而这一部分细节位置信息则包括上述只有三、四个像素的污点。因此，需要通过后续步骤解决该问题。
[0120]
s130：基于反向像素重组的方式，对上述第二图像进行下采样，得到第一特征图。
[0121]
应理解，该步骤是上述改进骨干网络相较于现有的普通骨干网络的一个改进点。本技术实施例提出的改进骨干网络是通过反向像素重组的方式完成第二图像的下采样操作的。
[0122]
通过上文的说明可知，像素重组是一种将低分辨率的特征图，通过卷积和多通道间的重组得到高分辨率的特征图的方法，而该方法通常用来替代插值或反卷积的上采样操作。而在本技术实施例中，提出基于反向像素重组的方式，对第二图像进行下采样。其中，反向像素重组则是上述像素重组过程的逆过程：在一些可能的实施例中，可以将第二图像输
入反向像素重组模块中，该反向像素重组模块包括多个反向像素重组通道，再将第二图像的特征张量的空间维度元素排列到多个反向像素重组通道上，得到第一特征图，下采样得到的第一特征图包括上述第二图像的特征张量的所有空间维度元素。
[0123]
以下通过图2示出的本技术实施例提供的一种反向像素重组的示意图，对反向像素重组进行说明。
[0124]
在一些可能的实施例中，上述第二图像的形状为m
×w×
h，其中，m为第二图像特征张量的通道数，w为第二图像的宽度，h为第二图像的高度。此时需要对该第二图像进行n倍的下采样操作，将该第二图片输入至上述反向像素重组模块中，该模块包括多个反向像素重组通道。通过该模块，将第二图像的特征张量的m
×w×
h空间维度元素，分别重新排列到m
×n×
n个通道上，最终输出为m
×n×
n通道的(w/n)
×
(h/n)的第一特征图，以此完成无损下采样操作。
[0125]
可见，对于输入的第二图像，被平均分为m
×
(w/n)
×
(h/n)个n
×
n大小的单元格。其中每个单元格的每个像素均被随机分配到输出的n
×
n通道中对应的通道坐标上。其中各个通道只用于分配一种颜色的像素。
[0126]
如图2所示，上述m为1、上述w和h为18、上述n为3，所以反向像素重组模块包括9个反向像素重组通道用来排列第二图像的特征张量的空间维度元素。例如，第二图像的右上角的3
×
3的单元格中的9个不同颜色的像素，分别排列在第一特征图中的对应位置的9个通道中。
[0127]
基于上述技术方案，能够实现对第二图像信息无损的下采样，充分保留第二图像中的小目标的空间位置信息，并提取更丰富、更抽象的语义信息，以减少空间细节信息的损失，有助于提升工业场景的小目标缺陷检测的准确性和精度。
[0128]
此外，由于神经网络的浅层特征图通常包括着被测目标的细节信息，因此，可以只在改进骨干网络的输入层中使用上述反向像素重组的方式对第二图像进行下采样操作，基于该技术方案，能够实现计算效率和精度的平衡。
[0129]
s140：基于交叉型卷积核，对第一特征图进行特征提取，得到第二特征图。
[0130]
应理解，该步骤是上述改进骨干网络相较于现有的普通骨干网络的另一个改进点。由于经过了上述基于反向像素重组的方式进行下采样的操作，充分保留了第二图像中的小目标的空间细节信息，所以上述第二特征图能够包括第一图像的细节特征。但是在工业缺陷检测场景中，产品表面经常会出现细划痕，其最短拓扑宽度可能只有三、四个像素。划痕的形态较为固定，通常可以分为水平、垂直和斜划痕。但是，如果在神经网络中采用较为普通的方型(i
×
i)卷积核对图像特征进行提取，则对于斜划痕的缺陷检出效果差，具体表现为：将斜长划痕误检为产品表面断裂，或者无法检出斜长划痕。
[0131]
在一些可能的实施例中，可以将骨干网络的输入层中的i
×
i卷积核替换为交叉型卷积，以更好地适配斜划痕在第一特征图中的拓扑结构，从而更好地捕捉斜划痕的形态特征。通过交叉卷积可以将方型卷积核转化为非对称卷积结构。
[0132]
如图3示出的本技术实施例提出的一种将方型卷积核转化为交叉卷积核的示意图，将3
×
3的卷积核转化为交叉卷积核，从而增加对多尺度特征的适应性和模型的非线性表达能力。
[0133]
基于上述技术方案，由于产品表面的斜长划痕等缺陷特征可能具有形状不规则的
情况，利用交叉卷积核对上述第一特征图进行特征提取，能够提高特征提取的稳定性和精度，从而更好地捕捉斜划痕的形态特征。
[0134]
图4示出了本技术实施例提出的一种基于交叉型卷积核特征提取的示意图。
[0135]
在一些可能的实施例中，与现有的普通骨干网络类似，上述改进骨干网络包括n个阶段，每个阶段包括一组上述交叉型卷积核，各组交叉型卷积核之间依次连接；上述基于交叉型卷积核，对第一特征图进行特征提取得到第二特征图，包括：
[0136]
通过第一组上述交叉型卷积核对上述第一特征图进行卷积处理，得到第一阶段的第二特征图，通过第二组上述交叉型卷积核对上述第一阶段的第二特征图进行卷积处理，得到第二阶段的第二特征图，直至通过第n组上述交叉型卷积核对第n-1阶段的第二特征图进行卷积处理，得到第n阶段的第二特征图，其中n为大于1的整数。
[0137]
应理解，上述通过交叉型卷积核对第一特征图进行卷积处理的过程也是对第一特征图进行下采样的过程。
[0138]
在一些可能的实施例中，一组交叉型卷积核可以由多个交叉型卷积核构成，对于第n组中包括的交叉型卷积核的数量大于第n-1组中包括的交叉型卷积核的数量，其中，n为大于1且小于等于n的整数。
[0139]
在一些可能的实施例中，如图4所示，上述改进骨干网络包括四个阶段。
[0140]
基于交叉型卷积核对第一特征图进行特征提取，随着特征提取步骤的逐步进行，对于第一特征图的特征提取尺度逐渐增大，当进行到第n阶段的特征提取操作时，特征提取的尺度最大，经过n个阶段的特征提取，最终能够获得n个阶段的第二特征图，而且每个第二特征图分别对应着不同尺度的细节特征。
[0141]
基于上述技术方案，在保证更好的提取缺陷的边缘特征的同时，经过多尺度的特征提取得到了不同尺度下的细节特征，提升了检测小目标缺陷的精度。
[0142]
s150：通过跨层连接，向图像解码器发送第二特征图，以使得图像解码器对第二特征图进行上采样，恢复出分割图像，分割图像为包括第一图像的细节特征且与第一图像分辨率相同的图像。
[0143]
应理解，该步骤是上述改进骨干网络相较于现有的普通骨干网络的又一个改进点。
[0144]
在一些可能的实施例中，图像解码器包括n个解码层，改进骨干网络包括的n个阶段与图像解码器包括的n个解码层一一对应；上述通过跨层连接，向图像解码器发送第二特征图，包括：
[0145]
通过跨层连接，将得到的n个阶段的第二特征图一一对应的发送至图像解码器包括的n个解码层。
[0146]
在一些可能的实施例中，现有的普通骨干网络对第一特征图进行特征提取后，只将其最后一个阶段获得的第二特征图发送给图像解码器，使图像解码器对第二特征图进行上采样，恢复出分割图像。而通过上述的实施例说明可知，最后一个阶段对于第一特征图的特征提取尺度最大，这一阶段获得的第二特征图中可能已经丢失了一些只能在其他尺度下检测出的第一特征图的细节特征。因此，需要将每个阶段的第二特征图都发送给图像解码器进行上采样，以此保证每个尺度下检测出的第一特征图的细节特征不会丢失。本技术实施例提出了一种图像编码器通过跨层连接向图像解码器发送每个阶段得到的第二特征图
的方法。
[0147]
图5示出了本技术实施例提出的一种图像编码器和图像解码器之间跨层连接的示意图。
[0148]
在一些可能的实施例中，用于接收n个阶段得到的第二特征图的图像解码器也对应包括n个解码层，每个解码层用于将其对应的第二特征图进行上采样。并且各个层的上采样结果汇总融合，以恢复出分割图像，使该分割图像不仅保留第一特征图包括的各个特征提取尺度下的细节特征，还能够保证与上述第一图像的分辨率相同。
[0149]
应理解，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。因此，上述图像特征提取的操作即为一种图像分割的方式。
[0150]
基于上述技术方案，通过将改进骨干网络各个阶段提取的细节信息直接发送至图像解码器，使图像解码器能够解出不同特征提取尺度下的细节信息，以保证第一特征图中的细节特征不丢失，增加分割图像的精细程度，降低了缺陷漏杀率，并提升了缺陷检测性能。
[0151]
对应地，本技术实施例还提供了一种图像解码的方法，该方法应用于图像解码器。
[0152]
图6是本技术实施例一种图像解码的方法的流程示例图。
[0153]
s610：通过跨层连接，接收来自改进骨干网络的第二特征图。
[0154]
基于上述实施例的说明可知，上述第二特征图是通过上述改进骨干网络基于交叉型卷积核对第一特征图进行特征提取得到的，该第一特征图是通过上述改进骨干网络基于反向像素重组的方式对上述第二图像进行下采样得到的，上述第二特征图包括第一图像的细节特征，上述第二图像是对获取的上述第一图像进行预处理得到的，上述第一图像为待检测图像。
[0155]
在一些可能的实施例中，如图5所示，图像解码器包括n个解码层，该n个解码层与改进骨干网络包括的n个阶段一一对应，上述通过跨层连接，接收来自改进骨干网络的第二特征图，包括：
[0156]
通过跨层连接，该图像解码器包括的n个解码层一一对应的接收改进骨干网络发送的n个阶段的第二特征图。
[0157]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，具体对第一图像进行预处理得到第二图像、对第二图像进行下采样得到第一特征图以及对第一特征图进行特征提取得到第二特征图的具体工作过程可以参考前述实施例中的对应过程，在此不再赘述。
[0158]
s620：对第二特征图进行上采样，恢复出分割图像。
[0159]
应理解，上述恢复的分割图像为包括上述第一图像的细节特征且与上述第一图像分辨率相同的图像。
[0160]
在一些可能的实施例中，上述对第二特征图进行上采样，恢复出分割图像，包括：
[0161]
通过第n层解码层对上述第n阶段的第二特征图进行上采样，得到第n层上采样结果，通过第n-1层解码层基于上述第n层上采样结果对上述第n-1阶段的第二特征图进行上采样，得到第n-1层上采样结果，直至通过第一层解码层基于上述第二层上采样结果对上述第一阶段的第二特征图进行上采样，得到第一层上采样结果；
[0162]
根据第一层上采样结果，恢复出分割图像。
[0163]
经过上述上采样操作，使获得的第一层上采样结果能够还原此前在图像编码器多尺度下提取的细节特征，进而使分割图像能够尽可能在信息无损的情况下恢复，以提升后续对产品缺陷检测的效果。最终根据该第一层上采样结果，恢复出分割图像。
[0164]
应理解，由于图像编码器将n个阶段中各个特征提取尺度下的第二特征图通过跨层连接的方式分别传输至上述n个解码层，所以上述n个第一上采样结果也是多尺度下的上采样结果，分别包括了各个尺度下的细节特征，从而更多地保留了浅层细节信息，该浅层细节信息可以是改进骨干网络的n个阶段中相对靠前的阶段下提取的细节特征，例如第一阶段、第二阶段。
[0165]
在一些可能的实施例中，在各个解码层中，可以通过反卷积模型对上述第二特征图进行上采样，也可以通过双线性插值的方式对上述第二特征图进行上采样，还可以通过其他能够实现图像上采样操作的方式实现对第二特征图进行上采样的操作，本技术实施例对此不作限定。
[0166]
在一些可能的实施例中，采取深监督的方法，在每个解码层中都对应添加损失函数，该损失函数可以是dice损失函数和交叉熵损失函数(cross-entropy loss，celoss)的加权和。以加强神经网络中各层的梯度反向传播，进而有助于快速得到最优的神经网络模型的参数。该损失函数可以是上述dice损失函数和交叉熵损失函数的加权和。
[0167]
基于上述技术方案，尽可能保证了最终恢复的分割图像细节缺陷不丢失，降低了产品缺陷检测过程中的缺陷漏杀率，提升了缺陷检测性能。
[0168]
本技术实施例还提供用于实现以上任一种方法的装置，例如，提供一种图像编码的装置，该装置可以是一种图像编码器，也可以是集成于图像编码器中的子模块，包括用以实现以上任一种图像编码方法的单元(或手段)。
[0169]
图7示出了本技术实施例提供的一种图像编码的装置700的示意性框图。如图7所示，该装置700包括：
[0170]
预处理单元710，用于对获取的第一图像进行预处理，得到第二图像，第一图像为待检测图像。
[0171]
第一处理单元720，用于将第二图像输入改进骨干网络中，基于反向像素重组的方式，对第二图像进行下采样得到第一特征图，并基于交叉型卷积核，对第一特征图进行特征提取得到第二特征图，第二特征图包括第一图像的细节特征；
[0172]
在一些可能的实施例中，在上述特征提取的过程中使用数据增广，该数据增广包括随机裁剪、随机缩放、随机翻转和颜色扰动。
[0173]
发送单元730，用于通过跨层连接，向图像解码器发送第二特征图，以使得图像解码器对第二特征图进行上采样，恢复出分割图像，该分割图像为包括第一图像的细节特征且与第一图像分辨率相同的图像。
[0174]
在一些可能的实施例中，上述第一处理单元720具体用于：
[0175]
将第二图像的特征张量的空间维度元素排列到多个反向像素重组通道上，得到第一特征图；下采样得到的上述第一特征图包括上述第二图像的特征张量的所有空间维度元素。
[0176]
在一些可能的实施例中，改进骨干网络包括n个阶段，每个阶段包括一组交叉型卷积核，各组交叉型卷积核之间依次连接；上述第一处理单元720具体用于：
[0177]
通过第一组交叉型卷积核对第一特征图进行卷积处理，得到第一阶段的第二特征图，通过第二组交叉型卷积核对第一阶段的第二特征图进行卷积处理，得到第二阶段的第二特征图，直至通过第n组交叉型卷积核对第n-1阶段的第二特征图进行卷积处理，得到第n阶段的第二特征图，n为大于1的整数。
[0178]
在一些可能的实施例中，上述图像解码器包括n个解码层；改进骨干网络包括的n个阶段与图像解码器包括的n个解码层一一对应，上述发送单元730具体用于：
[0179]
通过跨层连接，将得到的n个阶段的第二特征图一一对应的发送至图像解码器包括的n个解码层。
[0180]
本技术实施例还提供用于实现以上任一种方法的装置，例如，提供一种图像解码的装置，该装置可以是集成于图像解码器中的子模块，包括用以实现以上任一种图像解码方法的单元(或手段)。
[0181]
图8示出了本技术实施例提供的一种图像解码的装置800的示意性框图。如图8所示，该装置800包括：
[0182]
接收单元810，用于通过跨层连接，接收来自改进骨干网络的第二特征图，该第二特征图是通过改进骨干网络基于交叉型卷积核对第一特征图进行特征提取得到的，该第一特征图是通过改进骨干网络基于反向像素重组的方式对第二图像进行下采样得到的，该第二特征图包括第一图像的细节特征，该第二图像是对获取的第一图像进行预处理得到的，该第一图像为待检测图像。
[0183]
第二处理单元820，用于对第二特征图进行上采样，恢复出分割图像，该分割图像为包括第一图像的细节特征且与第一图像分辨率相同的图像。
[0184]
在一些可能的实施例中，图像解码器包括n个解码层，改进骨干网络包括的n个阶段与图像解码器包括的n个解码层一一对应，上述接收单元810具体用于：
[0185]
通过跨层连接，图像解码器包括的n个解码层一一对应的接收改进骨干网络发送的n个阶段的第二特征图。
[0186]
在一些可能的实施例中，上述第二处理单元820具体用于：
[0187]
通过第n层解码层对第n阶段的第二特征图进行上采样，得到第n层上采样结果，通过第n-1层解码层基于第n层上采样结果对第n-1阶段的第二特征图进行上采样，得到第n-1层上采样结果，直至通过第一层解码层基于第二层上采样结果对第一阶段的第二特征图进行上采样，得到第一层上采样结果；根据第一层上采样结果，恢复出分割图像。
[0188]
图9示出了本技术实施例提供的一例计算机设备的示意性框图。图9所示的计算机设备900包括存储器910、处理器920以及总线940。可选地，该计算机设备900还包括通信接口930。其中，存储器910、处理器920、通信接口930通过总线940实现彼此之间的通信连接。
[0189]
存储器910可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)。存储器910可以存储程序，当存储器910中存储的程序被处理器820执行时，处理器920用于执行本技术实施例的神经网络模型的训练方法的各个步骤。具体地，处理器920可以执行上文中图1所示的方法。
[0190]
处理器920可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，图形处理器(graphics processing unit，gpu)或者一个或多个集成电路，用于执行相关程序，以实现
本技术方法实施例的神经网络模型的训练方法。
[0191]
处理器920还可以是一种集成电路芯片，具有信号的处理能力，在实现过程中，本技术的神经网络模型的训练方法的各个步骤可以通过处理器920中的硬件的集成逻辑电路或者软件形式的指令完成。
[0192]
上述处理器920还可以是通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所涉及的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器910，处理器920读取存储器910中的信息，结合其硬件完成图7或图8所示的装置中包括的单元所需执行的功能，或者，执行本技术方法实施例的图1所示的方法。
[0193]
通信接口930使用例如但不限于收发器一类的收发装置，来实现装置900与其他设备或通信网络之间的通信。例如，可以通过通信接口930获取训练数据。
[0194]
总线940可包括在装置900各个部件(例如，存储器910、处理器920、通信接口930)之间传送信息的通路。
[0195]
应理解，尽管上述装置900仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置900还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置900还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置900也可仅仅包括实现本技术实施例所必须的器件，而不必包括图9中所示的全部器件。
[0196]
应理解，本技术实施例中的处理器可以为中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0197]
还应理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，ram)可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直
接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0198]
图10为本技术实施例提供的一例计算机可读存储介质的示意性框图。图10所示的计算机可读存储介质1000，该计算机可读存储介质1000存储有计算机指令1010。该计算机指令1010被处理器执行时可实现上述图1或者图6所示的方法。
[0199]
在一些可能的实施例中，计算机可读存储介质1000可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质。半导体介质可以是固态硬盘。
[0200]
在本技术实施例中，上述实施例可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行计算机指令或计算机程序时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
[0201]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0202]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0203]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0204]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0205]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0206]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0207]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。