图像处理的方法、装置和设备与流程

1.本技术涉及图像处理领域，尤其涉及一种图像处理的方法、装置和设备。


背景技术：

2.随着智能安防等基于图像分析和处理领域研究的逐步深入，图像缩放方法逐渐成为图像分析和处理过程中的热点问题。图像缩放是指通过增加或减少输入图像的像素来改变图像的尺寸。图像缩放通常可以按照用途划分为缩小图像(也称为上采样)和放大图像(也可以称为下采样)两种。传统技术中，往往基于输入图像的分辨率进行处理，当输入图像分辨率的宽度或高度大于图像缩放器处理的宽度和高度限制时，将输入图像分割并进行缩小处理，并利用同一块内存存储分割后的缩小图像。但是，当输入图像的分辨率较大且存在多张输入图像时，往往按照固定大小对所有输入图像进行分割，上述图像处理过程并不能满足所有图像分析的要求，影响图像处理过程的准确性。


技术实现要素：

3.本技术提供一种图像处理的方法、装置和设备，用以实现图像处理过程的准确性。
4.第一方面，本技术提供了一种图像处理的方法，应用于图像处理的装置，该方法包括：图像处理的装置获取第一图像，其中，第一图像为原始图像；然后，按照预设规则对第一图像进行自适应采样获得第二图像，第二图像为符合采样需求的图像。这样可以自适应采样得到预设大小的图像，从而可以按照所需尺寸对原始图像进行采样，进而获得更加灵活尺寸的采样图像，应用更加广泛。
5.在一个可能的设计中，自适应采样为根据采样需求获得预设大小的图像，其中，预设大小为原始图像的大小的任意倍数。从而可以更加灵活地获得所需尺寸的图像。
6.在另一个可能的设计中，预设规则包括根据不同卷积步长对第一图像进行图像处理。从而可以实现基于卷积方式进行灵活地得到所需尺寸的图像。
7.在另一个可能的设计中，图像处理的装置按照预设规则对第一图像进行自适应采样获得第二图像，具体方法可以包括：根据第一图像确定第三图像，第三图像的大小为第二图像的大小的n倍，其中，n大于i且小于j，i大于0，j大于0，i《j；对所述第三图像进行第一采样处理，得到h个第四图像，其中，第一采样处理包括对第三图像进行分块采样并按照h种方式拼接；任一个第四图像的大小等于第二图像的大小；h为大于或者等于2的整数；对h个第四图像进行融合处理，得到第二图像。这样图像处理的装置可以准确地按照预设规则自适应地得到符合采样需求的图像。
8.在另一个可能的设计中，图像处理的装置根据第一图像确定第三图像，具体方法可以包括：基于第一图像进行至少一次第二采样处理，在第z次第二采样处理后判断得到的图像的大小是否为第二图像的大小的n倍，若是，则得到第三图像，否则进行第z 1次第二采样处理，直至判断得到的图像的大小为第二图像的大小的n倍，得到第三图像为止；其中，第二采样处理包括根据预设的卷积步长进行图像采样；z为大于或者等于1的整数。根据上述
方法，可以利用迭代方式进行一次或多次采样处理，最终获得满足需求的图像。
9.在另一个可能的设计中，第三图像为基于第一图像进行了步长为w的卷积处理的图像，其中，w为大于或等于2的整数。通过卷积方式实现图像处理的灵活采样，进而获得各种尺寸的图像，增加了图像处理的准确性。
10.在另一个可能的设计中，所述i为1，所述j为2，所述w为2^p，其中，p为大于或者等于1的整数。由此获得最优的第三图像，进而得到最优的符合需求的图像。
11.在另一个可能的设计中，第三图像在图像坐标系x方向上相对于第一图像缩放2^n倍，在图像坐标系y方向上相对于第一图像缩放2^m倍；其中，n为大于或者等于1的整数，m为大于或者等于1的整数。
12.在另一个可能的设计中，图像处理的装置对第三图像进行第一采样处理，得到h个第四图像，具体方法可以包括：根据预设的尺寸将第三图像分成k个子图像，其中，k为大于或者等于2的整数；分别对k个子图像进行第三采样处理，得到k个处理后的子图像；将k个处理后的子图像块进行h次拼接，得到所述h个第四图像，其中，每个第四图像中包括k个处理后的子图像。通过上述方法，可以灵活地将图像采样至非整数倍进行分块后再拼接，可以实现自适应采样得到符合需求的图像。
13.在另一个可能的设计中，k个子图像基于预设的像素长度获得，所述预设的像素长度包括图像坐标系x方向上的像素长度和y方向上的像素长度。这样可以准确地进行图像分块处理，进而实现自适应采样。
14.在另一个可能的设计中，k为4时，图像处理的装置根据预设的尺寸将第三图像分成4个子图像，具体方法可以包括：基于s_x1、s_x2、s_y1和s_y2将第三图像分成4个子图像；其中，s_x1为子图像在图像坐标系x方向上的第一像素长度；s_x2为子图像在图像坐标系x方向上的第二像素长度；s_y1为子图像在图像坐标系y方向上的第三像素长度；s_y2为子图像在图像坐标系y方向上的第四像素长度。按照上述方法，图像处理的装置可以按照预设好的尺寸将图像分割成符合需求的子图像，进而可以准确地将输入图像分割为4个子图像，进而进行准确地对子图像的处理和拼接。
15.在另一个可能的设计中，所述s_x1、s_x2、s_y1和s_y2符合以下公式：
16.s_x1＝2*t_x
–
s_x’；
17.s_x2＝2(s_x
’–
t_x)；
18.1《s_x’/t_x《2，s_x1》0，s_x2》0；
19.s_y1＝2*t_y
–
s_y’；
20.s_y2＝2(s_y
’–
t_y)；
21.1《s_y’/t_y《2，s_y1》0，s_y2》0；
22.其中，t_x为预设大小在x方向上的像素长度；s_x’为第三图像在x方向上的像素长度；t_y为预设大小在y方向上的像素长度；s_y’为第三图像在y方向上的像素长度，预设大小等于第二图像的大小。
23.这样将子图像的尺寸按照上述方法获得，可以使实现复杂度较低，进而可以得到最优的子图像，进而得到最优的符合需求的图像。
24.在另一个可能的设计中，图像处理的装置分别对任一个子图像进行第三采样处理，具体方法可以包括：分别在图像坐标系x方向和y方向上对任一个子图像进行卷积处理。
这样可以通过卷积处理得到各个子图像。
25.在另一个可能的设计中，对h个第四图像进行融合处理，得到第二图像，可以符合以下公式：t＝a*a b*b
……
h*h；其中，t为第二图像对应的像素矩阵；a，b，
……
，h为h个第四图像分别对应的像素矩阵；a，b，
……
，h分别为预设值。这样可以得到较高质量的图像。
26.在另一个可能的设计中，将第二图像进行还原处理，得到第六图像；计算第六图像和第一图像的损失值；通过损失值训练图像采样对应的权重值。这样可以在后续的图像采样过程中直接采用训练的权重值。
27.第二方面，本技术提供了一种图像处理的装置，图像处理的装置可以包括用于执行第一方面或第一方面任一种可能设计中的图像处理的方法的各个模块或单元，例如获取单元和处理单元。
28.第三方面，本技术提供了一种图像处理的设备，图像处理的设备包括处理器和存储器，图像处理的设备运行时，处理器执行存储器中所存储的计算机执行计算机程序或指令，以使图像处理的设备执行如上述第一方面或第一方面任一种可能设计中所示的相应的方法。图像处理的设备可以为服务器等。
29.第四方面，本技术提供了一种图像处理系统，图像处理系统可以包括上述涉及的图像处理的装置或图像处理的设备等。
30.第五方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有程序或指令，当其在计算机上运行时，使得计算机执行第一方面或第一方面任一种可能的设计中所述的方法。
31.第六方面，本技术提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面或第一方面任一种可的设计中所述的方法。
32.第七方面，本技术还提供了一种芯片，所述芯片与存储器耦合，用于读取并执行存储器中存储的程序指令，以实现上述第一方面或第一方面任一种可能的设计中所述的方法。
33.本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
34.图1为本技术提供的一种图像处理系统的架构示意图；
35.图2为本技术提供的一种图像处理的方法的流程示意图；
36.图3为本技术提供的另一种图像处理的方法的流程示意图；
37.图4为本技术提供的一种图像处理过程的示意图；
38.图5为本技术提供的另一种图像处理过程的示意图；
39.图6为本技术提供的另一种图像处理过程的示意图；
40.图7为本技术提供的一种融合处理过程的示意图；
41.图8为本技术提供的一种损失值计算的过程的示意图；
42.图9为本技术提供的一种原始图像与符合需求的图像的示意图；
43.图10为本技术提供的一种快速采样的示意图；
44.图11为本技术提供的一种分块采样的过程的示意图；
45.图12为本技术提供的一种图像处理过程的示意图；
46.图13为本技术提供的一种图像处理的装置的结构示意图；
47.图14为本技术提供的一种图像处理的设备的结构示意图。
具体实施方式
48.本技术实施例提供一种图像处理的方法、装置和设备，用以实现灵活地进行图像卷积采样，由此提高图像处理过程的准确性。下面将结合附图对本技术作进一步地详细描述。
49.本技术实施例提供的图像处理的方法可以应用于图像预处理过程中，例如智能安防中图像分过程中分析原始图像的过程；或者还可以应用于图像投影展示的过程中；或者应用于其他需要图像采样的场景中，本技术此处不再一一列举。
50.图1示出了本技术实施例提供的一种图像处理系统的架构示意图。该系统架构中可以包括数据获取设备101和图像处理的装置104。其中，数据获取设备101用于获取图像等数据；图像处理的装置104用于对数据获取设备101获取的图像等数据进行图像处理等操作。可选的，系统架构中还可以包括数据存储系统102和/或数据存储系统105。当在图像投影展示的场景中，该系统架构中还可以包括如图1所示投影展示设备103。
51.具体的，图像处理的装置104中可以包括采样模型训练模块1041和数据采样模块1042，还可以包括输入/输出(input/output，i/o)模块1043和/或业务处理模块1044。
52.其中，数据获取设备101可以为摄像头等可以采集原始图像的设备。数据获取设备101获取原始图像后，将原始图像发送给图像处理的装置104，作为图像处理的装置104的输入图像。具体的，原始图像可以通过i/o模块1043输入到数据采样模块1042。数据采样模块1042可以将原始图像采样成预设大小的图像(或数据)。
53.示例地，在图像投影展示的场景中，可以将数据采样模块获得的预设大小的图像作为输出结果，展示在相应大小的投影展示设备103中。可选地，当图像处理的装置104包括业务处理模块1044时，可以将数据采样模块1042获得的预设大小的图像输出到业务处理模块1044进行处理。例如，业务处理模块1044可以为业务处理模型，通过业务处理模型进行进一步的检测识别等操作。
54.可选的，系统中还可以包括数据存储系统102时，数据获取设备101采集原始图像后，可以将所述原始图像存储在数据存储系统102中，后续数据存储系统102中存储的原始图像用于数据采样模块1042进行采样，以及用于采样模型训练模块1041进行模型训练获得数据采样模块1042所需的模型。
55.可选的，系统中还可以包括数据存储系统105时，业务处理模块1044可以将处理得到的结果输出到数据存储系统105中存储，以供后续图像处理过程采用。
56.在一种具体的实现方式中，数据采样模块1042还可以进一步包括采样模块10421、分块采样模块10422和融合平滑模块10423三个处理模块，通过上述三个处理模块实现原始图像到预设大小的图像的采样。其中，采样模块10421用于对原始图像进行初始的快速采样；分块采样模块10422用于对采样模块10421处理得到的图像进行分块采样；融合平滑模块10423用于对分块采样模块10422处理得到的图像进行融合处理。各个模块中的卷积复杂度可以根据具体业务需求设计，只要整体步长符合要求即可。其中，卷积操作是深度学习中
普遍存在的操作，广泛应用于图像特征提取、图像采样等。卷积操作输出大小的计算公式可以为：o＝(l-q 2e)/v 1，其中l为输入图像大小，q为卷积核大小，v为(卷积)步长，e为补齐(padding)数量。其中，采样模块10421、分块采样模块10422和融合平滑模块10423中，每个模块中的卷积操作中的步长之和为整体步长，也即数据采样模块1042支持的步长。
57.需要说明的是，数据采样模块1042的功能可以通过软件实现，数据采样模块1042可以部署于一个服务器或设备中。采样模型训练模块1041可以和数据采样模块1042部署于同一个服务器或设备，也可以独立部署在两个不同的服务器或设备中，本技术对此不作限定。应理解，图1中仅示出采样模型训练模块1041和数据采样模块1042部署于一个设备的情况，但仅仅是示例，并不作为对本技术的限定。
58.需要说明的是，图1所示的系统架构仅仅是一个示例，并不对本技术实施例提供的图像处理的方法适用的系统架构进行限定。
59.基于上述描述，本技术实施例提供了一种图像处理的方法，适用于图1所示的系统。该方法可以由图像处理的装置实现。参阅图2所示，该方法的具体流程可以包括：
60.步骤201：获取第一图像，第一图像为原始图像。
61.具体的，图像处理的装置中的采样模块可以通过i/o模块获取第一图像，如图3中步骤301所示。
62.其中，第一图像的大小可以为1080p、720p等。
63.步骤202：按照预设规则对第一图像进行自适应采样获得第二图像，第二图像为符合采样需求的图像。
64.其中，预设规则包括根据不同卷积步长对第一图像进行图像处理。
65.具体的，自适应采样可以为根据采样需求获得预设大小的图像，预设大小为原始图像的大小的任意倍数。这样就可以按照非整数倍对图像进行自适应地采样，采样结果更加灵活，也可以提升后续图像处理的准确性。
66.在一种可选的实施方式中，在步骤301采样模块获取第一图像后，按照预设规则对第一图像进行自适应采样获得第二图像，具体方法可以包括如图3所述的步骤：
67.步骤302：采样模块根据第一图像确定第三图像；
68.步骤303：采样模块将第三图像发送给分块采样模块；也即，采样模块确定第三图像后输出到分块采样模块进行处理；
69.步骤304：分块采样模块对第三图像进行第一采样处理，得到h个第四图像，任一个第四图像的大小等于所述第二图像的大小；第一采样处理包括对所述第三图像进行分块采样并按照h种方式拼接；
70.步骤305：分块采样模块将h个第四图像发送给融合平滑模块；也即，分块采样模块得到所述h个第四图像后，输出到融合平滑模块进行处理；
71.步骤306：融合平滑模块对h个第四图像进行融合处理，得到第二图像，第三图像的大小为第二图像的大小的n倍，所述n大于i且小于j，i大于0，j大于0，i《j。
72.图像处理过程主要包括快速采样、分块及分块采样、融合平滑处理和模型训练几个过程，接下来结合具体附图详细介绍本实施例提供的图像处理的方法。
73.阶段一、快速采样
74.快速采样的目的在于快速将原始图像进行采样，使得采样后图像的尺寸和目标尺
寸的差在预设范围内，以此获得接近目标尺寸的图像。
75.具体的，采样模块根据第一图像确定第三图像，具体方法可以包括：采样模块直接将第一图像快速采样得到第三图像；或者，采样模块对第一图像进行第二采样处理，得到第五图像，第五图像的大小大于第三图像的大小；采样模块对第五图像进行第二采样处理，得到第三图像。需要说明的是，采样模块在由所述第一图像得到所述第三图像时，可能会多次得到比第三图像的大小大的中间图像，采样模块多次进行快速采样直至获得第三图像为止。也即，采样模块基于第一图像进行至少一次第二采样处理，在第z次第二采样处理后判断得到的图像的大小是否为第二图像的大小的n倍，若是，则得到第三图像，否则进行第z 1次第二采样处理，直至判断得到的图像的大小为第二图像的大小的n倍，得到第三图像为止；第二采样处理包括根据预设的卷积步长进行图像采样；述z为大于或者等于1的整数。
76.例如，如图4示出了采样模块根据第一图像确定第三图像的示意图。其中，在图4中虚框示出的是第二图像。由图4示例性示出的，第一图像的大小可以表示为在x方向上的像素长度为s_x，在y方向上的像素长度为s_y；第三图像的大小可以表示为在x方向上的像素长度为s_x’，在y方向上的像素长度为s_y’；第二图像的大小可以表示为在x方向上的像素长度为t_x，在y方向上的像素长度为t_y。
77.在一种可选的实施方式中，第三图像可以为采样模块基于第一图像进行了步长为w的卷积处理的得到的图像，w为大于或等于2的整数。具体的，采样模块基于第一图像进行步长为w的卷积处理时，具体包括：采样模块基于第一图像进行将图像缩放采样至1/w倍的过程。
78.在一种举例中，w可以为2^p，p为大于或者等于1的整数。在这种情况下，第三图像在图像坐标系x方向上相对于第一图像缩放2^n倍，在图像坐标系y方向上相对于第一图像缩放2^m倍；其中，n为大于或者等于1的整数，m为大于或者等于1的整数。也即，s_x’＝s_x/2^n，s_y’＝s_y/2^m。
79.示例性的，当i为1，j为2时，第三图像的大小为第二图像的大小1倍到2倍之间，也即满足1《s_x’/t_x《2，1《s_y’/t_y《2。这样就可以得到逼近预设大小但又略大于预设大小的图像，可以灵活控制采样图像的大小。
80.阶段二：分块及分块采样
81.经过阶段一的快速采样处理，已获得接近目标尺寸的图像，此时，需要通过分块采样处理将接近目标尺寸的图像分割为多个分块(或者称为部分或子图像)，图像分块的方式可以基于预设的尺寸决定。
82.在一种可选的实施方式中，分块采样模块对第三图像进行第一采样处理，得到h个第四图像，具体可以包括：分块采样模块根据预设的尺寸将第三图像分成k个子图像；分块采样模块分别对k个子图像进行第三采样处理，得到k个处理后的子图像；分块采样模块将k个处理后的子图像块进行h次拼接，得到h个第四图像，其中，每个第四图像中包括k个处理后的子图像，k为大于或者等于2的整数。其中，第三采样处理包括对图像进行不同卷积步长的卷积处理。
83.其中，分块采样模块根据预设的尺寸将第三图像分成k个子图像，具体可以包括：分块采样模块在第三图像中按照预设的尺寸进行切割，将第三图像切成多个子图像，每个子图像的尺寸都符合预设的尺寸。
84.当然，在上述过程中，分块采样模块也可以先将k个子图像进行拼接h次，然后再对每个拼接后的图像中包括的k个子图像进行第三采样处理，最终得到h个第四图像。其中，由于每个拼接后的图像都包含相同的k个子图像，只是k个子图像的组合顺序不同，所以对于每个拼接后的图像中的相同子图像的处理方式都是一样的。也就是说，先对子图像进行第三采样处理再拼接，或者先对子图像进行拼接再对子图像进行第三采样处理得到的结果是相同的。
85.其中，k个子图像可以基于预设的像素长度获得，预设的像素长度包括图像坐标系x方向上的像素长度和y方向上的像素长度。预设的像素长度即为上述预设的尺寸。
86.在一种举例中，k为4，也即将第三图像分为4个子图像，在这种具体场景下，分块采样模块可以基于s_x1、s_x2、s_y1和s_y2将第三图像分成4个子图像；其中，s_x1为子图像在图像坐标系x方向上的第一像素长度；s_x2为子图像在图像坐标系x方向上的第二像素长度；s_y1为子图像在图像坐标系y方向上的第三像素长度；s_y2为子图像在图像坐标系y方向上的第四像素长度。通过上述方法，可以将第三图像分成以下4个子图像：x方向为s_x1，y方向为s_y1的子图像(下面称为子图像1)；x方向为s_x1，y方向为s_y2的子图像(下面称为子图像2)；x方向为s_x2，y方向为s_y1的子图像(下面称为子图像3)；x方向为s_x2，y方向为s_y2的子图像(下面称为子图像4)。
87.示例性的，s_x1、s_x2、s_y1和s_y2可以符合以下公式：
88.s_x1＝2*t_x
–
s_x’；
89.s_x2＝2(s_x
’–
t_x)；
90.1《s_x’/t_x《2，s_x1》0，s_x2》0；
91.s_y1＝2*t_y
–
s_y’；
92.s_y2＝2(s_y
’–
t_y)；
93.1《s_y’/t_y《2，s_y1》0，s_y2》0。
94.进一步地，分块采样模块分别对任一个子图像进行第三采样处理，具体方法可以包括：分块采样模块分别在图像坐标系x方向和y方向上对任一个子图像进行卷积处理。其中，卷积处理可以实现对图像进行特征提取、图像采样，具体操作可以基于前述的卷积操作的计算公式实现。
95.延用上例，假设得到4个子图像后，可以分别对4个子图像进行不同步长的卷积处理。例如，按照步长为1进行卷积处理后，可以图像采样得到大小不变的图像；按照步长为2进行卷积处理后，可以图像采样得到大小缩小一倍的图像；其他步长的情况同理，此处不再一一列举。下面通过图5和图6所示的示例，分别进行说明：
96.例如图5所示，将第三图像分成4个子图像后，按照图5中的拼接方式得到一个第四图像的情况下，可以对4个子图像分别进行如下卷积处理：
97.对于子图像1，在x方向和y方向上进行步长分别为1的卷积计算，获得和子图像1一样大小的输出，输出图像长宽分别为s_x1和s_y1；
98.对于子图像3，在x方向上进行步长为2，y方向步长为1的卷积计算；x方向上长度缩小1倍，y方向上保持不变，输出图像长宽分别为s_x2/2，s_y1；
99.对于子图像2，在x方向上步长为1，y方向上步长为2的卷积计算；x方向上的长度保持不变，y方向上缩小1倍，输出图像长宽分别为s_x1，s_y2/2；
100.对于子图像4，进行x方向上步长2，y方向步长为2的卷积计算；x和y方向上的长度都缩小1倍，输出图像长宽分别为s_x2/2，x_y2/2。
101.然后将处理后的子图像进行拼接，拼接后x方向的长度为s_x1 s_x2/2。将s_x1＝2*t_x
–
s_x’和s_x2＝2(s_x
’–
t_x)代入s_x1 s_x2/2，可以得出拼接后的x方向的长度为t_x，即为预设大小的x方向的长度。
102.同理，拼接后y方向的长度为s_y1 s_y2/2。将s_y1＝2*t_y
–
s_y’和s_y2＝2(s_y
’–
t_y)代入s_y1 s_y2/2，可以获得拼接后y方向的长度为t_y，即为预设大小的y方向的长度。
103.通过上述方法可以得出一个第四图像，得出的第四图像x方向的长度为t_x，y方向的长度为t_y。
104.例如图6所示，将第三图像分成4个子图像后，按照图6中的拼接方式得到一个第四图像的情况下，对4个子图像分别进行卷积处理的方法与图5中对相同子图像进行卷积处理的方法相同，只是排列顺序不同而已。具体的：
105.对于子图像4，在x方向和y方向上都进行步长为2的卷积计算，x和y方向上的长度都缩小一倍，输出图像的长宽为s_x2/2，s_y2/2；
106.对于子图像2，在x方向上进行步长为1的卷积计算，y方向上进行步长为2的卷积计算，x方向上大小保持不变，y方向上缩小一倍，输出图像的长宽为s_x1，s_y2/2；
107.对于子图像3，在x方向上进行步长为2的卷积计算，y方向上进行步长为1的卷积计算；x方向上缩小1倍，y方向上保持不变；输出图像的长宽为s_x2/2，s_y1；
108.对于子图像1，在x方向和y方向上都进行步长为1的卷积计算，输出的图像的大小和输入图像一致，长宽分别为s_x1，s_y1。
109.拼接后的x方向上的长度为s_x2/2 s_x1，和图5所示的示例拼接后的长度一致，为预设大小的x方向的长度t_x。同样，y方向上的长度为是s_y2/2 s_y1，和图5所示的示例拼接后的长度一致，为预设大小的y方向的长度t_y。
110.通过图5和图6所示的过程可以得到2个第四图像。
111.需要说明的是，基于4个子图像还可以有另外两种拼接方式，得到另外两个第四图像，此处不再详细列举。在这里仅通过h为2，也即得到2个第四图像为例说明。
112.应理解，图5和图6也可以理解为两种分块方式，也即不同子图像的不同组合方式可以表示不同的分块方式。
113.阶段三：融合平滑处理
114.在一种可选的实施方式中，融合平滑模块对h个第四图像进行融合处理，得到第二图像，可以符合以下公式：
115.t＝a*a b*b
……
h*h；
116.其中，t为第二图像对应的像素矩阵；a，b，
……
，h为h个第四图像分别对应的像素矩阵；a，b，
……
，h分别为预设值。
117.可选的，融合平滑模块可以在将h个第四图像进行融合处理后的图像t后，对t进行步长为1的卷积处理得到最终的图像，将最终得到的图像作为第二图像。通过上述线性融合的方式，有利于提高图像质量，然后，再通过卷积平滑，可以获得高质量预设大小的图像。
118.延用上例，当得到2个第四图像后，可以对2个第四图像a和b进行融合处理后得到t1，然后再经过x方向和y方向步长都为1的卷积处理后，输出图像t2。上述过程可以如图7所
示。
119.通过上述过程，实现了自适应采样得到预设大小的图像的过程，可以克服现有卷积整数倍采样的限制，从而可以获得更加灵活的尺寸，应用更加广泛。
120.阶段四：模型训练
121.图像处理的装置中的采样模型训练模块，可以为图像处理的装置中的采样模块、分块采样模块和融合平滑模块提供训练好的模型，例如可以训练所需的采样权重参数(例如卷积权重)。采样模型训练模块的训练无需标签(label)，可以自监督训练。需要说明的是，此处仅仅是示例采样模型训练模块部署于图像处理的装置中的情况，应理解采样模型训练模块可以独立进行部署，本技术对此不作限定。
122.在一种可选的实施方式中，采样模型训练模块可以将第二图像进行还原处理，得到第六图像；计算第六图像和第一图像的损失值(loss)，通过损失值训练图像采样对应的权重值。例如，图8示出了由第一图像得到第二图像进而得到第六图像，再进行损失值计算的过程。这样在之后的图像采样中，图像处理的装置在进行图像处理时，可以直接采用训练好的模型(权重值)进行自适应采样。
123.可选的，采样模型训练模块将第二图像进行还原处理时，可以采用上采样(如bicubic方法)方法进行还原。
124.采用本技术提供的图像处理的方法，可以自适应采样得到预设大小的图像，从而按照所需尺寸对原始图像进行采样，进而可以获得更加灵活尺寸的采样图像，应用更加广泛。
125.基于上述实施例，下面以具体的例子对本技术的图像处理从方法进行详细说明。例如，如图9所示，将图像大小为1080*1920的原始图像采样至图像大小为480*720的图像。具体的：由数据获取设备获得1080*1920大小的图像(可选地存入数据存储系统102)，再通过i/o模块，输入数据采样模块进行自适应采样。
126.如图10所示，在数据采样模块，原始图像首先输入采样模块，采样模块将原始图像在x方向和y方向采样2倍，也即通过x方向和y方向进行步长都为2的卷积处理，x方向和y方向上长度都缩小1倍，输出图像的长高分别为960，540。
127.采样模块获得960*540的图像后，作为分块采样模块的输入。根据下述公式确定子图像的大小：
128.s_x1＝2*t_x
–
s_x’＝2*720
–
960＝480；
129.s_x2＝2(s_x
’–
t_x)＝2*(960-720)＝480；
130.s_y1＝2*t_y
–
s_y’＝2*480
–
540＝420；
131.s_y2＝2(s_y
’–
t_y)＝2*(540-480)＝120；
132.通过上述可以获得4个子图像：420*480的子图像，420*480的子图像，120*480的子图像和120*480的子图像。
133.然后，对上述四个子图像分别进行不同步长的卷积处理：
134.对420*480的子图像进行x和y方向上步长为1的卷积处理，获得480*480的图像输出；
135.对420*480的子图像进行x方向步长为2，y方向步长为1的卷积处理，获得420*240的图像输出；
136.对120*480的子图像进行x方向步长为1，y方向步长为2的卷积处理，获得60*480的图像输出；
137.对120*480的子图像进行x方向和y方向上步长为2的卷积处理，获得60*240的图像输出。
138.将对4个子图像进行上述处理后输出的图像进行2次拼接得到2个长高和分别为720*480的图像。
139.例如图11示出了上述分块采样的过程。
140.接下来，融合平滑模块将分块采样模块获得的2个720*480的图像，进行融合处理后得到的图像大小也为720*480，然后再对得到的图像进行x和y方向步长均为1的卷积计算，最后输出的图像大小为720*480的图像，即为预设大小的图像，例如图12所示。
141.通过上述过程，即可以得到高质量的图像，并且得到的图像为大小不受限制的预设大小的图像。
142.在模型训练阶段，从融合平滑模块获得720*480大小的图像后，可以通过传统方法进行上采样获得1080*1920大小的图像。然后从数据存储系统102获得输入数据采样模块之前的1080*1920的原始图像，计算两图像的距离loss，用于模型的反向更新。模型训练完毕后，数据采样模块的参数即固定了下来，后续可用于直接推理。
143.通过本技术提供的图像处理的方法可以利用现有的卷积技术，实现自适应采样，可以将图像采样至更加灵活的尺寸，应用更加广泛。
144.上文中结合图1至图12，详细描述了根据本技术所提供的图像处理的方法，下面将结合图13和图14，描述根据本技术所提供的图像处理的装置和图像处理的设备。
145.图13为本技术提供的一种图像处理的装置的结构示意图，如图所示，图像处理的装置1300可以包括获取单元1301和处理单元1302，其中：
146.获取单元1301，用于获取第一图像，第一图像为原始图像；
147.处理单元1302，用于按照预设规则对第一图像进行自适应采样获得第二图像，第二图像为符合采样需求的图像。
148.应理解的是，本技术实施例的装置1300可以通过专用集成电路(application-specific integrated circuit，asic)实现，或可编程逻辑器件(programmable logic device，pld)实现，上述pld可以是复杂程序逻辑器件(complex programmable logical device，cpld)，现场可编程门阵列(field-programmable gate array，fpga)，通用阵列逻辑(generic array logic，gal)或其任意组合。也可以通过软件实现图2和图3所示的图像数据处理方法时，装置1300及其各个模块也可以为软件模块。
149.可选的，自适应采样为根据采样需求获得预设大小的图像，预设大小为原始图像的大小的任意倍数。
150.示例性的，预设规则包括根据不同卷积步长对第一图像进行图像处理。
151.在一种可选的实施方式中，处理单元1302在按照预设规则对第一图像进行自适应采样获得第二图像时，具体用于：根据第一图像确定第三图像，第三图像的大小为第二图像的大小的n倍，所述n大于i且小于j，i大于0，j大于0，i《j；对第三图像进行第一采样处理，得到h个第四图像，任一个第四图像的大小等于第二图像的大小；其中，所述第一采样处理包括对所述第三图像进行分块采样并按照h种方式拼接；h为大于或者等于2的整数；对h个第
四图像进行融合处理，得到第二图像。
152.具体的，处理单元1302在根据第一图像确定第三图像时，具体用于：基于第一图像进行至少一次第二采样处理，在第z次第二采样处理后判断得到的图像的大小是否为第二图像的大小的n倍，若是，则得到第三图像，否则进行第z 1次第二采样处理，直至判断得到的图像的大小为第二图像的大小的n倍，得到第三图像为止；第二采样处理包括根据预设的卷积步长进行图像采样；z为大于或者等于1的整数。
153.可选的，第三图像为基于第一图像进行了步长为w的卷积处理的图像，w为大于或等于2的整数。
154.可选的，i为1，j为2，w为2^p，p为大于或者等于1的整数。
155.示例性的，第三图像在图像坐标系x方向上相对于所述第一图像缩放2^n倍，在图像坐标系y方向上相对于第一图像缩放2^m倍；其中，n为大于或者等于1的整数，m为大于或者等于1的整数。
156.在一种可选的实施方式中，处理单元1302在对第三图像进行第一采样处理，得到h个第四图像时，具体用于：根据预设的尺寸将第三图像分成k个子图像，k为大于或者等于2的整数；分别对k个子图像进行第三采样处理，得到k个处理后的子图像；将k个处理后的子图像块进行h次拼接，得到h个第四图像，其中，每个第四图像中包括k个处理后的子图像。
157.具体的，k个子图像基于预设的像素长度获得，预设的像素长度包括图像坐标系x方向上的像素长度和y方向上的像素长度。
158.可选的，k为4时，处理单元1302在将第三图像分成4个子图像时，具体用于：基于s_x1、s_x2、s_y1和s_y2将第三图像分成4个子图像；其中，s_x1为子图像在图像坐标系x方向上的第一像素长度；s_x2为子图像在图像坐标系x方向上的第二像素长度；s_y1为子图像在图像坐标系y方向上的第三像素长度；s_y2为子图像在图像坐标系y方向上的第四像素长度。
159.可选的，s_x1、s_x2、s_y1和s_y2符合以下公式：
160.s_x1＝2*t_x
–
s_x’；
161.s_x2＝2(s_x
’–
t_x)；
162.1《s_x’/t_x《2，s_x1》0，s_x2》0；
163.s_y1＝2*t_y
–
s_y’；
164.s_y2＝2(s_y
’–
t_y)；
165.1《s_y’/t_y《2，s_y1》0，s_y2》0；
166.其中，t_x为预设大小在x方向上的像素长度；s_x’为第三图像在x方向上的像素长度；t_y为预设大小在y方向上的像素长度；s_y’为所述第三图像在y方向上的像素长度，预设大小等于第二图像的大小。
167.在一种可选的实施方式中，处理单元1302在分别对任一个子图像进行第三采样处理时，具体用于：分别在图像坐标系x方向和y方向上对任一个子图像进行卷积处理。
168.可选的，处理单元1302，在对h个第四图像进行融合处理，得到第二图像时，符合以下公式：t＝a*a b*b
……
h*h；其中，t为第二图像对应的像素矩阵；a，b，
……
，h为所述h个第四图像分别对应的像素矩阵；a，b，
……
，h分别为预设值。
169.具体的，处理单元1302还用于：将第二图像进行还原处理，得到第六图像；计算第
六图像和第一图像的损失值；通过损失值训练图像采样对应的权重值。
170.根据本技术实施例的图像处理的装置1300可对应于执行本技术实施例中描述的方法，并且图像处理的装置1300中的各个单元的上述和其它操作和/或功能分别为了实现图2中的各个方法的相应流程，为了简洁，在此不再赘述。
171.需要说明的是，图13中的图像处理的装置1300可以对应与图1中的图像处理的装置104，具体的，获取单元1301可以实现采样模块10421获取原始图像的功能；处理单元1302可以实现采样模块10421除获取原始图像的功能以外的图像采样的功能，以及实现数据采样模块1042中分块采样模块10422和融合平滑处理模块10423的功能，以及还可以实现采样模型训练模块1041的功能。
172.通过上述图像处理的装置1300可以利用现有的卷积技术，实现自适应采样，可以将图像采样至更加灵活的尺寸，应用更加广泛。
173.图14为本技术实施例提供的一种图像处理的设备的结构图，图像处理的设备应用于如图1所示的系统，用于实现如图2所示的图像处理的方法。参阅图14所示，图像处理的设备1400可以包括：通信接口1401、处理器1402和存储器1403。其中，通信接口1401、处理器1402和存储器1403可以通过总线1404进行通信，也可以通过无线传输等其他手段实现通信。该存储器1403用于存储指令，该处理器1402用于执行该存储器1403存储的指令。该存储器1403存储程序代码，且处理器1402可以调用存储器1403中存储的程序代码执行以下操作：
174.获取第一图像，第一图像为原始图像；按照预设规则对第一图像进行自适应采样获得第二图像，第二图像为符合采样需求的图像。
175.可选地，图14所示的图像处理的设备1400还包括内存(图14中未示出)，其中，内存可以与处理器物理集成在一起，或在处理器内或以独立单元形式存在。计算机程序可以存储至内存或存储器。可选地，存储至存储器的计算机程序代码(例如，内核，要调试的程序等)被复制到内存，进而由处理器执行。
176.应理解，在本技术实施例中，该处理器1402可以是中央处理器(central processing unit，cpu)，该处理器1402还可以是其他通用处理器、数字信号处理器(digital signal processing，dspdsp)、专用集成电路(application-specific integrated circuit，asic)、可编程逻辑器件(programmable logic device，pld)；上述pld可以是复杂可编程逻辑器件(complex programmable logic device，cpld)，现场可编程门阵列(field-programmable gate array，fpga)、通用阵列逻辑(generic array logic，gal)或其任意组合；或者该处理器1402可以是其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
177.该存储器1403可以包括只读存储器和随机存取存储器，并向处理器1402提供指令、程序和数据等。例如，程序可以包括程序代码，该程序代码包括计算机操作指令。存储器1403还可以包括非易失性随机存取存储器。例如，存储器1403还可以存储设备类型的信息。
178.该存储器1403可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器
可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data date sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
179.该总线1404除包括数据总线之外，还可以包括地址总线、电源总线、控制总线和状态信号总线等。该总线1404可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等，也可以是控制区域网络(controller area network，can)，还可以是车载以太(ethernet)，或者其他内部总线实现图14所示的各个器件/设备的连接。但是为了清楚说明起见，在图14中将各种总线都标为总线1404。为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
180.应理解，根据本技术实施例的图像处理的设备1400可以对应于执行图2和图3所示方法中的步骤，并且图像处理的设备1400中的各个模块的上述和其它操作和/或功能分别为了实现图2和图3中的各个方法的相应流程，为了简洁，在此不再赘述。
181.示例性的，图像处理的设备1400可以为服务器等。
182.通过上述图像处理的设备1400可以利用现有的卷积技术，实现自适应采样，可以将图像采样至更加灵活的尺寸，应用更加广泛。
183.本技术还提供一种图像处理系统，该图像处理系统至少包括图像处理的装置或图像处理的设备。上述各个部件或设备分别用于执行上述图2所示方法中相应执行主体的操作步骤，为了简洁，在此不再赘述。
184.上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive，ssd)。
185.以上所述，仅为本技术的具体实施方式。熟悉本技术领域的技术人员根据本技术提供的具体实施方式，可想到变化或替换，都应涵盖在本技术的保护范围之内。