图像特征融合及模型训练方法、装置、设备以及存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及计算机视觉、深度学习等领域。


背景技术：

2.在很多领域中，融合不同感受野的特征是提高性能的一个重要手段。例如，在图像处理领域，对不同感受野的图像进行融合是对图像进行处理以提升图像处理效果的重要手段。


技术实现要素：

3.本公开提供了一种图像特征融合及模型训练方法、装置、设备以及存储介质。
4.根据本公开的第一方面，提供了一种图像特征融合方法，包括：
5.获取不同感受野的图像特征；
6.利用所述不同感受野的图像特征中的底层图像特征，对所述不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，所述高层图像特征的感受野大于所述底层图像特征的感受野；
7.利用所述不同感受野的图像特征中的高层图像特征，对所述不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；
8.将所述增强高层特征和增强底层特征进行融合，得到融合后特征。
9.根据本公开的第二方面，提供了一种用于图像特征融合的模型训练方法，包括：
10.获取多个样本图像以及各个样本图像对应的标签；
11.针对各个样本图像，将所述样本图像输入用于图像特征融合的模型，得到融合后特征；
12.基于所述融合后特征进行图像处理，得到图像处理结果；
13.计算所述图像处理结果与所述样本图像对应的标签之间的差异；
14.基于所述差异调整所述用于图像特征融合的模型的模型参数；
15.基于调整后的模型参数以及所述多个样本图像，继续进行模型参数的调整过程，直至满足预设迭代结束条件；
16.将满足预设迭代结束条件时所得到的模型参数作为训练后的模型参数，将包括所述训练后的模型参数的用于图像特征融合的模型作为训练后的用于图像特征融合的模型；
17.其中，所述用于图像特征融合的模型包括通道注意力网络、空间注意力网络和融合网络；
18.所述通道注意力网络，用于利用所述不同感受野的图像特征中的底层图像特征，对所述不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，所述高层图像特征的感受野大于所述底层图像特征的感受野；
19.所述空间注意力网络，用于利用所述不同感受野的图像特征中的高层图像特征，对所述不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后
的增强底层特征；
20.所述融合网络，用于将所述增强高层特征和增强底层特征进行融合，得到融合后特征。
21.根据本公开的第三方面，提供了一种图像特征融合装置，包括：
22.获取模块，用于获取不同感受野的图像特征；
23.特征增强模块，用于利用所述不同感受野的图像特征中的底层图像特征，对所述不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，所述高层图像特征的感受野大于所述底层图像特征的感受野；用于利用所述不同感受野的图像特征中的高层图像特征，对所述不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；
24.融合模块，用于将所述增强高层特征和增强底层特征进行融合，得到融合后特征。
25.根据本公开的第四方面，提供了一种用于图像特征融合的模型训练装置，包括：
26.获取模块，用于获取多个样本图像以及各个样本图像对应的标签；
27.融合特征获得模块，用于针对各个样本图像，将所述样本图像输入用于图像特征融合的模型，得到融合后特征；
28.图像处理结果获得模块，用于基于所述融合后特征进行图像处理，得到图像处理结果；
29.计算模块，用于计算所述图像处理结果与所述样本图像对应的标签之间的差异；
30.训练模块，用于基于所述差异调整所述用于图像特征融合的模型的模型参数；基于调整后的模型参数以及所述多个样本图像，继续进行模型参数的调整过程，直至满足预设迭代结束条件；将满足预设迭代结束条件时所得到的模型参数作为训练后的模型参数，将包括所述训练后的模型参数的用于图像特征融合的模型作为训练后的用于图像特征融合的模型；
31.其中，所述用于图像特征融合的模型包括通道注意力网络、空间注意力网络和融合网络；
32.所述通道注意力网络，用于利用所述不同感受野的图像特征中的底层图像特征，对所述不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，所述高层图像特征的感受野大于所述底层图像特征的感受野；
33.所述空间注意力网络，用于利用所述不同感受野的图像特征中的高层图像特征，对所述不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；
34.所述融合网络，用于将所述增强高层特征和增强底层特征进行融合，得到融合后特征。
35.根据本公开第五方面，提供了一种电子设备，包括：
36.至少一个处理器；以及
37.与所述至少一个处理器通信连接的存储器；其中，
38.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
39.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，其中，所述计算机指令用于使所述计算机执行第一方面或第二方面所述的方法。
40.根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面或第二方面所述的方法。
41.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
42.附图用于更好地理解本方案，不构成对本公开的限定。其中：
43.图1是本公开实施例提供的图像特征融合方法的流程图；
44.图2是应用本公开实施例提供的图像特征融合方法的的示意图；
45.图3是本公开实施例提供的用于图像特征融合的模型的训练方法的流程图；
46.图4是本公开实施例中用于图像特征融合的模型的一种示意图；
47.图5是本公开实施例中用于图像特征融合的模型的另一种示意图；
48.图6是本公开实施例中用于图像特征融合的模型的又一种示意图；
49.图7是本公开实施例提供的图像特征融合装置的结构示意图；
50.图8是本公开实施例提供的用于图像特征融合的模型训练装置的结构示意图；
51.图9是用来实现本公开实施例的图像特征融合方法或用于图像特征融合的模型的训练方法的电子设备的框图。
具体实施方式
52.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
53.本公开实施例提供了一种图像特征融合方法，包括：
54.获取不同感受野的图像特征；
55.利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，高层图像特征的感受野大于底层图像特征的感受野；
56.利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；
57.将增强高层特征和增强底层特征进行融合，得到融合后特征。
58.本公开实施例中，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，并利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征，能够使得通过高层图像特征和底层图像特征的交互，更好的利用不同感受野特征信息，更好地进行图像特征融合，进而使得提取的图像特征更加准确，也即提高图像特征的准确性。
59.图1是本公开实施例提供的图像特征融合方法的流程图，参照图1，本公开实施例
提供的图像特征融合方法可以包括：
60.s101，获取不同感受野的图像特征。
61.感受野表示映射至原始图像的区域大小。例如，图像特征通过图像特征图表示，不同感受野的图像特征可以是不同感受野的图像特征图。
62.一种可实现方式中，可以通过卷积神经网络提取图像的不同感受野的图像特征，感受野表示卷积神经网络每一层输出的特征图上的像素点映射回原始图像上的区域大小。通俗来讲，感受野指的是特征图上的一点相对于原始图像的大小，也是卷积神经网络特征所能看到原始图像的区域。其中，可以通过卷积神经网络提取原始图像(也可以理解为待处理图像)不同感受野的图像特征。
63.s102，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征。
64.s103，利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征。
65.其中，高层图像特征的感受野大于底层图像特征的感受野。
66.s104，将增强高层特征和增强底层特征进行融合，得到融合后特征。
67.可以基于底层图像特征计算通道重要度系数；基于通道重要度系数调整高层图像特征，得到通道信息增强后的增强高层特征。通道重要度系数与高层图像特征通道维度上的重要度成正比，简单理解，即通道重要度系数越大，则该高层图像特征从通道维度讲越重要。
68.可以基于高层图像特征计算空间重要度系数；基于空间重要度系数调整底层图像特征，得到空间信息增强后的增强底层特征。
69.空间重要度系数与底层图像特征空间维度上的重要度成正比，简单理解，即空间重要度系数越大，则该底层图像特征从空间维度讲越重要。
70.可以直接将增强高层特征和增强底层特征相加，得到融合后特征。也可以先通过通道维度拼接，之后再通过卷积进行通道维度信息聚合。
71.一种可实现方式中，不同感受野的图像特征包括不同尺度的图像特征，本公开实施例中对不同感受野的图像特征进行融合，也即对不同尺度的图像特征进行融合，即获取不同尺度的图像特征；利用不同尺度的图像特征中的底层图像特征，对不同尺度的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，高层图像特征的感受野大于底层图像特征的感受野；利用不同尺度的图像特征中的高层图像特征，对不同尺度的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；将增强高层特征和增强底层特征进行融合，得到融合后特征。
72.另一种可实现方式中，不同感受野的图像特征包括同一尺度下不同感受野的图像特征，例如，同一尺度下特征图中的不同区域。
73.相比较于相关技术中将不同尺度的特征缩放到相同尺度，然后进行对应特征想加或者拼接起来，未曾考虑到不同尺度特征的有效性，或者，利用通道注意力机制进行特征融合，未曾考虑到不同空间特征之间的不同；或者，利用自注意力机制大范围的构建不同空间位置特征之间的相关性，欠缺不同通道之间的重要性考虑。本公开实施例中利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信
息增强，并利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征，能够使得通过高层图像特征和底层图像特征的交互，更好的利用不同感受野特征信息，更好地进行图像特征融合，进而使得提取的图像特征更加准确。
74.一种可选地实施例中，如图2所示，在s101之前还可以包括：
75.s201，获取待处理图像。
76.获取不同感受野的图像特征，即提取待处理图像的不同感受野的图像特征。
77.在s104之后还可以包括：
78.s202，基于融合后特征进行图像分类、图像检测和/或图像分割，得到针对待处理图像的分类结果、检测结果和/或分割结果。
79.基于融合后特征可以仅进行图像分类、图像检测或图像分割，或者，也可以既进行图像分类又进行图像检测，或者，既进行图像分类又进行图像分割，或者既进行图像分割又进行图像检测，或者，可以既进行图像分类和图像检测，还进行图像分割。
80.具体地，待对图像进行图像分类时，可以获取待处理图像，提取待处理图像的不同感受野的图像特征，然后，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；将增强高层特征和增强底层特征进行融合，得到融合后特征。基于待处理图像的该融合后特征进行图像分类。
81.待对图像进行图像分割时，可以获取待处理图像，提取待处理图像的不同感受野的图像特征，然后，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；将增强高层特征和增强底层特征进行融合，得到融合后特征。基于待处理图像的该融合后特征进行图像分割。
82.待对图像进行图像检测时，可以获取待处理图像，提取待处理图像的不同感受野的图像特征，然后，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；将增强高层特征和增强底层特征进行融合，得到融合后特征。基于待处理图像的该融合后特征进行图像检测。
83.本公开实施例中利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；并将增强高层特征和增强底层特征进行融合，得到融合后特征，能够使得通过高层图像特征和底层图像特征的交互，更好的利用不同感受野特征信息，更好地进行图像特征融合，使得提取的图像特征更加准确，利用得到的融合后特征进行图像检测、图像分类、图像分割等，使得图像检测结果、图像分类结果以及图像分割结果更加准确。
84.一种可实现方式中，可以通过用于图像特征融合的模型得到融合后特征。具体地模型训练过程在下述实施例中会进行详述，这里暂不赘述。
85.具体地，用于图像特征融合的模型可以包括特征提取网络、通道注意力网络、空间注意力网络和融合网络。
86.获取不同感受野的图像特征，包括：
87.获取待处理图像，将待处理图像输入用于图像特征融合的模型，通过用于图像特征融合的模型中的特征提取网络，提取待处理图像的不同感受野的图像特征；
88.利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征，包括：
89.通过用于图像特征融合的模型中的通道注意力网络，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；
90.利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征，包括：
91.通过用于图像特征融合的模型中的空间注意力网络，利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；
92.将增强高层特征和增强底层特征进行融合，得到融合后特征，包括：
93.通过用于图像特征融合的模型中的融合网络，将增强高层特征和增强底层特征进行融合，得到融合后特征。
94.简单理解，将待处理图像输入用于图像特征融合的模型，通过该模型即可实现利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，以及利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，通过该模型即可得到融合后特征，一方面，通过高层图像特征和底层图像特征的交互，更好的利用不同感受野特征信息，更好地进行图像特征融合，进而使得提取的图像特征更加准确；另一方面，通过模型实现该过程可以更加方便地实现图像融合。
95.通过用于图像特征融合的模型得到融合后特征后，可以基于融合后特征进行图像分类、图像检测和/或图像分割，得到针对待处理图像的分类结果、检测结果和/或分割结果，具体见上述图2对应实施例。
96.一种可选地实施例中，通道注意力网络可以包括全局池化层、第一感知层和归一化层；
97.通过用于图像特征融合的模型中的通道注意力网络，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，包括：
98.利用全局池化层对底层图像特征进行全局池化操作；
99.利用第一感知层基于全局池化操作后的结果，通过全连接操作，得到与高级图像特征的通道维度一致的列向量；
100.利用第一归一化层对与高级图像特征的通道维度一致的列向量进行归一化操作，得到第一归一化后的列向量，第一归一化后的列向量中的值表示通道重要度系数。
101.通道重要度系数用于调整高层图像特征，以得到通道信息增强后的增强高层特征。通道重要度系数与高层图像特征通道维度上的重要度成正比，简单理解，即通道重要度系数越大，则该高层图像特征从通道维度讲越重要。也可以理解为底层图像特征为高层图像特征提供通道重要度信息。
102.空间注意力网络可以包括第二感知层和第二归一化层；
103.通过用于图像特征融合的模型中的空间注意力网络，利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，包括：
104.利用第二感知层对高层图像特征进行全连接操作，得到与底层图像特征的空间维度一致的列向量；
105.利用第二归一化层对与底层图像特征的空间维度一致的列向量进行归一化操作，得到第二归一化后的列向量，第二归一化后的列向量中的值表示空间重要度系数。
106.空间重要度系数用于调整底层图像特征，以得到空间信息增强后的增强底层特征。空间重要度系数与底层图像特征空间维度上的重要度成正比，简单理解，即空间重要度系数越大，则该底层图像特征从空间维度讲越重要。也可以理解为高层图像特征为底层图像特征提供空间重要度信息。
107.通道注意力网络包括全局池化层、第一感知层和归一化层，空间注意力网络包括第二感知层和第二归一化层，即通过全局池化层、第一感知层和归一化层可以实现利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，通过第二感知层和第二归一化层可以实现利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，模型复杂度较低，使得利用模型实现特征融合，并利用融合后特征进行图像分类、图像分割、图像检测等过程时，可以降低计算复杂度，实现了简单、有效地特征融合等图像处理过程。
108.本公开实施例提供了一种用于图像特征融合的模型的训练方法，如图3所示，可以包括：
109.s301，获取多个样本图像以及各个样本图像对应的标签；
110.s302，针对各个样本图像，将样本图像输入用于图像特征融合的模型，得到融合后特征。
111.s303，基于融合后特征进行图像处理，得到图像处理结果；
112.s304，计算图像处理结果与样本图像对应的标签之间的差异；
113.s305，基于差异调整用于图像特征融合的模型的模型参数；
114.s306，基于调整后的模型参数以及多个样本图像，继续进行模型参数的调整过程，直至满足预设迭代结束条件；
115.s307，将满足预设迭代结束条件时所得到的模型参数作为训练后的模型参数，将包括训练后的模型参数的用于图像特征融合的模型作为训练后的用于图像特征融合的模型；
116.其中，用于图像特征融合的模型包括特征提取网络、通道注意力网络、空间注意力网络和融合网络；
117.特征提取网络，用于提取待处理图像的不同感受野的图像特征；
118.通道注意力网络，用于利用不同感受野的图像特征中的底层图像特征，对不同感
受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，高层图像特征的感受野大于底层图像特征的感受野；
119.空间注意力网络，用于利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；
120.融合网络，用于将增强高层特征和增强底层特征进行融合，得到融合后特征。
121.可以先构建用于图像特征融合的模型，该模型包括特征提取网络，通道注意力网络、空间注意力网络和融合网络，然后，利用多个样本图像以及各个样本图像对应的标签对该模型进行训练，直至满足预设迭代结束条件，得到训练后的模型。
122.具体地，将样本图像输入用于图像特征融合的模型，通过用于图像特征融合的模型中的特征提取网络，提取待处理图像的不同感受野的图像特征；通过用于图像特征融合的模型中的通道注意力网络，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；通过用于图像特征融合的模型中的空间注意力网络，利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；通过用于图像特征融合的模型中的融合网络，将增强高层特征和增强底层特征进行融合，得到融合后特征。如图4所示，高层图像特征为高层语义特征图(global feature)，底层图像特征为底层语义特征图(local feature)，通过spatial interaction实现利用高层语义特征图对底层语义特征图的空间信息增强，也即利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；通过channel interaction实现利用底层语义特征图对高层语义特征图通道维度的信息增强，也即利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征。fuse是高层和底层增强特征之后的融合，也即将增强高层特征和增强底层特征进行融合，得到融合后特征。
123.然后，基于融合后特征进行图像处理，得到图像处理结果；计算图像处理结果与样本图像对应的标签之间的差异；基于差异调整用于图像特征融合的模型的模型参数；基于调整后的模型参数以及多个样本图像，继续进行模型参数的调整过程，直至满足预设迭代结束条件；将满足预设迭代结束条件时所得到的模型参数作为训练后的模型参数，将包括训练后的模型参数的模型作为训练后的用于图像特征融合的模型。
124.可以通过反传误差梯度调整模型参数，也可以理解为通过反传误差梯度更新权重。
125.其中，预设迭代结束条件可以包括针对一样本图像的图像处理结果与该图像处理结果对应的标签之间的差异收敛，或者，预设迭代结束条件包括迭代次数达到预设次数，预设次数可以根据实际需求或者经验等确定，如500次、600次、1000次等等。
126.另外，在训练完成后，也即得到训练后的用于图像特征融合的模型之后，还可以对该模型进行测试。具体地，可以获取多个测试图像(也可以称之为待推理的数据)，基于测试图像对训练后的用于图像特征融合的模型进行调整，具体地过程参照上述基于样本图像训练用于图像特征融合的模型的过程，若基于测试数据调整后的用于图像特征融合的模型优
于上述训练后的用于图像特征融合的模型，则将基于测试数据调整后的用于图像特征融合的模型作为最终的模型。
127.本公开实施例中可以预先训练用于图像特征融合的模型，通过该模型可以实现利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；并将增强高层特征和增强底层特征进行融合，得到融合后特征，能够使得通过高层图像特征和底层图像特征的交互，更好的利用不同感受野特征信息，更好地进行图像特征融合，进而使得提取的图像特征更加准确，进一步还可以利用得到的融合后特征进行图像检测、图像分类、图像分割等，使得图像检测结果、图像分类结果以及图像分割结果更加准确。另外预先训练好用于图像特征融合的模型，待实现图像特征融合时，可以通过图像特征融合的模型方便地进行特征融合。
128.本公开实施例中不对模型的具体类型进行限制，例如，可以是卷积神经网络如残差网络，利用特征提取网络、通道注意力网络、空间注意力网络和融合网络构成的网络层替换残差网络中的处理模块，构建得到用于图像特征融合的模型，如图5所示，利用深度残差网络(resnet)结构搭建模型并初始化参数，残差网络包括输入层(input)、特征提取层(stem)、处理模块(block)、输出层(fc)、其中，block的数量可以有多个，如xn个，一种残差网络中通过两次卷积核为3
×
3的卷积(conv3
×
3)对高层语义特征图(global feature，gf)，底层图像特征为底层语义特征图(local feature，lf)进行融合，本公开实施例中利用，利用特征提取网络、通道注意力网络、空间注意力网络和融合网络构成的网络层替换block，也即替换虚线框里的模块，构建得到初始的模型。然后，对该模型进行训练，以得到训练后的用于图像特征融合的模型。
129.一种可选地实施例中，针对各个样本图像，样本图像对应的标签包括样本图像的类别标签、检测标签和/或分割标签；
130.s304可以包括：
131.基于融合结果进行图像分类、图像检测和/或图像分割，得到针对样本图像的分类结果、检测结果和/或分割结果；
132.s305可以包括：
133.计算分类结果与类别标签之间的差异、检测结果和检测标签之间的差异和/或分割结果与分割标签之间的差异。
134.本公开实施例中，可以利用多个样本图像以及样本图像的类别标签训练得到用于图像特征融合的模型；或者，可以利用多个样本图像以及样本图像的检测标签训练得到用于图像特征融合的模型；或者，可以利用多个样本图像以及样本图像的分割标签训练得到用于图像特征融合的模型；或者，利用多个样本图像以及样本图像的类别标签和检测标签训练得到用于图像特征融合的模型；或者，利用多个样本图像以及样本图像的类别标签和分割标签训练得到用于图像特征融合的模型；或者，利用多个样本图像以及样本图像的检测标签和分割标签训练得到用于图像特征融合的模型，或者，利用多个样本图像以及样本图像的类别标签、检测标签和分割标签训练得到用于图像特征融合的模型。
135.一种可实现方式中，可以利用多个样本图像以及样本图像的类别标签训练得到用
于图像特征融合的模型，进而可以利用该模型进行图像分类。具体地，针对各个样本图像，将样本图像输入用于图像特征融合的模型，得到融合后特征。基于融合后图像进行图像分类，得到针对样本图像的分类结果；计算分类结果与样本图像对应的类别标签之间的差异；基于差异调整用于图像特征融合的模型的模型参数；基于调整后的模型参数以及多个样本图像，继续进行模型参数的调整过程，直至满足预设迭代结束条件；将满足预设迭代结束条件时所得到的模型参数作为训练后的模型参数，将包括训练后的模型参数的用于图像特征融合的模型作为训练后的用于图像特征融合的模型。其中，将样本图像输入用于图像特征融合的模型，得到融合后特征包括：将样本图像输入用于图像特征融合的模型，通过用于图像特征融合的模型中的特征提取网络，提取待处理图像的不同感受野的图像特征；通过用于图像特征融合的模型中的通道注意力网络，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；通过用于图像特征融合的模型中的空间注意力网络，利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；通过用于图像特征融合的模型中的融合网络，将增强高层特征和增强底层特征进行融合，得到融合后特征。
136.本公开实施例可以利用多个样本图像以及样本图像对应的类别标签训练该用于图像特征融合的模型，可以通过该模型对待处理图像进行图像特征融合，进而可以基于融合后特征进行图像分类。模型中利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；并将增强高层特征和增强底层特征进行融合，得到融合后特征，能够使得通过高层图像特征和底层图像特征的交互，更好的利用不同感受野特征信息，更好地进行图像特征融合，进而使得提取的图像特征更加准确。另外，因为模型是基于样本图像以及图像的类别标签进行训练的，利用该模型进行图像分类，能够使得图像分类结果更加准确。
137.另一种可实现方式中，可以利用多个样本图像以及样本图像的检测标签训练得到用于图像特征融合的模型，进而可以利用该模型进行图像检测。具体训练过程类似于利用多个样本图像以及样本图像的类别标签对模型进行训练的过程，不同之处在于基于融合后图像进行图像检测，得到针对样本图像的检测结果，并计算检测结果与检测标签之间的差异。本公开实施例中得到该模型后可以通过该模型对待处理图像进行图像特征融合，进而可以基于融合后特征进行图像检测。模型中利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；并将增强高层特征和增强底层特征进行融合，得到融合后特征，能够使得通过高层图像特征和底层图像特征的交互，更好的利用不同感受野特征信息，更好地进行图像特征融合，进而使得提取的图像特征更加准确。另外，因为模型是基于样本图像以及图像的检测标签进行训练的，利用该模型进行图像检测，能够使得图像检测结果更加准确。
138.另一种可实现方式中，可以利用多个样本图像以及样本图像的分割标签训练得到
用于图像特征融合的模型，进而可以利用该模型进行图像分割。具体训练过程类似于利用多个样本图像以及样本图像的类别标签对模型进行训练的过程，不同之处在于基于融合后图像进行图像分割，得到针对样本图像的分割结果，并计算分割结果与分割标签之间的差异。本公开实施例中得到该模型后可以通过该模型对待处理图像进行图像特征融合，进而可以基于融合后特征进行图像分割。模型中利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；并将增强高层特征和增强底层特征进行融合，得到融合后特征，能够使得通过高层图像特征和底层图像特征的交互，更好的利用不同感受野特征信息，更好地进行图像特征融合，进而使得提取的图像特征更加准确。另外，因为模型是基于样本图像以及图像的分割标签进行训练的，利用该模型进行图像分割，能够使得图像分割结果更加准确。
139.另一种可实现方式中，利用多个样本图像以及样本图像的类别标签和检测标签训练得到用于图像特征融合的模型；或者，利用多个样本图像以及样本图像的类别标签和分割标签训练得到用于图像特征融合的模型；或者，利用多个样本图像以及样本图像的检测标签和分割标签训练得到用于图像特征融合的模型，或者，利用多个样本图像以及样本图像的类别标签、检测标签和分割标签训练得到用于图像特征融合的模型。其中，多个样本图像可以包括两部分，利用一部分样本图像以及该部分样本图像的类别标签以及另一部分样本图像以及该部分样本图像的检测标签进行模型的训练；或者，利用一部分样本图像以及该部分样本图像的类别标签以及另一部分样本图像以及该部分样本图像的分割标签进行模型的训练；或者，利用一部分样本图像以及该部分样本图像的检测标签以及另一部分样本图像以及该部分样本图像的分割标签进行模型的训练。或者，多个样本图像可以包括三部分，利用一部分样本图像以及该部分样本图像的类别标签、一部分样本图像以及该部分样本图像的检测标签以及另一部分样本图像以及该部分样本图像的分割标签进行模型的训练。本公开实施例中结合多个场景训练模型一方面可以更加方便地获取多个样本数据，降低模型训练的难度；另一方面，多个场景的数据结合可以提高模型训练的准确度，使得通过模型进行图像特征融合得到融合后特征更加准确，进而基于融合后特征进行图像分类、图像检测、图像分割得到的结果更加准确。
140.一种可选地实施例中，通道注意力网络包括全局池化层、第一感知层和归一化层；
141.全局池化层，用于对底层图像特征进行全局池化操作；
142.第一感知层，用于基于全局池化操作后的结果，通过全连接操作，得到与高级图像特征的通道维度一致的列向量；
143.第一归一化层，用于对与高级图像特征的通道维度一致的列向量进行归一化操作，得到第一归一化后的列向量，第一归一化后的列向量中的值表示通道重要度系数。
144.通道注意力网络还可以通过激活函数对第一归一化层得到的第一归一化后的列向量进行进一步归一化，将列向量的值映射至(0,1)的数值。
145.通过通道注意力网络实现基于底层图像特征计算通道重要度系数；基于通道重要度系数调整高层图像特征，得到通道信息增强后的增强高层特征，以实现利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息
增强，得到通道信息增强后的增强高层特征。
146.空间注意力网络包括第二感知层和第二归一化层；
147.第二感知层，用于对高层图像特征进行全连接操作，得到与底层图像特征的空间维度一致的列向量；
148.第二归一化层，用于对与底层图像特征的空间维度一致的列向量进行归一化操作，得到第二归一化后的列向量，第二归一化后的列向量中的值表示空间重要度系数。
149.通过空间注意力网络实现基于高层图像特征计算空间重要度系数；基于空间重要度系数调整底层图像特征，调整后的特征即为空间信息增强后的特征，得到空间信息增强后的增强底层特征，以实现利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征。
150.如图6所示，高层图像特征为高层语义特征图(global feature)，底层图像特征为底层语义特征图(local feature)，通过spatial interaction实现利用高层语义特征图对底层语义特征图的空间信息增强，也即利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；通过channel interaction实现利用底层语义特征图对高层语义特征图通道维度的信息增强，也即利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征。fuse是高层和底层增强特征之后的融合，也即将增强高层特征和增强底层特征进行融合，得到融合后特征。
151.图6中(c1,h,w)中c1表示底层语义特征图的通道数(channel)，底层语义特征图的长(height)和底层语义特征图的宽(width)；(c2,h,w)中c2表示底层语义特征图的通道数(channel)，底层语义特征图的长(height)和底层语义特征图的宽(width)；
152.channel interaction包括gap、lp、bn和activation；spatial interaction包括lp、bn和activation。其中，bn为批归一化处理操作，activation代表的是一种激活函数，lp为感知层，gap是全局池化操作。concat是特征拼接操作，conv1x1的作用是进行特征通道维度的调整，也即通过拼接操作和特征通道维度的调整得到融合后特征。
153.channel interaction过程中gap也即上述全局池化层，对底层特征信息进行全局池化操作得到的结果是一个c1维列向量,lp也即上述第一感知层，具体是一个线性感知层，可以进行全连接操作，输出的结果就是和高层语义特征图通道维度一致的一个列向量，即c2维列向量。该结果输入bn也即上述第一归一化层进行归一化操作得到的结果就是归一化之后的结果，输出结果维度不变。activation得到的结果为一个(0，1)之前的一个数，这个可以看做是对高层语义特征图上每个通道特征的一个重要度的一个调整。数值越大，特征越重要。
154.同理，spatial interaction也可以通过lp、bn和activation实现基于高层图像特征计算空间重要度系数；基于空间重要度系数调整底层图像特征，调整后的特征即为空间信息增强后的特征，得到空间信息增强后的增强底层特征。spatial interaction中lp即上述第二感知层，bn即上述第二归一化层。
155.本公开实施例中空间注意力网络中采用卷积操作进行通道维度上的信息聚合或者说是降维，相比较于常规操作中选择在通道上进行最大或者均值池化降维，本公开实施
例中卷积操作针对可学习参数，灵活性更大，通道注意力网络中线性感知层只有一层，降低了结构的复杂度。
156.本公开实施例中，通道注意力网络包括全局池化层、第一感知层和归一化层，空间注意力网络包括第二感知层和第二归一化层，即通过全局池化层、第一感知层和归一化层可以实现利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，通过第二感知层和第二归一化层可以实现利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，能够降低模型复杂度，进而在利用模型实现特征融合，并利用融合后特征进行图像分类、图像分割、图像检测等过程时，可以降低计算复杂度，实现了简单、有效地特征融合等图像处理过程。
157.对应于上述实施例提供的图像特征融合方法，本公开实施例还提供了一种图像特征融合装置，如图7所示，可以包括：
158.获取模块701，用于获取不同感受野的图像特征；
159.特征增强模块702，用于利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，高层图像特征的感受野大于底层图像特征的感受野；用于利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；
160.融合模块703，用于将增强高层特征和增强底层特征进行融合，得到融合后特征。
161.可选地，获取模块701，具体用于获取待处理图像，将待处理图像输入用于图像特征融合的模型，通过用于图像特征融合的模型中的特征提取网络，提取待处理图像的不同感受野的图像特征；
162.特征增强模块702，具体用于通过用于图像特征融合的模型中的通道注意力网络，利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；通过用于图像特征融合的模型中的空间注意力网络，利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；
163.融合模块703，用于通过用于图像特征融合的模型中的融合网络，将增强高层特征和增强底层特征进行融合，得到融合后特征。
164.可选地，通道注意力网络包括全局池化层、第一感知层和归一化层；空间注意力网络包括第二感知层和第二归一化层；
165.特征增强模块702，具体用于利用全局池化层对底层图像特征进行全局池化操作；利用第一感知层基于全局池化操作后的结果，通过全连接操作，得到与高级图像特征的通道维度一致的列向量；利用第一归一化层对与高级图像特征的通道维度一致的列向量进行归一化操作，得到第一归一化后的列向量，第一归一化后的列向量中的值表示通道重要度系数；利用第二感知层对高层图像特征进行全连接操作，得到与底层图像特征的空间维度一致的列向量；利用第二归一化层对与底层图像特征的空间维度一致的列向量进行归一化操作，得到第二归一化后的列向量，第二归一化后的列向量中的值表示空间重要度系数。
166.对应于上述实施例提供的用于图像特征融合的模型训练方法，本公开实施例还提
供了一种用于图像特征融合的模型训练装置，如图8所示，可以包括：
167.获取模块801，用于获取多个样本图像以及各个样本图像对应的标签；
168.融合特征获得模块802，用于针对各个样本图像，将样本图像输入用于图像特征融合的模型，得到融合后特征；
169.图像处理结果获得模块803，用于基于融合后特征进行图像处理，得到图像处理结果；
170.计算模块804，用于计算图像处理结果与样本图像对应的标签之间的差异；
171.训练模块805，用于基于差异调整用于图像特征融合的模型的模型参数；基于调整后的模型参数以及多个样本图像，继续进行模型参数的调整过程，直至满足预设迭代结束条件；将满足预设迭代结束条件时所得到的模型参数作为训练后的模型参数，将包括训练后的模型参数的用于图像特征融合的模型作为训练后的用于图像特征融合的模型；
172.其中，用于图像特征融合的模型包括通道注意力网络、空间注意力网络和融合网络；
173.通道注意力网络，用于利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，高层图像特征的感受野大于底层图像特征的感受野；
174.空间注意力网络，用于利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；
175.融合网络，用于将增强高层特征和增强底层特征进行融合，得到融合后特征。
176.可选地，针对各个样本图像，样本图像对应的标签包括样本图像的类别标签、检测标签和/或分割标签；
177.图像处理结果获得模块803，具体用于基于融合结果进行图像分类、图像检测和/或图像分割，得到针对样本图像的分类结果、检测结果和/或分割结果；
178.计算模块804，具体用于计算分类结果与类别标签之间的差异、检测结果和检测标签之间的差异和/或分割结果与分割标签之间的差异。
179.可选地，通道注意力网络包括全局池化层、第一感知层和归一化层；
180.全局池化层，用于对底层图像特征进行全局池化操作；
181.第一感知层，用于基于全局池化操作后的结果，通过全连接操作，得到与高级图像特征的通道维度一致的列向量；
182.第一归一化层，用于对与高级图像特征的通道维度一致的列向量进行归一化操作，得到第一归一化后的列向量，第一归一化后的列向量中的值表示通道重要度系数；
183.空间注意力网络包括第二感知层和第二归一化层；
184.第二感知层，用于对高层图像特征进行全连接操作，得到与底层图像特征的空间维度一致的列向量；
185.第二归一化层，用于对与底层图像特征的空间维度一致的列向量进行归一化操作，得到第二归一化后的列向量，第二归一化后的列向量中的值表示空间重要度系数。
186.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
187.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
188.图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
189.如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
190.设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
191.计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像特征融合方法或者用于图像特征融合的模型训练方法。例如，在一些实施例中，图像特征融合方法或者用于图像特征融合的模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的图像特征融合方法或者用于图像特征融合的模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像特征融合方法或者用于图像特征融合的模型训练方法。
192.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
193.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处
理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
194.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
195.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
196.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
197.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
198.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
199.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。