一种神经网络预训练方法、图像处理方法及装置与流程

1.本公开涉及计算机视觉技术领域，具体而言，涉及一种神经网络预训练方法、图像处理方法及装置。


背景技术：

2.目前，预训练技术是计算机视觉的重要问题，通过从无标注的数据中学习数据内在的规律，进而训练出具有强大表征能力的预训练模型。在相关技术中，很多预训练方法主要通过保持全局特征一致性或保持局部特征一致性来预训练神经网络，这就导致神经网络无法均衡全局特征精度和局部特征精度。进一步的，当训练的神经网络迁移到下游任务之后，下游任务对于全局特征和局部特征的精度需求也是不一样的，因此这样训练得到的神经网络的泛化能力较差。


技术实现要素：

3.本公开实施例至少提供一种神经网络预训练方法、图像处理方法及装置。
4.第一方面，本公开实施例提供了一种神经网络预训练方法，包括：
5.获取样本图像组，其中，每组样本图像组包括第一样本图像和第二样本图像，每组样本图像组中的第一样本图像和第二样本图像为对同一初始样本图像经过不同变换得到的；
6.针对任一样本图像组，基于待训练的神经网络提取该样本图像组中第一样本图像的第一局部特征，以及提取该样本图像组中第二样本图像的第一全局特征；
7.基于所述第一局部特征确定第一局部联合特征，并基于所述第一局部联合特征和所述第一全局特征确定用于表征局部特征和第一全局特征之间差异性的对比损失值，并基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
8.上述方法中，第一样本图像和第二样本图像为对同一初始样本图像经过不同变换得到的，第一样本图像中的局部特征和第二样本图像中的全局特征应保持一致，因此通过第一样本图像的第一局部特征构建第一联合局部特征，并通过第一联合局部特征和第一全局特征之间的差异性训练神经网络，使得神经网络获得全面的监督，提升神经网络对于局部特征和全局特征的提取精度。
9.一种可能的实施方式中，所述基于待训练的神经网络提取该样本图像组中第一样本图像的第一局部特征，包括：
10.基于所述待训练的神经网络的第一编码器对所述第一样本图像进行编码，确定所述第一样本图像的第一初始特征图；
11.基于所述待训练的神经网络的候选框生成器，生成至少一个候选框；
12.基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始局部特征；
13.对所述初始局部特征进行深层特征提取，得到所述第一局部特征。
14.通过这种方式，可以通过候选框随机提取出第一样本图像在不同位置的第一局部特征，进一步的在基于提取的第一局部特征去训练神经网络时，可以提升神经网络的鲁棒性。
15.一种可能的实施方式中，所述第一样本图像的第一初始特征图包括多个尺寸的第一初始特征图；
16.所述基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始局部特征，包括：
17.针对任一尺寸的第一初始特征图，基于该第一初始特征图的尺寸和所述第一样本图像的尺寸，对所述至少一个候选框进行缩放处理；
18.基于缩放处理后的至少一个候选框，从该第一初始特征图中框选出该第一初始特征图所包含的初始局部特征。
19.通过对至少一个候选框进行缩放处理，可以为各尺寸的第一初始特征图确定出与之尺寸匹配的候选框，进而可以提取出与之尺寸匹配的初始局部特征。
20.一种可能的实施方式中，所述提取该样本图像组中第二样本图像的第一全局特征，包括：
21.基于所述待训练的神经网络的第二编码器对所述第二样本图像进行编码，确定所述第二样本图像的第二初始特征图；
22.对所述第二初始特征图进行池化处理，得到所述第二样本图像的第一全局特征；
23.其中，所述第二编码器的第二参数是通过所述第一编码器的第一参数确定的。
24.由于第二编码器的第二参数是通过第一编码器的第一参数确定的，因此可以减少经过第二编码器编码得到的第一全局特征和经过第一编码器编码得到的第一局部特征之间差异性。
25.一种可能的实施方式中，所述第一局部特征包括多个不同尺寸的局部特征；
26.所述基于所述第一局部特征确定第一局部联合特征，包括：
27.将所述第一局部特征中多个不同尺寸的局部特征进行映射处理，得到第二局部特征；其中，所述第二局部特征包含尺度相同的局部特征；
28.将所述第二局部特征进行至少一次全连接处理，得到所述第一局部联合特征。
29.通过这种方式，可以将多个不同尺寸第一局部特征映射为同一尺寸的第二局部特征，通过将第二局部特征进行全连接处理，可以得到一个第一局部联合特征，进一步的在计算对比损失值时，可以仅计算第一局部联合特征和第一全局特征之间的对比损失值即可，无需进行逐个第一局部特征与第一全局特征之间的对比，提升了计算对比损失值的效率。
30.一种可能的实施方式中，所述方法还包括：
31.基于所述第一初始特征图和所述第二初始特征图，确定全局特征损失值；
32.所述基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整，包括：
33.基于所述全局特征损失值和所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
34.第一初始特征图和第二初始特征图分别表征第一样本图像的全局特征和第二样本图像的全局特征，因此全局特征损失可以用来表征两个样本图像全局特征之间的差异
性，因此，在训练神经网络时增加全局特征损失值，可以进一步提升神经网络对于全局特征的提取精度。
35.一种可能的实施方式中，所述方法还包括：
36.提取所述第二样本图像的第三局部特征；
37.基于所述第一局部特征和所述第三局部特征确定局部特征损失值；
38.所述基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整，包括：
39.基于所述局部特征损失值和所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
40.局部特征损失值可以用于表征第一样本图像和第二样本图像局部特征之间的差异性，因此，在训练神经网络时增加局部特征损失，可以进一步提升神经网络对于局部特征的提取精度。
41.一种可能的实施方式中，所述基于所述第一局部特征和所述第三局部特征确定局部特征损失值，包括：
42.确定所述第一局部特征所包含的各局部特征的第一重要程度，并基于所述第一重要程度从所述第一局部特征中筛选出第一目标局部特征；以及，
43.确定所述第三局部特征所包含的各局部特征的第二重要程度，并基于所述第二重要程度从所述第三局部特征中筛选出第二目标局部特征；
44.基于所述第一目标局部特征和所述第二目标局部特征，确定所述局部特征损失值。
45.通过局部特征的重要程度对局部特征进行筛选，可以减少训练过程中的计算量，提升训练速度；另外，可以减少重要程度较低的局部特征对于局部特征提取的影响，提升神经网络对于局部特征的提取能力。
46.一种可能的实施方式中，所述基于所述第一局部联合特征和所述第一全局特征确定用于表征局部特征和第一全局特征之间差异性的对比损失值，包括：
47.基于所述待训练的神经网络提取所述第一样本图像的第二全局特征，以及提取所述第二样本图像的第四局部特征；
48.基于所述第四局部特征确定第二局部联合特征；
49.基于所述第一局部联合特征、所述第一全局特征、所述第二局部联合特征以及所述第二全局特征，确定所述对比损失值。
50.通过这种方法，可以在训练过程中增加第一样本图像的局部特征和第二样本图像的全局特征之间的一致性，以及第一样本图像的全局特征和第二样本图像的局部特征之间的一致性的考量，由于在提取两个样本图像的局部特征和全局特征时采用的是同一神经网络，因此可以在减少训练迭代次数的同时，得到更加全面的对比损失，提升了模型的训练速度。
51.一种可能的实施方式中，在对所述待训练的神经网络进行训练，得到目标神经网络之后，所述方法还包括：
52.获取第三样本图像，以及所述第三样本图像对应的监督数据；
53.基于所述第三样本图像和所述第三样本图像对应的监督数据对所述目标神经网
络进行训练，确定图像处理网络。
54.第二方面，本公开实施例还提供一种图像处理方法，包括：
55.获取待处理图像；
56.基于图像处理网络对所述待处理图像进行处理，得到所述待处理图像对应的处理结果，其中，所述图像处理网络是基于样本图像对预训练的目标神经网络训练得到的，所述目标神经网络基于第一方面或第一方面任一种可能的实施方式所述的方法进行预训练。
57.第三方面，本公开实施例还提供一种神经网络预训练装置，包括：
58.获取模块，用于获取样本图像组，其中，每组样本图像组包括第一样本图像和第二样本图像，每组样本图像组中的第一样本图像和第二样本图像为对同一初始样本图像经过不同变换得到的；
59.提取模块，用于针对任一样本图像组，基于待训练的神经网络提取该样本图像组中第一样本图像的第一局部特征，以及提取该样本图像组中第二样本图像的第一全局特征；
60.确定模块，用于基于所述第一局部特征确定第一局部联合特征，并基于所述第一局部联合特征和所述第一全局特征确定用于表征局部特征和第一全局特征之间差异性的对比损失值，并基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
61.一种可能的实施方式中，所述提取模块，在所述基于待训练的神经网络提取该样本图像组中第一样本图像的第一局部特征时，用于：
62.基于所述待训练的神经网络的第一编码器对所述第一样本图像进行编码，确定所述第一样本图像的第一初始特征图；
63.基于所述待训练的神经网络的候选框生成器，生成至少一个候选框；
64.基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始局部特征；
65.对所述初始局部特征进行深层特征提取，得到所述第一局部特征。
66.一种可能的实施方式中，所述第一样本图像的第一初始特征图包括多个尺寸的第一初始特征图；
67.所述提取模块，在所述基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始局部特征时，用于：
68.针对任一尺寸的第一初始特征图，基于该第一初始特征图的尺寸和所述第一样本图像的尺寸，对所述至少一个候选框进行缩放处理；
69.基于缩放处理后的至少一个候选框，从该第一初始特征图中框选出该第一初始特征图所包含的初始局部特征。
70.一种可能的实施方式中，所述提取模块，在所述提取该样本图像组中第二样本图像的第一全局特征时，用于：
71.基于所述待训练的神经网络的第二编码器对所述第二样本图像进行编码，确定所述第二样本图像的第二初始特征图；
72.对所述第二初始特征图进行池化处理，得到所述第二样本图像的第一全局特征；
73.其中，所述第二编码器的第二参数是通过所述第一编码器的第一参数确定的。
74.一种可能的实施方式中，所述第一局部特征包括多个不同尺寸的局部特征；
75.所述确定模块，在所述基于所述第一局部特征确定第一局部联合特征时，用于：
76.将所述第一局部特征中多个不同尺寸的局部特征进行映射处理，得到第二局部特征；其中，所述第二局部特征包含尺度相同的局部特征；
77.将所述第二局部特征进行至少一次全连接处理，得到所述第一局部联合特征。
78.一种可能的实施方式中，所述确定模块还用于：
79.基于所述第一初始特征图和所述第二初始特征图，确定全局特征损失值；
80.所述确定模块，在基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整时，用于：
81.基于所述全局特征损失值和所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
82.一种可能的实施方式中，所述确定模块还用于：
83.提取所述第二样本图像的第三局部特征；
84.基于所述第一局部特征和所述第三局部特征确定局部特征损失值；
85.所述确定模块，在基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整时，用于：
86.基于所述局部特征损失值和所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
87.一种可能的实施方式中，所述确定模块，在所述基于所述第一局部特征和所述第三局部特征确定局部特征损失值时，用于：
88.确定所述第一局部特征所包含的各局部特征的第一重要程度，并基于所述第一重要程度从所述第一局部特征中筛选出第一目标局部特征；以及，
89.确定所述第三局部特征所包含的各局部特征的第二重要程度，并基于所述第二重要程度从所述第三局部特征中筛选出第二目标局部特征；
90.基于所述第一目标局部特征和所述第二目标局部特征，确定所述局部特征损失值。
91.一种可能的实施方式中，所述确定模块，在所述基于所述第一局部联合特征和所述第一全局特征确定用于表征局部特征和第一全局特征之间差异性的对比损失值时，用于：
92.基于所述待训练的神经网络提取所述第一样本图像的第二全局特征，以及提取所述第二样本图像的第四局部特征；
93.基于所述第四局部特征确定第二局部联合特征；
94.基于所述第一局部联合特征、所述第一全局特征、所述第二局部联合特征以及所述第二全局特征，确定所述对比损失值。
95.一种可能的实施方式中，所述装置还包括训练模块，用于：
96.在对所述待训练的神经网络进行训练，得到目标神经网络之后，
97.获取第三样本图像，以及所述第三样本图像对应的监督数据；
98.基于所述第三样本图像和所述第三样本图像对应的监督数据对所述目标神经网络进行训练，确定图像处理网络。
99.第四方面，本公开实施例还提供了一种图像处理装置，包括：
100.获取模块，用于获取待处理图像；
101.处理模块，用于基于图像处理网络对所述待处理图像进行处理，得到所述待处理图像对应的处理结果，其中，所述图像处理网络是基于样本图像对预训练的目标神经网络训练得到的，所述目标神经网络基于第一方面或第一方面任一种可能的实施方式所述的方法进行预训练。
102.第五方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
103.第六方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
104.关于上述神经网络预训练装置、图像处理装置，计算机设备及计算机可读存储介质的效果描述参见上述神经网络预训练方法、图像处理方法的说明，这里不再赘述。
105.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
106.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
107.图1示出了本公开实施例所提供的一种神经网络预训练方法的流程图；
108.图2示出了本公开实施例所提供的神经网络预训练方法中，第一局部特征提取方法的流程图；
109.图3示出了本公开实施例所提供的神经网络预训练方法中，缩放处理结果的示意图；
110.图4示出了本公开实施例所提供的神经网络预训练的整体流程图；
111.图5示出了本公开实施例所提供的一种确定图像处理网络的流程图；
112.图6示出了本公开实施例所提供的一种图像处理方法的流程图；
113.图7示出了本公开实施例所提供的神经网络预训练装置的架构示意图；
114.图8示出了本公开实施例所提供的图像处理装置的架构示意图；
115.图9示出了本公开实施例所提供的一种计算机设备900的结构示意图；
116.图10示出了本公开实施例所提供的一种计算机设备1000的结构示意图。
具体实施方式
117.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅
是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
118.相关技术中，在进行预训练时，对于全局特征一致性，一般是通过待训练的网络处理两张不同变换的图像，然后拉近来源于同一张图像的两张变换图像的特征，并且拉远来源于不同图像的两张变换图像的特征。
119.示例性的，若图像a1和图像a2都是对图像a进行变换得到的，在通过待训练的网络处理图像a1和图像a2时，应保证图像a1和图像a2的特征是相近的；若图像b和图像c是两张完全不同的图像，在通过待训练的网络处理图像b和图像c时，应保证图像b和图像c的特征是不相近的。
120.然而上述操作都是在图像级别的，其侧重点在于保持全局特征的一致性，当通过上述方法训练的网络应用于图像分割的下游任务时，图像分割侧重于图像的局部特征，因此这样训练的网络在图像分割网络上的表现较差。
121.局部特征一致性与上述类似，这就导致预训练的网络在不同任务上的表现差异较大，网络的泛化能力较差。
122.基于上述研究，本公开提供了一种神经网络预训练方法、图像处理方法及装置，第一样本图像和第二样本图像为对同一初始样本图像经过不同变换得到的，第一样本图像中的局部特征和第二样本图像中的全局特征应保持一致，因此通过第一样本图像的第一局部特征构建第一联合局部特征，并通过第一联合局部特征和第一全局特征之间的差异性训练神经网络，使得神经网络获得全面的监督，提升神经网络对于局部特征和全局特征的提取精度。
123.进一步的，通过这种方法预训练得到的神经网络当迁移到下游任务时，由于神经网络对于局部特征和全局特征的提取能力都比较强，因此可以适用于各种下游任务，泛化能力较强。
124.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
125.为便于对本实施例进行理解，首先对本公开实施例所公开的一种神经网络预训练方法进行详细介绍，本公开实施例所提供的神经网络预训练方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备。
126.在一些可能的实现方式中，该神经网络预训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
127.参见图1所示，为本公开实施例提供的神经网络预训练方法的流程图，所述方法包括步骤101～步骤103，其中：
128.步骤101、获取样本图像组，其中，每组样本图像组包括第一样本图像和第二样本图像，每组样本图像组中的第一样本图像和第二样本图像为对同一初始样本图像经过不同变换得到的；
129.步骤102、针对任一样本图像组，基于待训练的神经网络提取该样本图像组中第一
样本图像的第一局部特征，以及提取该样本图像组中第二样本图像的第一全局特征；
130.步骤103、基于所述第一局部特征确定第一局部联合特征，并基于所述第一局部联合特征和所述第一全局特征确定用于表征局部特征和第一全局特征之间差异性的对比损失值，并基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
131.以下是针对上述步骤的详细说明：
132.针对步骤101、
133.所述样本图像组包括的第一样本图像和第二样本图像可以是基于同一初始样本图像经过不同变换处理得到的，不同的样本图像组对应的初始样本图像可以不同。
134.所述第一样本图像可以是未经过变化处理的初始样本图像，还可以是对所述初始样本图像经过裁剪、反转、亮度调整等变换处理得到的样本图像；所述第二样本图像可以是利用与所述第一样本图像不同的变换处理对初始样本图像进行变换后的样本图像，或者可以是对所述第一样本图像进行变化处理后的样本图像。
135.这里，需要说明的是，下述操作均是以一个样本图像组为例进行描述的，即下述第一样本图像和第二样本图像是来自同一样本图像组的，所有的图像之间的特征比对均是同一样本图像组的两个样本图像之间的比对。
136.针对步骤102、
137.一种可能的实施方式中，在基于待训练的神经网络提取该样本图像组中第一样本图像的第一局部特征时，可以参照如图2所示的方法，包含如下几个步骤：
138.步骤201、基于所述待训练的神经网络的第一编码器对所述第一样本图像进行编码，确定所述第一样本图像的第一初始特征图。
139.其中，所述第一样本图像的第一初始特征图可以包括多个尺寸的第一初始特征图。
140.具体的，在基于所述第一编码器对所述第一样本图像进行编码时，可以基于所述第一编码器进行不同尺度的编码，得到不同尺寸的第一初始特征图。
141.步骤202、基于所述待训练的神经网络的候选框生成器，生成至少一个候选框。
142.其中，所述候选框生成器生成的至少一个候选框可以是随机生成的多个尺寸不同的候选框；或者随机生成的预设个数的候选框。这里，所述候选框的尺寸可以是根据所述第一样本图像的尺寸来确定的，所述候选框的尺寸小于所述第一样本图像的尺寸。
143.示例性的，所述第一样本图像和所述第二样本图像的尺寸可以相同，所述候选框生成器可以生成与所述第一样本图像的尺寸匹配的多个不同尺寸的候选框。
144.这里，由于所述样本图像中所包含的对象(如人、桌子、动物等)的尺寸大小不一，因此通过不同尺寸的候选框，可以将不同尺寸的对象特征框选出来。
145.步骤203、基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始局部特征。
146.一种可能的实施方式中，所述基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始局部特征时，由于第一初始特征图的尺寸不同，因此针对任一尺寸的第一初始特征图，可以先基于该第一初始特征图的尺寸和所述第一样本图像的尺寸，对所述至少一个候选框进行缩放处理，再基于缩放处理后的至少一个候选框，从该第一初始特征图中框选出该第一初始特征图所包含的初始局部特征。
147.具体的，所述至少一个候选框在所述第一初始特征图中的位置也可以是随机的，所述第一初始特征图中位于所述候选框内的特征为所述初始局部特征。
148.在对所述至少一个候选框进行缩放处理时，可以先基于第一初始特征图的尺寸和所述第一样本图像的尺寸确定缩放比例，然后将所述至少一个候选框按照所述缩放比例进行缩放处理。示例性的，如图3所示，c2、c3、c4、c5表示为不同尺寸的第一初始特征图，边框m1、m2、m3表示为不同尺寸的候选框，黑色实心圆点p1、p2、p3、p4表示为不同尺度的初始局部特征。
149.通过对至少一个候选框进行缩放处理，可以为各尺寸的第一初始特征图确定出与之尺寸匹配的候选框，进而可以提取出与之尺寸匹配的初始局部特征。
150.步骤204、对所述初始局部特征进行深层特征提取，得到所述第一局部特征。
151.通过这种方式，可以通过候选框随机提取出第一样本图像在不同位置的第一局部特征，进一步的在基于提取的第一局部特征去训练神经网络时，可以提升神经网络的鲁棒性。
152.一种可能的实施方式中，在进行第一局部特征提取的同时，还可以同步提取该样本图像组中第二样本图像的第一全局特征。
153.一种可能的实施方式中，在提取该样本图像组中第二样本图像的第一全局特征时，可以先基于所述待训练的神经网络的第二编码器对所述第二样本图像进行编码，确定所述第二样本图像的第二初始特征图；再对所述第二初始特征图进行池化处理，得到所述第二样本图像的第一全局特征。其中，所述第二编码器的第二参数是通过所述第一编码器的第一参数确定的。
154.示例性的，在得到所述第二样本图像的第一全局特征时，可以通过平均池化处理将所述第二初始特征图映射为第一全局特征。
155.一种可能的实施方式中，在提取该样本图像组中第二样本图像的第一全局特征时，为了减小对比学习的损失值，保证所述第一全局特征与所述第一局部联合特征的一致性，可以利用指数移动平均的方式将第一编码器的第一参数更新为第二编码器的第二参数。
156.示例性的，所述第二参数可以如下计算：
157.φ:＝λφ (1-λ)θ
158.其中，等号右侧的φ表示第二编码器当前的第二参数，等号左侧的φ表示第二编码器更新后的第二参数；θ表示第一编码器的第一参数；λ为动量系数，所述第一编码器的第一参数为可学习的参数。
159.针对步骤103、
160.所述第一局部特征包括多个不同尺寸的局部特征。进而为了保持训练的高效性，需要基于所述第一局部特征确定用于与所述第二样本图像中提取的第一全局特征进行对比学习的第一局部联合特征。
161.一种可能的实施方式中，在基于所述第一局部特征确定第一局部联合特征时，可以先将所述第一局部特征中多个不同尺寸的局部特征进行映射处理，得到第二局部特征，再将所述第二局部特征进行至少一次全连接处理，得到所述第一局部联合特征，其中，所述第二局部特征包含尺度相同的局部特征。
162.具体的，在将所述第一局部特征中多个不同尺寸的局部特征进行映射处理，得到第二局部特征时，可以通过感兴趣区域排列(region of interest align，roi align)的方式将所述第一局部特征中多个不同尺寸的局部特征映射为多个尺度相同的局部特征(即所述第二局部特征)。
163.将所述第二局部特征进行至少一次全连接处理，得到所述第一局部联合特征时，示例性的，可以先将所述第二局部特征中的多个特征进行排列之后，再经过至少一个全连接层(fully connected layers，fc)进行全连接处理，将所述第二局部特征中的多个局部特征映射为一个中间局部特征；之后在中间局部特征内部进行至少一次全连接处理，确定所述第一局部联合特征。
164.通过这种方式，可以将多个不同尺寸第一局部特征映射为同一尺寸的第二局部特征，通过将第二局部特征进行全连接处理，可以得到一个第一局部联合特征，进一步的在计算对比损失值时，可以仅计算第一局部联合特征和第一全局特征之间的对比损失值即可，无需进行逐个第一局部特征与第一全局特征之间的对比，提升了计算对比损失值的效率。
165.一种可能的实施方式中，在基于所述第一局部联合特征和所述第一全局特征确定用于表征局部特征和全局特征之间差异性的对比损失值时，可以先基于所述待训练的神经网络提取所述第一样本图像的第二全局特征，以及提取所述第二样本图像的第四局部特征，再基于所述第四局部特征确定所述第二局部联合特征，最后再基于所述第一局部联合特征、所述第一全局特征、所述第二局部联合特征以及所述第二全局特征，确定所述对比损失值。
166.其中，所述第二局部联合特征、所述第二全局特征的确定方式分别与所述第一局部联合特征、所述第一全局特征的提取方式一致，在此不再赘述。
167.具体的，在确定所述对比损失值时，可以利用所述待训练的神经网络中的第二余弦相似度函数进行所述对比损失值计算。所述对比损失值的计算方法如下：
[0168][0169]
其中，《
·
,
·
》表示为第二余弦相似度函数，h表示基于样本图像提取的局部特征，g表示基于样本图像提取的全局特征。进一步的，h1表示基于第一样本图像提取的局部联合特征(即上述第一局部联合特征)，h2表示基于第二样本图像提取的局部联合特征(即上述第二局部联合特征)，g1表示基于第一样本图像提取的全局特征(即上述第一全局特征)，g2表示基于第二样本图像提取的全局特征(即上述第二全局特征)。
[0170]
上述方法中，第一样本图像和第二样本图像为对同一初始样本图像经过不同变换得到的，第一样本图像中的局部特征和第二样本图像中的全局特征应保持一致，因此通过第一样本图像的第一局部特征构建第一联合局部特征，并通过第一联合局部特征和第一全局特征之间的差异性训练神经网络，使得神经网络获得全面的监督，提升神经网络对于局部特征和全局特征的提取精度。
[0171]
进一步的，神经网络在进行特征提取时，还应该保证各局部特征之间、各全局特征之间的一致性，因此，在训练神经网络时还可以结合局部特征损失和/或全局特征损失。
[0172]
下面，再对全局特征损失和局部特征损失进行详细说明：
[0173]
一、局部特征损失值。
[0174]
在神经网络的训练过程中，由于所述第一样本图像、所述第二样本图像是经过不同变换得到的，但是第一样本图像和第二样本图像的局部特征之间也应该是相似的，因此利用局部特征损失值对所述待训练的神经网络进行监督，可以提升神经网络对于局部特征的提取能力。
[0175]
具体的，在确定局部特征损失值时，可以先提取所述第二样本图像的第三局部特征，再基于所述第一样本图像的第一局部特征和所述第三局部特征确定局部特征损失值。
[0176]
提取所述第二样本图像的第三局部特征与所述基于待训练的神经网络提取该样本图像组中第一样本图像的第一局部特征方法一致，在此不再赘述。
[0177]
一种可能的实施方式中，在基于所述第一局部特征和所述第三局部特征确定局部特征损失值时，由于不同局部的特征表达的重要程度是不同的，例如背景部分的特征表达的重要程度低于人物部分的特征表达。因此，可以先确定所述第一局部特征所包含的各局部特征的第一重要程度，并基于所述第一重要程度从所述第一局部特征中筛选出第一目标局部特征；同时确定所述第三局部特征所包含的各局部特征的第二重要程度，并基于所述第二重要程度从所述第三局部特征中筛选出第二目标局部特征；最后基于所述第一目标局部特征和所述第二目标局部特征，确定所述局部特征损失值。
[0178]
具体的，在确定所述第一局部特征所包含的各局部特征的第一重要程度时，可以通过注意力机制将所述第一局部特征所包含的各局部特征对应的激活程度转换为第一重要程度。
[0179]
在基于所述第一重要程度从所述第一局部特征中筛选出第一目标局部特征时，可以将所述第一局部特征中对应的所述第一重要程度高的局部特征留下，将所述第一重要程度低的局部特征去除，进而所述第一目标局部特征为所述第一局部特征中对应的所述第一重要程度高的局部特征。
[0180]
进一步的，确定所述第三局部特征所包含的各局部特征的第二重要程度方法与确定所述第一局部特征所包含的各局部特征的第一重要程度方法一致，基于所述第二重要程度从所述第三局部特征中筛选出第二目标局部特征方法与基于所述第一重要程度从所述第一局部特征中筛选出第一目标局部特征方法一致，在此不再赘述。
[0181]
一种可能的实施方式中，在基于所述第一目标局部特征和所述第二目标局部特征，确定所述局部特征损失值时，可以先确定所述第二目标局部特征中与所述第一目标局部特征对应的正样本和负样本；再基于所述正样本和所述负样本进行局部特征损失值计算。
[0182]
其中，所述正样本是在所述第二目标局部特征中与所述第一目标局部特征最相近的局部特征，所述负样本是所述第二目标局部特征中除所述正样本之外的其他局部特征。
[0183]
所述对比学习的过程可以是对所述正样本进行拉进处理以及对所述负样本进行推远处理。示例性的，所述局部特征损失值的计算公式如下：
[0184][0185]
其中，n表示样本图像组的数量；k表示基于样本图像提取的局部特征数量；用以表示在样本图像中提取的局部特征中重要程度高的局部
特征(即上述第一目标局部特征和第二目标局部特征)；f
nn
代表最邻近函数，用于确定欧氏距离最相近的第二目标局部特征(即上述正样本)；τ是可学习的参数。
[0186]
二、全局特征损失值
[0187]
第一样本图像和第二样本图像来自于同一初始样本图像，因此第一样本图像的全局特征和第二样本图像的全局特征应该是相似的，因此利用全局特征损失值对所述待训练的神经网络进行监督，可以提升神经网络对于全局特征的提取能力。
[0188]
一种可能的实施方式中，在基于所述第一初始特征图和所述第二初始特征图，确定全局特征损失值时，由于第一初始特征图包括多个尺寸的特征图，第二初始特征图也包括多个尺寸的特征图，任一尺寸的初始特征图之间的差异即可以代表全局特征之间的差异，因此在确定全局特征损失值时，可以先确定出同一尺寸的第一初始特征图和第二初始特征图，然后基于同一尺寸的第一初始特征图和第二初始特征图确定全局特征损失值。
[0189]
示例性的，第一初始特征图包括a2、a3、a4，第二初始特征图包括b2、b3、b4，其中a2和b2尺寸相同，则可以基于a2和b2确定出所述全局特征损失值。
[0190]
或者，可以基于多组尺寸相同的第一初始特征图和第二初始特征图确定所述全局特征损失值。
[0191]
示例性的，第一初始特征图包括a2、a3、a4，第二初始特征图包括b2、b3、b4，其中a2和b2尺寸相同、a3和b3尺寸相同、a4和b4尺寸相同，则可以先分别基于a2和b2、a3和b3、a4和b4计算出第一全局特征损失值、第二全局特征损失值、第三全局特征损失值，再计算所述第一全局特征损失值、所述第二全局特征损失值以及所述第三全局特征损失的平均值，确定所述全局特征损失值。
[0192]
这里，为了便于计算，所述初始特征图中最高维的特征图表征了所述样本图像深层次的初始特征，因此可以取所述第一初始特征图中最高维的特征图和所述第二初始特征图中对应的特征图，确定全局特征损失值。
[0193]
示例性的，在基于第一初始特征图和第二初始特征图确定全局特征损失值时，可以将所述第二初始特征图进行平均池化操作，将所述第二初始特征图的高维特征映射为第三全局特征，以及将所述第一初始特征图进行平均池化操作，将所述第一初始特征图的高维特征映射为第四全局特征，再将第四全局特征进行至少一次全连接处理之后，计算与所述第三全局特征之间的特征相似度，所述特征相似度即为全局特征损失值。
[0194]
示例性，所述全局特征损失值可以通过如下公式计算：
[0195][0196]
其中，《
·
,
·
》表示为第一余弦相似度函数；用以表示进行全连接处理后的全局特征；g1表示基于第一样本图像提取的初始特征图(即上述第一初始特征图)；g2表示基于第二样本图像提取的初始特征图(即上述第二初始特征图)。
[0197]
下面将对上述神经网络预训练方法的整体流程进行介绍，参见图4所示，为本公开所提供的一种神经网络预训练方法的流程示意图，包括以下几个步骤：
[0198]
步骤1、将第一样本图像输入至第一编码器，得到第一初始特征图；
[0199]
步骤2、候选框生成器生成至少一个候选框；
[0200]
步骤3、将至少一个候选框和第一初始图像输入至深度特征提取模块，得到第一局
部特征；
[0201]
步骤4、将第一局部特征输入至第一预测器，确定第一联合局部特征。
[0202]
步骤5、将第二样本图像输入至第二编码器，得到第二初始特征图。
[0203]
其中，步骤5和步骤1～4可以并行执行。
[0204]
在神经网络训练过程中，涉及到的损失值计算包括：
[0205]
1、将第一初始特征图输入至第二预测器进行全连接处理后，与第二初始特征图计算全局特征损失值。
[0206]
2、将第二初始特征图进行池化处理后，得到第一全局特征，基于第一全局特征和第一联合局部特征计算对比损失值。
[0207]
3、基于自注意力机制确定第一局部特征中各特征的第一重要程度，并基于第一重要程度确定第一目标局部特征；以及，提取第二样本图像的第二局部特征，并基于自注意力机制确定第二局部特征中各特征的第二重要程度，并基于第二重要程度确定第二目标局部特征；再基于第一目标局部特征和第二目标局部特征确定局部特征损失值。
[0208]
一种可能的实施方式中，在对所述待训练的神经网络进行训练，得到目标神经网络之后，还可以将所述目标神经网络迁移到下游任务上以确定具体的图像处理网络。
[0209]
具体过程可以如图5所示，包含如下几个步骤：
[0210]
步骤501、获取第三样本图像，以及所述第三样本图像对应的监督数据。
[0211]
步骤502、基于所述第三样本图像和所述第三样本图像对应的监督数据对所述目标神经网络进行训练，确定图像处理网络。
[0212]
其中，所述监督数据是根据下游任务确定的。例如，若所述下游任务为图像分割的话，则所述监督数据为预分割的图像；若所述下游任务为图像识别，则所述监督数据为图像对应的识别结果。
[0213]
由于通过上述方法预训练的目标神经网络，对于图像的局部特征和全局特征的提取能力都比较强，因此在应用到下游任务时，无论是对于图像分割等注重局部特征的图像处理任务，还是对于图像识别等注重全局特征的图像处理任务，所述目标神经网络都能够适用。
[0214]
本公开实施例还提供了一种图像处理方法，具体如图6所示，包括步骤601～步骤602，其中：
[0215]
601、获取待处理图像；
[0216]
602、基于图像处理网络对所述待处理图像进行处理，得到所述待处理图像对应的处理结果。
[0217]
其中，所述图像处理网络是基于样本图像对预训练的目标神经网络训练得到的，所述目标神经网络基于上述实施例所述的神经网络预训练方法进行预训练。
[0218]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0219]
基于同一发明构思，本公开实施例中还提供了与神经网络预训练方法、图像处理方法对应的神经网络预训练装置、图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述神经网络预训练方法、图像处理方法相似，因此装置的实施可以
参见方法的实施，重复之处不再赘述。
[0220]
参照图7所示，为本公开实施例提供的一种神经网络预训练装置的架构示意图，所述装置包括：获取模块701、提取模块702、确定模块703、训练模块704；其中，
[0221]
获取模块701，用于获取样本图像组，其中，每组样本图像组包括第一样本图像和第二样本图像，每组样本图像组中的第一样本图像和第二样本图像为对同一初始样本图像经过不同变换得到的；
[0222]
提取模块702，用于针对任一样本图像组，基于待训练的神经网络提取该样本图像组中第一样本图像的第一局部特征，以及提取该样本图像组中第二样本图像的第一全局特征；
[0223]
确定模块703，用于基于所述第一局部特征确定第一局部联合特征，并基于所述第一局部联合特征和所述第一全局特征确定用于表征局部特征和第一全局特征之间差异性的对比损失值，并基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
[0224]
一种可能的实施方式中，所述提取模块702，在所述基于待训练的神经网络提取该样本图像组中第一样本图像的第一局部特征时，用于：
[0225]
基于所述待训练的神经网络的第一编码器对所述第一样本图像进行编码，确定所述第一样本图像的第一初始特征图；
[0226]
基于所述待训练的神经网络的候选框生成器，生成至少一个候选框；
[0227]
基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始局部特征；
[0228]
对所述初始局部特征进行深层特征提取，得到所述第一局部特征。
[0229]
一种可能的实施方式中，所述第一样本图像的第一初始特征图包括多个尺寸的第一初始特征图；
[0230]
所述提取模块702，在所述基于所述至少一个候选框从所述第一样本图像的第一初始特征图中框选出初始局部特征时，还用于：
[0231]
针对任一尺寸的第一初始特征图，基于该第一初始特征图的尺寸和所述第一样本图像的尺寸，对所述至少一个候选框进行缩放处理；
[0232]
基于缩放处理后的至少一个候选框，从该第一初始特征图中框选出该第一初始特征图所包含的初始局部特征。
[0233]
一种可能的实施方式中，所述提取模块702，在所述提取该样本图像组中第二样本图像的第一全局特征时，还用于：
[0234]
基于所述待训练的神经网络的第二编码器对所述第二样本图像进行编码，确定所述第二样本图像的第二初始特征图；
[0235]
对所述第二初始特征图进行池化处理，得到所述第二样本图像的第一全局特征；
[0236]
其中，所述第二编码器的第二参数是通过所述第一编码器的第一参数确定的。
[0237]
一种可能的实施方式中，所述第一局部特征包括多个不同尺寸的局部特征；
[0238]
所述确定模块703，在所述基于所述第一局部特征确定第一局部联合特征时，用于：
[0239]
将所述第一局部特征中多个不同尺寸的局部特征进行映射处理，得到第二局部特征；其中，所述第二局部特征包含尺度相同的局部特征；
[0240]
将所述第二局部特征进行至少一次全连接处理，得到所述第一局部联合特征。
[0241]
一种可能的实施方式中，所述确定模块703还用于：
[0242]
基于所述第一初始特征图和所述第二初始特征图，确定全局特征损失值；
[0243]
所述确定模块703，在基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整时，用于：
[0244]
基于所述全局特征损失值和所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
[0245]
一种可能的实施方式中，所述确定模块703还用于：
[0246]
提取所述第二样本图像的第三局部特征；
[0247]
基于所述第一局部特征和所述第三局部特征确定局部特征损失值；
[0248]
所述确定模块703，在基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整时，用于：
[0249]
基于所述局部特征损失值和所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
[0250]
一种可能的实施方式中，所述确定模块703，在所述基于所述第一局部特征和所述第三局部特征确定局部特征损失值时，用于：
[0251]
确定所述第一局部特征所包含的各局部特征的第一重要程度，并基于所述第一重要程度从所述第一局部特征中筛选出第一目标局部特征；以及，
[0252]
确定所述第三局部特征所包含的各局部特征的第二重要程度，并基于所述第二重要程度从所述第三局部特征中筛选出第二目标局部特征；
[0253]
基于所述第一目标局部特征和所述第二目标局部特征，确定所述局部特征损失值。
[0254]
一种可能的实施方式中，所述确定模块703，在所述基于所述第一局部联合特征和所述第一全局特征确定用于表征局部特征和第一全局特征之间差异性的对比损失值时，用于：
[0255]
基于所述待训练的神经网络提取所述第一样本图像的第二全局特征，以及提取所述第二样本图像的第四局部特征；
[0256]
基于所述第四局部特征确定所述第二局部联合特征；
[0257]
基于所述第一局部联合特征、所述第一全局特征、所述第二局部联合特征以及所述第二全局特征，确定所述对比损失值。
[0258]
一种可能的实施方式中，所述装置还包括训练模块704，在对所述待训练的神经网络进行训练，得到目标神经网络之后，用于：
[0259]
获取第三样本图像，以及所述第三样本图像对应的监督数据；
[0260]
基于所述第三样本图像和所述第三样本图像对应的监督数据对所述目标神经网络进行训练，确定图像处理网络。
[0261]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0262]
参照图8所示，为本公开实施例提供的一种图像处理装置的架构示意图，所述装置包括：获取模块801、处理模块802；其中
[0263]
获取模块801，用于获取待处理图像；
[0264]
处理模块802，用于基于图像处理网络对所述待处理图像进行处理，得到所述待处理图像对应的处理结果，其中，所述图像处理网络是基于样本图像对预训练的目标神经网络训练得到的，所述目标神经网络基于上述实施例所述的神经网络预训练方法进行预训练。
[0265]
本公开实施例还提供了一种计算机设备。参照图9所示，为本公开实施例提供的计算机设备900的结构示意图，包括处理器901、存储器902、和总线903。其中，存储器902用于存储执行指令，包括内存9021和外部存储器9022；这里的内存9021也称内存储器，用于暂时存放处理器901中的运算数据，以及与硬盘等外部存储器9022交换的数据，处理器901通过内存9021与外部存储器9022进行数据交换，当计算机设备900运行时，处理器901与存储器902之间通过总线903通信，使得处理器901在执行以下指令：
[0266]
获取样本图像组，其中，每组样本图像组包括第一样本图像和第二样本图像，每组样本图像组中的第一样本图像和第二样本图像为对同一初始样本图像经过不同变换得到的；
[0267]
针对任一样本图像组，基于待训练的神经网络提取该样本图像组中第一样本图像的第一局部特征，以及提取该样本图像组中第二样本图像的第一全局特征；
[0268]
基于所述第一局部特征确定第一局部联合特征，并基于所述第一局部联合特征和所述第一全局特征确定用于表征局部特征和第一全局特征之间差异性的对比损失值，并基于所述对比损失值对所述待训练的神经网络的网络参数值进行调整。
[0269]
本公开实施例还提供了另一种计算机设备。参照图10所示，为本公开实施例提供的计算机设备1000的结构示意图，包括处理器1001、存储器1002、和总线1003。其中，存储器1002用于存储执行指令，包括内存10021和外部存储器10022；这里的内存10021也称内存储器，用于暂时存放处理器1001中的运算数据，以及与硬盘等外部存储器10022交换的数据，处理器1001通过内存10021与外部存储器10022进行数据交换，当计算机设备1000运行时，处理器1001与存储器1002之间通过总线1003通信，使得处理器1001在执行以下指令：
[0270]
获取待处理图像；
[0271]
基于图像处理网络对所述待处理图像进行处理，得到所述待处理图像对应的处理结果，其中，所述图像处理网络是基于样本图像对预训练的目标神经网络训练得到的，所述目标神经网络基于上述实施例所述的神经网络预训练方法进行预训练。
[0272]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的神经网络预训练方法、图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0273]
本公开实施例还提供一种计算机程序产品，该计算机产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的神经网络预训练方法、图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0274]
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)
等等。
[0275]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0276]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0277]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0278]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0279]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。