使用自举潜在表示的自监督表示学习的制作方法

技术特征：
1.一种训练神经网络的计算机实现的方法，该方法包括:利用目标神经网络处理训练数据项的第一变换视图，以生成目标输出；利用在线神经网络处理所述训练数据项的第二变换视图，以生成所述目标输出的预测；更新所述在线神经网络的一个或多个参数，以最小化所述目标输出的预测和所述目标输出之间的误差；和基于所述在线神经网络的参数更新所述目标神经网络的一个或多个参数。2.根据权利要求1所述的方法，其中，更新所述目标神经网络的一个或多个参数包括：利用所述在线神经网络的参数的移动平均值来更新所述目标神经网络的一个或多个参数。3.根据权利要求1或2所述的方法，其中，更新所述目标神经网络的一个或多个参数包括：根据ξ
←
τξ (1-τ)θ来确定所述目标神经网络的所述一个或多个参数的更新值，其中，ξ代表所述目标神经网络的参数，θ代表所述在线神经网络的参数，并且t是衰减率。4.根据前述权利要求中任一项所述的方法，其中，所述在线神经网络和所述目标神经网络各自包括相应的编码器神经网络，并且其中，所述方法进一步包括由每个编码器神经网络执行包括以下的操作：接收所述训练数据项的变换视图；和处理所述训练数据项的变换视图以生成所述训练数据项的表示。5.根据权利要求4所述的方法，其中，每个编码器神经网络包括残差神经网络。6.根据权利要求4-5中任一项所述的方法，其中，所述在线神经网络和所述目标神经网络各自包括相应的投影神经网络，并且其中，所述方法进一步包括由每个投影神经网络执行包括以下的操作：接收所述训练数据项的表示；和处理所述训练数据项的表示以降低所述表示的维度。7.根据权利要求6所述的方法，其中，每个投影神经网络包括多层感知器。8.根据权利要求4-7中任一项所述的方法，其中，所述在线神经网络包括预测神经网络，其中，所述方法进一步包括通过所述预测神经网络执行包括以下的操作：接收所述训练数据项的表示；和使用由所述预测神经网络的参数体现的回归模型来处理所述训练数据项的表示，以生成所述目标输出的预测。9.根据权利要求8所述的方法，其中，所述预测神经网络包括多层感知器。10.根据前述权利要求中任一项所述的方法，进一步包括：将所述在线神经网络和/或所述目标神经网络的参数初始化为随机值。11.根据前述权利要求中任一项所述的方法，进一步包括：对所述训练数据项应用第一数据项变换，以生成所述训练数据项的所述第一变换视图；和对所述训练数据项应用第二数据项变换，以生成所述训练数据项的所述第二变换视图，其中，所述第二数据项变换不同于所述第一数据项变换。
12.根据前述权利要求中任一项所述的方法，其中，更新所述在线神经网络的一个或多个参数包括：归一化所述目标输出的预测；和对归一化后的所述目标输出的预测和所述目标输出之间的平方误差进行最小化。13.根据前述权利要求中任一项所述的方法，进一步包括：针对包括多个训练数据项的批次中的每个训练数据项，迭代地执行利用所述目标神经网络处理所述训练数据项的所述第一变换视图和利用所述在线神经网络处理所述训练数据项的所述第二变换视图的操作；然后更新所述在线神经网络的所述一个或多个参数，并更新所述目标神经网络的所述一个或多个参数。14.一种处理数据项的计算机实现的方法，该方法包括:向经训练的在线神经网络的一部分提供输入数据项，已经通过执行前述权利要求中任一项的方法的相应操作而对所述在线神经网络进行了训练；使用所述经训练的在线神经网络的一部分来处理所述输入数据项；从所述经训练的在线神经网络的一部分输出所述输入数据项的表示；和处理所述输入数据项的表示。15.根据权利要求14所述的方法，其中，所述在线神经网络包括被配置成生成所述输入数据项的表示的残差神经网络。16.根据权利要求14或15所述的方法，其中，处理所述输入数据项的表示包括:使用所述输入数据项的表示对所述输入数据项进行分类。17.根据权利要求1-16中任一项所述的方法，其中所述训练数据项包括训练图像，并且当从属于权利要求14时，其中，所述输入数据项包括输入图像。18.根据权利要求1-13中任一项所述的方法，其中，所述训练数据项包括图像，所述方法进一步包括：使用所述经训练的在线神经网络的编码器神经网络生成输入图像的像素表示；以及使用所述表示来执行图像处理任务。19.一种系统，包括一个或多个计算机和一个或多个存储指令的存储设备，当由所述一个或多个计算机执行时，所述指令使得所述一个或多个计算机执行根据权利要求1-18中任一项的相应方法的操作。20.一种计算机可读指令，或存储指令的一个或多个计算机存储介质，当由一个或多个计算机执行时，所述指令使得所述一个或多个计算机执行根据权利要求1-18中任一项的相应方法的操作。

技术总结
一种计算机实现的训练神经网络的方法。该方法包括：利用目标神经网络处理训练数据项(例如图像)的第一变换视图以生成目标输出，利用在线神经网络处理训练数据项(例如图像)的第二变换视图以生成目标输出的预测，更新在线神经网络的参数以最小化目标输出的预测和目标输出之间的误差，以及基于在线神经网络的参数更新目标神经网络的参数。该方法可以有效地训练编码器神经网络，而不使用带标签的训练数据项，并且不使用对比损失，即不需要包括不同数据项的变换视图的“负样例”。。。


技术研发人员：J-B.F.L.格里尔 F.施特鲁布 F.阿尔奇 C.塔莱克 P.里士满 B.A.皮雷斯 Z.郭 M.G.阿扎尔 B.皮奥特 R.穆诺斯 M.瓦尔科
受保护的技术使用者：渊慧科技有限公司
技术研发日：2021.06.04
技术公布日：2022/12/1