利用半监督对比学习的媒体检索的制作方法

背景技术：

技术实现思路

1、各种实施例提供了一种媒体检索系统，所述媒体检索系统可以自动将音乐与视频进行匹配，反之亦然。在一些示例中，媒体检索系统包括音频编码器和视频编码器，音频编码器和视频编码器是使用半监督对比学习且进一步使用模态对称对比损失函数来联合训练的。在操作中，媒体检索系统将输入媒体数据集（例如，视频）投影到潜在空间中，识别数据库中与投影最相似的潜在向量并从媒体库中检索与所识别的潜在向量相对应的输出媒体数据集（例如，音频）。在一些示例中，媒体检索系统的用户能够对媒体检索过程进行定制，以确保媒体检索过程与他们的特定创意目标良好契合，并基于经由半监督对比学习获得的信息的自监督学习部件与标签监督学习部件之间的选定平衡来对结果进行优化。

2、在一个示例中，一种用于媒体检索的装置包括：至少一个处理器；以及包括程序代码的至少一个存储器，其中，所述至少一个存储器和所述程序代码被配置为与所述至少一个处理器一起使所述装置至少进行以下操作：接收第一模态的输入媒体数据集；利用第一模态编码器获得表示潜在空间中所述输入媒体数据集的第一嵌入；基于被配置为量化所述潜在空间中的不同嵌入之间的成对相似性的相似性度量来选择第二嵌入的子集，所述第二嵌入中的每一个第二嵌入表示所述潜在空间中不同第二模态的相应候选媒体数据集，其中，所述第二嵌入是使用第二模态编码器获得的；以及基于所选择的所述第二嵌入的子集在所述相应候选媒体数据集中识别所述不同第二模态的一个或多个输出媒体数据集，其中，所述第一模态编码器和所述第二模态编码器是使用半监督对比学习来联合训练的。

3、在另一示例中，一种媒体检索方法包括：接收第一模态的输入媒体数据集；利用第一模态编码器获得表示潜在空间中所述输入媒体数据集的第一嵌入；基于被配置为量化所述潜在空间中的不同嵌入之间的成对相似性的相似性度量来选择第二嵌入的子集，所述第二嵌入中的每一个第二嵌入表示所述潜在空间中不同第二模态的相应候选媒体数据集，其中，所述第二嵌入是使用第二模态编码器获得的；以及基于所选择的所述第二嵌入的子集在所述相应候选媒体数据集中识别所述不同第二模态的一个或多个输出媒体数据集，其中，所述第一模态编码器和所述第二模态编码器是使用半监督对比学习来联合训练的。

4、根据又一示例，提供了一种非暂态计算机可读介质，所述非暂态计算机可读介质存储有指令，所述指令当由电子处理器执行时使所述电子处理器执行包括上述方法的操作。

1.一种媒体检索方法，包括：

2.如权利要求1所述的方法，其中，所述第一模态和所述不同第二模态选自由音频模态和视频模态构成的组。

3. 如权利要求2所述的方法，

4. 如权利要求2所述的方法，

5.如权利要求1所述的方法，进一步包括从媒体库中检索所识别的一个或多个输出媒体数据集。

6.如权利要求1所述的方法，其中，所述选择包括接收所述第二嵌入的、大小为k的子集，其中，k是小于二十的正整数。

7. 如权利要求6所述的方法，其中，k= 1。

8.如权利要求1所述的方法，进一步包括接收权重参数的第一值，

9.如权利要求8所述的方法，其中，所述权重参数进一步控制由所述第二模态编码器应用于第二嵌入的第一分量和第二分量的相对强调，所述第二嵌入的所述第一分量对应于由所述第二模态编码器经由自监督学习而学习到的信息，所述第二嵌入的所述第二分量对应于由所述第二模态编码器经由标签监督学习而学习到的信息。

10.如权利要求9所述的方法，其中，所述第一模态编码器和所述第二模态编码器是使用所述权重参数的不同于所述第一值的第二值来联合训练的。

11.如权利要求8所述的方法，其中，所述接收到的第一值经由用户输入提供。

12. 如权利要求8所述的方法，

13.如权利要求1所述的方法，其中，所述第一模态编码器和所述第二模态编码器是使用模态对称对比损失函数来联合训练的。

14.如权利要求13所述的方法，其中，所述模态对称对比损失函数是在任务特定嵌入上操作的第一损失函数与在潜在空间嵌入上操作的第二损失函数的加权和。

15.如权利要求14所述的方法，其中，所述第一损失函数是在所述任务特定嵌入上操作的跨模态自监督学习损失与在所述任务特定嵌入上操作的跨模态标签监督学习损失的加权和。

16.如权利要求15所述的方法，其中，所述第二损失函数是在所述潜在空间嵌入上操作的跨模态自监督学习损失与在所述潜在空间嵌入上操作的跨模态标签监督学习损失的加权和。

17.如权利要求16所述的方法，其中，在所述加权和中使用的加权系数的至少一个子集的值能够基于训练目标来选择。

18.如权利要求1所述的方法，其中，所述相似性度量是余弦度量。

19.一种非暂态计算机可读介质，存储有指令，所述指令当由电子处理器执行时使所述电子处理器执行包括如权利要求1所述的方法的操作。

20. 一种用于媒体检索的装置，所述装置包括：