一种数据处理方法、装置、计算机设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。


背景技术：

2.在识别图片数据与视频数据之间的匹配度时，现有匹配度识别方法往往采用人工指定的规则或角度，根据人工经验对视频数据与图片数据进行匹配度识别，这样使得不同的识别对象在针对同一视频图片对(例如，由视频数据a与图片数据b所组成的视频图片对)进行匹配度识别时，得到的匹配结果可能存在不同。比如，识别对象a认为该图片数据b与视频数据a相匹配，在选择该视频数据a的封面图片数据时，极有可能将该图片数据b作为该视频数据a的封面图片数据。而识别对象b认为该图片数据b与视频数据不匹配，在选择视频数据a的封面图片数据时，不会将该图片数据b作为该视频数据a的封面图片数据，这样将降低匹配度识别的准确率。


技术实现要素：

3.本技术实施例提供一种数据处理方法、装置、计算机设备及存储介质，可以提高匹配度识别的准确度。
4.本技术实施例一方面提供一种数据处理方法，包括：
5.获取样本数据集；样本数据集包括m个子数据集，每个子数据集中的媒体数据均关联n个模态类型，每两个子数据集之间存在不同模态类型的媒体数据；m和n均为大于1的正整数；
6.获取每个子数据集分别对应的多模态特征；m个多模态特征包括多模态特征xi和多模态特征x
i 1
；i为小于m的正整数；
7.在获取到第(i-1)次迭代训练后的初始多模态识别模型时，基于多模态特征xi，对初始多模态识别模型进行迭代训练，得到第一训练模型，且基于多模态特征x
i 1
，对第一训练模型进行迭代训练，直到(i 1)等于m时，得到第二训练模型；
8.基于与初始多模态识别模型相关联的模型收敛条件以及第二训练模型，生成目标多模态识别模型；目标多模态识别模型用于识别目标视频数据和待识别图片数据之间的匹配度；样本数据集关联的模态类型包括目标视频数据所关联的模态类型以及待识别图片数据对应的模态类型。
9.本技术实施例一方面提供一种数据处理装置，包括：
10.数据集获取模块，用于获取样本数据集；样本数据集包括m个子数据集，每个子数据集中的媒体数据均关联n个模态类型，每两个子数据集之间存在不同模态类型的媒体数据；m和n均为大于1的正整数；
11.多模态特征获取模块，用于获取每个子数据集分别对应的多模态特征；m个多模态特征包括多模态特征xi和多模态特征x
i 1
；i为小于m的正整数；
12.迭代训练模块，用于在获取到第(i-1)次迭代训练后的初始多模态识别模型时，基于多模态特征xi，对初始多模态识别模型进行迭代训练，得到第一训练模型，且基于多模态特征x
i 1
，对第一训练模型进行迭代训练，直到(i 1)等于m时，得到第二训练模型；
13.目标模型生成模块，用于基于与初始多模态识别模型相关联的模型收敛条件以及第二训练模型，生成目标多模态识别模型；目标多模态识别模型用于识别目标视频数据和待识别图片数据之间的匹配度；样本数据集关联的模态类型包括目标视频数据所关联的模态类型以及待识别图片数据对应的模态类型。
14.其中，初始多模态识别模型所关联的模态类型包括第一模态类型、第二模态类型以及第三模态类型；
15.该数据集获取模块包括：
16.第一子数据集确定单元，用于基于属于第一模态类型的媒体数据以及属于第二模态类型的媒体数据，确定第一子数据集；
17.第二子数据集确定单元，用于基于属于第一模态类型的媒体数据以及属于第三模态类型的媒体数据，确定第二子数据集；
18.第三子数据集确定单元，用于基于属于第二模态类型的媒体数据以及属于第三模态类型的媒体数据，确定第三子数据集；
19.样本数据集确定单元，用于将包括第一子数据集、第二子数据集以及第三子数据集的数据集确定为样本数据集。
20.其中，该第一子数据集确定单元包括：
21.第一视频数据集确定子单元，用于在第一模态类型为视频模态类型，第二模态类型为图片模态类型时，获取属于视频模态类型的媒体数据，将获取到的媒体数据确定为第一视频数据集；第一视频数据集包括x1个视频数据；x1为正整数；
22.第一正样本确定子单元，用于从x1个视频数据中获取视频数据vk，从视频数据vk中获取属于图片模态类型的待处理图片数据，将视频数据vk与待处理图片数据所组成的视频图片对确定为第一正样本数据；k小于或者等于x1；
23.第一负样本确定子单元，用于基于针对待处理图片数据的距离确定策略以及x1个视频数据，确定与视频数据vk相关联的第一负样本数据；
24.第一子数据集确定子单元，用于将x1个视频数据分别对应的第一正样本数据以及x1个视频数据分别对应的第一负样本数据确定为第一子数据集。
25.其中，该第一负样本确定子单元包括：
26.策略获取子单元，用于获取针对待处理图片数据的距离确定策略；
27.待检测视频类型确定子单元，用于从x1个视频数据所包括的除待处理图片数据之外的y个图片数据中，确定属于图片模态类型的候选图片数据，将候选图片数据所属的视频数据的视频类型确定为待检测视频类型；y为大于x1的正整数；
28.距离确定子单元，用于基于距离确定策略，确定待检测视频类型与视频数据vk的视频类型之间的第一距离，确定候选图片数据以及待处理图片数据之间的第二距离；
29.图片距离确定子单元，用于基于第一距离和第二距离，确定待处理图片数据与候选图片数据之间的图片距离；
30.负样本图片确定子单元，用于在获取到y个图片距离时，从y个图片数据中筛选满
足负样本图片筛选条件的图片数据，将筛选出的图片数据确定为负样本图片数据，将视频数据vk以及负样本图片数据所组成的视频图片对确定为第一负样本数据。
31.其中，第二子数据集确定单元包括：
32.第二视频数据集确定子单元，用于在第一模态类型为视频模态类型，第三模态类型为文本模态类型时，获取属于视频模态类型的媒体数据，将获取到的媒体数据确定为第二视频数据集；第二视频数据集包括x2个视频数据；x2为正整数；
33.第二正样本确定子单元，用于从x2个视频数据中获取视频数据vh，从视频数据vh中获取属于文本模态类型的待处理文本数据，将视频数据vh以及待处理文本数据所组成的视频文本对确定为第二正样本数据；h小于或者等于x2；
34.第二负样本确定子单元，用于确定视频数据vh的视频类型，从x2个视频数据中筛选与视频数据vh具有不同视频类型的视频数据，将筛选出的视频数据对应的文本数据确定为负样本文本数据，将视频数据vh与负样本文本数据所组成的视频文本对确定为第二负样本数据；
35.第二子数据集确定子单元，用于将x2个视频数据分别对应的第二正样本数据以及x2个视频数据分别对应的第二负样本数据确定为第二子数据集。
36.其中，多模态特征获取模块包括：
37.待编码子数据集获取单元，用于从m个子数据集中获取待编码子数据集sj，在待编码子数据集sj所关联的n个模态类型中确定模态类型lg，将待编码子数据集sj中的属于模态类型lg的媒体数据确定为待编码媒体数据；j为小于或者等于m的正整数；g为小于或者等于n的正整数；
38.特征提取单元，用于对待编码媒体数据进行特征提取，得到模态类型lg对应的模态特征；
39.多模态特征确定单元，用于将待编码子数据集sj中n个模态类型分别对应的模态特征确定为多模态特征xj。
40.其中，模态类型lg为图片模态类型；
41.特征提取单元包括：
42.待编码图片确定子单元，用于从待编码媒体数据中确定属于图片模态类型的待编码图片数据；
43.图片位置特征获取子单元，用于获取与待编码图片数据相关联的图片位置特征以及待编码图片数据对应的第一跨模态图文特征；
44.图片特征确定子单元，用于对图片位置特征以及第一跨模态图文特征进行特征提取，得到待编码图片数据对应的图片特征，将图片特征作为图片模态类型对应的模态特征。
45.其中，模态类型lg为文本模态类型；
46.特征提取单元包括：
47.待编码文本确定子单元，用于从待编码媒体数据中确定属于文本模态类型的待编码文本数据；
48.分词处理子单元，用于对待编码文本数据进行分词处理，得到待编码文本数据对应的待编码字符串；
49.文本特征确定子单元，用于对待编码字符串进行特征提取，得到待编码字符串对
应的字符串提取特征，基于字符串提取特征，生成待编码文本数据对应的文本特征，将文本特征作为文本模态类型对应的模态特征。
50.其中，文本特征确定子单元包括：
51.字符串位置特征获取子单元，用于获取与待编码字符串相关联的字符串位置特征以及待编码字符串对应的第二跨模态图文特征；
52.特征拼接子单元，用于对字符串位置特征以及第二跨模态图文特征进行特征拼接，得到待编码字符串对应的字符串拼接特征；
53.归一化处理子单元，用于对字符串拼接特征进行归一化处理，基于归一化处理后的字符串拼接特征，得到待编码字符串对应的字符串提取特征；
54.文本特征生成子单元，用于基于字符串提取特征，生成待编码文本数据对应的文本特征，将文本特征作为文本模态类型对应的模态特征。
55.其中，目标模型生成模块包括：
56.调整数据集获取单元，用于获取携带样本标签的调整数据集；调整数据集中的调整数据组包括属于视频模态类型的调整样本视频数据、属于文本模态类型的调整样本文本数据以及属于图片模态类型的调整样本图片数据；样本标签包括第一样本标签、第二样本标签以及第三样本标签；第一样本标签用于指示调整样本视频数据的视频类型；第二样本标签用于指示调整样本文本数据的文本类型；第三样本标签用于指示调整样本图片数据与调整样本视频数据之间的匹配度；
57.调整样本特征确定单元，用于分别对调整样本视频数据、调整样本文本数据以及调整样本图片数据进行特征提取，得到调整样本特征；调整样本特征包括调整样本视频数据对应的调整样本视频特征、调整样本文本数据对应的调整样本文本特征以及调整样本图片数据对应的调整样本图片特征；
58.预测标签输出单元，用于基于调整样本视频特征、调整样本文本特征、调整样本图片特征以及第二训练模型，得到包括第一预测标签、第二预测标签以及第三预测标签的预测标签；
59.调整训练单元，用于基于样本标签、预测标签以及与初始多模态识别模型相关联的模型收敛条件，对第二训练模型进行调整训练，将调整训练后的第二训练模型作为目标多模态识别模型。
60.其中，调整训练单元包括：
61.模型收敛条件获取子单元，用于获取与初始多模态识别模型相关联的模型收敛条件；模型收敛条件包括为视频损失参数配置的视频损失权重、为文本损失参数配置的文本损失权重以及为图片损失参数配置的图片损失权重；
62.损失值确定子单元，用于基于第一样本标签和第一预测标签，确定视频损失参数对应的视频损失值，基于第二样本标签和第二预测标签，确定文本损失参数对应的文本损失值，基于第三样本标签和第三预测标签，确定图片损失参数对应的图片损失值；
63.模型损失确定子单元，用于基于视频损失值、文本损失值、图片损失值、视频损失权重、文本损失权重以及图片损失权重，确定第二训练模型的模型损失函数对应的模型损失；
64.调整训练子单元，用于基于模型损失对第二训练模型进行调整训练，得到模型训
练结果；
65.目标模型确定子单元，用于若模型训练结果指示调整训练后的第二训练模型满足模型收敛条件，则将满足模型收敛条件的第二训练模型作为目标多模态识别模型。
66.其中，该装置还包括：
67.目标视频数据获取模块，用于在获取到目标视频数据以及z个待识别图片数据时，确定z个视频图片对；一个视频图片对是由目标视频数据以及一个待识别图片数据组成的；z为大于1的正整数；
68.目标特征确定模块，用于从z个视频图片对中获取目标视频图片对，确定目标视频图片对的目标特征；目标特征包括与目标视频数据相关联的目标文本模态特征、目标视频数据对应的目标视频模态特征以及目标视频图片对中的待识别图片数据对应的目标图片模态特征；
69.匹配度输出模块，用于基于目标文本模态特征、目标视频模态特征、目标图片模态特征以及目标多模态识别模型，得到目标视频图片对中目标视频数据与待识别图片数据之间的匹配度；
70.目标图片确定模块，用于在获取到z个视频图片对中的每个视频图片对分别对应的匹配度时，基于z个匹配度，从z个待识别图片数据中获取具有最高匹配度的待识别图片数据，将获取到的待识别图片数据确定为与目标视频数据具备匹配关系的目标图片数据。
71.本技术实施例一方面提供了一种计算机设备，包括：处理器和存储器；
72.处理器与存储器相连，其中，存储器用于存储计算机程序，计算机程序被处理器执行时，使得该计算机设备执行本技术实施例提供的方法。
73.本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本技术实施例提供的方法。
74.本技术实施例一方面提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时，使得该计算机设备执行本技术实施例提供的方法。
75.在本技术实施例中，由于样本数据集的m个子数据集中的每个子数据集的媒体数据均关联n个模态类型，且每两个子数据集之间存在不同模态类型的媒体数据，因此，计算机设备可以通过m个子数据集分别对应的多模态特征，逐一对多模态识别模型进行多层次的迭代训练，能够综合考虑多种识别维度，进而可以基于模型收敛条件以及迭代训练后的第二训练模型，生成的目标多模态识别模型。其中，一种子数据集可以对应一种识别维度，那么该计算机设备在通过目标多模态识别模型，对目标视频数据与待识别图片数据之间的匹配度进行时，能够获取多维度信息，从而提升匹配度识别的准确度。
附图说明
76.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
77.图1是本技术实施例提供的一种网络架构的结构示意图；
78.图2是本技术实施例提供的一种对多模态识别模型进行迭代训练的场景示意图；
79.图3是本技术实施例提供的一种数据处理方法的流程示意图；
80.图4是本技术实施例提供的一种对图片数据进行特征提取的特征提取网络层的网络结构示意图；
81.图5是本技术实施例提供的一种对文本数据进行特征提取的特征提取网络层的网络结构示意图；
82.图6是本技术实施例提供的一种多模态识别模型的网络架构示意图；
83.图7是本技术实施例提供的一种进行多层次的迭代训练的训练过程示意图；
84.图8是本技术实施例提供的一种数据处理方法的流程示意图；
85.图9是本技术实施例提供的一种数据处理装置的结构示意图；
86.图10是本技术实施例提供的一种数据处理装置的结构示意图；
87.图11是本技术实施例提供的一种计算机设备的示意图。
具体实施方式
88.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
89.应当理解，本技术实施例中的目标多模态识别模型可以为一种用于对图像-文本语言进行表征学习的多模态预训练模型(例如，universal image-text representation，简称uniter模型)。该目标多模态识别模型的网络结构可以为一种利用注意力机制来提高模型训练速度的模型(例如，transformer)，transformer是一种由self-attenion(自注意力网络层)和feed forward neural network(前馈神经网络)组成的网络结构，广泛应用于人工智能领域中的自然语言处理(nature language processing,nlp)领域，且越来越多地被用于计算机视觉技术(computer vision,cv)领域。
90.其中，所谓人工智能(artificial intelligence，简称ai)是利用数字计算机或者数字计算机控制的计算模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
91.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
92.其中，机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
93.其中，自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
94.计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
95.请参见图1，图1是本技术实施例提供的一种网络架构的结构示意图。如图1所示，该网络架构可以包括服务器10f和终端设备集群。该终端设备集群可以包括一个或者多个终端设备，这里将不对终端设备的数量进行限制。如图1所示，该终端设备集群具体可以包括终端设备100a、终端设备100b、终端设备100c、
…
、终端设备100n。如图1所示，终端设备100a、终端设备100b、终端设备100c、
…
、终端设备100n可以分别与上述服务器10f进行网络连接，以便于每个终端设备可以通过该网络连接与服务器10f进行数据交互。其中，这里的网络连接不限定连接方式，可以通过有线通信方式进行直接或间接地连接，也可以通过无线通信方式进行直接或间接地连接，还可以通过其他方式，本技术在此不做限制。
96.其中，该终端设备集群中的每个终端设备均可以包括：智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等具有多层次模型训练功能的智能终端。应当理解，如图1所示的终端设备集群中的每个终端设备均可以安装有目标应用(即应用客户端)，当该应用客户端运行于各终端设备中时，可以分别与上述图1所示的服务器10f之间进行数据交互。其中，该应用客户端可以包括社交客户端、多媒体客户端(例如，视频客户端)、娱乐客户端(例如，游戏客户端)、教育客户端、直播客户端等应用客户端。其中，该应用客户端可以为独立的客户端，也可以为集成在某客户端(例如，社交客户端、教育客户端以及多媒体客户端等)中的嵌入式子客户端，在此不做限定。
97.如图1所示，本技术实施例中的服务器10f可以为该应用客户端对应的服务器。该服务器10f可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。其中，本技术实施例将不对服务器的数量进行限制。
98.为便于理解，本技术实施例可以在图1所示的多个终端设备中选择一个终端设备作为目标终端设备。例如，本技术实施例可以将图1所示的终端设备100a作为目标终端设备，该目标终端设备中可以集成有目标应用(即应用客户端)。此时，该目标终端设备可以通过该应用客户端对应的业务数据平台与服务器10f之间实现数据交互。其中，这里的目标应
用可以运行有目标多模态识别模型，该目标多模态识别模型是一种应用样本数据集中的m个子数据集，对初始多模态识别模型进行多层次的迭代训练后所得到的，m为大于1的正整数。其中，这里的样本数据集关联的模态类型的类型数量可以为e(e为正整数)个，这e个模态类型具体可以包括第一模态类型(例如，视频模态类型)、第二模态类型(例如，图片模态类型)、第三模态类型(例如，文本模态类型)以及第四模态类型(例如，音频模态类型)等。
99.其中，这里的每个子数据集中的媒体数据均关联e个模态类型中的n个模态类型，且每两个子数据集之间存在不同模态类型的媒体数据。其中，这里的n可以为大于1小于e的正整数。其中，本技术实施例可以将第(i-1)次迭代训练后的多模态识别模型称之为初始多模态识别模型，将第i次迭代训练后的多模态识别模型称之为第一训练模型，且将迭代训练完成的多模态识别模型称之为第二训练模型。应当理解，具有多层次模型训练功能的计算机设备(例如，目标终端设备或图1所示的服务器10f)在获取到每个子数据集分别对应的多模态特征时，可以逐一对初始多模态识别模型进行多层次的迭代训练，以得到第二训练模型。其中，本技术实施例将不对多层次的迭代训练的训练顺序进行限定。
100.进一步地，该计算机设备可以基于模型收敛条件以及第二训练模型生成目标多模态识别模型。应当理解，本技术实施例在生成目标多模态识别模型时，需要综合考虑多种识别维度(其中，一个子数据集对应一种识别维度)，进而可以针对不同识别维度设计多个预训练任务，使得最终得到的目标多模态识别模型能够获取多维度信息，从而更加准确的对目标视频数据和待识别图片数据之间的匹配度进行识别，以判断目标视频数据与待识别图片数据是否匹配，进而确定该待识别图片数据是否可以作为该目标视频数据的关键图片数据(例如，封面图片数据或优质图片数据等)。这里的优质图片数据可以用于图片素材库的建立。
101.其中，这里的目标视频数据可以是指包括属于视频模态类型的视频数据以及属于文本模态类型的文本数据，例如，该文本数据可以为该目标视频数据的视频标题。可以理解的是，在目标视频数据与待识别图片数据相匹配时，这意味着该待识别图片数据不仅与目标视频数据的视频内容相匹配，还与目标视频数据的视频标题相匹配。可以理解的是，计算机设备采用这样多层次的迭代训练方式，能够准确的学习n个不同模态类型之间的相关性，将多模态信息表现在同一空间，从而在通过目标多模态识别模型，对目标视频数据与待识别图片数据之间的匹配度进行识别时，能够有效提高匹配度识别的准确度。
102.为便于理解，进一步地，请参见图2，图2是本技术实施例提供的一种对多模态识别模型进行迭代训练的场景示意图。如图2所示，本技术实施例中的计算机设备可以为具有多层次模型训练功能的计算机设备，该计算机设备可以为上述图1所示的终端设备集群中的任意一个终端设备，例如，终端设备100a，该计算机设备也可以为上述图1所示的服务器10f，这里将不对计算机设备进行限定。
103.应当理解，本技术实施例中的计算机设备可以获取图2所示的样本数据集20s，这里的样本数据集可以包括m个子数据集，具体可以包括子数据集s1、子数据集s2、
…
、以及子数据集sm。其中，每个子数据集中的媒体数据均关联n个模态类型，每两个子数据集之间存在不同模态类型的媒体数据；m和n均为大于1的正整数。
104.比如，若样本数据集关联的模态类型的类型数量以4个为例，具体包括第一模态类型(例如，视频模态类型)、第二模态类型(例如，图片模态类型)、第三模态类型(例如，文本
模态类型)以及第四模态类型(例如，音频模态类型)，且每个子数据集中的媒体数据所关联的模态类型的数量为3，则该样本数据集20s可以包括3个子数据集，即子数据集s1、子数据集s2以及子数据集s3。其中，这里的子数据集s1中的媒体数据所关联的模态类型可以包括视频模态类型、图片模态类型和文本模态类型；子数据集s2中的媒体数据所关联的模态类型可以包括视频模态类型、图片模态类型和音频模态类型；子数据集s3中的媒体数据所关联的模态类型可以包括图片模态类型、文本模态类型和音频模态类型。
105.又比如，若样本数据集关联的模态类型的类型数量以4个为例，具体包括第一模态类型(例如，视频模态类型)、第二模态类型(例如，图片模态类型)、第三模态类型(例如，文本模态类型)以及第四模态类型(例如，音频模态类型)，且每个子数据集中的媒体数据所关联的模态类型的数量为2，则该样本数据集20s可以包括6个子数据集，即子数据集s1、子数据集s2、子数据集s3、子数据集s4、子数据集s5和子数据集s6。其中，这里的子数据集s1中的媒体数据所关联的模态类型可以包括视频模态类型和图片模态类型；子数据集s2中的媒体数据所关联的模态类型可以包括视频模态类型和文本模态类型；子数据集s3中的媒体数据所关联的模态类型可以包括视频模态类型和音频模态类型；子数据集s4中的媒体数据所关联的模态类型可以包括图片模态类型和文本模态类型；子数据集s5中的媒体数据所关联的模态类型可以包括图片模态类型和音频模态类型；子数据集s6中的媒体数据所关联的模态类型可以包括文本模态类型和音频模态类型；
106.进一步地，该计算机设备可以获取每个子数据集分别对应的多模态特征，应当理解，该计算机设备可以通过特征提取网络层，对每个子数据集分别进行特征提取，以得到每个子数据集分别对应的多模态特征。其中，这里的特征提取网络层可以为多模态识别模型中的网络层，也可以为独立于多模态识别模型的网络层，这里将不对其进行限定。如图2所示，这m个多模态特征具体可以包括子数据集s1对应的多模态特征x1、子数据集s2对应的多模态特征x2、
…
、以及子数据集sm对应的多模态特征xm。应当理解，该计算机设备可以基于这m个多模态特征，逐一对初始多模态识别模型进行多层次的迭代训练，以在训练完成时得到第二训练模型。比如，该计算机设备在获取到第(i-1)次迭代训练后的初始多模态识别模型时，可以基于m个多模态特征中的多模态特征xi，对初始多模态识别模型进行迭代训练，得到第一训练模型，进而可以基于这m个多模态特征中的多模态特征x
i 1
，对第一训练模型进行迭代训练，直到(i 1)等于m时，得到第二训练模型。其中，这里的i为小于m的正整数。
107.如图2所示，该计算机设备在首次进行迭代训练时，可以获取图2所示的多模态识别模型w0，进而可以基于多模态特征x1对多模态识别模型w0进行迭代训练，以得到图2所示的多模态识别模型w1。进一步地，该计算机设备可以基于多模态特征x2对多模态识别模型w1进行迭代训练，以得到图2所示的多模态识别模型w2，以此类推，直到该计算机设备基于多模态特征xm对多模态识别模型w
m-1
进行迭代训练，以得到图2所示的多模态识别模型wm。此时，该计算机设备可以将多模态识别模型wm称之为第二训练模型。
108.进一步地，该计算机设备可以基于与初始多模态识别模型相关联的模型收敛条件以及第二训练模型，生成目标多模态识别模型。例如，这里的模型收敛条件是指模型损失小于或者等于模型损失阈值。应当理解，目标多模态识别模型可以用于识别目标视频数据和待识别图片数据之间的匹配度。其中，这里的样本数据集关联的模态类型可以包括目标视频数据所关联的模态类型(例如，视频模态类型和文本模态类型)以及待识别图片数据对应
的模态类型(例如，图片模态类型)。
109.由此可见，计算机设备采用这样多层次的迭代训练方式，能够准确的学习n个不同模态类型之间的相关性，将多模态信息表现在同一空间，从而在通过目标多模态识别模型，对目标视频数据与待识别图片数据之间的匹配度进行识别时，能够有效提高匹配度识别的准确度。
110.其中，具有多层次模型训练功能的计算机设备在获取到m个子数据集分别对应的多模态特征时，采用多层次的迭代训练方式，得到目标多模态识别模型的具体实现方式可以参见下述图3-图8所对应的实施例。
111.进一步地，请参见图3，图3是本技术实施例提供的一种数据处理方法的流程示意图。如图3所示，该方法可以由具有多层次模型训练功能的计算机设备执行，该计算机设备可以为终端设备(例如，上述图1所示的终端设备集群中的任意一个终端设备，例如，具有多层次模型训练功能的终端设备100a)，也可以为服务器(例如，上述图1所示的服务器10f)，在此不做限定。为便于理解，本技术实施例以该方法由具有多层次模型训练功能的服务器执行为例进行说明，该方法至少可以包括以下步骤s101-步骤s104：
112.步骤s101，获取样本数据集。
113.其中，该样本数据集可以包括m个子数据集，每个子数据集中的媒体数据均关联n个模态类型，每两个子数据集之间存在不同模态类型的媒体数据；这里的m和n均为大于1的正整数。应当理解，本技术实施例中的初始多模态识别模型所关联的模态类型可以以3个为例，具体可以包括第一模态类型、第二模态类型以及第三模态类型。具体地，具有多层次模型训练功能的计算机设备在确定每个子数据集中的媒体数据所关联的模态类型的数量为2时，可以基于属于第一模态类型的媒体数据以及属于第二模态类型的媒体数据，确定第一子数据集。进一步地，该计算机设备还可以基于属于第一模态类型的媒体数据以及属于第三模态类型的媒体数据，确定第二子数据集。该计算机设备可以基于属于第二模态类型的媒体数据以及属于第三模态类型的媒体数据，确定第三子数据集。此时，该计算机设备可以将包括第一子数据集、第二子数据集以及第三子数据集的数据集确定为样本数据集。
114.应当理解，在第一模态类型为视频模态类型，第二模态类型为图片模态类型时，该计算机设备可以获取属于视频模态类型的媒体数据，进而将获取到的媒体数据确定为第一视频数据集。其中，这里的第一视频数据集包括x1个视频数据；x1为正整数。进一步地，该计算机设备可以从x1个视频数据中获取视频数据vk，从视频数据vk中获取属于图片模态类型的待处理图片数据，并将该视频数据vk与待处理图片数据所组成的视频图片对确定为第一正样本数据。其中，k小于或者等于x1。其中，这里的待处理图片数据可以为该视频数据vk中的关键图片数据，比如，该视频数据vk中的封面图片数据或优质图片数据等。
115.进一步地，该计算机设备可以基于针对待处理图片数据的距离确定策略以及x1个视频数据，确定与视频数据vk相关联的第一负样本数据。可以理解的是，该计算机设备可以将x1个视频数据分别对应的第一正样本数据以及x1个视频数据分别对应的第一负样本数据确定为第一子数据集。
116.其中，该计算机设备获取到的针对待处理图片数据的距离确定策略可以参见下述公式(1)：
117.图片距离＝第一距离 第二距离
ꢀꢀꢀ
(1)
118.其中，这里的第一距离可以是指视频类型距离，即候选图片数据所属视频数据的视频类型(即待检测视频类型)与待处理图片数据所属视频数据的视频类型(即目标视频类型)之间的距离。可以理解的是，若待检测视频类型与目标视频类型相同，则这里的第一距离可以为第一阈值(例如，0)，若待检测视频类型与目标视频类型不同，则该第一距离可以为第二阈值(例如，1)。这里的第二距离可以是指候选图片数据与待处理图片数据之间的距离(例如，图片哈希距离或图片向量距离)。其中，该图片哈希距离可以采用平均哈希算法(ahash)、感知哈希算法(phash)和差异哈希算法(dhash)中的任意一种哈希算法计算所得，这里将不对图片哈希距离的具体实施方式进行限定。
119.应当理解，计算机设备在确定与视频数据vk相关联的第一负样本数据时，可以获取上述公式(1)所示的距离确定策略，其中，这里的距离确定策略包括距离阈值。从x1个视频数据所包括的除待处理图片数据之外的y个图片数据中，该计算机设备可以确定属于图片模态类型的候选图片数据，进而可以将候选图片数据所属的视频数据的视频类型确定为待检测视频类型。其中，这里的y可以为大于x1的正整数。进一步地，该计算机设备可以基于距离确定策略，确定待检测视频类型与视频数据vk的视频类型之间的第一距离，确定候选图片数据以及待处理图片数据之间的第二距离。此时，该计算机设备可以基于第一距离和第二距离，确定待处理图片数据与候选图片数据之间的图片距离。在获取到y个图片距离时，该计算机设备可以从y个图片数据中筛选满足负样本图片筛选条件的图片数据，将筛选出的图片数据确定为负样本图片数据，进而可以将视频数据vk以及负样本图片数据所组成的视频图片对确定为第一负样本数据。其中，这里的负样本图片筛选条件可以是指从y个图片数据中筛选具有最大图片距离的图片数据，也可以是指从y个图片数据中筛选图片距离大于距离阈值的图片数据，这里将不对负样本图片筛选条件进行限定。
120.比如，该计算机设备获取到的第一视频数据集可以包括x1(例如，3)个视频数据，这3个视频数据具体可以包括视频数据v1、视频数据v2以及视频数据v3，为便于阐述，该视频数据v1包括的具有图片模态类型的图片数据可以为2个，具体可以包括图片数据i
11
和图片数据i
12
；该视频数据v2包括的具有图片模态类型的图片数据可以为3个，具体可以包括图片数据i
21
、图片数据i
22
和图片数据i
23
；该视频数据v3包括的具有图片模态类型的图片数据可以为2个，具体可以包括图片数据i
31
和图片数据i
32
。
121.应当理解，对于视频数据v1而言，该计算机设备可以从视频数据v1中获取属于图片模态类型的待处理图片数据(例如，视频封面数据)，该待处理图片数据可以为图片数据i
11
。此时，该计算机设备可以将视频数据v1与图片数据i
11
所组成的视频图片对(例如，视频图片对1)确定为第一正样本数据。
122.进一步地，该计算机设备可以获取公式(1)所示的距离确定策略，以分别确定图片数据i
11
与属于图片模态类型的候选图片数据之间的图片距离。其中，这里的候选图片数据可以为除图片数据i
11
之外的其他图片数据，也可以为除视频数据v1之外的其他视频数据中的图片数据(例如，视频数据v2中的图片数据和视频数据v3中的图片数据)，这里将不对其进行限定。
123.其中，本技术实施例中的候选图片数据是从除图片数据i
11
之外的其他图片数据(例如，图片数据i
12
、图片数据i
21
、图片数据i
22
、图片数据i
23
、图片数据i
31
以及图片数据i
32
这6个图片数据)所获取的。比如，若该计算机设备确定的候选图片数据为图片数据i
12
，则该
计算机设备可以通过上述公式(1)所示的距离确定策略，确定图片数据i
11
与图片数据i
12
之间的图片距离(例如，图片距离1)。其中，由于图片数据i
11
与图片数据i
12
均属于同一视频数据中的图片数据，因此，该计算机设备可以确定图片数据i
11
所属视频数据的视频类型与图片数据i
12
所属视频数据的视频类型相同，此时，该计算机设备可以图片数据i
11
与图片数据i
12
之间的第一距离可以为0。
124.若该计算机设备确定的候选图片数据为图片数据i
21
，则该计算机设备可以通过上述公式(1)所示的距离确定策略，确定图片数据i
11
与图片数据i
21
之间的图片距离(例如，图片距离2)。其中，由于图片数据i
11
与图片数据i
21
属于不同视频数据中的图片数据，该计算机设备需要检测图片数据i
11
所属视频数据的视频类型与图片数据i
21
所属视频数据的视频类型是否相同，从而确定图片数据i
11
与图片数据i
12
之间的第一距离。
125.以此类推，该计算机设备可以依次确定图片数据i
11
与图片数据i
22
之间的图片距离(例如，图片距离3)、图片数据i
11
与图片数据i
23
之间的图片距离(例如，图片距离4)、图片数据i
11
与图片数据i
31
之间的图片距离(例如，图片距离5)、图片数据i
11
与图片数据i
32
之间的图片距离(例如，图片距离6)。
126.进一步地，该计算机设备可以在获取到这6个图片距离时，可以从6个图片数据中筛选出满足负样本图片筛选条件的图片数据，进而可以将筛选出的图片数据确定为负样本图片数据。比如，该计算机设备可以从6个图片数据中筛选出具有最大图片距离的图片数据(例如，图片数据i
32
)，将筛选出的图片数据i
32
作为满足负样本图片筛选条件的图片数据。此时，该计算机设备可以将图片数据i
32
确定为负样本图片数据，且将视频数据v1与图片数据i
32
所组成的视频图片对(例如，视频图片对2)确定为第一负样本数据。
127.依次类推，该计算机设备在获取到视频数据v1对应的第一正样本数据、视频数据v2对应的第一正样本数据、视频数据v3对应的第一正样本数据、视频数据v1对应的第一负样本数据、视频数据v2对应的第一负样本数据以及视频数据v3对应的第一负样本数据时，该计算机设备可以确定第一子数据集(例如，视频图片数据集)。
128.可以理解的是，本技术实施例在确定待处理图片数据与候选图片数据之间的图片距离时，不仅考虑两个图片数据之间的图片哈希距离(即第二距离)，还需要考虑两个图片数据所属视频数据的视频类型之间的视频类型距离(即第一距离)，从而有效降低了将负样本图片数据作为视频数据vk的关键图片数据(例如，封面图片数据)的概率，以至于提高了样本数据集的可靠性。
129.应当理解，在第一模态类型为视频模态类型，第三模态类型为文本模态类型时，该计算机设备可以获取属于视频模态类型的媒体数据，进而将获取到的媒体数据确定为第二视频数据集。其中，这里的第二视频数据集可以包括x2个视频数据；x2为正整数。这里的第二视频数据集与第一视频数据集可以相同，也可以不同，这里将不对其进行限定。应当理解，该计算机设备可以从x2个视频数据中获取视频数据vh，进而可以从视频数据vh中获取属于文本模态类型的待处理文本数据，将视频数据vh以及待处理文本数据所组成的视频文本对确定为第二正样本数据；h小于或者等于x2；其中，这里的待处理文本数据可以为该视频数据vh的关键文本数据，比如，该视频数据vh的视频标题文本数据或台词文本数据或互动文本数据(例如，评论数据)等。
130.进一步地，该计算机设备可以确定视频数据vh的视频类型，为有效保证第二子数
据集中同一训练批次中的视频类型不全为同一类，该计算机设备可以从x2个视频数据中直接筛选与视频数据vh具有不同视频类型的视频数据，将筛选出的视频数据对应的文本数据确定为负样本文本数据，进而可以将视频数据vh与负样本文本数据所组成的视频文本对确定为第二负样本数据。应当理解，该计算机设备可以将x2个视频数据分别对应的第二正样本数据以及x2个视频数据分别对应的第二负样本数据确定为第二子数据集(例如，视频文本数据集)。
131.应当理解，在第二模态类型为图片模态类型，第三模态类型为文本模态类型时，该计算机设备可以获取属于图片模态类型的图片数据以及属于文本模态类型的文本数据，进而可以基于获取到的图片数据和文本数据，确定第三子数据集(例如，单图文本数据集)。
132.步骤s102，获取每个子数据集分别对应的多模态特征。
133.其中，m个子数据集中的每个子数据集均可以对应一个多模态特征，且这m个多模态特征可以包括多模态特征xi和多模态特征x
i 1
，i为小于m的正整数。具体地，该计算机设备可以从m个子数据集中获取待编码子数据集sj，进而可以在待编码子数据集sj所关联的n个模态类型中确定模态类型lg，并将该待编码子数据集sj中的属于模态类型lg的媒体数据确定为待编码媒体数据。其中，j为小于或者等于m的正整数；g为小于或者等于n的正整数。进一步地，该计算机设备可以对待编码媒体数据进行特征提取，以得到模态类型lg对应的模态特征，进而可以将待编码子数据集sj中n个模态类型分别对应的模态特征确定为多模态特征xj。
134.应当理解，若该计算机设备确定的模态类型lg为图片模态类型，则可以从待编码媒体数据(即属于图片模态类型的媒体数据)中确定属于图片模态类型的待编码图片数据。进一步地，该计算机设备可以获取与待编码图片数据相关联的图片位置特征以及待编码图片数据对应的第一跨模态图文特征。其中，在待编码图片数据为某一视频数据的封面图片数据或者单一图片数据时，这里的图片位置特征可以为该计算机设备预先设置的默认位置特征。这里的第一跨模态图文特征是该计算机设备通过一种用于对比文本-图片的预训练的跨模态预训练模型(例如，contrastive language-image pre-training，简称clip模型)对待编码图片数据进行特征提取后所得到的跨模态图文特征，该跨模态预训练模型是基于各种由图片数据和文本数据所组成的图像文本对所训练的神经网络。进一步地，该计算机设备可以对图片位置特征以及第一跨模态图文特征进行特征提取，得到待编码图片数据对应的图片特征，且将该图片特征作为图片模态类型对应的模态特征。
135.可选的，若该计算机设备确定的模态类型lg为视频模态类型，则该计算机设备可以从待编码媒体数据(即属于视频模态类型的媒体数据)中确定属于视频模态类型的待编码视频数据。其中，一个待编码视频数据是由多个视频帧所组成的，这意味着在对该待编码视频数据进行特征提取时，可以分别对该待编码视频数据中的每个视频帧(即属于图片模态类型的图片数据)进行特征提取，进而可以基于每个视频帧数据对应的视频帧特征，得到该待编码视频数据对应的视频特征，进而可以将该视频特征作为视频模态类型对应的模态特征。其中，该计算机设备对每个视频帧数据进行特征提取的具体实施方式可以参见上述该计算机设备对待编码图片数据进行特征提取的具体实施方式，这里将不再继续进行赘述。
136.为便于理解，进一步地，请参见图4，图4是本技术实施例提供的一种对图片数据进
行特征提取的特征提取网络层的网络结构示意图。如图4所示，本技术实施例中的图片数据40s可以为计算机设备确定的需要进行特征提取的待编码图片数据，也可以是该计算机设备确定的需要进行特征提取的待编码视频数据中的视频帧数据，这里将不对其进行限定。其中，图4所示的特征提取网络层包括网络层410l(例如，全连接网络层)以及网络层420l(例如，归一化网络层)。
137.如图4所示，该计算机设备可以获取图片数据40s对应的跨模态图文特征41x。比如，该计算机设备可以获取跨模态预训练模型(例如，clip模型)，进而将图片数据40s输入至该跨模态预训练模型，由该跨模态预训练模型输出该图片数据40s对应的跨模态图文特征41x。进一步地，该计算机设备还可以获取与图片数据40s相关联的图片位置特征42x。比如，若该图片数据40s为待编码图片数据，则该计算机设备可以获取预先设置的默认位置特征作为该图片数据40s的图片位置特征42x。可选的，若该图片数据40s为待编码视频数据中的视频帧数据，则该计算机设备可以获取图片数据40s在待编码视频数据中的视频帧序号信息，进而可以基于视频帧序号信息，确定该图片数据40s的图片位置特征42x。
138.进一步地，该计算机设备可以将图片位置特征42x输入至图4所示的网络层410l，由网络层410l输出该图片数据40s对应的位置提取特征，进而可以将位置提取特征与跨模态图文特征41x进行特征拼接，且将拼接后的特征输入至网络层420l，由该网络层420l对拼接后的特征进行归一化处理，以得到图片数据40s对应的图片特征40x。
139.可选的，若该计算机设备确定的模态类型lg为文本模态类型，则该计算机设备可以从待编码媒体数据中确定属于文本模态类型的待编码文本数据。进一步地，该计算机设备可以对待编码文本数据进行分词处理，得到待编码文本数据对应的待编码字符串。此时，该计算机设备可以对待编码字符串进行特征提取，得到待编码字符串对应的字符串提取特征，进而可以基于字符串提取特征，生成待编码文本数据对应的文本特征，将文本特征作为文本模态类型对应的模态特征。
140.其中，该计算机设备在生成待编码文本数据对应的文本特征时，可以获取与待编码字符串相关联的字符串位置特征以及待编码字符串对应的第二跨模态图文特征。其中，这里的第二跨模态图文特征是指该计算机设备通过跨模态预训练模型(例如，clip模型)对待编码字符串进行特征提取后所得到的跨模态图文特征。进一步地，该计算机设备可以对字符串位置特征以及第二跨模态图文特征进行特征拼接，得到待编码字符串对应的字符串拼接特征，且对字符串拼接特征进行归一化处理，进而可以基于归一化处理后的字符串拼接特征，得到待编码字符串对应的字符串提取特征。应当理解，该计算机设备可以基于字符串提取特征，生成待编码文本数据对应的文本特征，将文本特征作为文本模态类型对应的模态特征。
141.为便于理解，进一步地，请参见图5，图5是本技术实施例提供的一种对文本数据进行特征提取的特征提取网络层的网络结构示意图。如图5所示，本技术实施例中的文本数据50s可以为计算机设备确定的需要进行特征提取的待编码文本数据。其中，图5所示的特征提取网络层包括网络层500l(例如，归一化网络层)。
142.如图5所示，该计算机设备可以对文本数据50s进行分词处理，得到文本数据50s对应的n个字符串，n为正整数。其中，这里的字符串具体可以包括字符串f1、字符串f2、
…
、以及字符串fn。进一步地，该计算机设备可以将这n个字符串中的每个字符串依次作为待编码字
符串，以对每个字符串进行特征提取，得到每个字符串分别对应的字符串提取特征。
143.比如，该计算机设备可以将字符串f1作为待编码字符串，获取字符串f1对应的跨模态图文特征51x。其中，该计算机设备可以获取跨模态预训练模型(例如，clip模型)，进而将字符串f1输入至该跨模态预训练模型，由该跨模态预训练模型输出该字符串f1对应的跨模态图文特征51x。进一步地，该计算机设备还可以获取与该字符串f1相关联的字符串位置特征52x。其中，该计算机设备可以获取字符串f1在文本数据50s中的字符串序号信息，进而可以基于获取到的字符串序号信息，确定该字符串f1的字符串位置特征52x。应当理解，该计算机设备可以将字符串f1对应的跨模态图文特征51x与字符串f1对应的字符串位置特征52x进行特征拼接，以得到字符串f1对应的字符串拼接特征，进而可以通过图5所示的网络层500l，对字符串f1对应的字符串拼接特征进行归一化处理，从而可以得到字符串f1对应的字符串提取特征。
144.依次类推，该计算机设备还可以获取字符串f1对应的字符串提取特征、
…
、以及字符串fn对应的字符串提取特征，以得到n个字符串提取特征，进而可以基于这n个字符串提取特征，生成文本数据50s对应的文本特征50x，且将该文本特征50x作为文本模态类型对应的模态特征。
145.其中，上述图4所对应实施例中的特征提取网络层以及上述图5所对应实施例中的特征提取网络层均可以为多模态识别模型中的网络层，也可以为独立于多模态识别模型的网络层，这里将不对其进行限定。
146.步骤s103，在获取到第(i-1)次迭代训练后的初始多模态识别模型时，基于多模态特征xi，对初始多模态识别模型进行迭代训练，得到第一训练模型，且基于多模态特征x
i 1
，对第一训练模型进行迭代训练，直到(i 1)等于m时，得到第二训练模型。
147.具体地，当i等于1时，该计算机设备获取到的初始多模态识别模型为第0次迭代训练后的多模态识别模型(例如，图2所示的多模态识别模型w0)，这意味着该计算机设备对多模态识别模型进行首次迭代训练，此时，该计算机设备可以依次从m个多模态特征中获取多模态特征x1，对初始多模态识别模型进行迭代训练，从而得到第一训练模型，进一步地，该计算机设备可以从m个多模态特征中获取多模态特征x2，对第一训练模型进行迭代训练，直到(i 1)等于m时，即该计算机设备采用多模态特征xm进行迭代训练后，得到第二训练模型。
148.应当理解，该计算机设备逐一采用多模态特征xi，对第(i-1)次迭代训练后的初始多模态识别模型进行多层次的迭代训练时，这意味着该计算机设备逐一进行预训练任务。其中，这里的预训练任务可以包括多模态特征x1对应的预训练任务1、多模态特征x2对应的预训练任务2、
…
、以及多模态特征xm对应的预训练任务m，其中，这里的预训练任务的执行顺序可以不做限定。
149.为便于理解，进一步地，请参见图6，图6是本技术实施例提供的一种多模态识别模型的网络架构示意图。如图6所示，本技术实施例中的多模态识别模型600w可以为该计算机设备获取到的第(i-1)次迭代训练后的初始多模态识别模型。如图6所示，该多模态识别模型600w可以包括用于对各种模态类型(包括视频模态类型、图片模态类型以及文本模态类型)对应的多媒体数据进行特征提取的特征提取网络层。其中，这里的特征提取网络层可以包括上述图4所对应的用于对文本数据进行特征提取的特征提取网络层，也可以包括上述图5所对应的用于对视频数据或文本数据进行特征提取的特征提取网络层。
150.其中，可以理解的是，该多模态识别模型600w的不仅可以输出媒体数据63与媒体数据62之间的匹配度，还可以输出媒体数据61的文本类型以及媒体数据62的视频类型。应当理解，计算机设备可以基于子数据集si对应的多模态特征xi，对多模态识别模型600w进行迭代训练，此时，本技术实施例可以确定该多模态识别模型600w所需进行的预训练任务为预训练任务i。其中，媒体数据61经过分词处理后能够得到图6所示的n个字符串，具体可以包括字符串f1、字符串f2、
…
、以及字符串fn。媒体数据62可以由m个视频帧数据所组成的，具体可以包括图片数据t1、
…
、以及图片数据tm。
151.可以理解的是，若子数据集si中的媒体数据所关联的模态类型包括视频模态类型和图片模态类型，则该计算机设备进行的预训练任务i可以为视频图片预训练任务。此时，图6所示的媒体数据62可以为该子数据集si中的属于视频模态类型的视频数据，媒体数据63可以为该子数据集si中的属于图片模态类型的图片数据，由于图6所示的媒体数据61为属于文本模态类型的文本数据，因此，该媒体数据61可以为由该计算机设备确定的初始媒体数据(例如，空字符串)。此时，该计算机设备可以将子数据集si中的正样本数据和负样本数据一并输入至该多模态识别模型600w，通过该多模态识别模型600w中的特征提取网络层，得到子数据集si对应的多媒体特征xi，进而可以基于多媒体特征xi，学习属于图片模态类型的图片数据是否为属于视频模态类型的视频数据的关键图片数据(例如，封面图片数据)，即媒体数据63是否为媒体数据62的关键图片数据。其中，该计算机设备可以在进行预训练任务i时，可以将学习率设置为第一设置阈值(例如，1e-2)，采用一种优化器(例如，adaptive moment estimation，简称adam优化器)对多模态识别模型w0的网络参数进行更新。这里的衰减参数可以设置为第二设置阈值(例如，1e-4)。其中，这里的第一设置阈值和第二设置阈值均可以根据实际情况进行动态调整，这里将不对其进行限定。
152.可选的，若子数据集si中的媒体数据所关联的模态类型包括图片模态类型和文本模态类型，则该计算机设备进行的预训练任务i可以为图片文本预训练任务。此时，图6所示的媒体数据61可以为该子数据集si中的属于文本模态类型的文本数据，媒体数据63可以为该子数据集si中的属于图片模态类型的图片数据，由于图6所示的媒体数据62为属于视频模态类型的视频数据，因此，该媒体数据62可以为由该计算机设备确定的初始媒体数据(例如，空字符串)。此时，该计算机设备可以将子数据集si一并输入至该多模态识别模型600w，通过该多模态识别模型600w中的特征提取网络层，得到子数据集si对应的多媒体特征xi，进而可以基于多媒体特征xi，学习属于图片模态类型的图片数据与属于文本模态类型的文本数据之间的匹配度，即媒体数据63与媒体数据61之间的匹配度。
153.可选的，若子数据集si中的媒体数据所关联的模态类型包括视频模态类型和文本模态类型，则该计算机设备进行的预训练任务i可以为视频文本预训练任务。此时，图6所示的媒体数据61可以为该子数据集si中的属于文本模态类型的文本数据，媒体数据62可以为该子数据集si中的属于视频模态类型的视频数据，由于图6所示的媒体数据63为属于图片模态类型的图片数据，因此，该媒体数据63可以为由该计算机设备确定的初始媒体数据(例如，空字符串)。此时，该计算机设备可以将子数据集si一并输入至该多模态识别模型600w，通过该多模态识别模型600w中的特征提取网络层，得到子数据集si对应的多媒体特征xi，进而可以基于多媒体特征xi，学习属于视频模态类型的视频数据与属于文本模态类型的文本数据之间的语义匹配度，即媒体数据61与媒体数据62之间的语义匹配度。
154.步骤s104，基于与初始多模态识别模型相关联的模型收敛条件以及第二训练模型，生成目标多模态识别模型。
155.具体地，该计算机设备可以获取携带样本标签的调整数据集。其中，这里的调整数据集中的调整数据组可以包括属于视频模态类型的调整样本视频数据、属于文本模态类型的调整样本文本数据以及属于图片模态类型的调整样本图片数据；这里的样本标签包括第一样本标签、第二样本标签以及第三样本标签；其中，第一样本标签可以用于指示调整样本视频数据的视频类型(例如，电影类型、电视剧类型、新闻类型等)；第二样本标签可以用于指示调整样本文本数据的文本类型(例如，劣质标题类、夸大其词类、故弄悬疑类等)；第三样本标签可以用于指示调整样本图片数据与调整样本视频数据之间的匹配度。此时，该计算机设备可以分别对调整样本视频数据、调整样本文本数据以及调整样本图片数据进行特征提取，得到调整样本特征。其中，这里的调整样本特征包括调整样本视频数据对应的调整样本视频特征、调整样本文本数据对应的调整样本文本特征以及调整样本图片数据对应的调整样本图片特征。进一步地，该计算机设备可以基于调整样本视频特征、调整样本文本特征、调整图片视频特征以及第二训练模型，得到包括第一预测标签、第二预测标签以及第三预测标签的预测标签。此时，该计算机设备可以基于样本标签、预测标签以及与初始多模态识别模型相关联的模型收敛条件，对第二训练模型进行调整训练，将调整训练后的第二训练模型作为目标多模态识别模型。
156.应当理解，该计算机设备可以获取属于视频模态类型的媒体数据，将获取到的媒体数据确定为第三视频数据集。进而可以通过计算机设备的关键图片数据识别策略以及人工选图操作，确定第三视频数据集中的每个视频数据的初始关键图片数据(例如，封面图片数据)，此时，本技术实施例可以将第三视频数据集中的视频数据、该视频数据对应的初始关键图片数据以及该视频数据对应的文本数据所组成的数据组确定为待处理数据组。其中，这里的人工选图操作可以包括人工对图片进行色彩增强等编辑，以提高初始关键图片数据选择的准确度。进一步地，该计算机设备可以确定每个待处理数据组中视频数据与初始关键图片数据之间的距离，并基于这些距离进行排序处理，以得到距离排序结果。其中，这里的距离可以为图片哈希距离，也可以为图片向量距离，这里将不对其进行限定。
157.此时，该计算机设备可以基于距离排序结果选择第一距离范围(例如，前10％)内的待处理数据组，作为正样本数据组，选择第二距离范围(例如，后50％)内的待处理数据组，作为负样本数据组，进而可以将选择的正样本数据组和负样本数据组，确定为用于对第二训练模型进行调整训练的调整数据集。
158.进一步地，该计算机设备可以将调整数据集输入至第二训练模型(例如，上述图6所示的多模态识别模型600w)时，以根据该多模态识别模型600w中的特征提取网络层分别对调整数据集中的调整样本视频数据、调整样本文本数据以及调整样本图片数据进行特征提取，以得到调整样本视频数据对应的调整样本视频特征、调整样本文本数据对应的调整样本文本特征以及调整样本图片数据对应的调整样本图片特征。
159.此时，该计算机设备可以通过第二训练模型中的基于自注意力机制的网络层、调整样本视频特征、调整样本文本特征以及调整图片视频特征，得到包括第一预测标签、第二预测标签以及第三预测标签的预测标签。此时，该计算机设备可以获取与初始多模态识别模型相关联的模型收敛条件；该模型收敛条件可以用于指示模型损失小于或者等于模型损
失阈值。
160.如图6所示多模态识别模型600w训练为多任务训练，也同时学习m个任务(以3个为例)，分别为视频类型，文本类型以及图片数据与视频数据之间的匹配度。因此，本技术实施例设置的多模态识别模型的损失函数可以参见下述公式(2)：
161.loss＝k1*loss_video k2*loss_title k3*loss_image
ꢀꢀꢀ
(2)
162.其中，k1可以是指计算机设备为loss_video(即视频损失参数)配置的视频损失权重(例如，0.1)，k2可以是指计算机设备为loss_title(即文本损失参数)配置的文本损失权重(例如，0.1)，k3可以是指计算机设备为loss_image(即图片损失参数)配置的图片损失权重(例如，0.8)。
163.其中，视频类型及文本类型的标签均为监督标签且相对客观因此使用可以采用交叉熵损失(cross entrop)来确定视频损失参数和文本损失参数，而图片数据与视频数据之间的匹配度属于主观性数据，因此本技术实施例认为该用于指示调整样本图片数据与调整样本视频数据之间的匹配度的第三样本标签是带有噪声的标签，因此，该图片损失参数需要使用带噪学习的一种损失函数
‑‑
symmetric cross entropy(sce损失函数)来确定。由于该sce损失函数受kl散度启发，在无噪声标签的情况下，可以用kl(q||p)表示让p不断向q靠近而计算的penalty。但是如果q属于噪声标签，那么就无法表示正确的标签分布了，此时p就在一定程度上可以表示正确的标签分布。所以这里考虑还可以kl散度的反方向kl(p||q)，将两者相加能够提高鲁棒性。本技术实施例将kl散度的计算推广至交叉熵函数，则sce损失函数可以参见下述公式(3)：
164.sce＝ce rce＝h(q,p) h(p,q)
ꢀꢀꢀ
(3)
165.其中，h为交叉熵损失函数。
166.因此，该计算机设备确定多模态识别模型的模型损失的具体方式可以参见下述公式(4)：
167.loss＝k1*ce_video k2*ce_title k3*sce_image
ꢀꢀꢀ
(4)
168.应当理解，该计算机设备可以基于第一样本标签和第一预测标签，确定视频损失参数对应的视频损失值，基于第二样本标签和第二预测标签，确定文本损失参数对应的文本损失值，基于第三样本标签和第三预测标签，确定图片损失参数对应的图片损失值，进而可以通过上述公式(4)，基于视频损失值、文本损失值、图片损失值、视频损失权重、文本损失权重以及图片损失权重，确定第二训练模型的模型损失函数对应的模型损失。进一步地，该计算机设备可以基于模型损失对第二训练模型进行调整训练，得到模型训练结果。若模型训练结果指示调整训练后的第二训练模型满足模型收敛条件，则该计算机设备可以将满足模型收敛条件的第二训练模型作为目标多模态识别模型。可选的，若模型训练结果指示调整训练后的第二训练模型不满足模型收敛条件，则该计算机设备基于不满足该模型收敛条件的模型损失函数，对该第二训练模型的模型参数进行调整。进一步地，该计算机设备可以将调整模型参数后的第二训练模型确定为过渡多模态识别模型，进而可以对该过渡多模态识别模型进行调整训练，直到训练后的过渡多模态识别模型满足该模型收敛条件时，该计算机设备可以将满足该模型收敛条件的过渡多模态识别模型作为目标多模态识别模型。
169.为便于理解，进一步地，请参见图7，图7是本技术实施例提供的一种进行多层次的迭代训练的训练过程示意图。如图7所示，本技术实施例中的训练过程可以包括四个阶段，
具体可以包括样本数据采集阶段、预训练阶段、调整阶段以及推理阶段。
170.其中，在样本数据采集阶段中，计算机设备可以获取图7所示的样本数据集71s以及包含调整数据组的调整数据集72s，这里的样本数据集71s中的子数据集可以以3个为例，具体可以包括子数据集s1、子数据集s2以及子数据集s3。其中，每个子数据集中的媒体数据所关联的模态类型可以以2个为例，每两个子数据集之间存在不同模态类型的媒体数据。这里的调整数据集72s中的调整数据组可以包括调整样本视频数据、调整样本文本数据以及调整样本图片数据。
171.进一步地，在预训练阶段中，计算机设备可以针对这3个子数据集分别对应的预训练任务，逐一对多模态识别模型710w(即首次迭代的多模态识别模型)进行多层次的迭代训练，以得到图7所示的多模态识别模型720w。其中，子数据s1对应的预训练任务可以为预训练任务1(例如，视频图片预训练任务)，子数据s2对应的预训练任务可以为预训练任务2(例如，图片文本预训练任务)，子数据s3对应的预训练任务可以为预训练任务3(例如，视频文本预训练任务)，本技术将不对这3个预训练任务的训练顺序进行限定。
172.在调整阶段中，计算机设备可以基于调整数据组对应的调整样本特征，对多模态识别模型720w进行调整训练，且在调整训练结束后得到图7所示的多模态识别模型730w(即目标多模态识别模型)。其中，这里的调整样本特征可以包括调整样本视频数据对应的调整样本视频特征、调整样本文本数据对应的调整样本文本特征、调整样本图片数据对应的调整样本图片特征。
173.在推理阶段中，该计算机设备对可以支持单模态或多模态的输入，使得图片数据的识别准确度更加灵活。比如，该计算机设备可以获取验证数据集，其中，这里的验证数据集可以为调整数据集，也可以为该计算机设备重新获取到的带有标签的预标注测试集，用于验证该多模态识别模型730w进行匹配度识别的准确度。比如，该计算机设备可以将验证数据集中的每个验证数据组输入至多模态识别模型730w中，由该多模态识别模型730w输出每个验证数据组对应的匹配度，进而可以对这些匹配度进行排序，将排序范围属于目标排序范围(例如，前三名)的验证数据组作为验证结果集，以使评测对象(例如，评测用户)进行人工评测，最终得到该多模态识别模型730w所得到的验证结果集的匹配度识别的准确度率得到了有效保障。这样的两两提前进行训练除了让多模态识别模型730w将学习到的不同识别维度下的多模态信息表现在同一个空间以外，还能使得多模态识别模型730w在某个模态类型的缺失时，具有一定的鲁棒性，即如果属于文本模态类型的媒体数据的输入为空，该多模态识别模型730w仍然可以学习属于视频模态类型的媒体数据与属于图片模态类型的媒体数据之间的相关性。
174.在本技术实施例中，由于样本数据集的m个子数据集中的每个子数据集的媒体数据均关联n个模态类型，且每两个子数据集之间存在不同模态类型的媒体数据，因此，计算机设备可以通过m个子数据集分别对应的多模态特征，逐一对多模态识别模型进行多层次的迭代训练，能够综合考虑多种识别维度，进而可以基于模型收敛条件以及迭代训练后的第二训练模型，生成的目标多模态识别模型。其中，一种子数据集可以对应一种识别维度，那么该计算机设备在通过目标多模态识别模型，对目标视频数据与待识别图片数据之间的匹配度进行时，能够获取多维度信息，从而提升匹配度识别的准确度。
175.进一步地，请参见图8，图8是本技术实施例提供的一种数据处理方法的流程示意
图。该方法可以由具有多层次模型训练功能的终端设备(例如，上述图1所示的终端设备集群中的任意一个终端设备，例如，终端设备100a)执行，也可以由具有多层次模型训练功能的服务器(例如，上述图1所示的服务器10f)执行，还可以由具备模型应用功能的终端设备和具备模型训练功能的服务器交互执行，在此不做限定。该方法至少可以包括以下步骤s201-步骤s208：
176.步骤s201，获取样本数据集；
177.步骤s202，获取每个子数据集分别对应的多模态特征；
178.步骤s203，在获取到第(i-1)次迭代训练后的初始多模态识别模型时，基于多模态特征xi，对初始多模态识别模型进行迭代训练，得到第一训练模型，且基于多模态特征x
i 1
，对第一训练模型进行迭代训练，直到(i 1)等于m时，得到第二训练模型；
179.步骤s204，基于与初始多模态识别模型相关联的模型收敛条件以及第二训练模型，生成目标多模态识别模型。
180.其中，本技术实施例中的数据处理方法可以包括模型训练过程以及模型应用过程。可以理解的是，该步骤s201-步骤s204阐述了模型训练过程，该模型训练过程的具体实施方式可参见上述图3所对应实施例中对步骤s101-步骤s104的描述，这里将不再继续进行赘述。
181.其中，该模型应用过程具体可以参见下述步骤s205-步骤s208的描述。
182.步骤s205，在获取到目标视频数据以及z个待识别图片数据时，确定z个视频图片对。
183.具体地，该计算机设备可以获取与视频模态类型和文本模态类型相关联的目标视频数据，以及获取z个待与目标视频数据进行匹配度识别的待识别图片数据，此时，该计算机设备可以基于目标视频数据以及z个待识别图片数据，确定z个视频图片对。其中，这里的一个视频图片对是由目标视频数据以及一个待识别图片数据所确定的。可选的，该计算机设备还可以基于目标视频数据以及z个待识别图片数据，确定z个视频图片组。其中，一个视频图片组是由目标视频数据、目标视频数据对应的目标文本数据以及一个待识别图片数据所确定的。这里将不对视频图片对中媒体数据的模态类型的数量进行限定。
184.步骤s206，从z个视频图片对中获取目标视频图片对，确定目标视频图片对的目标特征。
185.具体地，该计算机设备可以将z个视频图片对中的每个视频图片对，依次作为目标视频图片对，进而可以获取目标视频图片对的目标特征。其中，目标特征包括与目标视频数据相关联的目标文本模态特征、目标视频数据对应的目标视频模态特征以及目标视频图片对中的待识别图片数据对应的目标图片模态特征。
186.步骤s207，基于目标文本模态特征、目标视频模态特征、目标图片模态特征以及目标多模态识别模型，得到目标视频图片对中目标视频数据与待识别图片数据之间的匹配度。
187.具体地，在该计算机设备生成目标多模态识别模型不包括特征提取网络层时，该计算机设备可以将目标文本模态特征、目标视频模态特征以及目标图片模态特征输入至目标多模态识别模型，由该目标多模态识别模型输出目标视频图片对中目标视频数据与待识别图片数据之间的匹配度。可选的，在该计算机设备生成目标多模态识别模型包括特征提
取网络层时，该计算机设备可以将目标视频数据、目标视频数据对应的目标文本数据以及目标视频图片对中的待识别图片数据一并输入至目标多模态识别模型，由该目标多模态识别模型输出目标视频图片对中目标视频数据与待识别图片数据之间的匹配度。
188.步骤s208，在获取到z个视频图片对中的每个视频图片对分别对应的匹配度时，基于z个匹配度，从z个待识别图片数据中获取具有最高匹配度的待识别图片数据，将获取到的待识别图片数据确定为与目标视频数据具备匹配关系的目标图片数据。
189.具体地，在获取到z个视频图片对中的每个视频图片对分别对应的匹配度时，该计算机设备可以基于z个匹配度，从z个待识别图片数据中获取具有最高匹配度的待识别图片数据，将获取到的待识别图片数据确定为与目标视频数据具备匹配关系的目标图片数据，这意味着该计算机设备可以将具有最高匹配度的待识别图片数据确定为该目标视频数据的关键图片数据(例如，封面图片数据)。
190.在本技术实施例中，由于样本数据集的m个子数据集中的每个子数据集的媒体数据均关联n个模态类型，且每两个子数据集之间存在不同模态类型的媒体数据，因此，计算机设备可以通过m个子数据集分别对应的多模态特征，逐一对多模态识别模型进行多层次的迭代训练，能够综合考虑多种识别维度，进而可以基于模型收敛条件以及迭代训练后的第二训练模型，生成的目标多模态识别模型。其中，一种子数据集可以对应一种识别维度，那么该计算机设备在通过目标多模态识别模型，对目标视频数据与待识别图片数据之间的匹配度进行时，能够获取多维度信息，从而提升匹配度识别的准确度。此外，本技术实施例在对第二训练模型进行调整训练时，使用带噪学习的思想设计损失函数，以至于能够有效处理图片数据识别这类带有主观因素的任务。
191.进一步地，请参见图9，图9是本技术实施例提供的一种数据处理装置的结构示意图。该数据处理装置1可以包括：数据集获取模块100，多模态特征获取模块200，迭代训练模块300以及目标模型生成模块400。
192.该数据集获取模块100，用于获取样本数据集；样本数据集包括m个子数据集，每个子数据集中的媒体数据均关联n个模态类型，每两个子数据集之间存在不同模态类型的媒体数据；m和n均为大于1的正整数；
193.该多模态特征获取模块200，用于获取每个子数据集分别对应的多模态特征；m个多模态特征包括多模态特征xi和多模态特征x
i 1
；i为小于m的正整数；
194.该迭代训练模块300，用于在获取到第(i-1)次迭代训练后的初始多模态识别模型时，基于多模态特征xi，对初始多模态识别模型进行迭代训练，得到第一训练模型，且基于多模态特征x
i 1
，对第一训练模型进行迭代训练，直到(i 1)等于m时，得到第二训练模型；
195.该目标模型生成模块400，用于基于与初始多模态识别模型相关联的模型收敛条件以及第二训练模型，生成目标多模态识别模型；目标多模态识别模型用于识别目标视频数据和待识别图片数据之间的匹配度；样本数据集关联的模态类型包括目标视频数据所关联的模态类型以及待识别图片数据对应的模态类型。
196.其中，该数据集获取模块100，多模态特征获取模块200，迭代训练模块300以及目标模型生成模块400的具体实现方式可以参见上述图3所对应实施例中对步骤s101-步骤s104的描述，这里将不再继续进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
197.进一步地，请参见图10，图10是本技术实施例提供的一种数据处理装置的结构示意图。该数据处理装置2可以包括：数据集获取模块10，多模态特征获取模块20，迭代训练模块30，目标模型生成模块40，目标视频数据获取模块50，目标特征确定模块60，匹配度输出模块70以及目标图片确定模块80。
198.该数据集获取模块10，用于获取样本数据集；样本数据集包括m个子数据集，每个子数据集中的媒体数据均关联n个模态类型，每两个子数据集之间存在不同模态类型的媒体数据；m和n均为大于1的正整数。
199.其中，初始多模态识别模型所关联的模态类型包括第一模态类型、第二模态类型以及第三模态类型；
200.该数据集获取模块10包括：第一子数据集确定单元101，第二子数据集确定单元102，第三子数据集确定单元103以及样本数据集确定单元104。
201.该第一子数据集确定单元101，用于基于属于第一模态类型的媒体数据以及属于第二模态类型的媒体数据，确定第一子数据集。
202.其中，该第一子数据集确定单元101包括：第一视频数据集确定子单元1011，第一正样本确定子单元1012，第一负样本确定子单元1013以及第一子数据集确定子单元1014。
203.该第一视频数据集确定子单元1011，用于在第一模态类型为视频模态类型，第二模态类型为图片模态类型时，获取属于视频模态类型的媒体数据，将获取到的媒体数据确定为第一视频数据集；第一视频数据集包括x1个视频数据；x1为正整数；
204.该第一正样本确定子单元1012，用于从x1个视频数据中获取视频数据vk，从视频数据vk中获取属于图片模态类型的待处理图片数据，将视频数据vk与待处理图片数据所组成的视频图片对确定为第一正样本数据；k小于或者等于x1；
205.该第一负样本确定子单元1013，用于基于针对待处理图片数据的距离确定策略以及x1个视频数据，确定与视频数据vk相关联的第一负样本数据。
206.其中，该第一负样本确定子单元1013包括：策略获取子单元10131，待检测视频类型确定子单元10132，距离确定子单元10133，图片距离确定子单元10134以及负样本图片确定子单元10135。
207.该策略获取子单元10131，用于获取针对待处理图片数据的距离确定策略；
208.该待检测视频类型确定子单元10132，用于从x1个视频数据所包括的除待处理图片数据之外的y个图片数据中，确定属于图片模态类型的候选图片数据，将候选图片数据所属的视频数据的视频类型确定为待检测视频类型；y为大于x1的正整数；
209.该距离确定子单元10133，用于基于距离确定策略，确定待检测视频类型与视频数据vk的视频类型之间的第一距离，确定候选图片数据以及待处理图片数据之间的第二距离；
210.该图片距离确定子单元10134，用于基于第一距离和第二距离，确定待处理图片数据与候选图片数据之间的图片距离；
211.该负样本图片确定子单元10135，用于在获取到y个图片距离时，从y个图片数据中筛选满足负样本图片筛选条件的图片数据，将筛选出的图片数据确定为负样本图片数据，将视频数据vk以及负样本图片数据所组成的视频图片对确定为第一负样本数据。
212.其中，该策略获取子单元10131，待检测视频类型确定子单元10132，距离确定子单
元10133，图片距离确定子单元10134以及负样本图片确定子单元10135的具体实现方式可以参见上述图3所对应实施例中对第一负样本数据的描述，这里将不再继续进行赘述。
213.该第一子数据集确定子单元1014，用于将x1个视频数据分别对应的第一正样本数据以及x1个视频数据分别对应的第一负样本数据确定为第一子数据集。
214.其中，该第一视频数据集确定子单元1011，第一正样本确定子单元1012，第一负样本确定子单元1013以及第一子数据集确定子单元1014的具体实现方式可以参见上述图3所对应实施例中对第一子数据集的描述，这里将不再继续进行赘述。
215.该第二子数据集确定单元102，用于基于属于第一模态类型的媒体数据以及属于第三模态类型的媒体数据，确定第二子数据集。
216.其中，第二子数据集确定单元102包括：第二视频数据集确定子单元1021，第二正样本确定子单元1022，第二负样本确定子单元1023以及第二子数据集确定子单元1024。
217.该第二视频数据集确定子单元1021，用于在第一模态类型为视频模态类型，第三模态类型为文本模态类型时，获取属于视频模态类型的媒体数据，将获取到的媒体数据确定为第二视频数据集；第二视频数据集包括x2个视频数据；x2为正整数；
218.该第二正样本确定子单元1022，用于从x2个视频数据中获取视频数据vh，从视频数据vh中获取属于文本模态类型的待处理文本数据，将视频数据vh以及待处理文本数据所组成的视频文本对确定为第二正样本数据；h小于或者等于x2；
219.该第二负样本确定子单元1023，用于确定视频数据vh的视频类型，从x2个视频数据中筛选与视频数据vh具有不同视频类型的视频数据，将筛选出的视频数据对应的文本数据确定为负样本文本数据，将视频数据vh与负样本文本数据所组成的视频文本对确定为第二负样本数据；
220.该第二子数据集确定子单元1024，用于将x2个视频数据分别对应的第二正样本数据以及x2个视频数据分别对应的第二负样本数据确定为第二子数据集。
221.其中，该第二视频数据集确定子单元1021，第二正样本确定子单元1022，第二负样本确定子单元1023以及第二子数据集确定子单元1024的具体实现方式可以参见上述图3所对应实施例中对第二子数据集的描述，这里将不再继续进行赘述。
222.该第三子数据集确定单元103，用于基于属于第二模态类型的媒体数据以及属于第三模态类型的媒体数据，确定第三子数据集；
223.该样本数据集确定单元104，用于将包括第一子数据集、第二子数据集以及第三子数据集的数据集确定为样本数据集。
224.其中，该第一子数据集确定单元101，第二子数据集确定单元102，第三子数据集确定单元103以及样本数据集确定单元104的具体实现方式可以参见上述图3所对应实施例中对步骤s101的描述，这里将不再继续进行赘述。
225.该多模态特征获取模块20，用于获取每个子数据集分别对应的多模态特征；m个多模态特征包括多模态特征xi和多模态特征x
i 1
；i为小于m的正整数。
226.其中，多模态特征获取模块20包括：待编码子数据集获取单元201，特征提取单元202以及多模态特征确定单元203。
227.该待编码子数据集获取单元201，用于从m个子数据集中获取待编码子数据集sj，在待编码子数据集sj所关联的n个模态类型中确定模态类型lg，将待编码子数据集sj中的属
于模态类型lg的媒体数据确定为待编码媒体数据；j为小于或者等于m的正整数；g为小于或者等于n的正整数；
228.该特征提取单元202，用于对待编码媒体数据进行特征提取，得到模态类型lg对应的模态特征。
229.其中，模态类型lg为图片模态类型；
230.该特征提取单元202包括：待编码图片确定子单元2021，图片位置特征获取子单元2022，图片特征确定子单元2023，待编码文本确定子单元2024，分词处理子单元2025以及文本特征确定子单元2026。
231.该待编码图片确定子单元2021，用于从待编码媒体数据中确定属于图片模态类型的待编码图片数据；
232.该图片位置特征获取子单元2022，用于获取与待编码图片数据相关联的图片位置特征以及待编码图片数据对应的第一跨模态图文特征；
233.该图片特征确定子单元2023，用于对图片位置特征以及第一跨模态图文特征进行特征提取，得到待编码图片数据对应的图片特征，将图片特征作为图片模态类型对应的模态特征。
234.其中，模态类型lg为文本模态类型；
235.该待编码文本确定子单元2024，用于从待编码媒体数据中确定属于文本模态类型的待编码文本数据；
236.该分词处理子单元2025，用于对待编码文本数据进行分词处理，得到待编码文本数据对应的待编码字符串；
237.该文本特征确定子单元2026，用于对待编码字符串进行特征提取，得到待编码字符串对应的字符串提取特征，基于字符串提取特征，生成待编码文本数据对应的文本特征，将文本特征作为文本模态类型对应的模态特征。
238.其中，文本特征确定子单元2026包括：字符串位置特征获取子单元20261，特征拼接子单元20262，归一化处理子单元20263以及文本特征生成子单元20264。
239.该字符串位置特征获取子单元20261，用于获取与待编码字符串相关联的字符串位置特征以及待编码字符串对应的第二跨模态图文特征；
240.该特征拼接子单元20262，用于对字符串位置特征以及第二跨模态图文特征进行特征拼接，得到待编码字符串对应的字符串拼接特征；
241.该归一化处理子单元20263，用于对字符串拼接特征进行归一化处理，基于归一化处理后的字符串拼接特征，得到待编码字符串对应的字符串提取特征；
242.该文本特征生成子单元20264，用于基于字符串提取特征，生成待编码文本数据对应的文本特征，将文本特征作为文本模态类型对应的模态特征。
243.其中，该字符串位置特征获取子单元20261，特征拼接子单元20262，归一化处理子单元20263以及文本特征生成子单元20264的具体实现方式可以参见上述图5所对应实施例中对字符串提取特征的描述，这里将不再继续进行赘述。
244.其中，该待编码图片确定子单元2021，图片位置特征获取子单元2022，图片特征确定子单元2023，待编码文本确定子单元2024，分词处理子单元2025以及文本特征确定子单元2026的具体实现方式可以参见上述图3所对应实施例中对模态特征的描述，这里将不再
继续进行赘述。
245.该多模态特征确定单元203，用于将待编码子数据集sj中n个模态类型分别对应的模态特征确定为多模态特征xj。
246.其中，该待编码子数据集获取单元201，特征提取单元202以及多模态特征确定单元203的具体实现方式可以参见上述图3所对应实施例中对步骤s102的描述，这里将不再继续进行赘述。
247.该迭代训练模块30，用于在获取到第(i-1)次迭代训练后的初始多模态识别模型时，基于多模态特征xi，对初始多模态识别模型进行迭代训练，得到第一训练模型，且基于多模态特征x
i 1
，对第一训练模型进行迭代训练，直到(i 1)等于m时，得到第二训练模型；
248.该目标模型生成模块40，用于基于与初始多模态识别模型相关联的模型收敛条件以及第二训练模型，生成目标多模态识别模型；目标多模态识别模型用于识别目标视频数据和待识别图片数据之间的匹配度；样本数据集关联的模态类型包括目标视频数据所关联的模态类型以及待识别图片数据对应的模态类型。
249.其中，目标模型生成模块40包括：调整数据集获取单元401，调整样本特征确定单元402，预测标签输出单元403以及调整训练单元404。
250.该调整数据集获取单元401，用于获取携带样本标签的调整数据集；调整数据集中的调整数据组包括属于视频模态类型的调整样本视频数据、属于文本模态类型的调整样本文本数据以及属于图片模态类型的调整样本图片数据；样本标签包括第一样本标签、第二样本标签以及第三样本标签；第一样本标签用于指示调整样本视频数据的视频类型；第二样本标签用于指示调整样本文本数据的文本类型；第三样本标签用于指示调整样本图片数据与调整样本视频数据之间的匹配度；
251.该调整样本特征确定单元402，用于分别对调整样本视频数据、调整样本文本数据以及调整样本图片数据进行特征提取，得到调整样本特征；调整样本特征包括调整样本视频数据对应的调整样本视频特征、调整样本文本数据对应的调整样本文本特征以及调整样本图片数据对应的调整样本图片特征；
252.该预测标签输出单元403，用于基于调整样本视频特征、调整样本文本特征、调整样本图片特征以及第二训练模型，得到包括第一预测标签、第二预测标签以及第三预测标签的预测标签；
253.该调整训练单元404，用于基于样本标签、预测标签以及与初始多模态识别模型相关联的模型收敛条件，对第二训练模型进行调整训练，将调整训练后的第二训练模型作为目标多模态识别模型。
254.其中，调整训练单元404包括：模型收敛条件获取子单元4041，损失值确定子单元4042，模型损失确定子单元4043，调整训练子单元4044以及目标模型确定子单元4045。
255.该模型收敛条件获取子单元4041，用于获取与初始多模态识别模型相关联的模型收敛条件；模型收敛条件包括为视频损失参数配置的视频损失权重、为文本损失参数配置的文本损失权重以及为图片损失参数配置的图片损失权重；
256.该损失值确定子单元4042，用于基于第一样本标签和第一预测标签，确定视频损失参数对应的视频损失值，基于第二样本标签和第二预测标签，确定文本损失参数对应的文本损失值，基于第三样本标签和第三预测标签，确定图片损失参数对应的图片损失值；
257.该模型损失确定子单元4043，用于基于视频损失值、文本损失值、图片损失值、视频损失权重、文本损失权重以及图片损失权重，确定第二训练模型的模型损失函数对应的模型损失；
258.该调整训练子单元4044，用于基于模型损失对第二训练模型进行调整训练，得到模型训练结果；
259.该目标模型确定子单元4045，用于若模型训练结果指示调整训练后的第二训练模型满足模型收敛条件，则将满足模型收敛条件的第二训练模型作为目标多模态识别模型。
260.其中，该模型收敛条件获取子单元4041，损失值确定子单元4042，模型损失确定子单元4043，调整训练子单元4044以及目标模型确定子单元4045的具体实现方式可以参见上述图3所对应实施例中对模型进行调整训练的描述，这里将不再继续进行赘述。
261.其中，该调整数据集获取单元401，调整样本特征确定单元402，预测标签输出单元403以及调整训练单元404的具体实现方式可以参见上述图3所对应实施例中对步骤s104的描述，这里将不再继续进行赘述。
262.该目标视频数据获取模块50，用于在获取到目标视频数据以及z个待识别图片数据时，确定z个视频图片对；一个视频图片对是由目标视频数据以及一个待识别图片数据组成的；z为大于1的正整数；
263.该目标特征确定模块60，用于从z个视频图片对中获取目标视频图片对，确定目标视频图片对的目标特征；目标特征包括与目标视频数据相关联的目标文本模态特征、目标视频数据对应的目标视频模态特征以及目标视频图片对中的待识别图片数据对应的目标图片模态特征；
264.该匹配度输出模块70，用于基于目标文本模态特征、目标视频模态特征、目标图片模态特征以及目标多模态识别模型，得到目标视频图片对中目标视频数据与待识别图片数据之间的匹配度；
265.该目标图片确定模块80，用于在获取到z个视频图片对中的每个视频图片对分别对应的匹配度时，基于z个匹配度，从z个待识别图片数据中获取具有最高匹配度的待识别图片数据，将获取到的待识别图片数据确定为与目标视频数据具备匹配关系的目标图片数据。
266.其中，该数据集获取模块10，多模态特征获取模块20，迭代训练模块30，目标模型生成模块40，目标视频数据获取模块50，目标特征确定模块60，匹配度输出模块70以及目标图片确定模块80的具体实现方式可以参见上述图8所对应实施例中对步骤s201-步骤s208的描述，这里将不再继续进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
267.进一步地，请参见图11，图11是本技术实施例提供的一种计算机设备的示意图。如图11所示，该计算机设备1000可以为具有多层次模型训练功能的计算机设备，该计算机设备1000可以包括：至少一个处理器1001，例如，cpu，至少一个网络接口1004，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1004可选地可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图11所
示，作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。其中，在一些实施例中，该计算机设备还可以包括图11所示的用户接口1003，比如，若该计算机设备为图1所示的具有多层次模型训练功能的终端设备(例如，终端设备100a)，则该计算机设备还可以包括该用户接口1003，其中，该用户接口1003可以包括显示屏(display)、键盘(keyboard)等。
268.在图11所示的计算机设备1000中，网络接口1004主要用于进行网络通信；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
269.获取样本数据集；样本数据集包括m个子数据集，每个子数据集中的媒体数据均关联n个模态类型，每两个子数据集之间存在不同模态类型的媒体数据；m和n均为大于1的正整数；
270.获取每个子数据集分别对应的多模态特征；m个多模态特征包括多模态特征xi和多模态特征x
i 1
；i为小于m的正整数；
271.在获取到第(i-1)次迭代训练后的初始多模态识别模型时，基于多模态特征xi，对初始多模态识别模型进行迭代训练，得到第一训练模型，且基于多模态特征x
i 1
，对第一训练模型进行迭代训练，直到(i 1)等于m时，得到第二训练模型；
272.基于与初始多模态识别模型相关联的模型收敛条件以及第二训练模型，生成目标多模态识别模型；目标多模态识别模型用于识别目标视频数据和待识别图片数据之间的匹配度；样本数据集关联的模态类型包括目标视频数据所关联的模态类型以及待识别图片数据对应的模态类型。
273.应当理解，本技术实施例中所描述的计算机设备1000可执行前文图3和图8所对应实施例中对该数据处理方法的描述，也可执行前文图9所对应实施例中对该数据处理装置1和图10所对应实施例中对该数据处理装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
274.本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现图3和图8中各个步骤所提供的数据处理方法，具体可参见图3以及图8各个步骤所提供的实现方式，在此不再赘述。
275.计算机可读存储介质可以是前述任一实施例提供的数据传输装置或者计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
276.本技术一方面提供了一种计算机程序产品或计算机程序，包括计算机程序/指令，该计算机程序/指令被处理器执行时，使得该计算机设备可执行前文图3或者图8所对应实施例中对数据处理方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
277.本技术实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包括。例如包括了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
278.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
279.本技术实施例提供的方法及相关装置是参照本技术实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中的一个流程或多个流程和/或结构示意图中的一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中的一个流程或多个流程和/或结构示意图中的一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图中的一个流程或多个流程和/或结构示意图中的一个方框或多个方框中指定的功能的步骤。
280.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。