数据处理方法、装置、设备、可读存储介质及程序产品与流程

1.本技术涉及互联网技术领域，尤其涉及一种数据处理方法、装置、设备、可读存储介质及程序产品。


背景技术：

2.随着数字化时代的来临，信息数量增长速度越加快速，人们对于梳理信息的效率有着越来越高的要求。匹配两个对象之间的关系一般基于一些通用模型。常用的通用模型有翻译模型、引文分析模型、多元统计分析模型和深度神经网络模型。
3.这些模型，具有并不高的使用门槛，这些模型在语言学、文学及部分计算机学科方面有较好的应用效果，这些模型通常都是只基于文本内容匹配两个对象之间的关系，这样就会导致所匹配的关系类型过于片面，延长了两个对象之间真实关系的匹配过程。


技术实现要素：

4.本技术实施例提供一种数据处理方法、装置、设备、可读存储介质及程序产品，可以更加精准的确定第一对象实体与第二对象实体之间的目标关联关系，提高实体间关系识别效率。
5.本技术实施例一方面提供了一种数据处理方法，包括：
6.获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；n为正整数，m为正整数；
7.将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到第二融合特征；
8.预测第一融合特征、第二融合特征与候选关系特征之间的置信度，基于置信度确定第一对象实体与第二对象实体之间的目标关联关系。
9.进一步地，预测第一融合特征、第二融合特征与候选关系特征之间的置信度，包括：
10.将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，基于关系预测模型，将第一融合特征、第二融合特征与候选关系特征映射到同一向量空间，得到第一融合特征对应的第一融合向量、第二融合特征对应的第二融合向量，以及候选关系特征对应的候选关系向量；
11.将第一融合向量与候选关系向量融合得到的向量，与第二融合向量的差值，确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。
12.进一步地，预测第一融合特征、第二融合特征与候选关系特征之间的置信度，包括：
13.将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，采用关系预测模型中的关系权重，对第一融合特征及第二融合特征进行特征融合转换，得到第一融合
特征与第二融合特征之间的预测关系向量；
14.获取预测关系向量与候选关系特征之间的特征距离，将特征距离确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。
15.进一步地，候选关系特征的数量为d，d为正整数；
16.预测第一融合特征、第二融合特征与候选关系特征之间的置信度，包括：
17.预测第一融合特征和第二融合特征，分别与d个候选关系特征之间的置信度；
18.基于置信度确定第一对象实体与第二对象实体之间的目标关联关系，包括：
19.基于d个候选关系特征分别对应的置信度，对d个候选关系特征进行排序；
20.将置信度最大的候选关系特征所对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
21.进一步地，基于置信度确定第一对象实体与第二对象实体之间的目标关联关系，包括：
22.若置信度大于对象关联阈值，则将候选关系特征对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
23.本技术实施例一方面提供了另一种数据处理方法，包括：
24.获取样本实体对，样本实体对包括第一样本实体与第二样本实体；
25.获取第一样本实体所包括的n个第一样本模态分别对应的第一样本特征，获取第二样本实体所包括的m个第二样本模态分别对应的第二样本特征；获取第一样本实体与第二样本实体之间的样本关系特征；n为正整数，m为正整数；
26.将n个第一样本特征进行特征融合处理，得到第一综合样本特征；将m个第二样本特征进行特征融合处理，得到第二综合样本特征；
27.将第一综合样本特征、第二综合样本特征与样本关系特征输入初始关系预测模型进行预测，得到第一综合样本特征、第二综合样本特征与样本关系特征之间的样本预测置信度；
28.基于样本预测置信度，对初始关系预测模型进行参数调整，得到关系预测模型。
29.进一步地，样本实体对包括正样本实体对与负样本实体对；正样本实体对包括第一正样本实体与第二正样本实体；负样本实体对包括第一负样本实体与第二负样本实体；样本预测置信度包括正样本实体对所对应的正样本预测置信度，以及负样本实体对所对应的负样本预测置信度；
30.基于样本预测置信度，对初始关系预测模型进行参数调整，得到关系预测模型，包括：
31.根据正样本预测置信度与负样本预测置信度，生成针对初始关系预测模型的第一损失函数；
32.根据第一损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
33.进一步地，基于样本预测置信度，对初始关系预测模型进行参数调整，得到关系预测模型，包括：
34.获取样本关系特征针对样本实体对的样本标签；
35.根据样本预测置信度与样本标签之间的误差，生成针对初始关系预测模型的第二损失函数；
36.根据第二损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
37.本技术实施例一方面提供了一种数据处理装置，包括：
38.对象获取模块，用于获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；n为正整数，m为正整数；
39.对象融合模块，用于将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到第二融合特征；
40.对象预测模块，用于预测第一融合特征、第二融合特征与候选关系特征之间的置信度；
41.对象确定模块，用于基于置信度确定第一对象实体与第二对象实体之间的目标关联关系。
42.其中，对象预测模块包括：
43.特征映射单元，用于将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，基于关系预测模型，将第一融合特征、第二融合特征与候选关系特征映射到同一向量空间，得到第一融合特征对应的第一融合向量、第二融合特征对应的第二融合向量，以及候选关系特征对应的候选关系向量；
44.第一置信度确定单元，用于将第一融合向量与候选关系向量融合得到的向量，与第二融合向量的差值，确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。
45.其中，对象预测模块还包括：
46.特征融合单元，用于将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，采用关系预测模型中的关系权重，对第一融合特征及第二融合特征进行特征融合转换，得到第一融合特征与第二融合特征之间的预测关系向量；
47.第二置信度确定单元，用于获取预测关系向量与候选关系特征之间的特征距离，将特征距离确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。
48.其中，候选关系特征的数量为d，d为正整数；
49.对象预测模块，还包括：
50.预测单元，用于预测第一融合特征和第二融合特征，分别与d个候选关系特征之间的置信度；
51.对象确定模块，包括：
52.特征排序单元，用于基于d个候选关系特征分别对应的置信度，对d个候选关系特征进行排序；
53.关系确定单元，用于将置信度最大的候选关系特征所对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
54.其中，对象确定模块还包括：
55.置信度匹配单元，用于若置信度大于对象关联阈值，则将候选关系特征对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
56.本技术实施例一方面提供了一种数据处理装置，包括：
57.样本实体获取模块，用于获取样本实体对，样本实体对包括第一样本实体与第二样本实体；
58.样本特征获取模块，用于获取第一样本实体所包括的n个第一样本模态分别对应的第一样本特征，获取第二样本实体所包括的m个第二样本模态分别对应的第二样本特征；获取第一样本实体与第二样本实体之间的样本关系特征；n为正整数，m为正整数；
59.样本融合模块，用于将n个第一样本特征进行特征融合处理，得到第一综合样本特征；将m个第二样本特征进行特征融合处理，得到第二综合样本特征；
60.样本预测模块，用于将第一综合样本特征、第二综合样本特征与样本关系特征输入初始关系预测模型进行预测，得到第一综合样本特征、第二综合样本特征与样本关系特征之间的样本预测置信度；
61.样本调整模块，用于基于样本预测置信度，对初始关系预测模型进行参数调整，得到关系预测模型。
62.其中，样本实体对包括正样本实体对与负样本实体对；正样本实体对包括第一正样本实体与第二正样本实体；负样本实体对包括第一负样本实体与第二负样本实体；样本预测置信度包括正样本实体对所对应的正样本预测置信度，以及负样本实体对所对应的负样本预测置信度；
63.样本调整模块包括：
64.第一生成单元，用于根据正样本预测置信度与负样本预测置信度，生成针对初始关系预测模型的第一损失函数；
65.第一调整单元，用于根据第一损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
66.其中，样本调整模块还包括：
67.标签获取单元，用于获取样本关系特征针对样本实体对的样本标签；
68.第二生成单元，用于根据样本预测置信度与样本标签之间的误差，生成针对初始关系预测模型的第二损失函数；
69.第二调整单元，用于根据第二损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
70.本技术一方面提供了一种计算机设备，包括：处理器、存储器、网络接口；
71.上述处理器与上述存储器、上述网络接口相连，其中，上述网络接口用于提供数据通信功能，上述存储器用于存储计算机程序，上述处理器用于调用上述计算机程序，以使得计算机设备执行本技术实施例中的方法。
72.本技术实施例一方面提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，上述计算机程序适于由处理器加载并执行本技术实施例中的方法。
73.本技术实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例中的方法。
74.本技术实施例中，获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；n为正整数，m为正整数；将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到
第二融合特征；预测第一融合特征、第二融合特征与候选关系特征之间的置信度，基于置信度确定第一对象实体与第二对象实体之间的目标关联关系本技术实施例引入了第一对象实体的多个第一模态特征、第二对象实体的多个第二模态特征，因此使得在预测第一融合特征、第二融合特征与候选关系特征之间的置信度可以更好地挖掘出第一对象实体与第二对象实体的隐藏特征，根据隐藏特征可以获得更多的特征信息，更加快速的确定第一对象实体与第二对象实体之间的目标关联关系。随着特征信息总量的增加，可以更加精准的确定第一对象实体与第二对象实体之间的目标关联关系，提高实体间关系识别效率。
附图说明
75.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
76.图1是本技术实施例提供的一种系统架构示意图；
77.图2是本技术实施例提供的一种用于预测两个实体对象间关系的场景示意图；
78.图3是本技术实施例提供的一种数据处理方法的流程示意图；
79.图4是本技术实施例提供的一种关于对象实体与候选关系的结构示意图；
80.图5是本技术实施例提供的一种置信度获取的结构示意图；
81.图6是本技术实施例提供的另一种数据处理方法的流程示意图；
82.图7是本技术实施例提供的一种关系预测模型的结构示意图；
83.图8是本技术实施例提供的一种数据处理装置的结构示意图；
84.图9是本技术实施例提供的一种数据处理装置的结构示意图；
85.图10是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
86.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
87.其中，本技术涉及人工智能领域的深度学习技术，通过该深度学习技术，实现对对象实体与对象实体之间的关联关系的预测，以及对关系预测模型的训练等。
88.其中，人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
89.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机
视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
90.机器学习(machine learning)是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。
91.深度学习(dl,deep learning)是机器学习(ml,machine learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(ai,artificial intelligence)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
92.请参见图1，图1是本技术实施例提供的一种系统架构示意图。如图1所示，该系统可以包括业务服务器100以及终端集群，终端集群可以包括：终端设备200a、终端设备200b、终端设备200c、
…
、终端设备200n，可以理解的是，上述系统可以包括一个或者多个终端设备，本技术不对终端设备的数量进行限制。其中，以上所提及的终端设备可以是一种电子设备，包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(augmented reality/virtual reality，ar/vr)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device，mid)，或者火车、轮船、飞行等场景下的终端设备等。
93.其中，终端集群之间可以存在通信连接，例如终端设备200a与终端设备200b之间存在通信连接，终端设备200a与终端设备200c之间存在通信连接。同时，终端集群中的任一终端设备可以与业务服务器100存在通信连接，例如终端设备200a与业务服务器100之间存在通信连接，其中，上述通信连接不限定连接方式，可以通过有线通信方式进行直接或间接地连接，也可以通过无线通信方式进行直接或间接地连接，还可以通过其它方式，本技术在此不做限制。
94.应当理解，如图1所示的终端集群中的每个终端设备均可以安装有应用客户端，当该应用客户端运行于各终端设备中时，可以分别与上述图1所示的业务服务器100之间进行数据交互，即上述的通信连接。其中，该应用客户端可以为短视频应用、视频应用、直播应用、社交应用、即时通信应用、游戏应用、音乐应用、购物应用、小说应用、浏览器等具有搜索功能的应用客户端。其中，该应用客户端可以为独立的客户端，也可以为集成在某客户端(例如，社交客户端、教育客户端以及多媒体客户端等)中的嵌入式子客户端，在此不做限定。
95.为便于后续理解和说明，请一并参见图2，图2是本技术实施例提供的一种用于预测两个对象实体间关系的场景示意图。在图2中，终端设备200c正在通过应用客户端搜索两个对象实体间的关系，此时终端设备200c可以向业务服务器100发送预测关系请求，业务服务器100可以基于预测关系请求获取到终端设备200c对应的第一对象实体与第二对象实体
(例如，第一对象实体与第二对象实体可以基于应用客户端的搜索输入内容等数据所确定)，在图2中，第一对象实体可以是影片a，第二对象实体可以是演员xx，进而业务服务器100可以对第一对象实体与第二对象实体分别进行特征融合提取，得到第一融合特征与第二融合特征，这时业务服务器100可以调用关系预测模型，将第一融合特征与第二融合特征输入关系预测模型，通过关系预测模型可以输出第一对象实体与第二对象实体之间的目标关联关系，业务服务器100可以根据第一对象实体、第二对象实体以及第一对象实体与第二对象实体之间的目标关联关系进行相关信息匹配，将匹配到的第一对象实体相关信息，或第二对象实体相关信息，或第一对象实体与第二对象实体之间的目标关联关系的相关信息确定为第一对象实体与第二对象实体之间的目标关联关系的相关媒体数据。因此，业务服务器100可以将目标关联关系以及相关媒体数据推送给终端设备200c。例如，推送到终端设备200c的目标关联关系可以为出演，那么在终端设备200c中就可以将“影片a与演员xx之间为出演关系”作为链接标题在应用客户端中进行显示，在应用客户端中可以通过触发链接标题的方式，对“影片a与演员xx之间为出演关系”及相关媒体数据进行浏览。
96.可以理解的是，本技术实施例提供的方法可以由计算机设备执行，计算机设备可以是终端设备或业务服务器，或是由终端设备与业务服务器组成的系统。其中，业务服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云数据库、云服务、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。其中，终端设备和业务服务器可以通过有线或无线方式进行直接或间接地连接，本技术实施例在此不做限制。
97.可以理解的是，上述系统架构可适用于搜索系统以及知识图谱的构建等场景，这里将不对具体的业务场景进行一一列举。
98.进一步地，请参见图3，图3是本技术实施例提供的一种数据处理方法的流程示意图。如图3所示，该数据处理方法至少可以包括以下步骤s101-步骤s104。
99.步骤s101，获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；n为正整数，m为正整数。
100.具体的，第一对象实体可以是从计算机设备的数据库中获取的第一个实体，其中，第一对象实体可以根据生活中的事物进行种类划分，比如根据人、地名、公司、电话、动物等进行种类划分。例如，若第一对象实体属于影视类，则第一对象实体可以是影片、演员以及主题曲等。第二对象实体可以是从计算机设备的数据库中获取的第二个实体。可以理解的是，第一对象实体的所属种类可以与第二对象实体的所属种类相同，第一对象实体的所属种类也可以与第二对象实体的所属种类不同。例如，当第一对象实体的所属种类与第二对象实体的所属种类皆为影视类，则第一对象实体可以是影片a的演员s，第二对象实体可以是影片a或者影片a的演员w。
101.第一对象模态可以是对第一对象实体进行分析后，得到的n个不同种类的模态。例如，第一对象模态可以是文本模态、图片模态或者语音模态等。第二对象模态可以是对第二对象实体进行分析后，得到的m个不同种类的模态。例如，第二对象模态可以是文本模态、图
片模态或者语音模态等。其中，第一对象模态与第二对象模态可以是同种类模态，也可以是不同种类模态。可以通过向量转换的方式，获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，以及获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征。第一对象实体与第二对象实体之间的候选关系可以用来表达不同实体之间的某种联系。对获取到的第一对象实体与第二对象实体之间的候选关系进行特征提取，得到第一对象实体与第二对象实体之间的候选关系特征，其中，特征提取方式可以是向量转换。例如，针对文本模态，可以采用词向量表示(word2vec)的方式进行文本向量提取，word2vec通过神经网络机器学习算法来训练语言模型，并在训练过程中求出词(word)所对应的向量(vector)的方法。word2vec就是将词表征为实数值向量的一种高效的算法模型，其利用深度学习的思想，可以通过训练，把对文本内容的处理简化为多维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似。再例如，针对图片模态，可以采用残差网络50(residual network 50，resnet50)的方式进行图片向量提取，残差网络50可以将靠前若干层的某一层数据输出直接跳过多层引入到后面数据层的输入部分。resnet50用于改变特征向量的维度(dimension)，首先对输入做了卷积操作，之后包含4个残差块(residualblock),最后进行全连接操作以便于进行分类任务。
102.进一步的，请一并参见图4，图4是本技术实施例提供的一种关于对象实体与候选关系的结构示意图。在图4中，假定第一对象实体为演员xx，则获取第一对象实体的n个第一对象模态，假定该n个第一对象模态包括文本模态、图片模态以及语音模态，则获取到n个第一模态特征包括演员xx的文本模态特征(即文本模态对应的文本模态特征)、演员xx的图片模态特征(即图片模态对应的图片模态特征)以及演员xx的语音模态特征(即语音模态对应的语音模态特征)等。若要获取影片a与演员xx之间的目标关联关系，则演员xx可以是第一对象实体，演员xx的名字可以是第一对象实体对应的文本模态(即第一对象模态)，演员xx的图片属性可以是第一对象实体对应的图片模态(即第一对象模态)，除此之外，演员xx还可以具有语音模态等其他模态。影片a可以是第二对象实体，影片a的名字可以是第二对象实体对应的文本模态(即第二对象模态)，影片a的图片属性可以是第二对象实体对应的图片模态(即第二对象模态)，除此之外，影片a还可以具有语音模态等其他模态。
103.其中，第一对象实体可以表示为：“e1:演员xx，图片：url”。“e1”表示第一对象实体，“演员xx”表示第一对象实体对应的文本模态，“图片”表示第一对象实体对应的图片模态，“url”表示第一对象实体对应的图片模态内容，可以是第一对象实体所关联的实体图片，也可以是该第一对象实体所关联的实体图片所在的位置。
104.第二对象实体可以表示为：“e2：影片a，图片：url2”。“e2”表示第二对象实体，“影片a”第二对象实体对应的文本模态，“图片”表示第二对象实体对应的图片模态，“url2”表示第二对象实体对应的图片模态内容，可以是第二对象实体所关联的实体图片，也可以是该第二对象实体所关联的实体图片所在的位置。
105.可选的，计算机设备可以获取第一对象实体在n个第一对象模态下分别对应的第一模态信息，获取n个第一模态信息分别对应的信息类型，对该n个第一模态信息进行特征提取，得到n个第一模态信息分别对应的第一模态特征。其中，该信息类型与第一对象模态相对应，如文本模态对应文本信息类型、图片模态对应图片信息类型以及语音模态对应语音信息类型。其中，不同的信息类型可能会对应不同的特征提取方式，采用不同的特征提取
方式对对应的信息类型的模态信息进行特征提取，可以提高特征提取的效率。例如，针对文本信息类型的特征提取方式可以是word2vec方式，假定第一对象实体的文本信息类型下的文本模态信息记作v_e1_name，则对该第一对象实体的文本模态信息进行特征提取的过程可以记作v_e1-text＝word2vec(e1_name)。v_e1-text可以表示第一对象实体对应的文本模态特征，word2vec可以表示文本向量提取处理，e1_name可以表示第一对象实体对应的文本模态信息。再例如，针对图片信息类型的特征提取方式可以是resnet50方式，假定第一对象实体的文本信息类型下的图片模态信息记作v_e1_img，则对该第一对象实体的图片模态信息进行特征提取的过程可以记作v_e1-img＝resnet50(e1_img)。v_e1-img可以表示第一对象实体对应的图片模态特征，resnet50可以表示图片向量提取处理，e1_img可以表示第一对象实体对应的图片模态。以此类推，可以得到：v_e2-text＝word2vec(e2_name)；v_e2-img＝resnet50(e2_img)。
106.由于不同的信息类型所对应的数据进行特征提取时，所采用的方式不同，因此，可以获取n个第一模态信息分别对应的信息类型，采用该信息类型所对应的特征提取方式，对对应的第一模态信息进行特征提取，以实现对不同信息类型的数据的个性化特征解析，提高特征提取的效率。
107.步骤s102，将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到第二融合特征。
108.具体的，采用特征融合方式，将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到第二融合特征。其中，特征融合方式可以是向量点乘、向量相加、向量相减以及多类特征融合方式结合等，即，可以对n个第一模态特征根据选定的特征融合方式进行特征融合。例如，以向量点乘为例，假定计算机设备可以将n个第一模态特征进行特征融合处理，假定n个第一模态特征包括第一对象实体的文本模态特征及图片模态特征，则该过程可以参见第一融合特征获取公式
①
所示：
109.v_e1＝v_e1-text
·
v_e1-img
ꢀꢀꢀ①
110.如第一融合特征获取公式
①
所示，其中v_e1-text可以表示第一对象实体对应的文本模态特征，v_e1-img可以表示第一对象实体对应的图片模态特征，“·”可以表示向量点乘，v_e1可以表示第一融合特征。可选的，n个第一模态特征不止包括第一对象实体的文本模态特征及图片模态特征时，可以基于公式
①
，对n个第一模态特征进行向量点乘处理，以实现对n个第一模态特征的特征融合处理，得到第一融合特征。
111.假定计算机设备可以将n个第二模态特征进行特征融合处理，该过程可以参见第二融合特征获取公式
②
所示：
112.v_e2＝v_e2-text
·
v_e2-img
ꢀꢀꢀ②
113.如第二融合特征获取公式
②
所示，其中v_e2-text可以表示第二对象实体对应的文本模态特征，v_e2-img可以表示第二对象实体对应的图片模态特征，“·”可以表示向量点乘，v_e2可以表示第二融合特征。可选的，m个第二模态特征不止包括第二对象实体的文本模态特征及图片模态特征时，可以基于公式
②
，对m个第二模态特征进行向量点乘处理，以实现对m个第二模态特征的特征融合处理，得到第二融合特征。
114.步骤s103，预测第一融合特征、第二融合特征与候选关系特征之间的置信度。
115.具体的，将第一融合特征、第二融合特征与候选关系特征进行预测处理，进而得到
候选关系特征对应的候选关系的置信度。其中，第一融合特征与第二融合特征之间候选关系的数量可以是d个，预测第一融合特征、第二融合特征分别与d个候选关系特征之间的d个置信度。置信度的预测方法可以采用逻辑回归、分布关系学习、隐状态的学习、降维因子分析法以及卷积等方法。
116.进一步，请一并参见图4。在图4中，第一对象实体(即演员xx)对应的第一融合特征，与第二对象实体(即影片a)对应的第二融合特征之间的，候选关系特征对应的候选关系可以是“出演”，则进行预测处理，可以得到第一对象实体(即演员xx)对应的第一融合特征，与第二对象实体(即影片a)对应的第二融合特征之间，具备候选关系(即“出演”)的置信度。
117.可以理解的是，将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，基于关系预测模型，将第一融合特征、第二融合特征与候选关系特征映射到同一向量空间，得到第一融合特征对应的第一融合向量、第二融合特征对应的第二融合向量，以及候选关系特征对应的候选关系向量；将第一融合向量与候选关系向量融合得到的向量，与第二融合向量的差值，确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。第一融合向量、第二融合向量以及候选关系向量构成的三元组，在成立时，理论上应该满足条件：第一融合向量与候选关系向量之间的向量和，等于第二融合向量。
118.可选的，置信度的取值范围可以是0-1之间。当置信度的取值为0时，则表示第一融合特征与第二融合特征之间的关联关系是候选关系特征对应的候选关系的概率为100％。当置信度的取值为1时，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率为0％。因此，若置信度越靠近于0，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率越趋近于100％。若置信度越靠近于1，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率越趋近于0％。
119.可选的，可以将第一融合向量与候选关系向量融合得到的向量，与第二融合向量的差值确定为默认置信度，将默认置信度与该差值之间的差值，确定为第一融合特征、第二融合特征与候选关系特征之间的置信度，此时，该置信度越大，表示第一融合向量、第二融合向量以及候选关系向量构成的三元组成立的概率越大。其中，第一融合特征、第二融合特征与候选关系特征不一定处于同一个向量空间，因此，可以将第一融合特征、第二融合特征与候选关系特征分别映射到同一个向量空间中，将映射到同一个向量空间的第一融合特征对应的向量确定为第一融合向量，将映射到同一个向量空间的第二融合特征对应的向量确定为第二融合向量，将映射到同一个向量空间的候选关系特征对应的向量确定为候选关系向量，可以将映射到的同一个向量空间记作基准向量空间。可选的，可以从第一融合特征、第二融合特征或候选关系特征所在向量空间中选取一个向量空间作为基准向量空间。可选的，可以选取另外一个不同于三个特征所在向量空间的其他向量空间作为基准向量空间，通过关系预测模型，可以将第一融合特征从其所在向量空间，经过映射到基准向量空间后，得到基准向量空间中的第一融合特征对应的第一融合向量；通过关系预测模型，可以将第二融合特征从其所在向量空间，经过映射到基准向量空间后，得到基准向量空间中的第二融合特征对应的第二融合向量；通过关系预测模型，可以将候选关系特征从其所在向量空间，经过映射到基准向量空间后，得到基准向量空间中的候选关系特征对应的候选关系向量。
120.可以理解的是，基准向量空间的选取可以采用随机抽取的方式，将随机抽取的向
量空间作为基准向量空间，随机抽取的方式具有良好的普遍适用性，可以在多种情况下使用；基准向量空间的选取可以采用均值距离的方式，求取第一融合特征所在向量空间与第二融合特征所在向量空间的空间距离，将处于第一融合特征所在向量空间与第二融合特征所在向量空间之间的中间距离向量空间，确定为基准向量空间；可选的，可以将第一融合特征所在向量空间与候选关系特征所在向量空间之间的中间空间，确定为基准向量空间；可选的，可以将第二融合特征所在向量空间与候选关系特征所在向量空间之间的中间距离向量空间，确定为基准向量空间；若第一融合特征、第二融合特征与候选关系特征中，有至少两个特征处于同一空间，则将至少两个特征处于的空间确定为基准向量空间。
121.进一步的，请一并参见图5，图5是本技术实施例提供的一种置信度获取的结构示意图。在图5中，计算机设备可以将第一融合特征、第二融合特征与候选关系特征映射到基准向量空间，在基准向量空间中，得到第一融合特征对应的第一融合向量可以是头部(head)，用首字母表示为h、第二融合特征对应的第二融合向量可以是尾部(tail)，用首字母表示为t，以及候选关系特征对应的候选关系向量可以是关系(relation)，用首字母表示为r。
122.可选的，预测第一融合特征、第二融合特征与候选关系特征之间的置信度可以采用按权重预测的方法。将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，采用关系预测模型中的关系权重，对第一融合特征及第二融合特征进行特征融合转换，得到第一融合特征与第二融合特征之间的预测关系向量；获取预测关系向量与候选关系特征之间的特征距离，将特征距离确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。
123.其中，计算关系预测模型中第一融合特征的权重与第二融合特征的权重时可以采用因子分析法、主成分法、熵值法、独立性权重法和信息量权重法等。分别处理完成第一融合特征的权重与第二融合特征的权重后，再将第一融合特征与第二融合特征根据对应的权重进行融合，得到预测关系向量，预测关系向量可以是关系预测模型针对第一融合特征与第二融合特征之间关系的判定，可以将预测关系向量与候选关系特征进行比较，通过获取预测关系向量与候选关系特征之间的特征距离的方式，得到预测关系向量与候选关系特征之间的关联关系，将特征距离确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。置信度的取值范围可以是0-1之间。当置信度的取值为0时，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率为100％。当置信度的取值为1时，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率为0％。因此，若置信度越靠近于0，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率越趋近于100％。若置信度越靠近于1，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率越趋近于0％。
124.进一步，候选关系特征的数量为d，d为正整数；预测第一融合特征和第二融合特征，分别与d个候选关系特征之间的置信度。
125.其中，第一融合特征、第二融合特征与d个候选关系特征，可以组成d个特征三元组，每个特征三元组分别对应一个候选关系特征，预测d个候选关系特征三元组分别对应的置信度。例如，若第一融合特征为e1，第二融合特征为e2，d个候选关系特征分别为r1、r2、
…
、rd，则由第一融合特征、第二融合特征与d个候选关系特征组成的d个特征三元组可
以是《e1,r1,e2》、《e1,r2,e2》、
…
、《e1,rd,e2》。预测d个候选关系特征三元组《e1,r1,e2》、《e1,r2,e2》、
…
、《e1,rd,e2》分别对应的置信度。
126.步骤s104，基于置信度确定第一对象实体与第二对象实体之间的目标关联关系；
127.具体的，基于置信度所在的取值范围区间，确定第一对象实体与第二对象实体之间的置信度对应的关系确定为第一对象实体与第二对象实体之间的目标关联关系。
128.当置信度越大，表示第一融合特征、第二融合特征与候选关系特征之间构成特征三元组的概率越大时，当置信度的取值为1时，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率为100％。当置信度的取值为0时，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率为0％。因此，若置信度越靠近于1，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率越趋近于100％。若置信度越靠近于0，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率越趋近于0％。
129.可选的，基于d个候选关系特征分别对应的置信度，对d个候选关系特征进行排序；将置信度最大的候选关系特征所对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
130.进一步，将d个候选关系特征分别对应的置信度进行从大到小的排序(或从小到大的排序)，将候选关系特征跟随对应的置信度进行调整得到对应的候选关系特征，得到d个候选关系特征的排序列表。从d个候选关系特征的排序列表中选取置信度最大的候选关系特征，将置信度最大的候选关系特征所对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
131.可以理解的是，d的大小可以随时间而自适应调整，若将时间以秒来计算，与将时间以分来计算坐作对比，则将时间以秒来计算对应的d值可以是小的，即使很少的候选关系特征中，也可以获取到目标关联关系；将时间以分来计算对应的d值可以是大的，在更多的候选关系特征中，可以获取到更加精确的目标关联关系。
132.可选的，若置信度大于对象关联阈值，则将候选关系特征对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
133.其中，对象关联阈值可以是候选关系成立标准的判定界限。若置信度大于对象关联阈值，即大于对象关联阈值的置信度对应的候选关系是成立的。则将候选关系特征对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。其中，候选关系特征的数量可以是f个，f为正整数。
134.当置信度越小，表示第一融合特征、第二融合特征与候选关系特征之间构成特征三元组的概率越大时，当置信度的取值为0时，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率为100％。当置信度的取值为1时，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率为0％。因此，若置信度越靠近于0，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率越趋近于100％。若置信度越靠近于1，则表示第一融合特征与第二融合特征之间是候选关系特征对应的候选关系的概率越趋近于0％。
135.可选的，基于d个候选关系特征分别对应的置信度，对d个候选关系特征进行排序；将置信度最小的候选关系特征所对应的候选关系，确定为第一对象实体与第二对象实体之
间的目标关联关系。
136.进一步，将d个候选关系特征分别对应的置信度进行从小到大的排序(或从大到小的排序)，将候选关系特征跟随对应的置信度进行调整得到对应的候选关系特征，得到d个候选关系特征的排序列表。从d个候选关系特征的排序列表中选取置信度最小的候选关系特征，将置信度最小的候选关系特征所对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
137.可以理解的是，d的大小可以随时间而自适应调整，若将时间以秒来计算，与将时间以分来计算坐作对比，则将时间以秒来计算对应的d值可以是小的，即使很少的候选关系特征中，也可以获取到目标关联关系；将时间以分来计算对应的d值可以是大的，在更多的候选关系特征中，可以获取到更加精确的目标关联关系。
138.可选的，若置信度小于对象关联阈值，则将候选关系特征对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
139.其中，对象关联阈值可以是候选关系成立标准的判定界限。若置信度小于对象关联阈值，即小于对象关联阈值的置信度对应的候选关系是成立的。则将候选关系特征对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。其中，候选关系特征的数量可以是f个，f为正整数。
140.可选的，当候选关系特征的数量为d时，还可以将置信度满足对象关联阈值的候选关系特征所对应的候选关系，确定为符合条件关系，可以将符合条件关系均确定为第一对象实体与第二对象实体之间的目标关联关系。其中，可以直接输出置信度最小的符合条件关系。若计算机设备接收到应用客户端更多的符合条件关系输出请求，则继续输出置信度第二小的符合条件关系，依此类推。或者，可以基于符合条件关系的置信度，对该符合条件关系进行排序处理，输出排序后的符合条件关系。
141.本技术实施例中，获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；n为正整数，m为正整数；将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到第二融合特征；预测第一融合特征、第二融合特征与候选关系特征之间的置信度，基于置信度确定第一对象实体与第二对象实体之间的目标关联关系。本技术实施例引入了第一对象实体的多个第一模态特征、第二对象实体的多个第二模态特征，因此使得在预测第一融合特征、第二融合特征与候选关系特征之间的置信度可以更好地挖掘出第一对象实体与第二对象实体的隐藏特征，根据隐藏特征可以获得更多的特征信息，更加快速的确定第一对象实体与第二对象实体之间的目标关联关系。随着特征信息总量的增加，可以更加精准的确定第一对象实体与第二对象实体之间的目标关联关系，提高实体间关系识别效率。
142.其中，针对关系预测模型的训练过程具体请参见下面图6对应实施例。
143.进一步地，请参见图6，其中，上述步骤s103中关系预测模型的具体实现可以参见图6，图6是本技术实施例提供的一种数据处理方法的流程示意图。如图6所示，该数据处理方法至少可以包括以下步骤s201-步骤s205。
144.步骤s201，获取样本实体对，样本实体对包括第一样本实体与第二样本实体；
145.具体的，第一样本实体可以是从第一类对象实体中获取的样本实体，第二样本实
体可以是从第二类对象实体中获取的样本实体。第一样本实体与第二样本实体可以是事先被选取的样本实体，第一样本实体与第二样本实体可以用于进行关系预测模型训练。获取第一样本实体、第二样本实体，将第一样本实体与第二样本实体确定为样本实体对。样本实体对可以输入初始关系预测模型进行样本关系预测。
146.步骤s202，获取第一样本实体所包括的n个第一样本模态分别对应的第一样本特征，获取第二样本实体所包括的m个第二样本模态分别对应的第二样本特征；获取第一样本实体与第二样本实体之间的样本关系特征；n为正整数，m为正整数；
147.具体的，第一样本模态可以是从第一样本实体分析得到的模态，第一样本特征可以是针对第一样本实体的细节特征，第二样本模态可以是从第二样本实体分析得到的模态，第二样本特征可以是针对第二样本实体的细节特征，第一样本模态、第一样本特征、第二样本模态以及第二样本特征的特性可以参考上述图3中步骤s101中第一对象模态的描述，这里不再赘述。
148.其中，第一样本实体可以是在计算机设备的数据库中被人工标记好n个第一样本模态的样本实体，第二样本实体可以是在计算机设备的数据库中被人工标记好m个第一样本模态的样本实体；第一样本实体也可以是在计算机设备的数据库中，已经被标记过n个第一样本模态的样本实体，第二样本实体也可以是在计算机设备的数据库中，已经被标记过m个第一样本模态的样本实体。
149.步骤s203，将n个第一样本特征进行特征融合处理，得到第一综合样本特征；将m个第二样本特征进行特征融合处理，得到第二综合样本特征；
150.具体的，第一综合样本特征是针对n个第一样本特征进行特征融合处理得到的，第二综合样本特征是针对m个第二样本特征进行特征融合处理得到的，特征融合处理请一并参考上述图3中步骤s102中特征融合处理部分的描述，这里不再赘述。
151.步骤s204，将第一综合样本特征、第二综合样本特征与样本关系特征输入初始关系预测模型进行预测，得到第一综合样本特征、第二综合样本特征与样本关系特征之间的样本预测置信度；
152.具体的，样本预测置信度可以表示第一综合样本特征对应第一样本实体，与第二综合样本特征对应的第二样本实体之间，具有样本关系特征对应的样本关系的概率。初始关系预测模型的具体预测步骤请一并参考上述图3中步骤s103中关于预测部分的描述，这里不再赘述。
153.可选的，可以基于样本预测置信度进行样本关系特征对应的样本预测关系匹配。样本预测关系可以是k个，k为正整数；样本预测关系可以包括第一样本实体与第二样本实体间的真实样本关系。样本预测关系可以用来获取第一样本实体与第二样本实体的隐藏关系。
154.当样本预测置信度越大，表示第一综合样本特征、第二综合样本特征与样本关系特征之间构成样本三元组的概率越大时，当样本预测置信度的取值为1时，则表示第一综合样本特征与第二综合样本特征之间是样本关系特征对应的样本预测关系的概率为100％。当样本预测置信度的取值为0时，则表示第一综合样本特征与第二综合样本特征之间是样本关系特征对应的样本预测关系的概率为0％。因此，若样本预测置信度越靠近于1，则表示第一综合样本特征与第二综合样本特征之间是样本关系特征对应的样本预测关系的概率
越趋近于100％。若样本预测置信度越靠近于0，则表示第一综合样本特征与第二综合样本特征之间是样本关系特征对应的样本预测关系的概率越趋近于0％。
155.当样本预测置信度越小，表示第一综合样本特征、第二综合样本特征与样本关系特征之间构成样本三元组的概率越大时，当样本预测置信度的取值为0时，则表示第一综合样本特征与第二综合样本特征之间是样本关系特征对应的样本预测关系的概率为100％。当样本预测置信度的取值为1时，则表示第一综合样本特征与第二综合样本特征之间是样本关系特征对应的样本预测关系的概率为0％。因此，若样本预测置信度越靠近于0，则表示第一综合样本特征与第二综合样本特征之间是样本关系特征对应的样本预测关系的概率越趋近于100％。若样本预测置信度越靠近于1，则表示第一综合样本特征与第二综合样本特征之间是样本关系特征对应的样本预测关系的概率越趋近于0％。
156.步骤s205，基于样本预测置信度，对初始关系预测模型进行参数调整，得到关系预测模型。
157.具体的，根据样本预测置信度，可以确定关于初始关系预测模型的损失函数，根据初始关系预测模型的损失函数对初始关系预测模型进行参数调整，将调整后的初始关系预测模型确定为迭代关系预测模型。将迭代关系预测模型再次用于，预测第一综合样本特征、第二综合样本特征与样本关系特征之间的样本预测置信度，得到关于迭代关系预测模型的损失函数，根据迭代关系预测模型的损失函数对迭代关系预测模型进行参数调整，得到关系预测模型。
158.进一步，样本实体对包括正样本实体对与负样本实体对；正样本实体对包括第一正样本实体与第二正样本实体；负样本实体对包括第一负样本实体与第二负样本实体；样本预测置信度包括正样本实体对所对应的正样本预测置信度，以及负样本实体对所对应的负样本预测置信度；根据正样本预测置信度与负样本预测置信度，生成针对初始关系预测模型的第一损失函数；根据第一损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
159.可以理解的是，根据第一综合样本特征得到第一综合正样本特征对应的第一正样本向量，根据第二综合样本特征得到第二综合正样本特征对应的第二正样本向量，将第一正样本向量与样本关系特征对应的样本关系向量之间的融合向量，与第二正样本向量的差值，确定为正样本预测置信度。根据第一综合样本特征得到第一综合负样本特征对应的第一负样本向量，根据第二综合样本特征得到第二综合负样本特征对应的第二负样本向量，将第一负样本向量与样本关系特征对应的样本关系向量之间的融合向量，与第二负样本向量的差值，确定为负样本预测置信度。例如，第一正样本向量可以是e1，第二正样本向量可以是e2，样本关系向量可以是r，则根据第一正样本向量e1与样本关系向量r之间的融合向量，与第二正样本向量e2的差值，可以是d(e1 r，e2)，即正样本预测置信度；根据第一负样本向量e1与样本关系向量r之间的融合向量，与第二负样本向量e2'的差值，可以是d(e1 r，e2')，即负样本预测置信度。则根据正样本预测置信度d(e1 r，e2)与负样本预测置信度d(e1 r，e2')，可以生成针对初始关系预测模型的第一损失函数：loss＝∑s∑s′
[δ d(e1 r,e2)-d(e1 r,e2
′
)]；根据第一损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
[0160]
其中，若第二正样本向量e2为演员u，则第二负样本向量e2'可以为演员v，演员u与
演员v可以是从同一类对象实体中获取的，即均为从第二类对象实体中获取。
[0161]
可选的，第一负样本向量也可以是e1'，第二负样本向量可以是e2，则根据第一负样本向量e1'与样本关系向量r之间的融合向量，与第二负样本向量e2的差值，可以是d(e1' r，e2)，即负样本预测置信度。则根据正样本预测置信度d(e1 r，e2)与负样本预测置信度d(e1' r，e2)，可以生成针对初始关系预测模型的第一损失函数：loss＝∑s∑s′
[δ d(e1 r,e2)-de1
′
r,e2；根据第一损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
[0162]
可选的，获取样本关系特征针对样本实体对的样本标签；根据样本预测置信度与样本标签之间的误差，生成针对初始关系预测模型的第二损失函数；根据第二损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
[0163]
可以理解的是，样本标签可以包括正样本标签与负样本标签。其中，正样本标签可以是1，负样本标签可以是0。若样本实体对为正样本，则根据争议正样本预测置信度与正样本标签之间的误差，生成针对初始关系预测模型的第二损失函数；若样本实体对为负样本，则根据争议负样本预测置信度与负样本标签之间的误差，生成针对初始关系预测模型的第二损失函数；根据第二损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
[0164]
在本技术实施例中，通过将样本实体对输入初始关系预测模型进行预测，再使用针对初始关系预测模型的损失函数进行调整，可以得到更有鲁棒性的关系预测模型。由于本技术实施例引入了损失函数对初始关系预测模型进行调整，因此使得在训练得到的初始关系预测模型可以更好地预测出两个样本实体间的样本关系，进一步地，可以减少样本实体间关联性判定时间，增加实体间关系识别的准确性，提高实体间关系识别效率。
[0165]
请参见图7，图7是本技术实施例提供的一种关系预测模型的结构示意图。其中，如图7所示，将第一对象实体(演员xx)、第二对象实体(影片a)以及候选关系(出演)输入关系预测模型，利用如图3步骤s101中的文本特征提取公式与图片特征提取公式进行特征映射，得到第一对象实体(演员xx)对应的两个第一模态特征(即文本模态特征v_e1-text与图片模态特征v_e1-img)、第二对象实体(影片a)对应的两个第二模态特征(即文本模态特征v_e2-text与图片模态特征v_e2-img)以及候选关系(出演)对应的候选关系特征。利用如图3中步骤s102中的第一融合特征获取公式将两个第一模态特征进行特征融合得到第一融合特征v_e1，利用如图3步骤s102中的第二融合特征获取公式，将两个第二模态特征进行特征融合得到第二融合特征v_e2。将第一融合特征、第二融合特征以及候选关系特征，按照如图3步骤s103中的置信度求取步骤，进行置信度求取处理，得到第一融合特征、第二融合特征以及候选关系特征之间的置信度，按照如图3步骤s104中的目标关联关系求取步骤，根据第一融合特征、第二融合特征以及候选关系特征之间的置信度可以得到目标关联关系。
[0166]
需要说明的是，根据关系预测模型获取到的，第一融合特征对应的第一融合向量、第二融合特征对应的第二融合向量与候选关系特征对应的候选关系向量之间的向量方向选取并不会影响三元组的构成，第一对象实体与第二对象实体之间的目标关联关系是相互的，例如，第一对象实体(演员xx)对应的第一融合向量，指向第二对象实体(影片a)对应的第二融合向量可以是候选关系1(出演)，第二对象实体(影片a)对应的第二融合向量，指向第一对象实体(演员xx)对应的第一融合向量可以是候选关系2(被出演)。
[0167]
本技术实施例中，获取第一对象实体所包括的两个第一对象模态分别对应的第一
模态特征，获取第二对象实体所包括的两个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；将两个第一模态特征进行特征融合处理，得到第一融合特征；将两个第二模态特征进行特征融合处理，得到第二融合特征；预测第一融合特征、第二融合特征与候选关系特征之间的置信度，基于置信度确定第一对象实体与第二对象实体之间的目标关联关系。本技术实施例引入了第一对象实体的两个第一模态特征、第二对象实体的两个第二模态特征，文本模态与图片模态的融合，可以增加总的特征信息，进而更加快速的确定第一对象实体与第二对象实体之间的目标关联关系。随着特征信息总量的增加，可以更加精准的确定第一对象实体与第二对象实体之间的目标关联关系，提高实体间关系识别效率。
[0168]
进一步地，请参见图8，图8是本技术实施例提供的一种数据处理装置的结构示意图。上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该数据处理装置为一个应用软件；该装置可以用于执行本技术实施例提供的方法中的相应步骤。如图8所示，该数据处理装置1可以包括：对象获取模块11、对象融合模块12、对象预测模块13以及对象确定模块14。
[0169]
对象获取模块11，用于获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；n为正整数，m为正整数；
[0170]
对象融合模块12，用于将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到第二融合特征；
[0171]
对象预测模块13，用于预测第一融合特征、第二融合特征与候选关系特征之间的置信度；
[0172]
对象确定模块14，用于基于置信度确定第一对象实体与第二对象实体之间的目标关联关系。
[0173]
其中，对象获取模块11、对象融合模块12、对象预测模块13以及对象确定模块14的具体功能实现方式可以参见上述图3对应实施例中的步骤s101-步骤s104，这里不再进行赘述。
[0174]
再请参见图8，其中，对象预测模块13包括：
[0175]
特征映射单元131，用于将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，基于关系预测模型，将第一融合特征、第二融合特征与候选关系特征映射到同一向量空间，得到第一融合特征对应的第一融合向量、第二融合特征对应的第二融合向量，以及候选关系特征对应的候选关系向量；
[0176]
第一置信度确定单元132，用于将第一融合向量与候选关系向量融合得到的向量，与第二融合向量的差值，确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。
[0177]
其中，特征映射单元131以及第一置信度确定单元132的具体功能实现方式可以参见上述图3对应实施例中的步骤s103，这里不再进行赘述。
[0178]
再请参见图8，其中，对象预测模块13还包括：
[0179]
特征融合单元133，用于将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，采用关系预测模型中的关系权重，对第一融合特征及第二融合特征进行特征融
合转换，得到第一融合特征与第二融合特征之间的预测关系向量；
[0180]
第二置信度确定单元134，用于获取预测关系向量与候选关系特征之间的特征距离，将特征距离确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。
[0181]
其中，特征融合单元133以及第二置信度确定单元134的具体功能实现方式可以参见上述图3对应实施例中的步骤s103，这里不再进行赘述。
[0182]
再请参见图8，其中，候选关系特征的数量为d，d为正整数；
[0183]
对象预测模块13，还包括：
[0184]
预测单元135，用于预测第一融合特征和第二融合特征，分别与d个候选关系特征之间的置信度；
[0185]
上述预测单元135的具体功能实现方式可以参见上述图3对应实施例中的步骤s103，这里不再进行赘述。
[0186]
对象确定模块14，包括：
[0187]
特征排序单元141，用于基于d个候选关系特征分别对应的置信度，对d个候选关系特征进行排序；
[0188]
关系确定单元142，用于将置信度最大的候选关系特征所对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
[0189]
其中，特征排序单元141以及关系确定单元142的具体功能实现方式可以参见上述图3对应实施例中的步骤s104，这里不再进行赘述。
[0190]
再请参见图8，其中，对象确定模块14还包括：
[0191]
置信度匹配单元143，用于若置信度大于对象关联阈值，则将候选关系特征对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
[0192]
其中，置信度匹配单元143的具体功能实现方式可以参见上述图3对应实施例中的步骤s104，这里不再进行赘述。
[0193]
本技术实施例中，获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；n为正整数，m为正整数；将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到第二融合特征；预测第一融合特征、第二融合特征与候选关系特征之间的置信度，基于置信度确定第一对象实体与第二对象实体之间的目标关联关系。本技术实施例引入了第一对象实体的多个第一模态特征、第二对象实体的多个第二模态特征，因此使得在预测第一融合特征、第二融合特征与候选关系特征之间的置信度可以更好地挖掘出第一对象实体与第二对象实体的隐藏特征，根据隐藏特征可以获得更多的特征信息，更加快速的确定第一对象实体与第二对象实体之间的目标关联关系。随着特征信息总量的增加，可以更加精准的确定第一对象实体与第二对象实体之间的目标关联关系，提高实体间关系识别效率。
[0194]
进一步地，请参见图9，图9是本技术实施例提供的一种数据处理装置的结构示意图。上述数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该数据处理装置为一个应用软件；该装置可以用于执行本技术实施例提供的方法中的相应步骤。如图9所示，该数据处理装置2可以包括：样本实体获取模块21、样本特征获取模块22、样本融合模块23、样本预测模块24以及样本调整模块25。
[0195]
样本实体获取模块21，用于获取样本实体对，样本实体对包括第一样本实体与第二样本实体；
[0196]
样本特征获取模块22，用于获取第一样本实体所包括的n个第一样本模态分别对应的第一样本特征，获取第二样本实体所包括的m个第二样本模态分别对应的第二样本特征；获取第一样本实体与第二样本实体之间的样本关系特征；n为正整数，m为正整数；
[0197]
样本融合模块23，用于将n个第一样本特征进行特征融合处理，得到第一综合样本特征；将m个第二样本特征进行特征融合处理，得到第二综合样本特征；
[0198]
样本预测模块24，用于将第一综合样本特征、第二综合样本特征与样本关系特征输入初始关系预测模型进行预测，得到第一综合样本特征、第二综合样本特征与样本关系特征之间的样本预测置信度；
[0199]
样本调整模块25，用于基于样本预测置信度，对初始关系预测模型进行参数调整，得到关系预测模型。
[0200]
其中，样本实体获取模块21、样本特征获取模块22、样本融合模块23、样本预测模块24以及样本调整模块25的具体功能实现方式可以参见上述图3对应实施例中的步骤s101-步骤s105，这里不再进行赘述。
[0201]
再请参见图9，其中，样本实体对包括正样本实体对与负样本实体对；正样本实体对包括第一正样本实体与第二正样本实体；负样本实体对包括第一负样本实体与第二负样本实体；样本预测置信度包括正样本实体对所对应的正样本预测置信度，以及负样本实体对所对应的负样本预测置信度；
[0202]
样本调整模块25包括：
[0203]
第一生成单元251，用于根据正样本预测置信度与负样本预测置信度，生成针对初始关系预测模型的第一损失函数；
[0204]
第一调整单元252，用于根据第一损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
[0205]
其中，第一生成单元251以及第一调整单元252的具体功能实现方式可以参见上述图3应实施例中的步骤s105，这里不再进行赘述。
[0206]
再请参见图9，其中，样本调整模块25还包括：
[0207]
标签获取单元253，用于获取样本关系特征针对样本实体对的样本标签；
[0208]
第二生成单元254，用于根据样本预测置信度与样本标签之间的误差，生成针对初始关系预测模型的第二损失函数；
[0209]
第二调整单元255，用于根据第二损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
[0210]
其中，标签获取单元253、第二生成单元254以及第二调整单元255的具体功能实现方式可以参见上述图3应实施例中的步骤s105，这里不再进行赘述。
[0211]
本技术实施例中，获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；n为正整数，m为正整数；将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到第二融合特征；预测第一融合特征、第二融合特征与候选关系特征之间的置信度，基于置信
度确定第一对象实体与第二对象实体之间的目标关联关系。本技术实施例引入了第一对象实体的多个第一模态特征、第二对象实体的多个第二模态特征，因此使得在预测第一融合特征、第二融合特征与候选关系特征之间的置信度可以更好地挖掘出第一对象实体与第二对象实体的隐藏特征，根据隐藏特征可以获得更多的特征信息，更加快速的确定第一对象实体与第二对象实体之间的目标关联关系。随着特征信息总量的增加，可以更加精准的确定第一对象实体与第二对象实体之间的目标关联关系，提高实体间关系识别效率。
[0212]
进一步地，请参见图10，图10是本技术实施例提供的一种计算机设备的结构示意图。如图10所示，该计算机设备1000可以包括：至少一个处理器1001，例如cpu，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(display)、键盘(keyboard)，网络接口1004可选地可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
[0213]
在图10所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
[0214]
获取第一对象实体所包括的n个第一对象模态分别对应的第一模态特征，获取第二对象实体所包括的m个第二对象模态分别对应的第二模态特征，获取第一对象实体与第二对象实体之间的候选关系特征；n为正整数，m为正整数；将n个第一模态特征进行特征融合处理，得到第一融合特征；将m个第二模态特征进行特征融合处理，得到第二融合特征；预测第一融合特征、第二融合特征与候选关系特征之间的置信度，基于置信度确定第一对象实体与第二对象实体之间的目标关联关系。
[0215]
在一个实施例中，处理器1001在将预测第一融合特征、第二融合特征与候选关系特征之间的置信度时，还执行以下步骤：
[0216]
将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，基于关系预测模型，将第一融合特征、第二融合特征与候选关系特征映射到同一向量空间，得到第一融合特征对应的第一融合向量、第二融合特征对应的第二融合向量，以及候选关系特征对应的候选关系向量；将第一融合向量与候选关系向量融合得到的向量，与第二融合向量的差值，确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。
[0217]
在一个实施例中，处理器1001在将预测第一融合特征、第二融合特征与候选关系特征之间的置信度时，还执行以下步骤：
[0218]
将第一融合特征、第二融合特征与候选关系特征输入关系预测模型，采用关系预测模型中的关系权重，对第一融合特征及第二融合特征进行特征融合转换，得到第一融合特征与第二融合特征之间的预测关系向量；获取预测关系向量与候选关系特征之间的特征距离，将特征距离确定为第一融合特征、第二融合特征与候选关系特征之间的置信度。
[0219]
在一个实施例中，处理器1001在将候选关系特征的数量为d，d为正整数；
[0220]
预测第一融合特征、第二融合特征与候选关系特征之间的置信度时，还执行以下
步骤：
[0221]
预测第一融合特征和第二融合特征，分别与d个候选关系特征之间的置信度；
[0222]
在一个实施例中，处理器1001在将候选关系特征的数量为d，d为正整数；
[0223]
基于置信度确定第一对象实体与第二对象实体之间的目标关联关系时，还执行以下步骤：
[0224]
基于d个候选关系特征分别对应的置信度，对d个候选关系特征进行排序；将置信度最大的候选关系特征所对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
[0225]
在一个实施例中，处理器1001在将基于置信度确定第一对象实体与第二对象实体之间的目标关联关系时，还执行以下步骤：
[0226]
若置信度大于对象关联阈值，则将候选关系特征对应的候选关系，确定为第一对象实体与第二对象实体之间的目标关联关系。
[0227]
在一个实施例中，处理器1001，还执行以下步骤：
[0228]
获取样本实体对，样本实体对包括第一样本实体与第二样本实体；获取第一样本实体所包括的n个第一样本模态分别对应的第一样本特征，获取第二样本实体所包括的m个第二样本模态分别对应的第二样本特征；获取第一样本实体与第二样本实体之间的样本关系特征；n为正整数，m为正整数；将n个第一样本特征进行特征融合处理，得到第一综合样本特征；将m个第二样本特征进行特征融合处理，得到第二综合样本特征；将第一综合样本特征、第二综合样本特征与样本关系特征输入初始关系预测模型进行预测，得到第一综合样本特征、第二综合样本特征与样本关系特征之间的样本预测置信度；基于样本预测置信度，对初始关系预测模型进行参数调整，得到关系预测模型。
[0229]
在一个实施例中，处理器1001在将样本实体对包括正样本实体对与负样本实体对；正样本实体对包括第一正样本实体与第二正样本实体；负样本实体对包括第一负样本实体与第二负样本实体；样本预测置信度包括正样本实体对所对应的正样本预测置信度，以及负样本实体对所对应的负样本预测置信度；
[0230]
基于样本预测置信度，对初始关系预测模型进行参数调整，得到关系预测模型时，还执行以下步骤：
[0231]
根据正样本预测置信度与负样本预测置信度，生成针对初始关系预测模型的第一损失函数；根据第一损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
[0232]
在一个实施例中，处理器1001在将基于样本预测置信度，对初始关系预测模型进行参数调整，得到关系预测模型时，还执行以下步骤：
[0233]
获取样本关系特征针对样本实体对的样本标签；根据样本预测置信度与样本标签之间的误差，生成针对初始关系预测模型的第二损失函数；根据第二损失函数，对初始关系预测模型进行参数调整，得到关系预测模型。
[0234]
应当理解，本技术实施例中所描述的计算机设备1000可执行前文图2、图3、图4、图5、以及图6所对应实施例中对数据处理方法的描述，也可执行前文图9所对应实施例中对数据处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0235]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计
算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现图2、图3、图4、图5以及图6中各个步骤所提供的数据处理方法，具体可参见上述图2、图3、图4、图5以及图6各个步骤所提供的实现方式，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0236]
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0237]
本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备可执行前文图2、图3、图4、图5以及图6所对应实施例中对数据处理方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0238]
本技术实施例的说明书和权利要求书及附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
[0239]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0240]
本技术实施例提供的方法及相关装置是参照本技术实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
[0241]
以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。