实体信息分类方法、分类模型训练方法、装置、电子设备与流程

1.本公开涉及数据处理技术领域，尤其涉及人工智能与图神经网络，具体涉及一种实体信息的分类方法、实体信息的分类模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。


背景技术：

2.人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术：人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
3.在数据处理领域，经常需要对各种数据信息进行分类。例如，经常会面临对术语、专有名词、人员、公司或其他注册组织名称、地理位置信息、知识图谱信息等等数据信息按照其标签或者其他特征进行处理和分类的需求。希望获得一种有效地对实体信息进行分类的方法。
4.在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现要素：

5.本公开提供了一种实体信息的分类方法、实体信息的分类模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
6.根据本公开的一方面，提供了一种实体信息的分类方法，包括：确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的；对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；基于所述经线性变换的特征矩阵确定所述图数据的注意力表征；以及至少基于所述注意力表征确定分类结果。
7.根据本公开的另一方面，提供了一种实体信息的分类模型的训练方法，包括：确定样本数据，所述样本数据包括图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果；基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征；至少基于所述注意力表征确定预测分类结果；基于所述预测分类结果和所述真实分类结果确定损失值；以及基于所述损失值调节所述第一权重集合。
8.根据本公开的另一方面，提供了一种实体信息的分类装置，包括：矩阵确定单元，用于确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的；线性变换单元，用于对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；注意力单元，用于基于所述经线性变换的特征矩阵确定所述图数据的注
意力表征；以及分类单元，用于至少基于所述注意力表征确定分类结果。
9.根据本公开的另一方面，提供了一种实体信息的分类模型的训练装置，包括：样本数据确定单元，用于确定样本数据，所述样本数据包括样本图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果；线性变换单元，用于基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；注意力单元，用于基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征；分类单元，用于至少基于所述注意力表征确定预测分类结果；损失确定单元，用于基于所述预测分类结果和所述真实分类结果确定损失值；以及权重调节单元，用于基于所述损失值调节所述第一权重集合。
10.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的一个或多个实施例的实体信息的分类方法或实体信息的分类模型的训练方法。
11.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的一个或多个实施例的实体信息的分类方法或实体信息的分类模型的训练方法。
12.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的一个或多个实施例的实体信息的分类方法或实体信息的分类模型的训练方法。
13.根据本公开的一个或多个实施例，可以有效地对实体信息进行分类或获得一种能够有效地对实体信息进行分类的模型。
14.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
15.附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
16.图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
17.图2示出了根据本公开的实施例的实体信息的分类方法的流程图；
18.图3示出了根据本公开的实施例的实体信息的分类模型的训练方法的流程图；
19.图4示出了根据本公开的实施例的实体信息的分类模型的训练方法可以适用于的模型的示意图；
20.图5示出了根据本公开的实施例的实体信息的分类装置的结构框图；
21.图6示出了根据本公开的实施例的实体信息的分类模型的训练装置的结构框图；
22.图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种
mobile os、ios、windows phone、android。便携式手持设备可以包括蜂窝电话、智能电话、平板电脑、个人数字助理(pda)等。可穿戴设备可以包括头戴式显示器(诸如智能眼镜)和其他设备。游戏系统可以包括各种手持式游戏设备、支持互联网的游戏设备等。客户端设备能够执行各种不同的应用程序，例如各种与internet相关的应用程序、通信应用程序(例如电子邮件应用程序)、短消息服务(sms)应用程序，并且可以使用各种通信协议。
33.网络110可以是本领域技术人员熟知的任何类型的网络，其可以使用多种可用协议中的任何一种(包括但不限于tcp/ip、sna、ipx等)来支持数据通信。仅作为示例，一个或多个网络110可以是局域网(lan)、基于以太网的网络、令牌环、广域网(wan)、因特网、虚拟网络、虚拟专用网络(vpn)、内部网、外部网、公共交换电话网(pstn)、红外网络、无线网络(例如蓝牙、wifi)和/或这些和/或其他网络的任意组合。
34.服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如pc(个人计算机)服务器、unix服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作系统的一个或多个虚拟机，或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中，服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。
35.服务器120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个，包括http服务器、ftp服务器、cgi服务器、java服务器、数据库服务器等。
36.在一些实施方式中，服务器120可以包括一个或多个应用程序，以分析和合并从客户端设备101、102、103、104、105和106的用户接收的数据馈送和/或事件更新。服务器120还可以包括一个或多个应用程序，以经由客户端设备101、102、103、104、105和106的一个或多个显示设备来显示数据馈送和/或实时事件。
37.在一些实施方式中，服务器120可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器120也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。云服务器是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(vps，virtual private server)服务中存在的管理难度大、业务扩展性弱的缺陷。
38.系统100还可以包括一个或多个数据库130。在某些实施例中，这些数据库可以用于存储数据和其他信息。例如，数据库130中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据库130可以驻留在各种位置。例如，由服务器120使用的数据库可以在服务器120本地，或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据库130可以是不同的类型。在某些实施例中，由服务器120使用的数据库例如可以是关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。
39.在某些实施例中，数据库130中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库，例如键值存储库，对象存储库或由文件系统支持的常规存储库。
40.图1的系统100可以以各种方式配置和操作，以使得能够应用根据本公开所描述的各种方法和装置。
41.下面参考图2描述根据本公开的示例性实施例的实体信息的分类方法200。
42.在步骤s201处，确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的。
43.在步骤s202处，对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵。
44.在步骤s203处，基于所述经线性变换的特征矩阵确定所述图数据的注意力表征。
45.在步骤s204处，至少基于所述注意力表征确定分类结果。
46.根据本公开的实施例所述的方法，能够有效地对实体信息进行分类。
47.根据本公开的方法，通过将待分类的信息构建为图数据，节点表示实体信息，而实体之间的边能够反应实体信息之间的关系，继而构建嵌入向量来表征图节点，用邻接矩阵来构建邻居节点的特征信息。一方面，通过图数据的线性变换去除网络的非线性部分，能够限制过度平滑，保证了模型有效性。另一方面，结合注意力机制，用注意力机制来处理大小不一的输入数据，能够有效地提升对节点特征的提取，从而提升分类效果。
48.作为示例，定义用g＝(v，e)来表示一个图，v代表图的节点，e代表图的边。图的邻接矩阵用a∈rn×n来表示，特征矩阵用x∈rn×d来表示，其中n表示样本量，d表示输入的维度，例如特征数量。
49.对节点进行线性变换可以包括其中w表示权重，并且l表示层数。可以理解，模型可以只有一层，或者模型可以包括多层。在模型包括多层的情况下，这样的线性变换尤其可以保证网络的深度特性而不至于过度平滑，但是这仅为示例，并且本公开并不限于模型(例如，神经网络)的层数。
50.由此，能够获得经线性变换的特征矩阵随后，可以对经线性变换的特征矩阵进行注意力机制的处理，例如如本领域技术人员所能够理解的各种注意力公式、策略或模型，并且获得图数据的注意力表征。
51.随后，可以将由此获得的图数据的注意力表征进行分类，例如采用如本领域技术人员所能够理解的各种分类模型或分类网络、识别模型或识别网络，以判断节点(实体信息)的类型。如本领域技术人员可以理解的，分类网络可以是gnn，也可以是其他分类器，并且本公开不限于此。
52.在各种领域中都会用到实体信息的分类，例如对人员的分类、对公司或者其他注册组织的分类、对地理信息的分类、对文档的分类、对术语和专用名词的分类等，并且在这里人员、公司或者其他注册组织、地理信息、文档、术语和专用名词等都可以被视为实体信息，并且可以基于实体信息之间的关系构建图数据。作为一个具体的非限制性示例，对于金融领域的反欺诈场景，可以构建金融数据节点图，用户作为节点，用户之间的关系(朋友、亲戚)等作为节点之间的边，并且还可以可选地包括用户的其他特征等，之后，通过将这样的图数据提取为矩阵，应用本公开的方法(例如，输入到预训练的模型中)，可以确定每个用户的类型(例如，风险等级)。可以理解的是，本公开不限于此。
53.在对实体信息进行分类时，可能会存在过拟合或者过度平滑的问题，尤其在数据
分布不均衡的场景中，例如某些类别的实体信息很少，或者不同类别的实体信息数量差异很大，这样的缺点格外明显。根据本公开的实施例，通过利用注意力机制，并且结合模型的线性变换特征，能够有效地解决过拟合和过度平滑问题。
54.根据一些实施例，基于所述经线性变换的特征矩阵确定所述图数据的注意力表征可以包括：基于所述邻接矩阵确定转移矩阵；基于所述转移矩阵和所述经线性变换的特征矩阵生成所述图数据的节点表征；以及基于所述节点表征确定注意力表征。
55.在这样的实施例中，可以进一步确定转移矩阵，并且通过转移矩阵和特征矩阵进行聚合而生成节点的表征，再利用这样的节点表征结合注意力机制来计算注意力表征，能够有效聚焦在可预测推断任务中的最相关部分也即对分类任务来说最关键的节点特征。
56.转移矩阵其中a是邻接矩阵，in是n阶单位矩阵，表示是一个n*n的方形矩阵，其主对角线元素为1，其余元素为0。d是度数矩阵，如本领域技术人员能够理解的，度数矩阵表示对角矩阵，其中包含的信息为的每一个顶点的度数，也就是说，每个顶点相邻的边数。它可以和邻接矩阵一起使用以构造图的拉普拉斯算子矩阵。具体地，给定图g＝(v，e)与|v|＝n，g的度数矩阵d是一个n*n的对角线矩阵，其定义为：
[0057][0058]
其中度数deg(vi)为这个顶点上的边的条数。在存在聚合步骤的情况下，节点的表征(也可以称为节点的中间表征)可以记为h^
(k，l)
∈rn×
d(l)
，其中k代表聚合步骤。
[0059]
根据一些实施例，基于所述至少一个转移矩阵和所述至少一个经线性变换的特征矩阵生成图节点的节点表征可以包括：基于所述经线性变换的特征矩阵和所述转移矩阵确定至少一个经扩散的特征矩阵；以及基于所述经线性变换的特征矩阵和所述至少一个经扩散的特征矩阵确定所述节点表征。
[0060]
根据这样的实施例，构建了具有图扩散卷积特性的深度图神经网络，有助于网络的收敛，进而提升模型的有效性。
[0061]
例如，确定至少一个经扩散的特征矩阵可以包括利用多跳邻居聚合在单层内执行图扩散过程。作为一个示例实施例，节点的表征可以根据如下公式计算：
[0062][0063]
其中，l是层数，k表示聚合步骤，t(l)表示l层的转移矩阵，其中，l是层数，k表示聚合步骤，t(l)表示l层的转移矩阵，并且α可以是[0，1]中的数值，例如预先训练好的值。
[0064]
根据一些实施例，所述注意力表征可以包括所述节点表征与邻居节点的隐含表征
的加权和。
[0065]
注意力表征结合节点本身的表征(并且根据一些可选实施例，可以是扩散表征)与邻居节点的隐含表征，能够更好地反映节点特征，从而使得分类结果更加准确。根据这样的实施例，注意力表征h
l
可以被表示为：
[0066][0067]
其中，是节点本身的表征，是邻居节点的隐含表征，wa和wd是权重。
[0068]
根据一些实施例，基于所述节点表征确定注意力表征可以包括利用多头注意力机制确定所述隐含表征。多头(multi-head)注意力机制将模型分为多个头，形成多个子空间，可以让模型去关注不同方面的信息，在图模型表现的效果更好。
[0069]
根据一些示例实施例，可以利用下方公式根据自注意力策略来对邻居节点的隐含表征进行计算。
[0070][0071]
其中，m表示头(head)的数目，w表示权重，例如可以是根据预训练过程而获取的权重。α
i，j
表示节点j对节点i的归一化的注意力分值，并且可以被计算为：
[0072][0073]
其中，σ表示激活函数，θ表示加权系数。
[0074]
根据这样的示例实施例，最终层l的节点表示可以如下式所示，
[0075][0076]
其中各个表达式的含义如上文所述，并且在此不再赘述。可以理解的是，在节点本身的表征是扩散表征的可选实施例中，wa可以被称为注意力权重系数，并且wd可以被称为扩散权重系数。可以理解的是，本公开不限于此。
[0077]
根据一些实施例，至少基于所述注意力表征确定分类结果可以包括基于所述节点表征与所述注意力表征的拼接确定分类结果。在这样的可选实施例中，可以将注意力机制的首尾进行连接，拼接未经过注意力机制表达的表征和经过注意力机制的表征作为节点的整体特征。这样的设计可以进一步防止模型的过度平滑，提高分类性能。
[0078]
下面参考图3描述根据本公开的示例性实施例的实体信息的分类模型的训练方法300。
[0079]
在步骤s301处，确定样本数据，所述样本数据包括图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果。
[0080]
在步骤s302处，基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵。
[0081]
在步骤s303处，基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征。
[0082]
在步骤s304处，至少基于所述注意力表征确定预测分类结果。
[0083]
在步骤s305处，基于所述预测分类结果和所述真实分类结果确定损失值。
[0084]
在步骤s306处，基于所述损失值调节所述第一权重集合。
[0085]
根据本公开的实施例所述的方法，能够获得一种能够有效地对实体信息进行分类的模型。尤其是，通过利用注意力机制，并且结合线性变换的网络结构，可以减少模型的训练时间，并且有效地解决过拟合和过度平滑问题。
[0086]
参考前文中描述的其他实施例已经记载了对于图数据的特征矩阵、邻接矩阵和线性变换，并且在此不再赘述。可以理解的是，第一权重集合可以是如公式中所述的权重w
(l)
，并且更具体地，第一权重集合可以包括一层或者多层(例如，所有层)的权重，并且本公开不限于此。
[0087]
根据一些实施例，基于所述预测分类结果和所述真实分类结果确定损失值可以包括通过交叉熵损失与dice损失的加权和来确定损失值，并且其中，所述dice损失的权重可以是根据样本数据的不平衡程度而确定的。
[0088]
交叉熵与dice损失函数的结合可以有效的提高节点的分类效果，尤其是提升对非平衡数据训练的鲁棒性，并且可以解决样本不平衡和训练难以收敛的问题。相较于关注数据样本均匀分布的场景的传统方法，根据本公开的交叉dice损失函数训练方法可以有效提高在训练数据分布不平衡情况下的模型准确率。
[0089]
作为一个示例，可以采用如下所示的损失函数：
[0090]
l
cdl
＝w
dice exp(l
dice
) w
cross
l
cross
[0091]
其中l
dice
和l
cross
分别代表dice损失和交叉熵损失，并且w
dice
和w
cross
分别是对应的权重。作为可选的实施例，w
dice
和w
cross
可以根据样本数据的不平衡或不对称程度来确定，以用来反映样本数据的不平衡程度。样本数据的不平衡或不对称可以包括某个类别的数据数量很少甚至缺失类别等。在样本数据不对称越严重的情况下，w
cross
可以越大。作为一个非限制性示例，w
cross
可以是0.8。可以理解的是，可以在模型训练过程中结合模型的收敛情况、训练速度、训练效果来不断调整权重，而不必要求这里的权重严格与不对称程度成确定的关系(例如，比例关系)，等等。
[0092]
本领域技术人员将熟知交叉熵损失的计算公式，并且在此不再赘述。dice损失函数的公式可以如下所示：
[0093][0094]
其中n代表所有样本的集合，l是所有标签的集合，y
(l)
是样本i的标签，是样本i的预测概率，∈是用来防止分母为0的一个很小的值，w
l
表示第l层的权重，可以通过来计算。
[0095]
根据本公开的一个或多个实施例，能够实现基于交叉dice损失函数的图神经网络(gnn)训练方法。
[0096]
传统的解决样本不平衡问题是用采样的方法来增加少数类特征或者减少多数类特征，但是这类方法会导致预测结果的假阳性情况发生。损失函数可以用来增加模型在不平衡数据训练时模型的鲁棒性，但会影响模型的收敛情况。根据本公开的实施例的交叉dice损失函数能够通过结合dice损失和交叉熵损失用来解决样本不平衡和训练难以收敛的问题。
[0097]
作为一个说明性的示例，训练过程可以使用adam算法进行模型训练，并且在连续的几轮(例如，10轮)中如果验证损失不增加就停止训练，得到最终的模型参数。通过实验证明，此方法可以有效的提高在样本不平衡情况下模型的准确率。
[0098]
根据一些实施例，基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征可以包括：基于所述邻接矩阵确定转移矩阵；基于所述转移矩阵和所述经线性变换的特征矩阵生成所述样本数据的节点表征；以及基于所述节点表征确定注意力表征。
[0099]
在这样的实施例中，可以进一步确定转移矩阵，并且通过转移矩阵和特征矩阵进行聚合而生成节点的表征，再利用这样的节点表征结合注意力机制来计算注意力表征，能够有效聚焦在可预测推断任务中的最相关部分也即对分类任务来说最关键的节点特征。
[0100]
根据一些实施例，基于所述至少一个转移矩阵和所述至少一个经线性变换的特征矩阵生成图节点的节点表征可以包括：基于所述经线性变换的特征矩阵和所述转移矩阵确定至少一个经扩散的特征矩阵；以及基于所述经线性变换的特征矩阵和所述至少一个经扩散的特征矩阵确定所述节点表征。
[0101]
根据这样的实施例，构建了具有图扩散卷积特性的深度图神经网络，有助于网络的收敛，进而提升模型的有效性。
[0102]
根据一些实施例，基于所述经线性变换的特征矩阵和所述至少一个经扩散的特征矩阵确定所述节点表征可以包括：基于所述经线性变换的特征矩阵、所述至少一个经扩散的特征矩阵以及第二权重集合确定所述节点表征，并且其中，方法300还可以包括基于所述损失函数来调节所述第二权重集合。
[0103]
例如，在节点的表征可以根据如下公式计算的可选实施例中，第二权重集合可以包括α1和α2。
[0104][0105]
可以理解的是，本公开不限于此，在采用其他网络结构计算节点表征(例如，采用多层网络模型计算节点表征)的实施例中，第二权重集合可以包括更多的或者不同的权重。
[0106]
根据一些实施例，所述注意力表征可以包括所述节点表征与邻居节点的隐含表征的加权和。注意力表征结合节点本身的表征(并且根据一些可选实施例，可以是扩散表征)与邻居节点的隐含表征，能够更好地反映节点特征，从而使得分类结果更加准确。
[0107]
根据一些实施例，基于所述节点表征确定注意力表征可以包括利用多头注意力机制确定所述邻居节点的隐含表征。多头注意力机制将模型分为多个头，形成多个子空间，可以让模型去关注不同方面的信息，在图模型表现的效果更好。
[0108]
根据一些实施例，基于所述节点表征确定注意力表征包括基于第三权重集合和所述节点表征确定注意力表征，并且其中，所述方法300还可以包括基于所述损失函数来调节所述第三权重集合。
[0109]
例如，如前文的一个或多个实施例所述的，第三权重集合可以包括自身节点表征与邻居节点隐含表征之间的权重系数(例如注意力权重系数和扩散权重系数)、注意力机制本身中的一个或多个权重系数(例如，在采用公式的情况下，其中的w)，等等，并且本领域技术人员将理解，本公开不限于此。
[0110]
根据一些实施例，至少基于所述注意力表征确定分类结果可以包括：基于所述节点表征与所述注意力表征的拼接确定分类结果。
[0111]
根据一些实施例，至少基于所述注意力表征确定预测分类结果可以包括基于第四权重集合确定预测分类结果，并且其中，所述方法300还可以包括基于所述损失函数来调节所述第四权重集合。可以理解的是，第四权重集合可以表示分类模型的权重，并且分类模型可以采用本领域技术人员可以理解的任何分类模型或者分类器。
[0112]
可以理解，根据本公开的一个或多个实施例，可以基于共享的损失函数对模型的特征提取部分(包括线性变换部分和注意力部分)以及分类部分进行整体训练。但是可以理解的是，本公开不限于此。根据一些实施例，可以只训练线性变化部分、注意力部分、分类部分中的一个或多个，而其余的网络部分可以是预训练的(例如，在其他任务中预训练的，现成的分类器模型，等等)。甚至，可以只对这些网络部分中的每个的仅一部分进行训练。例如，可以使用已经预训练了一个或多个层的线性变换部分，并且训练过程仅对其余的一个或多个层的参数进行修改，等等。
[0113]
下面结合图4描述根据本公开的一个或多个实施例的实体信息分类方法或者实体信息的分类模型的训练方法可以适用于的模型的示意图。如图4所示，其中在获得待分类的实体信息的图数据之后，将其处理为输入410，其可以包括特征矩阵x和邻接矩阵a。输入410被输入到线性变换模块420，并且可以经过转移矩阵生成模块430确定转移矩阵t。经线性变换的特征可以被输出到聚合模块440，聚合模块440可以是0跳聚合(0-hop aggregation)模块。
[0114]
经线性变换的特征也可以与转移矩阵t一起输入到扩散模块450。扩散模块450可选地可以包括多个多跳聚合子模块，例如1跳(1-hop)聚合模块450-1、2跳(2-hop)聚合模块450-2、
……
k跳(k-hop)聚合模块450-k等等。例如，可以利用多跳邻居聚合在单层内执行图扩散过程。
[0115]
之后，通过将数据进行组合，生成节点表征(或者在本文的某些示例中，被称为节点的中间表征)。节点表征460可以被输入到注意力模块470以生成注意力表征h
l
，或者在本文中也可以被称为最终层表征h
l
。如图所示，注意力模块470可以是多头注意力模块，但是可以理解，本公开不限于此。例如，在传播过程中，可以在输入和输出层之间建立一个短连接用来减小过度平滑的影响。经注意力模块所生成的注意力表征h
l
可以与节点表征进行合并(例如，拼接)，生成输出表示480。输出表示进而可以经过分类模块490进行分类，并且由此可以获得节点的分类结果，也即所需的实体信息的分类结果。作为一个示例，输出层可以使用softmax函数进行模型的输出，并且本公开不限于此。
[0116]
根据本公开的一个或多个实施例，能够获得一种具有图扩散卷积特性的深度图神经网络。传统的深度神经网络大量的模型参数会导致模型的过拟合问题，同时样本的不平衡问题会导致模型在多数类样本中表现为过拟合，在少数类样本中表现为过度平滑。在模型的过度平滑的情况下，限制了模型的深度仅能表现为浅层模型。
[0117]
表1给出了用算法语言描述的根据本公开的一个或多个实施例的分类模型的逻辑示例。可以理解的是，以下算法语言与其中所使用的公式仅为示例，并且本公开不限于此。
[0118]
表1
[0119][0120]
可以理解，输入是特征矩阵x和邻接矩阵a，并且输出是节点的类别概率。由此，能够实现对实体信息的分类。
[0121]
本公开的一个或多个实施例公开了基于交叉dice损失的非平衡数据分布场景下谱图注意力网络及其训练方法，并且这样的网络可以进而用于实体信息的分类。在实际应用场景中，数据经常以非平衡的方式分布在不同的网络拓扑结构下，通过构建嵌入向量来表征一个图节点，用邻接矩阵来构建邻居节点的特征信息。可以用注意力机制来处理大小不一的输入数据，聚焦在可预测推断任务中的最相关部分，从而提升模型性能。并且根据可选实施例，这样的网络可以基于交叉dice损失函数而训练，从而可以有效的提高节点的分类效果，提升对非平衡数据训练的鲁棒性。
[0122]
此外，可以理解的是，贯穿本文中多次使用字母符号“w”表示权重或系数，但是这样的表述的使用仅用来表示存在一组权重或者系数(例如，一个或多个模型参数)，而每次出现的“w”并不表示相似或者相同的权重值，甚至不需要包括相同数量的权重。例如，结合第一模型部分描述的w可以具有与第一模型部分的结构或层数适配的一个或多个权重或系数，而结合第二模型部分描述的w可以具有与第二模型部分的结构或层数适配的一个或多个权重或系数，等等，并且本公开不限于此。
[0123]
现在参考图5描述根据本公开的实施例的实体信息的分类装置500。实体信息的分类装置500可以包括矩阵确定单元501、线性变换单元502、注意力单元503和分类单元504。
矩阵确定单元501可以用于确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的。线性变换单元502可以用于对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵。注意力单元503可以用于基于所述经线性变换的特征矩阵确定所述图数据的注意力表征。分类单元504可以用于至少基于所述注意力表征确定分类结果。
[0124]
根据本公开的实施例所述的装置，能够有效地对实体信息进行分类。
[0125]
现在参考图6描述根据本公开的实施例的实体信息的分类模型的训练装置600。实体信息的分类模型的训练装置600可以包括样本数据确定单元601、线性变换单元602、注意力单元603、分类单元604、损失确定单元605和权重调节单元606。
[0126]
样本数据确定单元601可以用于确定样本数据，所述样本数据包括样本图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果。
[0127]
线性变换单元602可以用于基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵。
[0128]
注意力单元603可以用于基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征。
[0129]
分类单元604可以用于至少基于所述注意力表征确定预测分类结果。
[0130]
损失确定单元605可以用于基于所述预测分类结果和所述真实分类结果确定损失值。
[0131]
权重调节单元606可以用于基于所述损失值调节所述第一权重集合
[0132]
根据本公开的实施例所述的装置，能够获得一种能够有效地对实体信息进行分类的模型。
[0133]
本公开的技术方案中，所涉及的用户个人信息的收集、获取，存储、使用、加工、传输、提供和公开应用等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0134]
根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0135]
参考图7，现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0136]
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0137]
电子设备700中的多个部件连接至i/o接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型
的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙tm设备、802.11设备、wifi设备、wimax设备、蜂窝通信设备和/或类似物。
[0138]
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法200和/或300及其变型例等。例如，在一些实施例中，方法200和/或300及其变型例等可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的方法200和/或300及其变型例等的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200和/或300及其变型例等。
[0139]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0140]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0141]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或
上述内容的任何合适组合。
[0142]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0143]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0144]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0145]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0146]
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。