一种用于风险识别的方法和装置与流程

1.本技术涉及计算机技术领域，尤其涉及一种用于风险识别的技术方案。


背景技术：

2.用户风险识别是指采用机器学习或者深度学习的方法对用户未来的风险进行预测，如针对用户的金融风险识别是指对用户在未来的还款能力的预测，有时也可称为金融风险预测或逾期预测等。现有技术中，针对用户的风险识别，通常采用的机器学习和深度学习大多是基于用户自身的特征进行挖掘。


技术实现要素：

3.本技术的目的是提供一种针对异构图的用于风险识别的技术方案。
4.根据本技术的一个实施例，提供一种用于风险识别的方法，其中，所述方法包括：
5.从输入数据中抽取用户实体以及所述用户实体对应的关系信息，并根据所述用户实体以及所述关系信息建立网络关系异构图；
6.根据所述网络关系异构图，获得边信息表示以及用户特征表示；
7.根据所述边信息表示以及用户特征表示，确定多个高阶用户表示；
8.根据所述多个高阶用户表示，并使用多层注意力机制，建立融合边信息的多层注意力模型；
9.构建损失函数，并使用所述损失函数对所述多层注意力模型进行训练。
10.根据本技术的另一个实施例，还提供了一种用于风险识别的装置，其中，所述装置包括：
11.用于从输入数据中抽取用户实体以及所述用户实体对应的关系信息，并根据所述用户实体以及所述关系信息建立网络关系异构图的装置；
12.用于根据所述网络关系异构图，获得边信息表示以及用户特征表示的装置；
13.用于根据所述边信息表示以及用户特征表示，确定多个高阶用户表示的装置；
14.用于根据所述多个高阶用户表示，并使用多层注意力机制，建立融合边信息的多层注意力模型的装置；
15.用于构建损失函数，并使用所述损失函数对所述多层注意力模型进行训练的装置。
16.根据本技术的另一个实施例，还提供了一种计算机设备，其中，所述计算机设备包括：存储器，用于存储一个或多个程序；一个或多个处理器，与所述存储器相连，当所述一个或多个程序被所述一个或者多个处理器执行时，使得所述一个或多个处理器执行如下操作：
17.从输入数据中抽取用户实体以及所述用户实体对应的关系信息，并根据所述用户实体以及所述关系信息建立网络关系异构图；
18.根据所述网络关系异构图，获得边信息表示以及用户特征表示；
19.根据所述边信息表示以及用户特征表示，确定多个高阶用户表示；
20.根据所述多个高阶用户表示，并使用多层注意力机制，建立融合边信息的多层注意力模型；
21.构建损失函数，并使用所述损失函数对所述多层注意力模型进行训练。
22.根据本技术的另一个实施例，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如下操作：
23.从输入数据中抽取用户实体以及所述用户实体对应的关系信息，并根据所述用户实体以及所述关系信息建立网络关系异构图；
24.根据所述网络关系异构图，获得边信息表示以及用户特征表示；
25.根据所述边信息表示以及用户特征表示，确定多个高阶用户表示；
26.根据所述多个高阶用户表示，并使用多层注意力机制，建立融合边信息的多层注意力模型；
27.构建损失函数，并使用所述损失函数对所述多层注意力模型进行训练。
28.与现有技术相比，本技术具有以下优点：能够根据基于构建的网络关系异构图学习到的边信息表示以及用户特征表示，确定多个高阶用户表示，进而根据所述多个高阶用户表示，并使用多层注意力机制，建立融合边信息的多层注意力模型，从而能够使得模型准确表达不同邻居用户对中心用户的不同影响，以更准确地识别用户风险。
附图说明
29.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
30.图1示出了本技术一个实施例的用于风险识别的方法的流程示意图；
31.图2为本技术一个示例的网络关系异构图；
32.图3为本技术一个示例的基于transformer的多层图注意力机制；
33.图4为本技术一个示例的用于风险识别的流程图；
34.图5示出了本技术一个实施例的用于风险识别的装置的结构示意图；
35.图6示出了可被用于实施本技术中所述的各个实施例的示例性系统。
36.附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
37.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
38.在上下文中所称“设备”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的程序指令来执行预定处理过程，或是由专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)等硬件执行预定处理过程，或是由上述二者组合来
实现。
39.本技术的技术方案主要由计算机设备来实现。其中，所述计算机设备包括网络设备和用户设备。所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloud computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于pc机、平板电脑、智能手机、iptv、pda、可穿戴设备等。其中，所述计算机设备可单独运行来实现本技术，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本技术。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(ad hoc网络)等。
40.需要说明的是，上述计算机设备仅为举例，其他现有的或今后可能出现的计算机设备如可适用于本技术，也应包含在本技术保护范围以内，并以引用方式包含于此。
41.本文后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
42.这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本技术的示例性实施例的目的。但是本技术可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
43.应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
44.这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
45.还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
46.本技术发现，现有技术中针对用户的风险识别方案存在以下技术问题：
47.1)现有的基于机器学习或者深度学习的方案仅对用户自身特征进行学习，而没有考虑用户的邻居特征，周围用户预期风险高时，中心用户预期风险也会偏高；
48.2)现有技术中使用图注意力模型进行用户风险预测的研究比较少，而图注意力模型能够获取关联网络中丰富的关联信息，对用户风险预测具有很大的帮助；
49.3)现有的风险识别方案中缺乏对高阶邻居的充分学习；
50.4)现有技术仅仅通过取平均的方式，然而，不同用户对中心用户的影响是不同的，现有技术的方案并不能体现不同用户对中心用户的影响；
51.5)不同的连接关系体现了不同用户的之间的亲密程度，因此对不同连接关系的学习具有重要意义，而现有技术中并未考虑此方；
52.6)transformer结构作为目前nlp(natural language processing，自然语言处理)领域的前沿方向，在nlp时序模型上表现出远超lstm(long short-term memory，长短期记忆网络)的效果，但是很难直接迁移到异构图中进行使用。
53.针对上述发现，本技术提供了一种融合边信息的多层注意力机制的风险识别方案，该方案针对网络异构图，通过学习边信息表示和用户特征表示，并将边信息表示和用户特征表示相结合，能够得到高阶用户表示，进而能够对高阶邻居信息进行充分学习，提高模型对用户风险的预测能力。
54.下面结合附图对本技术作进一步详细描述。
55.图1示出了本技术一个实施例的用于风险识别的方法的流程示意图。根据本实施例的方法包括步骤s11、步骤s12、步骤s13、步骤s14和步骤s15。在步骤s11中，计算机设备从输入数据中抽取用户实体以及所述用户实体对应的关系信息，并根据所述用户实体以及所述关系信息建立网络关系异构图；在步骤s12中，计算机设备根据所述网络关系异构图，获得边信息表示以及用户特征表示；在步骤s13中，计算机设备根据所述边信息表示以及用户特征表示，确定多个高阶用户表示；在步骤s14中，计算机设备根据所述多个高阶用户表示，并使用多层注意力机制，建立融合边信息的多层注意力模型；在步骤s15中，计算机设备构建损失函数，并使用所述损失函数对所述多层注意力模型进行训练。
56.在步骤s11中，计算机设备从输入数据中抽取用户实体以及所述用户实体对应的关系信息，并根据所述用户实体以及所述关系信息建立网络关系异构图。
57.在一些实施例中，网络关系异构图表示不同用户经过不同关系建立连接。在一些实施例中，异构图是指具有多种类型的节点和边的图形，也称为异构信息网络，不同类型的节点具有不同的特征，其特征可能落在不同的特征空间中，例如，用户的特征可能涉及性别、年龄、社区、公司、商场等。在一些实施例中，在异构图中的节点可以通过各种类型的关系(如元路径)连接。
58.在一些实施例中，所述关系信息用于指示不同用户实体之间的关联关系，如社区、公司、商场等关系。图2为本技术一个示例的网络关系异构图，其中，用户0为中心用户，该网络关系异构图中示出了用户0与其多个关联用户(或者成为邻居用户)之间的关联关系，如图2所示，用户0与用户1之间具有社区相关的关联关系(如两者位于同一个社区或者相邻社区)、用户0与用户2之间具有wifi相关的关联关系(如两者接入或者曾经接入同一个wifi接入点)、用户0与用户3之间具有商场相关的关联关系(如两者在相同时间位于同一个商场)，用户0与用户4具有公司相关的关联关系(如两者属于同一个公司的员工)。
59.在步骤s12中，计算机设备根据所述网络关系异构图，获得边信息表示以及用户特征表示。通过对构建的网络关系异构图进行信息挖掘，考虑了用户邻居信息对中心用户的影响。
60.在一些实施例中，通过对所述网络关系异构图进行表示学习，获得与中心用户的每个关联用户相对应的边信息表示以及用户特征表示，以图2为例，对于中心用户0的关联用户1，获得用户1对应的边信息表示(如商场名称信息)以及用户1对应的特征表示，相类似的，获得用户2-4分别对应的边信息表示和特征表示。
61.在一些实施例中，所述步骤s12进一步包括：对所述网络关系异构图进行表示学习，获得用户特征表示；根据所述网络关系异构图进行异质关系提取，获得边信息表示。在一些实施例中，异质关系提取是指对网络关系异构图中的边信息进行提取。在一些实施例中，根据所述网络关系异构图进行异质关系提取，获得边的文本信息，根据所述边的文本信息，确定边信息表示，也即，本技术能够对关联关系的文本信息进行表示学习；优选地，根据所述网络关系异构图，并基于transformer结构，进行异质关系提取，获得边的文本信息，例如，基于transformer结构进行异质关系提取，获得公司名称信息、商场名称信息、wi-fi名称信息等，之后得到所提示的信息对应的边信息表示。
62.在步骤s13中，计算机设备根据所述边信息表示以及用户特征表示，确定多个高阶用户表示。
63.在一些实施例中，对于所述用户实体中的每个目标用户，根据该目标用户对应的边信息表示以及用户特征表示，确定该目标用户对应的高阶用户表示，其中，所述目标用户包括中心用户的每个邻居用户。以图2所示网络关系为例，目标用户为中心用户0的邻居用户(即用户1-4)，根据用户1对应的边信息表示以及用户特征表示，确定用户1对应的高阶用户表示；根据用户2对应的边信息表示以及用户特征表示，确定用户2对应的高阶用户表示；根据用户3对应的边信息表示以及用户特征表示，确定用户3对应的高阶用户表示；根据用户4对应的边信息表示以及用户特征表示，确定用户4对应的高阶用户表示。在一些实施例中，可预先设定阶数，如设定阶数为3，则高阶用户表示指的是3阶用户表示，又如设定阶数为5，则高阶用户表示指的是5阶用户表示；在一些实施例中，可基于经验值设定阶数；在一些实施例中，基于用户实体的数量确定或调整阶数；在一些实施例中，可基于针对风险识别结果的反馈来调整阶数。在一些实施例中，所述目标用户还包括中心用户，以图2所示网络关系为例，若预先设定的阶数为3，目标用户包括中心用户0以及用户1-4，则需分别确定用户0、用户1、用户2、用户3以及用户4的3阶用户表示。
64.在一些实施例中，所述根据该目标用户对应的边信息表示以及用户特征表示，确定该目标用户对应的高阶用户表示，包括：将该目标用户对应的边信息表示与用户特征表示进行拼接，获得该目标用户对应的高阶用户表示。例如，对于一个目标用户，基于网络关系异构图，采用transformer结构对该目标用户对应的边的文本信息进行提取，获得如公司名称信息、商场名称信息、wi-fi名称信息等信息，之后获得边的文本信息对应的边信息表示(如映射得到的一个一维向量)，然后将该边信息表示和该目标用户对应的用户特征进行拼接，得到两者的结合表示，也即该目标用户对应的高阶信息表示。
65.在一些实施例中，所述根据该目标用户对应的边信息表示以及用户特征表示，确定该目标用户对应的高阶用户表示，包括：将该目标用户对应的边信息表示与用户特征表示相乘，获得该目标用户对应的高阶用户表示。例如，目标用户对应的边信息表示为0.2，用户特征表示为0.5，则将该边信息表示与用户特征表示相乘获得该目标用户对应的高阶用户表示为0.1(0.2*0.5＝0.1)。
66.在步骤s14中，计算机设备根据所述多个高阶用户表示，并使用多层注意力机制，建立融合边信息的多层注意力模型。本技术提出了基于多层图注意力机制对高阶邻居信息进行学习，对不同关联关系进行深层表示学习，对关联关系的文本信息进行表示学习，且提出通过融合多层注意力机制和不同关联信息，实现学习不同关联信息的同时实现多层图邻
居信息提取，提升模型的表达能力。
67.在一些实施例中，根据所述多个高阶用户表示，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型。也即，本技术提出基于transformer的多层图注意力机制对高阶邻居信息进行学习。图3为本技术一个示例的基于transformer的多层图注意力机制，该示例基于图2所示网络关系图，其中阶数为3，也即采用了三层图注意力机制，第3阶用户表示包括user3_1、user3_2、user3_3、user3_4，以user3_1为例，前缀3是指中心用户(即图2所示用户0)的第3阶邻居，后缀1是指第1个邻居，也即user3_1表示中心用户的第3阶邻居中的第1个邻居，user3_2是指中心用户的第3阶邻居中的第2个邻居，以此类推；以user3_1为例，针对用户1，采用transformer结构对边的文本信息进行异质关系提取，获得比如公司名称信息、商场名称信息、wi-fi名称信息等，之后学习到边信息表示edge3_1，把edge3_1和用户1的用户特征进行结合，这里采用拼接的方式，得到两者的结合表示user3_1，以此类推可以得到user3_2、user3_3、user3_4。如图3中所示，使用transformer注意力机制对第3阶用户表示进行聚合表示，得到第2阶用户表示，如图3中所示的user2_1、user2_2、user2_3、user2_4，然后继续使用transformer注意力机制对第2阶用户表示进行聚合表示，得到中心用户的1阶用户表示，如图3中所示的user1_1、user1_2、user1_3、user1_4，然后再次使用transformer注意力机制。需要说明的是，作为一种优选方案，如图3所示，在经过多层transformer结构后，可加入dnn模块降低维度，然后得到输出结果，本领域技术人员可以理解的是，也可能在经过多层transformer结构后直接得到输出结果，或者在经过多层transformer结构后，再经过其他处理然后得到输出结果。
68.在一些实施例中，所述多个高阶用户表示包括所述中心用户的多个邻居用户分别对应的高阶用户表示，所述根据所述高阶用户表示，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型，包括：计算所述多个高阶用户中每相邻的两个高阶用户表示之间的第一相似度，根据所述第一相似度，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型。例如，在图3的基础上，针对第3阶用户表示，可计算user3_1与user3_2之间的第一相似度、user3_2与user3_3之间的第一相似度、user3_3与user3_4之间的第一相似度，之后根据计算得到的各个相似度，对第3阶用户表示进行计算或处理(例如先通过计算得到的各个第一相似度对相应用户表示进行加权)，再通过transformer结构进行后续特征提取，以实现多层transformer注意力机制对高阶用户表示的学习。
69.在一些实施例中，所述多个高阶用户表示包括中心用户对应的高阶用户表示以及所述中心用户的多个邻居用户分别对应的高阶用户表示，所述根据所述高阶用户表示，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型，包括：计算所述中心用户与所述多个邻居用户中的每个邻居用户之间的第二相似度，根据所述第二相似度，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型。在一些实施例中，以图2所示网络关系为例，假设阶数为3，先学习得到中心用户的第3阶用户表示“user3_0”以及用户1-4分别对应的第3阶用户表示user3_1、user3_2、user3_3、user3_4，之后计算user3_0与user3_1之间的第二相似度m01、user3_0与user3_2之间的第二相似度m02、user3_0与user3_3之间的第二相似度m03、user3_0与user3_4之间的第二相似度m04；然后，将各个第二相似度与对应的邻居用户表示相乘得到不同邻居用户对中心用户的
影响，如m01*user3_1为用户1对用户0的影响，之后，将计算得到的各个数据通过transformer结构进行后续特征提取。
70.在一些实施例中，可基于高阶用户表示，先计算上文中提到的第一相似度以及第二相似度，之后基于计算得到的各个第一相似度以及第二相似度，对所述高阶用户表示进行相应计算或处理，之后再通过多层transformer结构。
71.在一些实施例中，本技术还提出通过对关联关系的文本信息进行表示学习来获得边信息表示，则可实现融合文本信息的多层transformer的图注意机制对复杂网络关系的学习，将之应用于用户风险预测业务，可提升用户风险预测的准确性。
72.在一些实施例中，上文中的transformer结构也可替换为bilstm，attention模型。
73.在步骤s15中，计算机设备构建损失函数，并使用所述损失函数对所述多层注意力模型进行训练。在一些实施例中，使用softmax方法对用户风险进行预测。
74.在一些实施例中，所述方法还包括：将目标用户数据输入训练好的多层注意力模型，获得输出的风险识别结果。其中，所述风险识别结果用于指示预测的用户风险概率，如风险识别结果为0.2，其表示预测到的用户发生逾期的概率为0.2。
75.根据本技术的方案，解决了如下技术问题：1)对构建的网络关系异构图进行信息挖掘，考虑邻居用户信息对中心用户的影响；使用图注意力机制对网络关系异构图进行学习，挖掘不同邻居用户对中心用户的不同影响；2)采用高阶图注意力机制，对高阶邻居信息进行学习，当网络稀疏时，通过挖掘用户的高阶信息，更好的对中心用户风险进行预测；3)通过图注意力机制代替现有的取平均的方式，使得模型能够体现不同高阶邻居信息的对中心用户的不同影响；4)通过对边信息的挖掘，能够挖掘不同连接关系的深层含义，对不同连接关系学习不同的表示，准确表达不同关系的对中心用户的影响；5)将前沿的transformer技术迁移应用到基于异构图的风控建模中，取得更好的效果。
76.图4为本技术一个示例的用于风险识别的流程图，具体流程包括：获得输入数据；从输入数据中抽取实体以及抽取关系；根据抽取到的用户实体以及用户实体对应的关系信息，建立网络关系异构图(即构建网络)；之后基于网络关系异构图进行异质关系提取，获得边信息表示；然后通过多层注意力机制，建立融合边信息的多层注意力模型；构建损失函数；对输入的目标用户数据进行用户风险识别，输出风险识别结果。
77.图5示出了本技术一个实施例的用于风险识别的装置的结构示意图。该用于风险识别的装置(以下简称为“识别装置”)包括装置11、装置12、装置13、装置14以及装置15。装置11用于从输入数据中抽取用户实体以及所述用户实体对应的关系信息，并根据所述用户实体以及所述关系信息建立网络关系异构图；装置12用于根据所述网络关系异构图，获得边信息表示以及用户特征表示；装置13用于根据所述边信息表示以及用户特征表示，确定多个高阶用户表示；装置14用于根据所述多个高阶用户表示，并使用多层注意力机制，建立融合边信息的多层注意力模型；装置15用于构建损失函数，并使用所述损失函数对所述多层注意力模型进行训练。
78.装置11从输入数据中抽取用户实体以及所述用户实体对应的关系信息，并根据所述用户实体以及所述关系信息建立网络关系异构图。
79.在一些实施例中，网络关系异构图表示不同用户经过不同关系建立连接。在一些实施例中，异构图是指具有多种类型的节点和边的图形，也称为异构信息网络，不同类型的
节点具有不同的特征，其特征可能落在不同的特征空间中，例如，用户的特征可能涉及性别、年龄、社区、公司、商场等。在一些实施例中，在异构图中的节点可以通过各种类型的关系(如元路径)连接。
80.在一些实施例中，所述关系信息用于指示不同用户实体之间的关联关系，如社区、公司、商场等关系。图2为本技术一个示例的网络关系异构图，其中，用户0为中心用户，该网络关系异构图中示出了用户0与其多个关联用户(或者成为邻居用户)之间的关联关系，如图2所示，用户0与用户1之间具有社区相关的关联关系(如两者位于同一个社区或者相邻社区)、用户0与用户2之间具有wifi相关的关联关系(如两者接入或者曾经接入同一个wifi接入点)、用户0与用户3之间具有商场相关的关联关系(如两者在相同时间位于同一个商场)，用户0与用户4具有公司相关的关联关系(如两者属于同一个公司的员工)。
81.装置12根据所述网络关系异构图，获得边信息表示以及用户特征表示。通过对构建的网络关系异构图进行信息挖掘，考虑了用户邻居信息对中心用户的影响。
82.在一些实施例中，通过对所述网络关系异构图进行表示学习，获得与中心用户的每个关联用户相对应的边信息表示以及用户特征表示，以图2为例，对于中心用户0的关联用户1，获得用户1对应的边信息表示(如商场名称信息)以及用户1对应的特征表示，相类似的，获得用户2-4分别对应的边信息表示和特征表示。
83.在一些实施例中，装置12进一步用于：对所述网络关系异构图进行表示学习，获得用户特征表示；根据所述网络关系异构图进行异质关系提取，获得边信息表示。在一些实施例中，异质关系提取是指对网络关系异构图中的边信息进行提取。在一些实施例中，根据所述网络关系异构图进行异质关系提取，获得边的文本信息，根据所述边的文本信息，确定边信息表示，也即，本技术能够对关联关系的文本信息进行表示学习；优选地，根据所述网络关系异构图，并基于transformer结构，进行异质关系提取，获得边的文本信息，例如，基于transformer结构进行异质关系提取，获得公司名称信息、商场名称信息、wi-fi名称信息等，之后得到所提示的信息对应的边信息表示。
84.装置13根据所述边信息表示以及用户特征表示，确定多个高阶用户表示。
85.在一些实施例中，对于所述用户实体中的每个目标用户，根据该目标用户对应的边信息表示以及用户特征表示，确定该目标用户对应的高阶用户表示，其中，所述目标用户包括中心用户的每个邻居用户。以图2所示网络关系为例，目标用户为中心用户0的邻居用户(即用户1-4)，根据用户1对应的边信息表示以及用户特征表示，确定用户1对应的高阶用户表示；根据用户2对应的边信息表示以及用户特征表示，确定用户2对应的高阶用户表示；根据用户3对应的边信息表示以及用户特征表示，确定用户3对应的高阶用户表示；根据用户4对应的边信息表示以及用户特征表示，确定用户4对应的高阶用户表示。在一些实施例中，可预先设定阶数，如设定阶数为3，则高阶用户表示指的是3阶用户表示，又如设定阶数为5，则高阶用户表示指的是5阶用户表示；在一些实施例中，可基于经验值设定阶数；在一些实施例中，基于用户实体的数量确定或调整阶数；在一些实施例中，可基于针对风险识别结果的反馈来调整阶数。在一些实施例中，所述目标用户还包括中心用户，以图2所示网络关系为例，若预先设定的阶数为3，目标用户包括中心用户0以及用户1-4，则需分别确定用户0、用户1、用户2、用户3以及用户4的3阶用户表示。
86.在一些实施例中，所述根据该目标用户对应的边信息表示以及用户特征表示，确
定该目标用户对应的高阶用户表示，包括：将该目标用户对应的边信息表示与用户特征表示进行拼接，获得该目标用户对应的高阶用户表示。例如，对于一个目标用户，基于网络关系异构图，采用transformer结构对该目标用户对应的边的文本信息进行提取，获得如公司名称信息、商场名称信息、wi-fi名称信息等信息，之后获得边的文本信息对应的边信息表示(如映射得到的一个一维向量)，然后将该边信息表示和该目标用户对应的用户特征进行拼接，得到两者的结合表示，也即该目标用户对应的高阶信息表示。
87.在一些实施例中，所述根据该目标用户对应的边信息表示以及用户特征表示，确定该目标用户对应的高阶用户表示，包括：将该目标用户对应的边信息表示与用户特征表示相乘，获得该目标用户对应的高阶用户表示。例如，目标用户对应的边信息表示为0.2，用户特征表示为0.5，则将该边信息表示与用户特征表示相乘获得该目标用户对应的高阶用户表示为0.1(0.2*0.5＝0.1)。
88.装置14根据所述多个高阶用户表示，并使用多层注意力机制，建立融合边信息的多层注意力模型。本技术提出了基于多层图注意力机制对高阶邻居信息进行学习，对不同关联关系进行深层表示学习，对关联关系的文本信息进行表示学习，且提出通过融合多层注意力机制和不同关联信息，实现学习不同关联信息的同时实现多层图邻居信息提取，提升模型的表达能力。
89.在一些实施例中，根据所述多个高阶用户表示，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型。也即，本技术提出基于transformer的多层图注意力机制对高阶邻居信息进行学习。图3为本技术一个示例的基于transformer的多层图注意力机制，该示例基于图2所示网络关系图，其中阶数为3，也即采用了三层图注意力机制，第3阶用户表示包括user3_1、user3_2、user3_3、user3_4，以user3_1为例，前缀3是指中心用户(即图2所示用户0)的第3阶邻居，后缀1是指第1个邻居，也即user3_1表示中心用户的第3阶邻居中的第1个邻居，user3_2是指中心用户的第3阶邻居中的第2个邻居，以此类推；以user3_1为例，针对用户1，采用transformer结构对边的文本信息进行异质关系提取，获得比如公司名称信息、商场名称信息、wi-fi名称信息等，之后学习到边信息表示edge3_1，把edge3_1和用户1的用户特征进行结合，这里采用拼接的方式，得到两者的结合表示user3_1，以此类推可以得到user3_2、user3_3、user3_4。如图3中所示，使用transformer注意力机制对第3阶用户表示进行聚合表示，得到第2阶用户表示，如图3中所示的user2_1、user2_2、user2_3、user2_4，然后继续使用transformer注意力机制对第2阶用户表示进行聚合表示，得到中心用户的1阶用户表示，如图3中所示的user1_1、user1_2、user1_3、user1_4，然后再次使用transformer注意力机制。需要说明的是，作为一种优选方案，如图3所示，在经过多层transformer结构后，可加入dnn模块降低维度，然后得到输出结果，本领域技术人员可以理解的是，也可能在经过多层transformer结构后直接得到输出结果，或者在经过多层transformer结构后，再经过其他处理然后得到输出结果。
90.在一些实施例中，所述多个高阶用户表示包括所述中心用户的多个邻居用户分别对应的高阶用户表示，所述根据所述高阶用户表示，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型，包括：计算所述多个高阶用户中每相邻的两个高阶用户表示之间的第一相似度，根据所述第一相似度，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型。例如，在图3的基础上，针对第3阶用户表示，可
计算user3_1与user3_2之间的第一相似度、user3_2与user3_3之间的第一相似度、user3_3与user3_4之间的第一相似度，之后根据计算得到的各个相似度，对第3阶用户表示进行计算或处理(例如先通过计算得到的各个第一相似度对相应用户表示进行加权)，再通过transformer结构进行后续特征提取，以实现多层transformer注意力机制对高阶用户表示的学习。
91.在一些实施例中，所述多个高阶用户表示包括中心用户对应的高阶用户表示以及所述中心用户的多个邻居用户分别对应的高阶用户表示，所述根据所述高阶用户表示，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型，包括：计算所述中心用户与所述多个邻居用户中的每个邻居用户之间的第二相似度，根据所述第二相似度，并使用基于transformer的多层注意力机制，建立融合边信息的多层注意力模型。在一些实施例中，以图2所示网络关系为例，假设阶数为3，先学习得到中心用户的第3阶用户表示“user3_0”以及用户1-4分别对应的第3阶用户表示user3_1、user3_2、user3_3、user3_4，之后计算user3_0与user3_1之间的第二相似度m01、user3_0与user3_2之间的第二相似度m02、user3_0与user3_3之间的第二相似度m03、user3_0与user3_4之间的第二相似度m04；然后，将各个第二相似度与对应的邻居用户表示相乘得到不同邻居用户对中心用户的影响，如m01*user3_1为用户1对用户0的影响，之后，将计算得到的各个数据通过transformer结构进行后续特征提取。
92.在一些实施例中，可基于高阶用户表示，先计算上文中提到的第一相似度以及第二相似度，之后基于计算得到的各个第一相似度以及第二相似度，对所述高阶用户表示进行相应计算或处理，之后再通过多层transformer结构。
93.在一些实施例中，本技术还提出通过对关联关系的文本信息进行表示学习来获得边信息表示，则可实现融合文本信息的多层transformer的图注意机制对复杂网络关系的学习，将之应用于用户风险预测业务，可提升用户风险预测的准确性。
94.在一些实施例中，上文中的transformer结构也可替换为bilstm，attention模型。
95.装置15构建损失函数，并使用所述损失函数对所述多层注意力模型进行训练。在一些实施例中，使用softmax方法对用户风险进行预测。
96.在一些实施例中，所述识别装置还包括用于将目标用户数据输入训练好的多层注意力模型，获得输出的风险识别结果的装置。其中，所述风险识别结果用于指示预测的用户风险概率，如风险识别结果为0.2，其表示预测到的用户发生逾期的概率为0.2。
97.本技术还提供了一种计算机设备，其中，所述计算机设备包括：存储器，用于存储一个或多个程序；一个或多个处理器，与所述存储器相连，当所述一个或多个程序被所述一个或者多个处理器执行时，使得所述一个或多个处理器执行本技术所述的用于风险识别的方法。
98.本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行本技术所述的用于风险识别的方法。
99.本技术还提供了一种计算机程序产品，当所述计算机程序产品被设备执行时，使得所述设备执行本技术所述的用于风险识别的方法。
100.图6示出了可被用于实施本技术中所述的各个实施例的示例性系统。
101.在一些实施例中，系统1000能够作为本技术实施例中的任意一个处理设备。在一
些实施例中，系统1000可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或nvm/存储设备1020)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本技术中所述的动作的一个或多个处理器(例如，(一个或多个)处理器1005)。
102.对于一个实施例，系统控制模块1010可包括任意适当的接口控制器，以向(一个或多个)处理器1005中的至少一个和/或与系统控制模块1010通信的任意适当的设备或组件提供任意适当的接口。
103.系统控制模块1010可包括存储器控制器模块1030，以向系统存储器1015提供接口。存储器控制器模块1030可以是硬件模块、软件模块和/或固件模块。
104.系统存储器1015可被用于例如为系统1000加载和存储数据和/或指令。对于一个实施例，系统存储器1015可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，系统存储器1015可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
105.对于一个实施例，系统控制模块1010可包括一个或多个输入/输出(i/o)控制器，以向nvm/存储设备1020及(一个或多个)通信接口1025提供接口。
106.例如，nvm/存储设备1020可被用于存储数据和/或指令。nvm/存储设备1020可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
107.nvm/存储设备1020可包括在物理上作为系统1000被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，nvm/存储设备1020可通过网络经由(一个或多个)通信接口1025进行访问。
108.(一个或多个)通信接口1025可为系统1000提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
109.对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器(例如，存储器控制器模块1030)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
110.在各个实施例中，系统1000可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统1000可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统1000包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
111.对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权
利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。