一种基于知识图谱与深度学习的信用评估方法及其系统

1.本发明涉及一种基于知识图谱与深度学习的信用评估方法，同时也涉及相应的信用评估系统，属于信用风险管理技术领域。


背景技术：

2.随着市场经济的发展，在交易和流通过程中也产生了信用关系。信用评估是信用关系的基本要素，主要分为个人信用评分、企业信用评级等，能够为单位信誉提供参考决策，有助于加强管理、规避风险、提高效益等。信用评估机构或银行常采用判别分析法、综合评判法、模糊分析法、人工神经网络法等方法对个人或企业等信用主体做出评估，但是由于银企信息不对称、行业壁垒、信用信息的多源异构、信用评价指标标准不一等原因，造成信用信息相互兼容和融合困难、无法互联互通，从而形成了整个社会的信用危机，直接导致企业融资困难、个人贷款困难等等，所以急需完善信用评估评价体系。
3.当前，我国个人征信的信用报告主要涵盖征信主体的基本信息、信贷信息、公共信息、异议记录以及查询记录五部分。在信用评估过程中，不同实体、不同指标之间难以划分信用关系，一个实体存在多个不同的信用评估体系，信用指标层次并不清晰，无法从不同的信用评估体系及层级中获取全面的信用信息，对被评估者做出全方位的信用评估。在大数据时代，这些信用信息已经由数年不变的静态数据发展为随时都有变更可能的动态数据。相比于传统的征信报告，利用大数据、知识图谱等技术构建信用主体及指标的关联，对信用主体进行精准画像。用户画像能够全方位的反映用户的信用信息，金融机构依据用户画像进行特征提取获取用户的信用数据，然后给出评定的信用等级。基于全面的信用数据可以提高信用评估的准确性，可以大大降低金融机构的审查风险。
4.在申请号为202110864488.2的中国发明申请中，公开了一种基于深度学习的食品及健康知识图谱构建方法。该方法采用(实体，关系，实体)的三元组类型作为知识图谱表示学习的输入，通过表示学习将高维度的知识进行嵌入，可以应用到实体相似度计算以及关系预测。但是，该方法并未给出如何针对特定待评估实体进行信用实体及信用指标的关联，生成对信用主体的精准画像，从而形成对该待评估实体的全面的信用评估。


技术实现要素：

5.本发明所要解决的首要技术问题在于提供一种基于知识图谱与深度学习的信用评估方法。
6.本发明所要解决的另一技术问题在于提供一种基于知识图谱与深度学习的信用评估系统。
7.为了实现上述目的，本发明采用以下的技术方案：
8.根据本发明实施例的第一方面，提供一种基于知识图谱与深度学习的信用评估方法，包括以下步骤：
9.s1：获取待评估实体的源信用数据；
10.s2：对所述源信用数据抽取信用信息，基于抽取的信用信息构建所述待评估实体的信用知识图谱；
11.s3：基于所述信用知识图谱对所述待评估实体进行评估，生成所述待评估实体的知识信用评分；
12.s4：将源信用数据输入深度学习进行深度学习信用评分；
13.s5：根据所述知识信用评分和深度学习的信用评分，生成所述待评估实体的最终信用评分。
14.其中较优地，对所述源信用数据抽取信用信息，具体包括如下步骤：抽取信用实体和信用指标；基于抽取过程得到的数据，构建信用实体和信用指标的关联关系。
15.其中较优地，所述待评估实体包括个人实体和信用指标实体，所述个人实体至少对应一个信用指标实体。
16.其中较优地，基于所述信用知识图谱对所述待评估实体进行评估，具体包括：
17.抽取以个人实体为中心的个人信用知识图谱；
18.利用transh模型对所述个人信用知识图谱进行个人实体信用评估，生成个人实体信用评分。
19.进一步地，基于所述信用知识图谱对所述待评估实体进行评估，还包括：
20.在生成个人实体信用评分之前，基于transh模型对所述个人信用知识图谱进行个人实体信用编码，生成个人实体信用向量，将个人实体信用向量依次输入到线性层和得分层
21.其中较优地，所述步骤s2中还包括，
22.在构建所述待评估实体的信用知识图谱之前进行信用实体抽取、信用指标抽取、实体对齐、知识推理。
23.其中较优地，所述深度学习信用评分，具体包括：
24.对信用指标实体数据进行组合，将组合后的信用指标实体数据输入transformer模型得到个人信用语义向量，将个人语义信息向量输入得分层，得到深度学习的个人信用得分。
25.其中较优地，所述transformer模型采用多头注意力机制，包括编码器和解码器，编码器和解码器的每一层分别包括多头自注意力模块层和全连接前馈网络层；其中，
26.多头自注意力模块层和全连接前馈网络层包括残差连接层和规范化层；
27.编码器和解码器分别包括自注意力机制解码器在自注意力机制的基础上加入编码器的反馈信息形成多头自注意力机制；
28.所述transformer模型用于使输入的信用指标实体数据经过嵌入层转换成对应向量，依次经过编码器、解码器得到深度学习的个人信用得分。
29.根据本发明实施例的第二方面，提供一种基于知识图谱与深度学习的信用评估系统，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：
30.s1：获取待评估实体的源信用数据；
31.s2：对所述源信用数据抽取信用信息，基于抽取的信用信息构建所述待评估实体的信用知识图谱；
32.s3：基于所述信用知识图谱对所述待评估实体进行评估，生成所述待评估实体的知识信用评分；
33.s4：将源信用数据输入深度学习进行深度学习信用评分；
34.s5：根据所述知识信用评分和深度学习的信用评分，生成所述待评估实体的最终信用评分。
35.与现有技术相比较，本发明所提供的信用评估方法及其系统利用大数据、知识图谱等技术构建信用主体及指标的关联，对信用主体进行精准画像，使得信用评分具有更高的稳定性和可信度，解决了信用数据质量良莠不齐、来自不同信用数据源的知识重复、层次结构缺失造成的信用评估缺乏准确性的问题。
附图说明
36.图1为本发明实施例中，基于知识图谱与深度学习的信用评估方法的流程图；
37.图2为本发明实施例中，基于知识图谱与深度学习的信用评估系统架构示意图；
38.图3为本发明实施例中，transh模型的向量化表示示意图；
39.图4为本发明实施例中，信用评分模型的示意图；
40.图5为本发明实施例中，基于知识图谱与深度学习的信用评估系统的示意图。
具体实施方式
41.下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
42.针对现有信用评估过程中，存在不同实体、不同指标之间难以划分信用关系、信用层次不清晰、不能全方位的反映用户的信用信息等问题，本发明首先提供一种基于知识图谱与深度学习的信用评估方法。该信用评估方法采用知识图谱与深度学习两部分相结合的方式，如图1和图2所示，至少包括如下步骤：
43.s1：获取待评估实体的源信用数据；源信用数据来源主要分为两部分：(1)国家平台中提取的实体用户信用数据。(2)网络上爬取的用户信用数据。知识图谱的测试数据可以采用python爬虫技术在网站爬取企业节点数据和企业节点间关系数据。
44.其中，知识图谱是一种有向异构图(图1和图2中均有所表示)，用于表达实体之间的关系，其中存在很多节点，节点代表实体，节点之间的边代表实体之间的语义关系。知识图谱可以提取和整合多源异构数据之间的关系，生成的有向异构图中包含了实体之间的语义关联，结合知识推理所得到的信息可以为用户个性化定制服务，可以应用于智能搜索、智能问答、个性化推荐等方面。知识图谱由三元组：“实体-关系-实体”、“键值对”和“实体-属性”构成。不同实体之间相互连接，对每个实体使用唯一确定的id进行标识，为了表达实体间的关联，可以使用关系连接两个实体，构成了网络状态知识结构。三元组是知识图谱一种的表达方法，即g∈(e，r，s)，其中e＝{e1，e2，e|e|}表示实体集合，共包含|e|种不同实体；r＝{rl，r2，r|r|}表示关系集合，共包含|r|种不同关系；表示三元组集合。
45.深度学习指的是通过给定的训练方法训练样本数据，得到包含多个层级的深度网络结构的机器学习过程。深度学习又称为深度结构学习(deep structured learning)，是机器学习的一种范式，也是一系列多层网络结构模型的统称，旨在通过使用多层神经网络模拟数据中的抽象特征，从大规模数据中发现现实事物的特征表示，模拟人脑学习分析的
过程。
46.本发明中所说的深度学习相对于支持向量机、聚类、最大熵方法等方法而言学习到的数据特征相对较深，非线性操作的层级数相对较多。浅层学习依靠人工经验抽取样本特征，网络模型学习后获得单层特征网络；而深度学习通过对原始信号进行逐层特征变换，将样本在原空间的特征表示变换到新的特征空间，得到层次化的特征表示。深度学习通过训练所得到的网络包含大量的神经元，每个神经元与其他神经元相互连接，神经元间的连接权重在训练过程中持续修改，通过深度学习得到的网络结构符合神经网络的特征，即深度神经网络。深度神经网络是由多个单层非线性网络叠加而成，常见的深度神经网络分为三类：1)前馈神经网络，如多层感知机、卷积神经网络等；2)反馈神经网络，如反卷积网络、层次稀疏编码网络等；3)双向神经网络，如深度玻尔兹曼机、深度信念网络等。
47.在图2中，不同的圆点表示了不同的信用实体，信用实体包括个人、企业以及其他组织，在企业与企业之间、企业与个人之间、个人与个人之间存在直接或间接的信用关联，在图中用线连接表示为信用实体之间的连接，即信用实体之间的关系。
48.s2：对源信用数据抽取信用信息，基于抽取的信用信息构建所述待评估实体的信用知识图谱；
49.其中，对源信用数据抽取信用信息具体包括：抽取信用实体和信用指标；基于抽取过程所得到的数据构建信用实体和信用指标的关联关系。信用指标表示信用实体的属性，如企业规模、公司属性、拥有软件著作权数量、员工总数，信贷信息等。在构建待评估实体的信用知识图谱之前，进行信用实体抽取、信用指标抽取、实体对齐、知识推理，即需要对经过信用信息抽取后的信用数据进行数据整合处理，得到实体对齐的信用数据。
50.待评估实体包括：个人实体和信用指标实体。个人实体至少对应一个信用指标实体。知识图谱中实体的关系包含：个人实体与信用指标实体，如张三与违约指标实体等；信用指标实体与信用指标实体，如违约指标实体与偿债能力指标实体等。
51.s3：基于所述信用知识图谱对所述待评估实体进行评估，生成所述待评估实体的知识信用评分；
52.首先，知识图谱的具体工作过程如下：
53.在知识图谱中，利用transh模型对源信用数据的结构特征进行向量化表示，将生成的向量输入第二信用评分模型对信用实体进行评估，生成知识信用评分；
54.为了更加清楚地描述上述步骤，以企业实体为例，利用知识图谱生成企业实体知识信用评分的具体步骤如下：
55.s31.对源信用数据进行实体的划分，例如，划分为个人(或企业)、各信用指标实体，实体关系分为个人实体与指标实体，指标实体与指标实体。
56.s32.抽取以个人(或企业)实体为中心的信用知识图谱。
57.s33.通过transh模型对步骤s32抽取的信用知识图谱进行个人(或企业)实体信用编码，生成个人(或企业)实体信用向量。如图3，transh模型将一个关系r表示成两个向量：超平面法向量wr和超平面内的关系向量dr表示；该关系连接的不同实体对在超平面上的投影只对应一个向量表示：h
⊥
和t
⊥
，也就是，唯一的wr和dr确定了该关系在空间中的唯一超平面。在transh模型中，将特定关系的转移向量dr放置于特定关系的超平面wr，而不是映射到相同的实体嵌入空间。对于三元组(h，r，t)，嵌入向量h和t投影到超平面wr，投影被表示
为h
⊥
和t
⊥
。投影h
⊥
和t
⊥
能被转移向量dr连接，当三元组为正样本时有更低的错误率，为负样本时错误率上升。具体地，在信用知识图谱时，本发明实施例利用transh模型对输入的信用数据进行向量化表示，假设一个三元组(h，r，t)对应的向量分别是h，r，t，在信用关系中，h表示关系三元组的头节点，r表示节点间的关系，t表示关系三元组的尾节点，如在(企业a，投资，企业b)三元组中，企业a对应三元组的头节点h，投资对应三元组的关系r，企业b对应三元组的尾节点t，该三元组表示企业a对企业b进行了投资。关系r在transh模型向量空间中对应的投影矩阵设为wr，其中，h和t分别代表头结点和尾节点的向量，wr表示平面的法向量，dr表示平面上的平移向量，关系超平面由平面的法向量wr以及平面上的平移向量dr表示。对于一个三元组，首先需要将h和t映射到超平面上，从而得到映射向量h
⊥
和t
⊥
。h
⊥
和t
⊥
通过如下公式(1)和公式(2)获得：
[0058][0059][0060]
经过transh模型得到的企业信用向量，输入信用评分模型，得到基于知识图谱的企业实体信用评分。
[0061]
s34.经过transh模型得到的个人信用向量，最终经过线性层和得分层，得到基于信用知识图谱的个人实体信用评分。
[0062]
如图4所示，在信用评分模型中，包含线性层(linear)、激活函数(sigmod)层。transh模型与transformer模型生成的信用数据向量经过线性层与激活函数层后，输出信用评分预测结果，预测结果分为n类，n由输入的信用数据分类数量确定，与信用数据分类数量相同。其中，知识图谱预测的信用评分定义为知识信用评分。
[0063]
其中，transformer模型是google公司团队在2017年提出的一种nlp经典模型。它是一种基于编码器-解码器结构的神经网络模型，通过跟踪序列数据中的关系(如某一句话中的某个单词)来学习上下文并因此学习其含义。transformer模型采用自注意力或者多头自注意力机制使得输入的数据可以并行处理，提高运行效率，可以检测数据序列中遥远的数据元素相互影响和相互依赖的微妙方式。
[0064]
下面，对深度学习的具体工作过程进行说明。
[0065]
s4：基于前述的s1步骤后，将源信用数据进行深度学习信用评分；具体的深度学习信用评分步骤如下：
[0066]
d11.对抽取的信用信息中的信用指标数据进行组合。即，将信用指标数据可以分为训练集、验证集和测试集。在本发明的一个实施例中，采用7：1.5：1.5的比例，如表1所示：
[0067]
表1
[0068][0069]
d12.对组合后的信用指标数据输入transformer模型，得到个人信用语义向量。
[0070]
在本发明的一个实施例中，transformer模型采用多头注意力机制，包括编码器、解码器和第一信用评分模型。其中，编码器和解码器的每一层分别包括多头自注意力模块
层和全连接前馈网络层；将组合后的信用数据输入编码器，编码器由6个编码区块组成，同样解码器是6个解码区块组成，编码器输出的向量会作为解码器的输入向量。
[0071]
多头自注意力模块层和全连接前馈网络层包括残差连接层和规范化层；
[0072]
编码器和解码器分别包括自注意力机制解码器在自注意力机制的基础上加入编码器的反馈信息形成多头自注意力机制；
[0073]
所述transformer模型用于使输入的信用指标实体数据经过嵌入层转换成对应向量，依次经过编码器、解码器得到深度学习的个人信用得分；
[0074]
transformer模型的详解如下：
[0075]
transformer模型分为编码器和解码器两部分，编码器由n＝6个相同的layer(层)组成。每个layer由两个sub-layer(子层)组成，分别是multi-head self-attention mechanism(多头自注意力机制)和fully connected feed-forward network(全连接前馈网络)，其中每个sub-layer都加入了残差连接层和规范化层，因此可以将sub-layer的输出表示为：
[0076]
sub_layer_output＝layernorm(x (sublayer(x)))
[0077]
解码器与编码器结构相似，但多了sub-layer。解码器的输入输出和解码过程如下：
[0078]
输出：对应i位置的输出词的概率分布。
[0079]
输入：编码器的输出与对应i-1位置解码器的输出。
[0080]
解码：在训练时，一次性将全部向量进行解码操作；预测时，针对每个向量循环解码。
[0081]
将编码器的输出向量输入解码器，经过解码器中的编码区块后，得到的向量进入第一信用评分模型，得到基于深度学习的深度评分
[0082]
d13.将个人信用语义向量输入到得分层，得到基于深度学习的个人信用得分。
[0083]
s5：根据所述知识信用评分和深度学习信用评分，生成所述待评估实体的最终信用评分。
[0084]
在本发明的一个实施例中，将上述基于知识图谱得到的知识信用评分与基于深度学习得到的深度学习信用评分加权求得个人信用评分，具体公式为：
[0085]
个人信用评分＝σ1知识评分 σ2深度评分
[0086]
其中，在本发明的一个实施例中σ1可以取0.7，σ2可以取0.3，最终得出个人信用评分，通过输出层对外输出。
[0087]
在上述基于知识图谱与深度学习的信用评估方法的基础上，本发明还提供一种基于知识图谱与深度学习的信用评估系统。如图5所示，该信用评估系统包括：一个或多个处理器21和存储器22。其中，存储器22与处理器21耦接，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例中基于知识图谱与深度学习的信用评估方法。
[0088]
其中，处理器21用于控制该信用评估系统的整体操作，以完成上述基于知识图谱与深度学习的信用评估方法的全部或部分步骤。该处理器21可以是中央处理器(cpu)、图形处理器(gpu)、现场可编程逻辑门阵列(fpga)、专用集成电路(asic)、数字信号处理(dsp)芯片等。存储器22用于存储各种类型的数据以支持在该信用评估系统的操作，这些数据例如
可以包括用于在该信用评估系统上操作的任何应用程序或方法的指令，以及应用程序相关的数据。
[0089]
该存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器等。
[0090]
在一个示例性实施例中，基于知识图谱与深度学习的信用评估系统具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现，用于执行上述的基于知识图谱与深度学习的信用评估方法，并达到如上述方法一致的技术效果。一种典型的实施例为计算机。具体地说，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0091]
在另一个示例性实施例中，本发明还提供一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任意一个实施例中的基于知识图谱与深度学习的信用评估方法的步骤。例如，该计算机可读存储介质可以为包括程序指令的存储器，上述程序指令可由基于知识图谱与深度学习的信用评估系统的处理器执行以完成上述的基于知识图谱与深度学习的信用评估方法，并达到如上述方法一致的技术效果。
[0092]
与现有技术相比较，本发明所提供的信用评估方法及其系统利用大数据、知识图谱等技术构建信用主体及指标的关联，对信用主体进行精准画像，使得信用评分具有更高的稳定性和可信度，解决了信用数据质量良莠不齐、来自不同信用数据源的知识重复、层次结构缺失造成的信用评估缺乏准确性的问题。
[0093]
上面对本发明所提供的基于知识图谱与深度学习的信用评估方法及其系统进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。