一种数据处理方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。


背景技术：

2.近年来，随着互联网技术的发展和消费金融业务的不断增长，我国信用卡发卡量有了显著的增长，随着信用卡发卡量的不断增长，交易量的不断提升以及交易欺诈手段的不断丰富。
3.然而，无论是传统信用卡欺诈或是利用网络、移动端进行“新型手段”的金融欺诈对银行、信用卡客户都造成了巨大的损失，传统的规则系统和基于简单模型的交易欺诈系统已经不能满足当前欺诈交易侦测的需求。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种数据处理方法、装置、电子设备及存储介质。
5.第一方面，本技术提供了一种数据处理方法，包括：
6.接收用于获取欺诈评分的评分获取请求；
7.获取所述评分获取请求所对应的目标用户的用户行为数据及所述交易数据；
8.将所述用户行为数据及所述交易数据输入预设机器学习模型，以使所述预设机器学习模型输出欺诈评分；
9.输出与所述评分获取请求对应的所述欺诈评分。
10.可选地，将所述用户行为数据及所述交易数据输入预设机器学习模型，以使所述预设机器学习模型输出欺诈评分，包括：
11.将所述用户行为数据输入所述预设机器学习模型中的行为分析子模型，得到第一评分；
12.将所述交易数据输入所述预设机器学习模型中的交易分析子模型，得到第二评分；
13.获取所述行为分析子模型对应的第一权重及所述交易分析子模型对应的第二权重；
14.计算所述第一评分与所述第一权重的第一乘积，计算所述第二评分与所述第二权重的第二乘积；
15.将所述第一乘积与所述第二乘积的和确定为所述欺诈评分。
16.可选地，将所述用户行为数据输入所述预设机器学习模型中的行为分析子模型，得到第一评分，包括：
17.将所述用户行为数据进行聚类，得到聚类结果；
18.计算所述聚类结果与其它多个用户行为数据的聚类结果的偏差值；
19.将所述偏差值与预设补偿权重的乘积确定为所述第一评分。
20.可选地，将所述交易数据输入所述预设机器学习模型中的交易分析子模型，得到第二评分，包括：
21.将所述交易数据与所述交易分析子模型中的多个数据范围对比；
22.将所述交易数据所在的数据范围确定为目标数据范围；
23.将所述目标数据范围对应的评分确定为所述第二评分。
24.可选地，获取所述评分获取请求所对应的目标用户的用户行为数据及所述交易数据，包括：
25.向预设数据提供接口发送数据获取请求，所述数据获取请求包含所述评分获取请求所对应的目标用户的用户标识；
26.接收所述预设数据提供接口返回的所述用户行为数据及所述交易数据。
27.可选地，所述方法还包括：
28.每隔预设自学习周期，获取预设自学习周期内多个用户的用户行为数据、交易数据及根据所述用户行为数据和所述交易数据确定的所述欺诈评分；
29.将所述预设自学习周期内多个用户的用户行为数据和交易数据分别输入预设机器学习模型，以使所述预设机器学习模型输出预测自学习评分；
30.若多个所述预测自学习评分与所述预设自学习周期内对应的欺诈评分之间的相似度超过预设第一相似度阈值，确定所述预设机器学习模型自学习完毕。
31.可选地，所述预设机器学习模型的训练方法，包括：
32.获取历史记录的多个用户的用户行为数据、交易数据及根据所述用户行为数据和所述交易数据确定的所述欺诈评分；
33.将历史记录的多个用户的用户行为数据和交易数据分别输入预设机器学习模型，以使所述预设机器学习模型输出预测训练评分；
34.若多个所述预测训练评分与对应的欺诈评分之间的相似度超过预设第二相似度阈值，确定所述预设机器学习模型训练完毕。
35.第二方面，本技术提供了一种数据处理装置，包括：
36.接收模块，用于接收用于获取欺诈评分的评分获取请求；
37.获取模块，用于获取所述评分获取请求所对应的目标用户的用户行为数据及所述交易数据；
38.输入模块，用于将所述用户行为数据及所述交易数据输入预设机器学习模型，以使所述预设机器学习模型输出欺诈评分；
39.输出模块，用于输出与所述评分获取请求对应的所述欺诈评分。
40.第三方面，本技术提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
41.存储器，用于存放计算机程序；
42.处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的数据处理方法。
43.第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理方法的程序，所述数据处理方法的程序被处理器执行时实现第一方面任一
所述的数据处理方法的步骤。
44.本技术实施例提供的上述技术方案与现有技术相比具有如下优点：
45.本发明实施例通过首先接收用于获取欺诈评分的评分获取请求，然后获取所述评分获取请求所对应的目标用户的用户行为数据及所述交易数据，再将所述用户行为数据及所述交易数据输入预设机器学习模型，以使所述预设机器学习模型输出欺诈评分，最后可以输出与所述评分获取请求对应的所述欺诈评分。
46.本发明实施例能够自动根据用户行为数据及交易数据预测目标用户的欺诈评分，并输出，可以便于根据欺诈评分侦测欺诈交易，及时发现欺诈交易，提高欺诈交易侦测的效率、降低欺诈交易的风险。
附图说明
47.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
49.图1为本技术实施例提供的一种数据处理方法的流程图；
50.图2为本技术实施例提供的一种数据处理装置的结构图；
51.图3为本技术实施例提供的一种电子设备的结构图。
具体实施方式
52.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.由于相关技术中，无论是传统信用卡欺诈或是利用网络、移动端进行“新型手段”的金融欺诈对银行、信用卡客户都造成了巨大的损失，传统的规则系统和基于简单模型的交易欺诈系统已经不能满足当前欺诈交易侦测的需求。为此，本技术实施例提供了一种数据处理方法、装置、电子设备及存储介质，该数据处理方法可以应用于交易反欺诈系统的服务器中。
54.如图1所示，该数据处理方法可以包括以下步骤：
55.步骤s101，接收用于获取欺诈评分的评分获取请求；
56.在本发明实施例中，可以接收来自于其它终端设备的评分获取请求，其它终端设备可以指需要得到交易欺诈评分的相关单位或人员，如：中小行的prm系统或者风控人员等。
57.步骤s102，获取所述评分获取请求所对应的目标用户的用户行为数据及所述交易数据；
58.本发明实施例中，用户行为数据指在交易过程中目标用户的交易行为的相关信息，交易数据指每一笔交易行为的交易金额。
59.在实际应用中，可以在每次检测到有交易行为及交易数据时，即将交易行为对应的用户行为数据及交易数据存储至数据库中，这样，在该步骤中，可以获取目标用户的用户行为数据及交易数据。
60.获取所述评分获取请求所对应的目标用户的用户行为数据及所述交易数据包括：向预设数据提供接口发送数据获取请求，所述数据获取请求包含所述评分获取请求所对应的目标用户的用户标识；接收所述预设数据提供接口返回的所述用户行为数据及所述交易数据。
61.步骤s103，将所述用户行为数据及所述交易数据输入预设机器学习模型，以使所述预设机器学习模型输出欺诈评分；
62.本发明实施例中，预设机器学习模型能够将针对部分上线的流量(1.0和2.0接口总计接入日均1000万交易量)进行准实时的交易评分估算，预设机器学习模型可以预先利用多组用户行为数据、交易数据(用户行为数据和交易数据作为训练数据)及与对应的标签欺诈评分(人工标记，作为训练标签)进行训练，待预设机器学习模型输出的预测欺诈评分与标签欺诈评分之间的偏差小于预设阈值，确定预设机器学习模型训练完毕。
63.所述预设机器学习模型的训练方法，包括：获取历史记录的多个用户的用户行为数据、交易数据及根据所述用户行为数据和所述交易数据确定的所述欺诈评分；将历史记录的多个用户的用户行为数据和交易数据分别输入预设机器学习模型，以使所述预设机器学习模型输出预测训练评分；若多个所述预测训练评分与对应的欺诈评分之间的相似度超过预设第二相似度阈值，确定所述预设机器学习模型训练完毕。
64.模型预估服务的部署需要三个主要步骤：rtidb存储的创建、模型的加载及服务接口的创建。待所有初始化步骤结束后，在线预估服务对外部应用提供restful接口，调用方以json数据的形式调用预估服务的接口，服务管理模块会通过各个服务代理实现在线预估服务的管理和监控等功能。
65.线上模型实时预估模块：交易反欺诈机器学习模型开发完成后，将模型部署在系统上提供实时预估服务，prm系统向反欺诈模型系统发送请求报文后，反欺诈模型系统基于模型计算欺诈评分，并将模型评分结果返回给prm系统。
66.步骤s104，输出与所述评分获取请求对应的所述欺诈评分。
67.在该步骤中，可以将欺诈评分输出到prm系统。
68.本发明实施例通过首先接收用于获取欺诈评分的评分获取请求，然后获取所述评分获取请求所对应的目标用户的用户行为数据及所述交易数据，再将所述用户行为数据及所述交易数据输入预设机器学习模型，以使所述预设机器学习模型输出欺诈评分，最后可以输出与所述评分获取请求对应的所述欺诈评分。
69.本发明实施例能够自动根据用户行为数据及交易数据预测目标用户的欺诈评分，并输出，可以便于根据欺诈评分侦测欺诈交易，及时发现欺诈交易，提高欺诈交易侦测的效率、降低欺诈交易的风险。
70.在本发明的又一实施例中，将所述用户行为数据及所述交易数据输入预设机器学习模型，以使所述预设机器学习模型输出欺诈评分，包括：
71.步骤201，将所述用户行为数据输入所述预设机器学习模型中的行为分析子模型，得到第一评分；
72.将所述用户行为数据输入所述预设机器学习模型中的行为分析子模型，得到第一评分，包括：将所述用户行为数据进行聚类，得到聚类结果；计算所述聚类结果与其它多个用户行为数据的聚类结果的偏差值；将所述偏差值与预设补偿权重的乘积确定为所述第一评分。
73.步骤202，将所述交易数据输入所述预设机器学习模型中的交易分析子模型，得到第二评分；
74.将所述交易数据输入所述预设机器学习模型中的交易分析子模型，得到第二评分，包括：将所述交易数据与所述交易分析子模型中的多个数据范围对比；将所述交易数据所在的数据范围确定为目标数据范围；将所述目标数据范围对应的评分确定为所述第二评分。
75.步骤203，获取所述行为分析子模型对应的第一权重及所述交易分析子模型对应的第二权重；
76.步骤204，计算所述第一评分与所述第一权重的第一乘积，计算所述第二评分与所述第二权重的第二乘积；
77.步骤205，将所述第一乘积与所述第二乘积的和确定为所述欺诈评分。
78.本发明实施例能够利用用户行为数据及交易数据确定欺诈评分，模型计算的方式比较简单，计算效率较高。
79.在本发明的又一实施例中，所述方法还包括：
80.步骤301，每隔预设自学习周期，获取预设自学习周期内多个用户的用户行为数据、交易数据及根据所述用户行为数据和所述交易数据确定的所述欺诈评分；
81.步骤302，将所述预设自学习周期内多个用户的用户行为数据和交易数据分别输入预设机器学习模型，以使所述预设机器学习模型输出预测自学习评分；
82.步骤303，若多个所述预测自学习评分与所述预设自学习周期内对应的欺诈评分之间的相似度超过预设第一相似度阈值，确定所述预设机器学习模型自学习完毕。
83.本发明实施例可以在模型自学习模块中构建完成数据闭环，将用户行为数据、交易数据以及标签数据回流到系统并通过模型自学习实现模型的自迭代更新。
84.模型自学习模块依照正式发布的交易欺诈评分模型的配置方案(包括从数据拼接、特征工程、选择算法进行模型训练的全体配置)，按照配置的时间周期对新增数据进行模型自学习训练，并采用自动或者手工的方式，发布新的模型到线下批量预估服务模块。成功发布后，线上模型实时预估模块将使用新的模型提供预估服务，实现模型的实时更新。系统可设置模型的auc指标范围，auc指标超过范围的模型不会更新到线上使用；系统需要设置自学习模块的周期，按照业务部门预期合适的频率进行自学习。
85.另外，还可以设置监控模块，监控模块的主要作用是保障系统的正常可靠的运转。监控模块本身的功能并不影响其他业务系统的运行。主要的监控项目包括以下：(1)周期自学习任务是否按时正常完成；(2)自学习生成模型的auc指标情况；(3)线上模型实时预估服务是否正常完成；(4)节点使用率情况。
86.本技术实施例的工作目标为基于历史交易数据建立一个可用的、高效的、全渠道的交易欺诈评分机器学习模型，并将训练好的模型部署在服务方反欺诈模型系统上，同时开发配套程序使该系统与现有业务系统协同运行，从而进行准实时的交易评分并输出评分
到prm系统。
87.根据项目整体目标与实施路径定义，该项目工作将分为四个里程碑阶段进行实施，分别为：
88.阶段1：系统接口对接开发以及测试环境功能测试完成
89.在测试环境中部署反欺诈模型系统和先知机器学习平台，在测试环境中部署反欺诈模型系统，开发相应的系统接口对接开发工作，完成相应的模型线下调研、模型实时预估等关键功能模块的测试。
90.阶段2:2.0接口欺诈评分模型开发、模型上线和自学习开发
91.基于当前的数据样本积累，设计2.0接口相应的模型开发方案，完成模型的开发、评估和调优，并将训练出来的机器学习模型上线，实时输出欺诈评分给下游prm系统。同时，完成模型自学习功能模块的开发工作，使得模型可在设置的时间周期内进行自学习迭代。
92.阶段3:1.0接口欺诈评分模型开发、模型上线和自学习开发
93.基于当前的数据样本积累，设计1.0接口相应的模型开发方案，完成模型的开发、评估和调优，并将训练出来的机器学习模型上线，实时输出欺诈评分给下游prm系统。同时，完成模型自学习功能模块的开发工作，使得模型可在设置的时间周期内进行自学习迭代。
94.阶段4：系统测试助稳定运行
95.系统测试运行期间没有出现因系统质量和性能问题造成的宕机、处理能力不满足规定指标等问题。
96.基于当前的数据样本积累，设计2.0接口相应的模型开发方案，按照标准的机器学习模型开发流程完成模型的开发、评估和调优，并将训练出来的机器学习模型上线，实时输出欺诈评分给下游prm系统。同时，完成模型自学习功能模块的开发工作，使得模型在设置的时间周期内可以完成自学习迭代。
97.主要工作内容是数据导入和数据预处理、特征工程、模型训练和调优、模型评估、模型上线、模型自学习开发等。
98.1)数据准备和处理
99.a)完成建模数据和测试数据准备工作。
100.2)模型构建
101.a)对全量样本数据进行预处理；
102.b)对离散变量进行高维离散特征处理；
103.c)对抽取的特征进行模型算法选择，开始构建模型；
104.d)对构建的模型进行参数调优。
105.3)模型评估和优化
106.a)利用准备的数据，完成模型评估；
107.b)基于模型评估结果，完成模型迭代优化。
108.4)自学习模块开发
109.a)与业务系统、数据湖的数据接口开发；
110.b)自学习模块开发；
111.c)完成相关模块的测试。
112.5)模型上线和实时预估服务输出
113.a)设计模型上线方案；
114.b)将开发出来的模型发布到线上，实现线上实时模型评分服务输出；
115.c)系统运行情况持续监测；
116.d)系统调试和优化。
117.在本发明的又一实施例中，如图2所示，还提供一种数据处理装置，包括：
118.接收模块11，用于接收用于获取欺诈评分的评分获取请求；
119.获取模块12，用于获取所述评分获取请求所对应的目标用户的用户行为数据及所述交易数据；
120.输入模块13，用于将所述用户行为数据及所述交易数据输入预设机器学习模型，以使所述预设机器学习模型输出欺诈评分；
121.输出模块14，用于输出与所述评分获取请求对应的所述欺诈评分。
122.在本发明的又一实施例中，还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
123.存储器，用于存放计算机程序；
124.处理器，用于执行存储器上所存放的程序时，实现前述任一方法实施例所述的数据处理方法。
125.本发明实施例提供的电子设备，处理器通过执行存储器上所存放的程序实现了通过首先接收用于获取欺诈评分的评分获取请求，然后获取所述评分获取请求所对应的目标用户的用户行为数据及所述交易数据，再将所述用户行为数据及所述交易数据输入预设机器学习模型，以使所述预设机器学习模型输出欺诈评分，最后可以输出与所述评分获取请求对应的所述欺诈评分。本发明实施例能够自动根据用户行为数据及交易数据预测目标用户的欺诈评分，并输出，可以便于根据欺诈评分侦测欺诈交易，及时发现欺诈交易，提高欺诈交易侦测的效率、降低欺诈交易的风险。
126.上述电子设备提到的通信总线1140可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
127.通信接口1120用于上述电子设备与其他设备之间的通信。
128.存储器1130可以包括随机存取存储器(randomaccessmemory，简称ram)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
129.上述的处理器1110可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
130.在本发明的又一实施例中，还提供一种计算机可读存储介质，所述计算机可读存
储介质上存储有数据处理方法的程序，所述数据处理方法的程序被处理器执行时实现前述任一方法实施例所述的数据处理方法的步骤。
131.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
132.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。