一种数据处理方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。


背景技术：

2.在当前信息技术日新月异、电子商务高速发展、资本市场规模不断扩大、业务创新层出不穷的前提下，证券业的信息系统变得越来越庞大和复杂。在行业信息化建设过程中，信息安全的各个环节都暴露了一些亟待解决的问题。
3.随着互联网应用的普及，针对网上证券交易的安全事件日益增多，给投资者和证券公司带来经济损失，如何维护网络安全，已成为证券业信息化建设的重要工作。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种数据处理方法、装置、电子设备及存储介质。
5.第一方面，本技术提供了一种数据处理方法，包括：
6.获取目标用户的历史交易行为数据，所述历史交易行为数据为对所述目标用户在第一历史时间段内的交易行为进行记录的数据；
7.基于所述历史交易行为数据确定目标维度的行为数据；
8.计算所述行为数据相对于与所述目标维度对应的参考数据集合中的多个参考数据的局部偏差率；
9.若所述局部偏差率大于与所述目标维度对应的预设偏差率阈值，确定所述目标维度的所述行为数据异常。
10.可选地，基于所述历史交易行为数据确定目标维度的行为数据，包括：
11.获取与所述目标维度对应的指标计算公式所需的第一输入参数；
12.在所述历史交易行为数据中提取所述第一输入参数；
13.基于所述第一输入参数及所述指标计算公式，计算得到所述行为数据。
14.可选地，计算所述行为数据相对于与所述目标维度对应的参考数据集合中的多个参考数据的局部偏差率，包括：
15.获取与所述目标维度对应的指标计算公式所需的第二输入参数；
16.分别在与所述目标维度对应的多个参考数据集合中提取所述第二输入参数；
17.基于每个所述第二输入参数及所述指标计算公式，计算得到多个所述参考数据；
18.基于所述行为数据及多个所述参考数据计算局部偏差率。
19.可选地，基于所述行为数据及多个所述参考数据计算局部偏差率，包括：
20.在多个所述参考数据中选择所述行为数据的多个邻居数据，所述邻居数据与所述参考数据之间的距离小于预设偏差阈值；
21.基于所述行为数据和多个所述邻居数据计算所述局部偏差率。
22.可选地，基于所述行为数据和多个所述邻居数据计算所述局部偏差率，包括：
23.计算多个所述邻居数据的质心数据；
24.计算所述行为数据与所述质心数据之间的欧氏距离；
25.将所述欧氏距离与所述邻居数据的总数量的比值，确定为所述局部偏差率。
26.可选地，所述目标维度包括：高买低卖的异常维度、闲置账户频繁异动的异常维度、大量委托请求的异常维度或查询请求的异常维度。
27.可选地，在确定所述目标维度的所述行为数据异常后，所述方法还包括：
28.在所述历史交易行为数据中提取异常行为数据；
29.在所述异常行为数据中提取异常行为特征；
30.将所述异常行为特征加入与所述目标维度对应的参考数据集合。
31.第二方面，本技术提供了一种数据处理装置，包括：
32.获取模块，用于获取目标用户的历史交易行为数据，所述历史交易行为数据为对所述目标用户在第一历史时间段内的交易行为进行记录的数据；
33.第一确定模块，用于基于所述历史交易行为数据确定目标维度的行为数据；
34.计算模块，用于计算所述行为数据相对于与所述目标维度对应的参考数据集合中的多个参考数据的局部偏差率；
35.第二确定模块，用于若所述局部偏差率大于与所述目标维度对应的预设偏差率阈值，确定所述目标维度的所述行为数据异常。
36.第三方面，本技术提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
37.存储器，用于存放计算机程序；
38.处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的数据处理方法。
39.第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理方法的程序，所述数据处理方法的程序被处理器执行时实现第一方面任一所述的数据处理方法的步骤。
40.本技术实施例提供的上述技术方案与现有技术相比具有如下优点：
41.本发明实施例通过获取目标用户的历史交易行为数据，所述历史交易行为数据为对所述目标用户在第一历史时间段内的交易行为进行记录的数据；基于所述历史交易行为数据确定目标维度的行为数据；计算所述行为数据相对于与所述目标维度对应的参考数据集合中的多个参考数据的局部偏差率；若所述局部偏差率大于与所述目标维度对应的预设偏差率阈值，确定所述目标维度的所述行为数据异常。
42.本发明实施例通过计算目标用户在目标维度的行为数据相对于与该目标维度对应的参考数据集合中的多个参考数据的局部偏差率，进而根据局部偏差率确定目标用户的行为数据是否异常，通过将孤立点挖掘算法应用于网上证券交易异常行为的检测中，有效地解决了现有网上证券交易异常行为识别和分析的难题，提升了证券交易系统的整体安全防护能力，以确保进一步防范盗买盗卖此类业务风险，从而促进证券交易市场健康、平稳地持续发展。
附图说明
43.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
45.图1为本技术实施例提供的一种数据处理方法的流程图；
46.图2为本技术实施例提供的一种数据挖掘的异常交易行为分析应用模型；
47.图3为本技术实施例提供的一种数据处理装置的结构图；
48.图4为本技术实施例提供的一种电子设备的结构图。
具体实施方式
49.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
50.随着互联网应用的普及，针对网上证券交易的安全事件日益增多，给投资者和证券公司带来经济损失，如何维护网络安全，已成为证券业信息化建设的重要工作。为此，本技术实施例提供了一种数据处理方法、装置、电子设备及存储介质。
51.如图1所示，该数据处理方法可以包括以下步骤：
52.步骤s101，获取目标用户的历史交易行为数据。
53.本发明实施例中，所述历史交易行为数据为对所述目标用户在第一历史时间段内的交易行为进行记录的数据；
54.在实际应用中，可以利用数据挖掘的方式，收集网络中的交易行为数据，并利用挖掘算法，对数据进行清理、降维、归纳、模式识别、结果分析与评价，不断丰富异常行为数据库，从而实现对网上证券异常交易行为的及时预警。
55.数据挖掘常特指数据库数据挖掘(knowledge discovery in database)，按照fayyad的定义，“kdd是从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程”。
56.数据挖掘的过程大体分为三个阶段：数据准备、数据挖掘以及结果的解释评估。
57.数据准备包括数据选取(selection)、数据预处理(preprocessing)和数据变换(transformation)等工作。数据选取用来确定发现任务的操作对象，即目标数据(target data)，根据用户的需要从原始数据中抽取一部分数据。数据预处理把目标数据处理成便于挖掘的形式，一般包括去噪声、缺值数据处理、消除重复记录以及数据类型的转换等操作。
58.数据挖掘首先确定挖掘的任务，如分类、聚类、关联规则发现，或序列模式发现等。然后选择采用哪种挖掘算法，算法的选择主要基于两点考虑：一是针对数据本身的特点，采取相应的算法挖掘；二是针对用户的需求(是获取显式的规则还是抽象的模型等)采取相应的算法挖掘。数据挖掘阶段是数据挖掘过程的核心，目前的大多数研究也都是针对挖掘算法展开的。
59.数据挖掘的结果可能并不完全符合用户的要求，其中可能包含冗余或无用的模式，这就需要将其剔除。另外，由于数据挖掘的结果是面向人类的，因此需要将结果转化成易于理解的形式(如产生式规则)，提交给用户。
60.图2所示是数据挖掘的异常交易行为分析应用模型，系统从网络中得到反映交易行为的历史交易行为数据，存入交易行为库中，根据现有的异常交易行为的模型，提取其行为特征，判断该行为是否是为异常，能够明确判断为正常或者异常的行为可直接被处理，不能明确判断为正常或者异常的行为用来丰富异常行为库。本文分析的重点即是无法明确判断为正常或者异常的行为。
61.步骤s102，基于所述历史交易行为数据确定目标维度的行为数据；
62.本发明实施例中，所述目标维度包括：高买低卖的异常维度、闲置账户频繁异动的异常维度、大量委托请求的异常维度或查询请求的异常维度。
63.证券交易中的异常行为主要表现在用户在买卖股票、债券或资金划转过程中出现的异常举动。目前，证券交易异常行为的归类和定义，基本包括以下几种异常交易类别：高买低卖利益传送、资金频繁存取、长期闲置账户频繁异动、大量委托或查询请求、虚假申报、短线操纵、连续集中交易等。
64.1)高买低卖利益传送
65.证券交易盗买盗卖行为，通常是通过频繁交易国债或企业债品种，利用债券t 0交易、无涨跌停、且交投不活跃的特点，通过高买低卖方式，实现利益输送。此类异常行为一般在市场整体交投不活跃、投资者不经常查看账户状态的情况下进行，降低了被投资者及时发现的可能。
66.2)长期闲置账户频繁异动
67.长期闲置的账户突然发生异常波动，包括频繁登录、频繁交易，或无交易频繁转账等，都可以视为疑似异常行为。如，正常交易日无交易账户资金划转每天发生3次以上，或者无交易账户资金划转每天发生1次，且持续发生3天以上，出现接近于大额现金交易标准的现金收付的交易行为。
68.3)大量委托或查询请求
69.攻击者通过利用多个账户发送大量无效的委托或查询请求(如失败委托或不可能成交委托)，攻击证券公司的交易系统。交易系统需要对委托、查询订单进行处理，势必会占用券商交易系统和交易所撮合系统的资源，也会影响到其他用户的正常交易行为。
70.除上面介绍的异常行为外，虚假申报、短线操纵、连续集中交易等也严重影响了网上证券交易的政策秩序，需要及时发现并予以控制。
71.在该步骤中，主要是选择任一异常行为类别作为目标维度，然后基于历史交易行为数据确定该目标维度的行为数据，也就是说，可以在历史交易行为数据中提取与该目标维度相关的行为数据。
72.步骤s103，计算所述行为数据相对于与所述目标维度对应的参考数据集合中的多个参考数据的局部偏差率；
73.本发明实施例中，参考数据集合为多个用户在多个第二历史时间段内的交易行为进行记录的数据，第二历史时间段与第一历史时间段不同。
74.本发明实施例主要是使用了孤立点挖掘技术确定行为数据是否异常，孤立点挖掘
技术是数据挖掘技术的一种，用于研究偏离了绝大多数对象的很小一部分数据。孤立点挖掘可以描述如下：给定一个n个数据点或对象的集合，及预期的孤立点的数据k，设定某一阈值，以阈值来量化对象之间的差异(即局部偏差率)，发现与剩余对象之间的差异超过该阈值的所有对象。
75.本系统中使用的是孤立点挖掘的ldc-mine算法，下面是几个定义：
76.定义1：对象p的k距离：对于任何一个正数k，对象p的k距离即，k-dis(p)，被定义为d(p，o)，在对象p于对象o之间满足：至少有k个对象o
′
∈d，使得d(p，o
′
)≤d(p，o)；至多有k-1个对象o
′
∈d，使得d(p，o
′
)≤d(p，o)。
77.定义2：对象p的k距离邻居：给定一个对象n
k-dis(p)
＝{q∈d\p dp,q≤k-dis(p)，p的k距离包括所有和p的距离小于k距离的对象，即这些对象叫做p的k距离邻居。
78.定义3：对象p的局部偏差率：给出以对象p的k距离邻居，以p为圆心，以k距离为半径，得到一个包含所有k距离邻居的圆，计算出k距离邻居的质心，然后对象p的局部偏差率ldrrk(p)为：
[0079][0080]
ldc-mini算法，简单地说，对象p的局部偏差率越大，就认为以对象p为圆心，k为距离的半径的圆内，对象集对对象p的影响越小，对象p偏离大多数对象的概率就越大，对象p就越可能是一个孤立点。
[0081]
该算法在总体数据样本中，以孤立点表征异常行为，适用于证券交易的实际情况，并且算法在时间和空间上相对来说开销都较低，实现起来相对简单，在对交易行为进行数据挖掘时是较优的算法选择。
[0082]
步骤s104，若所述局部偏差率大于与所述目标维度对应的预设偏差率阈值，确定所述目标维度的所述行为数据异常。
[0083]
本发明实施例通过获取目标用户的历史交易行为数据，所述历史交易行为数据为对所述目标用户在第一历史时间段内的交易行为进行记录的数据；基于所述历史交易行为数据确定目标维度的行为数据；计算所述行为数据相对于与所述目标维度对应的参考数据集合中的多个参考数据的局部偏差率；若所述局部偏差率大于与所述目标维度对应的预设偏差率阈值，确定所述目标维度的所述行为数据异常。
[0084]
本发明实施例通过计算目标用户在目标维度的行为数据相对于与该目标维度对应的参考数据集合中的多个参考数据的局部偏差率，进而根据局部偏差率确定目标用户的行为数据是否异常，通过将孤立点挖掘算法应用于网上证券交易异常行为的检测中，有效地解决了现有网上证券交易异常行为识别和分析的难题，提升了证券交易系统的整体安全防护能力，以确保进一步防范盗买盗卖此类业务风险，从而促进证券交易市场健康、平稳地持续发展。
[0085]
在本发明的又一实施例中，步骤s102，基于所述历史交易行为数据确定目标维度的行为数据，包括：
[0086]
步骤201，获取与所述目标维度对应的指标计算公式所需的第一输入参数；
[0087]
本发明实施例中，可以根据每个目标维度的特性，设置每个目标维度对应的指标
计算公式，如：由于委托请求dos攻击是指：是用户本人出于某种目的，使用自己的账号发送大量委托请求，攻击证券公司的交易系统，占用券商交易系统和交易所系统的资源，进而影响到其他用户的正常交易行为。委托请求攻击中有两个指标有异于正常的委托请求：“小额委托/总委托”比和“失败委托/总委托”比。所以，在目标维度为大量委托请求的异常维度时，该目标维度对应的指标计算公式为：小额委托/总委托的比值，以及，失败委托/总委托的比值。
[0088]
步骤202，在所述历史交易行为数据中提取所述第一输入参数；
[0089]
由于指标计算公式中会存在输入参数，因此可以按照输入参数在历史交易行为数据中提取第一输入参数，如：小额委托数量，总委托数量，失败委托数量和总委托数量等等。
[0090]
步骤203，基于所述第一输入参数及所述指标计算公式，计算得到所述行为数据。
[0091]
在该步骤中，可以将第一输入参数带入指标计算公式，计算得到行为数据。
[0092]
本发明实施例能够自动计算行为数据，进而便于分析目标对象的行为数据是否异常。
[0093]
在本发明的又一实施例中，步骤s103计算所述行为数据相对于与所述目标维度对应的参考数据集合中的多个参考数据的局部偏差率，包括：
[0094]
步骤301，获取与所述目标维度对应的指标计算公式所需的第二输入参数；
[0095]
步骤302，分别在与所述目标维度对应的多个参考数据集合中提取所述第二输入参数；
[0096]
步骤303，基于每个所述第二输入参数及所述指标计算公式，计算得到多个所述参考数据；
[0097]
步骤301-303的原理可以参见步骤201-203，计算得到多个参考数据，此处不再赘述。
[0098]
步骤304，基于所述行为数据及多个所述参考数据计算局部偏差率。
[0099]
在该步骤中，基于所述行为数据及多个所述参考数据计算局部偏差率，包括：在多个所述参考数据中选择所述行为数据的多个邻居数据，所述邻居数据与所述参考数据之间的距离小于预设偏差阈值；基于所述行为数据和多个所述邻居数据计算所述局部偏差率。
[0100]
其中，基于所述行为数据和多个所述邻居数据计算所述局部偏差率，包括：计算多个所述邻居数据的质心数据；计算所述行为数据与所述质心数据之间的欧氏距离；将所述欧氏距离与所述邻居数据的总数量的比值，确定为所述局部偏差率。
[0101]
为了便于理解，本技术实施例还提供一种利用ldc算法进行委托请求dos攻击检测，也即利用ldc算法进行目标维度为大量委托请求的异常维度的异常行为检测，步骤如下：
[0102]
(1)根据历史样本得到“小额委托/总委托”比和“失败委托/总委托”比的缺省对象，pd＝《sd,fd》。
[0103]
(2)计算当前账户一段时间内的“小额委托/总委托”比和“失败委托/总委托”比，得到对象pc＝《sc,fc》。
[0104]
(3)确定pc的k距离。
[0105]
(4)检索历史样本确定pc的k距离邻居集合。
[0106]
(5)计算出对象pc的局部偏差率。
[0107]
(6)如果pc的超过预先设定的某一阈值，则说明pc对象属于孤立点，该账户可能正在发起委托请求的dos攻击。
[0108]
基于以上实施例，本技术可以基于已有的目标维度及目标维度对应的参考数据集合不断的检测出异常行为，但是，网上证券交易的异常行为是在不断变化的，很难仅凭借现有的行为特征予以识别和防范，还需要不断了解新的异常行为，并作出反应。为此，在本发明的又一实施例中，在确定所述目标维度的所述行为数据异常后，所述方法还包括：
[0109]
步骤401，在所述历史交易行为数据中提取异常行为数据；
[0110]
步骤402，在所述异常行为数据中提取异常行为特征；
[0111]
步骤403，将所述异常行为特征加入与所述目标维度对应的参考数据集合。
[0112]
基于以上，本发明实施例基于数据挖掘的方法主要基于历史交易行为数据提取交易行为异常特性，即使网络的拓扑结构和配置发生改变，也能从新的交易行为中自动发现新的异常行为特征，扩充了异常行为库，并应用于之后的行为分析。因此这种方法极大地降低了对专家知识的依赖，不存在知识获取的瓶颈，而且也减轻了人员的工作负担。基于异常交易行为分析应用模型，选取到合适的算法对交易数据进行数据挖掘就非常重要。
[0113]
在本发明的又一实施例中，还提供一种数据处理装置，如图3所示，包括：
[0114]
获取模块11，用于获取目标用户的历史交易行为数据，所述历史交易行为数据为对所述目标用户在第一历史时间段内的交易行为进行记录的数据；
[0115]
第一确定模块12，用于基于所述历史交易行为数据确定目标维度的行为数据；
[0116]
计算模块13，用于计算所述行为数据相对于与所述目标维度对应的参考数据集合中的多个参考数据的局部偏差率；
[0117]
第二确定模块14，用于若所述局部偏差率大于与所述目标维度对应的预设偏差率阈值，确定所述目标维度的所述行为数据异常。
[0118]
在本发明的又一实施例中，还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0119]
存储器，用于存放计算机程序；
[0120]
处理器，用于执行存储器上所存放的程序时，实现前述任一方法实施例所述的数据处理方法。
[0121]
本发明实施例提供的电子设备，处理器通过执行存储器上所存放的程序实现了通过获取目标用户的历史交易行为数据，所述历史交易行为数据为对所述目标用户在第一历史时间段内的交易行为进行记录的数据；基于所述历史交易行为数据确定目标维度的行为数据；计算所述行为数据相对于与所述目标维度对应的参考数据集合中的多个参考数据的局部偏差率；若所述局部偏差率大于与所述目标维度对应的预设偏差率阈值，确定所述目标维度的所述行为数据异常。
[0122]
本发明实施例通过计算目标用户在目标维度的行为数据相对于与该目标维度对应的参考数据集合中的多个参考数据的局部偏差率，进而根据局部偏差率确定目标用户的行为数据是否异常，通过将孤立点挖掘算法应用于网上证券交易异常行为的检测中，有效地解决了现有网上证券交易异常行为识别和分析的难题，提升了证券交易系统的整体安全防护能力，以确保进一步防范盗买盗卖此类业务风险，从而促进证券交易市场健康、平稳地持续发展。
[0123]
上述电子设备提到的通信总线1140可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0124]
通信接口1120用于上述电子设备与其他设备之间的通信。
[0125]
存储器1130可以包括随机存取存储器(randomaccessmemory，简称ram)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0126]
上述的处理器1110可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0127]
在本发明的又一实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理方法的程序，所述数据处理方法的程序被处理器执行时实现前述任一方法实施例所述的数据处理方法的步骤。
[0128]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0129]
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。