一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种数据识别方法、装置、设备及存储介质与流程

2022-07-16 22:37:35 来源:中国专利 TAG:


1.本公开涉及数据处理技术领域,尤其涉及一种数据识别方法、装置、设备及存储介质。


背景技术:

2.在互联网时代,无论什么行业都会产生海量数据,为了更加深入有效的挖掘数据价值,经常需要从海量数据中识别出特定类型的数据,例如异常数据等,现有技术一般采用人工审核或构建专家规则进行数据识别。然而,人工审核一方面会因为不同专家的识别标准不同,导致识别结果稳定性太差,另一方面会因为数据量太大,导致识别效率低下;另外,现阶段构建的专家规则单一且固定,难以适应如今的海量复杂数据,会导致识别结果的精确度不高。


技术实现要素:

3.本公开提供了一种数据识别方法、装置、设备及存储介质,以至少解决现有技术中存在的以上技术问题。
4.根据本公开的第一方面,提供了一种数据识别方法,其特征在于,所述方法包括:获取多条待识别数据;构建所述多条待识别数据的每个特征字段对应的第一特征网络图;根据所述第一特征网络图,分别生成所述多条待识别数据各自对应的第一融合向量;根据所述第一融合向量和第二融合向量,对所述多条待识别数据进行识别,得到识别结果;所述第二融合向量是基于多条目标样本数据生成的融合向量。
5.在一可实施方式中,所述构建所述多条待识别数据的每个特征字段对应的第一特征网络图,包括:判断所述特征字段的值是否连续;所述特征字段的值不连续,则根据所述特征字段的值,构建所述特征字段对应的第一特征网络图;所述特征字段的值连续,则对所述特征字段的值进行离散化处理,得到离散值;根据所述离散值,构建所述特征字段对应的第一特征网络图。
6.在一可实施方式中,所述根据所述第一特征网络图,分别生成所述多条待识别数据各自对应的第一融合向量,包括:根据第一识别模型和所述第一特征网络图,生成所述第一特征网络图的随机特征组;根据第二识别模型和所述随机特征组,生成所述第一特征网络图的每个顶点对应的特征向量;将每条待识别数据对应的所有所述特征向量进行向量融合,得到多个所述第一融合向量。
7.在一可实施方式中,所述根据第一识别模型和所述第一特征网络图,生成所述第一特征网络图的随机特征组,包括:在所述第一特征网络图中确定当前顶点,并计算所述当前顶点访问下一个目标顶点的概率;根据所述概率,对所述第一特征网络图进行随机游走,生成所述第一特征网络图的随机特征组;利用如下公式计算所述概率:
,其中,p表示所述概率,表示当前顶点为v,表示下一个目标顶点为x,为当前顶点v和下一个目标顶点x之间的未归一化转移概率,z为归一化常数,表示两个顶点直接相连。
8.在一可实施方式中,通过以下方式得到所述第二融合向量:构建所述多条目标样本数据的每个特征字段对应的第二特征网络图;根据所述第二特征网络图,分别生成所述多条目标样本数据的第二融合向量。
9.在一可实施方式中,所述根据所述第一融合向量和第二融合向量,对所述多条待识别数据进行识别,得到识别结果,包括:分别计算每个所述第一融合向量与所述第二融合向量的相似度,得到第一计算结果;所述第一计算结果大于第一预设阈值,则将所述第一融合向量对应的待识别数据确定为目标数据;根据所述第一融合向量和所述目标数据,对所述第一特征网络图进行链路回溯,得到所述识别结果。
10.在一可实施方式中,所述根据所述第一融合向量和所述目标数据,对所述第一特征网络图进行链路回溯,得到所述识别结果,包括:在特定特征字段对应的第一特征网络图中标注所述目标数据对应的顶点,并确定与所述目标数据对应的顶点的相连顶点,所述特定特征字段为可以唯一区分所述多条待识别数据的特征字段;计算所述目标数据的第一融合向量与相连顶点对应的待识别数据的第一融合向量的相似度,得到第二计算结果;所述第二计算结果大于第二预设阈值,则将所述相连顶点对应的待识别数据确定为目标数据,并在所述特定特征字段对应的第一特征网络图中标注所述相连顶点,继续计算所述目标数据的第一融合向量与相连顶点对应的待识别数据的第一融合向量的相似度,直到所述第二计算结果均不大于第二预设阈值,将所述目标数据确定为所述识别结果。
11.根据本公开的第二方面,提供了一种数据识别装置,其特征在于,所述装置包括:获取模块,用于获取多条待识别数据;第一构建模块,用于构建所述多条待识别数据的每个特征字段对应的第一特征网络图;第一生成模块,用于根据所述第一特征网络图,分别生成所述多条待识别数据各自对应的第一融合向量;识别模块,用于根据所述第一融合向量和第二融合向量,对所述多条待识别数据进行识别,得到识别结果;所述第二融合向量是基于多条目标样本数据生成的融合向量。
12.根据本公开的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开所述的方法。
13.根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开所述的方法。
14.本公开的一种数据识别方法、装置、设备及存储介质,首先构建多条待识别数据的
每个特征字段对应的第一特征网络图,然后根据第一特征网络图,分别生成多条待识别数据的第一融合向量,最后根据第一融合向量和基于多条目标样本数据生成的第二融合向量,并结合链路回溯方法,对多条待识别数据进行识别,从而得到识别结果,其中生成的第一融合向量和第二融合向量拥有不同特征字段对应的全部信息,因此利用第一融合向量和第二融合向量,对多条待识别数据进行识别,得到的识别结果精确度更高,而且在此基础上结合链路回溯方法,可以深度挖掘目标数据,保证识别结果更加立体,另外,由模型自动识别待识别数据,避免了专家的识别标准不同,导致识别结果稳定性太差,并提高了对海量数据的识别效率。
15.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
16.通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:在附图中,相同或对应的标号表示相同或对应的部分。
17.图1示出了本公开第一实施例的一种数据识别方法的流程示意图;图2示出了本公开第一实施例的第一特征网络图的示意图;图3示出了本公开第二实施例的一种数据识别方法的流程示意图;图4示出了本公开第三实施例的一种数据识别方法的流程示意图;图5示出了本公开第三实施例的第一特征网络图的随机特征组的示意图;图6示出了本公开第六实施例的一种数据识别方法的流程示意图;图7示出了本公开第七实施例的一种数据识别方法的流程示意图;图8示出了本公开第七实施例的链路回溯过程示意图;图9示出了本公开第八实施例的一种数据识别装置的结构示意图;图10示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
18.为使本公开的目的、特征、优点能够更加的明显和易懂,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而非全部实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
19.图1示出了本公开第一实施例的一种数据识别方法的流程示意图,如图1所示,该方法主要包括:步骤s101,获取多条待识别数据。
20.在本实施例中,首先获取多条待识别数据。具体地,根据应用领域的不同,待识别数据可以不同,例如在互联网领域,一条待识别数据可以包括用户账号、所属媒体平台、点击数量和订阅次数等;在普通消费领域,一条待识别数据可以包括消费账号、消费平台、消费物品价值和消费时间等;在金融领域,一条待识别数据可以包括客户账号、交易金额、账
号开户时间和交易类型等。在实际应用中,各应用领域和场景下的待识别数据的类型和内容并非仅限上述所举,可以更加丰富多样。
21.在一可实施方式中,可以先获取大量的待识别数据,然后结合应用领域和应用场景,从大量的待识别数据中剔除无用数据,例如,在互联网领域,剔除点击数量小于预设阈值的待识别数据;在普通消费领域,剔除消费物品价值大于预设阈值的待识别数据;在金融领域,剔除交易类型为工资发放的待识别数据等,然后得到多条待识别数据。
22.步骤s102,构建多条待识别数据的每个特征字段对应的第一特征网络图。
23.在本实施例中,获取多条待识别数据之后,需要构建多条待识别数据的每个特征字段对应的第一特征网络图,第一特征网络图的顶点表示每个特征字段的不同值,第一特征网络图的边表示每个顶点之间的信息流向。具体地,待识别数据可能对应很多特征字段,在构建第一特征网络图时,可以根据实际应用场景,筛选出需要的特征字段,然后依次为需要的特征字段构建对应的第一特征网络图。
24.图2示出了本公开第一实施例的第一特征网络图,如图2所示,第一特征网络图a和b分别为同一应用领域下的两个不同特征字段对应的特征网络图。以互联网领域为例,第一特征网络图a的顶点可以为用户账号,第一特征网络图b的顶点可以为媒体平台,第一特征网络图a和第一特征网络图b的边均为资源流向,表示其相连两个顶点的资源流向,如资源从一个用户账号流向另一个用户账号;以金融领域为例,第一特征网络图a的顶点可以为客户账号,第一特征网络图b的顶点可以为交易金额分桶编号,其中,交易金额为连续值,往往需要对其进行离散化处理,离散化处理的结果包括多个分桶,交易金额分桶编号即交易金额所属分桶的编号,第一特征网络图a和第一特征网络图b的边均为资金流向,表示其相连两个顶点的资金流向,如资金从一个客户账号流向另一个客户账号。
25.步骤s103,根据第一特征网络图,分别生成多条待识别数据各自对应的第一融合向量。
26.在本实施例中,构建得到第一特征网络图之后,需要根据第一特征网络图,分别生成多条待识别数据的第一融合向量;具体地,每个第一特征网络图的顶点的特征值都有对应的特征向量,而将一条待识别数据对应的所有特征向量进行融合,即可得到该条待识别数据的第一融合向量。
27.在一可实施方式中,以金融领域为例,如果多条待识别数据的特征字段为客户账号、交易金额、账号开户时间和交易类型,则会构建生成四个第一特征网络图,分别为客户账号、交易金额、账号开户时间和交易类型对应的第一特征网络图,然后将每个第一特征网络图的顶点的特征值转换为对应的特征向量,最后将每一条待识别数据对应的客户账号、交易金额、账号开户时间和交易类型的特征向量进行融合,得到多条待识别数据的第一融合向量。具体地,可以利用word2vec模型等将每个第一特征网络图的顶点的特征值转换为对应的特征向量,本公开不对特征值的转换方法进行限定。
28.步骤s104,根据第一融合向量和第二融合向量,对多条待识别数据进行识别,得到识别结果;第二融合向量是基于多条目标样本数据生成的融合向量。
29.在本实施例中,得到多条待识别数据的第一融合向量之后,可以根据第一融合向量和基于多条目标样本数据生成的第二融合向量,对多条待识别数据进行识别,从而得到识别结果,其中,目标样本数据为已被识别为目标数据的数据,例如在互联网领域,一条目
标样本数据可以为经常发布广告的用户对应的用户账号、所属媒体平台、点击数量和订阅次数等;在普通消费领域,一条目标样本数据可以为经常退货的消费者对应的消费账号、消费平台、消费物品价值和消费时间等;在金融领域,一条目标样本数据可以为经常进行洗钱等欺诈操作的黑产客户对应的客户账号、交易金额、账号开户时间和交易类型等。具体地,多条目标样本数据的第二融合向量的生成过程与第一融合向量的生成过程类似,在此不再赘述,第二融合向量的生成过程可以在步骤s101之前。本公开的实施例不限制第二融合向量生成过程的执行时机,实际应用中,只需保证在执行步骤s104时所需的第二融合向量已经生成即可。
30.在一可实施方式中,可以分别比较所有第一融合向量与第二融合向量的相似度,如果相似度大于指定阈值,例如0.8,说明第一融合向量对应的待识别数据与目标数据的特征相似,此时可以将第一融合向量对应的待识别数据确定为目标数据,最后将所有目标数据作为识别结果输出。
31.在本公开第一实施例中,生成每条待识别数据的第一融合向量和每条目标样本数据的第二融合向量,第一融合向量拥有待识别数据不同特征字段对应的全部信息,第二融合向量拥有目标样本数据不同特征字段对应的全部信息,利用第一融合向量和第二融合向量,对多条待识别数据进行识别,得到的识别结果精确度更高,而且可以自动识别待识别数据,避免了专家的识别标准不同,导致识别结果稳定性太差,并提高了对海量数据的识别效率。
32.图3示出了本公开第二实施例的一种数据识别方法的流程示意图,如图3所示,步骤s102主要包括:步骤s201,判断特征字段的值是否连续。
33.步骤s202,特征字段的值不连续,则根据特征字段的值,构建特征字段对应的第一特征网络图。
34.在本实施例中,为了构建特征字段对应的第一特征网络图,首先需要判断特征字段的值是否连续,如果特征字段的值不连续,即特征字段的值为离散值,则直接以特征字段的每个值作为顶点构建第一特征网络图即可。
35.在一可实施方式中,以金融领域为例,如果特征字段为客户账号,很显然客户账号对应的值为离散值,因此可以直接以所有客户账号作为顶点,以客户账号之间的资金流向作为边,来构建客户账号特征字段对应的第一特征网络图。
36.步骤s203,特征字段的值连续,则对特征字段的值进行离散化处理,得到离散值。
37.步骤s204,根据离散值,构建特征字段对应的第一特征网络图。
38.在本实施例中,如果特征字段的值连续,显然无法将特征字段的值都作为第一特征网络图的顶点,此时需要对特征字段的值进行离散化处理,得到离散值,然后根据离散值,来构建特征字段对应的第一特征网络图。
39.在一可实施方式中,以金融领域为例,如果特征字段为交易金额,可以结合具体应用场景,将交易金额划分进入不同的桶中,即对交易金额进行离散化处理,然后以桶编号作为顶点,资金流向作为边构建第一特征网络图。具体地,可以根据实际情况将交易金额划分为六个桶,划分结果如下表一所示:表一
桶编号桶内最小值(包含)单位:元桶内最大值(不包含)单位:元102002200200032,00020,000420,000100,0005100,000500,0006500,000不限在本公开第二实施例中,对于不连续的特征字段,直接根据特征字段的值构建第一特征网络图;对于连续的特征字段,首先对其进行离散化处理,然后根据得到的离散值构建第一特征网络图。根据特征字段的不同,采用不同的方法构建第一特征网络图,可以构建得到合适的第一特征网络图,便于后续利用第一特征网络图进行特征融合,得到第一融合向量。
40.图4示出了本公开第三实施例的一种数据识别方法的流程示意图,如图4所示,步骤s103主要包括:步骤s301,根据第一识别模型和第一特征网络图,生成第一特征网络图的随机特征组。
41.在本实施例中,首先需要将第一特征网络图输入至第一识别模型,生成第一特征网络图的随机特征组。
42.图5示出了本公开第三实施例的第一特征网络图的随机特征组的示意图,如图5所示,第一特征网络图c为某一特征字段对应的第一特征网络图,则将第一特征网络图c输入至第一识别模型,生成第一特征网络图c的随机特征组d,即对第一特征网络图c进行随机游走生成的多条随机序列。例如,以第一特征网络图c的顶点a为例,其下一个顶点为顶点b,顶点b的下一个顶点为顶点e,顶点e的下一个顶点可以为顶点f或顶点c,其中顶点c的下一个顶点为顶点b,那么以顶点a为起始顶点的随机序列分别为a
→b→e→
f和a
→b→e→c→
b。
43.在一可实施方式中,第一识别模型可以为任意随机游走模型,例如node2vec模型、deepwalk模型和line模型等,本公开不对第一识别模型进行限定。
44.步骤s302,根据第二识别模型和随机特征组,生成第一特征网络图的每个顶点对应的特征向量。
45.在本实施例中,得到第一特征网络图的随机特征组之后,将随机特征组输入第二识别模型,从而生成第一特征网络图的每个顶点对应的特征向量。具体地,随机特征组为第一特征网络图的顶点之间的信息流向,可以体现出每个顶点的特征信息,因此将随机特征组输入第二识别模型,第二识别模型可以确定出每个顶点对应的特征向量。
46.在一可实施方式中,第二识别模型可以为任意向量生成模型,例如word2vec模型和通用预训练模型(gpt,general pre-training)等,本公开也不对第二识别模型进行限定。
47.步骤s303,将每条待识别数据对应的所有特征向量进行向量融合,得到多个第一融合向量。
48.在本实施例中,生成所有第一特征网络图的每个顶点对应的特征向量之后,可以将每条待识别数据对应的所有特征向量进行向量融合,得到多个第一融合向量,每条待识
别数据对应一个第一融合向量。
49.在一可实施方式中,以金融领域为例,若一条待识别数据的特征字段包括客户账号、交易金额、账号开户时间和交易类型,其每一个特征字段都在第一特征网络图中有对应的顶点,而且最终都生成了对应的特征向量,然后将该条待识别数据的所有特征对应的特征向量进行向量融合之后,就得到该条待识别数据的第一融合向量。
50.在一可实施方式中,可以采用加和、拼接和相乘等方法来对特征向量进行融合,以金融领域为例,若一条待识别数据的特征包括客户账号、交易金额和交易类型,其客户账号对应的特征向量为(a1,a2),交易金额对应的特征向量为(b1,b2),交易类型对应的特征向量为(c1,c2),采用加和的方式对上述特征向量进行融合,则融合结果为。
51.在本公开第三实施例中,首先根据第一识别模型,生成第一特征网络图的随机特征组,然后将随机特征组输入第二识别模型,生成第一特征网络图的每个顶点对应的特征向量,将每条待识别数据对应的所有特征向量进行向量融合,得到多个第一融合向量,如此,第一融合向量包含了待识别数据的不同特征字段对应的全部信息,可以保证后续对待识别数据的识别结果精确度更高。
52.在本公开第四实施例中,步骤s301主要包括:在第一特征网络图中确定当前顶点,并计算当前顶点访问下一个目标顶点的概率;根据概率,对第一特征网络图进行随机游走,生成第一特征网络图的随机特征组;利用如下公式计算概率:,其中,p表示概率,表示当前顶点为v,表示下一个目标顶点为x,为当前顶点v和下一个目标顶点x之间的未归一化转移概率,z为归一化常数,表示两个顶点直接相连。
53.在本实施例中,首先需要在第一特征网络图中给定一个当前顶点v,并计算当前顶点访问下一个目标顶点x的概率,根据计算得到的概率,对第一特征网络图进行随机游走,从而生成第一特征网络图的随机特征组。具体地,一个当前顶点可能对应多个目标顶点,计算出当前顶点访问下一个目标顶点x的概率之后,将最大的概率作为目标顶点进行游走,最终生成一条随机特征序列。
54.在一可实施方式中,给定当前顶点v,则访问下一个目标顶点x的概率为 ,其中,为当前顶点v和下一个目标顶点x之间的未归一化转移概率,其可以引
入两个超参数p和q来控制随机游走的策略,假设边(t,v)为上一条随机游走的边,则可以利用如下公式计算:,其中,是当前顶点v和下一个目标顶点x之间的边权,即当前顶点v和下一个目标顶点x相连的边的权重,为控制系数,可以采用如下公式计算:,其中,为顶点t和下一个目标顶点x之间的最短路径距离,即顶点t和下一个目标顶点x之间最少经过几条边。
55.在一可实施方式中,如果当前顶点v为起始顶点,也就是说(v,x)并不存在上一条随机游走的边,则可以根据第一特征网络图中各条边的权重,计算得到访问下一个目标顶点x的概率,如果当前顶点v流出4条边,且各条边的权重相等,则访问下一个目标顶点x的概率为。
56.在本公开第四实施例中,计算当前顶点访问下一个目标顶点的概率,根据概率,对第一特征网络图进行随机游走,生成第一特征网络图的随机特征组,并引入超参数p和q来控制随机游走的策略,从而得到对应应用场景需要的随机特征组。
57.在本公开第五实施例中,通过以下方式得到第二融合向量:构建多条目标样本数据的每个特征字段对应的第二特征网络图;根据第二特征网络图,分别生成多条目标样本数据的第二融合向量。
58.在本实施例中,首先构建多条目标样本数据的每个特征字段对应的第二特征网络图,然后根据第二特征网络图,分别生成多条目标样本数据的第二融合向量,计算待识别数据的第一融合向量与目标样本数据的第二融合向量的相似度,能够确定待识别数据是否为目标数据。具体地,生成目标样本数据地第二融合向量的过程与步骤s102和步骤s103类似,在此不再赘述。
59.图6示出了本公开第六实施例的一种数据识别方法的流程示意图,如图6所示,根据第一融合向量和第二融合向量,对多条待识别数据进行识别,得到识别结果,主要包括:步骤s401,分别计算每个第一融合向量与第二融合向量的相似度,得到第一计算结果。
60.步骤s402,第一计算结果大于第一预设阈值,则将第一融合向量对应的待识别数据确定为目标数据。
61.在本实施例中,得到第一融合向量和第二融合向量之后,需要分别计算每个第一融合向量与第二融合向量的相似度,得到第一计算结果,如果第一计算结果大于第一预设阈值,则将第一融合向量对应的待识别数据确定为目标数据,其中,第一预设阈值可以根据实际应用场景需求设置,例如第一预设阈值可以设置为0.8。具体地,如果某待识别数据的第一融合向量与目标样本数据的第二融合向量的相似度较高,即第一计算结果大于第一预设阈值,则说明待识别数据为目标数据的可能性很高,此时可以将待识别数据确定为目标
数据。
62.在一可实施方式中,采用如下公式计算第一融合向量与第二融合向量的相似度:,其中,vb为目标样本数据的第二融合向量,vi为待识别数据的第一融合向量,表示vi与vb的相似度,v为多条待识别数据对应的多个第一融合向量的集合。
63.步骤s403,根据第一融合向量和目标数据,对第一特征网络图进行链路回溯,得到识别结果。
64.在本实施例中,得到目标数据之后,根据第一融合向量和目标数据,对第一特征网络图进行链路回溯,从而得到识别结果。具体地,根据每个第一融合向量与第二融合向量的相似度,确定出的目标数据只是单独的数据,无法生成与目标数据相关的目标数据集合,因此还需要根据目标数据挖掘出其他与目标数据相连的待识别数据是否为目标数据,从而生成目标数据集合。
65.在一可实施方式中,以金融领域为例,在实际应用场景中,经常需要识别待识别数据中的黑产账户,而根据每个第一融合向量与第二融合向量的相似度,确定出的目标数据只是单独的黑产账户,无法挖掘出黑产账户对应的黑产团伙中的其他账户,因此还需要根据确定出的目标数据,对第一特征网络图进行链路回溯,充分挖掘出黑产账户对应的黑产团伙。
66.在本公开第六实施例中,分别计算每个第一融合向量与第二融合向量的相似度,得到第一计算结果,如果第一计算结果大于第一预设阈值,则将第一融合向量对应的待识别数据确定为目标数据,最后根据第一融合向量和目标数据,对第一特征网络图进行链路回溯,得到识别结果。通过目标数据对待识别数据进行深度挖掘,得到目标数据集合,即识别结果,可以保证识别结果更加立体,不会遗漏目标数据。
67.图7示出了本公开第七实施例的一种数据识别方法的流程示意图,如图7所示,步骤s403主要包括:步骤s501,在特定特征字段对应的第一特征网络图中标注目标数据对应的顶点,并确定与目标数据对应的顶点的相连顶点,特定特征字段为可以唯一区分多条待识别数据的特征字段。
68.在本实施例中,为了能根据目标数据对待识别数据进行深度挖掘,首先需要在特定特征字段对应的第一特征网络图中标注目标数据对应的顶点,并确定与目标数据对应的顶点的相连顶点,其中,特定特征字段为可以唯一区分多条待识别数据的特征字段。
69.图8示出了本公开第七实施例的链路回溯过程示意图,如图8所示,标注了目标数据的特定特征字段对应的第一特征网络图e,其中,两个目标数据为顶点b和顶点i对应的待识别数据,且顶点b的相连顶点为顶点a和顶点c,顶点i的相连顶点为顶点g和顶点j。以普通消费领域为例,如果一条待识别数据包括消费账号、消费平台、消费物品价值和消费时间,且待识别数据的唯一标识符为消费账号,则第一特征网络图e为标注了目标数据的消费账号特征字段对应的第一特征网络图;以金融领域为例,如果一条待识别数据包括客户账号、交易金额、账号开户时间和交易类型,且待识别数据的唯一标识符为客户账号,则第一特征
网络图e为标注了目标数据的客户账号特征字段对应的第一特征网络图。
70.步骤s502,计算目标数据的第一融合向量与相连顶点对应的待识别数据的第一融合向量的相似度,得到第二计算结果。
71.在本实施例中,在特定特征字段对应的第一特征网络图中标注目标数据对应的顶点,并确定与目标数据对应的顶点的相连顶点之后,需要计算目标数据的第一融合向量与相连顶点对应的待识别数据的第一融合向量的相似度,如果两者对应的第一融合向量的相似度很高,说明相连顶点对应的待识别数据为目标数据的可能性很高,此时可以将相连顶点对应的待识别数据确定为目标数据。具体地,本实施例中计算相似度的过程与步骤s401类似,此处不再赘述。
72.步骤s503,第二计算结果大于第二预设阈值,则将相连顶点对应的待识别数据确定为目标数据,并在特定特征字段对应的第一特征网络图中标注相连顶点,继续计算目标数据的第一融合向量与相连顶点对应的待识别数据的第一融合向量的相似度,直到第二计算结果均不大于第二预设阈值,将目标数据确定为识别结果。
73.在本实施例中,如果第二计算结果大于第二预设阈值,说明相连顶点对应的待识别数据的特征与目标数据相似,因此可以认为相连顶点对应的待识别数据也为目标数据,此时可以将相连顶点对应的待识别数据确定为目标数据,并在特定特征字段对应的第一特征网络图中标注该相连顶点,以该相连顶点为目标数据,继续计算目标数据的第一融合向量与相连顶点对应的待识别数据的第一融合向量的相似度,直到第二计算结果均不大于第二预设阈值,则将所有目标数据确定为识别结果,其中,第二预设阈值可以根据实际应用场景自行设置,例如将第二预设阈值设置为0.8。
74.在一可实施方式中,如图8所示,若计算出顶点b对应的目标数据的第一融合向量与顶点a对应的待识别数据的第一融合向量的相似度为0.82,顶点b对应的目标数据的第一融合向量与顶点c对应的待识别数据的第一融合向量的相似度为0.85;顶点i对应的目标数据的第一融合向量与顶点g对应的待识别数据的第一融合向量的相似度为0.60,顶点i对应的目标数据的第一融合向量与顶点j对应的待识别数据的第一融合向量的相似度为0.90,且第二预设阈值为0.80,则可以确定顶点a、顶点c和顶点j对应的待识别数据也为目标数据,并在第一特征网络图中标注顶点a、顶点c和顶点j,如第一特征网络图f,然后根据第一特征网络图f,继续计算顶点a、顶点c和顶点j对应的目标数据与其相连顶点对应的待识别数据的第一融合向量的相似度,直到第二计算结果均不大于第二预设阈值,如第一特征网络图g,最终所有的目标数据为顶点a、顶点b、顶点c、顶点e、顶点f、顶点k、顶点j、顶点i和顶点m对应的待识别数据,由于顶点a、顶点b、顶点c、顶点e、顶点f相互连接,顶点k、顶点j、顶点i和顶点m相互连接,则可以将顶点a、顶点b、顶点c、顶点e、顶点f对应的目标数据确定为一个目标数据集合;将顶点k、顶点j、顶点i和顶点m对应的目标数据确定为一个目标数据集合,并将这两个目标数据集合作为识别结果输出,以金融领域为例,这两个目标数据集合即为黑产团伙对应的集合。
75.在本公开第七实施例中,根据第一融合向量和目标数据,对第一特征网络图进行链路回溯,挖掘出与目标数据相似的待识别数据,并将其确定为目标数据,这样可以保证识别结果更加立体,不会遗漏目标数据,且生成了目标数据集合,并将其作为识别结果输出。
76.图9示出了本公开第八实施例的一种数据识别装置的结构示意图,如图9所示,该
装置主要包括:获取模块90,用于获取多条待识别数据;第一构建模块91,用于构建多条待识别数据的每个特征字段对应的第一特征网络图;第一生成模块92,用于根据第一特征网络图,分别生成多条待识别数据各自对应的第一融合向量;识别模块93,用于根据第一融合向量和第二融合向量,对多条待识别数据进行识别,得到识别结果;第二融合向量是基于多条目标样本数据生成的融合向量。
77.在一可实施方式中,第一构建模块91主要包括:判断子模块910,用于判断特征字段的值是否连续;第一构建子模块911,用于特征字段的值不连续,则根据特征字段的值,构建特征字段对应的第一特征网络图;离散子模块912,用于特征字段的值连续,则对特征字段的值进行离散化处理,得到离散值;第二构建子模块913,用于根据离散值,构建特征字段对应的第一特征网络图。
78.在一可实施方式中,第一生成模块92主要包括:第一生成子模块920,用于根据第一识别模型和第一特征网络图,生成第一特征网络图的随机特征组;第二生成子模块921,用于根据第二识别模型和随机特征组,生成第一特征网络图的每个顶点对应的特征向量;融合子模块922,用于将每条待识别数据对应的所有特征向量进行向量融合,得到多个第一融合向量。
79.在一可实施方式中,第一生成子模块920主要包括:计算单元9200,用于在第一特征网络图中确定当前顶点,并计算当前顶点访问下一个目标顶点的概率;随机游走单元9201,用于根据概率,对第一特征网络图进行随机游走,生成第一特征网络图的随机特征组;计算单元9200利用如下公式计算概率:,其中,p表示概率,表示当前顶点为v,表示下一个目标顶点为x,为当前顶点v和下一个目标顶点x之间的未归一化转移概率,z为归一化常数,表示两个顶点直接相连。
80.在一可实施方式中,该装置还包括:第二构建模块94,用于构建多条目标样本数据的每个特征字段对应的第二特征网络图;第二生成模块95,用于根据第二特征网络图,分别生成多条目标样本数据的第二融合向量。
81.在一可实施方式中,识别模块93主要包括:计算子模块930,用于分别计算每个第一融合向量与第二融合向量的相似度,得到第一计算结果;确定子模块931,用于第一计算结果大于第一预设阈值,则将第一融合向量对应的待识别数据确定为目标数据;链路回溯子模块932,用于根据第一融合向量和目标数据,对第一特征网络图进行链路回溯,得到识别结果。
82.在一可实施方式中,链路回溯子模块932主要包括:标注单元9320,用于在特定特征字段对应的第一特征网络图中标注目标数据对应的顶点,并确定与目标数据对应的顶点的相连顶点,特定特征字段为可以唯一区分多条待识别数据的特征字段;计算单元9321,用
于计算目标数据的第一融合向量与相连顶点对应的待识别数据的第一融合向量的相似度,得到第二计算结果;回溯单元9322,用于第二计算结果大于第二预设阈值,则将相连顶点对应的待识别数据确定为目标数据,并在特定特征字段对应的第一特征网络图中标注相连顶点,继续计算目标数据的第一融合向量与相连顶点对应的待识别数据的第一融合向量的相似度,直到第二计算结果均不大于第二预设阈值,将目标数据确定为识别结果。
83.根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
84.图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
85.如图10所示,设备1000包括计算单元1001,其可以根据存储在只读存储器(rom)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(ram)1003中的计算机程序,来执行各种适当的动作和处理。在ram 1003中,还可存储设备1000操作所需的各种程序和数据。计算单元1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
86.设备1000中的多个部件连接至i/o接口1005,包括:输入单元1006,例如键盘、鼠标等;输出单元1007,例如各种类型的显示器、扬声器等;存储单元1008,例如磁盘、光盘等;以及通信单元1009,例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
87.计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理,例如一种数据识别方法。例如,在一些实施例中,一种数据识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1008。在一些实施例中,计算机程序的部分或者全部可以经由rom 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到ram 1003并由计算单元1001执行时,可以执行上文描述的一种数据识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元1001可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行一种数据识别方法。
88.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
89.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
90.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
91.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
92.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
93.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
94.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
95.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
96.以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵
盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献