1.本发明属于图特征衍生领域,具体涉及一种图特征衍生方法、系统、存储介质及电子设备。
背景技术:
2.如今世界是由连接(connections)驱动的,基于这些连接构成的图已应用金融、营销、工业等各个行业。如信用卡欺诈检测、广告反欺诈、预测级联故障等等。然而一个标准化的图特征衍生框架成为一个亟待解决的问题。
3.现有应用一般是图结构特征增强机器学习的方式提供给特定任务,或者完全使用图神经网络对节点信息进行预测或者分类。
4.现有技术特征衍生比较单一,往往只考虑了手工特征结合节点属性特征或者完全使用图嵌入特征,不能灵活适配下游所有任务。
技术实现要素:
5.本发明实施例提供了一种图特征衍生方法,其中,包括:
6.数据准备步骤:使用ner对采集的样本地址信息进行识别后生成三元组数据;
7.生成步骤:根据一度或多度节点生成节点手工图特征、节点属性特征及节点嵌入特征;
8.筛选步骤:根据应用场景,由业务专家和建模人员对所述节点手工图特征、所述节点属性特征及所述节点嵌入特征进行特征筛选;
9.使用步骤:将所述节点手工图特征、所述节点属性特征及所述节点嵌入特征提供给下游任务使用。
10.上述图特征衍生方法,其中,所述生成步骤包括:
11.通过一度或多度节点数目、子图节点数、子图边数、子图最大弱联通的节点数、子图最大弱联通的边数、子图最大强联通的节点数、子图最大强联通的边数、子图平均聚类系数子图、三角个数及子图三角形百分率生成所述节点手工图特征。
12.上述图特征衍生方法,其中,所述生成步骤还包括:
13.根据所述一度或多度节点运用图神经网络的方法生成所述节点嵌入特征,所述节点嵌入特征包括:节点的属性信息和图结构信息。
14.上述图特征衍生方法,其中,所述使用步骤包括:
15.在有监督场景下,筛选后的特征可应用于分类任务及回归任务中;在无监督场景下,筛选后的特征可以应用于聚类任务及离群点检测任务中。
16.本发明还提供了一种图特征衍生系统,其中,包括:
17.生成模块,所述生成模块根据一度或多度节点生成节点手工图特征、节点属性特征及节点嵌入特征;
18.筛选模块,所述筛选模块根据应用场景,由业务专家和建模人员对所述节点手工
图特征、所述节点属性特征及所述节点嵌入特征进行特征筛选;
19.使用模块,所述使用模块将所述节点手工图特征、所述节点属性特征及所述节点嵌入特征提供给下游任务使用。
20.上述图特征衍生系统,其中,所述生成模块包括:
21.通过一度或多度节点数目、子图节点数、子图边数、子图最大弱联通的节点数、子图最大弱联通的边数、子图最大强联通的节点数、子图最大强联通的边数、子图平均聚类系数子图、三角个数及子图三角形百分率生成所述节点手工图特征。
22.上述图特征衍生系统,其中,所述生成模块还包括:
23.根据所述一度或多度节点运用图神经网络的方法生成所述节点嵌入特征,所述节点嵌入特征包括:节点的属性信息和图结构信息。
24.上述图特征衍生系统,其中,所述使用模块包括:
25.在有监督场景下,筛选后的特征可应用于分类任务及回归任务中;在无监督场景下,筛选后的特征可以应用于聚类任务及离群点检测任务中。
26.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上述任一所述的图特征衍生方法。
27.一种存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如上述任一所述的图特征衍生方法。
28.本发明属于知识图谱技术中的图计算领域,本发明提供一种标准的图特征衍生框架;通过本发明获得的图特征可以灵活的根据下游任务进行选择使用;本发明详尽的列举了所有可能的手工图特征。
附图说明
29.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。
30.在附图中:
31.图1是本发明的图特征衍生方法的总流程图;
32.图2是本发明的图特征衍生方法的流程图;
33.图3是本发明的图特征衍生系统的结构示意图;
34.图4是根据本发明实施例的计算机设备的框架图。
具体实施方式
35.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。基于本技术提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。
36.显而易见地,下面描述中的附图仅仅是本技术的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本技术应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并
且冗长的,然而对于与本技术公开的内容相关的本领域的普通技术人员而言,在本技术揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本技术公开的内容不充分。
37.在本技术中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本技术所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
38.除非另作定义,本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
39.下面结合附图所示的各实施方式对本发明进行详细说明,但应当说明的是,这些实施方式并非对本发明的限制,本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代,均属于本发明的保护范围之内。
40.在详细阐述本发明各个实施例之前,对本发明的核心发明思想予以概述,并通过下述若干实施例予以详细阐述。
41.实施例一:
42.请参照图1,图1是本发明一种图特征衍生方法的技术路线。本发明的目的在于提供一个标准的图特征生成方案,生成的图特征提供给下游的任务,用于用户画像、欺诈检测、评分等等。
43.请参照图2,图2是图特征衍生方法的流程图。如图2所示,本发明图特征衍生方法包括:
44.生成步骤s1:根据一度或多度节点生成节点手工图特征、节点属性特征及节点嵌入特征;
45.筛选步骤s2:根据应用场景,由业务专家和建模人员对所述节点手工图特征、所述节点属性特征及所述节点嵌入特征进行特征筛选;
46.使用步骤s3:将所述节点手工图特征、所述节点属性特征及所述节点嵌入特征提供给下游任务使用。
47.其中,所述生成步骤包括:
48.通过一度或多度节点数目、子图节点数、子图边数、子图最大弱联通的节点数、子
图最大弱联通的边数、子图最大强联通的节点数、子图最大强联通的边数、子图平均聚类系数子图、三角个数及子图三角形百分率生成所述节点手工图特征。
49.其中,所述生成步骤还包括:
50.根据所述一度或多度节点运用图神经网络的方法生成所述节点嵌入特征,所述节点嵌入特征包括:节点的属性信息和图结构信息。
51.其中,所述使用步骤包括:
52.在有监督场景下,筛选后的特征可应用于分类任务及回归任务中;在无监督场景下,筛选后的特征可以应用于聚类任务及离群点检测任务中。
53.具体地说,本发明揭示了一种图特征衍生方法,包括如下步骤:
54.步骤1:生成节点手工图特征,如下:
55.根据一度或多度节点数目、子图节点数、子图边数、子图最大弱联通的节点数、子图最大弱联通的边数、子图最大强联通的节点数、子图最大强联通的边数、子图平均聚类系数(局部聚类系数均值)、子图三角个数、子图三角形百分率(全局聚类系数)、子图直径、子图图密度、子图平均度、子图加权平均度、子图模块度、hits值、pagerank值、特征向量中心性、度中心性、紧密中心性、中介性等等生成节点手工图特征;其中子图表示节点所在的联通图。
56.步骤2:生成节点属性特征,我们以信用卡欺诈检测进行简单举例,如用户的性别、年龄、学历、收入、各项资产余额等等。如果场景需要,一度节点或者多度节点相关属性的统计信息同样可以作为特征,如一度节点触黑数目、一度节点的平均收入等等
57.步骤3:生成节点的嵌入特征,这里主要运用图神经网络的方法生成对节点的向量表示,特征中包含的节点的属性信息和图结构信息。
58.步骤4:步骤1
‑
3的生成特征提供给下游的任务使用。如果是模型解释性比较强的应用场景,可以考虑不使用图嵌入特征。根据应用场景,由业务专家和建模人员进行特征筛选。
59.步骤5:有监督场景下,特征可应用于分类、回归任务。无监督场景下,特征可以应用于聚类、离群点检测等等。
60.总上可知,本发明通过一度或多度节点数目、子图节点数、子图边数、子图最大弱联通的节点数、子图最大弱联通的边数、子图最大强联通的节点数、子图最大强联通的边数、子图平均聚类系数子图、三角个数及子图三角形百分率生成所述节点手工图特征;根据场景需要,生成节点属性特征;根据所述一度或多度节点运用图神经网络的方法生成所述节点嵌入特征。生成的特征提供给下游的任务使用,根据应用场景,由业务专家和建模人员对需要使用的进行特征筛选,在有监督场景下,特征可应用于分类、回归任务;在无监督场景下,特征可以应用于聚类、离群点检测等等。
61.进一步,图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。
62.颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。
63.纹理特征也是一种全局特征,它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性,并不能完全反映出物体的本质属性,所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同,纹理特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算。
access memory,简称为ram)。在合适的情况下,该rom可以是掩模编程的rom、可编程rom(programmable read
‑
only memory,简称为prom)、可擦除prom(erasable programmable read
‑
only memory,简称为eprom)、电可擦除prom(electrically erasable programmable read
‑
only memory,简称为eeprom)、电可改写rom(electrically alterable read
‑
only memory,简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下,该ram可以是静态随机存取存储器(static random
‑
access memory,简称为sram)或动态随机存取存储器(dynamic random access memory,简称为dram),其中,dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory,简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory,简称为edodram)、同步动态随机存取内存(synchronous dynamic random
‑
access memory,简称sdram)等。
81.存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器81所执行的可能的计算机程序指令。
82.处理器81通过读取并执行存储器82中存储的计算机程序指令,以实现上述实施例中的任意一种图特征衍生方法。
83.在其中一些实施例中,计算机设备还可包括通信接口83和总线80。其中,如图4所示,处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
84.通信接口83用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
85.总线80包括硬件、软件或两者,将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一:数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制,总线80可包括图形加速接口(accelerated graphics port,简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture,简称为eisa)总线、前端总线(front side bus,简称为fsb)、超传输(hyper transport,简称为ht)互连、工业标准架构(industry standard architecture,简称为isa)总线、无线带宽(infiniband)互连、低引脚数(low pin count,简称为lpc)总线、存储器总线、微信道架构(micro channel architecture,简称为mca)总线、外围组件互连(peripheral component interconnect,简称为pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(serial advanced technology attachment,简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus,简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线80可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线,但本技术考虑任何合适的总线或互连。
86.该计算机设备可以基于图特征衍生,从而实现结合图1描述的方法。
87.另外,结合上述实施例中图特征衍生方法,本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种图特征衍生方法。
88.以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实
施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
89.综上所述,基于本发明的有益效果在于,本发明提供一种标准的图特征衍生框架;通过本发明获得的图特征可以灵活的根据下游任务进行选择使用;本发明详尽的列举了所有可能的手工图特征。
90.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
再多了解一些
本文用于企业家、创业者技术爱好者查询,结果仅供参考。