基于分布式计算的大规模图数据关联挖掘方法及装置与流程

本发明涉及数据处理，特别是指基于分布式计算的大规模图数据关联挖掘方法及装置。

背景技术：

1、在基于分布式计算的大规模图数据关联挖掘应用中，数据预处理环节通常将不同数据源的原始数据进行简单清洗和格式统一，之后进行标签化处理，再利用nlp算法模型进行实体关系抽取，进而构建用于挖掘的大规模图数据；在此类应用过程中，图数据的关联挖掘通常采用预设的全局支持度阈值和置信度阈值进行关联规则筛选。

2、大规模图数据中的节点在关联度上大多呈现非均匀分布的特性；例如，在健康体检数据的图结构中，部分常见异常指标（如体重指数偏高）对应的节点关联着较多的边，形成稠密子图；而多数罕见指标对应的节点则仅关联少量的边，形成稀疏子图；当采用现有的分布式计算方案时，通常依据节点id的哈希值或预设范围将图数据划分至各分布式计算节点，这种固定分区策略容易导致关联度较高的稠密节点被集中分配至同一计算节点，而有的节点仅分配到稀疏子图，从而易造成各节点间计算负载的失衡，影响整体挖掘效率；与此同时，在上述节点分布不均衡的情况下，若沿用统一的全局支持度和置信度阈值进行关联规则挖掘，则高频稠密子图中的部分关联规则可能因支持度阈值设定不当而未被有效识别，而低频稀疏子图中又可能因阈值不适配而产生一些无效的关联规则；现有的方案针对上述数据分布不均衡的情形，缺乏根据数据微粒实际分布动态调整分区策略以及为不同数据密度区域适配差异化阈值的机制，可能难以在保障挖掘效率的同时兼顾关联规则识别的准确性。

技术实现思路

1、本发明要解决的技术问题是提供基于分布式计算的大规模图数据关联挖掘方法及装置，通过将大规模图数据微粒化分区并动态调整挖掘阈值，结合分布式计算，有效提升了关联规则挖掘的效率和准确性。

2、为解决上述技术问题，本发明的技术方案如下：

3、第一方面，基于分布式计算的大规模图数据关联挖掘方法，所述方法包括：

4、步骤1，对采集的原始数据进行预处理，得到标准化数据；

5、步骤2，对标准化数据进行标签化处理，得到标签化数据，利用nlp算法模型对标签化数据进行实体关系抽取，得到实体数据和关系数据；

6、步骤3，以实体数据中的实体为节点，以关系数据中的关系为边，构建大规模图数据；

7、步骤4，将大规模图数据的节点数据转化为数据微粒，按数据微粒的分布构建承载衬底；在承载衬底上确定一个四角界定框，按数据微粒的特性对四角界定框进行切分，形成多个分区单元；将数据微粒映射到对应的分区单元，按每个分区单元内数据微粒的特性生成调整值；

8、步骤5，将映射至同一分区单元的数据微粒对应的节点及节点之间的边，划分至对应的分布式计算节点，得到各分布式计算节点的子图；

9、步骤6，利用调整值对预设的支持度阈值和置信度阈值进行加权调整，用调整后的阈值挖掘子图的关联规则，得到局部关联结果；

10、步骤7，汇集局部关联结果，经合并去重后得到全局关联挖掘结果。

11、第二方面，基于分布式计算的大规模图数据关联挖掘装置，包括：

12、数据标准化模块，用于对采集的原始数据进行预处理，得到标准化数据；

13、抽取模块，用于对标准化数据进行标签化处理，得到标签化数据，利用nlp算法模型对标签化数据进行实体关系抽取，得到实体数据和关系数据；

14、图构建模块，用于以实体数据中的实体为节点，以关系数据中的关系为边，构建大规模图数据；

15、分区赋权模块，用于将大规模图数据的节点数据转化为数据微粒，按数据微粒的分布构建承载衬底；在承载衬底上确定一个四角界定框，按数据微粒的特性对四角界定框进行切分，形成多个分区单元；将数据微粒映射到对应的分区单元，按每个分区单元内数据微粒的特性生成调整值；

16、子图划分模块，用于将映射至同一分区单元的数据微粒对应的节点及节点之间的边，划分至对应的分布式计算节点，得到各分布式计算节点的子图；

17、自适应挖掘模块，用于利用调整值对预设的支持度阈值和置信度阈值进行加权调整，用调整后的阈值挖掘子图的关联规则，得到局部关联结果；

18、全局归并模块，用于汇集局部关联结果，经合并去重后得到全局关联挖掘结果。

19、本发明的上述方案至少包括以下有益效果：

20、将节点标识、节点属性、关联边信息整体封装为数据微粒，根据数据微粒的总数、实体类型分布、边数量特征，自适应构建匹配数据分布特征的承载衬底；同时通过最小外接矩形锁定数据边界，结合实体类型占比、边数量梯度双层维度切分分区单元；可依据真实数据分布特征动态划分分区单元，将密度、复杂度相近的数据微粒规整分配至对应分区，并一对一匹配分布式计算节点构建子图，能够有效平衡各计算节点所承载子图的数据密度与计算复杂度，改善稠密子图扎堆、稀疏子图闲置引发的算力失衡状况，提升分布式集群的算力资源利用率，优化大规模图数据并行挖掘的整体运算效率。

1.基于分布式计算的大规模图数据关联挖掘方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于分布式计算的大规模图数据关联挖掘方法，其特征在于，对标准化数据进行标签化处理，得到标签化数据，利用nlp算法模型对标签化数据进行实体关系抽取，得到实体数据和关系数据，包括：

3.根据权利要求2所述的基于分布式计算的大规模图数据关联挖掘方法，其特征在于，以实体数据中的实体为节点，以关系数据中的关系为边，构建大规模图数据，包括：

4.根据权利要求3所述的基于分布式计算的大规模图数据关联挖掘方法，其特征在于，将大规模图数据的节点数据转化为数据微粒，按数据微粒的分布构建承载衬底；在承载衬底上确定一个四角界定框，按数据微粒的特性对四角界定框进行切分，形成多个分区单元，包括：

5.根据权利要求4所述的基于分布式计算的大规模图数据关联挖掘方法，其特征在于，根据数据微粒集合中数据微粒的总数和各实体类型对应的数据微粒数量确定承载衬底的维度和容量，构建承载衬底，包括：

6.根据权利要求5所述的基于分布式计算的大规模图数据关联挖掘方法，其特征在于，以数据微粒的实体类型和包含的边的数量为切分依据，对四角界定框进行切分，形成多个分区单元，包括：

7.根据权利要求6所述的基于分布式计算的大规模图数据关联挖掘方法，其特征在于，将数据微粒映射到对应的分区单元，按每个分区单元内数据微粒的特性生成调整值，包括：

8.根据权利要求7所述的基于分布式计算的大规模图数据关联挖掘方法，其特征在于，将映射至同一分区单元的数据微粒对应的节点及节点之间的边，划分至对应的分布式计算节点，得到各分布式计算节点的子图，包括：

9.根据权利要求8所述的基于分布式计算的大规模图数据关联挖掘方法，其特征在于，利用调整值对预设的支持度阈值和置信度阈值进行加权调整，用调整后的阈值挖掘子图的关联规则，得到局部关联结果，包括：

10.基于分布式计算的大规模图数据关联挖掘装置，该装置实现如权利要求1至9中任一项所述的方法，其特征在于，包括：