图联机分析挖掘技术框架及其搭建方法与流程

技术特征：
1.一种图联机分析挖掘技术框架，其特征在于，包括：存储设计部分，用于存储网络数据；分布式计算引擎部分，用于提供分布式图并行计算能力；分析引擎部分，用于完成图在线分析处理操作，实现行化高效图挖掘算法；前端可视化交互部分，用于对所述分析引擎部分的执行结果进行前端可视化展示；应用接口，用于用户自行导入待分析的多维网络并使用不同的graph olam操作进行挖掘。2.根据权利要求1所述的图联机分析挖掘技术框架，其特征在于，所述存储设计部分包括逻辑存储和实际存储，所述逻辑存储为图数据立方体设计；所述实际存储包括hbase和alluxio的高效存储以及neo4j的最终结果存储，搭建分布式文件系统作为框架最底层核心的存储载体；所述hbase存储静态的网络数据；交互过程中的热数据存储在所述alluxio上。3.根据权利要求2所述的图联机分析挖掘技术框架，其特征在于，所述分布式计算引擎部分以spark为核心，架构graphx、spark sql、tensorflowonspark框架。4.根据权利要求1所述的图联机分析挖掘技术框架，其特征在于，所述分析引擎部分包括立方体计算引擎和高效图计算引擎；所述立方体引擎用于完成对图数据立方体的并行化高效构造、路由以及查询，并实现graph olam操作的核心算法，所述核心算法包括关联维度上卷/下钻操作、关系路径上卷/下钻操作中的聚合算法；所述高效图计算引擎用于负责基于分布式计算框架并行化地实现的图挖掘算法，所述图挖掘算法包括网络表示学习算法、链路预测算法、子图检索操作中的核心算法。5.一种图联机分析挖掘技术框架的搭建方法，其特征在于，包括：在hdfs上搭建存储设计部分；对部分维度操作进行预计算，将分区性操作物化进立方体结构；在框架中融入分布式计算引擎，在物化立方体的同时进行网络表示学习算法，将对每个节点的表示向量记为节点的一个维度属性进行存储；在框架中融入分析引擎部分，建立路经-维度立方体，简化存储并采用对应的并行物化策略进行立方体构建；通过应用接口设计部分，导入待分析的多维网络，通过不同的graph olam操作进行挖掘，在用户执行算法的过程中，对于维度操作进行直接读取，对于基于立方体的结构操作进行立方体检索和聚集，并完成与用户的前端可视化交互。6.根据权利要求5所述的图联机分析挖掘技术框架的搭建方法，其特征在于，所述路径-维度立方体的构建，利用弹性分布式数据集和sparksql的datafreams来分别构建路径立方体和维度立方体。

技术总结
本发明公开了一种图联机分析挖掘技术框架及其搭建方法，该框架包括：存储设计部分，用于存储网络数据；分布式计算引擎部分，用于提供分布式图并行计算能力；分析引擎部分，用于完成图在线分析处理操作，实现行化高效图挖掘算法；前端可视化交互部分，用于对所述分析引擎部分的执行结果进行前端可视化展示；应用接口，用于用户自行导入待分析的多维网络并使用不同的Graph OLAM操作进行挖掘。由此，利用全新的立方体模型能高效的对多维网络进行预先挖掘，优化针对大规模网络的处理时间。优化针对大规模网络的处理时间。优化针对大规模网络的处理时间。


技术研发人员：吴斌 孙思瑞 展世蒙
受保护的技术使用者：北京邮电大学
技术研发日：2020.05.06
技术公布日：2021/11/8