一种基于物联网的多数据源联合查询系统及其查询方法与流程

1.本发明涉及多数据源联合查询技术领域，具体为一种基于物联网的多数据源联合查询系统及其查询方法。


背景技术：

2.物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、 连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理，物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络，在互联网时代，数据就是企业的核心，企业具有多样的数据源结构，由于异构数据源的存在，导致企业在数据查询时，无法进行多数据源联合查询，对数据的查询造成了困难，不能满足企业的使用需求。


技术实现要素：

3.本发明的目的在于提供一种基于物联网的多数据源联合查询系统及其查询方法，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：一种基于物联网的多数据源联合查询系统，包括多数据源连接管理单元、中间件模块、jdbc引擎模块、数据计算模块、编译执行模块、查询日志分析单元和查询监控单元，所述多数据源连接管理单元与中间件模块电性连接，所述中间件模块与jdbc引擎模块电性连接，所述jdbc引擎模块与数据计算模块电性连接，所述数据计算模块与编译执行模块电性连接，所述编译执行模块与查询日志分析单元和查询监控单元均电性连接；所述多数据源连接管理单元用于连接数据源并进行信息配置；所述中间件模块用于连通不同的数据源；所述jdbc引擎模块用于数据合并分析；所述数据计算模块用于计算数据；所述编译执行模块用于将执行计划进行动态编译；所述查询日志分析单元用于记录日志信息；所述查询监控单元用于记录运行状态信息。
5.作为本发明的一种优选方案，所述多数据源连接管理单元包括多数据源连接模块、元数据缓存模块和数据连接管理模块，其中，所述多数据源连接模块用于添加数据源连接，并进行信息配置；所述元数据缓存模块用于自定义缓存周期；所述数据连接管理模块用于数据源连接信息进行增删改管理维护。
6.作为本发明的一种优选方案，所述多数据源连接模块添加的数据源包括oracle/
mysql/postgresl数据源，配置的信息包括数据库端口、连接地址、schema、用户名和密码。
7.作为本发明的一种优选方案，所述查询日志分析单元包括查询日志模块、基本信息统计模块、资源使用情况模块、执行方案模块和步骤分解模块，其中，所述查询日志模块用于显示日志列表；所述基本信息统计模块用于收集基础日志信息；所述资源使用情况模块用于收集资源日志相关统计信息；所述执行方案模块用于显示节点的状态；所述步骤分解模块用于显示步骤信息。
8.作为本发明的一种优选方案，所述基本信息统计模块收集的基础日志信息包括提交时间、地址、来源、资源分配、排队时间和执行实际。
9.作为本发明的一种优选方案，所述资源使用情况模块收集的统计信息包括cpu资源、调用资源、传输记录数、内存使用、内存池、并发和调度。
10.作为本发明的一种优选方案，所述查询监控单元包括综合统计概览模块、协调器监控汇总模块、协调器任务监控模块、集群节点状态模块和集群节点详情模块，其中，所述综合统计概览模块用于统计指标；所述协调器监控汇总模块用于执行任务监控统计汇总；所述协调器任务监控模块用于显示执行任务监控详情；所述集群节点状态模块用于显示节点运行状态；所述集群节点详情模块用于显示基础运行信息。
11.作为本发明的一种优选方案，所述综合统计概览模块统计的指标包括活动协调器、执行的查询、活动节点和处理压力。
12.作为本发明的一种优选方案，所述集群节点状态模块显示的基础运行信息包括地址、启动时长、处理器、协调器、内存和cpu。
13.一种基于物联网的多数据源联合查询系统的查询方法，包括以下步骤：s1、多数据源连接管理单元连接数据源并进行信息配置；s2、中间件模块收到指令，对不同数据源进行连通；s3、jdbc引擎模块从数据源获取数据来进行运算分析；s4、数据计算模块接收到查询sql后，动态解析为多个subplan，交给多个worker节点并行计算；s5、编译执行模块将执行计划进行动态编译，显示查询结果；s6、查询日志分析单元记录日志信息，查询监控单元记录运行状态信息。
14.与现有技术相比，本发明的有益效果是：本发明通过设置的中间件模块、jdbc引擎模块、数据计算模块和编译执行模块可以将多个异构数据源的数据进行合并分析，使得用户查询多源数据时更加便捷，通过设置的查询日志分析单元和查询监控单元可以用来记录日志信息和运行状态信息，从而了解系统的具体状态，便于对系统进行调整，维护系统的稳定性，同时也便于在发生问题时，快速找出问题地点。
附图说明
15.图1为本发明的系统框图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.请参阅图1，本发明提供一种技术方案：一种基于物联网的多数据源联合查询系统，包括多数据源连接管理单元、中间件模块、jdbc引擎模块、数据计算模块、编译执行模块、查询日志分析单元和查询监控单元，所述多数据源连接管理单元与中间件模块电性连接，所述中间件模块与jdbc引擎模块电性连接，所述jdbc引擎模块与数据计算模块电性连接，所述数据计算模块与编译执行模块电性连接，所述编译执行模块与查询日志分析单元和查询监控单元均电性连接；所述多数据源连接管理单元用于连接数据源并进行信息配置；所述中间件模块用于连通不同的数据源；所述jdbc引擎模块用于数据合并分析；所述数据计算模块用于计算数据；所述编译执行模块用于将执行计划进行动态编译；所述查询日志分析单元用于记录日志信息；所述查询监控单元用于记录运行状态信息。
18.进一步的，所述多数据源连接管理单元包括多数据源连接模块、元数据缓存模块和数据连接管理模块，其中，所述多数据源连接模块用于添加数据源连接，并进行信息配置；所述元数据缓存模块用于自定义缓存周期；所述数据连接管理模块用于数据源连接信息进行增删改管理维护。
19.进一步的，所述多数据源连接模块添加的数据源包括oracle/mysql/postgresl数据源，配置的信息包括数据库端口、连接地址、schema、用户名和密码。
20.进一步的，所述查询日志分析单元包括查询日志模块、基本信息统计模块、资源使用情况模块、执行方案模块和步骤分解模块，其中，所述查询日志模块用于显示日志列表；所述基本信息统计模块用于收集基础日志信息；所述资源使用情况模块用于收集资源日志相关统计信息；所述执行方案模块用于显示节点的状态；所述步骤分解模块用于显示步骤信息。
21.进一步的，所述基本信息统计模块收集的基础日志信息包括提交时间、地址、来源、资源分配、排队时间和执行实际。
22.进一步的，所述资源使用情况模块收集的统计信息包括cpu资源、调用资源、传输记录数、内存使用、内存池、并发和调度。
23.进一步的，所述查询监控单元包括综合统计概览模块、协调器监控汇总模块、协调器任务监控模块、集群节点状态模块和集群节点详情模块，其中，所述综合统计概览模块用于统计指标；
所述协调器监控汇总模块用于执行任务监控统计汇总；所述协调器任务监控模块用于显示执行任务监控详情；所述集群节点状态模块用于显示节点运行状态；所述集群节点详情模块用于显示基础运行信息。
24.进一步的，所述综合统计概览模块统计的指标包括活动协调器、执行的查询、活动节点和处理压力。
25.进一步的，所述集群节点状态模块显示的基础运行信息包括地址、启动时长、处理器、协调器、内存和cpu。
26.一种基于物联网的多数据源联合查询系统的查询方法，包括以下步骤：s1、多数据源连接管理单元连接数据源并进行信息配置；s2、中间件模块收到指令，对不同数据源进行连通；s3、jdbc引擎模块从数据源获取数据来进行运算分析；s4、数据计算模块接收到查询sql后，动态解析为多个subplan，交给多个worker节点并行计算；s5、编译执行模块将执行计划进行动态编译，显示查询结果；s6、查询日志分析单元记录日志信息，查询监控单元记录运行状态信息。
27.具体的，多数据源连接管理单元连接数据源并进行信息配置，中间件模块收到指令，对不同数据源进行连通，jdbc引擎模块从数据源获取数据来进行运算分析，数据计算模块接收到查询sql后，动态解析为多个subplan，交给多个worker节点并行计算，编译执行模块将执行计划进行动态编译，显示查询结果，同时查询日志分析单元记录日志信息，查询监控单元记录运行状态信息。
28.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。