一种多模式数据查询建模方法及系统与流程

1.本发明涉及数据处理技术领域，尤其涉及一种多模式数据查询建模方法及系统。


背景技术：

2.随着互联网、移动互联网和物联网的广泛而深入地应用，全球数据呈现爆发增长态势，人类社会迈入了大数据时代，企业对大数据愈加依赖，数据的价值正在不断凸显，大数据时代下的数据堪称第一生产力，数据已经成为重要的战略资产。快速、高效从大数据里查询所需的数据，并进行模型输出，应用到业务生产领域，提高生产效率是各公司面临紧迫任务。在大数据技术的浪潮中，出现了很多优秀的产品和方案，其中较具影响力的有hadoop、hive、python工具，但这些单一的工具往往各自独立，不同业务人员对技术理解不同，使用不同工具，如何统一地应用到生产计算中，实现数据输入输出一致，模型一致需要从平台层面进行搭建。


技术实现要素：

3.为解决现有技术的不足，本发明提出一种多模式数据查询建模方法及系统，整合了sql语言、python语言、图形化页面多个操作数据工具，在底层数据使用同一套数据和同一套权限配置，使建模过程、结果可以在sql语言、python语言、图形化页面多工具间通用，并提供有独立的编辑器可以同步展示多工具各自执行的建模过程、结果。
4.为实现以上目的，本发明所采用的技术方案包括：
5.一种多模式数据查询建模方法，其特征在于，包括：
6.设置通用的数据权限配置；
7.设置sql输入输出通道；
8.设置python输入输出通道；
9.设置图形界面输入输出通道；
10.建立sql输入输出通道、python输入输出通道和图形界面输入输出通道之间的连接同步关系；
11.通过数据权限配置检查查询请求是否满足操作权限；
12.对于满足操作权限的查询请求，使用sql输入输出通道、python输入输出通道或图形界面输入输出通道解析查询请求，生成查询执行计划；
13.根据查询执行计划调用对应的sql查询语句获取数据结果建设模型并输出。
14.进一步地，所述设置通用的数据权限配置包括将设置后的数据权限配置存储于通用存储器。
15.进一步地，所述通过数据权限配置检查查询请求是否满足操作权限包括：
16.使用sql输入输出通道解析查询请求前，通过数据权限配置检查查询请求对应库、表是否满足操作权限；
17.或，使用python输入输出通道解析查询请求前，通过数据权限配置检查查询请求
对应库、表是否满足操作权限；
18.或，使用图形界面输入输出通道解析查询请求前，通过数据权限配置检查查询请求对应库、表是否满足操作权限。
19.进一步地，所述设置sql输入输出通道包括设置对应sql查询语句的restful风格的http网络接口。
20.进一步地，所述设置python输入输出通道包括设置python语言命令转化为sql查询语句的语法规则；
21.所述设置图形界面输入输出通道包括设置图形界面输入元素转化为sql查询语句的对应关系。
22.进一步地，所述建立sql输入输出通道、python输入输出通道和图形界面输入输出通道之间的连接同步关系包括匹配并同步sql输入输出通道、python输入输出通道和图形界面输入输出通道的查询请求所对应的sql查询语句。
23.进一步地，所述生成查询执行计划包括：
24.检索是否已经存在对应查询请求的查询结果；
25.对于不存在查询结果的查询请求，检查对应该查询请求的sql查询语句是否合法性；
26.对于合法的sql查询语句进行语言含义检查，所述语言含义检查包括检查sql查询语句所涉及的字段和表是否真实存在；
27.对于通过语言含义检查的sql查询语句，生成对应的查询执行计划。
28.进一步地，所述生成查询执行计划还包括：
29.对于存在查询结果的查询请求，直接反馈该查询结果，不生成查询执行计划；
30.对于不合法的sql查询语句，反馈错误信息，不生成查询执行计划；
31.对于没有通过语言含义检查的sql查询语句，反馈错误信息，不生成查询执行计划。
32.进一步地，所述根据查询执行计划调用对应的sql查询语句包括使用jdbc读取不同数据源的数据。
33.本发明还涉及一种多模式数据查询建模系统，其特征在于，包括：
34.通用权限模块，用于设置通用的数据权限配置；
35.sql编辑器，用于设置sql输入输出通道并解析查询请求，生成查询执行计划；
36.python编辑器，用于设置python输入输出通道并解析查询请求，生成查询执行计划；
37.图形编辑器，用于设置图形界面输入输出通道并解析查询请求，生成查询执行计划；
38.请求执行模块，用于根据查询执行计划调用对应的sql查询语句获取数据结果建设模型并输出。
39.本发明的有益效果为：
40.采用本发明所述多模式数据查询建模方法及系统，在底层数据使用同一套数据，对数据操作权限使用同一套配置，确保同一个表在sql语言、python语言、图形界面多个工具(查询模式)内权限一致，具有相同的增删改查权限，特别是中间数据具有通用性，能够方
便用户根据情况选择自身最熟悉的工具作为命令，高效处理海量数据，快速、实时、准确返回操作结果，包括数据创建、更新、删除、查询。
附图说明
41.图1为本发明多模式数据查询建模方法流程示意图。
42.图2为本发明多模式数据查询建模系统结构示意图。
具体实施方式
43.为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
44.如图1所示为本发明多模式数据查询建模方法流程示意图，包括以下步骤：
45.设置通用的数据权限配置，将设置后的数据权限配置存储于通用存储器。
46.设置sql输入输出通道，包括设置对应sql查询语句的restful风格的http网络接口。restful是一种网络应用程序的设计风格和开发方式，http是一个简单的请求
‑
响应协议，是基于客户/服务器模式，且面向连接的。与sql查询语句相关的请求均由restful风格的http网络接口处理，包括接受提交的sql语句，获取查询执行结果，取消查询等。
47.设置python输入输出通道，包括所述设置python输入输出通道包括设置python语言命令转化为sql查询语句的语法规则。通过python程序调用sql查询语句，并将数据载入内容，使用python语言进行处理，因为python广泛应用于数据处理及算法建模，开源组件的使用方便用户快速上手建模工作，并不需要从头编写工具进行数据操作，热门算法的实现，也能很容易从开源库中获取，快速得到算法结果，并验证建模流程、算法模型是否应用有效。因为最终使用sql提交操作数据，因此可以复用sql输入输出通道检查，缩短了sql语法的校验及复用权限校验。
48.设置图形界面输入输出通道，包括设置图形界面输入元素转化为sql查询语句的对应关系。具体可以通过读取用户图形界面输入、解析用户输入参数并进行校验，再生成sql查询语句。在图形界面中，每一种输入模块、参数设置模块、算法模块、输出模块都设置为图形，用户通过按钮点击、勾选、输入字符，每一个模块的均有输入输出属性，并通过带有箭头的连接线进行关联，完全的可视化友好地将数据查询、建模开放给操作人士。
49.建立sql输入输出通道、python输入输出通道和图形界面输入输出通道之间的连接同步关系，匹配并同步sql输入输出通道、python输入输出通道和图形界面输入输出通道的查询请求所对应的sql查询语句。
50.通过数据权限配置检查查询请求对应库、表是否满足操作权限。
51.对于满足操作权限的查询请求，使用sql输入输出通道、python输入输出通道或图形界面输入输出通道解析查询请求，生成查询执行计划。具体生成过程包括：检索是否已经存在对应查询请求的查询结果，对于存在查询结果的查询请求，直接反馈该查询结果，不生成查询执行计划；对于不存在查询结果的查询请求，检查对应该查询请求的sql查询语句是否合法性，对于不合法的sql查询语句，反馈错误信息，不生成查询执行计划；对于合法的sql查询语句进行语言含义检查，所述语言含义检查包括检查sql查询语句所涉及的字段和表是否真实存在，对于没有通过语言含义检查的sql查询语句，反馈错误信息，不生成查询执行计划；对于通过语言含义检查的sql查询语句，生成对应的查询执行计划。检查已经存
在的查询结果通过查询高速缓存进行，高速缓存是计算机中的一段内存空间，用于存储此前已执行过的sql查询语句的结果数据；如果通过sql输入输出通道接收到的sql查询语句在高速缓存存在，则省去后续的处理过程，直接从高速缓存获取结果数据，并通过sql输入输出通道返回结果数据。sql查询语句是否合法性包括检查sql查询语句的语法是否满足ansi标准的sql语法规则，不满足语法规则则生成相应的错误信息并通过所述sql输入输出通道返回，且省去后续处理过程。查询执行计划是解析sql查询语句后，将原sql查询语句转变为一个查询执行和相关的计划。一个查询执行拆分成具有层级关系的多个查询执行阶段，一个查询执行阶段代表计划的一部分。查询执行阶段之间是树状的层级结构，每个查询执行都有一个根查询执行阶段，用于聚集所有其他查询执行阶段的输出数据，并将最终的数据返回给sql输入输出通道。一个查询执行阶段又被分为一系列的查询任务，从而可以大规模并行地执行每一个查询执行阶段。对于查询任务，其调度方式承载了查询执行阶段的启动和查询任务的执行调度，监控每个查询任务的执行状态。
52.根据查询执行计划调用对应的sql查询语句获取数据结果建设模型并输出，若对应的数据源包含多个，优选的使用jdbc读取不同数据源的数据。通过通用的jdbc，实现输入输出，即接收sql和返回sql查询结果的通道，用于接收提交的sql查询语句，和输出sql查询结果。jdbc连接，用于与不同的数据源建立网络连接，读取数据源的数据。针对不同的数据源会有与之对应的连接模块。连接模块定义了标准的数据访问接口，这保证访问不同数据源的方式都是一致的。对于来自不同通道的查询请求，优选的以适应的输出形态进行结果展示，例如sql输入输出通道参考sql标准规范，输出数据集，并以行列的形式展示；python输入输出通道通过依赖的包或组件，进行数据集展示或图形展示；图形界面输入输出通道通过页面数据集或预设图像展示结果。最后，通过预设置的算法包进行数据建模，输入数据模型结果，并通过结果数据反馈，不断调整各个模块参数，均通过页面进行，简单高效快捷，并支持中间节点开始重新运行，加快建模速度。
53.本发明还涉及一种如图2所示结构的多模式数据查询建模系统，包括：
54.通用权限模块，用于设置通用的数据权限配置；
55.sql编辑器，用于设置sql输入输出通道并解析查询请求，生成查询执行计划；
56.python编辑器，用于设置python输入输出通道并解析查询请求，生成查询执行计划；
57.图形编辑器，用于设置图形界面输入输出通道并解析查询请求，生成查询执行计划；
58.请求执行模块，用于根据查询执行计划调用对应的sql查询语句获取数据结果建设模型并输出。
59.使用该系统可以用于执行上述多模式数据查询建模方法，并提供对应的功能。
60.以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。