一种基于Elasticsearch的大数据分析处理方法及装置与流程

一种基于elasticsearch的大数据分析处理方法及装置
技术领域
1.本发明属于大数据分析处理技术领域，具体涉及一种基于elasticsearch的大数据分析处理方法及装置。


背景技术：

2.elasticsearch是一个基于lucene的搜索服务器；它提供了一个分布式多用户能力的全文搜索引擎，基于restful web接口；elasticsearch是用java语言开发的，并作为apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎；elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便；官方客户端在java、.net(c#)、php、python、apache groovy、ruby和许多其他语言中都是可用的；根据db-engines的排名显示，elasticsearch是最受欢迎的企业搜索引擎，其次是apache solr，也是基于lucene。
3.在基于elasticsearch进行大数据分析处理时，由于多用户搜索导致数据分析处理量较大，进而增加了处理负载，降低了用户的搜索效率，因此提出了一种基于elasticsearch的大数据分析处理方法及装置。


技术实现要素：

4.本发明要解决的技术问题是克服现有的缺陷，提供一种基于elasticsearch的大数据分析处理方法及装置，以解决上述背景技术中提出的由于多用户搜索导致数据分析处理量较大，进而增加了处理负载，降低了用户的搜索效率的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于elasticsearch的大数据分析处理方法，包括以下步骤：
6.步骤1：创建基于elasticsearch的主数据库，再基于主数据库创建子数据库；
7.步骤2：定义数据类型，将数据输入主数据库，根据定义数据类型使主数据库中的数据自动归类到子数据库；
8.步骤3：识别查询接口对应的elasticsearch查询语句；
9.步骤4：基于elasticsearch查询语句调取子数据库中的相关数据。
10.优选的，所述步骤1包括以下步骤：
11.步骤1.1：基于业务数据源所在的网络环境，添加对应环境下的dataphin ip地址至数据库白名单中；
12.步骤1.2：创建elasticsearch数据源,在新建elasticsearch数据源对话框中，配置连接数据源参数后生成主数据库；
13.步骤1.3：在已经创建的主数据库下创建若干个数据表作为子数据库。
14.优选的，所述步骤2包括以下步骤：
15.步骤2.1：根据数据类型在子数据库下创建表字段、类型、长度、主键等；
16.步骤2.2：将数据导入主数据库中，将输入的数据转换为基于elasticsearch的数
据类型；
17.步骤2.3：经过转换后的数据根据子数据库下创建的表字段、类型、长度、主键等属性进行归类。
18.优选的，所述步骤3包括以下步骤：
19.步骤3.1：通过多用户搜索端输入查询关键词；
20.步骤3.2：根据查询关键词转换成对应的elasticsearch查询语句；
21.步骤3.3：对elasticsearch查询语句进行安装不同的属性进行分类；
22.步骤3.4：将各属性的elasticsearch查询语句按照查询时间进行排序。
23.优选的，所述步骤4包括以下步骤：
24.步骤4.1：根据elasticsearch查询语句对应的属性调取对应属性的子数据库中的相关数据；
25.步骤4.2：将调取的相关数据按照查询时间进行排序；
26.步骤4.3：按照时间排序将不同的类型的相关数据返回到用户端。
27.优选的，所述步骤2.2包括以下步骤：
28.步骤2.2.1：将缺少关键数据字段值(数据为空或值为null)的数据过滤掉；
29.步骤2.2.2：再测试查看空值数据，将其作为无效数据进行过滤；
30.步骤2.2.3：将经过清洗过滤后的数据转换为基于elasticsearch的数据类型。
31.一种基于elasticsearch的大数据分析处理方法的装置，包括装置外壳，所述装置外壳内部设置有中央处理器、存储介质、数据接收模块和传输模块，所述存储介质、数据接收模块和传输模块均与中央处理器电性连接，其中：
32.所述中央处理器用于执行权利要求1-6中任一项所述的一种基于elasticsearch的大数据分析处理方法所需要的运行程序；
33.所述存储介质用于存储权利要求1-6中任一项所述的一种基于elasticsearch的大数据分析处理方法所需要的运行程序；
34.所述数据接收模块用于接收多用户搜索端输入的搜索指令；
35.所述传输模块用于将接收和输出与elasticsearch服务器交流的数据。
36.优选的，所述装置外壳外侧设置有数据接收端和数据输出端，所述数据接收端和数据输出端分别与数据接收模块和传输模块电性连接，其中所述数据接收端用于与用户端电性连接。
37.优选的，所述装置外壳外侧设置有网络接口，所述网络接口用于接入elasticsearch服务器。
38.优选的，所述装置外壳内部还设置有预存单元和数据管理器，所述预存单元和数据管理器均与中央处理器电性连接，其中，所述预存单元用于存储经过分类和排序后的elasticsearch查询语句；所述数据管理器用于对所述预存单元中完成输出的数据进行更新。
39.与现有技术相比，本发明提供了一种基于elasticsearch的大数据分析处理方法及装置，具备以下有益效果：
40.1、本发明通过基于elasticsearch创建主数据库，再基于主数据库创建子数据库，然后通过定义数据类型，将数据输入主数据库，根据定义数据类型使主数据库中的数据自
动归类到子数据库，进而对数据库中的数据进行属性转换，降低elasticsearch服务器的处理负载；
41.2、本发明在对数据进行查询时，先识别查询接口对应的elasticsearch查询语句，然后基于elasticsearch查询语句调取子数据库中的相关数据，进而将输入的查询语句转换成elasticsearch查询语句，降低elasticsearch服务器分析难度，提高数据搜索效率；
42.3、本发明通过设置装置外壳，装置外壳的内部设置有预存单元和数据管理器，将经过属性分类和时间排序后的elasticsearch查询语句通过预存单元进行存储，然后按照预存单元的排序进行输出，进而使数据更加稳定。
43.该装置中未涉及部分均与现有技术相同或可采用现有技术加以实现，本发明结构科学合理，使用安全方便，为人们提供了很大的帮助。
附图说明
44.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，在附图中：
45.图1为本发明提出的一种基于elasticsearch的大数据分析处理方法的流程示意图；
46.图2为本发明提出的一种基于elasticsearch的大数据分析处理方法的原理示意图；
47.图3为本发明提出的一种基于elasticsearch的大数据分析处理方法的装置的等轴测结构示意图；
48.图4为本发明提出的一种基于elasticsearch的大数据分析处理方法的装置的内部结构示意图；
49.图中：装置外壳1、中央处理器2、存储介质3、数据接收模块4、预存单元5、传输模块6、数据管理器7、数据接收端8、数据输出端9、网络接口10。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.实施例一
52.请参阅图1-2，本发明提供一种技术方案：一种基于elasticsearch的大数据分析处理方法，包括以下步骤：
53.步骤1：创建基于elasticsearch的主数据库，再基于主数据库创建子数据库；
54.步骤2：定义数据类型，将数据输入主数据库，根据定义数据类型使主数据库中的数据自动归类到子数据库；
55.步骤3：识别查询接口对应的elasticsearch查询语句；
56.步骤4：基于elasticsearch查询语句调取子数据库中的相关数据。
57.本发明中，优选的，步骤1包括以下步骤：
58.步骤1.1：基于业务数据源所在的网络环境，添加对应环境下的dataphin ip地址至数据库白名单中；
59.步骤1.2：创建elasticsearch数据源,在新建elasticsearch数据源对话框中，配置连接数据源参数后生成主数据库；
60.步骤1.3：在已经创建的主数据库下创建若干个数据表作为子数据库。
61.本发明中，优选的，步骤2包括以下步骤：
62.步骤2.1：根据数据类型在子数据库下创建表字段、类型、长度、主键等；
63.步骤2.2：将数据导入主数据库中，将输入的数据转换为基于elasticsearch的数据类型；
64.步骤2.3：经过转换后的数据根据子数据库下创建的表字段、类型、长度、主键等属性进行归类。
65.本发明的工作原理及使用流程：首先，基于业务数据源所在的网络环境，添加对应环境下的dataphin ip地址至数据库白名单中，然后创建elasticsearch数据源,在新建elasticsearch数据源对话框中，配置连接数据源参数后生成主数据库，在已经创建的主数据库下创建若干个数据表作为子数据库，再根据数据类型在子数据库下创建表字段、类型、长度、主键等，将数据导入主数据库中，在导入过程中，将缺少关键数据字段值(数据为空或值为null)的数据过滤掉，再测试查看空值数据，将其作为无效数据进行过滤，然后将输入的数据转换为基于elasticsearch的数据类型，经过转换后的数据根据子数据库下创建的表字段、类型、长度、主键等属性进行归类，进而对数据库中的数据进行属性转换，降低elasticsearch服务器的处理负载。
66.实施例二
67.请参阅图1-2，本发明提供一种技术方案：一种基于elasticsearch的大数据分析处理方法，包括以下步骤：
68.步骤1：创建基于elasticsearch的主数据库，再基于主数据库创建子数据库；
69.步骤2：定义数据类型，将数据输入主数据库，根据定义数据类型使主数据库中的数据自动归类到子数据库；
70.步骤3：识别查询接口对应的elasticsearch查询语句；
71.步骤4：基于elasticsearch查询语句调取子数据库中的相关数据。
72.本发明中，优选的，步骤1包括以下步骤：
73.步骤1.1：基于业务数据源所在的网络环境，添加对应环境下的dataphin ip地址至数据库白名单中；
74.步骤1.2：创建elasticsearch数据源,在新建elasticsearch数据源对话框中，配置连接数据源参数后生成主数据库；
75.步骤1.3：在已经创建的主数据库下创建若干个数据表作为子数据库。
76.本发明中，优选的，步骤2包括以下步骤：
77.步骤2.1：根据数据类型在子数据库下创建表字段、类型、长度、主键等；
78.步骤2.2：将数据导入主数据库中，将输入的数据转换为基于elasticsearch的数据类型；
79.步骤2.3：经过转换后的数据根据子数据库下创建的表字段、类型、长度、主键等属
性进行归类。
80.本发明中，优选的，步骤3包括以下步骤：
81.步骤3.1：通过多用户搜索端输入查询关键词；
82.步骤3.2：根据查询关键词转换成对应的elasticsearch查询语句；
83.步骤3.3：对elasticsearch查询语句进行安装不同的属性进行分类；
84.步骤3.4：将各属性的elasticsearch查询语句按照查询时间进行排序。
85.本发明中，优选的，步骤4包括以下步骤：
86.步骤4.1：根据elasticsearch查询语句对应的属性调取对应属性的子数据库中的相关数据；
87.步骤4.2：将调取的相关数据按照查询时间进行排序；
88.步骤4.3：按照时间排序将不同的类型的相关数据返回到用户端。
89.本发明中，优选的，步骤2.2包括以下步骤：
90.步骤2.2.1：将缺少关键数据字段值(数据为空或值为null)的数据过滤掉；
91.步骤2.2.2：再测试查看空值数据，将其作为无效数据进行过滤；
92.步骤2.2.3：将经过清洗过滤后的数据转换为基于elasticsearch的数据类型。
93.本发明的工作原理及使用流程：首先，基于业务数据源所在的网络环境，添加对应环境下的dataphin ip地址至数据库白名单中，然后创建elasticsearch数据源,在新建elasticsearch数据源对话框中，配置连接数据源参数后生成主数据库，在已经创建的主数据库下创建若干个数据表作为子数据库，再根据数据类型在子数据库下创建表字段、类型、长度、主键等，将数据导入主数据库中，在导入过程中，将缺少关键数据字段值(数据为空或值为null)的数据过滤掉，再测试查看空值数据，将其作为无效数据进行过滤，然后将输入的数据转换为基于elasticsearch的数据类型，经过转换后的数据根据子数据库下创建的表字段、类型、长度、主键等属性进行归类，进而对数据库中的数据进行属性转换，降低elasticsearch服务器的处理负载，当对数据进行查询时，通过多用户搜索端输入查询关键词，根据查询关键词转换成对应的elasticsearch查询语句，对elasticsearch查询语句进行安装不同的属性进行分类，将各属性的elasticsearch查询语句按照查询时间进行排序，再根据elasticsearch查询语句对应的属性调取对应属性的子数据库中的相关数据，将调取的相关数据按照查询时间进行排序，并且按照时间排序将不同的类型的相关数据返回到用户端，进而将输入的查询语句转换成elasticsearch查询语句，降低elasticsearch服务器分析难度，提高数据搜索效率。
94.实施例三
95.请参阅图1-4，本发明提供一种技术方案：一种基于elasticsearch的大数据分析处理方法，包括以下步骤：
96.步骤1：创建基于elasticsearch的主数据库，再基于主数据库创建子数据库；
97.步骤2：定义数据类型，将数据输入主数据库，根据定义数据类型使主数据库中的数据自动归类到子数据库；
98.步骤3：识别查询接口对应的elasticsearch查询语句；
99.步骤4：基于elasticsearch查询语句调取子数据库中的相关数据。
100.本发明中，优选的，步骤1包括以下步骤：
101.步骤1.1：基于业务数据源所在的网络环境，添加对应环境下的dataphin ip地址至数据库白名单中；
102.步骤1.2：创建elasticsearch数据源,在新建elasticsearch数据源对话框中，配置连接数据源参数后生成主数据库；
103.步骤1.3：在已经创建的主数据库下创建若干个数据表作为子数据库。
104.本发明中，优选的，步骤2包括以下步骤：
105.步骤2.1：根据数据类型在子数据库下创建表字段、类型、长度、主键等；
106.步骤2.2：将数据导入主数据库中，将输入的数据转换为基于elasticsearch的数据类型；
107.步骤2.3：经过转换后的数据根据子数据库下创建的表字段、类型、长度、主键等属性进行归类。
108.本发明中，优选的，步骤3包括以下步骤：
109.步骤3.1：通过多用户搜索端输入查询关键词；
110.步骤3.2：根据查询关键词转换成对应的elasticsearch查询语句；
111.步骤3.3：对elasticsearch查询语句进行安装不同的属性进行分类；
112.步骤3.4：将各属性的elasticsearch查询语句按照查询时间进行排序。
113.本发明中，优选的，步骤4包括以下步骤：
114.步骤4.1：根据elasticsearch查询语句对应的属性调取对应属性的子数据库中的相关数据；
115.步骤4.2：将调取的相关数据按照查询时间进行排序；
116.步骤4.3：按照时间排序将不同的类型的相关数据返回到用户端。
117.本发明中，优选的，步骤2.2包括以下步骤：
118.步骤2.2.1：将缺少关键数据字段值(数据为空或值为null)的数据过滤掉；
119.步骤2.2.2：再测试查看空值数据，将其作为无效数据进行过滤；
120.步骤2.2.3：将经过清洗过滤后的数据转换为基于elasticsearch的数据类型。
121.一种基于elasticsearch的大数据分析处理方法的装置，包括装置外壳1，装置外壳1内部设置有中央处理器2、存储介质3、数据接收模块4和传输模块6，存储介质3、数据接收模块4和传输模块6均与中央处理器2电性连接，其中：
122.中央处理器2用于执行权利要求1-6中任一项的一种基于elasticsearch的大数据分析处理方法所需要的运行程序；
123.存储介质3用于存储权利要求1-6中任一项的一种基于elasticsearch的大数据分析处理方法所需要的运行程序；
124.数据接收模块4用于接收多用户搜索端输入的搜索指令；
125.传输模块6用于将接收和输出与elasticsearch服务器交流的数据。
126.本发明中，优选的，装置外壳1外侧设置有数据接收端8和数据输出端9，数据接收端8和数据输出端9分别与数据接收模块4和传输模块6电性连接，其中数据接收端8用于与用户端电性连接。
127.本发明中，优选的，装置外壳1外侧设置有网络接口10，网络接口10用于接入elasticsearch服务器。
128.本发明中，优选的，装置外壳1内部还设置有预存单元5和数据管理器7，预存单元5和数据管理器7均与中央处理器2电性连接，其中，预存单元5用于存储经过分类和排序后的elasticsearch查询语句；数据管理器7用于对预存单元5中完成输出的数据进行更新。
129.本发明的工作原理及使用流程：首先，基于业务数据源所在的网络环境，添加对应环境下的dataphin ip地址至数据库白名单中，然后创建elasticsearch数据源,在新建elasticsearch数据源对话框中，配置连接数据源参数后生成主数据库，在已经创建的主数据库下创建若干个数据表作为子数据库，再根据数据类型在子数据库下创建表字段、类型、长度、主键等，将数据导入主数据库中，在导入过程中，将缺少关键数据字段值(数据为空或值为null)的数据过滤掉，再测试查看空值数据，将其作为无效数据进行过滤，然后将输入的数据转换为基于elasticsearch的数据类型，经过转换后的数据根据子数据库下创建的表字段、类型、长度、主键等属性进行归类，进而对数据库中的数据进行属性转换，降低elasticsearch服务器的处理负载，当对数据进行查询时，通过多用户搜索端输入查询关键词，装置外壳1内部的数据接收模块4用于接收多用户搜索端输入的搜索指令，并且通过中央处理器2用于执行存储介质3中存储的运行程序，根据查询关键词转换成对应的elasticsearch查询语句，对elasticsearch查询语句进行安装不同的属性进行分类，将各属性的elasticsearch查询语句按照查询时间进行排序，将经过分类和排序后的elasticsearch查询语句通过预存单元5进行存储，再根据elasticsearch查询语句对应的属性调取对应属性的子数据库中的相关数据，将调取的相关数据按照查询时间进行排序，并且按照时间排序将不同的类型的相关数据返回到用户端，进而将输入的查询语句转换成elasticsearch查询语句，降低elasticsearch服务器分析难度，提高数据搜索效率，当数据输出后，通过数据管理器7对预存单元5中已经输出的数据进行更新，以防止预存单元5的内存不足。
130.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。