一种基于国产环境的Elasticsearch数据动态处理方法与流程

一种基于国产环境的elasticsearch数据动态处理方法
技术领域
1.本发明公开一种方法，涉及数据处理技术领域，具体地说是一种基于国产环境的elasticsearch数据动态处理方法。


背景技术：

2.elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。能很方便的使大量数据具有搜索、分析和探索的能力。充分利用elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。elasticsearch是分布式的，可以被分成分片，每个分片可以有0个或多个副本。每个节点托管一个或多个分片，并充当协调器将操作委托给正确的分片。
3.但是目前国产环境下，还没有实现对elasticsearch的适配，不能完善动态处理elasticsearch的数据。


技术实现要素：

4.本发明针对现有技术的问题，提供一种基于国产环境的elasticsearch数据动态处理方法，本发明提出的具体方案是：
5.一种基于国产环境的elasticsearch数据动态处理方法，基于国产环境,通过封装并格式化处理数据修改数据请求，并动态处理新增和修改时的数据的字段，根据elasticsearch和国产环境的对应参数进行适配，通过统一接口调用elasticsearch提供的api接口，将数据保存到elasticsearch中，根据所述数据的字段在elasticsearch中查询数据。
6.进一步，所述的方法中所述封装并格式化处理数据，包括：
7.将数据组装成java的集合数据，通过java提供的for循环功能对数据进行解析并处理，封装成统一的数据格式。
8.进一步，所述的方法中所述通过统一接口调用elasticsearch提供的api接口，将数据保存到elasticsearch中，包括：
9.链接elasticsearch客户端，其中调用elasticsearch提供的api接口，获取elasticsearch客户端链接，选择http标准以及get、post或put的请求方式链接elasticsearch客户端。
10.进一步，所述的方法中所述根据所述数据的字段在elasticsearch中查询数据，包括：
11.根据查询条件获取符合条件的数据中的字段，标记所述数据的字段，根据所述数据的字段在elasticsearch中查询数据。
12.进一步，所述的方法中所述需要处理的数据包括文档数据，所述文档数据通过文档解析获得，并进行转码处理。
13.本发明还提供一种基于国产环境的elasticsearch数据动态处理装置，基于国产环境,包括封装模块、调用模块及查询模块，
14.封装模块通过封装并格式化处理数据修改数据请求，并动态处理新增和修改时的数据的字段，调用模块根据elasticsearch和国产环境的对应参数进行适配，通过统一接口调用elasticsearch提供的api接口，将数据保存到elasticsearch中，查询模块根据所述数据的字段在elasticsearch中查询数据。
15.进一步，所述的装置中所述封装模块封装并格式化处理数据，包括：
16.将数据组装成java的集合数据，通过java提供的for循环功能对数据进行解析并处理，封装成统一的数据格式。
17.进一步，所述的装置中所述调用模块通过统一接口调用elasticsearch提供的api接口，将数据保存到elasticsearch中，包括：
18.链接elasticsearch客户端，其中调用elasticsearch提供的api接口，获取elasticsearch客户端链接，选择http标准以及get、post或put的请求方式链接elasticsearch客户端。
19.进一步，所述的装置中所述查询模块根据所述数据的字段在elasticsearch中查询数据，包括：
20.根据查询条件获取符合条件的数据中的字段，标记所述数据的字段，根据所述数据的字段在elasticsearch中查询数据。
21.本发明的有益之处是：
22.本发明提供一种基于国产环境的elasticsearch数据动态处理方法，对于前端或者其他系统来说，并没有额外的研发工作，elasticsearch客户端进行数据处理即可，动态的处理请求参数，不需要修改请求参数，可直接调用接口，操作elasticsearch数据，elasticsearch为非结构化数据的保存、提供查询完善的解决方案，获取数据的效率非常高，大大减少了重复工作，减少后端工期。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本发明方法流程示意图。
具体实施方式
25.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
26.本发明提供一种基于国产环境的elasticsearch数据动态处理方法，基于国产环境,通过封装并格式化处理数据修改数据请求，并动态处理新增和修改时的数据的字段，根据elasticsearch和国产环境的对应参数进行适配，通过统一接口调用elasticsearch提供的api接口，将数据保存到elasticsearch中，根据所述数据的字段在elasticsearch中查询
数据。
27.本发明方法基于国产软硬件环境下进行elasticsearch的适配，利用本发明方法各个分布式子系统与elasticsearch进行数据交换。根据elasticsearch和国产环境的对应参数进行适配，完成对elasticsearch的数据新增、修改、查询等操作。其中新增、修改为本发明方法接受不同数据结果、类型的数据，进行动态解析、组装，完成与elasticsearch进行数据交互。查询的时候，指定范围查询数据，方便本发明对对应字段进行范围查询的解析，从而和elasticsearch进行数据交互。
28.具体应用中，在本发明方法的一些实施例中，进行基于国产环境的elasticsearch数据动态处理时，对数据进行封装和格式化处理，其中根据获取的json格式的数据组装成java的集合数据，通过java提供的for循环功能对获取的json数据进行一项项解析，解析的同时需要去掉敏感字段，如elasticsearch的索引名称等参数，然后封装成统一的数据格式，通过统一接口调用elasticsearch提供的客户端api接口，对数据进行新增或者修改等操作，其中在链接elasticsearch客户端时，各个系统和elasticsearch建立链接由elasticsearch提供api接口来实现，可以采用的http标准及get、post、put等请求方式，根据提供elasticsearch的索引名称选择elasticsearch建立链接，根据业务不同可自行定义索引名称。
29.由各个系统前端提供数据字段名称，提供的字段获取系统保存在elasticsearch数据，除此之外各个系统也可以传入标记的字段，如标红字段的名称，根据查询条件获取符合条件的数据中的字段，标记所述数据的字段，根据所述数据的字段在elasticsearch中查询数据。查询语句可以分为准确查询、模糊查询、范围查询等。复合查询时，是这几种查询的随机组合，范围查询的处理和其他查询不同，需要特别处理，例如时间作为条件进行查询，需要对时间进行处理。
30.而数据的来源可以是本系统前端也可以是由其他子系统提供，可以以多种文档为数据源，读取文档内容，对文档进行解析，获取的文档数据，如果有编码的要求，根据编码要求进行转码等操作。
31.本发明还提供一种基于国产环境的elasticsearch数据动态处理装置，基于国产环境,包括封装模块、调用模块及查询模块，
32.封装模块通过封装并格式化处理数据修改数据请求，并动态处理新增和修改时的数据的字段，调用模块根据elasticsearch和国产环境的对应参数进行适配，通过统一接口调用elasticsearch提供的api接口，将数据保存到elasticsearch中，查询模块根据所述数据的字段在elasticsearch中查询数据。
33.上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
34.同样地，本发明装置对于前端或者其他系统来说，并没有额外的研发工作，elasticsearch客户端进行数据处理即可，动态的处理请求参数，不需要修改请求参数，可直接调用接口，操作elasticsearch数据，elasticsearch为非结构化数据的保存、提供查询完善的解决方案，获取数据的效率非常高，大大减少了重复工作，减少后端工期。
35.需要说明的是，上述各流程和各装置中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行
调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
36.以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。