日志数据查询方法、装置、计算机设备及存储介质与流程

1.本技术涉及数据查询技术领域，具体而言，本技术涉及一种日志数据查询方法、装置、计算机设备及存储介质。


背景技术：

2.随着互联网的快速发展，互联网中的日志数据急剧增加，因此，服务平台存储的数据量也就越来越多，服务平台面临的存储压力也随之越来越大。
3.在现有技术中，日志数据被存储至服务平台的数据仓库后，由于每个数据仓库对应的搜索引擎采用的查询策略都是相同的，因此当需要查询特定数据类型的日志数据时，则需要遍历所有搜索引擎的数据仓库，查询效率较低。


技术实现要素：

4.本技术的主要目的为提供一种日志数据查询方法、装置、计算机设备及存储介质，以提高查询效率。
5.为了实现上述发明目的，本技术提供一种日志数据查询方法，其包括：
6.接收来自不同数据源的日志数据；
7.对所述日志数据进行预处理，得到目标日志数据；
8.对所述目标日志数据进行统计分析，得到统计数据；
9.按照数据类型对所述统计数据进行分类；
10.将不同数据类型的统计数据存储至不同搜索引擎的数据仓库中，并获取每个所述搜索引擎原有的查询策略；
11.依据相应的数据类型对每个所述搜索引擎的所述查询策略进行调整，得到每个所述搜索引擎的目标查询策略；
12.将每个所述搜索引擎的目标查询策略配置至相应的所述搜索引擎中；
13.接收用户的数据查询请求，根据所述数据查询请求确定目标搜索引擎，依照所述目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据；
14.将所述目标数据发送给所述用户。
15.进一步地，所述依据相应的数据类型对每个所述搜索引擎的所述查询策略进行调整，得到每个所述搜索引擎的目标查询策略之前，还包括：
16.获取每个搜索引擎的所述查询策略中规定的查询范围及查询顺序；
17.根据所述数据类型确定每种数据类型的统计数据在数据仓库中的存储位置；
18.按照每种数据类型的存储位置，对应调整每个搜索引擎的所述查询策略中规定的查询范围及查询顺序，以优先查询对应数据类型的存储位置的统计数据。
19.优选地，所述根据所述数据查询请求确定目标搜索引擎，依照所述目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据，包括：
20.提取所述数据查询请求携带的查询信息；
21.根据所述查询信息确定所述数据查询请求对应的搜索引擎，得到目标搜索引擎；
22.将所述数据查询请求发送至所述目标搜索引擎中，接收所述目标搜索引擎依照目标查询策略从所述数据仓库中查询得到的统计数据，得到目标数据。
23.优选地，所述接收来自不同数据源的日志数据，包括：
24.通过日志方式、sdk方式或mq方式获取分散在多个数据源的日志数据；或
25.从数据库的数据表中提取预先存储至所述数据表的日志数据。
26.优选地，所述对所述日志数据进行预处理，得到目标日志数据，包括：
27.对所述日志数据进行清洗；
28.将清洗后的所述日志数据按照类别发送给kafka集群，得到预设字段的目标日志数据。
29.优选地，所述对所述日志数据进行预处理，得到目标日志数据，包括：
30.获取所述日志数据的生成时间；
31.判断所述生成时间是否超过预设生成时间；
32.若是，对超过预设生成时间的所述日志数据进行删除，将剩余的日志数据作为目标日志数据。
33.优选地，所述对所述目标日志数据进行统计分析，得到统计数据，包括：
34.设置多个分析维度；
35.根据所述多个分析维度对所述目标日志数据进行拆分，得到每个所述分析维度对应的所述目标日志数据；
36.分别对每个所述分析维度对应的所述目标日志数据进行统计分析，得到每个所述分析维度对应的统计数据。
37.本技术还提供一种日志数据查询装置，其包括：
38.接收模块，用于接收来自不同数据源的日志数据；
39.预处理模块，用于对所述日志数据进行预处理，得到目标日志数据；
40.统计分析模块，用于对所述目标日志数据进行统计分析，得到统计数据；
41.分类模块，用于按照数据类型对所述统计数据进行分类；
42.存储模块，用于将不同数据类型的统计数据存储至不同搜索引擎的数据仓库中，并获取每个所述搜索引擎原有的查询策略；
43.调整模块，用于依据相应的数据类型对每个所述搜索引擎的所述查询策略进行调整，得到每个所述搜索引擎的目标查询策略；
44.配置模块，用于将每个所述搜索引擎的目标查询策略配置至相应的所述搜索引擎中；
45.查询模块，用于接收用户的数据查询请求，根据所述数据查询请求确定目标搜索引擎，依照所述目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据；
46.发送模块，用于将所述目标数据发送给所述用户。
47.本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
48.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述方法的步骤。
49.本技术所提供的一种日志数据查询方法、装置、计算机设备及存储介质，接收来自不同数据源的日志数据，对日志数据进行预处理，得到目标日志数据，对目标日志数据进行统计分析，得到统计数据；按照数据类型对统计数据进行分类，将不同数据类型的统计数据存储至不同搜索引擎的数据仓库中，并获取每个搜索引擎原有的查询策略，依据相应的数据类型对每个搜索引擎的查询策略进行调整，得到每个搜索引擎的目标查询策略，将每个搜索引擎的目标查询策略配置至相应的搜索引擎中，接收用户的数据查询请求，根据数据查询请求确定目标搜索引擎，依照目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据，将目标数据发送给用户，从而通过将不同数据类型的统计数据存储至不同的搜索引擎中，并依据相应的数据类型对查询策略进行调整得到目标查询策略，将目标查询策略配置至搜索引擎中，以在需要查询统计数据时，无需遍历所有搜索引擎的数据仓库，以便用户快速搜索到不同数据类型的统计数据，提高数据的查询效率。
附图说明
50.图1为本技术一实施例的日志数据查询方法的流程示意图；
51.图2为本技术一实施例的日志数据查询装置的结构示意框图；
52.图3为本技术一实施例的计算机设备的结构示意框图。
53.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
54.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
55.本技术提出的一种日志数据查询方法，以服务器为执行主体，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
56.该日志数据查询方法用于解决当前的每个数据仓库对应的搜索引擎采用的查询策略都是相同的，因此当需要查询特定数据类型的日志数据时，则需要遍历所有搜索引擎的数据仓库，查询效率较低的技术问题。参考图1，其中一个实施例中，该日志数据查询方法包括：
57.s11、接收来自不同数据源的日志数据；
58.s12、对所述日志数据进行预处理，得到目标日志数据；
59.s13、对所述目标日志数据进行统计分析，得到统计数据；
60.s14、按照数据类型对所述统计数据进行分类；
61.s15、将不同数据类型的统计数据存储至不同搜索引擎的数据仓库中，并获取每个所述搜索引擎原有的查询策略；
62.s16、依据相应的数据类型对每个所述搜索引擎的所述查询策略进行调整，得到每个所述搜索引擎的目标查询策略；
63.s17、将每个所述搜索引擎的目标查询策略配置至相应的所述搜索引擎中；
64.s18、接收用户的数据查询请求，根据所述数据查询请求确定目标搜索引擎，依照所述目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据；
65.s19、将所述目标数据发送给所述用户。
66.本实施例在接收来自不同数据源的日志数据之前，可通过kafka集群将需要查询的相关的数据表同步到flink的数据仓库中，数据表用于记录用户的日志数据。
67.具体的，本实施例接收用户来自不同数据源的日志数据，日志数据，就是记录系统产生的过程性事件记录数据，可包括用户浏览的网页、点赞的视频或登录的界面等等。通过查看日志数据，可以了解到具体哪个用户、在具体什么时间、在哪台设备上或者什么应用系统中、做了什么具体的操作。
68.本实施例对日志数据进行预处理，如清洗日志数据中无意义或格式错误的数据，以得到目标日志数据，然后调用flink对目标日志数据进行统计分析，得到统计数据，如统计用户的浏览量、点赞量等等。
69.然后按照数据类型对统计数据进行分类，将不同数据类型的统计数据存储至不同的搜索引擎中，并获取搜索引擎原有的查询策略，依据相应的数据类型对查询策略进行调整，得到目标查询策略，将目标查询策略配置至搜索引擎中，从而将原有的查询策略进行调整，如将从直接从oracle读取数据的逻辑改成读取es搜索引擎的信息，大大地提高了计算效率。
70.在接收到用户的数据查询请求时，本实施例根据数据查询请求确定需要调用的目标搜索引擎，如根据数据查询请求中携带的数据类型查询对应的目标搜索引擎，以快速确定需要调用的目标搜索引擎，依照目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据，将目标数据发送给用户，提高数据的查询效率。
71.其中，所述数据类型包括如下任一项：关键字、函数和元数据；所述元数据包括表、字段、库；关键字是指电脑语言里事先定义的，有特别意义的标识符，有时又叫保留字。函数是指一段可以直接被另一段程序或另一段代码引用的程序或代码，也叫做子程序。元数据，又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。库是指数据库，数据库是存放数据的仓库。表是数据库中用来存储数据的对象，是有结构的数据的集合，是数据库的基本元素。字段代表一个成员，它表示与对象或类关联的变量。在数据库中，一般情况下，表的列称为字段，每个字段匹配某一专题的信息。例如，通讯录数据库中姓名、联系电话这些都是表中所有行共有的属性，所以把这些列称为姓名字段和联系电话字段。
72.其中，flink是一个高效的基于内存计算的分布式日志数据存储平台，是apache的顶级项目之一。它的核心是一个流式数据流引擎(streaming dataflow engine)，提供了数据流的分布式数据分布、通信和容错功能，具有高效、可靠、可扩展等特性，并且与hadoop生态系统有着很好的兼容性。flink使用dataset来描述并行计算的数据集，并对相应的数据集提供了丰富的诸如map、reduce、join、group之类日志数据存储接口。
73.本实施例的flink采用了流式日志数据存储，大大加快了日志数据存储的效率，容错性也很高，能够满足实时数据计算的场景。
74.在一实施例中，为进一步保证日志数据的私密和安全性，日志数据还可以存储于一区块链的节点中。该区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算
机技术的新型应用模式。区块链＝，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
75.本技术所提供的一种日志数据查询方法，接收来自不同数据源的日志数据，对日志数据进行预处理，得到目标日志数据，对目标日志数据进行统计分析，得到统计数据；按照数据类型对统计数据进行分类，将不同数据类型的统计数据存储至不同搜索引擎的数据仓库中，并获取每个搜索引擎原有的查询策略，依据相应的数据类型对每个搜索引擎的查询策略进行调整，得到每个搜索引擎的目标查询策略，将每个搜索引擎的目标查询策略配置至相应的搜索引擎中，接收用户的数据查询请求，根据数据查询请求确定目标搜索引擎，依照目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据，将目标数据发送给用户，从而通过将不同数据类型的统计数据存储至不同的搜索引擎中，并依据相应的数据类型对查询策略进行调整得到目标查询策略，将目标查询策略配置至搜索引擎中，以在需要查询统计数据时，无需遍历所有搜索引擎的数据仓库，以便用户快速搜索到不同数据类型的统计数据，提高数据的查询效率。
76.在一实施例中，所述依据相应的数据类型对每个所述搜索引擎的所述查询策略进行调整，得到每个所述搜索引擎的目标查询策略之前，还可包括：
77.获取每个搜索引擎的所述查询策略中规定的查询范围及查询顺序；
78.根据所述数据类型确定每种数据类型的统计数据在数据仓库中的存储位置；
79.按照每种数据类型的存储位置，对应调整每个搜索引擎的所述查询策略中规定的查询范围及查询顺序，以优先查询对应数据类型的存储位置的统计数据。
80.在本实施例中，查询策略规定了查询范围及查询顺序，如需要查询哪些数据仓库，依照什么顺序查询多个数据仓库，或需要查询数据仓库中的哪些数据表，按照什么顺序查询多个数据表。其中，每个数据仓库可记录一种数据类型的统计数据，因此当需要查询某种数据类型的统计数据时，则先确定到需要调用的目标搜索引擎，并进一步确定需要先查询的数据表或数据仓库，以提高数据查询效率。
81.本实施例根据数据类型确定每种数据类型的统计数据在数据仓库中的存储位置，按照每种数据类型的存储位置，对应调整每个搜索引擎的查询策略中规定的查询范围及查询顺序，以优先查询对应数据类型的存储位置的统计数据。例如，当数据类型a的统计数据存储在数据仓库1中的数据表a时，则对搜索引擎的查询策略进行调整时，可优先查询数据仓库1及其数据表a。
82.在一实施例中，所述根据所述数据查询请求确定目标搜索引擎，依照所述目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据，可具体包括：
83.提取所述数据查询请求携带的查询信息；
84.根据所述查询信息确定所述数据查询请求对应的搜索引擎，得到目标搜索引擎；
85.将所述数据查询请求发送至所述目标搜索引擎中，接收所述目标搜索引擎依照目标查询策略从所述数据仓库中查询得到的统计数据，得到目标数据。
86.在本实施例中，查询信息中包含了数据类型，基于查询信息的数据类型找到对应的搜索引擎，得到目标搜索引擎，本实施例可预先构建对照表，对照表中记录了每个搜索引
擎的数据仓库所存储的统计数据的数据类型，从而基于对照表快速找到目标搜索引擎，调用目标搜索引擎查询其对应的数据仓库，以获取统计数据，得到目标数据，将目标数据返回给用户，以避免遍历所有的数据仓库，影响数据的查询效率。
87.在一实施例中，所述接收来自不同数据源的日志数据，可具体包括：
88.通过日志方式、sdk方式或mq方式获取分散在多个数据源的日志数据；或
89.从数据库的数据表中提取预先存储至所述数据表的日志数据。
90.在本实施例中，可利用kafka集群接收用户来自不同数据源的日志数据，并对接收到的来自不同数据源的数据进行存储；此外，kafka集群将接收到的原始事件数据发送给数据结构化清洗模块，数据结构化清洗模块在清洗时获取预先缓存在redis系统中的配置信息，根据配置信息清洗日志数据，生成结构化的目标日志数据，并将目标日志数据发送至kafka集群进行存储。
91.此外，还可使用apache flume日志采集工具实时地采集日志数据，根据采集到的日志数据进行相应的计算与处理。其中，采用日志采集工具对日志进行实时采集，该工具基于apache flume改进，能够支持日志发现，日志聚合，以及配置热发等实用功能。并且可以随时开启/停止日志收集。并将采集到的日志消息直接生产到kafka集群中，kafka集群具备高吞吐量，高可靠性以及高可用性。
92.其中，日志方式为利用日志数据采集器实时读取指定日志文件的新增内容，发送给日志搜集模块，将获得的日志数据经日志搜集模块清洗后送入kafka集群；sdk方式为支持应用或容器中嵌入agent上传数据作为数据源，agent上传数据给后台服务，数据经过后台服务处理后进入kafka集群；或由agent直接把日志数据发送给kafka集群作为数据源；mq方式为支持kafka消息队列作为数据源，日志数据直接发送给kafka集群。
93.其中，kafka集群是一个支持分区存储、多副本的分布式消息系统，采用发布/订阅的消息处理模式，能有效应对代理宕机后的日志数据存储问题。kafka集群以集群的方式运行，由多个broker共同构成。生产者将消息发送到特定的主题，再由订阅主题的消费者以poll的方式进行消费。kafka模块中以顺序写的方式写入磁盘，因而速度要比随机写入磁盘的方式快得多。
94.在一实施例中，所述对所述日志数据进行预处理，得到目标日志数据，包括：
95.对所述日志数据进行清洗；
96.将清洗后的所述日志数据按照类别发送给kafka集群，得到预设字段的目标日志数据。
97.具体地，kafka集群是面向topic的，外部来源数据主要为有大量的、复杂的数据类型和字段类型的数据，或者是不同来源数据库的原始数据，如果将该外部来源数据直接推给开发人员，难免会出现由于开发人员的操作导致意想不到的疏忽，从而影响后期接口层的快速检索，或者因为数据库自身维护索引的缓慢而影响项目的效果。所以对外部来源数据进行清洗，包括去除外部来源数据中多余的字段、不合理的字段、或者是未清理完善的垃圾数据，然后统一整合划分到kafka集群的topic中，每个类别的数据对应具体的topic。
98.其中，kafka集群可以批量提交消息或压缩消息，这样对于消息产生者而言,几乎感觉不到性能的开支，只需要进行初步统一数据(包括统一字段命名、统一结构、统一数据库存储格式)，保证数据不可丢失即可。
99.在一实施例中，所述对所述日志数据进行预处理，得到目标日志数据，包括：
100.获取所述日志数据的生成时间；
101.判断所述生成时间是否超过预设生成时间；
102.若是，对超过预设生成时间的所述日志数据进行删除，将剩余的日志数据作为目标日志数据。
103.本实施例可获取日志数据的生成时间，其中，生成时间可在日志数据产生并记录时，通过日志采集工具获取日志数据的生成时间，并将生成时间与日志数据一起保存。
104.然后将生成时间与预设生成时间进行比对，以判断生成时间是否超过预设生成时间，若是，则表明日志数据超期，对超过预设生成时间的日志数据进行删除，将剩余的日志数据作为目标日志数据，以筛选得到日期较新的日志数据。其中，预设生成时间可自定义设置，如设置为一周，将超过一周的日志数据进行删除，以确保数据的时效性。
105.在一实施例中，所述对所述目标日志数据进行统计分析，得到统计数据，可具体包括：
106.设置多个分析维度；
107.根据所述多个分析维度对所述目标日志数据进行拆分，得到每个所述分析维度对应的所述目标日志数据；
108.分别对每个所述分析维度对应的所述目标日志数据进行统计分析，得到每个所述分析维度对应的统计数据。
109.其中，分析维度为对日志数据进行分析的多个角度，可预先设置多个分析维度，根据多个分析维度对目标日志数据进行拆分，得到每个分析维度对应的目标日志数据，分别对每个分析维度对应的目标日志数据进行统计分析，得到每个分析维度对应的统计数据。例如，当日志数据中含有用户浏览网页的数据、用户点赞的视频、播放的音乐等等，则分析维度可以是对用户的网页浏览量的统计分析、视频点赞量的统计分析、播放音乐的音乐类型及数量的统计分析，最终得到每个分析维度对应的统计数据，以从多个维度了解用户的喜好。
110.参照图2，本技术实施例中还提供一种日志数据查询装置，包括：
111.接收模块11，用于接收来自不同数据源的日志数据；
112.预处理模块12，用于对所述日志数据进行预处理，得到目标日志数据；
113.统计分析模块13，用于对所述目标日志数据进行统计分析，得到统计数据；
114.分类模块14，用于按照数据类型对所述统计数据进行分类；
115.存储模块15，用于将不同数据类型的统计数据存储至不同搜索引擎的数据仓库中，并获取每个所述搜索引擎原有的查询策略；
116.调整模块16，用于依据相应的数据类型对每个所述搜索引擎的所述查询策略进行调整，得到每个所述搜索引擎的目标查询策略；
117.配置模块17，用于将每个所述搜索引擎的目标查询策略配置至相应的所述搜索引擎中；
118.查询模块18，用于接收用户的数据查询请求，根据所述数据查询请求确定目标搜索引擎，依照所述目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据；
119.发送模块19，用于将所述目标数据发送给所述用户。
120.本实施例在接收来自不同数据源的日志数据之前，可通过kafka集群将需要查询的相关的数据表同步到flink的数据仓库中，数据表用于记录用户的日志数据。
121.具体的，本实施例接收用户来自不同数据源的日志数据，日志数据，就是记录系统产生的过程性事件记录数据，可包括用户浏览的网页、点赞的视频或登录的界面等等。通过查看日志数据，可以了解到具体哪个用户、在具体什么时间、在哪台设备上或者什么应用系统中、做了什么具体的操作。
122.本实施例对日志数据进行预处理，如清洗日志数据中无意义或格式错误的数据，以得到目标日志数据，然后调用flink对目标日志数据进行统计分析，得到统计数据，如统计用户的浏览量、点赞量等等。
123.然后按照数据类型对统计数据进行分类，将不同数据类型的统计数据存储至不同的搜索引擎中，并获取搜索引擎原有的查询策略，依据相应的数据类型对查询策略进行调整，得到目标查询策略，将目标查询策略配置至搜索引擎中，从而将原有的查询策略进行调整，如将从直接从oracle读取数据的逻辑改成读取es搜索引擎的信息，大大地提高了计算效率。
124.在接收到用户的数据查询请求时，本实施例根据数据查询请求确定需要调用的目标搜索引擎，如根据数据查询请求中携带的数据类型查询对应的目标搜索引擎，以快速确定需要调用的目标搜索引擎，依照目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据，将目标数据发送给用户，提高数据的查询效率。
125.其中，所述数据类型包括如下任一项：关键字、函数和元数据；所述元数据包括表、字段、库；关键字是指电脑语言里事先定义的，有特别意义的标识符，有时又叫保留字。函数是指一段可以直接被另一段程序或另一段代码引用的程序或代码，也叫做子程序。元数据，又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。库是指数据库，数据库是存放数据的仓库。表是数据库中用来存储数据的对象，是有结构的数据的集合，是数据库的基本元素。字段代表一个成员，它表示与对象或类关联的变量。在数据库中，一般情况下，表的列称为字段，每个字段匹配某一专题的信息。例如，通讯录数据库中姓名、联系电话这些都是表中所有行共有的属性，所以把这些列称为姓名字段和联系电话字段。
126.其中，flink是一个高效的基于内存计算的分布式日志数据存储平台，是apache的顶级项目之一。它的核心是一个流式数据流引擎(streaming dataflow engine)，提供了数据流的分布式数据分布、通信和容错功能，具有高效、可靠、可扩展等特性，并且与hadoop生态系统有着很好的兼容性。flink使用dataset来描述并行计算的数据集，并对相应的数据集提供了丰富的诸如map、reduce、join、group之类日志数据存储接口。
127.本实施例的flink采用了流式日志数据存储，大大加快了日志数据存储的效率，容错性也很高，能够满足实时数据计算的场景。
128.在一实施例中，为进一步保证日志数据的私密和安全性，日志数据还可以存储于一区块链的节点中。该区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链＝，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以
及应用服务层等。
129.如上所述，可以理解地，本技术中提出的所述日志数据查询装置的各组成部分可以实现如上所述日志数据查询方法任一项的功能，具体结构不再赘述。
130.参照图3，本技术实施例中还提供一种计算机设备，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质、内存储器。该存储介质存储有操作系统、计算机程序和数据库。该内存器为存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储所述日志数据查询方法的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志数据查询方法。
131.上述处理器执行上述的日志数据查询方法，包括：
132.接收来自不同数据源的日志数据；
133.对所述日志数据进行预处理，得到目标日志数据；
134.对所述目标日志数据进行统计分析，得到统计数据；
135.按照数据类型对所述统计数据进行分类；
136.将不同数据类型的统计数据存储至不同搜索引擎的数据仓库中，并获取每个所述搜索引擎原有的查询策略；
137.依据相应的数据类型对每个所述搜索引擎的所述查询策略进行调整，得到每个所述搜索引擎的目标查询策略；
138.将每个所述搜索引擎的目标查询策略配置至相应的所述搜索引擎中；
139.接收用户的数据查询请求，根据所述数据查询请求确定目标搜索引擎，依照所述目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据；
140.将所述目标数据发送给所述用户。
141.本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种日志数据查询方法，包括步骤：
142.接收来自不同数据源的日志数据；
143.对所述日志数据进行预处理，得到目标日志数据；
144.对所述目标日志数据进行统计分析，得到统计数据；
145.按照数据类型对所述统计数据进行分类；
146.将不同数据类型的统计数据存储至不同搜索引擎的数据仓库中，并获取每个所述搜索引擎原有的查询策略；
147.依据相应的数据类型对每个所述搜索引擎的所述查询策略进行调整，得到每个所述搜索引擎的目标查询策略；
148.将每个所述搜索引擎的目标查询策略配置至相应的所述搜索引擎中；
149.接收用户的数据查询请求，根据所述数据查询请求确定目标搜索引擎，依照所述目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据；
150.将所述目标数据发送给所述用户。
151.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读取存
储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
152.综上所述，本技术的最大有益效果在于：
153.本技术所提供的一种日志数据查询方法、装置、计算机设备及存储介质，接收来自不同数据源的日志数据，对日志数据进行预处理，得到目标日志数据，对目标日志数据进行统计分析，得到统计数据；按照数据类型对统计数据进行分类，将不同数据类型的统计数据存储至不同搜索引擎的数据仓库中，并获取每个搜索引擎原有的查询策略，依据相应的数据类型对每个搜索引擎的查询策略进行调整，得到每个搜索引擎的目标查询策略，将每个搜索引擎的目标查询策略配置至相应的搜索引擎中，接收用户的数据查询请求，根据数据查询请求确定目标搜索引擎，依照目标搜索引擎的目标查询策略查询得到统计数据，得到目标数据，将目标数据发送给用户，从而通过将不同数据类型的统计数据存储至不同的搜索引擎中，并依据相应的数据类型对查询策略进行调整得到目标查询策略，将目标查询策略配置至搜索引擎中，以在需要查询统计数据时，无需遍历所有搜索引擎的数据仓库，以便用户快速搜索到不同数据类型的统计数据，提高数据的查询效率。
154.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
155.以上所述仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。