1.本技术涉及数据处理
技术领域：
：，尤其涉及一种数据库分析方法、装置、电子设备及存储介质。
背景技术：
：：2.数据库日志是数据库底层存储的一种基本文件类型。分析数据库日志是诊断数据库问题，分析数据性能最常见的一种方式。在大型分布式系统环境下，由于系统数据量极其庞大，需要使用数量多达几百甚至上千台物理机器，来组成一个分布式数据库集群来为上层系统提供数据库服务。3.对于这个大型的分布式数据库集群而言，数据库产生的日志被分散在成百上千台不同的物理机器上，使得传统的数据库日志分析方案无法高效进行。技术实现要素：4.本技术实施例提供一种数据库分析方法、装置、电子设备及存储介质，用于根据不同的分析需求高效完成分布式集群内各数据库的日志分析。5.第一方面，本技术实施例提供一种数据库分析方法，所述方法包括：6.获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；7.从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；8.基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；9.根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。10.在一些可能的实施例中，所述从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点，包括：11.确定所述数据库分析需求对应的数据库表；12.根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。13.在一些可能的实施例中，所述基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果，包括：14.将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；15.接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。16.在一些可能的实施例中，将多个节点需求发送给各自对应的目标数据库节点，还包括：17.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；18.将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。19.在一些可能的实施例中，将多个节点需求发送给各自对应的目标数据库节点，以及将各干扰数据发送给各自对应的目标数据库节点，包括：20.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；21.将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。22.在一些可能的实施例中，所述将所述数据库分析需求拆分成多个节点需求，包括：23.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；24.根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。25.在一些可能的实施例中，所述根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果，包括：26.对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。27.在一些可能的实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：28.集群标识；29.数据库节点ip地址；30.数据库用户；31.数据库日志存储地址；32.数据库的元数据信息。33.第二方面，本技术提供一种数据分析系统，包括客户端、位于分布式数据库集群中的多个数据库节点，其中：34.所述多个数据库节点，被配置为对各自的数据库日志进行分析，得到各个节点分析结果；35.所述客户端，被配置为获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。36.第三方面，本技术提供一种数据库分析装置，所述装置包括：37.获取需求单元，用于获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；38.筛选节点单元，用于从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；39.节点分析单元，用于基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；40.综合分析单元，用于根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。41.在一些可能的实施例中，所述筛选节点单元具体用于：42.确定所述数据库分析需求对应的数据库表；43.根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。44.在一些可能的实施例中，所述节点分析单元具体用于：45.将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；46.接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。47.在一些可能的实施例中，所述节点分析单元具体还用于：48.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；49.将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。50.在一些可能的实施例中，所述节点分析单元具体用于：51.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；52.将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。53.在一些可能的实施例中，所述节点分析单元具体用于：54.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；55.根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。56.在一些可能的实施例中，所述综合分析单元具体用于：57.对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。58.在一些可能的实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：59.集群标识；60.数据库节点ip地址；61.数据库用户；62.数据库日志存储地址；63.数据库的元数据信息。64.第四方面，本技术提供一种电子设备，包括：65.存储器，用于存储程序指令；66.处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中任一项所述的方法包括的步骤。67.第五方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面中任一项所述的方法。68.第六方面，本技术提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行第一方面中任一项所述的方法。69.本技术实施例提供的方法至少具有如下有益效果：70.本技术实施例中，根据不同的数据库分析需求，对分布式数据库集群的各数据库节点进行筛选，得到与数据库分析需求对应的目标数据库节点，利用各个目标数据库节点先对各自的数据库日志进行分析后，再根据各个节点分析结果确定最终的分析结果，适用于大型分布式数据库系统中数据库节点特别多的情况下，灵活高效的完成数据库日志分析需求。71.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明72.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。73.图1为本技术实施例提供的一种数据库分析方法实施流程图；74.图2为本技术实施例提供的一种数据库日志分析方法的实施流程图；75.图3为本技术实施例提供的一种数据库分析系统示意图；76.图4为本技术实施例提供的一种数据库日志分析系统的交互流程图；77.图5为本技术实施例提供的一种数据分析系统架构示意图；78.图6为本技术实施例提供的一种数据库分析装置示意图；79.图7为本技术实施例提供的一种电子设备示意图。具体实施方式80.为使本技术的目的、技术方案和优点更加清楚明白，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以按不同于此处的顺序执行所示出或描述的步骤。81.本技术的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本技术实施例不做限制。82.本技术技术方案中，对数据的采集、传播、使用等，均符合国家相关法律法规要求。83.本发明实施例中术语“分布式系统(distributedsystem)”，是指建立在网络之上的软件系统，基于软件的特性，分布式系统具有高度的内聚性和透明性。网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统)，而不是硬件。84.本发明实施例中术语“分布式数据库集群”，通常是指由多台数据库物理机节点所构成的一个逻辑数据库集群。85.本发明实施例中术语“数据库日志”，是数据库存储底层文件的一种，常用于数据库问题诊断、数据库性能分析。86.在介绍本技术实施例所提供的数据库分析方法之前，为了便于理解，首先对下面对本技术实施例的技术背景进行详细介绍。87.数据库日志是数据库底层存储的一种基本文件类型。分析数据库日志是诊断数据库问题，分析数据性能最常见的一种方式。在大型分布式系统环境下，由于系统数据量极其庞大，需要使用数量多达几百甚至上千台物理机器，来组成一个分布式数据库集群来为上层系统提供数据库服务。对于这个大型的分布式数据库集群而言，数据库产生的日志被分散在成百上千台不同的物理机器上，使得传统的数据库日志分析方案无法高效进行。88.数据库日志通常以时间顺序写入文件，当时间跨度比较长时，要分析的日志文件多，内容重复度较高。目前可以利用perconatoolkit工具集中的工具pt-query-digest进行数据库日志分析，pt-query-digest是一个分析mysql(关系型数据库管理系统)慢查询的工具，它可以分析binlog、generallog、slowlog，可以指定时间范围，并对各种查询进行分组统计，得出各查询的执行次数、时间、占比等，可以借助分析结果找出问题，优化数据库。但是pt-query-digest只能用于小型的单机环境的数据库系统。而大型分布式数据库系统机器多，日志数据分散，数据库表在集群环境下，被水平拆分到多台机器进行存储。没有灵活高效数据库定位、分析手段。即使逐个机器进行分析，数据分析结果也相对分散，不利于清楚的诊断数据库问题。目前并没有应用于大型分布式多数据库的集群内数据库系统的日志分析方案。89.有鉴于此，本技术实施例提供一种数据库分析方法，应用于大型分布式多数据库的集群，本技术提供的数据库分析方法，根据不同的数据库分析需求，对分布式数据库集群的各数据库节点进行筛选，得到与数据库分析需求对应的目标数据库节点，利用各个目标数据库节点先对各自的数据库日志进行分析后，再根据各个节点分析结果确定最终的分析结果，能够适用于大型分布式数据库系统中数据库节点特别多的情况下，灵活高效的完成数据库日志分析需求。90.本实施例提供的一种数据库分析方法，可以由终端执行，例如由客户端执行。91.下面结合附图以及具体实施方式对本技术实施例的数据库分析方法进行介绍。92.参照图1所示，本技术实施例提供的一种数据库分析方法，具体包括以下步骤：93.步骤100、获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；94.实施中，数据库分析需求中可以携带数据库表的名称、标识等信息，还可以携带分析的具体内容，例如数据库分析需求包括某交易的sql(structuredquerylanguage，结构化查询语言)语句执行响应时间是否正常。95.可选的，所述数据库分析需求是接收用户输入的数据库分析需求。96.步骤101、从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；97.在一些实施例中，获取数据库分析需求之后，根据该数据库分析需求对分布式数据库集群的各数据库节点进行筛选，具体筛选步骤如下所示：98.步骤a)确定所述数据库分析需求对应的数据库表；99.实施中，接收到数据库分析需求，先确定该数据库分析需求是对哪个数据库表进行数据库日志分析，即确定出待分析的数据库表；100.步骤b)根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。101.实施中，确定出待分析的数据库表后，读取预先配置的所述分布式数据库集群中各数据库节点的信息，确定该数据库表所需要的数据库日志在分布式数据库集群的位置以及数据库的元数据信息。其中数据库日志在分布式数据库集群的位置可以理解为数据库节点ip地址、数据库节点中的数据库日志存储地址等信息。102.需要说明的是，本实施例中的数据库节点具体可以是数据库服务器。103.可选的，预先配置集群配置文件，所述集群配置文件包括所述分布式数据库集群中各数据库节点的信息。当接收到数据库分析需求时，读取集群配置文件，确定数据库分析需求对应的各目标数据库节点以及各目标数据库的元数据信息。104.在一些是实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：105.集群标识；数据库节点ip地址；数据库用户；数据库日志存储地址；数据库的元数据信息。106.具体实施中，接收用户输入的数据库分析需求，根据预先配置的所述分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求所需要分析的数据库表在分布式数据库集群中的哪些数据库节点中，以此确定与数据库表对应的各个目标数据库节点。107.在一些实施例中，还可以预先确定出各目标数据库节点的干扰数据，以用于后续分析中滤除干扰数据，提高数据库日志分析的效率和准确率，具体实施步骤如下：108.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据。109.例如，根据预先配置的分布式数据库集群中各数据库节点的信息，已知数据库表table_a上存在某长期运行且时间消耗较大的正常sql语句，容易对日志分析产生干扰，因此将该正常sql语句作为各目标数据库节点对应的干扰数据。110.可选的，确定各目标数据库节点对应的干扰数据后，通知各目标数据库节点，以使各目标数据库节点在进行各自的数据库日志分析时，滤除干扰数据，获取更加准确地分析结果。111.步骤102、基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；112.在一些实施例中，通过如下流程对得到各个节点分析结果：113.流程1)将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；114.在一些实施例中，通过如下步骤将所述数据库分析需求拆分成多个节点需求：115.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。116.实施中，每个目标数据库节点都对应一个节点需求，将各节点需求发送给各自对应的目标数据库节点，以使各个目标数据库节点根据接收的节点需求对数据库日志进行初步分析，得到各个节点分析结果。117.可选的，不同的目标数据库节点的节点需求可以是相同的，也可以是不同的，具体根据各数据库节点的信息以及数据库分析需求确定，本实施例对此不作过多限定。118.在一些实施例中，本实施例还可以将干扰数据也发送给各目标数据库节点，具体步骤如下：119.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。120.在一些实施例中，将多个节点需求发送给各自对应的目标数据库节点，以及将各干扰数据发送给各自对应的目标数据库节点时，具体步骤如下所示：121.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。122.实施中，各目标数据库节点接收到程序脚本后，将各自的数据库日志滤除干扰数据后，基于节点需求对滤除干扰数据后的数据库日志进行初步分析，得到节点分析结果。123.流程2)接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。124.步骤103、根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。125.在一些实施例中，对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。126.实施中，根据分析结果确定各目标数据库节点是否异常，例如包括如下任一分析结果：127.分析结果1)分析结果中，目标数据库节点2上的table_a的sql语句执行时间，明显大于其他目标数据库节点。因此，确定目标数据库节点2异常，进一步分析后，显示目标数据库节点2上相关的cpu、内存、io、网络等核心数据。128.分析结果2)分析结果中，各目标数据库节点传回的数据库日志的节点分析结果相近，确定各目标数据库节点无异常。可以对各个节点分析结果进行合并、汇总以及统计，还可以对一些指标进行重新计算，包含sql执行总次数，sql语句在磁盘io、锁等各个指标上的平均时间消耗。129.本技术实施例根据数据分析需求高效定位所需分析的日志数据在分布式数据库集群中的存储位置，加工并选出相应数据。并将分散在多个数据节点上的分析数据，以逻辑上统一的试图提供分析结果。130.如图2所示，本技术实施例提供一种数据库日志分析方法的实施流程，应用于分布式数据库集群，具体实施流程如下所示：131.步骤200、预先配置集群配置文件，其中集群配置文件包括分布式数据库集群中各数据库节点的信息；132.其中，所述各数据库节点的信息包括但不限于如下任一或任多种：133.集群标识；数据库节点ip地址；数据库用户；数据库日志存储地址；数据库的元数据信息。134.步骤201、获取数据库分析需求，其中数据库分析需求表征对分布式数据库集群中数据库表的分析需求；135.步骤202、确定所述数据库分析需求对应的数据库表；136.步骤203、根据集群配置文件，从各数据库节点中筛选出与所述数据库表对应的各目标数据库节点，以及各目标数据库节点中数据库的元数据信息；137.步骤204、根据集群配置文件，确定所述数据库分析需求中与所述各目标数据库节点对应的需求，根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求；138.其中节点需求和目标数据库节点是一一对应的。139.步骤205、根据集群配置文件，确定各目标数据库节点对应的干扰数据；140.其中，所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；141.步骤206、根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；142.步骤207、将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。143.步骤208、接收所述各目标数据库节点发送的节点分析结果；144.步骤209、对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。145.本技术能够基于配置的集群配置信息，识别数据库表的存储策略或分库分表方案，可以在大型分布式数据库系统数据库节点特别多的环境下，灵活高效的完成数据库日志分析需求。在多数据库节点日志分析的场景下，可以根据应用视角，将零散分布的日志数据，以统一视图的方式提供分析结果。146.基于同一发明构思，本技术实施例提供一种数据库分析系统，请参照图3，该系统包括：客户端300、位于分布式数据库集群中的多个数据库节点301，其中：147.所述多个数据库节点301，被配置为对各自的数据库日志进行分析，得到各个节点分析结果；148.所述客户端300，被配置为执行如下步骤：149.获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；150.从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；151.基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；152.根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。153.在一种可能的实施例中，所述客户端300具体被配置为执行：154.确定所述数据库分析需求对应的数据库表；155.根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。156.在一种可能的实施例中，所述客户端300具体被配置为执行：157.将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；158.接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。159.在一种可能的实施例中，将多个节点需求发送给各自对应的目标数据库节点，所述客户端300具体还被配置为执行：160.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；161.将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。162.在一种可能的实施例中，所述客户端300具体被配置为执行：163.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；164.将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。165.在一种可能的实施例中，所述客户端300具体被配置为执行：166.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；167.根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。168.在一种可能的实施例中，所述客户端300具体被配置为执行：169.对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。170.在一种可能的实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：171.集群标识；数据库节点ip地址；数据库用户；数据库日志存储地址；数据库的元数据信息。172.如图4所示，本技术实施例还提供一种数据库日志分析系统的交互流程，该数据库日志分析系统包括客户端和多个数据库节点；可以应用于分布式数据库集群，具体交互流程如下所示：173.步骤400、客户端预先配置集群配置文件；174.其中集群配置文件包括分布式数据库集群中各数据库节点的信息。175.步骤401、客户端接收用户输入的数据库分析需求；176.其中数据库分析需求表征对分布式数据库集群中数据库表的分析需求。177.步骤402、客户端确定数据库分析需求对应的数据库表；178.步骤403、客户端根据集群配置文件，从各数据库节点中筛选出与所述数据库表对应的各目标数据库节点，以及各目标数据库节点中数据库的元数据信息；179.步骤404、客户端根据集群配置文件，确定所述数据库分析需求中与所述各目标数据库节点对应的需求，根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求；180.步骤405、客户端根据集群配置文件，确定各目标数据库节点对应的干扰数据；181.步骤406、根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；182.步骤407、客户端将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。183.步骤408、各目标数据库节点根据程序脚本对各自的数据库日志进行分析，得到对应的节点分析结果；184.步骤409、各目标数据库节点将各自的节点分析结果发送给客户端；185.步骤410、客户端对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。186.如图5所示，本技术实施例还提供一种数据分析系统架构示意图，其中，客户端预先配置集群配置文件，接收用于输入的数据库分析需求，并根据集群配置文件将数据库分析需求拆分成多个节点需求，发送给对应的目标数据库节点，即将各节点需求发送给对应的数据库节点a、数据库节点n，数据库节点k，各目标数据库节点基于节点需求对自身的数据库日志进行初步分析，得到各自对应的节点分析结果，将各节点分析结果发送给客户端，由客户端再次进行分析后，得到最终的分析结果。187.基于同一发明构思，本技术实施例提供一种数据库分析装置，请参照图6，该装置包括：188.获取需求单元600，用于获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；189.筛选节点单元601，用于从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；190.节点分析单元602，用于基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；191.综合分析单元603，用于根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。192.在一些可能的实施例中，所述筛选节点单元601具体用于：193.确定所述数据库分析需求对应的数据库表；194.根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。195.在一些可能的实施例中，所述节点分析单元602具体用于：196.将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；197.接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。198.在一些可能的实施例中，所述节点分析单元602具体还用于：199.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；200.将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。201.在一些可能的实施例中，所述节点分析单元602具体用于：202.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；203.将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。204.在一些可能的实施例中，所述节点分析单元602具体用于：205.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；206.根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。207.在一些可能的实施例中，所述综合分析单元603具体用于：208.对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。209.在一些可能的实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：210.集群标识；211.数据库节点ip地址；212.数据库用户；213.数据库日志存储地址；214.数据库的元数据信息。215.基于同一发明构思，本技术实施例提供一种电子设备，该设备可以实现前文论述的数据库分析装置的功能，请参照图7，该设备包括处理器701和存储器702，存储器702用于存储程序指令；处理器701用于调用存储器702中存储的程序指令，按照获得的程序指令执行上述实施例中的任一数据库分析方法包括的步骤。216.本技术实施例中不限定上述存储器702和处理器701之间的具体连接介质。例如，存储器702和处理器701之间通过总线连接，总线可以分为地址总线、数据总线、控制总线等。217.存储器702可以包括只读存储器(read-onlymemory，rom)和随机存取存储器(randomaccessmemory，ram)，还可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。218.上述处理器701可以是通用处理器，包括中央处理器、网络处理器(networkprocessor，np)等；还可以是数字指令处理器(digitalsignalprocessing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。219.基于同一发明构思，本技术实施例提供一种计算机可读存储介质，计算机程序产品包括：计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如前文论述任一的数据库分析方法。由于上述计算机可读存储介质解决问题的原理与数据库分析方法相似，因此上述计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。220.在具体的实施过程中，计算机存储介质可以包括：通用串行总线闪存盘(usb，universalserialbusflashdrive)、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的存储介质。221.基于同一发明构思，本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行如前文论述任一的数据库分析方法。由于上述计算机程序产品解决问题的原理与数据库分析方法相似，因此上述计算机程序产品的实施可以参见方法的实施，重复之处不再赘述。222.计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。223.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。224.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。225.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。226.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列用户操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。227.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。当前第1页12当前第1页12
技术领域：
：，尤其涉及一种数据库分析方法、装置、电子设备及存储介质。
背景技术：
：：2.数据库日志是数据库底层存储的一种基本文件类型。分析数据库日志是诊断数据库问题，分析数据性能最常见的一种方式。在大型分布式系统环境下，由于系统数据量极其庞大，需要使用数量多达几百甚至上千台物理机器，来组成一个分布式数据库集群来为上层系统提供数据库服务。3.对于这个大型的分布式数据库集群而言，数据库产生的日志被分散在成百上千台不同的物理机器上，使得传统的数据库日志分析方案无法高效进行。技术实现要素：4.本技术实施例提供一种数据库分析方法、装置、电子设备及存储介质，用于根据不同的分析需求高效完成分布式集群内各数据库的日志分析。5.第一方面，本技术实施例提供一种数据库分析方法，所述方法包括：6.获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；7.从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；8.基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；9.根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。10.在一些可能的实施例中，所述从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点，包括：11.确定所述数据库分析需求对应的数据库表；12.根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。13.在一些可能的实施例中，所述基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果，包括：14.将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；15.接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。16.在一些可能的实施例中，将多个节点需求发送给各自对应的目标数据库节点，还包括：17.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；18.将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。19.在一些可能的实施例中，将多个节点需求发送给各自对应的目标数据库节点，以及将各干扰数据发送给各自对应的目标数据库节点，包括：20.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；21.将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。22.在一些可能的实施例中，所述将所述数据库分析需求拆分成多个节点需求，包括：23.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；24.根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。25.在一些可能的实施例中，所述根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果，包括：26.对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。27.在一些可能的实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：28.集群标识；29.数据库节点ip地址；30.数据库用户；31.数据库日志存储地址；32.数据库的元数据信息。33.第二方面，本技术提供一种数据分析系统，包括客户端、位于分布式数据库集群中的多个数据库节点，其中：34.所述多个数据库节点，被配置为对各自的数据库日志进行分析，得到各个节点分析结果；35.所述客户端，被配置为获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。36.第三方面，本技术提供一种数据库分析装置，所述装置包括：37.获取需求单元，用于获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；38.筛选节点单元，用于从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；39.节点分析单元，用于基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；40.综合分析单元，用于根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。41.在一些可能的实施例中，所述筛选节点单元具体用于：42.确定所述数据库分析需求对应的数据库表；43.根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。44.在一些可能的实施例中，所述节点分析单元具体用于：45.将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；46.接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。47.在一些可能的实施例中，所述节点分析单元具体还用于：48.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；49.将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。50.在一些可能的实施例中，所述节点分析单元具体用于：51.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；52.将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。53.在一些可能的实施例中，所述节点分析单元具体用于：54.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；55.根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。56.在一些可能的实施例中，所述综合分析单元具体用于：57.对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。58.在一些可能的实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：59.集群标识；60.数据库节点ip地址；61.数据库用户；62.数据库日志存储地址；63.数据库的元数据信息。64.第四方面，本技术提供一种电子设备，包括：65.存储器，用于存储程序指令；66.处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中任一项所述的方法包括的步骤。67.第五方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面中任一项所述的方法。68.第六方面，本技术提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行第一方面中任一项所述的方法。69.本技术实施例提供的方法至少具有如下有益效果：70.本技术实施例中，根据不同的数据库分析需求，对分布式数据库集群的各数据库节点进行筛选，得到与数据库分析需求对应的目标数据库节点，利用各个目标数据库节点先对各自的数据库日志进行分析后，再根据各个节点分析结果确定最终的分析结果，适用于大型分布式数据库系统中数据库节点特别多的情况下，灵活高效的完成数据库日志分析需求。71.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明72.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。73.图1为本技术实施例提供的一种数据库分析方法实施流程图；74.图2为本技术实施例提供的一种数据库日志分析方法的实施流程图；75.图3为本技术实施例提供的一种数据库分析系统示意图；76.图4为本技术实施例提供的一种数据库日志分析系统的交互流程图；77.图5为本技术实施例提供的一种数据分析系统架构示意图；78.图6为本技术实施例提供的一种数据库分析装置示意图；79.图7为本技术实施例提供的一种电子设备示意图。具体实施方式80.为使本技术的目的、技术方案和优点更加清楚明白，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以按不同于此处的顺序执行所示出或描述的步骤。81.本技术的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本技术实施例不做限制。82.本技术技术方案中，对数据的采集、传播、使用等，均符合国家相关法律法规要求。83.本发明实施例中术语“分布式系统(distributedsystem)”，是指建立在网络之上的软件系统，基于软件的特性，分布式系统具有高度的内聚性和透明性。网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统)，而不是硬件。84.本发明实施例中术语“分布式数据库集群”，通常是指由多台数据库物理机节点所构成的一个逻辑数据库集群。85.本发明实施例中术语“数据库日志”，是数据库存储底层文件的一种，常用于数据库问题诊断、数据库性能分析。86.在介绍本技术实施例所提供的数据库分析方法之前，为了便于理解，首先对下面对本技术实施例的技术背景进行详细介绍。87.数据库日志是数据库底层存储的一种基本文件类型。分析数据库日志是诊断数据库问题，分析数据性能最常见的一种方式。在大型分布式系统环境下，由于系统数据量极其庞大，需要使用数量多达几百甚至上千台物理机器，来组成一个分布式数据库集群来为上层系统提供数据库服务。对于这个大型的分布式数据库集群而言，数据库产生的日志被分散在成百上千台不同的物理机器上，使得传统的数据库日志分析方案无法高效进行。88.数据库日志通常以时间顺序写入文件，当时间跨度比较长时，要分析的日志文件多，内容重复度较高。目前可以利用perconatoolkit工具集中的工具pt-query-digest进行数据库日志分析，pt-query-digest是一个分析mysql(关系型数据库管理系统)慢查询的工具，它可以分析binlog、generallog、slowlog，可以指定时间范围，并对各种查询进行分组统计，得出各查询的执行次数、时间、占比等，可以借助分析结果找出问题，优化数据库。但是pt-query-digest只能用于小型的单机环境的数据库系统。而大型分布式数据库系统机器多，日志数据分散，数据库表在集群环境下，被水平拆分到多台机器进行存储。没有灵活高效数据库定位、分析手段。即使逐个机器进行分析，数据分析结果也相对分散，不利于清楚的诊断数据库问题。目前并没有应用于大型分布式多数据库的集群内数据库系统的日志分析方案。89.有鉴于此，本技术实施例提供一种数据库分析方法，应用于大型分布式多数据库的集群，本技术提供的数据库分析方法，根据不同的数据库分析需求，对分布式数据库集群的各数据库节点进行筛选，得到与数据库分析需求对应的目标数据库节点，利用各个目标数据库节点先对各自的数据库日志进行分析后，再根据各个节点分析结果确定最终的分析结果，能够适用于大型分布式数据库系统中数据库节点特别多的情况下，灵活高效的完成数据库日志分析需求。90.本实施例提供的一种数据库分析方法，可以由终端执行，例如由客户端执行。91.下面结合附图以及具体实施方式对本技术实施例的数据库分析方法进行介绍。92.参照图1所示，本技术实施例提供的一种数据库分析方法，具体包括以下步骤：93.步骤100、获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；94.实施中，数据库分析需求中可以携带数据库表的名称、标识等信息，还可以携带分析的具体内容，例如数据库分析需求包括某交易的sql(structuredquerylanguage，结构化查询语言)语句执行响应时间是否正常。95.可选的，所述数据库分析需求是接收用户输入的数据库分析需求。96.步骤101、从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；97.在一些实施例中，获取数据库分析需求之后，根据该数据库分析需求对分布式数据库集群的各数据库节点进行筛选，具体筛选步骤如下所示：98.步骤a)确定所述数据库分析需求对应的数据库表；99.实施中，接收到数据库分析需求，先确定该数据库分析需求是对哪个数据库表进行数据库日志分析，即确定出待分析的数据库表；100.步骤b)根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。101.实施中，确定出待分析的数据库表后，读取预先配置的所述分布式数据库集群中各数据库节点的信息，确定该数据库表所需要的数据库日志在分布式数据库集群的位置以及数据库的元数据信息。其中数据库日志在分布式数据库集群的位置可以理解为数据库节点ip地址、数据库节点中的数据库日志存储地址等信息。102.需要说明的是，本实施例中的数据库节点具体可以是数据库服务器。103.可选的，预先配置集群配置文件，所述集群配置文件包括所述分布式数据库集群中各数据库节点的信息。当接收到数据库分析需求时，读取集群配置文件，确定数据库分析需求对应的各目标数据库节点以及各目标数据库的元数据信息。104.在一些是实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：105.集群标识；数据库节点ip地址；数据库用户；数据库日志存储地址；数据库的元数据信息。106.具体实施中，接收用户输入的数据库分析需求，根据预先配置的所述分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求所需要分析的数据库表在分布式数据库集群中的哪些数据库节点中，以此确定与数据库表对应的各个目标数据库节点。107.在一些实施例中，还可以预先确定出各目标数据库节点的干扰数据，以用于后续分析中滤除干扰数据，提高数据库日志分析的效率和准确率，具体实施步骤如下：108.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据。109.例如，根据预先配置的分布式数据库集群中各数据库节点的信息，已知数据库表table_a上存在某长期运行且时间消耗较大的正常sql语句，容易对日志分析产生干扰，因此将该正常sql语句作为各目标数据库节点对应的干扰数据。110.可选的，确定各目标数据库节点对应的干扰数据后，通知各目标数据库节点，以使各目标数据库节点在进行各自的数据库日志分析时，滤除干扰数据，获取更加准确地分析结果。111.步骤102、基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；112.在一些实施例中，通过如下流程对得到各个节点分析结果：113.流程1)将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；114.在一些实施例中，通过如下步骤将所述数据库分析需求拆分成多个节点需求：115.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。116.实施中，每个目标数据库节点都对应一个节点需求，将各节点需求发送给各自对应的目标数据库节点，以使各个目标数据库节点根据接收的节点需求对数据库日志进行初步分析，得到各个节点分析结果。117.可选的，不同的目标数据库节点的节点需求可以是相同的，也可以是不同的，具体根据各数据库节点的信息以及数据库分析需求确定，本实施例对此不作过多限定。118.在一些实施例中，本实施例还可以将干扰数据也发送给各目标数据库节点，具体步骤如下：119.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。120.在一些实施例中，将多个节点需求发送给各自对应的目标数据库节点，以及将各干扰数据发送给各自对应的目标数据库节点时，具体步骤如下所示：121.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。122.实施中，各目标数据库节点接收到程序脚本后，将各自的数据库日志滤除干扰数据后，基于节点需求对滤除干扰数据后的数据库日志进行初步分析，得到节点分析结果。123.流程2)接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。124.步骤103、根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。125.在一些实施例中，对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。126.实施中，根据分析结果确定各目标数据库节点是否异常，例如包括如下任一分析结果：127.分析结果1)分析结果中，目标数据库节点2上的table_a的sql语句执行时间，明显大于其他目标数据库节点。因此，确定目标数据库节点2异常，进一步分析后，显示目标数据库节点2上相关的cpu、内存、io、网络等核心数据。128.分析结果2)分析结果中，各目标数据库节点传回的数据库日志的节点分析结果相近，确定各目标数据库节点无异常。可以对各个节点分析结果进行合并、汇总以及统计，还可以对一些指标进行重新计算，包含sql执行总次数，sql语句在磁盘io、锁等各个指标上的平均时间消耗。129.本技术实施例根据数据分析需求高效定位所需分析的日志数据在分布式数据库集群中的存储位置，加工并选出相应数据。并将分散在多个数据节点上的分析数据，以逻辑上统一的试图提供分析结果。130.如图2所示，本技术实施例提供一种数据库日志分析方法的实施流程，应用于分布式数据库集群，具体实施流程如下所示：131.步骤200、预先配置集群配置文件，其中集群配置文件包括分布式数据库集群中各数据库节点的信息；132.其中，所述各数据库节点的信息包括但不限于如下任一或任多种：133.集群标识；数据库节点ip地址；数据库用户；数据库日志存储地址；数据库的元数据信息。134.步骤201、获取数据库分析需求，其中数据库分析需求表征对分布式数据库集群中数据库表的分析需求；135.步骤202、确定所述数据库分析需求对应的数据库表；136.步骤203、根据集群配置文件，从各数据库节点中筛选出与所述数据库表对应的各目标数据库节点，以及各目标数据库节点中数据库的元数据信息；137.步骤204、根据集群配置文件，确定所述数据库分析需求中与所述各目标数据库节点对应的需求，根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求；138.其中节点需求和目标数据库节点是一一对应的。139.步骤205、根据集群配置文件，确定各目标数据库节点对应的干扰数据；140.其中，所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；141.步骤206、根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；142.步骤207、将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。143.步骤208、接收所述各目标数据库节点发送的节点分析结果；144.步骤209、对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。145.本技术能够基于配置的集群配置信息，识别数据库表的存储策略或分库分表方案，可以在大型分布式数据库系统数据库节点特别多的环境下，灵活高效的完成数据库日志分析需求。在多数据库节点日志分析的场景下，可以根据应用视角，将零散分布的日志数据，以统一视图的方式提供分析结果。146.基于同一发明构思，本技术实施例提供一种数据库分析系统，请参照图3，该系统包括：客户端300、位于分布式数据库集群中的多个数据库节点301，其中：147.所述多个数据库节点301，被配置为对各自的数据库日志进行分析，得到各个节点分析结果；148.所述客户端300，被配置为执行如下步骤：149.获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；150.从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；151.基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；152.根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。153.在一种可能的实施例中，所述客户端300具体被配置为执行：154.确定所述数据库分析需求对应的数据库表；155.根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。156.在一种可能的实施例中，所述客户端300具体被配置为执行：157.将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；158.接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。159.在一种可能的实施例中，将多个节点需求发送给各自对应的目标数据库节点，所述客户端300具体还被配置为执行：160.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；161.将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。162.在一种可能的实施例中，所述客户端300具体被配置为执行：163.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；164.将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。165.在一种可能的实施例中，所述客户端300具体被配置为执行：166.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；167.根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。168.在一种可能的实施例中，所述客户端300具体被配置为执行：169.对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。170.在一种可能的实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：171.集群标识；数据库节点ip地址；数据库用户；数据库日志存储地址；数据库的元数据信息。172.如图4所示，本技术实施例还提供一种数据库日志分析系统的交互流程，该数据库日志分析系统包括客户端和多个数据库节点；可以应用于分布式数据库集群，具体交互流程如下所示：173.步骤400、客户端预先配置集群配置文件；174.其中集群配置文件包括分布式数据库集群中各数据库节点的信息。175.步骤401、客户端接收用户输入的数据库分析需求；176.其中数据库分析需求表征对分布式数据库集群中数据库表的分析需求。177.步骤402、客户端确定数据库分析需求对应的数据库表；178.步骤403、客户端根据集群配置文件，从各数据库节点中筛选出与所述数据库表对应的各目标数据库节点，以及各目标数据库节点中数据库的元数据信息；179.步骤404、客户端根据集群配置文件，确定所述数据库分析需求中与所述各目标数据库节点对应的需求，根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求；180.步骤405、客户端根据集群配置文件，确定各目标数据库节点对应的干扰数据；181.步骤406、根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；182.步骤407、客户端将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。183.步骤408、各目标数据库节点根据程序脚本对各自的数据库日志进行分析，得到对应的节点分析结果；184.步骤409、各目标数据库节点将各自的节点分析结果发送给客户端；185.步骤410、客户端对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。186.如图5所示，本技术实施例还提供一种数据分析系统架构示意图，其中，客户端预先配置集群配置文件，接收用于输入的数据库分析需求，并根据集群配置文件将数据库分析需求拆分成多个节点需求，发送给对应的目标数据库节点，即将各节点需求发送给对应的数据库节点a、数据库节点n，数据库节点k，各目标数据库节点基于节点需求对自身的数据库日志进行初步分析，得到各自对应的节点分析结果，将各节点分析结果发送给客户端，由客户端再次进行分析后，得到最终的分析结果。187.基于同一发明构思，本技术实施例提供一种数据库分析装置，请参照图6，该装置包括：188.获取需求单元600，用于获取数据库分析需求，其中所述数据库分析需求表征对分布式数据库集群中数据库表的分析需求；189.筛选节点单元601，用于从所述分布式数据库集群的各数据库节点中，筛选出与所述数据库分析需求对应的各目标数据库节点；190.节点分析单元602，用于基于所述数据库分析需求，利用各目标数据库节点对各自的数据库日志进行分析，得到各个节点分析结果；191.综合分析单元603，用于根据所述各个节点分析结果，确定所述数据库分析需求对应的分析结果。192.在一些可能的实施例中，所述筛选节点单元601具体用于：193.确定所述数据库分析需求对应的数据库表；194.根据预先配置的所述分布式数据库集群中各数据库节点的信息，从所述各数据库节点中，筛选出与所述数据库表对应的各目标数据库节点。195.在一些可能的实施例中，所述节点分析单元602具体用于：196.将所述数据库分析需求拆分成多个节点需求，将多个节点需求发送给各自对应的目标数据库节点，其中每个节点需求和所述目标数据库节点对应；197.接收所述各目标数据库节点发送的节点分析结果，其中所述各目标数据库节点发送的节点分析结果是，所述各目标数据库节点对各自的数据库日志进行分析得到的。198.在一些可能的实施例中，所述节点分析单元602具体还用于：199.根据预先配置的分布式数据库集群中各数据库节点的信息，确定各目标数据库节点对应的干扰数据，其中所述干扰数据表征对数据库日志进行异常分析时产生干扰的数据；200.将各干扰数据发送给各自对应的目标数据库节点，以使所述目标数据库节点在进行数据库日志分析时滤除干扰数据。201.在一些可能的实施例中，所述节点分析单元602具体用于：202.根据所述各目标数据库节点对应的节点需求和干扰数据，生成各目标数据库节点对应的程序脚本；203.将所述各目标数据库节点对应的程序脚本，发送给各自对应的目标数据库节点。204.在一些可能的实施例中，所述节点分析单元602具体用于：205.根据预先配置的分布式数据库集群中各数据库节点的信息，确定所述数据库分析需求中与所述各目标数据库节点对应的需求；206.根据各目标数据库节点对应的需求，将所述数据库分析需求拆分成多个节点需求。207.在一些可能的实施例中，所述综合分析单元603具体用于：208.对所述各个节点分析结果进行合并、汇总、统计、数据分析中的至少一种操作，确定所述数据库分析需求对应的分析结果。209.在一些可能的实施例中，所述预先配置的分布式数据库集群中各数据库节点的信息包括如下任一或任多种：210.集群标识；211.数据库节点ip地址；212.数据库用户；213.数据库日志存储地址；214.数据库的元数据信息。215.基于同一发明构思，本技术实施例提供一种电子设备，该设备可以实现前文论述的数据库分析装置的功能，请参照图7，该设备包括处理器701和存储器702，存储器702用于存储程序指令；处理器701用于调用存储器702中存储的程序指令，按照获得的程序指令执行上述实施例中的任一数据库分析方法包括的步骤。216.本技术实施例中不限定上述存储器702和处理器701之间的具体连接介质。例如，存储器702和处理器701之间通过总线连接，总线可以分为地址总线、数据总线、控制总线等。217.存储器702可以包括只读存储器(read-onlymemory，rom)和随机存取存储器(randomaccessmemory，ram)，还可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。218.上述处理器701可以是通用处理器，包括中央处理器、网络处理器(networkprocessor，np)等；还可以是数字指令处理器(digitalsignalprocessing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。219.基于同一发明构思，本技术实施例提供一种计算机可读存储介质，计算机程序产品包括：计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如前文论述任一的数据库分析方法。由于上述计算机可读存储介质解决问题的原理与数据库分析方法相似，因此上述计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。220.在具体的实施过程中，计算机存储介质可以包括：通用串行总线闪存盘(usb，universalserialbusflashdrive)、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的存储介质。221.基于同一发明构思，本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行如前文论述任一的数据库分析方法。由于上述计算机程序产品解决问题的原理与数据库分析方法相似，因此上述计算机程序产品的实施可以参见方法的实施，重复之处不再赘述。222.计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。223.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。224.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。225.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。226.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列用户操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。227.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
