1.本技术涉及大数据
技术领域：
：，尤其涉及数据的处理方法及装置。
背景技术：
：：2.随着大数据
技术领域：
：的不断发展，结构化查询语言（structuredquerylanguage，sql）在数据处理中广泛应用。sql是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。3.在通过sql语句进行数据查询的过程中，有时会涉及到需要统计指定数据表中满足查询条件的非重复结果的数量。目前一种常用的用于请求统计指定数据表中满足查询条件的非重复结果的数量的方法如下：通过包含用于请求返回统计数量的函数和使用用于请求返回唯一不同值的关键字的sql语句来实现。例如，在sql语句中包含“count（distinctyfroma）”子句，以请求返回表a中y列不重复的数据的数量，其中，a表示待查询的数据表，y表示待查询的列，“distinct”表示用于请求返回唯一不同值的关键字，“count（）”表示用于请求返回统计数量的函数。4.但是数据库基于上述sql语句来实现统计指定数据表中满足查询条件的非重复结果的数量时，通常会消耗大量的数据库资源，影响数据库响应速度，严重的还会导致使用数据库的所用应用程序的卡顿。5.为了解决上述问题，本
技术领域：
：提出如下方法：即判断sql语句中是否存在用于请求返回统计数量的函数，若不存在，才执行该sql语句，否则对该sql语句进行优化处理，其中，优化处理是指降低该sql语句对数据库响应速度的影响的操作。作为一种示例，优化处理包括不执行该sql语句中用于请求返回统计数量的函数。6.例如，可以判断sql语句中是否包含统计函数“count（）”，若不包含，则正常执行该sql语句，否则对该sql语句进行优化处理，例如，不执行该sql语句中的统计函数“count（）”。7.但是，上述方法会产生如下问题：导致一些必须输出指定数据表中满足查询条件的非重复结果的数量的场景中，数据库不能满足该需求。8.因此，如何同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求，成为亟待解决的技术问题。技术实现要素：9.本技术提供的数据的处理方法及装置，用以同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求。10.第一方面，本技术提供一种数据的处理方法，应用于服务器，包括：获取结构化查询语言sql语句；若所述sql语句中存在统计函数且所述统计函数涉及的数据表不是预设白名单数据表，则对所述sql语句进行优化处理，所述优化处理用于降低所述sql语句的执行对数据库的响应速度的影响；若所述sql语句中存在统计函数且所述统计函数涉及的数据表是预设白名单数据表，则执行所述sql语句。11.该方法中，对存在统计函数且统计函数涉及的数据表不是预设白名单数据表的sql语句进行优化处理，可以减少数据库资源的消耗，降低sql语句的执行对数据库的响应速度的影响，进而提高数据库的响应速度；且优化处理用于降低sql语句的执行对数据库的响应速度的影响，与现有技术相比，可以避免数据库不能满足一些必须输出指定数据表中满足查询条件的非重复结果的数量的需求，进而达到了同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求的效果。12.结合第一方面，在一种可能的实现方式中，所述对所述sql语句进行优化处理，包括：确定所述sql语句中是否存在去重子句，所述去重子句中包括待查询的列名称；若所述sql语句中存在所述去重子句，将所述去重子句替换为分组统计数据子句，所述分组统计数据子句用于对所述待查询的列名称对应的字段进行分组，以返回不重复的所述待查询的列名称对应的字段。13.该实现方式中，在sql语句中存在去重子句的情况下，将sql语句中的去重子句替换为分组统计数据子句，以进行优化，来降低sql语句的执行对数据库的响应速度的影响。14.结合第一方面，在一种可能的实现方式中，所述对所述sql语句进行优化处理，包括：不执行所述sql语句。15.该实现方式中，对sql语句进行优化处理可以是不执行该sql语句，以减少数据库资源的消耗，降低sql语句的执行对数据库的响应速度的影响。16.结合第一方面，在一种可能的实现方式中，所述预设白名单数据表用于指示数据表中的数据量小于或等于预设数据量的数据表。17.该实现方式中，预设白名单数据表中的数据表的数据量小于或等于预设数据量，对数据库响应速度的影响较小，可以直接执行，进而使得数据库资源得到合理利用。18.结合第一方面，在一种可能的实现方式中，所述统计函数涉及的数据表是否为预设白名单数据表，包括：根据所述统计函数涉及的数据表的表名与所述预设白名单数据表，确定所述统计函数涉及的数据表是否位于所述预设白名单数据表，所述预设白名单数据表中包括数据表中的数据量小于或等于预设数据量的数据表的表名；若所述统计函数涉及的数据表的表名在所述预设白名单数据表的表名中，则所述统计函数涉及的数据表位于所述预设白名单数据表。19.该实现方式中，根据统计函数涉及的数据表的表名和预设白名单数据表中的表名来确定统计函数涉及的数据表是否位于预设白名单数据表，确定出的结果准确可靠，便于进行下一步优化处理或者直接执行操作，进而提高数据库的响应速度。20.结合第一方面，在一种可能的实现方式中，所述统计函数涉及的数据表是否为预设白名单数据表，包括：根据所述统计函数涉及的数据表的表名与预设黑名单数据表，确定所述统计函数涉及的数据表是否位于所述预设白名单数据表，所述预设黑名单数据表中包括数据表中的数据量大于或等于预设数据量的数据表的表名；若所述统计函数涉及的数据表的表名不在所述预设黑名单数据表的表名中，则所述统计函数涉及的数据表位于所述预设白名单数据表。21.该实现方式中，根据统计函数涉及的数据表的表名和预设黑名单数据表中的表名来确定统计函数涉及的数据表是否位于预设白名单数据表，确定出的结果准确可靠，便于进行下一步优化处理或者直接执行操作，进而提高数据库的响应速度。22.第二方面，本技术提供一种数据的处理装置。该处理装置可以包括用于实现第一方面或其中任意一种可能的实现方式中的方法的各个功能模块。该处理装置的技术效果可以参考其对应的方法所带来的技术效果，此处不在赘述。23.该处理装置可以包括：获取模块，用于获取结构化查询语言sql语句；处理模块，用于若所述sql语句中存在统计函数且所述统计函数涉及的数据表不是预设白名单数据表，则对所述sql语句进行优化处理，所述优化处理用于降低所述sql语句的执行对数据库的响应速度的影响；所述处理模块还用于若所述sql语句中存在统计函数且所述统计函数涉及的数据表是预设白名单数据表，则执行所述sql语句。24.结合第二方面，在一种可能的实现方式中，所述处理模块具体用于：确定所述sql语句中是否存在去重子句，所述去重子句中包括待查询的列名称；若所述sql语句中存在所述去重子句，将所述去重子句替换为分组统计数据子句，所述分组统计数据子句用于对所述待查询的列名称对应的字段进行分组，以返回不重复的所述待查询的列名称对应的字段。25.结合第二方面，在一种可能的实现方式中，所述处理模块具体用于：不执行所述sql语句。26.结合第二方面，在一种可能的实现方式中，所述预设白名单数据表用于指示数据表中的数据量小于或等于预设数据量的数据表。27.结合第二方面，在一种可能的实现方式中，所述处理模块还用于根据所述统计函数涉及的数据表的表名与所述预设白名单数据表，确定所述统计函数涉及的数据表是否位于所述预设白名单数据表，所述预设白名单数据表中包括数据表中的数据量小于或等于预设数据量的数据表的表名；若所述统计函数涉及的数据表的表名在所述预设白名单数据表的表名中，则所述统计函数涉及的数据表位于所述预设白名单数据表。28.结合第二方面，在一种可能的实现方式中，所述处理模块还用于根据所述统计函数涉及的数据表的表名与预设黑名单数据表，确定所述统计函数涉及的数据表是否位于所述预设白名单数据表，所述预设黑名单数据表中包括数据表中的数据量大于或等于预设数据量的数据表的表名；若所述统计函数涉及的数据表的表名不在所述预设黑名单数据表的表名中，则所述统计函数涉及的数据表位于所述预设白名单数据表。29.第三方面，本技术提供一种服务器，包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用所述存储器中的程序指令执行如第一方面或者其中任意一种可能的实现方式所述的方法。30.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面或者其中任意一种可能的实现方式所述的方法。31.第五方面，本技术提供一种计算机程序产品，所述计算机程序产品中包括计算机程序，所述计算机程序被处理器执行时用于实现如第一方面或者其中任意一种可能的实现方式所述的方法。附图说明32.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。33.图1为本技术一个实施例提供的应用场景示意图；图2为本技术一个实施例提供的数据的处理方法的流程图；图3为本技术一个实施例提供的数据处理系统的结构示意图；图4为本技术一个实施例提供的数据处理处理系统中解析与判断模块的处理方法流程图；图5为本技术一个实施例提供的数据处理处理系统中优化模块的处理方法流程图；图6为本技术一个实施例提供的数据的处理装置示意图；图7为本技术另一个实施例提供的装置示意图。34.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。具体实施方式35.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。36.本技术具体的应用场景如图1所示，该场景包括客户端101和服务器102。客户端101和服务器102之间可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。37.可选地，在数据库
技术领域：
：，通过客户端101输入sql语句，服务器102接收客户端101输入的sql语句，并执行该语句，以实现数据查询、数据新增、数据删除和数据更新等功能。38.在通过sql语句进行数据查询的过程中，有时会涉及到需要统计指定数据表中满足查询条件的非重复结果的数量，目前一种常用的用于请求统计指定数据表中满足查询条件的非重复结果的数量的方法如下：通过包含用于请求返回统计数量的函数和使用用于请求返回唯一不同值的关键字的sql语句来实现。例如，在sql语句中包含“count（distinctyfroma）”子句，以请求返回表a中y列不重复的数据的数量，其中，a表示待查询的数据表，y表示待查询的列，“distinct”表示用于请求返回唯一不同值的关键字，“count（）”表示用于请求返回统计数量的函数。39.使用统计函数如“count（）”虽然最终可以统计出指定数据表中满足查询条件的非重复结果的数量，但是在统计时这个函数会扫描全数据表的数据，且在扫描全数据表的基础上还需要做排序操作，过程中会涉及到大量和结果完全无关的数据。因此，数据库基于上述sql语句来实现统计指定数据表中满足查询条件的非重复结果的数量时，会消耗大量的数据库资源，影响数据库响应速度，严重的还会导致使用数据库的所用应用程序的卡顿。40.为了解决上述问题，本
技术领域：
：提出如下方法：即判断sql语句中是否存在用于请求返回统计数量的函数，若不存在，才执行该sql语句，否则对该sql语句进行优化处理，其中，优化处理是指降低该sql语句对数据库响应速度的影响的操作。作为一种示例，优化处理包括不执行该sql语句中用于请求返回统计数量的函数。41.例如，可以判断sql语句中是否包含统计函数“count（）”，若不包含，则正常执行该sql语句；否则对该sql语句进行优化处理，例如，不执行该sql语句中的统计函数“count（）”。42.但是，上述方法会产生如下问题：导致一些必须输出指定数据表中满足查询条件的非重复结果的数量的场景中，数据库不能满足该需求。43.因此，如何同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求，成为亟待解决的技术问题。44.有鉴于此，本技术提供数据的处理方法，旨在解决现有技术的如上技术问题。45.下面以具体的实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。46.结合图1所示的应用场景，图2为本技术一个实施例提供的数据的处理方法的流程图，应用于服务器102。如图2所示，本技术实施例提供的方法包括s201、s202、s203和s204。下面详细说明图2所示的方法中的各个步骤。47.s201，获取sql语句。48.该步骤中，sql是一种查询功能很强的语言，只要是数据库存在的数据，总能通过适当的方法将它从数据库中查找出来。49.例如，用户通过图1中的客户端101输入sql语句，服务器102获取用户输入的sql语句，并对sql语句进行词法和语法分析，例如可以是，将sql语句分段，并逐段对sql语句进行分析。50.s202，若sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表，则对sql语句进行优化处理，该优化处理用于降低sql语句的执行对数据库的响应速度的影响。51.可选地，技术人员可以预先基于需求设置好白名单数据表，作为预设白名单数据表。52.作为一种示例，预设白名单数据表可以包括数据表中的数据量小于或等于预设数据量的数据表。作为另一种示例，预设白名单数据表可以包括即使数据量大于或等于预设数据量但是仍然需要输出非重复数据的数量的数据表。53.该步骤中，在一些可能的实现方式中，可以先对获取到的sql语句进行解析，得到数据库节点（sqlnode）抽象语法树，然后遍历抽象语法树中的所有节点，查找sql语句中是否存在查询节点（如select节点），若存在查询节点，则获取查询节点中的数据表的表名，否则直接执行该sql语句。54.可选地，对获取到的sql语句进行解析，可以使用语法解析器，语法解析器支持语法扩展，以支持多种数据源不同语法的解析需要。例如，开源的语法解析器“antlr”和“javacc”，通过扩展语法和规则文件即可实现多数据源语法支持；开源数据分析和存储系统（druid）则内置编程式语法解析器。55.与此同时，查找sql语句中是否存在统计函数（如“count（）”），若存在统计函数，则进一步判断该统计函数涉及的数据表是否位于预设白名单数据表中，若该统计函数涉及的数据表不位于预设白名单数据表中，则对sql语句进行优化处理，以降低sql语句的执行对数据库的响应速度的影响。56.示例性地，查找sql语句中是否存在统计函数（如“count（）”），可以递归检查所有查询节点（“select节点”）中所有的“function节点”，因为“count（）”函数会跟在“select节点”后，且为“function节点”）。57.判断该统计函数涉及的数据表是否位于预设白名单数据表中的一种可实现方式为：根据统计函数涉及的数据表的表名与预设白名单数据表，确定统计函数涉及的数据表是否位于预设白名单数据表，若统计函数涉及的数据表的表名在预设白名单数据表的表名中，则统计函数涉及的数据表位于预设白名单数据表。58.判断该统计函数涉及的数据表是否位于预设白名单数据表中的另一种可实现方式为：根据统计函数涉及的数据表的表名与预设黑名单数据表，确定统计函数涉及的数据表是否位于预设白名单数据表，预设黑名单数据表中包括数据表中的数据量大于或等于预设数据量的数据表的表名；若统计函数涉及的数据表的表名不在预设黑名单数据表的表名中，则统计函数涉及的数据表位于预设白名单数据表。59.在sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表的情况下，则对sql语句进行优化处理的一种可实现方式为：确定sql语句中是否存在去重子句，该去重子句中包括待查询的列名称，若sql语句中存在去重子句，将去重子句替换为分组统计数据子句，再返回执行，以降低sql语句的执行对数据库的响应速度的影响。60.其中，分组统计数据子句用于对待查询的列名称对应的字段进行分组，以返回不重复的待查询的列名称对应的字段。61.示例性地，判断sql语句中是否存在“count（distinctxxxx）fromtable”形式，若存在，则套用优化模板即将“count（distinctxxxx）fromtable”修改为“count（1）from（selectxxxxfromtablegroupbyxxxx）”格式输出，然后返回重新执行。其中，“xxxx”为数据表中对应的列的名称，“distinct”为去重关键字，“1”表示数据表的第1列，“groupby”为分组关键字。62.可选地，“distinct”支持单列、多列的去重方式。单列去重的方式简明易懂，即相同值只保留1个；多列的去重则是根据指定的去重的列信息来进行，即只有所有指定的列信息都相同，才会被认为是重复的信息。63.对sql语句进行优化处理的另一种可实现方式为：不执行所述sql语句，可以减少数据库资源消耗，提高数据库响应速度。64.s203，若sql语句中存在统计函数且统计函数涉及的数据表是预设白名单数据表，则执行sql语句。65.若sql语句中存在统计函数且统计函数涉及的数据表是预设白名单数据表，则说明统计函数涉及的数据表中的数据量小于或等于预设数据量，对数据库响应速度影响不大，所以可直接执行，使得数据库资源可以得到合理的利用。66.该实施例中，通过获取sql语句，若该sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表，则对该sql语句进行优化处理，优化处理用于降低sql语句的执行对数据库的响应速度的影响；若sql语句中存在统计函数且统计函数涉及的数据表是预设白名单数据表，则执行该sql语句，可以同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求，使得数据库资源可以得到合理的利用。67.在上述实施例的基础上，图3为本技术一个实施例提供的数据处理系统的结构示意图，该系统应用于上述实施例中的服务器102，该数据的处理系统包括解析与判断模块301和优化模块302。68.解析与判断模块301，用于将获取到的sql语句进行解析，拿到“sqlnode”语法树后遍历所有节点，将sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表的问题sql语句筛选出来。69.优化模块302，用于判断解析与判断模块301筛选出来的问题sql语句是否可以进行优化处理，若可以，则套用优化模板对该sql语句进行优化，否则不执行该sql语句。70.作为一种示例，在上述实施例的基础上，图4为本技术一个实施例提供的数据处理处理系统中解析与判断模块的处理方法流程图。如图4所示，该处理方法包括s401、s402、s403、s404、s405、s406、s407、s408、s409和s410。下面详细说明图4所示的方法中的各个步骤。71.s401，获取sql语句。72.该步骤中，服务器获取用户输入的sql语句，该sql语句可以用于执行数据查询操作。73.s402，解析sql语句，若解析成功，则执行s404，否则，执行s403。74.该步骤中，利用语法解析器对sql语句进行解析，得到抽象语法树。75.s403，直接执行sql语句。76.s404，查找所有查询节点，若有查询节点，则执行s405，否则，执行s403。77.该步骤中，可以使用递归的方法遍历抽象语法树中所有节点，查找查询节点（如“select节点”）。78.s405，获取查询节点中的表名。79.s406，判断表名对应的数据表是否是预设白名单数据表，若表名对应的数据表是预设白名单数据表，则执行s407，否则，执行s408。80.其中，预设白名单数据表中的数据量没有到达影响数据库性能的数据量级。81.可选地，通过判断表名是否为预设白名单数据表中的表名，来确定表名对应的数据表是否是预设白名单数据表。82.s407，检查下一个查询节点。83.s408，查找sql语句中是否存在统计函数，若sql语句中存在统计函数，则执行s409，否则，执行s407。84.示例性地，查找sql语句中是否存在统计函数（如“count（）”），可以递归检查所有查询节点（“select节点”）中所有的“function节点”，因为“count（）”函数会跟在“select节点”后，且为“function节点”）。85.可选地，查找sql语句中是否存在统计函数和判断表名对应的数据表是否是预设白名单数据表这两个步骤顺序可以调换，本技术实施例对这两个步骤的顺序不做限制。86.s409，判断是否符合优化模板，若符合优化模板，则执行s410，否则，执行s407。87.该步骤中，判断sql语句中是否存在去重子句（如“distinctxxxx”），若存在，则符合优化模板。88.s410，加入指定列表。89.图5为本技术一个实施例提供的数据处理处理系统中优化模块的处理方法流程图。如图5所示，该处理方法包括s501、s502、s503、s504、s505和s506。下面详细说明图5所示的方法中的各个步骤。90.s501，获取指定列表中的sql语句。91.s502，递归检查统计函数。92.该步骤中，递归检查所有的“function节点”，将统计函数语句筛选出来。93.s503，判断是否存在去重子句，若存在，则执行s505，否则，执行s504。94.示例性地，判断sql语句中是否存在“distinctxxxx”，若存在，即存在去重子句。95.s504，无法优化，检查下一个统计函数。96.s505，将去重子句替换为分组统计数据子句输出。97.示例性地，该步骤中，将去重子句“count（distinctxxxx）fromtable”修改为分组统计数据子句“count（1）from（selectxxxxfromtablegroupbyxxxx）”格式输出，然后返回重新执行。其中，“xxxx”为数据表中对应的列的名称，“distinct”为去重关键字，“1”表示数据表的第1列，“groupby”为分组关键字。98.s506，将该sql语句返回重新执行。99.该实施例中，能够准确的通过解析与判断模块和优化模块的处理方法，降低sql语句的执行对数据库的响应速度的影响，进而提高数据库的响应速度，使得数据库资源可以得到合理的利用。100.在上述实施例的基础上，图6示出了本技术实施例提供的数据的处理装置600，该装置600包括：获取模块601和处理模块602。101.其中，获取模块601，用于获取结构化查询语言sql语句；处理模块602，用于若sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表，则对sql语句进行优化处理，优化处理用于降低sql语句的执行对数据库的响应速度的影响；处理模块602还用于若sql语句中存在统计函数且统计函数涉及的数据表是预设白名单数据表，则执行sql语句。102.作为一种示例，装置600可以用于执行图2所示的方法，例如，获取模块601用于执行s201，处理模块602用于执行s202和s203。103.在一种可能的实现方式中，处理模块602具体用于：确定sql语句中是否存在去重子句，去重子句中包括待查询的列名称；若sql语句中存在去重子句，将去重子句替换为分组统计数据子句，分组统计数据子句用于对待查询的列名称对应的字段进行分组，以返回不重复的待查询的列名称对应的字段。104.在一种可能的实现方式中，处理模块602具体用于：不执行sql语句。105.在一种可能的实现方式中，预设白名单数据表用于指示数据表中的数据量小于或等于预设数据量的数据表。106.在一种可能的实现方式中，处理模块602还用于根据统计函数涉及的数据表的表名与预设白名单数据表，确定统计函数涉及的数据表是否位于预设白名单数据表，预设白名单数据表中包括数据表中的数据量小于或等于预设数据量的数据表的表名；若统计函数涉及的数据表的表名在预设白名单数据表的表名中，则统计函数涉及的数据表位于预设白名单数据表。107.在一种可能的实现方式中，处理模块602还用于根据统计函数涉及的数据表的表名与预设黑名单数据表，确定统计函数涉及的数据表是否位于预设白名单数据表，预设黑名单数据表中包括数据表中的数据量大于或等于预设数据量的数据表的表名；若统计函数涉及的数据表的表名不在预设黑名单数据表的表名中，则统计函数涉及的数据表位于预设白名单数据表。108.图7为本技术另一个实施例提供的装置示意图。图7所示的装置可以用于执行前述任意一个实施例的方法。109.如图7所示，本实施例的装置700包括：存储器701、处理器702、通信接口703以及总线704。其中，存储器701、处理器702、通信接口703通过总线704实现彼此之间的通信连接。110.存储器701可以是只读存储器（readonlymemory，rom），静态存储设备，动态存储设备或者随机存取存储器（randomaccessmemory，ram）。存储器701可以存储程序，当存储器701中存储的程序被处理器702执行时，处理器702用于执行上述实施例中所示的方法的各个步骤。111.处理器702可以采用通用的中央处理器（centralprocessingunit，cpu），微处理器，应用专用集成电路（applicationspecificintegratedcircuit，asic），或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例中所示的各个方法。112.处理器702还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本技术实施例的方法的各个步骤可以通过处理器702中的硬件的集成逻辑电路或者软件形式的指令完成。113.上述处理器702还可以是通用处理器、数字信号处理器（digitalsignalprocessing，dsp）、asic、现成可编程门阵列（fieldprogrammablegatearray，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。114.结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701，处理器702读取存储器701中的信息，结合其硬件完成本技术装置包括的单元所需执行的功能。115.通信接口703可以使用但不限于收发器一类的收发装置，来实现装置700与其他设备或通信网络之间的通信。116.总线704可以包括在装置700各个部件（例如，存储器701、处理器702、通信接口703）之间传送信息的通路。117.应理解，本技术实施例所示的装置700可以是电子设备，或者，也可以是配置于电子设备中的芯片。118.需要说明的是，本技术中的数据的处理方法及装置可用于大数据
技术领域：
：，也可用于除大数据
技术领域：
：以外的任意领域。本技术对该数据的处理方法及装置的应用领域不作限定。119.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a，b可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。120.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c或a-b-c，其中a，b，c可以是单个，也可以是多个。121.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。122.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。123.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。124.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。125.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。126.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。127.功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。128.以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。当前第1页12当前第1页12
技术领域：
：，尤其涉及数据的处理方法及装置。
背景技术：
：：2.随着大数据
技术领域：
：的不断发展，结构化查询语言（structuredquerylanguage，sql）在数据处理中广泛应用。sql是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。3.在通过sql语句进行数据查询的过程中，有时会涉及到需要统计指定数据表中满足查询条件的非重复结果的数量。目前一种常用的用于请求统计指定数据表中满足查询条件的非重复结果的数量的方法如下：通过包含用于请求返回统计数量的函数和使用用于请求返回唯一不同值的关键字的sql语句来实现。例如，在sql语句中包含“count（distinctyfroma）”子句，以请求返回表a中y列不重复的数据的数量，其中，a表示待查询的数据表，y表示待查询的列，“distinct”表示用于请求返回唯一不同值的关键字，“count（）”表示用于请求返回统计数量的函数。4.但是数据库基于上述sql语句来实现统计指定数据表中满足查询条件的非重复结果的数量时，通常会消耗大量的数据库资源，影响数据库响应速度，严重的还会导致使用数据库的所用应用程序的卡顿。5.为了解决上述问题，本
技术领域：
：提出如下方法：即判断sql语句中是否存在用于请求返回统计数量的函数，若不存在，才执行该sql语句，否则对该sql语句进行优化处理，其中，优化处理是指降低该sql语句对数据库响应速度的影响的操作。作为一种示例，优化处理包括不执行该sql语句中用于请求返回统计数量的函数。6.例如，可以判断sql语句中是否包含统计函数“count（）”，若不包含，则正常执行该sql语句，否则对该sql语句进行优化处理，例如，不执行该sql语句中的统计函数“count（）”。7.但是，上述方法会产生如下问题：导致一些必须输出指定数据表中满足查询条件的非重复结果的数量的场景中，数据库不能满足该需求。8.因此，如何同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求，成为亟待解决的技术问题。技术实现要素：9.本技术提供的数据的处理方法及装置，用以同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求。10.第一方面，本技术提供一种数据的处理方法，应用于服务器，包括：获取结构化查询语言sql语句；若所述sql语句中存在统计函数且所述统计函数涉及的数据表不是预设白名单数据表，则对所述sql语句进行优化处理，所述优化处理用于降低所述sql语句的执行对数据库的响应速度的影响；若所述sql语句中存在统计函数且所述统计函数涉及的数据表是预设白名单数据表，则执行所述sql语句。11.该方法中，对存在统计函数且统计函数涉及的数据表不是预设白名单数据表的sql语句进行优化处理，可以减少数据库资源的消耗，降低sql语句的执行对数据库的响应速度的影响，进而提高数据库的响应速度；且优化处理用于降低sql语句的执行对数据库的响应速度的影响，与现有技术相比，可以避免数据库不能满足一些必须输出指定数据表中满足查询条件的非重复结果的数量的需求，进而达到了同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求的效果。12.结合第一方面，在一种可能的实现方式中，所述对所述sql语句进行优化处理，包括：确定所述sql语句中是否存在去重子句，所述去重子句中包括待查询的列名称；若所述sql语句中存在所述去重子句，将所述去重子句替换为分组统计数据子句，所述分组统计数据子句用于对所述待查询的列名称对应的字段进行分组，以返回不重复的所述待查询的列名称对应的字段。13.该实现方式中，在sql语句中存在去重子句的情况下，将sql语句中的去重子句替换为分组统计数据子句，以进行优化，来降低sql语句的执行对数据库的响应速度的影响。14.结合第一方面，在一种可能的实现方式中，所述对所述sql语句进行优化处理，包括：不执行所述sql语句。15.该实现方式中，对sql语句进行优化处理可以是不执行该sql语句，以减少数据库资源的消耗，降低sql语句的执行对数据库的响应速度的影响。16.结合第一方面，在一种可能的实现方式中，所述预设白名单数据表用于指示数据表中的数据量小于或等于预设数据量的数据表。17.该实现方式中，预设白名单数据表中的数据表的数据量小于或等于预设数据量，对数据库响应速度的影响较小，可以直接执行，进而使得数据库资源得到合理利用。18.结合第一方面，在一种可能的实现方式中，所述统计函数涉及的数据表是否为预设白名单数据表，包括：根据所述统计函数涉及的数据表的表名与所述预设白名单数据表，确定所述统计函数涉及的数据表是否位于所述预设白名单数据表，所述预设白名单数据表中包括数据表中的数据量小于或等于预设数据量的数据表的表名；若所述统计函数涉及的数据表的表名在所述预设白名单数据表的表名中，则所述统计函数涉及的数据表位于所述预设白名单数据表。19.该实现方式中，根据统计函数涉及的数据表的表名和预设白名单数据表中的表名来确定统计函数涉及的数据表是否位于预设白名单数据表，确定出的结果准确可靠，便于进行下一步优化处理或者直接执行操作，进而提高数据库的响应速度。20.结合第一方面，在一种可能的实现方式中，所述统计函数涉及的数据表是否为预设白名单数据表，包括：根据所述统计函数涉及的数据表的表名与预设黑名单数据表，确定所述统计函数涉及的数据表是否位于所述预设白名单数据表，所述预设黑名单数据表中包括数据表中的数据量大于或等于预设数据量的数据表的表名；若所述统计函数涉及的数据表的表名不在所述预设黑名单数据表的表名中，则所述统计函数涉及的数据表位于所述预设白名单数据表。21.该实现方式中，根据统计函数涉及的数据表的表名和预设黑名单数据表中的表名来确定统计函数涉及的数据表是否位于预设白名单数据表，确定出的结果准确可靠，便于进行下一步优化处理或者直接执行操作，进而提高数据库的响应速度。22.第二方面，本技术提供一种数据的处理装置。该处理装置可以包括用于实现第一方面或其中任意一种可能的实现方式中的方法的各个功能模块。该处理装置的技术效果可以参考其对应的方法所带来的技术效果，此处不在赘述。23.该处理装置可以包括：获取模块，用于获取结构化查询语言sql语句；处理模块，用于若所述sql语句中存在统计函数且所述统计函数涉及的数据表不是预设白名单数据表，则对所述sql语句进行优化处理，所述优化处理用于降低所述sql语句的执行对数据库的响应速度的影响；所述处理模块还用于若所述sql语句中存在统计函数且所述统计函数涉及的数据表是预设白名单数据表，则执行所述sql语句。24.结合第二方面，在一种可能的实现方式中，所述处理模块具体用于：确定所述sql语句中是否存在去重子句，所述去重子句中包括待查询的列名称；若所述sql语句中存在所述去重子句，将所述去重子句替换为分组统计数据子句，所述分组统计数据子句用于对所述待查询的列名称对应的字段进行分组，以返回不重复的所述待查询的列名称对应的字段。25.结合第二方面，在一种可能的实现方式中，所述处理模块具体用于：不执行所述sql语句。26.结合第二方面，在一种可能的实现方式中，所述预设白名单数据表用于指示数据表中的数据量小于或等于预设数据量的数据表。27.结合第二方面，在一种可能的实现方式中，所述处理模块还用于根据所述统计函数涉及的数据表的表名与所述预设白名单数据表，确定所述统计函数涉及的数据表是否位于所述预设白名单数据表，所述预设白名单数据表中包括数据表中的数据量小于或等于预设数据量的数据表的表名；若所述统计函数涉及的数据表的表名在所述预设白名单数据表的表名中，则所述统计函数涉及的数据表位于所述预设白名单数据表。28.结合第二方面，在一种可能的实现方式中，所述处理模块还用于根据所述统计函数涉及的数据表的表名与预设黑名单数据表，确定所述统计函数涉及的数据表是否位于所述预设白名单数据表，所述预设黑名单数据表中包括数据表中的数据量大于或等于预设数据量的数据表的表名；若所述统计函数涉及的数据表的表名不在所述预设黑名单数据表的表名中，则所述统计函数涉及的数据表位于所述预设白名单数据表。29.第三方面，本技术提供一种服务器，包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用所述存储器中的程序指令执行如第一方面或者其中任意一种可能的实现方式所述的方法。30.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面或者其中任意一种可能的实现方式所述的方法。31.第五方面，本技术提供一种计算机程序产品，所述计算机程序产品中包括计算机程序，所述计算机程序被处理器执行时用于实现如第一方面或者其中任意一种可能的实现方式所述的方法。附图说明32.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。33.图1为本技术一个实施例提供的应用场景示意图；图2为本技术一个实施例提供的数据的处理方法的流程图；图3为本技术一个实施例提供的数据处理系统的结构示意图；图4为本技术一个实施例提供的数据处理处理系统中解析与判断模块的处理方法流程图；图5为本技术一个实施例提供的数据处理处理系统中优化模块的处理方法流程图；图6为本技术一个实施例提供的数据的处理装置示意图；图7为本技术另一个实施例提供的装置示意图。34.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。具体实施方式35.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。36.本技术具体的应用场景如图1所示，该场景包括客户端101和服务器102。客户端101和服务器102之间可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。37.可选地，在数据库
技术领域：
：，通过客户端101输入sql语句，服务器102接收客户端101输入的sql语句，并执行该语句，以实现数据查询、数据新增、数据删除和数据更新等功能。38.在通过sql语句进行数据查询的过程中，有时会涉及到需要统计指定数据表中满足查询条件的非重复结果的数量，目前一种常用的用于请求统计指定数据表中满足查询条件的非重复结果的数量的方法如下：通过包含用于请求返回统计数量的函数和使用用于请求返回唯一不同值的关键字的sql语句来实现。例如，在sql语句中包含“count（distinctyfroma）”子句，以请求返回表a中y列不重复的数据的数量，其中，a表示待查询的数据表，y表示待查询的列，“distinct”表示用于请求返回唯一不同值的关键字，“count（）”表示用于请求返回统计数量的函数。39.使用统计函数如“count（）”虽然最终可以统计出指定数据表中满足查询条件的非重复结果的数量，但是在统计时这个函数会扫描全数据表的数据，且在扫描全数据表的基础上还需要做排序操作，过程中会涉及到大量和结果完全无关的数据。因此，数据库基于上述sql语句来实现统计指定数据表中满足查询条件的非重复结果的数量时，会消耗大量的数据库资源，影响数据库响应速度，严重的还会导致使用数据库的所用应用程序的卡顿。40.为了解决上述问题，本
技术领域：
：提出如下方法：即判断sql语句中是否存在用于请求返回统计数量的函数，若不存在，才执行该sql语句，否则对该sql语句进行优化处理，其中，优化处理是指降低该sql语句对数据库响应速度的影响的操作。作为一种示例，优化处理包括不执行该sql语句中用于请求返回统计数量的函数。41.例如，可以判断sql语句中是否包含统计函数“count（）”，若不包含，则正常执行该sql语句；否则对该sql语句进行优化处理，例如，不执行该sql语句中的统计函数“count（）”。42.但是，上述方法会产生如下问题：导致一些必须输出指定数据表中满足查询条件的非重复结果的数量的场景中，数据库不能满足该需求。43.因此，如何同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求，成为亟待解决的技术问题。44.有鉴于此，本技术提供数据的处理方法，旨在解决现有技术的如上技术问题。45.下面以具体的实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。46.结合图1所示的应用场景，图2为本技术一个实施例提供的数据的处理方法的流程图，应用于服务器102。如图2所示，本技术实施例提供的方法包括s201、s202、s203和s204。下面详细说明图2所示的方法中的各个步骤。47.s201，获取sql语句。48.该步骤中，sql是一种查询功能很强的语言，只要是数据库存在的数据，总能通过适当的方法将它从数据库中查找出来。49.例如，用户通过图1中的客户端101输入sql语句，服务器102获取用户输入的sql语句，并对sql语句进行词法和语法分析，例如可以是，将sql语句分段，并逐段对sql语句进行分析。50.s202，若sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表，则对sql语句进行优化处理，该优化处理用于降低sql语句的执行对数据库的响应速度的影响。51.可选地，技术人员可以预先基于需求设置好白名单数据表，作为预设白名单数据表。52.作为一种示例，预设白名单数据表可以包括数据表中的数据量小于或等于预设数据量的数据表。作为另一种示例，预设白名单数据表可以包括即使数据量大于或等于预设数据量但是仍然需要输出非重复数据的数量的数据表。53.该步骤中，在一些可能的实现方式中，可以先对获取到的sql语句进行解析，得到数据库节点（sqlnode）抽象语法树，然后遍历抽象语法树中的所有节点，查找sql语句中是否存在查询节点（如select节点），若存在查询节点，则获取查询节点中的数据表的表名，否则直接执行该sql语句。54.可选地，对获取到的sql语句进行解析，可以使用语法解析器，语法解析器支持语法扩展，以支持多种数据源不同语法的解析需要。例如，开源的语法解析器“antlr”和“javacc”，通过扩展语法和规则文件即可实现多数据源语法支持；开源数据分析和存储系统（druid）则内置编程式语法解析器。55.与此同时，查找sql语句中是否存在统计函数（如“count（）”），若存在统计函数，则进一步判断该统计函数涉及的数据表是否位于预设白名单数据表中，若该统计函数涉及的数据表不位于预设白名单数据表中，则对sql语句进行优化处理，以降低sql语句的执行对数据库的响应速度的影响。56.示例性地，查找sql语句中是否存在统计函数（如“count（）”），可以递归检查所有查询节点（“select节点”）中所有的“function节点”，因为“count（）”函数会跟在“select节点”后，且为“function节点”）。57.判断该统计函数涉及的数据表是否位于预设白名单数据表中的一种可实现方式为：根据统计函数涉及的数据表的表名与预设白名单数据表，确定统计函数涉及的数据表是否位于预设白名单数据表，若统计函数涉及的数据表的表名在预设白名单数据表的表名中，则统计函数涉及的数据表位于预设白名单数据表。58.判断该统计函数涉及的数据表是否位于预设白名单数据表中的另一种可实现方式为：根据统计函数涉及的数据表的表名与预设黑名单数据表，确定统计函数涉及的数据表是否位于预设白名单数据表，预设黑名单数据表中包括数据表中的数据量大于或等于预设数据量的数据表的表名；若统计函数涉及的数据表的表名不在预设黑名单数据表的表名中，则统计函数涉及的数据表位于预设白名单数据表。59.在sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表的情况下，则对sql语句进行优化处理的一种可实现方式为：确定sql语句中是否存在去重子句，该去重子句中包括待查询的列名称，若sql语句中存在去重子句，将去重子句替换为分组统计数据子句，再返回执行，以降低sql语句的执行对数据库的响应速度的影响。60.其中，分组统计数据子句用于对待查询的列名称对应的字段进行分组，以返回不重复的待查询的列名称对应的字段。61.示例性地，判断sql语句中是否存在“count（distinctxxxx）fromtable”形式，若存在，则套用优化模板即将“count（distinctxxxx）fromtable”修改为“count（1）from（selectxxxxfromtablegroupbyxxxx）”格式输出，然后返回重新执行。其中，“xxxx”为数据表中对应的列的名称，“distinct”为去重关键字，“1”表示数据表的第1列，“groupby”为分组关键字。62.可选地，“distinct”支持单列、多列的去重方式。单列去重的方式简明易懂，即相同值只保留1个；多列的去重则是根据指定的去重的列信息来进行，即只有所有指定的列信息都相同，才会被认为是重复的信息。63.对sql语句进行优化处理的另一种可实现方式为：不执行所述sql语句，可以减少数据库资源消耗，提高数据库响应速度。64.s203，若sql语句中存在统计函数且统计函数涉及的数据表是预设白名单数据表，则执行sql语句。65.若sql语句中存在统计函数且统计函数涉及的数据表是预设白名单数据表，则说明统计函数涉及的数据表中的数据量小于或等于预设数据量，对数据库响应速度影响不大，所以可直接执行，使得数据库资源可以得到合理的利用。66.该实施例中，通过获取sql语句，若该sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表，则对该sql语句进行优化处理，优化处理用于降低sql语句的执行对数据库的响应速度的影响；若sql语句中存在统计函数且统计函数涉及的数据表是预设白名单数据表，则执行该sql语句，可以同时兼顾数据库的响应速度需求和输出指定数据表中非重复结果数量需求，使得数据库资源可以得到合理的利用。67.在上述实施例的基础上，图3为本技术一个实施例提供的数据处理系统的结构示意图，该系统应用于上述实施例中的服务器102，该数据的处理系统包括解析与判断模块301和优化模块302。68.解析与判断模块301，用于将获取到的sql语句进行解析，拿到“sqlnode”语法树后遍历所有节点，将sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表的问题sql语句筛选出来。69.优化模块302，用于判断解析与判断模块301筛选出来的问题sql语句是否可以进行优化处理，若可以，则套用优化模板对该sql语句进行优化，否则不执行该sql语句。70.作为一种示例，在上述实施例的基础上，图4为本技术一个实施例提供的数据处理处理系统中解析与判断模块的处理方法流程图。如图4所示，该处理方法包括s401、s402、s403、s404、s405、s406、s407、s408、s409和s410。下面详细说明图4所示的方法中的各个步骤。71.s401，获取sql语句。72.该步骤中，服务器获取用户输入的sql语句，该sql语句可以用于执行数据查询操作。73.s402，解析sql语句，若解析成功，则执行s404，否则，执行s403。74.该步骤中，利用语法解析器对sql语句进行解析，得到抽象语法树。75.s403，直接执行sql语句。76.s404，查找所有查询节点，若有查询节点，则执行s405，否则，执行s403。77.该步骤中，可以使用递归的方法遍历抽象语法树中所有节点，查找查询节点（如“select节点”）。78.s405，获取查询节点中的表名。79.s406，判断表名对应的数据表是否是预设白名单数据表，若表名对应的数据表是预设白名单数据表，则执行s407，否则，执行s408。80.其中，预设白名单数据表中的数据量没有到达影响数据库性能的数据量级。81.可选地，通过判断表名是否为预设白名单数据表中的表名，来确定表名对应的数据表是否是预设白名单数据表。82.s407，检查下一个查询节点。83.s408，查找sql语句中是否存在统计函数，若sql语句中存在统计函数，则执行s409，否则，执行s407。84.示例性地，查找sql语句中是否存在统计函数（如“count（）”），可以递归检查所有查询节点（“select节点”）中所有的“function节点”，因为“count（）”函数会跟在“select节点”后，且为“function节点”）。85.可选地，查找sql语句中是否存在统计函数和判断表名对应的数据表是否是预设白名单数据表这两个步骤顺序可以调换，本技术实施例对这两个步骤的顺序不做限制。86.s409，判断是否符合优化模板，若符合优化模板，则执行s410，否则，执行s407。87.该步骤中，判断sql语句中是否存在去重子句（如“distinctxxxx”），若存在，则符合优化模板。88.s410，加入指定列表。89.图5为本技术一个实施例提供的数据处理处理系统中优化模块的处理方法流程图。如图5所示，该处理方法包括s501、s502、s503、s504、s505和s506。下面详细说明图5所示的方法中的各个步骤。90.s501，获取指定列表中的sql语句。91.s502，递归检查统计函数。92.该步骤中，递归检查所有的“function节点”，将统计函数语句筛选出来。93.s503，判断是否存在去重子句，若存在，则执行s505，否则，执行s504。94.示例性地，判断sql语句中是否存在“distinctxxxx”，若存在，即存在去重子句。95.s504，无法优化，检查下一个统计函数。96.s505，将去重子句替换为分组统计数据子句输出。97.示例性地，该步骤中，将去重子句“count（distinctxxxx）fromtable”修改为分组统计数据子句“count（1）from（selectxxxxfromtablegroupbyxxxx）”格式输出，然后返回重新执行。其中，“xxxx”为数据表中对应的列的名称，“distinct”为去重关键字，“1”表示数据表的第1列，“groupby”为分组关键字。98.s506，将该sql语句返回重新执行。99.该实施例中，能够准确的通过解析与判断模块和优化模块的处理方法，降低sql语句的执行对数据库的响应速度的影响，进而提高数据库的响应速度，使得数据库资源可以得到合理的利用。100.在上述实施例的基础上，图6示出了本技术实施例提供的数据的处理装置600，该装置600包括：获取模块601和处理模块602。101.其中，获取模块601，用于获取结构化查询语言sql语句；处理模块602，用于若sql语句中存在统计函数且统计函数涉及的数据表不是预设白名单数据表，则对sql语句进行优化处理，优化处理用于降低sql语句的执行对数据库的响应速度的影响；处理模块602还用于若sql语句中存在统计函数且统计函数涉及的数据表是预设白名单数据表，则执行sql语句。102.作为一种示例，装置600可以用于执行图2所示的方法，例如，获取模块601用于执行s201，处理模块602用于执行s202和s203。103.在一种可能的实现方式中，处理模块602具体用于：确定sql语句中是否存在去重子句，去重子句中包括待查询的列名称；若sql语句中存在去重子句，将去重子句替换为分组统计数据子句，分组统计数据子句用于对待查询的列名称对应的字段进行分组，以返回不重复的待查询的列名称对应的字段。104.在一种可能的实现方式中，处理模块602具体用于：不执行sql语句。105.在一种可能的实现方式中，预设白名单数据表用于指示数据表中的数据量小于或等于预设数据量的数据表。106.在一种可能的实现方式中，处理模块602还用于根据统计函数涉及的数据表的表名与预设白名单数据表，确定统计函数涉及的数据表是否位于预设白名单数据表，预设白名单数据表中包括数据表中的数据量小于或等于预设数据量的数据表的表名；若统计函数涉及的数据表的表名在预设白名单数据表的表名中，则统计函数涉及的数据表位于预设白名单数据表。107.在一种可能的实现方式中，处理模块602还用于根据统计函数涉及的数据表的表名与预设黑名单数据表，确定统计函数涉及的数据表是否位于预设白名单数据表，预设黑名单数据表中包括数据表中的数据量大于或等于预设数据量的数据表的表名；若统计函数涉及的数据表的表名不在预设黑名单数据表的表名中，则统计函数涉及的数据表位于预设白名单数据表。108.图7为本技术另一个实施例提供的装置示意图。图7所示的装置可以用于执行前述任意一个实施例的方法。109.如图7所示，本实施例的装置700包括：存储器701、处理器702、通信接口703以及总线704。其中，存储器701、处理器702、通信接口703通过总线704实现彼此之间的通信连接。110.存储器701可以是只读存储器（readonlymemory，rom），静态存储设备，动态存储设备或者随机存取存储器（randomaccessmemory，ram）。存储器701可以存储程序，当存储器701中存储的程序被处理器702执行时，处理器702用于执行上述实施例中所示的方法的各个步骤。111.处理器702可以采用通用的中央处理器（centralprocessingunit，cpu），微处理器，应用专用集成电路（applicationspecificintegratedcircuit，asic），或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例中所示的各个方法。112.处理器702还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本技术实施例的方法的各个步骤可以通过处理器702中的硬件的集成逻辑电路或者软件形式的指令完成。113.上述处理器702还可以是通用处理器、数字信号处理器（digitalsignalprocessing，dsp）、asic、现成可编程门阵列（fieldprogrammablegatearray，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。114.结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701，处理器702读取存储器701中的信息，结合其硬件完成本技术装置包括的单元所需执行的功能。115.通信接口703可以使用但不限于收发器一类的收发装置，来实现装置700与其他设备或通信网络之间的通信。116.总线704可以包括在装置700各个部件（例如，存储器701、处理器702、通信接口703）之间传送信息的通路。117.应理解，本技术实施例所示的装置700可以是电子设备，或者，也可以是配置于电子设备中的芯片。118.需要说明的是，本技术中的数据的处理方法及装置可用于大数据
技术领域：
：，也可用于除大数据
技术领域：
：以外的任意领域。本技术对该数据的处理方法及装置的应用领域不作限定。119.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a，b可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。120.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c或a-b-c，其中a，b，c可以是单个，也可以是多个。121.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。122.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。123.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。124.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。125.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。126.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。127.功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。128.以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
