1.本技术涉及数据处理技术，涉及但不限于一种数据处理方法、装置、终端及存储介质。
背景技术：
：：2.相关技术中，有许多工具支持将关系数据库中的数据导入到其他系统中，比如离线数据同步工具/平台(datax)、数据转换工具(sqoop)、开源数据交换工具(kettle)和数据集成平台(turbodx)等，其中datax和sqoop开源工具被广泛应用。datax是一种开源数据导入导出工具，它运行在单一节点，没有做到对数据库表进行分片，而是一个表作为一个并发，对于大数据量的表，它是进行单并发处理的，因此在效率上存在瓶颈。sqoop也是一款开源工具，主要用于分布式系统基础架构hadoop组件与关系数据库之间的导入导出，它抽取数据库时采用普通的按列分片，查询指定列的最大和最小值，然后根据用户设置的并发数，进行简单的分片。还有的数据传输工具在抽取数据库时采用按行分片，即先查询总的记录条数，然后根据用户设置的并发数进行平均切分。使用数据传输工具在查询总的记录条数时，对于大数据量的表进行读取耗时长，而且按行分片有时涉及到结构化查询语言(structuredquerylanguage，sql)的嵌套，读取数据库是也很耗时，最主要的是还会存在读取数据的重复和缺失的情况。在使用这些工具对数据抽取，进行分片的过程中会出现数据倾斜、效率低下、数据重复重复和缺失等问题。技术实现要素：3.为解决上述技术问题，本发明实施例提供了一种数据处理方法、装置、终端及存储介质，至少解决在对数据库进行分片过程中存在的数据倾斜和效率低下的问题。4.本技术实施例的技术方案是这样实现的：5.本技术实施例提供一种数据处理方法，所述方法包括：6.确定待处理的数据库的分片列；7.基于所述分片列中的至少一个满足预设阈值的数，对所述数据库表进行分片，得到至少一个数据库分片；8.确定所述数据库中满足预设抽取条件的数据记录在所述至少一个数据库分片中的分布；9.基于所述数据记录的分布，对至少一个所述数据库分片进行调整，以得到目标数据库分片。10.本技术实施例提供一种数据处理装置，所述装置包括：11.第一确定单元，用于确定待处理的数据库的分片列；12.分片单元，用于基于所述分片列中的至少一个满足预设阈值的数，对所述数据库表进行分片，得到至少一个数据库分片；13.第二确定单元，用于确定所述数据库中满足预设条件的数据记录，在所述至少一个数据库分片中的分布；14.调整单元，用于基于所述数据记录的分布，对至少一个所述数据库分片进行调整，以得到目标数据库分片。15.本技术实施例提供一种终端，所述终端至少包括：控制器和配置为存储可执行指令的存储介质，其中：16.控制器配置为执行存储的可执行指令，所述可执行指令配置为执行上述提供的数据处理方法。17.本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令配置为执行上述提供的数据处理方法。18.本技术实施例提供一种数据处理方法、装置、终端及存储介质，通过确定待处理数据库的分片列，并依据分片列对待处理数据库进行初步的分片，可以得到数据库分片，提高了对数据库进行分片的效率，在数据库中随机抽样，确定抽取的数据记录在上述数据库分片中的数据分布情况，并根据所述分布情况，对数据库分片进行调整，得到目标数据库分片；如此，得到了数据分布均匀的数据库分片，提高了数据库分片的效率。附图说明19.图1为本技术实施例数据处理方法的流程示意图；20.图2为本技术实施例数据处理方法的又一流程示意图；21.图3为本技术实施例数据处理方法的整体流程图；22.图4为本技术实施例数据处理装置的结构示意图；23.图5为本技术实施例所述终端的组成结构示意图。具体实施方式24.为便于理解本技术实施例的技术方案，以下对本技术实施例的相关技术进行说明。25.相关技术中在进行数据库分片时，存在以下几个问题：26.(1)datax工具只在单节点运行，存在输入输出(input/output，i/o)瓶颈，不适合大数据的导入导出，且做不到对数据库表级别的分片。27.(2)sqoop等工具虽然使用按列分片，但是它分片容易出现数据倾斜和分片列值为空的记录无法被读取的情况。28.(3)还有的工具采用按行进行分片，这种方式的缺点是计算和查询总记录条数耗时长；分片涉及到结构化查询语言嵌套，抽取数据耗时长，对大数据量的抽取时很慢；还有就是容易出现数据重复和缺失的情况。29.为此，提出了本技术实施例的以下技术方案，为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。30.本技术实施例提供一种数据处理方法，图1为本技术实施例数据处理方法的流程示意图，结合图1所示的步骤进行说明：31.步骤s101：确定待处理的数据库的分片列。32.这里，待处理的数据库为将数据待导出到其他系统或数据库中的数据库，分片列为待处理的数据库表的列，用于确定待处理数据库的分片，和分片后的数据的查询。在一些可实现的实施方式中，一个待处理的数据库可以有至少一个分片列。33.步骤s102：基于所述分片列中的至少一个满足预设阈值的数，对所述数据库表进行分片，得到至少一个数据库分片。34.这里，在所述分片列中确定满足预设阈值的数，如，分片列中所有数据的平均值、最大值或最小值等。在一个具体例子中，可以确定分片列中包含的数据记录的条数，并根据分片列中的数据的平均值、最大值和最大值等数据，以及用户设定的并发数，确定数据库分片的分界点，然后采用数据库分片算法，对数据库表进行初步分片，得到至少一个数据库分片。35.步骤s103：确定所述数据库中满足预设抽取条件的数据记录在所述至少一个数据库分片中的分布。36.这里，满足预设抽取条件的数据记录可以为：从数据库中随机抽取特定数量的数据记录，然后确定抽样的数据记录在上述每个数据库分片中的数据分布情况。如，从数据库中随机抽取总数据量的0.1％的数据记录，得到的抽样数据记录总条数用count表示，分片的数量用m表示，抽样数据记录在数据库分片中的平均分布条数为cv，且cv可以通过以下公式表示：cv＝count/m。抽样数据记录在每个分片中的记录条数用ci表示，且1《＝i《＝m，然后根据每一分片的抽样数据记录条数ci，与抽样数据记录的平均分布条数cv的相对偏差的绝对值|ci-cv|/cv，确定每一分片中到抽样数据记录的数据分布情况。37.在一些可实现的实施方式中，可以按照设置的数据间隔抽取一定数量的数据记录；或者抽取某几个特定列的数据记录，来确定所述数据库中满足预设抽取条件的数据记录。然后再确定抽样数据记录分布在每个数据库分片中的数据记录的条数。38.步骤s104：基于所述数据记录的分布，对至少一个所述数据库分片进行调整，以得到目标数据库分片。39.这里，根据所述数据记录在每一数据库分片中的分布的数据记录的条数，对数据记录的条数分布不均匀的数据库分片进行调整。在一个具体例子中，抽样数据分布在某一数据库分片中的数据记录数，与抽样数据在每一个数据库分片中分布的数据记录的平均数量的差的平方和比较大，则说明抽样数据在此数据库分片中的数据记录的数量是不均匀的，则调整数据记录分布对应的数据库分片的分界点，以得到数据分布均匀的目标数据库分片。40.在本技术实施例中，通过确定待处理数据库的分片列，并依据分片列对待处理数据库进行初步的分片，可以得到数据库分片，提高了数据库进行分片的效率，在数据库中随机抽样，确定抽取的数据记录在上述数据库分片中的分布情况，并根据所述分布情况，对数据库分片进行调整，得到目标数据库分片，如此，得到了数据分布均匀的数据库分片，提高了数据库分片的效率。41.在一些实施例中，为了能提高对待处理数据库进行分片的效率和避免数据抽取出现重复和缺失的问题，将所述待处理的数据库表的任一列，确定为所述待处理的数据库的分片列。42.这里，当待处理数据库表中存在主键的时候，则将数据库表的主键作为待处理的数据库的分片列；当待处理数据库表中不存在主键的时候，则将用户设置的列作为待处理数据库的分片列；当用户没有设置分片列的时候，将从待处理数据库表中任选一列作为待处理数据库的分片列，用于对待处理数据库进行切分。在一个具体例子中，当数据库表存在主键，且主键为用户标识，则将用户标识作为分片列；当数据库表不存在主键的时候，则将用户设置的列，如时间戳列，作为待处理数据库的分片列。这样，根据待处理数据库表中的任一列作为数据库的分片列，以对待处理数据库进行分片，可以提高数据扫描的效率，进而提高对数据库进行分片的效率，得到数据分布均匀的数据库分片。43.在一些实施例中，为了获得数据数量分布较均匀的数据库分片，所述步骤s102还可以通过以下步骤实现：44.s1021：至少基于所述分片列的最大值、最小值和预定的并发数，确定所述分片列的第一步长。45.这里，通过sql语句在待处理数据库表中查询到分片列的最大值和最小值，在一个具体例子中，将分片列设置为splitcol，通过语句selectmax(splitcol)，min(splitcol)fromtable在分片列中查询splitcol列的最大和最小值。根据用户设置的并发数即数据库分片的个数，确定分片列的第一步长。在一个具体例子中，假设用户设置的并发数为m；分片列为splitcol，分片列的最大最小值分别用splitcolmin和splitcolmax表示；则分片列的第一步长可以是根据splitcolmax减去splitcolmin，然后进行m等分计算得到。46.s1022：基于所述第一步长，对所述数据库表进行分片，得到至少一个所述数据库分片。47.这里，根据第一步长和用户设置的并发数，确定出分片列中的每一分片的大小，进而可以确定出分片列中每一分片的上下界，对数据库表进行分片，得到至少一个数据库分片。在一个具体例子中，假设用户设置的并发数为m；分片列为splitcol，分片列的最大最小值分别用splitcolmin和splitcolmax表示；分片集合用splits表示，分片是根据splitcolmax减去splitcolmin，然后进行m等分，得到m个数据库分片：s1，s2，s3，…，sm，则分片集合splits＝{s1，s2，s3，…，sm}，其中s1＝{splitcolmin《＝splitcol《x1}，s2＝{x1《＝splitcol《x2}，依次进行类推可以得到sm＝{xm-1《＝splitcol《＝splitcolmax}，其中，x1、x2、…、xm-1是分片集合中每一个分片对应的上下界。48.如此，可以根据待处理数据库的分片列的步长，对待处理数据库进行初步的分片，得到数据数量分布较均匀的数据库分片。49.在一些实施例中，为了得到数据分布更加均匀的数据库分片，在对数据库进行初步分片以后，需要从数据库随机抽样数据，确定抽样数据在初步得到的数据库分片中的分布情况，根据所述分布情况，对得到的数据库分片进行调整。所述步骤s104还可以通过以下方式实现：50.对所述数据记录的分布不满足特定条件的数据库分片，进行合并或拆分，以得到所述目标数据库分片。51.这里，所述数据记录为从数据库中随机抽取的数据集中的数据记录，数据记录的分布为抽样数据在每个数据库分片中数据的分布情况，如抽样数据在每一数据库分片中数据量的值，如每一数据库分片中抽样数据的数据量与抽样数据集在每个数据库分片中的平均分布数量之间的差值等数值。当某一数据库分片中的数据记录的上述分布情况不满足用户设定的条件时，则调整此数据库分片，对此数据库分片进行拆分，或与其他数据库分片进行合并再拆分，直到抽样数据的数据记录在每一数据库分片中的分布都满足特定条件的时候，停止对数据库分片的调整，得到目标数据库分片。52.在一些可实现的实施方式中，所述对所述数据记录的分布不满足特定条件的数据库分片，进行合并或拆分，以得到所述目标数据库分片，还可以通过以下步骤实现：53.步骤一：确定所述数据记录在每一个所述数据库分片中的分布数量差的绝对值。54.这里，通过sql语句查询每一数据库分片中抽样数据的数据记录的数据分布数量，并确定抽样数据在数据库分片中的平均分布数量，然后将每一数据库分片中的数据分布数量，分别减去平均分布数量，得到两者的差值的绝对值，最后计算所述差值的绝对值与平均分布数量之间的比值，即可得到数据记录在每一个所述数据库分片中的分布数量差的绝对值。在一个具体例子中，从数据库中抽取0.1％的数据记录，并统计抽样数据集中的数据记录在各数据库分片中的数据分布情况。假设抽样数据集记录条数用count表示，cv为平均分布数量：cv＝count/m，统计抽样数据集在splits中各分片的个数，用counts表示，counts＝{c1，c2，…，cm}。抽样数据在每个分片中记录条数用ci表示，1《＝i《＝m，其中m表示分片数，则每一个所述数据库分片中的分布数量差的绝对值为|ci-cv|/cv。55.步骤二：当所述绝对值不满足所述特定条件时，对所述绝对值对应的数据记录所属的数据库分片进行合并或拆分，以得到所述目标数据库分片。56.这里，在一个具体例子中，特定条件为所述绝对值小于等于特定值，如，特定条件为所述绝对值|ci-cv|/cv《＝0.1。当所述绝对值大于等于0.1时，则不满足特定条件，此时需要对绝对值对应的数据记录所属的数据库分片进行合并或拆分。在一些可实现的实施方式中，根据所述数据库分片对应的位置，还需要对绝对值对应的数据记录所属的数据库分片相邻的数据库分片进行拆分或合并，得到目标数据库分片。57.这样，可以根据抽样数据在每一个数据库分片中的数据记录分布的绝对值的情况，对不满足特定条件的数据库分片进行合并和拆分，可以对数据分布不均匀的数据库分片进行调整，进而得到数据数量分布均匀的数据库分片。58.在一些可实现的实施方式中，所述步骤二还可以通过以下步骤实现：59.首先，当所述绝对值不满足所述特定条件时，调整所述绝对值对应的数据记录所属的数据库分片的步长，得到第二步长。60.这里，当绝对值不满足特定条件的时候，根据数量差值的正负值，调整绝对值对应的数据记录所属的数据库分片的步长。当绝对值|ci-cv|/cv对应的数量差值ci-cv为正值的时候，说明数据记录在数据库分片中的数据量比较多，缩短所属的数据库分片的步长，得到第二步长。当绝对值|ci-cv|/cv对应的数量差值ci-cv为负值的时候，说明数据记录在所属的数据库分片中的数据量比较少，这时扩大数据记录所属的数据库分片的步长，得到第二步长。61.其次，基于所述第二步长，对所述绝对值对应的数据记录所属的数据库分片进行合并或拆分，以得到所述目标数据库分片。62.这里，根据所述第二步长，对数据记录所属的数据库分片对应的上下界进行调整，以对绝对值对应的数据记录所属的数据库分片进行合并或拆分。当第二步长为第一步长缩短后的步长时，则根据其他数据库分片的数据记录的分布情况，减小数据记录所属的数据库分片的上界或下界或上下界，对完成对绝对值对应的数据记录所属的数据库分片的拆分。当第二步长为第一步长扩大后的步长时，则根据其他数据库分片的数据记录的分布情况，扩大数据记录所属的数据库分片的上界或下界或上下界，对完成对绝对值对应的数据记录所属的数据库分片的合并。在一个具体例子中：经过初步的分片，得到5个数据库分片，抽样数据在第一个和第二个数据库分片中的分布数量差的绝对值不满足特定条件，其中数据记录所属的第一个数据库分片中的数据记录的分布数量差值为正值，说明第一个数据库分片中的数据分布比较少；数据记录所属的二个数据库分片中的数据记录的分布数量差值为负值说明第二个数据库分片中的数据多；根据第一个数据库分片和第二个数据库分片的步长，扩大第一个数据库分片的步长，同时缩短第二个数据库分片的步长，得到第二步长，根据第二步长，调整对应的数据库分片对应的上下界，完成对第一数据库的合并和第二数据库的拆分，直到抽样数据的数据记录在每一个数据库分片中的分布都满足特定条件的时候，停止对数据库分片的拆分或合并，得到目标数据库分片。63.这样，根据调整后的数据库分片的第二步长，调整不满足特定条件的数据记录的分布所属的数据库分片，得到数据记录分布均匀的数据库分片，如此，可以得到数据分布均匀的数据库分片。64.在一些实施方式中，在获得了对待处理数据库的数据分布均匀的数据库分片之后，还需要对数据库分片中的数据进行读取和查询等操作，因此，在步骤s104之后，所述方法还包括以下过程：65.基于所述目标数据库分片，生成对应的结构化查询语言语句，以读取每一所述数据库分片中的数据。66.这里，得到目标数据库分片后，根据每一个目标数据库分片对应的数据区域中某一列的开始字段和结束字段的值，生成对应的结构化查询语言语句，以分发和读取每一数据库分片中的数据。67.这样，根据目标数据库分片对应数据区域的列的起止字段，生成每一数据库分片对应的结构化查询语言语句，这样得到的结构化查询语言语句没有进行结构化查询语言语句的嵌套，在进行语句的时候效率高，易于数据的分发和读取，提高了读取数据的效率。68.本技术实施例提供一种数据处理方法，图2为本技术实施例数据处理方法的又一流程示意图，结合图2所示的步骤进行说明：69.步骤s201：确定待处理的数据库的分片列。70.这里，通过查询数据库中的表否存在主键pk，如果存在则数据库的分片列为：splitcol＝pk，否则查看用户是否设置分片列usersplitcol，如果用户设置了分片列则数据库的分片列为：splitcol＝usersplitcol；如果表不存在主键，且用户也没有设置分片列，则从表中选择一列作为分片列。71.步骤s202：确定所述分片列的最大值和最小值。72.这里，通过selectmax(splitcol)，min(splitcol)fromtable查询splitcol列的最大和最小值。73.步骤s203：基于所述最大值和最小值，对所述待处理的数据库进行分片，得到数据库分片。74.这里，根据分片列的最大和最小值以及用户设置的并发数，进行第一次数据的分片，得到初步的数据库分片。75.步骤s204：从所述数据库中进行抽样，确定抽样数据在所述数据库分片中的分布情况。76.这里，从数据库中随机抽取一定数量的数据记录。在一个具体例子中，从数据库中随机抽取总数据量的0.1％的数据记录，得到的抽样数据记录总条数用count表示，分片的数量用m表示，抽样数据记录在数据库分片中的平均分布条数为cv，且cv可以通过以下公式表示：cv＝count/m。抽样数据记录在每个分片中的记录条数用ci表示，且1《＝i《＝m，然后根据每一分片的抽样数据记录条数ci，与抽样数据记录的平均分布条数cv的相对偏差的绝对值|ci-cv|/cv，确定每一分片中到抽样数据记录的数据分布情况。77.步骤s205：基于所述分布情况，对所述数据库分片进行调整，得到目标数据库分片。78.这里，如果数据记录的分布|ci-cv|/cv》0.1，则重复执行步骤s203，对所述数据记录所属的数据库分片进行调整，直到得到|ci-cv|/cv小于等于0.1时，停止分片过程，得到目标数据库分片。79.步骤s206：基于所述目标数据库分片，生成结构化查询语言语句。80.在本技术实施例中，通过确定待处理数据库的分片列，并依据分片列对待处理数据库进行初步的分片，得到数据库分片，提高了对数据库进行分片的效率，在数据库中随机抽样，确定抽取的数据记录在上述数据库分片中的分布情况，并根据所述分布情况，对数据库分片进行调整，得到目标数据库分片，并生成对应的结构化查询语言语句，如此，提高了对数据库进行分片的效率，并可以得到数据记录数量分布均匀的数据库分片，而且可以根据生成的结构化查询语言语句对数据库分片中的数据进行分发和读取，提高了读取数据库的工作效率。81.本技术实施例提供一种数据处理方法，图3为本技术实施例数据处理方法的整体流程图，如图3所示，所述数据处理方法包括以下步骤：82.步骤s301：开始流程。83.步骤s302：确定主键是否存在。84.这里，如果数据库的表中存在主键，执行步骤s303。如果主键不存在，执行步骤s304。85.步骤s303：将主键确定为分片列。86.这里，将表的主键确定为数据库的分片列。87.步骤s304：确定用户设置的列是否存在。88.这里，如果数据库的表中不存在主键，这时，确定用户是否将表中的某一列设置为分片列，如果用户设置了分片列，执行步骤s305。如果用户没有设置分片列，执行步骤s306。89.步骤s305：将用户设置的列确定为分片列。90.这里，将用户设置的分片列作为数据库的分片列，以对数据库进行分片。91.步骤s306：任选数据库表的一列为分片列。92.这里，在数据库的表中不存在主键且用户没有设置分片列时，将在数据库中的表中任选一列作为数据库的分片列。93.步骤s307：查询分片列的最大值和最小值。94.这里，通过语句selectmax(splitcol)，min(splitcol)fromtable查询splitcol列的最大和最小值。95.步骤s308：确定数据库分片。96.这里，根据分片列的最大值、最小值和并发数，确定出至少一个数据库分片。97.步骤s309：从数据库中随机抽样。98.这里，从数据库中随机抽取一定数量的数据记录，抽取的方式至少可以有以下几种：从数据库中随机抽取特定数量的数据记录；或者按照设置的数据间隔抽取一定数量的数据记录；或者抽取某个特定列的数据记录。99.步骤s310：确定数据记录在每个数据库分片中的数据分布情况。100.这里，遍历抽样数据集，判断数据记录在数据库分片中各分片的分布生成数据记录counts集合，并计算抽样数据集的总记录数。101.步骤s311：判断数据记录的分布情况是否满足特定条件。102.这里，特定条件为数据记录在每一个所述数据库分片中的分布数量差的绝对值小于等于特定值，如，特定条件为所述绝对值|ci-cv|/cv《＝0.1，其中，ci为抽样数据在每个分片中记录条数，cv为抽样数据在所有分片中的平均分布数量。103.如果满足特定条件，执行步骤s312。如果不满足特定条件，则重复执行步骤s308。104.步骤s312：生成结构化查询语言语句，执行抽取任务。105.这里，得到目标数据库分片后，根据每一个目标数据库分片对应的数据区域中某一列的开始字段和结束字段的值，生成对应的结构化查询语言语句，以分发和读取每一数据库分片中的数据。106.步骤s313：结束流程。107.这样，可以根据数据库是否存在主键和用户设置的列，确定待处理数据库的分片列，对待处理的数据库进行分片，得到多个数据库分片。再在数据库中随机抽样，确定抽取的数据记录在上述数据库分片中的分布情况，并根据所述分布情况，对数据库分片进行调整，得到目标数据库分片，并生成对应的结构化查询语言语句，如此，提高了对数据库进行分片的效率，并可以得到数据记录数量分布均匀的数据库分片，而且可以根据生成的结构化查询语言语句对数据库分片中的数据进行分发和读取，提高了读取数据库的工作效率。108.本技术实施例提供一种数据处理装置，图4为本技术实施例数据处理装置的结构示意图，如图4所示，所述数据处理装置400包括：第一确定模块401、分片模块402、第二确定模块403和调整模块404，其中：109.第一确定模块401，用于确定待处理的数据库的分片列；110.分片模块402，用于基于所述分片列中的至少一个满足预设阈值的数，对所述数据库表进行分片，得到至少一个数据库分片；111.第二确定模块403，用于确定所述数据库中满足预设抽取条件的数据记录在所述至少一个数据库分片中的分布；112.调整模块404，用于基于所述数据记录的分布，对至少一个所述数据库分片进行调整，以得到目标数据库分片。113.在上述装置中，所述第一确定模块401，还用于将所述待处理的数据库表的任一列，确定为所述待处理的数据库的分片列。114.在上述装置中，所述分片模块402，还包括：115.第一确定子模块，用于至少基于所述分片列的最大值、最小值和预定的并发数，确定所述分片列的第一步长；116.分片子模块，用于基于所述第一步长，对所述数据库表进行分片，得到至少一个所述数据库分片。117.在上述装置中，所述调整模块404，还用于对所述数据记录的分布不满足特定条件的数据库分片，进行合并或拆分，以得到所述目标数据库分片。118.在上述装置中，所述调整模块404，还包括：119.第二确定子模块，用于确定所述数据记录在每一个所述数据库分片中的分布数量差的绝对值；120.合并或拆分子模块，用于当所述绝对值不满足所述特定条件时，对所述绝对值对应的数据记录所属的数据库分片进行合并或拆分，以得到所述目标数据库分片。121.在上述装置中，所述合并或拆分子模块，还包括：122.调整单元，用于当所述绝对值不满足所述特定条件时，调整所述绝对值对应的数据记录所属的数据库分片的步长，得到第二步长；123.合并或拆分单元，用于基于所述第二步长，对所述绝对值对应的数据记录所属的数据库分片进行合并或拆分，以得到所述目标数据库分片。124.在上述装置中，所述装置还包括：125.生成模块，用于基于所述目标数据库分片，生成对应的结构化查询语言语句，以读取每一所述数据库分片中的数据。126.本技术实施例再提供一种数据处理装置，该装置包括所包括的各模块、以及各模块所包括的各子模块和各单元，可以通过终端中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)或现场可编程门阵列(fpga)等。127.对应地，本技术实施例提供一种终端，图5为本技术实施例所述终端的组成结构示意图，如图5所示，所述终端500至少包括：控制器501和配置为存储可执行指令的存储介质502，其中：128.控制器501配置为执行存储的可执行指令，所述可执行指令用于实现提供的数据处理方法。129.需要说明的是，以上终端实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术终端实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。130.对应地，本技术实施例提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行本技术其他实施例提供的数据处理方法。131.这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质和设备实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。132.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。133.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。134.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。135.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。136.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。137.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(readonlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。138.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。139.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。当前第1页12当前第1页12
背景技术：
：：2.相关技术中，有许多工具支持将关系数据库中的数据导入到其他系统中，比如离线数据同步工具/平台(datax)、数据转换工具(sqoop)、开源数据交换工具(kettle)和数据集成平台(turbodx)等，其中datax和sqoop开源工具被广泛应用。datax是一种开源数据导入导出工具，它运行在单一节点，没有做到对数据库表进行分片，而是一个表作为一个并发，对于大数据量的表，它是进行单并发处理的，因此在效率上存在瓶颈。sqoop也是一款开源工具，主要用于分布式系统基础架构hadoop组件与关系数据库之间的导入导出，它抽取数据库时采用普通的按列分片，查询指定列的最大和最小值，然后根据用户设置的并发数，进行简单的分片。还有的数据传输工具在抽取数据库时采用按行分片，即先查询总的记录条数，然后根据用户设置的并发数进行平均切分。使用数据传输工具在查询总的记录条数时，对于大数据量的表进行读取耗时长，而且按行分片有时涉及到结构化查询语言(structuredquerylanguage，sql)的嵌套，读取数据库是也很耗时，最主要的是还会存在读取数据的重复和缺失的情况。在使用这些工具对数据抽取，进行分片的过程中会出现数据倾斜、效率低下、数据重复重复和缺失等问题。技术实现要素：3.为解决上述技术问题，本发明实施例提供了一种数据处理方法、装置、终端及存储介质，至少解决在对数据库进行分片过程中存在的数据倾斜和效率低下的问题。4.本技术实施例的技术方案是这样实现的：5.本技术实施例提供一种数据处理方法，所述方法包括：6.确定待处理的数据库的分片列；7.基于所述分片列中的至少一个满足预设阈值的数，对所述数据库表进行分片，得到至少一个数据库分片；8.确定所述数据库中满足预设抽取条件的数据记录在所述至少一个数据库分片中的分布；9.基于所述数据记录的分布，对至少一个所述数据库分片进行调整，以得到目标数据库分片。10.本技术实施例提供一种数据处理装置，所述装置包括：11.第一确定单元，用于确定待处理的数据库的分片列；12.分片单元，用于基于所述分片列中的至少一个满足预设阈值的数，对所述数据库表进行分片，得到至少一个数据库分片；13.第二确定单元，用于确定所述数据库中满足预设条件的数据记录，在所述至少一个数据库分片中的分布；14.调整单元，用于基于所述数据记录的分布，对至少一个所述数据库分片进行调整，以得到目标数据库分片。15.本技术实施例提供一种终端，所述终端至少包括：控制器和配置为存储可执行指令的存储介质，其中：16.控制器配置为执行存储的可执行指令，所述可执行指令配置为执行上述提供的数据处理方法。17.本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令配置为执行上述提供的数据处理方法。18.本技术实施例提供一种数据处理方法、装置、终端及存储介质，通过确定待处理数据库的分片列，并依据分片列对待处理数据库进行初步的分片，可以得到数据库分片，提高了对数据库进行分片的效率，在数据库中随机抽样，确定抽取的数据记录在上述数据库分片中的数据分布情况，并根据所述分布情况，对数据库分片进行调整，得到目标数据库分片；如此，得到了数据分布均匀的数据库分片，提高了数据库分片的效率。附图说明19.图1为本技术实施例数据处理方法的流程示意图；20.图2为本技术实施例数据处理方法的又一流程示意图；21.图3为本技术实施例数据处理方法的整体流程图；22.图4为本技术实施例数据处理装置的结构示意图；23.图5为本技术实施例所述终端的组成结构示意图。具体实施方式24.为便于理解本技术实施例的技术方案，以下对本技术实施例的相关技术进行说明。25.相关技术中在进行数据库分片时，存在以下几个问题：26.(1)datax工具只在单节点运行，存在输入输出(input/output，i/o)瓶颈，不适合大数据的导入导出，且做不到对数据库表级别的分片。27.(2)sqoop等工具虽然使用按列分片，但是它分片容易出现数据倾斜和分片列值为空的记录无法被读取的情况。28.(3)还有的工具采用按行进行分片，这种方式的缺点是计算和查询总记录条数耗时长；分片涉及到结构化查询语言嵌套，抽取数据耗时长，对大数据量的抽取时很慢；还有就是容易出现数据重复和缺失的情况。29.为此，提出了本技术实施例的以下技术方案，为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。30.本技术实施例提供一种数据处理方法，图1为本技术实施例数据处理方法的流程示意图，结合图1所示的步骤进行说明：31.步骤s101：确定待处理的数据库的分片列。32.这里，待处理的数据库为将数据待导出到其他系统或数据库中的数据库，分片列为待处理的数据库表的列，用于确定待处理数据库的分片，和分片后的数据的查询。在一些可实现的实施方式中，一个待处理的数据库可以有至少一个分片列。33.步骤s102：基于所述分片列中的至少一个满足预设阈值的数，对所述数据库表进行分片，得到至少一个数据库分片。34.这里，在所述分片列中确定满足预设阈值的数，如，分片列中所有数据的平均值、最大值或最小值等。在一个具体例子中，可以确定分片列中包含的数据记录的条数，并根据分片列中的数据的平均值、最大值和最大值等数据，以及用户设定的并发数，确定数据库分片的分界点，然后采用数据库分片算法，对数据库表进行初步分片，得到至少一个数据库分片。35.步骤s103：确定所述数据库中满足预设抽取条件的数据记录在所述至少一个数据库分片中的分布。36.这里，满足预设抽取条件的数据记录可以为：从数据库中随机抽取特定数量的数据记录，然后确定抽样的数据记录在上述每个数据库分片中的数据分布情况。如，从数据库中随机抽取总数据量的0.1％的数据记录，得到的抽样数据记录总条数用count表示，分片的数量用m表示，抽样数据记录在数据库分片中的平均分布条数为cv，且cv可以通过以下公式表示：cv＝count/m。抽样数据记录在每个分片中的记录条数用ci表示，且1《＝i《＝m，然后根据每一分片的抽样数据记录条数ci，与抽样数据记录的平均分布条数cv的相对偏差的绝对值|ci-cv|/cv，确定每一分片中到抽样数据记录的数据分布情况。37.在一些可实现的实施方式中，可以按照设置的数据间隔抽取一定数量的数据记录；或者抽取某几个特定列的数据记录，来确定所述数据库中满足预设抽取条件的数据记录。然后再确定抽样数据记录分布在每个数据库分片中的数据记录的条数。38.步骤s104：基于所述数据记录的分布，对至少一个所述数据库分片进行调整，以得到目标数据库分片。39.这里，根据所述数据记录在每一数据库分片中的分布的数据记录的条数，对数据记录的条数分布不均匀的数据库分片进行调整。在一个具体例子中，抽样数据分布在某一数据库分片中的数据记录数，与抽样数据在每一个数据库分片中分布的数据记录的平均数量的差的平方和比较大，则说明抽样数据在此数据库分片中的数据记录的数量是不均匀的，则调整数据记录分布对应的数据库分片的分界点，以得到数据分布均匀的目标数据库分片。40.在本技术实施例中，通过确定待处理数据库的分片列，并依据分片列对待处理数据库进行初步的分片，可以得到数据库分片，提高了数据库进行分片的效率，在数据库中随机抽样，确定抽取的数据记录在上述数据库分片中的分布情况，并根据所述分布情况，对数据库分片进行调整，得到目标数据库分片，如此，得到了数据分布均匀的数据库分片，提高了数据库分片的效率。41.在一些实施例中，为了能提高对待处理数据库进行分片的效率和避免数据抽取出现重复和缺失的问题，将所述待处理的数据库表的任一列，确定为所述待处理的数据库的分片列。42.这里，当待处理数据库表中存在主键的时候，则将数据库表的主键作为待处理的数据库的分片列；当待处理数据库表中不存在主键的时候，则将用户设置的列作为待处理数据库的分片列；当用户没有设置分片列的时候，将从待处理数据库表中任选一列作为待处理数据库的分片列，用于对待处理数据库进行切分。在一个具体例子中，当数据库表存在主键，且主键为用户标识，则将用户标识作为分片列；当数据库表不存在主键的时候，则将用户设置的列，如时间戳列，作为待处理数据库的分片列。这样，根据待处理数据库表中的任一列作为数据库的分片列，以对待处理数据库进行分片，可以提高数据扫描的效率，进而提高对数据库进行分片的效率，得到数据分布均匀的数据库分片。43.在一些实施例中，为了获得数据数量分布较均匀的数据库分片，所述步骤s102还可以通过以下步骤实现：44.s1021：至少基于所述分片列的最大值、最小值和预定的并发数，确定所述分片列的第一步长。45.这里，通过sql语句在待处理数据库表中查询到分片列的最大值和最小值，在一个具体例子中，将分片列设置为splitcol，通过语句selectmax(splitcol)，min(splitcol)fromtable在分片列中查询splitcol列的最大和最小值。根据用户设置的并发数即数据库分片的个数，确定分片列的第一步长。在一个具体例子中，假设用户设置的并发数为m；分片列为splitcol，分片列的最大最小值分别用splitcolmin和splitcolmax表示；则分片列的第一步长可以是根据splitcolmax减去splitcolmin，然后进行m等分计算得到。46.s1022：基于所述第一步长，对所述数据库表进行分片，得到至少一个所述数据库分片。47.这里，根据第一步长和用户设置的并发数，确定出分片列中的每一分片的大小，进而可以确定出分片列中每一分片的上下界，对数据库表进行分片，得到至少一个数据库分片。在一个具体例子中，假设用户设置的并发数为m；分片列为splitcol，分片列的最大最小值分别用splitcolmin和splitcolmax表示；分片集合用splits表示，分片是根据splitcolmax减去splitcolmin，然后进行m等分，得到m个数据库分片：s1，s2，s3，…，sm，则分片集合splits＝{s1，s2，s3，…，sm}，其中s1＝{splitcolmin《＝splitcol《x1}，s2＝{x1《＝splitcol《x2}，依次进行类推可以得到sm＝{xm-1《＝splitcol《＝splitcolmax}，其中，x1、x2、…、xm-1是分片集合中每一个分片对应的上下界。48.如此，可以根据待处理数据库的分片列的步长，对待处理数据库进行初步的分片，得到数据数量分布较均匀的数据库分片。49.在一些实施例中，为了得到数据分布更加均匀的数据库分片，在对数据库进行初步分片以后，需要从数据库随机抽样数据，确定抽样数据在初步得到的数据库分片中的分布情况，根据所述分布情况，对得到的数据库分片进行调整。所述步骤s104还可以通过以下方式实现：50.对所述数据记录的分布不满足特定条件的数据库分片，进行合并或拆分，以得到所述目标数据库分片。51.这里，所述数据记录为从数据库中随机抽取的数据集中的数据记录，数据记录的分布为抽样数据在每个数据库分片中数据的分布情况，如抽样数据在每一数据库分片中数据量的值，如每一数据库分片中抽样数据的数据量与抽样数据集在每个数据库分片中的平均分布数量之间的差值等数值。当某一数据库分片中的数据记录的上述分布情况不满足用户设定的条件时，则调整此数据库分片，对此数据库分片进行拆分，或与其他数据库分片进行合并再拆分，直到抽样数据的数据记录在每一数据库分片中的分布都满足特定条件的时候，停止对数据库分片的调整，得到目标数据库分片。52.在一些可实现的实施方式中，所述对所述数据记录的分布不满足特定条件的数据库分片，进行合并或拆分，以得到所述目标数据库分片，还可以通过以下步骤实现：53.步骤一：确定所述数据记录在每一个所述数据库分片中的分布数量差的绝对值。54.这里，通过sql语句查询每一数据库分片中抽样数据的数据记录的数据分布数量，并确定抽样数据在数据库分片中的平均分布数量，然后将每一数据库分片中的数据分布数量，分别减去平均分布数量，得到两者的差值的绝对值，最后计算所述差值的绝对值与平均分布数量之间的比值，即可得到数据记录在每一个所述数据库分片中的分布数量差的绝对值。在一个具体例子中，从数据库中抽取0.1％的数据记录，并统计抽样数据集中的数据记录在各数据库分片中的数据分布情况。假设抽样数据集记录条数用count表示，cv为平均分布数量：cv＝count/m，统计抽样数据集在splits中各分片的个数，用counts表示，counts＝{c1，c2，…，cm}。抽样数据在每个分片中记录条数用ci表示，1《＝i《＝m，其中m表示分片数，则每一个所述数据库分片中的分布数量差的绝对值为|ci-cv|/cv。55.步骤二：当所述绝对值不满足所述特定条件时，对所述绝对值对应的数据记录所属的数据库分片进行合并或拆分，以得到所述目标数据库分片。56.这里，在一个具体例子中，特定条件为所述绝对值小于等于特定值，如，特定条件为所述绝对值|ci-cv|/cv《＝0.1。当所述绝对值大于等于0.1时，则不满足特定条件，此时需要对绝对值对应的数据记录所属的数据库分片进行合并或拆分。在一些可实现的实施方式中，根据所述数据库分片对应的位置，还需要对绝对值对应的数据记录所属的数据库分片相邻的数据库分片进行拆分或合并，得到目标数据库分片。57.这样，可以根据抽样数据在每一个数据库分片中的数据记录分布的绝对值的情况，对不满足特定条件的数据库分片进行合并和拆分，可以对数据分布不均匀的数据库分片进行调整，进而得到数据数量分布均匀的数据库分片。58.在一些可实现的实施方式中，所述步骤二还可以通过以下步骤实现：59.首先，当所述绝对值不满足所述特定条件时，调整所述绝对值对应的数据记录所属的数据库分片的步长，得到第二步长。60.这里，当绝对值不满足特定条件的时候，根据数量差值的正负值，调整绝对值对应的数据记录所属的数据库分片的步长。当绝对值|ci-cv|/cv对应的数量差值ci-cv为正值的时候，说明数据记录在数据库分片中的数据量比较多，缩短所属的数据库分片的步长，得到第二步长。当绝对值|ci-cv|/cv对应的数量差值ci-cv为负值的时候，说明数据记录在所属的数据库分片中的数据量比较少，这时扩大数据记录所属的数据库分片的步长，得到第二步长。61.其次，基于所述第二步长，对所述绝对值对应的数据记录所属的数据库分片进行合并或拆分，以得到所述目标数据库分片。62.这里，根据所述第二步长，对数据记录所属的数据库分片对应的上下界进行调整，以对绝对值对应的数据记录所属的数据库分片进行合并或拆分。当第二步长为第一步长缩短后的步长时，则根据其他数据库分片的数据记录的分布情况，减小数据记录所属的数据库分片的上界或下界或上下界，对完成对绝对值对应的数据记录所属的数据库分片的拆分。当第二步长为第一步长扩大后的步长时，则根据其他数据库分片的数据记录的分布情况，扩大数据记录所属的数据库分片的上界或下界或上下界，对完成对绝对值对应的数据记录所属的数据库分片的合并。在一个具体例子中：经过初步的分片，得到5个数据库分片，抽样数据在第一个和第二个数据库分片中的分布数量差的绝对值不满足特定条件，其中数据记录所属的第一个数据库分片中的数据记录的分布数量差值为正值，说明第一个数据库分片中的数据分布比较少；数据记录所属的二个数据库分片中的数据记录的分布数量差值为负值说明第二个数据库分片中的数据多；根据第一个数据库分片和第二个数据库分片的步长，扩大第一个数据库分片的步长，同时缩短第二个数据库分片的步长，得到第二步长，根据第二步长，调整对应的数据库分片对应的上下界，完成对第一数据库的合并和第二数据库的拆分，直到抽样数据的数据记录在每一个数据库分片中的分布都满足特定条件的时候，停止对数据库分片的拆分或合并，得到目标数据库分片。63.这样，根据调整后的数据库分片的第二步长，调整不满足特定条件的数据记录的分布所属的数据库分片，得到数据记录分布均匀的数据库分片，如此，可以得到数据分布均匀的数据库分片。64.在一些实施方式中，在获得了对待处理数据库的数据分布均匀的数据库分片之后，还需要对数据库分片中的数据进行读取和查询等操作，因此，在步骤s104之后，所述方法还包括以下过程：65.基于所述目标数据库分片，生成对应的结构化查询语言语句，以读取每一所述数据库分片中的数据。66.这里，得到目标数据库分片后，根据每一个目标数据库分片对应的数据区域中某一列的开始字段和结束字段的值，生成对应的结构化查询语言语句，以分发和读取每一数据库分片中的数据。67.这样，根据目标数据库分片对应数据区域的列的起止字段，生成每一数据库分片对应的结构化查询语言语句，这样得到的结构化查询语言语句没有进行结构化查询语言语句的嵌套，在进行语句的时候效率高，易于数据的分发和读取，提高了读取数据的效率。68.本技术实施例提供一种数据处理方法，图2为本技术实施例数据处理方法的又一流程示意图，结合图2所示的步骤进行说明：69.步骤s201：确定待处理的数据库的分片列。70.这里，通过查询数据库中的表否存在主键pk，如果存在则数据库的分片列为：splitcol＝pk，否则查看用户是否设置分片列usersplitcol，如果用户设置了分片列则数据库的分片列为：splitcol＝usersplitcol；如果表不存在主键，且用户也没有设置分片列，则从表中选择一列作为分片列。71.步骤s202：确定所述分片列的最大值和最小值。72.这里，通过selectmax(splitcol)，min(splitcol)fromtable查询splitcol列的最大和最小值。73.步骤s203：基于所述最大值和最小值，对所述待处理的数据库进行分片，得到数据库分片。74.这里，根据分片列的最大和最小值以及用户设置的并发数，进行第一次数据的分片，得到初步的数据库分片。75.步骤s204：从所述数据库中进行抽样，确定抽样数据在所述数据库分片中的分布情况。76.这里，从数据库中随机抽取一定数量的数据记录。在一个具体例子中，从数据库中随机抽取总数据量的0.1％的数据记录，得到的抽样数据记录总条数用count表示，分片的数量用m表示，抽样数据记录在数据库分片中的平均分布条数为cv，且cv可以通过以下公式表示：cv＝count/m。抽样数据记录在每个分片中的记录条数用ci表示，且1《＝i《＝m，然后根据每一分片的抽样数据记录条数ci，与抽样数据记录的平均分布条数cv的相对偏差的绝对值|ci-cv|/cv，确定每一分片中到抽样数据记录的数据分布情况。77.步骤s205：基于所述分布情况，对所述数据库分片进行调整，得到目标数据库分片。78.这里，如果数据记录的分布|ci-cv|/cv》0.1，则重复执行步骤s203，对所述数据记录所属的数据库分片进行调整，直到得到|ci-cv|/cv小于等于0.1时，停止分片过程，得到目标数据库分片。79.步骤s206：基于所述目标数据库分片，生成结构化查询语言语句。80.在本技术实施例中，通过确定待处理数据库的分片列，并依据分片列对待处理数据库进行初步的分片，得到数据库分片，提高了对数据库进行分片的效率，在数据库中随机抽样，确定抽取的数据记录在上述数据库分片中的分布情况，并根据所述分布情况，对数据库分片进行调整，得到目标数据库分片，并生成对应的结构化查询语言语句，如此，提高了对数据库进行分片的效率，并可以得到数据记录数量分布均匀的数据库分片，而且可以根据生成的结构化查询语言语句对数据库分片中的数据进行分发和读取，提高了读取数据库的工作效率。81.本技术实施例提供一种数据处理方法，图3为本技术实施例数据处理方法的整体流程图，如图3所示，所述数据处理方法包括以下步骤：82.步骤s301：开始流程。83.步骤s302：确定主键是否存在。84.这里，如果数据库的表中存在主键，执行步骤s303。如果主键不存在，执行步骤s304。85.步骤s303：将主键确定为分片列。86.这里，将表的主键确定为数据库的分片列。87.步骤s304：确定用户设置的列是否存在。88.这里，如果数据库的表中不存在主键，这时，确定用户是否将表中的某一列设置为分片列，如果用户设置了分片列，执行步骤s305。如果用户没有设置分片列，执行步骤s306。89.步骤s305：将用户设置的列确定为分片列。90.这里，将用户设置的分片列作为数据库的分片列，以对数据库进行分片。91.步骤s306：任选数据库表的一列为分片列。92.这里，在数据库的表中不存在主键且用户没有设置分片列时，将在数据库中的表中任选一列作为数据库的分片列。93.步骤s307：查询分片列的最大值和最小值。94.这里，通过语句selectmax(splitcol)，min(splitcol)fromtable查询splitcol列的最大和最小值。95.步骤s308：确定数据库分片。96.这里，根据分片列的最大值、最小值和并发数，确定出至少一个数据库分片。97.步骤s309：从数据库中随机抽样。98.这里，从数据库中随机抽取一定数量的数据记录，抽取的方式至少可以有以下几种：从数据库中随机抽取特定数量的数据记录；或者按照设置的数据间隔抽取一定数量的数据记录；或者抽取某个特定列的数据记录。99.步骤s310：确定数据记录在每个数据库分片中的数据分布情况。100.这里，遍历抽样数据集，判断数据记录在数据库分片中各分片的分布生成数据记录counts集合，并计算抽样数据集的总记录数。101.步骤s311：判断数据记录的分布情况是否满足特定条件。102.这里，特定条件为数据记录在每一个所述数据库分片中的分布数量差的绝对值小于等于特定值，如，特定条件为所述绝对值|ci-cv|/cv《＝0.1，其中，ci为抽样数据在每个分片中记录条数，cv为抽样数据在所有分片中的平均分布数量。103.如果满足特定条件，执行步骤s312。如果不满足特定条件，则重复执行步骤s308。104.步骤s312：生成结构化查询语言语句，执行抽取任务。105.这里，得到目标数据库分片后，根据每一个目标数据库分片对应的数据区域中某一列的开始字段和结束字段的值，生成对应的结构化查询语言语句，以分发和读取每一数据库分片中的数据。106.步骤s313：结束流程。107.这样，可以根据数据库是否存在主键和用户设置的列，确定待处理数据库的分片列，对待处理的数据库进行分片，得到多个数据库分片。再在数据库中随机抽样，确定抽取的数据记录在上述数据库分片中的分布情况，并根据所述分布情况，对数据库分片进行调整，得到目标数据库分片，并生成对应的结构化查询语言语句，如此，提高了对数据库进行分片的效率，并可以得到数据记录数量分布均匀的数据库分片，而且可以根据生成的结构化查询语言语句对数据库分片中的数据进行分发和读取，提高了读取数据库的工作效率。108.本技术实施例提供一种数据处理装置，图4为本技术实施例数据处理装置的结构示意图，如图4所示，所述数据处理装置400包括：第一确定模块401、分片模块402、第二确定模块403和调整模块404，其中：109.第一确定模块401，用于确定待处理的数据库的分片列；110.分片模块402，用于基于所述分片列中的至少一个满足预设阈值的数，对所述数据库表进行分片，得到至少一个数据库分片；111.第二确定模块403，用于确定所述数据库中满足预设抽取条件的数据记录在所述至少一个数据库分片中的分布；112.调整模块404，用于基于所述数据记录的分布，对至少一个所述数据库分片进行调整，以得到目标数据库分片。113.在上述装置中，所述第一确定模块401，还用于将所述待处理的数据库表的任一列，确定为所述待处理的数据库的分片列。114.在上述装置中，所述分片模块402，还包括：115.第一确定子模块，用于至少基于所述分片列的最大值、最小值和预定的并发数，确定所述分片列的第一步长；116.分片子模块，用于基于所述第一步长，对所述数据库表进行分片，得到至少一个所述数据库分片。117.在上述装置中，所述调整模块404，还用于对所述数据记录的分布不满足特定条件的数据库分片，进行合并或拆分，以得到所述目标数据库分片。118.在上述装置中，所述调整模块404，还包括：119.第二确定子模块，用于确定所述数据记录在每一个所述数据库分片中的分布数量差的绝对值；120.合并或拆分子模块，用于当所述绝对值不满足所述特定条件时，对所述绝对值对应的数据记录所属的数据库分片进行合并或拆分，以得到所述目标数据库分片。121.在上述装置中，所述合并或拆分子模块，还包括：122.调整单元，用于当所述绝对值不满足所述特定条件时，调整所述绝对值对应的数据记录所属的数据库分片的步长，得到第二步长；123.合并或拆分单元，用于基于所述第二步长，对所述绝对值对应的数据记录所属的数据库分片进行合并或拆分，以得到所述目标数据库分片。124.在上述装置中，所述装置还包括：125.生成模块，用于基于所述目标数据库分片，生成对应的结构化查询语言语句，以读取每一所述数据库分片中的数据。126.本技术实施例再提供一种数据处理装置，该装置包括所包括的各模块、以及各模块所包括的各子模块和各单元，可以通过终端中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)或现场可编程门阵列(fpga)等。127.对应地，本技术实施例提供一种终端，图5为本技术实施例所述终端的组成结构示意图，如图5所示，所述终端500至少包括：控制器501和配置为存储可执行指令的存储介质502，其中：128.控制器501配置为执行存储的可执行指令，所述可执行指令用于实现提供的数据处理方法。129.需要说明的是，以上终端实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术终端实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。130.对应地，本技术实施例提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行本技术其他实施例提供的数据处理方法。131.这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质和设备实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。132.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。133.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。134.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。135.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。136.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。137.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(readonlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。138.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。139.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
