数据提取方法、电子设备和计算机可读存储介质与流程

1.本技术涉及数据处理技术领域，特别是涉及一种数据提取方法、电子设备和计算机可读存储介质。


背景技术：

2.随着数据时代的来临，hive作为基于hadoop框架的数据仓库工具得到了广泛的应用，利用hive生成hive数据表能够将分散的数据按照标准进行整合，但是整合后的hive数据表中的数据仍然是海量的数据，当需要提取感兴趣的数据时，利用常规的数据提取方法对hive数据表中的数据进行筛选仍然需要花费大量的时间和算力，以致对hive数据表中的数据进行提取的效率较低。有鉴于此，如何提高数据提取的效率成为了亟待解决的问题。


技术实现要素：

3.本技术主要解决的技术问题是提供一种数据提取方法、电子设备和计算机可读存储介质，能够提高数据提取的效率。
4.为解决上述技术问题，本技术第一方面提供一种数据提取方法，包括：获得hive数据表并确定所述hive数据表中的分区表；获得初始过滤总语句，基于所述初始过滤总语句中与所述分区表相关的过滤语句生成查询语句，执行所述查询语句，从所述hive数据表中提取至少部分所述分区表中的数据，得到待提取数据表；获得预设筛选条件，从所述待提取数据表中提取与所述预设筛选条件相符的数据。
5.为解决上述技术问题，本技术第二方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面所述的方法。
6.为解决上述技术问题，本技术第三方面提供一种计算机存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面所述的方法。
7.上述方案，获得hive数据表后确定hive数据表中的分区表，得到初始过滤总语句后，从初始过滤总语句中确定与分区表相关的过滤语句，基于与分区表相关的过滤语句生成查询语句，通过执行查询语句从hive数据表中提取至少部分分区表中的数据，基于提取出的数据得到待提取数据表，从而实现对hive数据表的预过滤。其中，整个预过滤过程只需要在初始过滤总语句和分区表对应的信息之间进行比对，而无需从数据层面对所有数据依次进行比较，减少了预过滤过程的算力消耗且提高了预过滤的效率，将初始过滤总语句中与分区表相关的过滤语句进行重组，生成查询语句，从hive数据表中提取对应的分区表中的数据组成待提取数据表，进而得到预设筛选条件后，从待提取数据表中按预设筛选条件对待提取数据表中的数据进行筛选，提取与预设筛选条件相符的数据。故此，通过查询语句对分区表进行了预过滤，从而无需hive数据表中的所有数据与预设筛选条件比对，有效减少了无效比对过程所消耗的算力并提高了数据提取的效率。
附图说明
8.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
9.图1是本技术数据提取方法一实施方式的流程示意图；
10.图2是本技术数据提取方法另一实施方式的流程示意图；
11.图3是图2中步骤s205对应的一实施方式的流程示意图；
12.图4是本技术数据提取方法一实施方式对应的应用场景示意图；
13.图5是本技术电子设备一实施方式的结构示意图；
14.图6是本技术计算机可读存储介质一实施方式的结构示意图。
具体实施方式
15.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
16.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
17.本技术所提供的数据提取方法用于对hive数据表中的数据进行提取，应用于分布式集群系统，其中，分布式集群系统中所部署的场所包括但不限于公司、工厂和学校，本技术所提供的数据提取方法在一些应用场景中对应有数据提取模组，基于数据提取模组可将本技术所提供的数据提取方法应用于上述分布式集群系统中，本技术所提供的数据提取方法对应的执行主体为能够调用hive数据表的处理器或处理模块。
18.请参阅图1，图1是本技术数据提取方法一实施方式的流程示意图，该方法包括：
19.s101：获得hive数据表并确定hive数据表中的分区表。
20.具体地，获得hive数据表，确定hive数据表中的分区表，其中，hive数据表中包括多个分区表，分区表按照预设分区规则进行划分。
21.在一应用方式中，获得hive数据表，对hive数据表进行解析，得到hive数据表的分区信息，其中，分区信息包括分区表的分区位置和分区字段，基于分区信息确定hive数据表中的各个分区表以及分区表对应的分区字段。
22.在另一应用方式中，获得hive数据表，对hive数据表进行解析，得到hive数据表对应的预设分区规则，基于预设分区规则确定hive数据表中的各个分区表，并确定分区表对应的分区字段。
23.s102：获得初始过滤总语句，基于初始过滤总语句中与分区表相关的过滤语句生成查询语句，执行查询语句，从hive数据表中提取至少部分分区表中的数据，得到待提取数据表。
24.具体地，获得初始过滤总语句，从初始过滤总语句中确定与分区表相关的过滤语句，基于与分区表相关的过滤语句生成查询语句，通过执行查询语句从hive数据表中提取至少部分分区表中的数据，基于提取出的数据得到待提取数据表，从而实现对hive数据表的预过滤。
25.在一应用方式中，获得初始过滤总语句，对初始过滤总语句进行分解，将初始过滤总语句分解为最小语句单元，其中，最小语句单元无法进一步分解，从初始过滤总语句中提取与分区表相关的最小语句单元，将与分区表相关的最小语句单元重组成查询语句，执行查询语句，从hive数据表中提取初始过滤总语句中涉及的分区表中的数据，得到待提取数据表。
26.在另一应用方式中，获得初始过滤总语句，确定hive数据表中分区表的分区字段，将分区字段与初始过滤总语句中的过滤语句进行比对，确定初始过滤总语句中包括分区字段的过滤语句，将包括分区字段的过滤语句重组成查询语句，执行查询语句，从hive数据表中提取初始过滤总语句中涉及的分区字段对应的分区表中的数据，得到待提取数据表。
27.在一应用场景中，获得初始过滤总语句，对初始过滤总语句进行分解，每分解一次确定分解得到的语句单元是否为最小语句单元，若是，则确定当前的最小语句单元是否与分区表相关，若相关则将当前的最小语句单元临时保存，若不相关则将当前的最小语句单元丢弃，进而对初始过滤总语句进行进一步分解直至初始过滤总语句无法分解为止，将所有临时保存的过滤语句反向重组为结构化查询语句，即sql查询语句，执行sql查询语句从hive数据表中提取数据组成待识别数据表。
28.s103：获得预设筛选条件，从待提取数据表中提取与预设筛选条件相符的数据。
29.具体地，获得预设筛选条件，从待提取数据表中按预设筛选条件对待提取数据表中的数据进行筛选，提取与预设筛选条件相符的数据。故此，通过查询语句对分区表进行了预过滤，从而无需hive数据表中的所有数据与预设筛选条件比对，有效减少了无效比对过程所消耗的算力并提高了数据提取的效率。
30.在一应用方式中，获得预设筛选条件，将待提取数据表中的数据依次与预设筛选条件比对，确定符合预设筛选条件的数据，进而从待提取数据表中提取与预设筛选条件相符的数据。
31.在另一应用方式中，获得预设筛选条件，生成待提取数据表中的数据对应的多个待执行任务，按顺序执行待执行任务，从待提取数据表中提取与预设筛选条件相符的数据，将预设时长作为周期，响应于每经过预设时长，将已执行的待执行任务标记为已执行任务，直至所有待执行任务执行完毕，以便于在待执行任务中断后能够基于标记对未执行的待执行任务进行恢复，减少对已执行过的待执行任务重复执行的算力消耗。
32.在一应用场景中，预设筛选条件包括数据的数据名，将待提取数据表中的数据对应的数据名依次与预设筛选条件比对，确定符合预设筛选条件的数据。
33.在另一应用场景中，预设筛选条件包括数据的数据属性，在待提取数据表的数据中查找与预设筛选条件相匹配的数据，确定符合预设筛选条件的数据。
34.上述方案，获得hive数据表后确定hive数据表中的分区表，得到初始过滤总语句后，从初始过滤总语句中确定与分区表相关的过滤语句，基于与分区表相关的过滤语句生成查询语句，通过执行查询语句从hive数据表中提取至少部分分区表中的数据，基于提取
出的数据得到待提取数据表，从而实现对hive数据表的预过滤。其中，整个预过滤过程只需要在初始过滤总语句和分区表对应的信息之间进行比对，而无需从数据层面对所有数据依次进行比较，减少了预过滤过程的算力消耗且提高了预过滤的效率，将初始过滤总语句中与分区表相关的过滤语句进行重组，生成查询语句，从hive数据表中提取对应的分区表中的数据组成待提取数据表，进而得到预设筛选条件后，从待提取数据表中按预设筛选条件对待提取数据表中的数据进行筛选，提取与预设筛选条件相符的数据。故此，通过查询语句对分区表进行了预过滤，从而无需hive数据表中的所有数据与预设筛选条件比对，有效减少了无效比对过程所消耗的算力并提高了数据提取的效率。
35.请参阅图2，图2是本技术数据提取方法另一实施方式的流程示意图，该方法包括：
36.s201：获得hive数据表及其对应的存储路径，基于存储路径提取hive数据表对应的源数据文件，确定源数据文件中的分区表及其对应的分区名，确定分区表中的文件及其对应的文件名。
37.具体地，获得hive数据表以及hive数据表对应的存储路径，基于存储路径提取hive数据表对应的源数据文件。其中，源数据文件为hadoop分布式文件系统中的hdfs文件。
38.进一步地，基于源数据文件的存储结构，确定源数据文件中的分区表以及分区表对应的分区名，确定分区表中的文件以及文件对应的文件名。
39.在一应用场景中，获得hive数据表，基于用户的配置创建hive数据表的连接地址，获得hive数据表的存储路径，解析hive数据表，获得hive数据表的描述信息包括hive表的表结构、表所对应的文件存储路径、文件类型、文件解析协议、文件中字段分隔符和分区信息。其中，表结构能够用于解析hive数据表的结构，文件类型和文件解析协议能够用于确定文件类型以及如何提取文件中的数据，文件中的字段分隔符能够用于区分不同的文件，分区信息能够用于确定不同的分区表。进而基于分区信息确定分区表并得到分区表对应的分区名，在分区表中基于文件中字段分隔符确定分区表中的文件并得到文件对应的文件名。
40.s202：基于分区名和文件名，对源数据文件中的所有文件进行排序，得到文件列表。
41.具体地，基于分区名和文件名，对源数据文件的各个分区表中的文件进行排序，得到排序后的文件列表。
42.在一应用场景中，将源数据文件的各个分区表中的文件按照分区名 文件名的方式进行排序，其中，分区名优先级较高的文件位于分区名优先级较低的文件之后，同一分区表中的文件按照文件名的优先级排序，从而得到源数据文件对应的文件列表，使源数据文件中的文件排布更加合理。
43.需要说明的是，当hive数据表中包括的数据表不是分区表时，则基于数据表中的文件及其对应的文件名进行排序，将排序后的文件对应的数据组成待提取数据表。
44.s203：获得初始过滤总语句，从初始过滤总语句中提取目标过滤语句，基于目标过滤语句生成查询语句，其中，目标过滤语句包括分区表的分区字段。
45.具体地，获得初始过滤总语句，从初始过滤总语句中提取与分区表的分区字段相关的过滤语句，作为目标过滤语句，从而基于目标过滤语句生成查询语句，从而通过分区表的分区字段能够确定初始过滤总语句中所涉及的分区表，得到目标过滤语句，通过目标过滤语句能够生成查询语句，以便查询与目标过滤语句相关的分区表。
46.在一应用方式中，获得初始过滤总语句，从初始过滤总语句中提取目标过滤语句，基于目标过滤语句生成查询语句，包括：获得初始过滤总语句，逐个层级对初始过滤总语句进行语法分解，得到多个语句单元；响应于当前层级的语句单元中包括最小语句单元，将包括分区字段的最小语句单元加入条件列表；响应于分解至初始过滤总语句的最低层级，合并条件列表中的最小语句单元，得到目标过滤语句，将目标过滤语句转换成查询语句。
47.具体地，得到初始过滤总语句后，对初始过滤总语句按照逐个层级进行语法分解，每进行一个层级的语法分解即可获得多个语句单元，对当前层级所分解出的语句单元进行判断，判断当前层级的语句单元中是否包括最小语句单元，若不包括则进行进一步分解，若包括则进一步判断最小语句单元是否包括分区字段，若不包括则将不包括分区字段的最小语句单元丢弃，若包括则将包括分区字段的最小语句单元加入至条件列表，从而通过逐层分解并解析出与分区字段相关的最小语句单元，提高获取与分区字段相关的目标过滤语句的准确率。
48.需要说明的是，对初始过滤总语句逐层级分解至所有过滤语句均无法进一步分解，从而将初始过滤总语句分解为多个最小语句单元，且每个最小语句单元已经确定过是否与分区字段相关，进而条件列表中包括所有与分区字段相关的过滤语句。
49.进一步地，将条件列表中的所有最小语句单元合并，得到目标过滤语句，并将目标过滤语句转换成查询语句。
50.在一应用场景中，初始过滤总语句基于where条件语句生成，将where条件语句逐个层级进行分解，假设初始过滤总语句包括a、b、c三个条件，在第一层级分解后得到a&b、以及c两个语句单元，将对应的语句单元解析为语法树的左分支和右分支，得到a&b的左右分支和c的左右分支，并判断语句单元对应的左右分支是否是最小语句单元，若是，则确定最小语句单元是否包括分区字段，将包括分区字段的最小语句单元加入条件列表，否则对where条件语句进行下一层级的分解。其中，假设c的左分支包括分区字段，c的右分支不包括分区字段，则将c的左分支加入至条件列表，c的右分支丢弃，而a&b的左右分支均不是最小语句单元，则对a&b进行下一层级的分解，得到a、b相互独立的语句单元，并对a和b各自对应的左右分支进行上述判断，本技术对此不再赘述，从而在条件列表中能够获得准确且详尽的与分区字段相关的最小语句单元，按照解析时加入至条件列表的顺序，将条件列表中的最小语句单元按照与加入至条件列表相反的顺序合并，从而得到目标过滤语句，组成新的where条件。
51.s204：执行查询语句，从文件列表中提取目标文件，得到目标文件中的数据组成的待提取数据表，其中，目标文件与初始过滤总语句中包含的分区字段相关。
52.具体地，执行查询语句，基于查询语句从文件列表中提取与初始过滤总语句中包含的分区字段相关的目标文件，其中，文件列表中的文件基于分区名和文件名排列，进而从文件列表中提取得到的目标文件也保留有排列顺序。故此，目标文件仍是基于分区名和文件名排列的，将目标文件对应的数据组成待提取数据表，从而待提取数据表中的数据也基于分区名和文件名排列，以便于明确数据提取的顺序。
53.s205：获得预设筛选条件，从待提取数据表中提取与预设筛选条件相符的数据。
54.具体地，获得预设筛选条件，从待提取数据表中按预设筛选条件对待提取数据表中的数据进行筛选，提取与预设筛选条件相符的数据。
55.在一应用方式中，请参阅图3，图3是图2中步骤s205对应的一实施方式的流程示意图，其中，图3所示的流程不仅仅局限于是上述步骤s205的一种应用方式也可以是上述实施例中步骤s103对应的一种应用方式，上述步骤s205包括：
56.s301：基于待提取数据表中所有数据的顺序，生成所有数据各自对应的多个待执行任务，将待执行任务标记为未执行任务。
57.具体地，按照待提取数据表中所有数据的顺序，生成所有数据各自对应的多个待执行任务，将还未执行的待执行任务标记为未执行任务。
58.进一步地，当待提取数据表中的数据按顺序排列时，则多个待执行任务按顺序生成，并在执行时能够按顺序读取待提取数据表中的数据。
59.s302：执行待执行任务，以读取待执行任务对应的数据，基于预设筛选条件对读取到的数据进行筛序，得到与预设筛选条件相符的数据。
60.具体地，执行待执行任务，从而依次读取待执行任务所对应的数据，将获得的预设筛选条件与读取到的数据进行比对，实现对读取到的数据进行筛序，得到与预设筛选条件相符的数据。
61.在一应用场景中，获得任务数量阈值，基于任务数量阈值和未执行的待执行任务的数量，确定待执行任务的可执行数量；并行执行可执行数量个待执行任务，读取待执行任务对应的数据；将读取到的数据与预设筛选条件进行比对，得到与预设筛选条件相符的数据。
62.具体地，并行执行待执行任务的数量对应有数量阈值，基于数量阈值和未执行的待执行任务的数量，确定待执行任务的可执行数量，将可执行数量个待执行任务并行执行，读取待执行任务对应的数据，提高数据读取的效率，将读取到的数据与预设筛选条件进行比对，从而得到与预设筛选条件相符的数据。
63.在一具体应用场景中，基于任务数量阈值和未执行的待执行任务的数量，确定待执行任务的可执行数量，包括：响应于未执行的待执行任务的数量大于任务数量阈值，将任务数量阈值作为可执行数量；或者，响应于未执行的待执行任务的数量小于或等于任务数量阈值，将未执行的待执行任务的数量作为可执行数量。
64.具体地，当未执行的待执行任务的数量大于任务数量阈值时，将任务数量阈值作为可执行数量，当未执行的待执行任务的数量小于或等于任务数量阈值时，将未执行的待执行任务的数量作为可执行数量，从而以最高的效率读取待执行任务对应的数据。
65.进一步地，并行执行可执行数量个待执行任务，读取待执行任务对应的数据，包括：并行执行可执行数量个待执行任务，读取待执行任务对应的数据；响应于未读取到任一待执行任务对应的数据，跳过未读取到数据的待执行任务并生成错误日志。
66.具体地，将可执行数量个待执行任务并行执行，读取待执行任务对应的数据，当未读取到任一待执行任务对应的数据时，则跳过对应的任务并生成错误日志，以便提醒用户存在未读取到的数据，提高数据提取的精度。
67.s303：将预设时长作为周期，响应于每经过预设时长，将已执行的待执行任务标记为已执行任务，直至所有待执行任务执行完毕。
68.具体地，设置预设时长作为周期，当经过预设时长时，将已执行的待执行任务标记为已执行任务，等待下一个预设时长，直至所有待执行任务顺利执行完毕。
69.可以理解的是，当所有待执行任务未全部执行之前，若因执行主体崩溃导致待执行任务中断时，则基于已执行任务能够获得最新的预设时长对应的周期内已经执行过的待执行任务，从而在进行任务恢复时，无需对所有待执行任务从头开始执行，降低对任务重复执行的概率，提高任务恢复的效率即可提高数据提取的效率。
70.在一应用场景中，未执行任务对应有未执行标记，响应于每经过预设时长，将已执行的待执行任务标记为已执行任务，直至所有待执行任务执行完毕，包括：响应于当前的预设时长内的所有待执行任务对应的数据已读取，将已读取的数据对应的待执行任务的未执行标记删除，确定已执行任务；基于未执行标记，查找到包括未执行标记的剩余的未执行任务，将未包括未执行标记的已执行任务及其对应的数据删除；进入下一个预设时长对应的周期，直至所有待执行任务执行完毕。
71.具体地，未执行的待执行任务设置有未执行标记，从而标注出待执行任务中的未执行任务，每经过预设时长后进入当前的周期，在当前的周期中，将已经读取过的数据对应的待执行任务的未执行标记删除，从而将未执行任务转换成已执行任务，基于未执行标记，查找包括未执行标记的待执行任务，也就是下个周期内还未执行的剩余的未执行任务，将没有未执行标记的已执行任务删除，同时将待提取数据表中已执行任务对应的数据删除以便更新任务进度，从而在进行任务恢复时，能够直接提取剩余的未执行任务及其对应的数据，提高任务恢复的效率。
72.在一具体应用场景中，请参阅图4，图4是本技术数据提取方法一实施方式对应的应用场景示意图，在本应用场景中，数据提取方法基于数据提取模组执行，数据提取模组包括如图4中所示的解析hive数据表模块、预过滤数据模块、组装任务模块、任务进度持久化模块、任务调度模块、数据消费者模块、数据过滤模块、数据生产者模块、恢复任务模块、抽取进度管理模块和数据存储模块。其中，解析hive数据表模块用于基于用户的配置创建hive数据表的地址，获取hive数据表的描述信息，描述信息包括hive表的表结构、表所对应的文件存储路径、文件类型、文件解析协议、文件中字段分隔符、分区信息。
73.进一步地，预过滤数据模块用于获取初始过滤总语句，将hive数据表中的分区表的文件通过分区名 文件名的方式进行排序获得文件列表，再根据hive数据表的分区字段，解析提取含有分区字段的语句并重新组装sql查询语句，使用tidb语法匹配文件列表得到待提取数据表，以此达到预过滤文件的目的。
74.进一步地，组装任务模块负责对各个分区表下的文件，按照文件名排序，生成待执行任务，并把待执行任务保存，以便故障恢复，并提交任务给任务调度模块。任务调度模块，根据下发的待执行任务的数量，结合用户配置的任务数量阈值，动态调整执行待执行任务的可执行数量。
75.进一步地，数据消费者模块在接收到待执行任务后，读取文件并解析数据，并把数据发送给数据过滤模块，对于非法文件或者解析失败的数据行，处理策略为跳过，同时记录错误日志。数据过滤模块用于根据用户的预设筛选条件匹配数据，并把数据发送给数据生产者。数据生产者模块，根据用户配置，负责把数据转换对应的类型，发送给数据存储模块，数据存储模块中包括数据库(如mysql、es)、数据仓库(如hive、hbase)、消息系统(如kafka、rabbitmq)中的至少一种。
76.进一步地，抽取进度管理模块，负责接收任务处理的进度，数据消费者，先在抽取
进度管理模块中按照顺序注册，为未执行的待执行任务生成未执行标记，然后数据经过数据过滤和数据生产者之后发送给数据存储模块，数据调用回调接口通知抽取进度管理模块此数据已经成功发送，抽取进度管理模块标记此消息完成并删除已执行任务的未执行标记，抽取进度管理模块每间隔预设时长对应的周期，按照数据注册的顺序检查未执行标记，直到找到第一个标记没有发送的标记数据为止，则删除标记数据之前的数据及其对应的待执行任务，同时把进度提交给任务进度持久化模块保存。
77.进一步地，任务进度持久化模块负责保存组装任务模块组装好的待执行任务，以及保存数据消费者处理待执行任务的进度，以便待执行任务中断时通过恢复任务模块恢复未执行的待执行任务。
78.在本实施例中，对初始过滤总语句进行了语句分解，并从中挖掘出与分区字段相关的最小语句单元合并成目标过滤语句，基于目标过滤语句对hive数据表进行筛选，得到待提取数据表，从分区表层面对hive数据表进行了预过滤，减少了待提取数据表的数据量，从而提高了数据提取的效率，基于待提取数据表中的数据生成多个待执行任务，并且标注未执行任务，当经过预设时长对应的周期后，将已执行的待执行任务标记为已执行任务，从而在待执行任务中断时，基于已执行任务能够获得最新的预设时长对应的周期内已经执行过的待执行任务，从而在进行任务恢复时，无需对所有待执行任务从头开始执行，降低对任务重复执行的概率，提高任务恢复的效率即可提高数据提取的效率。
79.请参阅图5，图5是本技术电子设备一实施方式的结构示意图，该电子设备50包括相互耦接的存储器501和处理器502，其中，存储器501存储有程序数据(图未示)，处理器502调用程序数据以实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
80.请参阅图6，图6是本技术计算机可读存储介质一实施方式的结构示意图，该计算机可读存储介质60存储有程序数据600，该程序数据600被处理器执行时实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
81.需要说明的是，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
82.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
83.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
84.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。