数据处理方法、装置、服务器、系统、介质及产品与流程

摘要: 本技术涉及数据库,尤其涉及一种数据处理方法、装置、服务器、系统、介质及产品。背景技术:1、在基于共享存储的分布式数据库中,能够支持多个数据库服务器访问共享存储中...
数据处理方法、装置、服务器、系统、介质及产品与流程

本技术涉及数据库,尤其涉及一种数据处理方法、装置、服务器、系统、介质及产品。

背景技术:

1、在基于共享存储的分布式数据库中,能够支持多个数据库服务器访问共享存储中的数据。然而,在多个数据库服务器均需要访问共享存储中的同一数据时,很可能会出现数据从一个数据库服务器频繁转移至另一个数据库服务器的情况,从而导致数据访问冲突。

技术实现思路

1、本技术提供了一种数据处理方法、装置、服务器、系统、介质及产品,用于减少出现数据从一个数据库服务器频繁转移至另一个数据库服务器的情况,从而避免数据访问冲突。

2、为达到上述目的,本技术提供如下技术方案。

3、第一方面,提供了一种数据处理方法,该方法可以由数据库服务器执行,也可以由数据库服务器的部件,例如数据库服务器的处理器、芯片、或芯片系统等执行,还可以由能实现全部或部分数据库服务器功能的逻辑模块或软件实现,例如数据库服务器中的数据库实例执行。

4、该方法包括:数据库服务器接收来自业务服务器的目标查询语句。其中,目标查询语句携带目标数据表的信息。并且,数据库服务器基于目标查询语句,向业务服务器发送目标数据表的路由信息。

5、其中,路由信息用于确定处理业务请求所请求处理的至少一个数据表的一个数据库服务器。目标数据表为至少一个数据表中的一个数据表。

6、在上述技术方案中,在数据库服务器接收到业务服务器的目标查询语句时,根据目标查询语句携带的目标数据表的信息向业务服务器发送目标数据表的路由信息,以便于业务服务器根据目标数据表的路由信息确定处理业务请求的一个数据库服务器。如此,使得一个业务请求可对应由一个数据库服务器处理,也就是说,一个业务请求会被分发到与其对应的一个数据库服务器上,而不会被随机分发到不同的数据库服务器上。如此,能够避免多个数据库服务器均访问同一数据的情况,也就不会出现数据从一个数据库服务器频繁转移至另一个数据库服务器的情况,从而减少数据访问冲突。

7、在一些可能的实施方式中,路由信息包括目标数据表的索引的多个数值区间以及各个数值区间对应的数据库服务器的信息,其中一个数值区间对应一个数据库服务器。

8、其中,目标数据表的索引是一种用于优化数据检索的数据结构。可理解的是,索引类似于书籍的目录,用于为目标数据表中的数据建立快速查询的路径,以提升查询效率。示例性地,目标数据表的索引可以是b树索引。多个数值区间是对目标数据表的索引的数值分布范围进行划分得到的。

9、在上述实施方式中,使得在确定处理业务请求的数据库服务器时,对于属于同一个数值区间的数据的业务请求来说,该业务请求会被分发到与该数值区间对应的一个数据库服务器上,而不会被随机分发到不同的数据库服务器上。如此,能够避免多个数据库服务器均访问同一数据的情况,也就不会出现数据从一个数据库服务器频繁转移至另一个数据库服务器的情况,从而减少数据访问冲突。

10、在一些可能的实施方式中,目标数据表的路由信息的确定过程,包括:获取目标数据表的索引的数值分布范围;按照数据库系统包括的多个数据库服务器的数量,将数值分布范围划分为多个数值区间;基于多个数值区间以及多个数据库服务器的信息,生成目标数据表的路由信息。

11、其中,多个数据库服务器可以是数据库系统包括的所有数据服务器。进一步地,在一些可能的实施方式中,多个数据库服务器也可以为数据库系统包括的所有数据服务器中处于活跃状态的数据库服务器。其中,处于活跃状态的数据库服务器是指当前处于正常运行状态且能够正常提供服务的数据库服务器。可理解的是,多个数据库服务器的数量与多个数值区间的数量相同,以确保一个数值区间对应一个数据库服务器。

12、在上述实施方式中,提供了一种确定目标数据表的路由信息的方式。其中,按照多个数据库服务器的数量,来对目标数据表的索引的数值分布范围进行划分,以划分得到相同数量的多个数值区间,从而确保一个数值区间对应一个数据库服务器。进而,将多个数值区间以及各个数值区间对应的数据库服务器的信息对应存储以生成路由信息,以便于后续数据处理流程的正常执行。可理解的是,对于数据库系统包括的每个数据表,均可以采用上述方式来确定各个数据表的路由信息。

13、在一些可能的实施方式中,索引为b树索引。相应地,获取目标数据表的索引的数值分布范围的过程,可以包括如下两种实现方式。

14、实现方式一、基于目标数据表的b树索引的根节点中存储的键值,确定目标数据表的索引的数值分布范围。其中,根节点是b树索引的最顶层节点。可理解的是,b树索引的根节点的数量为一个。根节点中存储的键值,用于将b树索引整体的数值范围(也即根节点连接的子树的数值范围)划分为多个子范围。也就是说,索引的数值分布范围可以包括这多个子范围。

15、实现方式二、基于目标数据表的b树索引的多个中间节点中存储的高键值(highkey value),确定目标数据表的索引的数值分布范围。其中,中间节点可以是根节点的下一层非叶子节点(如称作第二层非叶子节点)或下下一层非叶子节点(如称作第三层非叶子节点)。可理解的是,b树索引的中间节点的数量为多个。中间节点中存储的键值,用于将该中间节点连接的子树的数值范围划分为多个子范围。高键值是指中间节点中存储的至少一个键值中的最大键值,也即是中间节点所管理的子树中的最大键值。可理解的是,b树索引的多个中间节点中存储的高键值,同样是将根节点连接的子树的数值范围划分为多个子范围,也即将b树索引整体的数值范围划分为多个子范围,因而,根据多个中间节点中存储的高键值,同样能够确定出b树索引的数值分布范围。

16、在上述实施方式中,通过分析目标数据表的b树索引的根节点中存储的键值,或目标数据表的b树索引的多个中间节点中存储的高键值,能够准确且高效的确定目标数据表的索引的数值分布范围。

17、在一些可能的实施方式中,目标数据表的索引为目标数据表的目标索引列对应的索引。其中,目标索引列为至少一个索引列中被访问次数最多的索引列。

18、相应地,该方法还包括:基于目标数据表的业务访问记录,从目标数据表的至少一个索引列中选取目标索引列。进而,确定目标索引列对应的索引作为目标数据表的索引。

19、在上述实施方式中,通过选取数据表中被访问次数最多的索引列,能够获得在业务请求中被频繁查询使用的索引列,也即获得了业务偏好的索引列。进而,根据业务偏好的索引列来确定目标数据表的索引,增加了确定索引所参考的信息量,能够获得被访问次数最多的索引,进而能够显著提升基于业务请求的查询性能并优化数据库系统的整体性能。

20、在一些可能的实施方式中,目标索引列为索引分析图中与目标数据表对应的节点连接的至少一条第一边中,权重的数值最大的第一边对应的索引列。

21、相应地,该方法还包括:基于数据库系统包括的所有数据表的至少一个索引列以及各个数据表的业务访问记录,生成索引分析图。

22、其中,索引分析图包括多个节点、与节点连接的至少一条第一边以及各条第一边的权重,节点用于指示数据表,与节点连接的至少一条第一边用于指示节点对应的数据表的至少一个索引列,第一边的权重用于指示第一边对应的索引列的被访问次数。

23、进而,在生成索引分析图之后,可从索引分析图中与目标数据表对应的节点连接的至少一条第一边中,选取权重的数值最大的第一边对应的索引列,作为目标索引列。

24、在一些可能的实施方式中,索引分析图还用于表征数据库系统包括的所有数据表之间的关联关系,其中,索引分析图还包括节点之间的第二边,节点之间的第二边用于表征第二边连接的两个节点对应的数据表之间存在关联关系。

25、在上述实施方式中,通过构建索引分析图,利用节点表示数据表,利用第一边表示索引列,并增加用于表征对应索引列的被访问次数的边权重,进而通过分析目标数据表对应节点所连接的各条第一边的边权重,能够快速确定出目标数据表中被访问次数最多的索引列,也即获得了目标索引列。

26、在一些可能的实施方式中,索引可以是单列索引或复合索引。其中,单列索引是基于一个索引列创建的索引。复合索引是基于多个索引列创建的索引。

27、相应地,在索引为单列索引的情况下,目标数据表的索引为基于目标索引列创建的索引。或,在索引为多列索引的情况下,目标数据表的索引为以目标索引列作为第一个索引列创建的索引。如此,提供了针对单列索引或复合索引的确定方式,在获得目标索引列之后,能够快速且高效的确定出目标索引列对应的索引。

28、在一些可能的实施方式中,在基于多个数值区间以及多个数据库服务器的信息,生成目标数据表的路由信息之后,该方法还包括:

29、将目标数据表的路由信息存储至数据库中。其中,数据库用于存储数据库系统包括的数据表的路由信息且支持多个数据库服务器访问。

30、在上述实施方式中,通过将目标数据表的路由信息存储至数据库中,以便后续数据库服务器能够从数据库获得目标数据表的路由信息。并且,数据库支持多个数据库服务器访问,也就能够支持多个数据库服务器中的任意一个数据库服务器访问,提升了数据库服务器的灵活性。

31、在一些可能的实施方式中,在向业务服务器发送目标数据表的路由信息之前,该方法还包括:从数据库中,基于目标查询语句中携带的目标数据表的信息,获取目标数据表的路由信息,以便向业务服务器发送目标数据表的路由信息。

32、在一些可能的实施方式中,该方法还包括:向业务服务器发送索引参考信息。其中,索引参考信息用于指示目标参数在目标查询语句中的位置,目标参数用于指示与目标数据表的索引相关的待处理数据,待处理数据用于确定处理业务请求所请求处理的至少一个数据表的一个数据库服务器。

33、在上述实施方式中,通过向业务服务器发送索引参考信息,以便业务服务器能够获知目标参数在目标查询语句中的位置,进而根据该目标参数指示的待处理数据,确定处理业务请求的一个数据库服务器。

34、第二方面,提供了一种数据处理方法,该方法可以由业务服务器执行,也可以由业务服务器的部件,例如业务服务器的处理器、芯片、或芯片系统等执行,还可以由能实现全部或部分业务服务器功能的逻辑模块或软件实现,例如业务服务器中的数据库驱动执行。

35、该方法包括:业务服务器接收业务请求。其中,业务请求用于请求对至少一个数据表进行处理,具体是请求对至少一个数据表中的数据进行处理。业务请求中包括至少一条查询语句。业务服务器向数据库系统包括的多个数据库服务器中的任一个数据库服务器发送目标查询语句。其中,目标查询语句为至少一条查询语句中的一条,目标查询语句携带目标数据表的信息,目标数据表为至少一个数据表中的一个数据表。

36、并且,业务服务器接收数据库服务器发送的目标数据表的路由信息。业务服务器基于目标数据表的路由信息,确定处理业务请求的一个数据库服务器。

37、在上述技术方案中,业务服务器接收业务请求,向数据库系统包括的多个数据库服务器中的任一个数据库服务器发送业务请求中的目标查询语句。在数据库服务器接收到业务服务器的目标查询语句时,根据目标查询语句携带的目标数据表的信息向业务服务器发送目标数据表的路由信息。进而,业务服务器在接收到数据库服务器发送的目标数据表的路由信息后,可以根据目标数据表的路由信息确定处理业务请求的一个数据库服务器。如此,使得一个业务请求可对应由一个数据库服务器处理,也就是说,一个业务请求会被分发到与其对应的一个数据库服务器上,而不会被随机分发到不同的数据库服务器上。如此,能够避免多个数据库服务器均访问同一数据的情况,也就不会出现数据从一个数据库服务器频繁转移至另一个数据库服务器的情况,从而减少数据访问冲突。

38、在一些可能的实施方式中,路由信息包括目标数据表的索引的多个数值区间以及各个数值区间对应的数据库服务器的信息,其中一个数值区间对应一个数据库服务器。

39、在上述实施方式中,使得在确定处理业务请求的数据库服务器时,对于属于同一个数值区间的数据的业务请求来说,该业务请求会被分发到与该数值区间对应的一个数据库服务器上,而不会被随机分发到不同的数据库服务器上。如此,能够避免多个数据库服务器均访问同一数据的情况,也就不会出现数据从一个数据库服务器频繁转移至另一个数据库服务器的情况,从而减少数据访问冲突。

40、在一些可能的实施方式中,业务服务器基于目标数据表的路由信息,确定处理业务请求的一个数据库服务器,包括:业务服务器对目标查询语句进行解析,得到业务请求所请求处理的目标数据表的待处理数据。业务服务器基于待处理数据,从路由信息中,确定与待处理数据所属的数值区间对应的一个数据库服务器为处理业务请求的数据库服务器。

41、在上述实施方式中,通过解析业务请求的目标查询语句能够得到业务请求所请求处理的目标数据表的待处理数据,进而根据待处理数据所属的数值区间,能够确定与数据所属的数值区间对应的一个数据库服务器,也即确定出了处理业务请求的数据库服务器。

42、在一些可能的实施方式中,在基于目标数据表的路由信息,确定处理业务请求的一个数据库服务器之前,方法还包括:接收数据库服务器发送的索引参考信息,索引参考信息用于指示目标参数在目标查询语句中的位置,目标参数用于指示与目标数据表的索引相关的待处理数据。

43、相应地,对目标查询语句进行解析,包括:基于索引参考信息,对目标查询语句进行解析。

44、在上述实施方式中,通过向业务服务器发送索引参考信息,以便业务服务器能够获知目标参数在目标查询语句中的位置,进而根据该目标参数指示的待处理数据,确定处理业务请求的一个数据库服务器。

45、在一些可能的实施方式中,业务服务器在接收数据库服务器发送的数据表的路由信息之后,该方法还包括:业务服务器缓存目标数据表的路由信息。如此,业务服务器可在缓存路由信息之后,再基于所缓存的路由信息确定执行业务请求的数据库服务器。

46、第三方面,提供了一种数据处理装置用于实现上述第一方面提供的任意一种方法。该数据处理装置包括实现上述方法相应的模块、单元或手段(means),该模块、单元或means所执行的动作可以通过硬件实现、软件实现或通过硬件执行相应的软件实现。其中,该硬件或软件包括一个或多个与上述功能相对应的模块或单元。

47、在一种可能的实施方式中,该装置可以包括接收模块和发送模块;其中:

48、接收模块,用于接收来自业务服务器的目标查询语句,目标查询语句携带目标数据表的信息;

49、发送模块,用于基于目标查询语句,向业务服务器发送目标数据表的路由信息;

50、其中,路由信息用于确定处理业务请求所请求处理的至少一个数据表的一个数据库服务器,目标数据表为至少一个数据表中的一个数据表。

51、第四方面,提供了一种数据处理装置用于实现上述第二方面提供的任意一种方法。该数据处理装置包括实现上述方法相应的模块、单元或手段(means),该模块、单元或means所执行的动作可以通过硬件实现、软件实现或通过硬件执行相应的软件实现。其中,该硬件或软件包括一个或多个与上述功能相对应的模块或单元。

52、在一种可能的实施方式中,该装置可以包括接收模块、发送模块和确定模块;其中:

53、接收模块,用于接收业务请求,业务请求用于请求对至少一个数据表进行处理,业务请求中包括至少一条查询语句;

54、发送模块,用于向数据库系统包括的多个数据库服务器中的任一个数据库服务器发送目标查询语句,目标查询语句为至少一条查询语句中的一条,目标查询语句携带目标数据表的信息,目标数据表为至少一个数据表中的一个数据表;

55、接收模块,还用于接收数据库服务器发送的目标数据表的路由信息;

56、确定模块,用于基于目标数据表的路由信息,确定处理业务请求的一个数据库服务器。

57、第五方面,提供了一种数据库服务器,包括:存储器和处理器,存储器和处理器连接;存储器用于存储计算机执行指令;处理器用于调用计算机执行指令,从而实现上述第一方面或其任一实现方式的方法。

58、其中,上述第五方面的数据库服务器可以为:上述第一方面中任一实现方式中的数据库服务器,或者包含上述数据库服务器的装置,或者上述数据库服务器中包含的装置,比如芯片。

59、第六方面,提供了一种业务服务器,包括:存储器和处理器,存储器和处理器连接;存储器用于存储计算机执行指令;处理器用于调用计算机执行指令,从而实现上述第二方面或其任一实现方式的方法。

60、其中,上述第六方面的业务服务器可以为:上述第二方面中任一实现方式中的业务服务器,或者包含上述业务服务器的装置,或者上述业务服务器中包含的装置,比如芯片。

61、第七方面,提供了一种数据处理系统,包括如上述第五方面所示的数据库服务器和上述第六方面所示的业务服务器。

62、第八方面,提供了一种芯片,该芯片包括:处理器和接口电路;接口电路,用于接收计算机执行指令并传输至处理器;处理器,用于运行计算机执行指令以执行上述第一方面、第二方面或其任一实现方式的方法。

63、其中,当芯片部署在数据库服务器上时,处理器用于运行计算机执行指令以执行上述第一方面或其任一实现方式的方法。当芯片部署在业务服务器上时,处理器用于运行计算机执行指令以执行上述第二方面或其任一实现方式的方法。

64、第九方面,提供了一种计算机可读存储介质,包括计算机执行指令,当计算机执行指令在数据库服务器上运行时,使得数据库服务器执行上述第一方面或其任一实现方式的方法,当计算机执行指令在业务服务器上运行时,使得业务服务器执行上述第二方面或其任一实现方式的方法。

65、第十方面,提供了一种计算机程序产品,包括计算机执行指令,当计算机执行指令在数据库服务器上运行时,使得数据库服务器执行上述第一方面或其任一实现方式的方法,当计算机执行指令在业务服务器上运行时,使得业务服务器执行上述第二方面或其任一实现方式的方法。

66、其中,第三方面至第十方面中的任一种实现方式所带来的技术效果可参见第一方面或第二方面中对应实现方式所带来的技术效果,此处不再赘述。

67、上述各个方面中的任意一个方面的各种可能的实现方式,在方案不矛盾的前提下,均可以进行组合。