应用于虚拟数据库的数据传输方法及基于RDMA的数据库虚拟化方法与流程

应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法
技术领域
1.本技术涉及计算机技术技术领域，具体涉及一种应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法。


背景技术：

2.数据虚拟化是针对异构、多源、多所有者的数据集，通过对数据资源的逻辑虚拟化，实现数据的集成管理，并提供统一的访问接口，以便为各数据消费需求提供跨数据源整理的数据服务。
3.目前虚拟库实现方案主要是基于tcp/udp传统nfs或者iscsi等协议方式挂载实现，因此，网络带宽极大的影响了虚拟库的性能，同时，客户端服务的cpu 影响虚拟库性能，在一些需要高性跑批的场景中，虚拟库无法满足需求。


技术实现要素：

4.为了改善虚拟库使用过程中受到网络及cpu 的影响，本技术提供了一种应用于虚拟数据库的数据传输方法及基于rdma的数据库虚拟化方法。
5.第一方面，本技术提供了应用于虚拟数据库的数据传输方法，其通过以下技术方案实现：在存储服务器与目标服务器之间建立第一传输通道和第二传输通道，所述第一传输通道支持rdma协议，所述第二传输通道支持tcp协议;管理协议数据通过所述第二传输通道传输，虚拟库数据的读写通过所述第一传输通道实现传输。
6.通过采用上述技术方案，管理协议通过传统的tcp/ip 网络进行传输，虚拟库数据的读写通过rdma数据实现传输。解决了虚拟库使用过程中受到以太网带宽限制及cpu的影响。
7.在一些实施方式中，所述第一传输通道同时支持网络文件系统协议。
8.在一些实施方式中，所述第一传输通道支持infiniband环境。
9.通过采用上述技术方案，在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求。
10.第二方面，本技术提供了基于rdma的数据库虚拟化方法，包括：对存储服务器的目标数据进行备份；采用上述的应用于虚拟数据库的数据传输方法将目标数据挂载至目标服务器，形成虚拟数据库；基于恢复指令恢复数据。
11.通过基于rdma技术的网络协议挂载，将目标数据挂载到目标服务器，目标服务器
中使用该数据创建虚拟库，管理协议通过传统的tcp/ip 网络进行传输，虚拟库数据的读写通过rdma数据实现传输。解决了虚拟库使用过程中受到网络及cpu的影响。在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求。
12.在一些实施方式中，采用上述应用于虚拟数据库的数据传输方法将目标数据挂载至目标服务器，形成虚拟数据库后还包括：在虚拟数据库写入数据满足预设的策略时，对所述虚拟数据库进行快照，并记录创建快照时间点。
13.快照是基于时间点的位置引用记录，通过采用上述技术方案，能够记录某一时刻的数据信息并将其保存，便于在需要数据恢复时，通过快照将数据恢复到之前时间点的状态，即便于恢复数据。
14.在一些实施方式中，所述基于恢复指令恢复数据包括：接收恢复指令，其中，恢复指令携带有恢复时间点；基于恢复时间点确定目标时间点，所述目标时间点为距离恢复时间点之前最近的快照时间点；获取目标时间点处的快照；获取恢复时间点和目标时间点之间的日志信息；将日志信息融合到备份的快照中，以恢复虚拟数据库中对应的数据。
15.第三方面，本技术提供了基于rdma的数据库虚拟化系统，包括：存储服务器，用于存储源数据；目标服务器，数据的使用位于所述目标服务器；在所述存储服务器与目标服务器之间建立第一传输通道和第二传输通道，所述第一传输通道支持rdma协议，所述第二传输通道支持tcp协议；采用上述的应用于虚拟数据库的数据传输方法将存储服务器中的目标数据挂载至目标服务器，形成虚拟数据库。
16.在一些实施方式中，所述第一传输通道同时支持网络文件系统协议，所述第一传输通道支持infiniband环境。
17.第四方面，本技术提供了一种基于rdma的数据库虚拟化设备，包括：一个或多个处理器；计算机存储介质，用于存储一个或多个计算机可读指令，当所述一个或多个计算机可读指令被所述一个或多个处理器执行上述的基于rdma的数据库虚拟化方法。
18.第五方面，本技术提供了一种计算机存储介质，存储有程序，在所述程序运行时控制所述计算机存储介质所在设备执行上述的基于rdma的数据库虚拟化方法。
19.本技术与现有技术相比，具有以下优点：通过基于rdma技术的网络协议挂载，将数据挂载到目标环境，目标环境中使用该数据创建虚拟库，管理协议通过传统的tcp/ip 网络进行传输，虚拟库数据的读写通过rdma数据实现传输。解决了虚拟库使用过程中受到网络及cpu的影响，在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband
网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求。
附图说明
20.图1为本技术提供的基于rdma的数据库虚拟化系统的架构图；图2为本技术提供的基于rdma的数据库虚拟化方法的流程图；图3为本技术提供的基于rdma的数据库虚拟化方法中基于恢复指令恢复数据的流程图。
21.图中，1、存储服务器；2、目标服务器。
具体实施方式
22.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
23.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
24.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。
25.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
26.本技术首先公开了基于rdma的数据库虚拟化系统，如图1所示，包括：存储服务器1，用于存储源数据；目标服务器2，数据的使用位于目标服务器2；在存储服务器1与目标服务器2之间建立第一传输通道和第二传输通道，第一传输通道支持rdma协议，同时，第一传输通道可支持网络文件系统协议，第一传输通道可支持infiniband环境；第二传输通道支持tcp协议。
27.本技术还公开了应用于虚拟数据库的数据传输方法，基于本技术上述提供的基于rdma的数据库虚拟化系统，管理协议数据通过第二传输通道传输，虚拟库数据的读写通过第一传输通道实现传输。
28.本技术还公开了基于rdma的数据库虚拟化方法，该数据库虚拟化方法基于本技术上述提供的基于rdma的数据库虚拟化系统，且运用本技术上述提供的应用于虚拟数据库的数据传输方法的，如图2所示，具体包括：s100：对存储服务器1的目标数据进行备份；备份包括：全数据备份和增量数据备份，其中，全数据备份为备份数据库的全部数据，增量数据备份为只备份前一次全数据备份后新增加的数据。
29.s200：采用本技术上述提供的应用于虚拟数据库的数据传输方法，将目标数据挂载至目标服务器2，形成虚拟数据库；即管理协议数据通过第二传输通道传输，虚拟库数据的读写通过第一传输通道实
现传输，以此，解决了虚拟库使用过程中受到网络及cpu的影响，另外，在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求；s300：在虚拟数据库写入的数据满足预设策略时（如时间策略或数据量策略），对虚拟数据库进行快照，并记录创建快照时间；快照是基于时间点的数据拷贝，其目的在于能够记录某一时刻的数据信息并将其保存，若之后需要数据恢复时，可以通过快照将数据恢复到之前时间点的状态；s400：基于恢复指令恢复数据，具体如图3所示，包括：s401：基于恢复时间点确定目标时间点，目标时间点为距离恢复时间点之前最近的快照时间点；如：分别在2022年3月25日8：00，2022年3月25日8：10，2022年3月25日8：20，2022年3月25日8：30分别进行快照，希望恢复2022年3月25日8：25的数据，则对应的目标时间点为2022年3月25日8：20。
30.s402：获取目标时间点处的快照；基于上述实例，对应的获取2022年3月25日8：20的快照。
31.s403：获取恢复时间点和目标时间点之间的日志信息；s404：将日志信息融合到备份的快照中，以恢复虚拟数据库中数据至对应时间点；即首先读取快照，将快照进行存储，然后处于挂载状态的虚拟数据库将日志信息融合到存储快照的数据库中，以将虚拟数据库恢复到目标时间点，从而恢复虚拟数据库中数据。
32.例如，需要恢复虚拟数据库中2022年3月25日8：25的数据，则距离最近的快照时间点为2022年3月25日8：20，读取2022年3月25日8：20的快照，并将快照存储至一数据库，处于挂载状态的虚拟数据库将2022年3月25日8：20至2022年3月25日8：25的日志信息融合至存储快照的数据库中，从而将虚拟数据库恢复到目标时间点，恢复虚拟数据库中的数据。
33.本技术公开的基于rdma的数据库虚拟化方法，通过基于rdma技术的网络协议挂载，将数据挂载到目标环境，即目标服务器2，目标环境中使用该数据创建虚拟库，其中，管理协议通过传统的tcp/ip 网络进行传输，虚拟库数据的读写通过rdma数据实现传输。解决了虚拟库使用过程中受到网络及cpu的影响，在支持infiniband的网络环境中，虚拟库数据的输入与输出占用极少的以太网络带宽，数据通过高速的infiniband网络传输，使得虚拟库的性能达到和物理库同样高，满足用户高性能数据库跑批场景需求。
34.本技术还公开了基于rdma的数据库虚拟化设备，包括：一个或多个处理器；计算机存储介质，用于存储一个或多个计算机可读指令，当一个或多个计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器实现上述的基于rdma的数据库虚拟化方法。
35.本技术还公开了计算机存储介质，其存储有一个或多个计算机可读指令，计算机可读指令被处理器执行时，使得处理器实现上述的基于rdma的数据库虚拟化方法。计算机存储介质可能包括计算机可读介质中的非永久性存储器，计算机的存储介质的例子包括，
但不限于相变内存pram、静态随机存取存储器sram、动态随机存取存储器dram、其他类型的随机存取存储器ram、只读存储器rom、电可擦除可编程只读存储器eeprom、快闪记忆体或其他内存技术、只读光盘只读存储器cd-rom、数字多功能光盘dvd或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体transitory media，如调制的数据信号和载波。
36.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
37.以上对本技术及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本技术的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本技术创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本技术的保护范围。