一种数据同步方法、装置、电子设备、存储介质及产品与流程

1.本发明涉及网络通信技术领域，尤其涉及一种数据同步方法、装置、电子设备、存储介质及产品。


背景技术：

2.redis(remote dictionary server，远程字典服务)是一个开源的使用ansic(american national standards institute，美国国家标准学会)语言编写、支持多路网络io复用、基于内存的高性能key-value数据库。
3.现有技术中，在进行数据存储时，通常使用redis作为应用数据缓存的首选方案。在redis中进行数据同步处理时，通常是将当前节点切换为从节点来保存主节点信息，而且与数据同步处理插件实现的是单节点连接，这种处理方式导致有些节点上的数据同步不完整，且数据处理的稳定性较差，用户体验较差。


技术实现要素：

4.本发明提供一种时钟同步处理方法、装置、电子设备、存储介质及产品用以解决现有技术中同步处理效率低、质量差，导致用户体验较差的技术问题，本发明以实现通过自适应调整步长，提高同步处理效率，提升用户体验的目的。
5.第一方面，本发明提供一种数据同步方法，包括：
6.获取待同步的目标数据；
7.第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上；
8.第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据进行同步处理。
9.进一步，根据本发明提供的数据同步方法，所述第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上，包括：
10.所述第一代理程序以集群的方式将所述待同步的目标数据存储到关系型数据库的节点上。
11.进一步，根据本发明提供的数据同步方法，所述第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，包括：
12.根据所述第二代理程序中的节点与所述关系型数据库中主节点的映射关系，所述第二代理程序以单节点的方式从所述关系型数据库的主节点上获取所述待同步的目标数据。
13.进一步，根据本发明提供的数据同步方法，所述对所述待同步的目标数据进行同步处理，包括：
14.根据数据同步插件与第二代理程序中的多个节点之间的连接关系，数据同步插件将具有连接关系的多个节点中的目标数据存储到对应的目标通道中。
15.进一步，根据本发明提供的数据同步方法，所述对所述待同步的目标数据进行同
步处理，还包括：
16.将存储到多个目标通道中的目标数据按照预设的顺序取出，得到所有待同步的目标数据；
17.将所述所有待同步的目标数据存储到数据同步处理程序中，执行数据全同步事件。
18.进一步，根据本发明提供的数据同步方法，所述将所述所有待同步的目标数据存储到数据同步处理程序中，执行数据全同步事件，包括：
19.在数据同步处理程序中，根据所有待同步的目标数据的描述符信息对目标数据进行增加、修改、更新或删除操作。
20.第二方面，本发明还提供一种数据同步装置，包括：
21.获取模块，用于获取待同步的目标数据；
22.存储模块，用于第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上；
23.同步模块，用于第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据进行同步处理。
24.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据同步方法的步骤。
25.第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据同步方法的步骤。
26.第五方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上任一项所述数据同步方法的步骤。
27.本发明提供一种数据同步方法、装置、电子设备、存储介质及产品，所述方法包括：获取待同步的目标数据，第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上，第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据进行同步处理。本发明提供的数据同步方法能够保证数据存储的高可靠性，数据同步的完整性以及upf微服务的实现，提高了数据同步处理的速率，提升了用户体验。
附图说明
28.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明提供的数据同步方法的流程示意图；
30.图2是本发明提供的数据同步方法的整体流程示意图；
31.图3是本发明提供的数据同步装置的结构示意图；
32.图4是本发明提供的电子设备的结构示意图。
具体实施方式
33.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.图1为本发明提供的数据同步方法的流程示意图，如图1所示，本发明提供的数据同步方法，具体包括以下步骤：
35.步骤101：获取待同步的目标数据。
36.在本实施例中，需要从upf网元微服务中获取待同步的目标数据，其中，upf网元(user plance function，用户面功能)是外部pdu与数据网络互连的会话点，用于为用户提供微服务的相关数据。
37.需要说明的是，本实施例中待同步的目标数据是指待备份的目标数据，需要将目标数据进行备份处理，也就是将一个主upf网元中的目标数据备份到一个备upf网元中，当主upf网元出现故障时，直接采用备upf网元中的数据进行通信处理。
38.步骤102：第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上。
39.在本实施例中，需要利用第一代理程序将从主upf网元中获取的待同步目标数据存储到关系型数据库的节点上，其中，第一代理程序是指主代理程序(agent),主代理程序与关系型数据库(redis)之间采用集群通信的方式进行连接通信，集群是一种共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信模式，实现的是一种多对多的应用关系。
40.需要说明的是，在电信网络中，节点(node)是连接点，表示一个再分发点或一个通信端点。本实施例中关系型数据库中存在主节点和从节点，第一代理应用程序是将待同步的目标数据存储到关系型数据库中的主节点上，在其他实施例中，还可以将待同步的目标数据存储到关系型数据库中的从节点上，或主从节点上，可以根据用户的实际需要进行设定，在此不作具体限定。
41.步骤103：第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据进行同步处理。
42.在本实施例中，需要第二代理程序从关系数据库的节点上提取待同步的目标数据，对得到的待同步的目标数据执行同步处理操作。其中，本实施例中，第二代理程序是指备用代理程序，主要用于实现待同步的目标数据的同步处理。
43.需要说明的是，第二代理程序中的节点需要与关系型数据库中的主节点通过单节点模式建立关联关系，将关系型数据库中的每个主节点作为一个客户端，依次与第二代理程序中的节点建立连接关系，也就是说，关系型数据库中假如存在主节点a、主节点b，第二代理程序中存在节点1和节点2，依次建立主节点a-节点1、主节点b-节点2的对应关系，然后根据对应关系提取相应的待同步的目标数据。
44.根据本发明提供的数据同步方法，通过获取待同步的目标数据，第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上，第二代理程序从关系数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据进行同步处理。本发明提供的数据同步方法能够保证数据存储的高可靠性，数据同步的完整性以及upf微服务的实现，提高
了数据同步处理的速率，提升了用户体验。
45.基于上述任一实施例，在本实施例中，所述第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上，包括：
46.所述第一代理程序以集群的方式将所述待同步的目标数据存储到关系型数据库的节点上。
47.在本实施例中，第一代理程序是以集群的方式将获取到的待同步的目标数据存储到关系型数据库的节点上的，其中，第一代理程序为主代理程序(主agent),主代理程序通过集群的方式将待同步的目标数据存储到关系型数据库(redis)的主节点中。
48.根据本发明提供的数据同步方法，第一代理程序通过以集群的方式连接关系型数据库，然后将待同步的目标数据传输到关系型数据库中，保证了待同步的目标数据的可靠性和安全性，提高了数据同步处理的速率。
49.基于上述任一实施例，在本实施例中，所述第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，包括：
50.根据所述第二代理程序中的节点与所述关系型数据库中主节点的映射关系，所述第二代理程序以单节点的方式从所述关系型数据库的主节点上获取所述待同步的目标数据。
51.在本实施例中，需要预先构建第二代理程序中的节点与关系型数据库中主节点之间的映射关系，然后第二代理程序以单节点的方式从关系型数据库的主节点上获取到待同步的目标数据。比如第二代理程序中的节点1与关系型数据库中的主节点a具有映射关系，第二代理程序的节点1从主节点a中提取待同步的目标数据。需要说明的是，具体的映射关系可以根据用户的实际需要进行设定，在此不作具体限定。
52.根据本发明提供的数据同步方法，根据第二代理程序中节点与关系型数据库中主节点之间的映射关系，第二代理程序以单节点的方式从关系型数据库中的主节点上获取到待同步的目标数据，保证了目标数据同步处理的完整性，提高了数据同步处理的速率。
53.基于上述任一实施例，在本实施例中，所述对所述待同步的目标数据进行同步处理，包括：
54.根据数据同步插件与第二代理程序中的多个节点之间的连接关系，数据同步插件将具有连接关系的多个节点中的目标数据存储到对应的目标通道中。
55.在本实施例中，需要根据数据同步插件与第二代理程序中多个节点之间的连接关系，数据同步插件将具有连接关系的多个节点中的目标数据存储在对应的目标通道中。需要说明的是，数据同步插件的初始化过程中会依次调用每个连接关系中所包含的结构与方法，获取关系型数据库中每一个主节点中存储的待同步的目标数据，存放到统一的通道(channel)中。
56.根据本发明提供的数据同步方法，根据数据同步插件与第二代理程序中的多个节点之间的连接关系，数据同步插件将具有连接关系的多个节点中的目标数据存储到对应的目标通道中，能够为实现全部数据的同步处理提供数据支持。
57.基于上述任一实施例，在本实施例中，所述对所述待同步的目标数据进行同步处理，还包括：
58.将存储到目标通道中的目标数据按照预设的顺序取出，得到所有待同步的目标数
据；
59.将所述所有待同步的目标数据存储到数据同步处理程序中，执行数据全同步事件。
60.在本实施例中，需要执行数据全同步事件，首先将存储到目标通道中的目标数据按照预设的顺序逐一提取出，得到所有的待同步的目标数据，然后将所有待同步的目标数据存储到数据同步(kv)处理程序中，执行数据全同步事件。需要说明的是，同步处理的具体操作是采用现有技术中的处理方法，在此不作详细介绍。
61.根据本发明提供的数据同步方法，通过将存储到目标通道中的目标数据按照预设的顺序取出，得到所有待同步的目标数据；然后再将所有待同步的目标数据存储到数据同步处理程序中，执行数据全同步，能够保证数据同步的完整性，提高数据同步的处理速率。
62.基于上述任一实施例，在本实施例中，所述将所述所有待同步的目标数据存储到数据同步处理程序中，执行数据全同步事件，包括：
63.在数据同步处理程序中，根据所有待同步的目标数据的描述符信息对目标数据进行增加、修改、更新或删除操作。
64.在本实施例中，在数据同步处理程序中需要匹配各类待同步的目标数据的描述符，根据描述符可以对目标数据进行相应的操作，如增加、修改、更新或删除等操作。其中，描述符是用于描述相同类型数据的一种标识，如前缀等信息。
65.根据本发明提供的数据同步方法，在数据同步处理程序中，根据所有待同步的目标数据的描述符信息对目标数据进行增加、修改、更新或删除操作，能够同步数据的有效性，实现目标数据的实时更新，提升用户体验。
66.基于上述任一实施例，在本实施例中，如图2所示，第一代理程序(主agent)用于将待同步的目标数据存储到关系型数据库(redis)中，并且以集群方式连接关系型数据库，将接收到的待同步的目标数据存放到关系型数据库(redis集群)中的节点。然后第二代理程序(备agent)用于同步目标数据，以单节点模式连接关系型数据库(redis集群)中的主节点，并将redis集群的每一个主节点作为一个客户端，依次建立连接关系，每一个连接关系均需要创建对应的相关结构配置和处理方法。
67.需要说明的是，数据同步插件的初始化过程中依次调用每个连接关系中所包含的结构配置与方法，获取每一个主节点中所存储的目标数据，存放到统一的通道(channel)中。
68.需要说明的是，第二代理程序(备agent)需要执行同步通道中中检索到的目标数据，并将目标数据从通道中逐一列出进行同步处理。其中，同步处理是将目标数据转移到数据同步处理程序中进行调度处理，执行数据全同步事件。
69.需要说明的是，数据同步(kv)处理程序需要匹配各类目标数据所注册的kv描述符信息，根据描述符信息可以对目标数据进行增加、修改、更新或删除等操作。
70.根据本发明提供的数据同步方法，对于upf微服务所依赖的redis集群环境，代理应用程序分别采用单节点与集群相结合的模式，集群模式用于保存目标数据，保证目标数据存储的高可靠性，而单节点模式用于读取同步目标数据，保证目标数据同步处理的完整性，两种模式的结合准确地保证了主备upf网元目标数据的一致性与完整性，保证了upf微服务的实现。
71.图3为本发明提供的一种数据同步装置，如图3所示，本发明提供的数据同步装置，包括：
72.获取模块301，用于获取待同步的目标数据；
73.存储模块302，用于第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上；
74.同步模块303，用于第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据进行同步处理。
75.根据本发明提供的数据同步装置，通过获取待同步的目标数据，第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上，第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据进行同步处理。本发明提供的数据同步装置能够保证数据存储的高可靠性，数据同步的完整性以及upf微服务的实现，提高了数据同步处理的速率，提升了用户体验。
76.由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
77.图4为本发明实施例中提供的电子设备实体结构示意图，如图4所示，本发明提供一种电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；
78.其中，处理器401、存储器402通过总线403完成相互间的通信；
79.处理器401用于调用存储器402中的程序指令，以执行上述各方法实施例中所提供的方法，例如包括：获取待同步的目标数据；第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上；第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据进行同步处理。
80.此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
81.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的方法，该方法包括：获取待同步的目标数据；第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上；第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据进行同步处理。
82.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的方法，该方法包括：获取待同步的目标数据；第一代理程序将所述待同步的目标数据存储到关系型数据库的节点上；第二代理程序从关系型数据库的节点上获取所述待同步的目标数据，对所述待同步的目标数据
进行同步处理。
83.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
84.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
85.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。