数据同步方法、系统、应用平台、数据库、设备及介质与流程

1.本技术涉及计算机技术领域，特别涉及一种数据同步方法、数据同步系统、应用平台、数据库、电子设备及存储介质。


背景技术：

2.目前，用电信息采集业务数据主要存储在关系型数据库中，现有电能分析应用，需要将关系型数据库中的数据同步到大数据平台进行处理和分析，然而，由于用电采集业务数据量过大，而现有的同步方案在同步过程中，同步时间较长，且同步中断后难以恢复，数据一致性难以保证。


技术实现要素：

3.有鉴于此，本技术实施方式提供了一种数据同步方法、数据同步系统、应用平台、数据库、电子设备及非易失性计算机可读存储介质。
4.本技术实施方式的数据同步方法，用于应用平台，数据同步方法包括：
5.发送同步请求至数据库以读取所述数据库的日志文件并监控所述日志文件中用电采集数据的变化；
6.在所述用电采集数据的变化的情况下，控制所述数据库将所述日志文件中的所述用电采集数据发送至分布式消息队列；
7.接收所述分布式消息队列传输的所述用电采集数据。
8.在某些实施方式中，所述发送同步请求至数据库以读取所述数据库的日志文件并监控日志文件中用电采集数据的变化，包括：
9.发送所述同步请求至所述数据库以调用所述数据库的日志分析工具；
10.通过所述日志分析工具读取所述数据库的所述日志文件并监控所述日志文件中用电采集数据的变化。
11.在某些实施方式中，所述接收所述分布式消息队列传输的所述用电采集数据，包括：
12.创建同步表格；
13.将所述分布式消息队列传输的所述用电采集数据存储至所述同步表格中。
14.在某些实施方式中，所述数据同步方法包括：
15.根据所述用电采集数据构建电力指标计算模型和/或电力分析模型。
16.本技术实施方式的数据同步方法，还用于数据库，包括：
17.接收应用平台发送的同步请求；
18.根据所述同步请求以读取日志文件；
19.监控所述日志文件中的用电采集数据；
20.在所述用电采集数据的变化的情况下，将所述用电采集数据发送至分布式消息队列以同步至所述应用平台。
21.在某些实施方式中，在所述接收应用平台发送的同步请求前，所述数据同步方法还包括：
22.以数据库管理员身份开启归档模式；
23.赋予所述应用平台的同步权限。
24.在某些实施方式中，所述根据所述同步请求以读取日志文件，包括：
25.确定是否安装日志分析工具；
26.在安装了所述日志分析工具的情况下，通过所述日志分析工具读取所述日志文件并监控所述日志文件中的用电采集数据。
27.在某些实施方式中，所述根据所述同步请求以读取日志文件，还包括：
28.在未安装所述日志分析工具的情况下，开启日志分析工具配置；
29.创建所述日志分析工具并赋予读取所述日志文件的权限；
30.通过所述日志分析工具以读取所述日志文件并监控所述日志文件中的用电采集数据。
31.在某些实施方式中，所述数据库包括所述用电采集数据，所述用电采集数据以表格的形式存储。
32.在某些实施方式中，所述用电采集数据包括：电表档案数据、电压曲线数据、电流曲线数据、功率曲线数据、电表事件数据和费控数据。
33.本技术实施方式的应用平台，包括：
34.第一发送模块，用于发送同步请求至数据库以读取所述数据库的日志文件并监控日志文件中用电采集数据的变化；
35.控制模块，用于在所述用电采集数据的变化的情况下，控制所述数据库将所述日志文件中的所述用电采集数据同步至分布式消息队列；
36.第一接收模块，用于接收所述分布式消息队列传输的所述用电采集数据。
37.本技术实施方式的数据库，包括：
38.第二接收模块，用于接收应用平台发送的同步请求；
39.读取模块，用于根据所述同步请求以读取日志文件并监控所述日志文件中的用电采集数据；
40.第二发送模块，用于在所述用电采集数据的变化的情况下，将所述用电采集数据发送至分布式消息队列以同步至所述应用平台。
41.本技术实施方式的数据同步系统，包括应用平台和数据库，所述应用平台用于发送同步请求至数据库，所述数据库用于接收应用平台发送的同步请求，并根据所述同步请求以读取日志文件，监控所述日志文件中的用电采集数据；在所述用电采集数据的变化的情况下，将所述用电采集数据发送至分布式消息队列，所述应用平台还用于接收分布式消息队列传输的所述用电采集数据。
42.本技术实施方式的电子设备，包括处理器和存储器，所述存储器存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行所述的数据同步方法。
43.本技术提供的非易失性计算机可读存储介质，包含计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行上述的数据同步方法。
44.本技术实施方式的数据同步方法、系统、应用平台、数据库、电子设备及计算机存
储介质中，通过读取数据库的日志文件来监控用电采集数据的变化，并在用电采集数据变化时，将日志文件的用电采集数据以分布式消息队列的形式同步至应用平台，如此，可以有效降低用电采集数据分析中数据库与应用平台同步时延，同时，应用平台与数据库是基于日志文件同步，可以保证数据同步的一致性。
45.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
46.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
47.图1是本技术某些实施方式的数据同步方法的流程示意图；
48.图2是本技术某些实施方式的应用平台的模块示意图；
49.图3是本技术某些实施方式的数据同步方法的场景示意图；
50.图4是本技术某些实施方式的数据同步方法的流程示意图；
51.图5是本技术某些实施方式的数据同步方法的流程示意图；
52.图6是本技术某些实施方式的数据同步方法的流程示意图；
53.图7是本技术某些实施方式的数据库的模块示意图；
54.图8是本技术某些实施方式的数据同步方法的流程示意图；
55.图9是本技术某些实施方式的数据同步方法的流程示意图；
56.图10是本技术某些实施方式的数据同步方法的流程示意图。
具体实施方式
57.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
58.请参阅图1，本技术提供一种数据同步方法，数据同步方法包括步骤：
59.01，发送同步请求至数据库以读取数据库的日志文件并监控日志文件中用电采集数据的变化；
60.02，在用电采集数据的变化的情况下，控制数据库将日志文件中的用电采集数据发送至分布式消息队列；
61.03，接收分布式消息队列传输的用电采集数据。
62.请参阅图2，本技术实施方式提供了一种应用平台100。应用平台100包括第一发送模块110、控制模块120和第一接收模块130。其中，01可以由第一发送模块110实现，02可以由控制模块120实现，03可以由第一接收模块130实现。
63.或者说，第一发送模块110可以用发送同步请求至数据库以读取数据库的日志文件并监控日志文件中用电采集数据的变化；控制模块120可以用于在用电采集数据的变化的情况下，控制数据库将日志文件中的用电采集数据发送至分布式消息队列；第一接收模块130用于接收分布式消息队列传输的用电采集数据。
64.本技术还提供了一种电子设备，包括处理器和存储器，存储器存储有计算机程序，
当计算机程序被处理器执行时，使得处理器实现上述数据同步方法，也即是，处理器用于发送同步请求至数据库以读取数据库的日志文件并监控日志文件中用电采集数据的变化，并在用电采集数据的变化的情况下，控制数据库将日志文件中的用电采集数据发送至分布式消息队列，以及接收分布式消息队列传输的用电采集数据。
65.本技术的数据同步方法、应用平台100和电子设备中，通过向数据库发送同步请求，从而读取数据库的日志文件并来监控用电采集数据的变化，并在用电采集数据变化时，控制数据库将日志文件的用电采集数据以分布式消息队列的形式同步至应用平台，如此，可以有效降低用电采集数据分析中数据库与应用平台同步时延，同时，应用平台与数据库是基于日志文件同步，可以保证数据同步的一致性。
66.在一些实施方式中，数据同步方法和应用平台100可以应用于电子设备，应用平台100可以是电子设备的一部分。或者说，电子设备包括应用平台100。
67.在一些实施方式中，应用平台100可以是一定方式组装以具有前述功能的分立元件、或者是以集成电路形式存在具有前述功能的芯片、又或者是在计算机上运行时使得计算机具有前述功能的计算机软件代码段。
68.在一些应用平台100是电子设备的一部分部分的实施方式中，作为软件，应用平台100对应的代码段可以存储于存储器上通过处理器执行实现前述功能。
69.请结合图3，在本技术中，应用平台100可以根据用电采集数据进行电力指标计算模型和电力分析模型等电能分析应用。应用平台100可以为大数据平台，也即是，本技术是将数据库200中的用电采集数据同步至大数据平台。例如，应用平台100可以基于hadoop构建生成，hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。如此，可以提高应用平台100的处理和分析效率。
70.数据库200可以为关系型数据库，例如，数据库200可以为oracle数据库，oracle数据库是一种高效率的、可靠性好的、适应高吞吐量的数据库方案。用电采集数据以表格的形式存储数据库中。用电采集数据可包括但不限于电表档案数据、电压曲线数据、电流曲线数据、功率曲线数据、电表事件数据和费控数据。
71.本领域技术人员可以理解地，关系型数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。
72.日志文件可以为redo log，也即是，在步骤01中，应用平台100向数据库200发送同步请求从而读取数据库200的redo log。redo log可以记录数据库200的变化，可用于修复受损的数据库200，并以组的方式管理，redo log最少包括两组，两组redo log循环使用，一个redo log满了会切换至下一组redo log，这种操作成为log switch，redo log与数据文件存放到不同的磁盘上。
73.进一步地，应用平台100包括有flink cdc组件，应用平台100可通过flink cdc组件向数据库200送同步请求，从而监控数据库200的日志文件中用电采集数据的变化。flink cdc组件还可以控制数据库200将日志文件中的用电采集数据同步到分布式消息队列。需要说明的是，flink cdc组件既可以控制数据库200采用全量同步或采用增量同步的方式，将日志文件中的用电采集数据同步至分布式消息队列。
74.分布式消息队列可以为kafka消息队列，本领域技术人员可以理解地，kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。如此，通过数据库200将用电采集数据同步至kafka消息队列中，可以通过kafka快速地将用电采集数据同步至应用平台100，从而降低了数据库200与应用平台100的同步时延。
75.请参阅图4，在某些实施方式中，步骤01包括子步骤：
76.011，发送同步请求至数据库以调用数据库的日志分析工具；
77.012，通过日志分析工具读取数据库的日志文件并监控日志文件中用电采集数据的变化。
78.请进一步地结合图2，在某些实施方式中，子步骤011-012可以由第一发送模块110完成。或者说，第一发送模块110可以用于发送同步请求至数据库以调用数据库的日志分析工具，并通过日志分析工具读取数据库的日志文件并监控日志文件中用电采集数据的变化。
79.在某些实施方式中，处理器可以用于发送同步请求至数据库以调用数据库的日志分析工具，并通过日志分析工具读取数据库的日志文件并监控日志文件中用电采集数据的变化。
80.日志分析工具可以为logminer，也即是，应用平台100的flink cdc组件可通过向数据库200发送同步请求而调用数据库200的logminer，并通过logminer来获取数据库200的日志文件并监控日志文件中用电采集数据的变化，还可以将控制logminer。
81.需要说明的是，logminer是一个分析工具，logminer由一组pl/sql包和一些动态视图组成。使用logminer可以获得oracle数据库的重做日志文件(归档日志文件)中的具体内容。
82.请参阅图5，在某些实施方式中，步骤03包括子步骤：
83.031，创建同步表格；
84.032，将分布式消息队列传输的用电采集数据存储至同步表格中。
85.请进一步地结合图2，在某些实施方式中，子步骤031-032可以由第一接收模块130完成。或者说，第一接收模块130可以用于创建同步表格，将分布式消息队列传输的用电采集数据存储至同步表格中。
86.在某些实施方式中，处理器可以用于创建同步表格，将分布式消息队列传输的用电采集数据存储至同步表格中。
87.具体而言，应用平台100包括有hive数仓，hive数仓一个用于存储、分析、报告的数据系统，hive数仓能将结构化的数据文件映射为一张数据库表，并提供sql查询功能，能将sql语句转变成mapreduce任务来执行。应用平台100还包括有flink sql，在应用平台100的flink cdc组件监控到日志文件中用电采集数据变化的情况下，应用平台100可由flink sql在hive数仓中创建同步表格，并将分布式消息队列传输的用电采集数据存储至hive数仓的同步表格中。
88.如此，后续可便于根据hive数仓中的用电采集数据构建电力指标计算模型和电力分析模型等电能分析应用。
89.请参阅图6，本技术提供一种数据同步方法，数据同步方法包括步骤：
90.11，接收应用平台发送的同步请求；
switch，redo log与数据文件存放到不同的磁盘上。
103.应用平台100包括有flink cdc组件，可通过flink cdc组件可向数据库发送同步请求，从而来监控日志文件中用电采集数据的变化。flink cdc组件还可以控制数据库将日志文件中的用电采集数据同步到分布式消息队列。需要说明的是，flink cdc组件既可以采用全量同步或采用增量同步的方式，将日志文件中的用电采集数据同步至分布式消息队列。
104.分布式消息队列可以为kafka消息队列，本领域技术人员可以理解地，kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。如此，通过将用电采集数据同步至kafka消息队列中，可以通过kafka快速地将用电采集数据同步至应用平台100，从而降低数据库200与应用平台100的同步时延。
105.请参阅图8，在某些实施方式中，步骤11之前，数据同步方法还包括：
106.001，以数据库管理员身份开启归档模式；
107.002，赋予应用平台的同步权限。
108.请进一步地结合图7，在某些实施方式中，步骤001和步骤002可以由第二接收模块210实现，或者说，第二接收模块210可以用于以数据库管理员身份开启归档模式，以及赋予应用平台的同步权限。
109.在某些实施方式中，处理器可以用于以数据库管理员身份开启归档模式，以及赋予应用平台的同步权限。
110.需要说明的是，当数据库处于归档模式(archive log)时，如果进行日志切换，后台进程将自动生成归档日志，如此，数据库可以生成日志文件，从而后续可根据应用平台100的同步请求而读取日志文件，以将用电采集数据同步至应用平台100。
111.在步骤002中，可以给应用平台100的flink cdc组件授予同步权限，如此，后续应用平台100可通过flink cdc组件监控日志文件中的用电采集数据的变化。
112.请参阅图9，在某些实施方式中，步骤12包括：
113.121，确定是否安装日志分析工具；
114.122，在安装了日志分析工具的情况下，通过日志分析工具读取日志文件并监控日志文件中的用电采集数据；
115.请进一步地结合图7，在某些实施方式中，步骤121和步骤122可以由读取模块220实现，或者说，读取模块220可以用于确定是否安装日志分析工具，并在安装了日志分析工具的情况下，通过日志分析工具读取日志文件并监控日志文件中的用电采集数据。
116.在某些实施方式中，处理器可以用于确定是否安装日志分析工具，并在安装了日志分析工具的情况下，通过日志分析工具读取日志文件并监控日志文件中的用电采集数据。
117.在本实施方式中，日志分析工具可以为logminer，logminer是数据库200中一个分析工具，logminer由一组pl/sql包和一些动态视图组成，使用logminer可以获得oracle数据库的重做日志文件(归档日志文件)中的具体内容。数据库200可通过logminer来获取日志文件并监控日志文件中用电采集数据的变化。如此，应用平台100的flink cdc组件可基于logminer确定数据库200中用电采集数据是否变化。
118.请参阅图10，在某些实施方式中，步骤11还包括：
119.123，在未安装日志分析工具的情况下，开启日志分析工具配置；
120.124，创建日志分析工具并赋予读取日志文件的权限；
121.125，通过日志分析工具以读取日志文件并监控日志文件中的用电采集数据。
122.请进一步地结合图10，在某些实施方式中，子步骤123-125可以由读取模块220实现，或者说，读取模块220可以用于在未安装日志分析工具的情况下，开启日志分析工具配置，并创建日志分析工具并赋予读取日志文件的权限，以及通过日志分析工具以读取日志文件并监控日志文件中的用电采集数据。
123.在某些实施方式中，处理器可以用于在未安装日志分析工具的情况下，开启日志分析工具配置，并创建日志分析工具并赋予读取日志文件的权限，以及通过日志分析工具以读取日志文件并监控日志文件中的用电采集数据。
124.如此，可以保证数据库200可以通过日志分析工具以读取日志文件并监控日志文件中的用电采集数据，从而在后续可以将用电采集数据同步至应用平台中。
125.请结合图3，本技术实施方式还提供了一种数据同步系统，数据同步系统包括上述的应用平台100和上述的数据库200，应用平台100用于发送同步请求至数据库200，数据库200用于接收应用平台100发送的同步请求，并根据同步请求以读取日志文件，监控日志文件中的用电采集数据，在用电采集数据的变化的情况下，将用电采集数据发送至分布式消息队列，应用平台100还用于接收分布式消息队列传输的用电采集数据。
126.本技术的数据同步系统中，通过应用平台100向数据库200发送请求，使得数据库200的读取日志文件并监控用电采集数据的变化，并在用电采集数据变化时，将日志文件的用电采集数据以分布式消息队列的形式同步至应用平台100，如此，可以有效降低用电采集数据分析中数据库200与应用平台100同步时延，同时，应用平台100与数据库200是基于日志文件同步，可以保证数据同步的一致性。
127.本技术实施方式还提供了一种非易失性计算机可读存储介质，可读存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行上述的数据同步方法。
128.在一些实施方式中，计算机可读存储介质可以是内置在电子设备的存储介质，例如可以是存储器，也可以是能够插拔地插接在电子设备的存储介质，例如sd卡等。
129.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。