一种数字化数据同步系统及同步方法与流程

1.本技术涉及数字化数据同步技术领域，具体而言，涉及一种数字化数据同步系统及同步方法。


背景技术：

2.数字化数据同步目前大多都是跟相关系统和本身业务紧密结合，无法从业务系统中进行剥离，出现了使用相关技术更替难，更换代价较大。无相关业务系统背景人员无法参与更替相关工作等特点。现有的数据同步工具亦提供目标端数据库接管和增量回切等高级功能，序列化传输保证数据的一致性，持续数据保护，可从任意故障点恢复数据状态；同时在复杂的应用环境下完成数据库异构数据同步、数据分发等数据整合工作。
3.目前使用较多的是业务系统和数据同步机制混合同一套系统中，无法实现数据同步剥离。多系统情况下需要实现同样的数据同步工作。则需要使用相同的逻辑单元去重复处理该任务，统一功能无法实现复用。且现有的数据同步放无法实现多数据源，异构数据同步。无法实现夸平台跨系统业务场景下的数据同步。且大批量数据实现同步回导致系统的不稳定性出现，出现资源多度占用i/o阻塞等问题。
4.且在整个数据同步过程需要保证整体系统的稳定性，若出现个别服务短暂的宕机、重启等问题，在大批量数据同步过程中若出现数据同步中断，多余多数系统来说是没有续传等措施的。此时可能需要重新开始对数据做删除，重新同步等处理。且无法保证再次同步还会有同样的问题复现；不同数据源，不同系统之间无法实现统一的出库入库操作，入库时无法实现相同数据同时入多库的问题。


技术实现要素：

5.本技术的主要目的在于提供一种数字化数据同步系统及同步方法，以改善相关技术中，大批量数据实现同步回导致系统的不稳定性出现，出现资源多度占用i/o阻塞等问题。
6.为了实现上述目的，第一方面，本技术提供了一种数字化数据同步系统，包括中央处理模块，所述中央处理模块信号连接有若干数据源，所述中央处理模块信号连接有数据源监控模块，所述数据源监控模块与所述数据源信号相连，所述数据源监控模块信号连接有可插拔消息通讯单元，所述可插拔消息通讯单元信号连接有自定义业务处理模块和数据存储模块，所述自定义业务处理模块与所述数据存储模块信号相连，其中：
7.所述中央处理模块用于对接收的数据进行处理；
8.所述数据源监控模块用于监听所述数据源中产生的数据动态消息，以及所述中央处理模块中相关业务系统中产生的数据动态消息；
9.所述可插拔消息通讯单元的内核机制采用消息中间件集成接入，根据现有系统已集成的mq进行配置使用；在数据消息采集时，对延时的异步消息，进行重复；对异步消息数据包传输大小进行限制；规定数据传输格式，并对传输数据使用了gzipoutputstream进行
数据压缩，减少i/o开销；
10.所述自定义业务处理模块用于，当系统将数据动态消息传递到中央处理模块进行数据包拆解之后，用户根据自身业务系统进行数据加工处理；
11.所述数据存储模块用于对数据进行存储入库。
12.在本技术的一种实施例中，所述可插拔消息通讯单元包括判断模块、数据打包模块、规则配置模块和消息模块，所述判断模块与所述数据源监控模块信号相连，所述数据打包模块和所述规则配置模块分别与所述判断模块信号相连，所述数据打包模块与所述规则配置模块信号相连，所述数据打包模块与所述消息模块信号相连，其中：
13.所述判断模块用于对接收的数据动态消息进行判断，判断数据动态消息是否同步；
14.所述规则配置模块用于对异步的数据动态消息进行规则配置，形成规则配置后的数据动态消息；
15.所述数据打包模块用于对需要同步的数据动态消息，以及规则配置后的数据动态消息进行打包，并将打包后的数据传输给所述消息模块；
16.所述消息模块用于与所述自定义业务处理模块和所述数据存储模块进行通信，并传输打包后的数据。
17.在本技术的一种实施例中，所述规则配置模块具体配置的规则为，对延时的异步消息进行重复，根据延时等级1至5级做积累存储组合；对异步的数据动态消息数据包传输大小进行限制，每个数据包最大控制在100mb；当某一消息属于实时消息则直接发送，无需做异步相关操作处理，当异步的数据动态消息发送到达等待时间段时，无需再进行数据包累计，直接进行发送。
18.在本技术的一种实施例中，所述中间件包括但不限于kafka、activemq、rabbitmq和rocketmq。
19.在本技术的一种实施例中，所述数据存储模块设置为可扩展数据存储模块。
20.第二方面，本技术另提供一种数字化数据同步方法，具体包括以下步骤：
21.s1、使用数据源监控模块，集中监听若干数据源中产生的数据动态消息；
22.s2、使用可插拔消息通讯单元，将数据源监控模块监听的数据动态消息，对数据动态消息进行发送和接收处理；
23.s3、使用自定义业务处理模块，通过计算分析得出的数据结果集，进行交互系统所需的检索维度数据建模，并根据检索系统新增的检索维度对缓存数据模型及结果进行更新；
24.s4、使用数据存储模块，对相关消息数据进行存储入库，
25.在本技术的一种实施例中，所述s1中，产生的数据动态消息还传输给中央处理模块，并利用中央处理模块对产生的数据动态消息进行处理和区分，归类至不同的数据源文件夹中。
26.在本技术的一种实施例中，所述s2中，可插拔消息通讯单元的具体步骤为：
27.数据消息采集：对接收的数据动态消息进行判断，判断其是否需要同步处理；
28.数据消息处理：若无需同步处理，则判定其为异步消息，对异步的数据动态消息进行规则配置，形成规则配置后的数据动态消息，；
29.对需要同步的数据动态消息，以及规则配置后的数据动态消息进行打包；
30.数据消息发送：将打包后的数据进行发送。
31.在本技术的一种实施例中，在数据消息采集时，对延时的异步消息进行重复，根据延时等级1至5级做积累存储组合，对异步消息数据包做了传输大小限制，每个数据包最大控制在100mb，并对超量的数据包进行解析拆分处理；在数据消息处理时，当某一消息属于实时消息则直接发送，无需做异步相关操作处理，当异步消息发送到达等待时间段时，无需再进行数据包累计，可直接进行发送；在数据消息发送时，对传输数据使用gzipoutputstream进行数据压缩，减少i/o开销。
32.与现有技术相比，本技术的有益效果是：
33.1、该数字化数据同步系统，使用一套完全脱离业务系统的数据同步方案为整个业务系统提供数据同步使用，使用统一的数据动态消息监听机制，实现系统剥离，可同时支持多数据源多系统数据分发同步；
34.2、该数字化数据同步系统，数据源监控模块产生的消息动态，进而将需要同步的数据消息，进行多规则分类压缩打包后进行消息传输，避免了多业务同步数据，需要重复处理相同业务逻辑；
35.3、该数字化数据同步系统，可插拔消息通讯单元将数据包接收后进行数据包拆分还原，同时在数据存储入库前可根据自身业务将数据进行业务清洗，同一数据入多库、多源，实现了业务分离，缓解了大批量、长时间持续同步数据过程中出现的系统负载过高，数据库i/o阻塞的问题，缓解了系统瞬时间压力峰值；
36.4、该数字化数据同步系统，且整套同步系统中使用的相关数据库、中间件、消息同步机制都可根据自身业务目前使用的类似组件进行替换相关配置接口，无需添加创建新的同类服务组件去支持该系统。
附图说明
37.图1为根据本技术实施例提供的数字化数据同步系统的模块示意框图；
38.图2为根据本技术实施例提供的数字化数据同步系统的可插拔消息通讯单元具体模块示意框图；
39.图3为根据本技术实施例提供的数字化数据同步方法的整体流程示意框图；
40.图4为根据本技术实施例提供的数字化数据同步方法的可插拔消息通讯单元运行的流程示意框图。
具体实施方式
41.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
42.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
43.在本技术中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本技术及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
44.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本技术中的具体含义。
45.另外，术语“多个”的含义应为两个以及两个以上。
46.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
47.实施例1
48.请参阅图1-图2，本技术提供了一种数字化数据同步系统，包括中央处理模块，中央处理模块信号连接有若干数据源，中央处理模块信号连接有数据源监控模块，数据源监控模块与数据源信号相连，数据源监控模块信号连接有可插拔消息通讯单元，可插拔消息通讯单元信号连接有自定义业务处理模块和数据存储模块，自定义业务处理模块与数据存储模块信号相连，其中：
49.中央处理模块用于对接收的数据进行处理；
50.数据源监控模块用于监听数据源中产生的数据动态消息，以及中央处理模块中相关业务系统中产生的数据动态消息；
51.可插拔消息通讯单元的内核机制采用消息中间件集成接入，根据现有系统已集成的mq进行配置使用；在数据消息采集时，对延时的异步消息，进行重复；对异步消息数据包传输大小进行限制；规定数据传输格式，并对传输数据使用了gzipoutputstream进行数据压缩，减少i/o开销，中间件包括但不限于kafka、activemq、rabbitmq和rocketmq，更大程度是减少了系统服务重新搭建配套的缺陷，节省了不必要的系统开支；
52.自定义业务处理模块用于，当系统将数据动态消息传递到中央处理模块进行数据包拆解之后，用户根据自身业务系统进行数据加工处理；
53.数据存储模块用于对数据进行存储入库，数据存储模块设置为可扩展数据存储模块。
54.在本实施例中，可插拔消息通讯单元包括判断模块、数据打包模块、规则配置模块和消息模块，判断模块与数据源监控模块信号相连，数据打包模块和规则配置模块分别与判断模块信号相连，数据打包模块与规则配置模块信号相连，数据打包模块与消息模块信号相连，其中：
55.判断模块用于对接收的数据动态消息进行判断，判断数据动态消息是否同步；
56.规则配置模块用于对异步的数据动态消息进行规则配置，形成规则配置后的数据动态消息，规则配置模块具体配置的规则为，对延时的异步消息进行重复，根据延时等级1
至5级做积累存储组合；对异步的数据动态消息数据包传输大小进行限制，每个数据包最大控制在100mb，避免并发情况下，数据积累过盛产生出过大的数据包；当某一消息属于实时消息则直接发送，无需做异步相关操作处理，当异步的数据动态消息发送到达等待时间段时，无需再进行数据包累计，直接进行发送；
57.数据打包模块用于对需要同步的数据动态消息，以及规则配置后的数据动态消息进行打包，并将打包后的数据传输给消息模块；
58.消息模块用于与自定义业务处理模块和数据存储模块进行通信，并传输打包后的数据。
59.请参阅图3-图4，第二方面，本技术另提供一种数字化数据同步方法，具体包括以下步骤：
60.s1、使用数据源监控模块，集中监听若干数据源中产生的数据动态消息；
61.s2、使用可插拔消息通讯单元，将数据源监控模块监听的数据动态消息，对数据动态消息进行发送和接收处理；
62.s3、使用自定义业务处理模块，通过计算分析得出的数据结果集，进行交互系统所需的检索维度数据建模，并根据检索系统新增的检索维度对缓存数据模型及结果进行更新；
63.s4、使用数据存储模块，对相关消息数据进行存储入库。
64.在本实施例中，s1中，产生的数据动态消息还传输给中央处理模块，并利用中央处理模块对产生的数据动态消息进行处理和区分，归类至不同的数据源文件夹中。
65.在本实施例中，s2中，可插拔消息通讯单元的具体步骤为：
66.数据消息采集：对接收的数据动态消息进行判断，判断其是否需要同步处理；
67.数据消息处理：若无需同步处理，则判定其为异步消息，对异步的数据动态消息进行规则配置，形成规则配置后的数据动态消息，；
68.对需要同步的数据动态消息，以及规则配置后的数据动态消息进行打包；
69.数据消息发送：将打包后的数据进行发送。
70.在数据消息采集时，对延时的异步消息进行重复，根据延时等级1至5级做积累存储组合，对异步消息数据包做了传输大小限制，每个数据包最大控制在100mb，并对超量的数据包进行解析拆分处理，有了消息产出就必将要有对应的消息消费，同样的在消息消费过程中对数据包进行了解析拆分处理；在数据消息处理时，当某一消息属于实时消息则直接发送，无需做异步相关操作处理，当异步消息发送到达等待时间段时，无需再进行数据包累计，可直接进行发送；在数据消息发送时，对传输数据使用gzipoutputstream进行数据压缩，减少i/o开销。
71.需要说明的是：数据源(data source)顾名思义，数据的来源，是提供某种所需要数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息。就像通过指定文件名称可以在文件系统中找到文件一样，通过提供正确的数据源名称，可以找到相应的数据库连接；
72.数据库系统(database system)，是由数据库及其管理软件组成的系统。数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统，也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统，是存储介质、处理对象和管理系统的
集合体；
73.i/o：输入/出(英文：input/output，简写为i/o)是信息处理系统(例如计算器)与外部世界(可能是人类或另一信息处理系统)之间的通信。输入是系统接收的信号或数据，输出则是从其发送的信号或数据。该术语也可以用作行动的一部分；到“运行i/o”是运行输入或输出的操作。
74.综上所述：使用一套完全脱离业务系统的数据同步方案为整个业务系统提供数据同步使用，使用统一的数据动态消息监听机制，实现系统剥离，可同时支持多数据源多系统数据分发同步；数据源监控模块产生的消息动态，进而将需要同步的数据消息，进行多规则分类压缩打包后进行消息传输，避免了多业务同步数据，需要重复处理相同业务逻辑；可插拔消息通讯单元将数据包接收后进行数据包拆分还原，同时在数据存储入库前可根据自身业务将数据进行业务清洗，同一数据入多库、多源，实现了业务分离，缓解了大批量、长时间持续同步数据过程中出现的系统负载过高，数据库i/o阻塞的问题，缓解了系统瞬时间压力峰值；且整套同步系统中使用的相关数据库、中间件、消息同步机制都可根据自身业务目前使用的类似组件进行替换相关配置接口，无需添加创建新的同类服务组件去支持该系统。
75.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。