一种跨隔离网络环境的大数据异步同步系统的制作方法

本发明涉及计算机数据处理，尤其是涉及一种跨隔离网络环境的大数据异步同步系统。

背景技术：

1、目前在信息技术飞速发展的今天，数据已成为关键资产。为了保障核心数据的安全，许多关键信息基础设施领域，如金融、能源和国防等，普遍采用网络隔离技术，将内部生产网络与外部网络或其它安全域进行物理或逻辑上的分离。然而，业务需求常常要求在这些相互隔离的网络环境之间进行数据交换与同步，特别是在大数据分析和业务协同的场景下，如何安全、高效地实现跨网数据同步，成为数据处理领域的一项重要课题。

2、相关技术中，公告号为cn102289469b的中国发明专利公开了一种支持通用数据库基于物理隔离设备同步数据的方法，包括：1）实时监视源端数据库的物理日志，若发现有新的变化数据产生，则依次解析物理日志的变化内容，生成逻辑日志，并放入外存逻辑日志文件中；2）从外存逻辑日志文件读取逻辑日志记录，然后封装成网络报文，并通过物理隔离设备与目的数据库建立链接，进行发送；3）目的数据库若收到连接请求，则创建一个逻辑日志接收线程，用于接收源端发送的数据；4）读取接收到的网络报文，并保存到外存逻辑日志文件中；5）目的端实时监测接受到的外存逻辑日志文件，依次读取并写入到目的端数据库中。

3、然而，上述中的相关技术中未进行数据冗余消减，海量同步时带宽成为性能瓶颈；未感知设备实时负载，固定发送易致缓冲区溢出或带宽闲置；传输时序和格式固定，易受流量分析攻击；缺乏完整性校验，数据损坏无法感知；未处理语义冲突，源端逻辑错误会传播至目标端；无反馈确认机制，同步状态不可追溯。上述缺陷导致其在隔离带宽约束下效率低下、安全性不足且可靠性难以保障。

技术实现思路

1、为解决上述问题，本发明提供了一种跨隔离网络环境的大数据异步同步系统，采用将数据库操作日志解析为携带时序变异因子的语义原子，并结合随机传输调度与冲突消解重放的策略，能够在保障数据传输绝对安全的同时，实现高效、可靠且具备逻辑一致性的状态同步。

2、上述目标可以通过如下方案实现：

3、一种跨隔离网络环境的大数据异步同步系统，包括日志解析模块，用于获取非受控网络中的数据库操作日志，并对所述数据库操作日志进行语义解析，提取出描述数据变更语义和实体关联关系的元数据，生成结构化语义元数据集；微包生成模块，用于将所述结构化语义元数据集拆分为操作语义原子，对每个所述操作语义原子施加独立的时序变异因子，生成无状态同步微包；单向传输模块，用于构建具有离散间隔特征的传输时间槽序列，将所述无状态同步微包映射至所述传输时间槽序列中，生成单向传输调度队列，并经由预设的单向隔离设备将所述单向传输调度队列发送至受控网络；校验缓存模块，用于接收并缓存从所述单向隔离设备输出的微包流，对所述微包流中的各个微包进行语义完整性校验，将通过校验的微包暂存于时间窗缓存区，得到无序同步微包集合，提取每个微包内嵌的所述时序变异因子和所述数据变更语义，将所述数据变更语义还原为数据操作映射序列；冲突重构模块，用于识别所述数据操作映射序列中各操作间的语义冲突，对存在冲突的数据操作映射序列进行重构，生成数据重放指令集；数据重放模块，用于基于所述数据重放指令集，对受控网络中的目标数据库执行数据重放操作，进行数据状态同步，得到与所述非受控网络中的源数据库一致的目标数据库状态。

4、可选地，所述日志解析模块包括：字段识别单元，用于识别所述数据库操作日志中的操作语句类型、操作对象以及操作载荷字段，并将识别结果填入预设的语义解析模板，得到操作概要信息；拓扑构建单元，用于提取所述操作概要信息中所述操作对象之间的依赖关系和关联字段，构建描述实体间关系的关联关系拓扑图；封装合并单元，用于将所述操作概要信息与所述关联关系拓扑图进行合并，并进行结构化封装，生成结构化语义元数据集。

5、可选地，所述微包生成模块包括：因子生成单元，用于获取源自不同熵源的随机噪声信号，基于所述随机噪声信号为每个所述操作语义原子生成独立的非连续时间戳变体，作为时序变异因子；混淆封装单元，用于将每个所述时序变异因子与对应的所述操作语义原子进行绑定封装，形成同步核，并对所述同步核施加与业务上下文无关的混淆填充信息，得到混淆后的同步核；去序微包单元，用于对所有所述混淆后的同步核执行去序列化处理，打散原有生成次序，生成无状态同步微包。

6、可选地，所述单向传输模块包括：槽位计算单元，用于获取所述单向隔离设备的历史传输吞吐量和当前信道的空闲概率分布数据，动态计算出传输间隙，作为传输时间槽序列；随机指派单元，用于采用预设的随机游走指派算法，将所述无状态同步微包随机分配至所述传输时间槽序列中的一个时间槽位，形成微包与发送时机的非确定性映射关系；调度生成单元，用于根据所述非确定性映射关系，将各个所述无状态同步微包填入对应的发送时刻，生成单向传输调度队列。

7、可选地，所述校验缓存模块包括：映射解析单元，用于遍历所述无序同步微包集合，解析出每个微包中承载的所述时序变异因子和所述数据变更语义，形成键值对形式的初始映射条目；溯源链建单元，用于将所有所述初始映射条目中的所述时序变异因子进行排序，识别出构成连续变化趋势的时间戳序列，并依据所述时间戳序列的先后，建立对应的所述数据变更语义之间的溯源关系链条；分组归并单元，用于将具有所述溯源关系链条的数据变更语义，按照所属的操作对象进行分组和归并，生成数据操作映射序列。

8、可选地，所述冲突重构模块包括：冲突检测单元，用于在所述数据操作映射序列内部，比对相邻操作的数据变更语义，若前一操作为删除、后一操作为更新，则判定为存在写后删除语义冲突；规则修正单元，用于调用与所述写后删除语义冲突对应的消解规则，所述消解规则配置为保留所述更新操作的影响效果并合并至最终数据状态，对所述数据操作映射序列进行修正，得到修正的数据操作映射序列；指令编译单元，用于将所述修正的数据操作映射序列，编译为所述目标数据库可识别的批处理指令块，生成数据重放指令集。

9、可选地，所述数据重放模块包括：并发决策单元，用于获取所述目标数据库的当前状态快照和系统负载水平，确定针对所述数据重放指令集的重放并发度；并行调度单元，用于依据所述重放并发度，将所述数据重放指令集中的批处理指令块调度至所述目标数据库的分区中进行并行重放；检查恢复单元，用于在所述并行重放过程中，记录每个分区完成重放操作后的重放状态检查点，并在发生重放中断时，从上一有效重放状态检查点恢复重放进程。

10、可选地，所述系统还包括：捕获所述目标数据库在数据重放操作过程中产生的重放日志，并将所述重放日志中的确认反馈信息逆向封装为反馈确认微包；在所述单向隔离设备的下一个维护周期，通过离线介质摆渡方式，将所述反馈确认微包传递至所述非受控网络，以更新所述非受控网络中源数据库的同步状态标记。

11、可选地，所述并将所述重放日志中的确认反馈信息逆向封装为反馈确认微包包括：提取所述重放日志中与所述数据重放指令集执行相关的提交成功记录和提交失败记录，作为确认反馈信息；将所述提交成功记录转化为确认令牌，将所述提交失败记录及对应的原始语义元数据引用转化为否认令牌；将一个或多个所述确认令牌与一个或多个所述否认令牌打包，并附上本批次重放操作的重放批次标识，逆向封装为反馈确认微包。

12、基于相同的发明构思，本发明还提供了一种跨隔离网络环境的大数据异步同步方法，所述方法包括：获取非受控网络中的数据库操作日志，并对所述数据库操作日志进行语义解析，提取出描述数据变更语义和实体关联关系的元数据，生成结构化语义元数据集；将所述结构化语义元数据集拆分为操作语义原子，对每个所述操作语义原子施加独立的时序变异因子，生成无状态同步微包；构建具有离散间隔特征的传输时间槽序列，将所述无状态同步微包映射至所述传输时间槽序列中，生成单向传输调度队列，并经由预设的单向隔离设备将所述单向传输调度队列发送至受控网络；接收并缓存从所述单向隔离设备输出的微包流，对所述微包流中的各个微包进行语义完整性校验，将通过校验的微包暂存于时间窗缓存区，得到无序同步微包集合，提取每个微包内嵌的所述时序变异因子和所述数据变更语义，将所述数据变更语义还原为数据操作映射序列；识别所述数据操作映射序列中各操作间的语义冲突，对存在冲突的数据操作映射序列进行重构，生成数据重放指令集；基于所述数据重放指令集，对受控网络中的目标数据库执行数据重放操作，进行数据状态同步，得到与所述非受控网络中的源数据库一致的目标数据库状态。

13、与现有技术相比，本发明具有如下优点：

14、本发明通过内容感知分片与传输设备状态感知调度的协同配合，使分片策略主动适配隔离设备的负载能力，调度策略充分利用分片大小和优先级信息，实现了对有限传输带宽的极致利用，降低了重复数据传输量，缩短海量数据集在隔离网络环境下的异步同步总耗时。

15、本发明在目标网络端引入分片完整性校验与并行重组机制，使得数据在通过隔离设备后能够被及时发现错误并予以排除，同时校验与重组环节重叠执行，有效缩短了从同步开始到数据可用的整体完成时间，保证了同步后数据的高度完整性和一致性。

16、本发明通过构建包含传输调度计划和分片优先级安排的完整同步流程，使目录结构信息和控制类分片优先送达目标网络，目标端能够提前启动重组准备工作，各技术特征之间形成有机整体，技术效果远超各个步骤单独实施效果的简单叠加，实现了跨隔离网络大数据异步同步效率的提升。

17、本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。