增量数据实时同步的方法、装置、计算机设备及存储介质与流程

技术特征：
1.一种增量数据实时同步的方法，其特征在于，包括：将利用工具解析的oracle数据表中的日志得到的json报文存储至分布式消息队列；其中，json报文用于表征数据库的变更事件；基于预先设置的第一计算引擎，将分布式消息队列中的所述json报文存储至hbase，得到hbase数据表；根据所述hbase数据表与预先得到的hbase中的oracle镜像表，通过hbase操作处理，记录hbase数据表中的变更行键；基于预先设置的第二计算引擎，根据所述变更行键，还原变更行键对应的一行数据的全部字段数据，并将全部字段数据存储至数据仓库中，得到增量数据；利用调度任务，将所述增量数据与数据仓库中的历史数据进行合并处理，在数据仓库中得到实时更新的数据。2.如权利要求1所述的增量数据实时同步的方法，其特征在于，所述将利用工具解析的oracle数据表中的日志得到的json报文存储至分布式消息队列，包括：将oracle数据表中的日志发送至预先设置的存储系统存储，得到目标日志；利用工具解析目标日志，得到的json报文，将的json报文存储至分布式消息队列。3.如权利要求1所述的增量数据实时同步的方法，其特征在于，所述基于预先设置的第一计算引擎，将分布式消息队列中的所述json报文存储至hbase，得到hbase数据表，包括：通过对预先设置的第一计算引擎程序中的接口进行声明和赋值，得到与hbase中对应的接口；通过所述hbase中对应的接口，将分布式消息队列中的所述json报文存储至hbase，得到hbase数据表。4.如权利要求3所述的增量数据实时同步的方法，其特征在于，所述通过所述hbase中对应的接口，将分布式消息队列中的所述json报文存储至hbase，得到hbase数据表，包括：根据预先新建的消费者，将所述json报文发送至所述消费者中对应的区域中，得到消费数据；通过所述hbase中对应的接口，将所述消费数据存储至hbase，得到hbase数据表。5.如权利要求1所述的增量数据实时同步的方法，其特征在于，所述基于预先设置的第一计算引擎，将分布式消息队列中的所述json报文存储至hbase，得到hbase数据表之后，还包括：根据hbase数据表中的分区数量，确定hbase数据表对应的行键字段。6.如权利要求1所述的增量数据实时同步的方法，其特征在于，所述根据所述hbase数据表与预先得到的hbase中的oracle镜像表，通过hbase操作处理，记录hbase数据表中的变更行键之前，还包括：利用工具，将oracle表中的数据，以数据仓库中数据表的形式储存至集群；基于预先设置的第二计算引擎开发批计算程序，将集群中数据仓库中数据表中的数据转换为hbase底层储存的二进制文件；通过数据加载的方式，将所述二进制文件加载至hbase中，得到hbase中的oracle镜像表。7.如权利要求1所述的增量数据实时同步的方法，其特征在于，所述利用调度任务，将
所述增量数据与数据仓库中的历史数据进行合并处理，在数据仓库中得到实时更新的数据之前，还包括：利用定时调度工具，设置合并调度任务。8.一种增量数据实时同步的方法装置，其特征在于，解析单元：将利用工具解析的oracle数据表中的日志得到的json报文存储至分布式消息队列；其中，json报文用于表征数据库的变更事件；存储单元：基于预先设置的第一计算引擎，将分布式消息队列中的所述json报文存储至hbase，得到hbase数据表；变更单元：根据所述hbase数据表与预先得到的hbase中的oracle镜像表，通过hbase操作处理，记录hbase数据表中的变更行键；还原单元：基于预先设置的第二计算引擎，根据所述变更行键，还原变更行键对应的一行数据的全部字段数据，并将全部字段数据存储至数据仓库中，得到增量数据；合并单元：利用调度任务，将所述增量数据与数据仓库中的历史数据进行合并处理，在数据仓库中得到实时更新的数据。9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述计算机可读指令为权利要求1-7任意一项所述的引擎生成的可读指令。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述任一权利要求1-7所述方法的步骤。

技术总结
本发明涉及人工智能技术，提供一种增量数据实时同步的方法，将利用工具解析的Oracle数据表中的日志得到的JSON报文存储至分布式消息队列；实现了增量数据从Oracle数据表到大数据环境的同步基础，并将分布式消息队列中的所述JSON报文存储至HBase，得到HBase数据表；可以根据HBase数据表与预先得到的HBase中的Oracle镜像表，记录变更行键；根据变更行键，从HBase数据库中，还原一行数据的全部字段数据，完善了数据库更新时的数据，并将全部字段数据存储至数据仓库中，得到增量数据仓库的增量数据；将增量数据与历史数据进行合并处理，得到实时更新的数据仓库数据，实时的更新与抽取Oracle库中的数据，减小了对Oracle库的资源占用，并节约了数据仓库中数据更新的时间。并节约了数据仓库中数据更新的时间。并节约了数据仓库中数据更新的时间。


技术研发人员：罗开畅
受保护的技术使用者：平安壹钱包电子商务有限公司
技术研发日：2022.01.14
技术公布日：2022/4/22