基于数据库的数据处理方法、装置、设备、介质和程序产品与流程
本申请涉及大数据领域,具体涉及金融科技领域,更具体地涉及一种基于数据库的数据处理方法、装置、设备、介质和程序产品。
背景技术:
1、目前数据库承载着海量外部资讯、交易、行情等业务数据,每日产生的增量数据体量庞大,且往往涉及上百张业务数据表需要同步导出。在出现网络异常、服务器故障和进程中断等状况时,导出任务需要全部重新执行,不仅降低作业效率,还会持续占用数据库、服务器及网络资源。
技术实现思路
1、鉴于上述问题,本申请的实施例提供了一种基于数据库的数据处理方法、装置、设备、介质和程序产品。
2、根据本申请的第一方面,提供了一种基于数据库的数据处理方法,包括:读取预存储的表状态文件,表状态文件包括目标表的表增量数据第n次导出的截至时间戳;基于目标表的表增量数据第n次导出的截至时间戳确定目标表的表增量数据第n+1次导出的动态时间范围,其中,n大于或等于1;根据目标表的表增量数据第n+1次导出的动态时间范围从数据库中导出目标表的目标表增量数据。
3、根据本申请的实施例,基于目标表的表增量数据第n次导出的截至时间戳确定目标表的表增量数据第n+1次导出的动态时间范围,包括:获取目标表的预设时间偏移,预设时间偏移指示在目标表的表增量数据第n次导出的截至时间戳的基础上偏移的时长;根据目标表的表增量数据第n次导出的截至时间戳和预设时间偏移确定目标表的表增量数据第n+1次导出的动态时间范围。
4、根据本申请的实施例,表增量数据包括业务字段和业务字段对应填充的增量内容;根据目标表的表增量数据第n+1次导出的动态时间范围从数据库中导出目标表的目标表增量数据,包括:获取目标表的字段列表,字段列表包括业务字段;在目标表的业务字段包括具有指令性词汇的情况下,将指令性词汇做转义处理;和/或,在目标表的增量内容中包括关键字符的情况下,将关键字符做替换处理;基于字段列表中经转义处理的业务字段和/或经替换处理的增量内容将目标表的字段列表转换为替换字段列表;根据目标表的表增量数据第n+1次导出的动态时间范围和替换字段列表构造查询语句;基于查询语句从数据库中导出目标表的目标表增量数据。
5、根据本申请的实施例,获取所述目标表的字段列表中的字段序列,所述目标表的字段列表中的字段序列与所述目标表对应的原始建表的字段列表中的字段序列一致;根据目标表的表增量数据第n+1次导出的动态时间范围和替换字段列表构造查询语句,包括:基于目标表的表增量数据第n+1次导出的动态时间范围、替换字段列表和目标表的字段列表中的字段序列构造字段顺序锁定的查询语句。
6、根据本申请的实施例,还包括:将目标表增量数据生成预设格式文件;采用预设流式处理工具将预设格式文件进行清洗处理,生成目标预设格式文件。
7、根据本申请的实施例,该方法还包括:查询目标表增量数据的表行数和目标预设格式文件的行数;在目标表增量数据的表行数和目标预设格式文件的行数匹配的情况下,将生成的目标预设格式文件输送至目标系统。
8、根据本申请的实施例,该方法还包括:在目标表增量数据的表行数和目标预设格式文件的行数匹配的情况下,根据目标表的表增量数据第n+1次导出的动态时间范围更新目标表的第n次表增量数据导出的截至时间戳。
9、根据本申请的第二方面,提供了一种基于数据库的数据处理装置,装置包括:读取模块,用于读取预存储的表状态文件,表状态文件包括目标表的表增量数据第n次导出的截至时间戳;确定模块,用于基于目标表的表增量数据第n次导出的截至时间戳确定目标表的表增量数据第n+1次导出的动态时间范围,其中,n大于或等于1;以及导出模块,用于根据目标表的表增量数据第n+1次导出的动态时间范围从数据库中导出目标表的目标表增量数据。
10、根据本申请的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。
11、根据本申请的第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
12、根据本申请的第五方面,还提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
1.一种基于数据库的数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标表的表增量数据第n次导出的截至时间戳确定所述目标表的表增量数据第n+1次导出的动态时间范围,包括:
3.根据权利要求1所述的方法,其特征在于,所述表增量数据包括业务字段和所述业务字段对应填充的增量内容;
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标表的表增量数据第n+1次导出的动态时间范围和所述替换字段列表构造查询语句,包括:
5.根据权利要求1所述的方法,其特征在于,还包括:
6.根据权利要求5所述的方法,其特征在于,还包括:
7.根据权利要求6所述的方法,其特征在于,还包括:
8.一种基于数据库的数据处理装置,其特征在于,所述装置包括:
9.一种电子设备,包括:
10.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~7中任一项所述方法的步骤。
11.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~7中任一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com