更新数据的方法、装置、电子设备和存储介质与流程

技术特征：
1.一种更新数据的方法，其特征在于，包括：获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异；按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段；根据所述目标字段更新所述数据仓库中定义的结构体字段，更新后的所述结构体字段中包含所述当前数据结构的结构信息，所述当前数据集合中的数据在按照所述结构信息构造后被所述数据仓库的下游数据任务调用。2.根据权利要求1所述的方法，其特征在于，所述获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异，包括：在所述数据源中的原始数据周期性输入所述数据仓库的情况下，检测当前输入周期内输入的所述当前数据集合的当前数据结构与前一输入周期内输入的所述历史数据集合的历史数据结构存在的差异；或者，在针对所述当前数据集合的数据任务报错的情况下，检测所述数据仓库中当前数据集合的当前数据结构与历史数据集合的历史数据结构存在的差异。3.根据权利要求1所述的方法，其特征在于，所述获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异，包括：在通过协议缓冲区机制对来自所述数据源的数据进行序列化和反序列化处理的情况下，获取所述数据源对应的数据结构定义文件的变更日志，并从所述变更日志中读取所述当前数据结构与所述历史数据结构存在的差异；或者，在通过可扩展标记语言机制或js对象简谱机制对数据源中的原始数据进行序列化和反序列化处理的情况下，解析当前输入周期内输入的原始数据构成的所述当前数据集合的当前数据结构，以及前一输入周期内输入的历史数据构成的所述历史数据集合的历史数据结构；通过比较所述当前数据结构与所述历史数据结构确定二者存在的差异。4.根据权利要求1所述的方法，其特征在于，所述按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段，包括：按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的变更字段；将所述变更字段中所含的预定义的必备字段、与业务相关的业务核心字段和/或业务执行过程中的高频使用字段确定为目标字段。5.根据权利要求1所述的方法，其特征在于，所述根据所述目标字段更新所述数据仓库中定义的结构体字段，包括：利用所述目标字段创建当前结构体字段，使所述当前结构体字段包含对应于所述目标字段的嵌套字段；将所述数据仓库中定义的历史结构体字段替换为所述当前结构体字段。6.一种更新数据的装置，其特征在于，包括：差异确定模块，被配置为获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异；字段确定模块，被配置为按照所述当前数据结构相对于所述历史数据结构的差异信息
确定相应的目标字段；数据更新模块，被配置为根据所述目标字段更新所述数据仓库中定义的结构体字段，更新后的所述结构体字段中包含所述当前数据结构的结构信息，所述当前数据集合中的数据在按照所述结构信息构造后被所述数据仓库的下游数据任务调用。7.根据权利要求6所述的装置，其特征在于，所述差异确定模块，包括：周期性检测单元，被配置为在所述数据源中的原始数据周期性输入所述数据仓库的情况下，检测当前输入周期内输入的所述当前数据集合的当前数据结构与前一输入周期内输入的所述历史数据集合的历史数据结构存在的差异；或者，报错检测单元，被配置为在针对所述当前数据集合的数据任务报错的情况下，检测所述数据仓库中当前数据集合的当前数据结构与历史数据集合的历史数据结构存在的差异。8.根据权利要求6所述的装置，其特征在于，所述差异确定模块，还包括：日志检测单元，被配置为在通过协议缓冲区机制对来自所述数据源的数据进行序列化和反序列化处理的情况下，获取所述数据源对应的数据结构定义文件的变更日志，并从所述变更日志中读取所述当前数据结构与所述历史数据结构存在的差异；或者，结构解析单元，被配置为在通过可扩展标记语言机制或js对象简谱机制对数据源中的原始数据进行序列化和反序列化处理的情况下，解析当前输入周期内输入的原始数据构成的所述当前数据集合的当前数据结构，以及前一输入周期内输入的历史数据构成的所述历史数据集合的历史数据结构；通过比较所述当前数据结构与所述历史数据结构确定二者存在的差异。9.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的更新数据的方法。10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的更新数据的方法。

技术总结
本公开关于更新数据的方法、装置、电子设备和存储介质，所述方法包括：获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自数据源的历史数据集合的历史数据结构存在的差异；按照当前数据结构相对于历史数据结构的差异信息确定相应的目标字段；根据目标字段更新数据仓库中定义的结构体字段，更新后的结构体字段中包含当前数据结构的结构信息，上述当前数据集合中的数据在按照结构信息构造后被数据仓库的下游数据任务调用。后被数据仓库的下游数据任务调用。后被数据仓库的下游数据任务调用。


技术研发人员：陈涛
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2020.07.03
技术公布日：2022/1/3