一种增量更新数据入库方法、装置、电子设备及存储介质与流程

技术特征：
1.一种增量更新数据入库方法，其特征在于，包括：按照预设时间间隔读取预设数据文件的属性信息；根据所述属性信息生成记录码；在预设已处理文件记录中匹配所述记录码；若匹配失败，则解析所述数据文件，得到解析数据；将所述解析数据写入预设数据库的缓存数据表中。2.根据权利要求1所述的方法，其特征在于，还包括：若在所述已处理文件记录中未匹配到所述记录码，则将所述记录码添加进所述已处理文件记录中。3.根据权利要求1所述的方法，其特征在于，所述属性信息包括文件名和文件最后更新时间；所述根据所述属性信息生成记录码的步骤，包括：将所述文件最后更新时间转换为时间戳；将所述文件名和所述时间戳进行拼接，生成记录码。4.根据权利要求3所述的方法，其特征在于，所述在预设已处理文件记录中匹配所述记录码的步骤，包括：在所述预处理文件中查找所述记录码中的所述文件名；当查找不到所述文件名时，匹配失败；当查找到所述文件名时，从所述预处理文件中获取所述文件名对应的历史时间戳；当所述时间戳大于所述历史时间戳时，匹配失败。5.根据权利要求1所述的方法，其特征在于，所述将所述解析数据写入预设数据库的缓存数据表中的步骤之后，还包括：定时读取所述缓存数据表中的缓存数据，并将所述缓存数据写入预设历史数据表中。6.一种增量更新数据入库装置，其特征在于，包括：属性信息读取模块，用于按照预设时间间隔读取预设数据文件的属性信息；记录码生成模块，用于根据所述属性信息生成记录码；匹配模块，用于在预设已处理文件记录中匹配所述记录码；解析模块，用于若匹配失败，则解析所述数据文件，得到解析数据；写入模块，用于将所述解析数据写入预设数据库的缓存数据表中。7.根据权利要求6所述的装置，其特征在于，还包括：添加模块，用于若在所述已处理文件记录中未匹配到所述记录码，则将所述记录码添加进所述已处理文件记录中。8.根据权利要求6所述的装置，其特征在于，所述属性信息包括文件名和文件最后更新时间；所述记录码生成模块，包括：时间戳转换子模块，用于将所述文件最后更新时间转换为时间戳；记录码生成子模块，用于将所述文件名和所述时间戳进行拼接，生成记录码。9.一种电子设备，其特征在于，所述设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行权利要求1
‑
5任一项所述的增量更新数据入库方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1
‑
5任一项所述的增量更新数据入库方法。

技术总结
本发明公开了一种增量更新数据入库方法、装置、电子设备及存储介质，用于解决现有的增量更新数据入库方法时效性差、资源占用率高的技术问题。本发明包括：按照预设时间间隔读取预设数据文件的属性信息；根据所述属性信息生成记录码；在预设已处理文件记录中匹配所述记录码；若匹配失败，则解析所述数据文件，得到解析数据；将所述解析数据写入预设数据库的缓存数据表中。数据表中。数据表中。


技术研发人员：彭和平 栾乐 许中 莫文雄 王勇 马智远 王海靖 范伟男 肖天为 刘田
受保护的技术使用者：广东电网有限责任公司广州供电局
技术研发日：2021.08.26
技术公布日：2021/11/28