冷热数据合并的方法、系统、设备和介质与流程

本发明涉及分布式数据库存储与数据处理领域，尤其涉及一种冷热数据合并的方法、系统、设备和介质。

背景技术：

1、现代分布式数据库系统中，冷热数据分离为常见的架构设计，热存储层的数据新鲜度高，可实时反映最新状态，但数据量不全，仅存储近期活跃数据，已归档数据被迁移至冷存储层。冷存储层的数据新鲜度低，可存在过期陈旧状态，数据覆盖全面且包含历史全量数据。

2、热库新鲜但数据不全，冷库全量但数据陈旧；若仅查热库将遗漏已归档数据，若仅查冷库将返回过期数据；若将热库和冷库两者直接合并，将引入与当前查询范围不符合的维度值的脏数据；若对冷库中每条冷数据进行逐条维度校验，当数据量巨大时将导致严重性能极差。

技术实现思路

1、本发明要解决的技术问题是为了克服现有技术中冷热存储层数据合并完整性低且准确性差的缺陷，提供一种冷热数据合并的方法、系统、设备和介质。

2、本发明是通过下述技术方案来解决上述技术问题：

3、第一方面，本发明提供一种冷热数据合并的方法，所述方法包括：

4、基于设定主键提取函数，从热库数据列表和冷库数据列表对应获取热键集合和冷键集合；

5、计算所述热键集合和所述冷键集合的差值以得到冷有键集合；所述冷有键集合用于表征所述冷库数据列表存在且所述热库数据列表不存在的包括若干维度值的数据键集合；

6、当所述冷有键集合为非空值状态时，按照设定批次顺序对所述冷有键集合对应的维度值进行维度粗判检验；

7、若不存在越界维度值，将所述热库数据列表和所述冷库数据列表进行合并；

8、若存在越界维度值，继续对所述冷有键集合对应的维度值进行维度精判检验，将所述热库数据列表和通过维度精判检验后的所述冷库数据列表进行合并。

9、较佳地，所述将所述热库数据列表和通过维度精判检验后的所述冷库数据列表进行合并，包括：

10、获取每个主键对应的维度关联关系；

11、逐条遍历所述冷有键集合的所有数据项进行维度检验；

12、当所述维度关联关系与设定期望维度范围存在交集时，判定第一数据项属于查询范围内予以保存，将所述热库数据列表和通过维度精判检验后的所述冷库数据列表进行合并；

13、当所述维度关联关系与设定期望维度范围不存在交集时，判定第二数据项属于维度越界脏数据予以剔除，更新所述冷库数据列表后与所述热库数据列表进行合并。

14、较佳地，所述将所述热库数据列表和通过维度精判检验后的所述冷库数据列表进行合并，还包括：

15、当所述维度关联关系为空值时，判定第三数据项已归档且无维度约束予以保存。

16、较佳地，所述方法还包括：

17、采用热存储策略对热存储层和冷存储策略对冷存储层执行数据同步查询，以获取所述热库数据列表和所述冷库数据列表；当任一策略查询结果为空时，所述热库数据列表或者所述冷库数据列表为空列表；

18、和/或，在判定第二数据项属于维度越界脏数据予以剔除时，生成包含主键、所述维度关联关系和所述设定期望维度范围的告警日志。

19、第二方面，本发明提供一种冷热数据合并的系统，所述系统包括：

20、获取模块，用于基于设定主键提取函数，从热库数据列表和冷库数据列表对应获取热键集合和冷键集合；

21、计算模块，用于计算所述热键集合和所述冷键集合的差值以得到冷有键集合；所述冷有键集合用于表征所述冷库数据列表存在且所述热库数据列表不存在的包括若干维度值的数据键集合；当所述冷有键集合为非空值状态时，则调用第一检验模块；

22、所述第一检验模块，用于按照设定批次顺序对所述冷有键集合对应的维度值进行维度粗判检验；若不存在越界维度值，则调用第一合并模块；若存储越界维度值，则调用第二检验模块；

23、所述第一合并模块，用于将所述热库数据列表和所述冷库数据列表进行合并；

24、所述第二检验模块，用于若存在越界维度值，继续对所述冷有键子集合对应的维度值进行维度精判检验，将所述热库数据列表和通过维度精判检验后的所述冷库数据列表进行合并。

25、较佳地，所述第二检验模块包括获取单元和检验单元；

26、所述获取单元，用于获取每个主键对应的维度关联关系；

27、所述检验单元，用于逐条遍历所述冷有键集合的所有数据项进行维度检验；

28、当所述维度关联关系与设定期望维度范围存在交集时，判定第一数据项属于查询范围内予以保存，将所述热库数据列表和通过维度精判检验后的所述冷库数据列表进行合并；

29、当所述维度关联关系与设定期望维度范围不存在交集时，判定第二数据项属于维度越界脏数据予以剔除，更新所述冷库数据列表后与所述热库数据列表进行合并。

30、较佳地，所述检验单元，还用于当所述维度关联关系为空值时，判定第三数据项已归档且无维度约束予以保存。

31、较佳地，所述系统还包括：

32、查询模块，用于采用热存储策略对热存储层和冷存储策略对冷存储层执行数据同步查询，以获取所述热库数据列表和所述冷库数据列表；当任一策略查询结果为空时，所述热库数据列表或者所述冷库数据列表为空列表；

33、和/或，

34、所述检验单元，还用于在判定第二数据项属于维度越界脏数据予以剔除时，生成包含主键、所述维度关联关系和所述设定期望维度范围的告警日志。

35、第三方面，本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的冷热数据合并的方法。

36、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储的计算机程序，所述计算机程序被处理器执行时实现如上所述的冷热数据合并的方法。

37、本发明的积极进步效果在于：提供一种冷热数据合并的方法、系统、设备和介质，该方法包括：计算热键集合和冷键集合的差值以得到冷有键集合；当冷有键集合为非空值状态时，按照设定批次顺序对冷有键集合对应的维度值进行维度粗判检验；若不存在越界维度值，将热库数据列表和冷库数据列表进行合并；若存在越界维度值，继续对冷有键集合对应的维度值进行维度精判检验，将热库数据列表和通过维度精判检验后的冷库数据列表进行合并。本发明通过对冷有键集合进行两级检验，覆盖全量有效数据，避免零维度错误数据流入，确保数据合并完整性和校验结果准确性。

1.一种冷热数据合并的方法，其特征在于，所述方法包括：

2.如权利要求1所述的冷热数据合并的方法，其特征在于，所述将所述热库数据列表和通过维度精判检验后的所述冷库数据列表进行合并，包括：

3.如权利要求2所述的冷热数据合并的方法，其特征在于，所述将所述热库数据列表和通过维度精判检验后的所述冷库数据列表进行合并，还包括：

4.如权利要求2所述的冷热数据合并的方法，其特征在于，所述方法还包括：

5.一种冷热数据合并的系统，其特征在于，所述系统包括：

6.如权利要求5所述的冷热数据合并的系统，其特征在于，所述第二检验模块包括获取单元和检验单元；

7.如权利要求6所述的冷热数据合并的系统，其特征在于，

8.如权利要求6所述的冷热数据合并的系统，其特征在于，所述系统还包括：

9.一种电子设备，其特征在于，包括处理器、存储器以及存储在苏似乎存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-4中任一项所述的冷热数据合并的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的冷热数据合并的方法。