数据处理方法、设备、可读存储介质及程序产品与流程

本申请涉及计算机，尤其涉及一种数据处理方法、设备、可读存储介质及程序产品。

背景技术：

1、在大数据、高并发的数字化业务场景中，例如支付、转账等行为等数据呈指数级增长，单日数据处理量可达到亿级甚至十亿级规模。这些数据作为原始数据可以存储在原始数据表中。

2、在一些应用场景中，不仅需要原始数据明细，还需在不同维度对原始数据数据进行统计，生成结构化汇总报表，为风险校验、数据分析以及相关后续决策提供精准的数据依据。

3、目前对海量原始数据进行汇总的过程中，存在汇总处理到汇总结果写入数据库的耗时长和资源利用低的问题。

技术实现思路

1、本申请实施例提供一种数据处理方法、设备、可读存储介质及程序产品，用以达到改善在对海量原始数据进行汇总的过程中，汇总处理和汇总结果写库过程存在的耗时长和资源利用低的问题。

2、第一方面，本申请实施例提供一种数据处理方法，包括：

3、根据第一指令，从源表中获取待处理数据第一源字段的值；

4、对所述第一源字段的值执行哈希算法得到哈希值，根据所述哈希值确定所述待处理数据所属的第一数据块；

5、将所述待处理数据发送至所述第一数据块对应的汇总节点，以便所述汇总节点对多个所述待处理数据进行汇总。

6、第二方面，本申请实施例提供一种数据处理方法，包括：接收多条待处理数据的信息，所述待处理数据的信息包括所述待处理数据的至少部分字段的内容及所述待处理数据所在源表的标识；其中，所述待处理数据根据其第一源字段的值的哈希值所确定的第一数据块被发送至汇总节点；

7、根据配置文件确定至少一个目标表和各所述目标表中的至少一个汇总字段，所述配置文件包括目标表的标识、汇总字段的标识及各汇总字段对应的汇总算法，所述汇总算法引用所述待处理数据的部分字段的内容进行汇总；

8、对于每一汇总字段，根据对应的汇总算法对所述待处理数据进行汇总，将汇总结果存入本地存储空间；

9、响应于满足第二预设条件，将所述本地存储空间中的汇总结果写入目标数据库进行存储。

10、第三方面，本申请实施例提供一种数据处理装置，包括：

11、第一获取单元，用于根据第一指令，从源表中获取待处理数据第一源字段的值；

12、执行单元，用于对所述第一源字段的值执行哈希算法得到哈希值，根据所述哈希值确定所述待处理数据所属的第一数据块；

13、第一发送单元，用于将所述待处理数据发送至所述第一数据块对应的汇总节点，以便所述汇总节点对多个所述待处理数据进行汇总。

14、第四方面，本申请实施例提供一种数据处理装置，包括：

15、第一接收单元，用于接收多条待处理数据的信息，所述待处理数据的信息包括所述待处理数据的至少部分字段的内容及所述待处理数据所在源表的标识；其中，所述待处理数据根据其第一源字段的值的哈希值所确定的第一数据块被发送至汇总节点；

16、第一确定单元，用于根据配置文件确定至少一个目标表和各所述目标表中的至少一个汇总字段，所述配置文件包括目标表的标识、汇总字段的标识及各汇总字段对应的汇总算法，所述汇总算法引用所述待处理数据的部分字段的内容进行汇总；

17、汇总单元，用于对于每一汇总字段，根据对应的汇总算法对所述待处理数据进行汇总，将汇总结果存入本地存储空间；

18、写入单元，用于响应于满足第二预设条件，将所述本地存储空间中的汇总结果写入目标数据库进行存储。

19、第五方面，本申请实施例提供一种数据处理设备，包括：存储器，处理器；

20、所述存储器存储计算机执行指令；

21、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面、第二方面和/或第一方面和第二方面各种可能的实施方式。

22、第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面、第二方面和/或第一方面和第二方面各种可能的实施方式。

23、第七方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面、第二方面和/或第一方面和第二方面各种可能的实施方式。

24、本申请实施例提供的数据处理方法、设备、可读存储介质及程序产品，通过在接收到第一指令后从源表获取待处理数据的第一源字段的值，借助哈希算法基于第一源字段的值得到哈希值并确定待处理数据归属的第一数据块，再将待处理数据发送至第一数据块对应的汇总节点进行汇总处理，从而通过按汇总维度哈希的方式，将同一维度的数据精准推送到相同汇总节点，避免了跨节点的中间数据传输，减少了中间数据的存储量和存储成本，从而能够令具有相同第一源字段取值的待处理数据归属至同一数据块并传输至同一汇总节点，同一汇总维度的数据集中在单个节点处理，可减少节点间的通信延迟和数据同步时间。汇总节点无需等待其他节点的中间数据，可直接对本地集中的同维度数据进行汇总计算，缩短了汇总过程到汇总结果入库的耗时整体时长。同时，避免了不同节点处理相同维度数据时的重复计算，提高了计算资源的利用率，可以提升计算效率。另外，上述方案在向数据库写入汇总结果时，不会出现不同汇总节点由于分别将第一源字段的相同值作为主键并行写入数据库导致的主键冲突问题，可以减少汇总节点写入数据库所用的时间，进而提高了对数据进行汇总到入库的总体效率。

25、此外，该方案通过哈希将数据相对均匀地分散到各数据块和汇总节点，至少部分地解决了相关技术中因数据切分不均匀导致部分节点负载过重的问题，在一定程度上缓解了负载过重带来的处理拖尾。

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述从源表中获取待处理数据第一源字段的值之前，还包括：

3.根据权利要求2所述的方法，其特征在于，所述配置文件包括以下至少一项：

4.根据权利要求2所述的方法，其特征在于，所述第一源字段包括源表的多个字段，以及所述对所述第一源字段的值执行哈希算法得到哈希值，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述哈希值确定所述待处理数据所属的第一数据块，包括：

6.根据权利要求1所述的方法，其特征在于，所述从源表中获取待处理数据第一源字段的值，包括：

7.根据权利要求1或6所述的方法，其特征在于，还包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.根据权利要求8所述的方法，其特征在于，所述第一预设条件包括以下至少一项：

10.根据权利要求3所述的方法，其特征在于，所述从源表中获取待处理数据第一源字段的值，包括：

11.根据权利要求3所述的方法，其特征在于，所述配置文件还用于配置相同待处理数据在多个目标表分别对应的汇总维度、汇总字段及汇总算法；多个目标表的汇总维度不同；

12.根据权利要求2或3所述的方法，其特征在于，所述配置文件由用户通过可视化配置界面设置；所述方法还包括：

13.一种数据处理方法，其特征在于，包括：

14.根据权利要求13所述的方法，其特征在于，所述汇总算法包括以下方式中的至少一种：

15.根据权利要求13所述的方法，其特征在于，所述接收来自多条待处理数据的信息，包括：

16.根据权利要求13-15中任意一项所述的方法，其特征在于，所述第二预设条件包括以下一项或多项：

17.一种数据处理装置，其特征在于，包括：

18.一种数据处理方装置，其特征在于，包括：

19.一种电子设备，其特征在于，包括：存储器，处理器；

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-16任一项所述的方法。

21.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-16任一项所述的方法。