数据处理方法、装置、设备、可读存储介质及产品与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：获取至少一个待分流数据信息以及待分流计算比例信息，其中，所述待分流数据包括至少一个分流节点对应的标识信息以及存储位置，所述待分流计算比例信息包括各分流节点的分流比例；根据待分流计算比例信息以及预设的配置比例，生成至少一个分流规则树状图，所述分流规则树状图中的节点为分流节点对应的标识信息，所述分流规则树状图中的边为各分流节点对应的分流比例；针对所述分流规则树状图中的各节点，根据所述节点对应的分流节点的标识信息对应的存储位置获取分流数据，按照所述分流比例以及所述配置比例对分流数据进行数据分流计算，获得各分流节点对应的分流结果；根据各分流节点对应的分流结果生成分流结果模型。2.根据权利要求1所述的方法，其特征在于，所述按照所述分流比例以及所述配置比例对分流数据进行数据分流计算，获得各分流节点对应的分流结果，包括：针对每一分流节点，将分流数据与所述分流比例以及所述配置比例相乘，获得各分流节点对应的分流结果。3.根据权利要求1所述的方法，其特征在于，所述获取至少一个待分流数据信息以及待分流计算比例信息之后，还包括：根据所述待分流数据信息从各分流节点对应的存储位置获取对应的分流数据；根据所述分流数据采用键值存储的结构生成分流数据源模型；所述根据待分流计算比例信息以及预设的配置比例，生成至少一个分流规则树状图之后，还包括：针对所述分流规则树状图中的各节点，根据所述节点对应的分流节点的数据标识从所述分流数据源模型中获取与分流节点对应的分流数据。4.根据权利要求1所述的方法，其特征在于，所述根据各分流节点对应的分流结果生成分流结果模型，包括：根据各分流节点对应的分流结果采用键值存储的结构生成分流结果模型。5.根据权利要求1-4任一项所述的方法，其特征在于，所述针对所述分流规则树状图中的各节点，根据所述节点对应的分流节点的标识信息对应的存储位置获取分流数据，按照所述分流比例以及所述配置比例对分流数据进行数据分流计算，获得各分流节点对应的分流结果，包括：获取预设的分流节点计算规则，其中，所述分流节点计算规则包括并发处理分流节点的线程/进程数以及各线程/进程所处理的作业的数量；将所述线程/进程数与作业的数量的乘积确定为当前并发处理分流节点的目标数量；并发对所述目标数量个分流节点进行数据分流计算，获得各分流节点对应的分流结果。6.根据权利要求5所述的方法，其特征在于，所述并发对所述目标数量个分流节点进行数据分流计算之前，还包括：按照所述分流规则树状图中分流节点的层级顺序确定所述目标数量个分流节点；根据所述分流规则树状图中分流节点的层级顺序对所述目标数量个分流节点进行排
序。7.根据权利要求5所述的方法，其特征在于，所述并发对所述目标数量个分流节点进行数据分流计算，包括：针对各作业对应的目标分流节点，检测所述目标分流节点对应的父节点是否完成数据分流计算；若是，则根据所述目标分流节点的标识信息对应的存储位置获取目标分流数据，按照所述分流比例以及所述配置比例对目标分流数据进行数据分流计算，获得目标分流节点对应的分流结果；若否，则不对所述目标分流节点进行数据分流计算。8.根据权利要求1-4任一项所述的方法，其特征在于，所述根据待分流计算比例信息以及预设的配置比例，生成至少一个分流规则树状图之后，还包括：响应于用户触发的修改指令，其中，所述修改指令中包括节点的标识信息以及与所述节点对应的配置比例；根据所述修改指令对所述分流规则树状图中节点的配置比例进行修改。9.根据权利要求1-4任一项所述的方法，其特征在于，还包括：获取用户触发的更新指令，所述更新指令中包括存储位置以及待更新内容；根据所述更新指令将所述待更新内容更新至所述存储位置中。10.一种数据处理装置，其特征在于，包括：获取模块，用于获取至少一个待分流数据信息以及待分流计算比例信息，其中，所述待分流数据包括至少一个分流节点对应的标识信息以及存储位置，所述待分流计算比例信息包括各分流节点的分流比例；生成模块，用于根据待分流计算比例信息以及预设的配置比例，生成至少一个分流规则树状图，所述分流规则树状图中的节点为分流节点对应的标识信息，所述分流规则树状图中的边为各分流节点对应的分流比例；计算模块，用于针对所述分流规则树状图中的各节点，根据所述节点对应的分流节点的标识信息对应的存储位置获取分流数据，按照所述分流比例以及所述配置比例对分流数据进行数据分流计算，获得各分流节点对应的分流结果；处理模块，用于根据各分流节点对应的分流结果生成分流结果模型。11.一种电子设备，其特征在于，包括：存储器，处理器；存储器；用于存储所述处理器可执行指令的存储器；其中，所述处理器用于调用所述存储器中的程序指令执行如权利要求1-9任一项所述的数据处理方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-9任一项所述的数据处理方法。13.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的数据处理方法。

技术总结
本公开实施例提供一种数据处理方法、装置、设备、可读存储介质及产品，方法包括：获取至少一个待分流数据信息以及待分流计算比例信息；根据待分流计算比例信息以及预设的配置比例，生成至少一个分流规则树状图；针对分流规则树状图中的各节点，根据节点对应的分流节点的标识信息对应的存储位置获取分流数据，按照分流比例以及配置比例对分流数据进行数据分流计算；根据各分流节点对应的分流结果生成分流结果模型。从而能够自动地对分流规则树状图中的节点进行数据分流计算，无需根据计算任务进行编码操作。通过根据分流结果生成分流结果模型，基于分流规则树状图的树状结构，从而后续在分流结果出现问题时，能够快速地定位异常计算节点。常计算节点。常计算节点。


技术研发人员：周志远 丁玲
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2022.02.23
技术公布日：2022/6/10