数据处理方法、装置、电子设备、存储介质及计算机程序产品与流程

本申请涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备、存储介质及计算机程序产品。

背景技术：

1、当前物流的数据产品主要的联机分析处理(online analytical processing，olap)分析引擎为clickhouse。目前数据分析方式为离线数仓预聚合加工，即对各维度进行cube运算生成应用结果表，导入clickhouse，进行各维度组合下指标结果的单点查询。在clickhouse中，压缩算法的选择是通过编解码器(codec)在表创建时静态指定的，之后无法动态调整。但是，固定的压缩算法在面对数据量较大或者当前资源压力大时无法适应，导致针对数据的读写性能较差。

技术实现思路

1、本申请实施例提供的一种数据处理方法、装置、电子设备、存储介质及计算机程序产品，可以提高针对数据的读写性能。

2、本申请的技术方案是这样实现的：

3、本申请实施例提供了一种数据处理方法，包括：

4、获取待处理数据；

5、基于所述待处理数据的多维数据特征，以及实时性能参数动态确定所述待处理数据对应的目标算法；

6、基于所述目标算法处理所述待处理数据确定目标数据。

7、上述方案中，所述基于所述待处理数据的多维数据特征，以及实时性能参数动态确定所述待处理数据对应的目标算法，包括：

8、针对预处理之后的所述待处理数据进行特征提取，确定所述多维数据特征；其中，所述预处理用于表征针对所述待处理数据进行数据清洗和格式化处理；

9、实时监控本地的性能指标，确定所述实时性能参数；其中，所述实时性能参数包括以下中的至少一个：系统资源性能参数、网络条件性能参数和查询负载性能参数；

10、基于所述多维数据特征、所述实时性能参数以及算法库动态确定所述待处理数据的所述目标算法；其中，所述算法库包括：多个数据压缩算法，以及每一所述数据压缩算法对应的数据处理特征标签。

11、上述方案中，所述基于所述多维数据特征、所述实时性能参数以及算法库中动态确定所述待处理数据的所述目标算法，包括：

12、基于所述多维数据特征、所述实时性能参数以及所述算法库动态确定出与所述多维数据特征匹配，且对应的所述数据处理特征标签与所述实时性能参数匹配的所述目标算法。

13、上述方案中，所述基于所述多维数据特征、所述性能参数以及所述算法库动态确定出与所述多维数据特征匹配，且对应的所述数据处理特征标签与所述实时性能参数匹配的所述目标算法，包括：

14、基于所述多维数据特征按照预设数据特征规则分析，确定出与所述多维数据特征对应的第一特征标签；其中，所述预设数据特征规则用于限定数据特征和对应的需求处理特征标签之间的对应关系；

15、基于所述实时性能参数按照预设性能参数规则分析，动态确定与所述实时性能参数对应的第二特征标签；其中，所述预设性能参数规则用于限定性能参数和对应的需求处理特征标签之间的对应关系；

16、在所述算法库中确定，与所述第一特征标签和所述第二特征标签中的至少一个匹配的所述目标数据处理特征标签；其中，所述目标数据处理特征标签的确定考虑了所述性能参数表征的性能压力；

17、确定所述目标数据处理特征标签对应的所述目标算法。

18、上述方案中，所述基于所述多维数据特征和所述实时性能参数，在所述算法库中确定出与所述多维数据特征匹配，且对应的所述数据处理特征标签与所述实时性能参数匹配的所述目标算法，包括：

19、将所述多维数据特征和所述实时性能参数输入预设模型，动态确定所述目标算法；其中，所述预设模型是基于所述算法库中处理历史数据的历史算法，以及每一所述历史算法对应的数据处理特征标签训练确定的；其中，所述预设模型确定所述目标算法的过程确定考虑了所述实时性能参数表征的性能压力。

20、上述方案中，所述多维数据特征包括以下中的至少一个：数据类型、数据大小、统计学特征、分布特征和相关性特征。

21、上述方案中，所述方法还包括：

22、在利用所述目标算法处理所述待处理数据的过程中，基于实时监控获取的性能参数，动态调整所述目标算法的算法参数。

23、上述方案中，所述方法还包括：

24、基于所述多维数据特征，以及针对所述待处理数据的查询需求，将所述目标数据存储在满足查询需求的存储空间内。

25、上述方案中，所述方法还包括：

26、在利用所述目标算法处理所述待处理数据的过程中，基于实时监控获取的性能参数进行性能评估，确定性能评估结果；

27、确定与所述性能评估结果匹配的新目标算法，并利用所述新目标算法处理所述待处理数据确定所述目标数据。

28、本申请实施例还提供了一种数据处理装置，包括：

29、数据获取单元，用于获取待处理数据；

30、确定单元，用于基于所述待处理数据的多维数据特征，以及实时性能参数动态确定所述待处理数据对应的目标算法；

31、数据处理单元，用于基于所述目标算法处理所述待处理数据确定目标数据。

32、本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中的步骤。

33、本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法中的步骤。

34、本申请实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述方法中的步骤。

35、本申请实施例中，获取待处理数据；基于待处理数据的多维数据特征，以及实时性能参数动态确定待处理数据对应的目标算法；基于目标算法处理待处理数据确定目标数据。这样，在确定目标算法时充分考虑了数据的多维数据特征和实时性能参数，这样在面对数据量大或者性能异常时可以确定出与数据和当前性能匹配的目标算法。又因为目标算法是动态确定的，这样在处理待处理数据的过程中，若性能发生变化也可以根据实时性能参数动态确定出与变化后性能匹配的目标算法，使得确定的目标算法始终可以适应与数据和性能，进而提高了设备的数据读写性能。

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述待处理数据的多维数据特征，以及实时性能参数动态确定所述待处理数据对应的目标算法，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述基于所述多维数据特征、所述实时性能参数以及算法库动态确定所述待处理数据的所述目标算法，包括：

4.根据权利要求3所述的数据处理方法，其特征在于，所述基于所述多维数据特征、所述性能参数以及所述算法库动态确定出与所述多维数据特征匹配，且对应的所述数据处理特征标签与所述实时性能参数匹配的所述目标算法，包括：

5.根据权利要求3所述的数据处理方法，其特征在于，所述基于所述多维数据特征、所述实时性能参数以及所述算法库动态确定出与所述多维数据特征匹配，且对应的所述数据处理特征标签与所述实时性能参数匹配的所述目标算法，包括：

6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，所述多维数据特征包括以下中的至少一个：数据类型、数据大小、统计学特征、分布特征和相关性特征。

7.根据权利要求1至5任一项所述的数据处理方法，其特征在于，所述方法还包括：

8.根据权利要求1至5任一项所述的数据处理方法，其特征在于，所述方法还包括：

9.根据权利要求1至5任一项所述的数据处理方法，其特征在于，所述方法还包括：

10.一种数据处理装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述方法中的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述方法中的步骤。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现权利要求1至9任一项所述方法中的步骤。