数据处理方法和装置与流程

摘要: 本公开实施例涉及计算机,尤其涉及数据处理方法和装置。背景技术:1、在模型训练前的数据制备链路中,通常需要对原始数据执行清洗、增广、模态转换等多种算子操作,以改善...
数据处理方法和装置与流程

本公开实施例涉及计算机,尤其涉及数据处理方法和装置。

背景技术:

1、在模型训练前的数据制备链路中,通常需要对原始数据执行清洗、增广、模态转换等多种算子操作,以改善特定的数据质量指标。相关系统中往往预置大量候选算子,由业务人员根据待治理的数据质量指标手动挑选并编排执行顺序,以形成数据处理链路。

2、然而,上述方式中,算子与数据质量指标之间的覆盖关系不透明,系统在筛选算子时需进行反复遍历与尝试,增加了数据处理过程中的计算开销;同时,缺乏对算子执行代价的统一量化手段,在时间和算力资源受限时难以自动评估与择优,易造成服务器算力资源的无效占用与分配失衡;此外,未将改变数据类型的模态转换特性作为执行顺序约束纳入考量,链路中易出现数据类型不匹配,导致任务执行异常或回滚,系统的处理效率和可靠性有待提升。

技术实现思路

1、本公开实施例提供一种数据处理方法、装置、电子设备、计算机可读存储介质,以至少部分地解决相关技术中存在的上述问题。

2、根据本公开的其中一方面,提供一种数据处理方法,包括:获取待处理数据集以及目标指标集合,其中,目标指标集合包括至少一项数据质量指标;基于目标指标集合,获取算子集合中各算子对应的声明信息,其中,声明信息至少包括各算子关联的数据质量指标以及处理待处理数据集所需的代价信息;根据目标指标集合中的数据质量指标与算子集合中各算子关联的数据质量指标之间的对应关系,从算子集合中筛选候选算子,候选算子用于改善对应的数据质量指标;根据各候选算子的代价信息和预设约束条件,从候选算子中确定选定算子子集;根据各选定算子的处理特性,对选定算子子集中的各算子进行排序处理,得到并输出算子执行序列。

3、根据本公开的其中一方面,提供一种数据处理装置,包括:第一获取模块,用于获取待处理数据集以及目标指标集合,其中,目标指标集合包括至少一项数据质量指标;第二获取模块,用于基于目标指标集合,获取算子集合中各算子对应的声明信息,其中,声明信息至少包括各算子关联的数据质量指标以及处理待处理数据集所需的代价信息;筛选模块,用于根据目标指标集合中的数据质量指标与算子集合中各算子关联的数据质量指标之间的对应关系,从算子集合中筛选候选算子,候选算子用于改善对应的数据质量指标;确定模块,用于根据各候选算子的代价信息和预设约束条件,从候选算子中确定选定算子子集;输出模块,用于根据各选定算子的处理特性,对选定算子子集中的各算子进行排序处理,得到并输出算子执行序列。

4、根据本公开的其中一方面,提供一种电子设备,包括处理器和存储器;存储器存储有计算机程序;处理器执行计算机程序时,实现以上任一数据处理方法。

5、根据本公开的其中一方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现以上任一数据处理方法。

6、本公开其中一实施例提供一种数据处理方法,包括:获取待处理数据集以及目标指标集合,其中,目标指标集合包括至少一项数据质量指标;基于目标指标集合,获取算子集合中各算子对应的声明信息,其中,声明信息至少包括各算子关联的数据质量指标以及处理待处理数据集所需的代价信息;根据目标指标集合中的数据质量指标与算子集合中各算子关联的数据质量指标之间的对应关系,从算子集合中筛选候选算子,候选算子用于改善对应的数据质量指标;根据各候选算子的代价信息和预设约束条件,从候选算子中确定选定算子子集;根据各选定算子的处理特性,对选定算子子集中的各算子进行排序处理,得到并输出算子执行序列。这样,基于算子的声明信息自动匹配数据质量指标与候选算子,有助于降低人工配置开销和系统在算子筛选阶段的反复遍历计算量;结合代价信息与预设约束条件确定算子子集,有助于在资源受限条件下平衡服务器算力分配并减少冗余计算;根据算子的处理特性对选定算子排序输出,有助于避免因数据类型不匹配导致的执行异常或回滚,提升数据制备链路的执行可靠性和处理效率。

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述代价信息包括单样本处理耗时、执行次数以及计算代价系数中的至少一种。

3.根据权利要求1所述的方法,其中,所述筛选候选算子包括:

4.根据权利要求1或3所述的方法,其中,所述根据各候选算子的所述代价信息和预设约束条件,从所述候选算子中确定选定算子子集,包括:

5.根据权利要求4所述的方法,其中,所述代价信息包括单样本处理耗时、执行次数以及计算代价系数,所述根据各候选算子所关联的数据质量指标的数量与所述代价信息,计算各候选算子的效用值,包括:

6.根据权利要求4所述的方法,其中,所述预设约束条件包括时间资源上限约束以及算力资源上限约束中的至少一种。

7.根据权利要求1所述的方法,其中,所述排序处理包括:

8.根据权利要求7所述的方法,其中,所述根据各选定算子的排序标识进行排序,包括:

9.根据权利要求1所述的方法,其中,所述获取算子集合中各算子对应的声明信息,包括:在检测到算子被加载到运行环境时,将所述算子对应的声明信息记录至算子注册表;从所述算子注册表中获取各算子对应的声明信息。

10.根据权利要求9所述的方法,其中,所述将所述算子对应的声明信息记录至算子注册表,包括:在检测到算子被导入时,调用预设的注册逻辑,将所述算子对应的声明信息记录至所述算子注册表。