基于知识增强的数据预处理管道构建方法、电子设备、可读存储介质及程序产品

本发明涉及机器学习与数据预处理技术。

背景技术：

1、数据预处理用于将原始表格数据所对应的数据集转换为下游机器学习模型能够使用的数据。常见处理模块包括缺失值处理、类别特征编码、数值特征归一化、特征变换和特征选择。不同模块是否需要执行、执行顺序以及每个模块采用的具体算法，都会影响模型训练是否可行以及最终预测性能。由于适用的处理方式与数据集特征、下游模型和评价指标有关，固定管道通常不能适用于所有任务。

2、现有自动化方法主要采用随机搜索、遗传编程、贝叶斯优化、强化学习或代理模型等方式构建预处理管道。直接搜索需要反复执行候选管道并训练下游模型，评估成本较高；依赖代理模型或策略网络的方法虽然可以减少部分搜索，但推荐结果受训练数据分布和模型估计误差影响。虽然上述方法在一定程度上提升了管道构建及自动化数据预处理的效率，但其对历史经验的利用方式仍较为粗略，往往仅停留在直接复用历史高性能管道，但由于历史数据与当前数据在缺失情况、特征类型和统计分布上可能不同，若历史高性能管道直接复用会导致原始表格数据预处理效果差。

3、现有的历史经验复用方式还存在两个具体问题。其一，若将不同下游模型或不同评价指标下获得的经验混合使用，可能引入相互冲突的管道偏好；其二，从多个相似历史任务取得的候选管道往往包含当前数据不需要的模块，并且在删除这些模块后会出现大量逻辑结构相同的重复候选。若不进行适配和合并，后续搜索仍会在重复结构上消耗评估资源。

4、以缺失值处理、类别特征编码、归一化、特征变换和特征选择五类模块为例构建管道，在同时考虑模块选择、执行顺序和具体实现方式后，候选物理管道数量可以达到207360条。每评估一条候选管道，都需要在训练数据上拟合预处理步骤和下游模型，并在验证数据上计算评价指标。因此，实际困难不在于列举候选，而在于如何从较大的组合空间中找出少量值得在当前任务上真实评估的候选。相关对象和符号在具体实施方式中定义后，再给出搜索空间的计算式。

5、综上，针对现有管道构建方法如何在预处理管道搜索中，解决历史管道经验与当前任务适配不足、降低候选评估成本并消除历史经验复用时的偏好冲突与结构冗余，提升有限预算下的搜索效率和性能稳定性的问题，亟需解决。

技术实现思路

1、本发明目的是为了解决针对现有管道构建方法如何在预处理管道搜索中，降低历史管道经验与当前任务适配不足、以及降低候选评估成本并消除历史经验复用时的偏好冲突与结构冗余，提升有限预算下的搜索效率和性能稳定性的问题，本发明提供一种基于知识增强的数据预处理管道构建方法、电子设备、可读存储介质及程序产品。

2、基于知识增强的数据预处理管道构建方法，包括：

3、s1、构建历史任务知识库，其内存储有多个历史机器学习任务、各历史机器学习任务中数据集的元特征向量、以及各历史机器学习任务对应的多个数据预处理逻辑管道；其中，每个历史机器学习任务由一个数据集和其所对应的下游模型构成；

4、各数据预处理逻辑管道由多个不同功能的处理模块依次级联而成，且各数据预处理逻辑管道对应一种处理顺序，该处理顺序为数据预处理逻辑管道内处理模块的逻辑执行顺序；

5、s2、提取待处理学习任务中数据集的元特征，形成元特征向量；所述待处理学习任务由数据集和其所对应下游模型构成；

6、s3、根据所提取的元特征向量与历史任务知识库中存储的各元特征向量进行相似任务匹配，得到候选数据预处理逻辑管道集合；

7、s4、对所述候选数据预处理逻辑管道集合执行删除与融合操作，完成各候选数据预处理逻辑管道的逻辑重构，得到精简后候选逻辑管道；

8、s5、通过蒙特卡洛树搜索算法结合待处理学习任务中数据集和下游模型为各精简后候选逻辑管道中各处理模块分配最优的处理算法，并输出分配最优处理算法后的精简后候选逻辑管道的管道性能评分；

9、将管道性能评分最高的分配最优处理算法后的精简后候选逻辑管道作为最优数据预处理管道，并且最优数据预处理管道还作为最优的物理管道，从而完成管道构建。

10、优选的是，步骤s3中，根据所提取的元特征向量与历史任务知识库中存储的元特征向量中进行相似任务匹配，得到候选数据预处理管道集合的实现方式包括：

11、根据所提取的元特征向量与历史任务知识库中存储的元特征向量中进行相似任务匹配，根据匹配结果中排序靠前的n个元特征向量所对应的学习任务下所有数据预处理管道，形成候选数据预处理管道集合。

12、优选的是，步骤s4中，对所述候选数据预处理逻辑管道集合执行删除与融合操作，完成各候选数据预处理逻辑管道的逻辑重构，得到精简后候选逻辑管道的实现方式为：

13、s41、删除操作：

14、当所提取的元特征向量中类别特征数和/或缺失值比例取值为0时，相应的将类别特征数所对应的类别特征编码模块和/或缺失值比例所对应的缺失值处理模块作为待裁剪的处理模块；

15、对各候选数据预处理逻辑管道中待裁剪的处理模块执行删除操作，相应的得到一个一次重构后的逻辑管道；

16、s42、融合操作：

17、针对于通道长度和处理顺序均相同的所有一次重构后的逻辑管道，将相同功能的处理模块进行功能融合操作，得到一个二次重构后的逻辑管道，并将该二次重构后的逻辑管道作为精简后候选逻辑管道。

18、优选的是，待处理学习任务和待处理学习任务所对应的元特征向量构成完全相同，且元特征向量均由样本数、特征数、数值特征数、类别特征数、缺失值比例、目标类别数、数值特征平均偏度、数值特征平均峰度、平均特征方差、特征两两绝对相关系数的平均值、特征与目标之间互信息的平均值、特征与目标之间互信息的最大值以及目标熵构成。

19、一种电子设备，包括存储设备、处理器、以及存储在所述存储设备内并可在所述处理器上运行的计算机程序，所述处理器执行计算机程序实现如所述基于知识增强的数据预处理管道构建方法。

20、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如所述基于知识增强的数据预处理管道构建方法。

21、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如所述的基于知识增强的数据预处理管道构建方法。

22、本发明的有益效果：

23、本发明通过历史任务知识库，充分利用已有任务的经验，避免重复设计，基于元特征向量进行相似任务检索，提高历史经验利用效率，避免直接套用无关历史经验。

24、再根据当前数据实际情况删除无关模块并合并重复结构，消除多源经验带来的冗余和冲突，使候选管道数量大幅缩减，降低候选数据预处理逻辑管道集合冗余度，避免搜索资源的浪费，能够在保证高质量候选管道可达性的前提下有效压缩搜索空间。

25、最后仅在精简后候选逻辑管道上运行蒙特卡洛树搜索和性能评分，在有限计算预算内完成充分搜索并选取评分最高的管道，从而在降低评估成本的同时保证输出管道与当前任务适配且性能稳定。

26、本发明提供一种可解释的知识复用方式，先根据当前任务的元特征向量检索相关历史管道，再按照当前数据的可观测特征对候选数据预处理逻辑管道进行重构。

27、删除操作：只针对是否需要，可以由数据统计量直接判断的缺失值处理模块和类别编码模块，避免在没有验证依据时删除归一化、特征变换或特征选择模块。删除无效模块能够缩短候选逻辑管道，并相应减少后续需要选择的实现算法数量。

28、融合操作：以逻辑管道的模块组成和执行顺序为依据，将来源不同但逻辑结构相同的候选合并为一个逻辑管道，并聚合其历史支持信息，减少重复搜索而不丢失可追溯的历史支持信息。

29、本发明在不依赖代理模型估计误差的前提下，构建一种基于任务特征匹配的历史管道复用机制，以降低预处理管道搜索过程中因候选管道重复评估和结构冗余所导致的计算资源开销，并消除跨任务、跨模型经验混合带来的偏好冲突，从而在有限评估预算内稳定提升管道搜索的效率与最终预测性能。

30、本发明主要应用于数据驱动型行业的模型构建任务，适用于数据质量参差不齐、特征类型混合、需要频繁建模调优的行业场景，提供一种智能化的数据准备解决方案。通过复用历史任务的知识和经验，该方法能自动化地完成原本耗时、依赖人工的数据清洗、特征工程等预处理管道的构建与优化，可广泛应用于金融、医疗、工业制造等需要处理复杂数据并构建高精度模型的场景。