一种数据处理方法及装置与流程

摘要: 本发明涉及人工智能,尤其涉及一种数据处理方法及装置。背景技术:1、随着人工智能技术的快速发展,时序大模型在金融、气象、交通、电力、医疗、智能问答等领域被广泛使用...
一种数据处理方法及装置与流程

本发明涉及人工智能,尤其涉及一种数据处理方法及装置。

背景技术:

1、随着人工智能技术的快速发展,时序大模型在金融、气象、交通、电力、医疗、智能问答等领域被广泛使用。为了提高时序大模型在不同任务上的预测精度,往往需要使用待预测任务的时间序列数据集对时序大模型中的参数进行微调。然而,由于时序大模型中的参数比较多,对时序大模型中的参数进行微调将会花费大量的时间。如何提高时序大模型的微调效率是目前亟需解决的技术问题。

技术实现思路

1、本技术提供一种数据处理方法及装置,用于提高时序大模型的微调效率。

2、第一方面,本技术实施例提供了一种数据处理方法,该方法可以由计算设备集群执行。该方法具体包括以下步骤:计算设备集群先接收数据采集终端发送的指示消息,其中,指示消息用于指示根据待预测任务的时间序列数据集对时序大模型进行模型微调;计算设备集群根据指示消息,将时间序列数据集输入至时序大模型,获得时序大模型中多个特征提取层分别提取到的特征向量;时序大模型中多个特征提取层是通过多个特征提取层分别对应的预训练权重提取到特征向量的;多个特征向量用于表征时间序列数据集中数据样本的周期性以及波动性;计算设备集群对多个特征向量进行聚类分析,获得字典矩阵;字典矩阵包括p个基向量;字典矩阵中的p个基向量的线性组合用于表征时间序列数据集中数据样本的特征;p为大于0的整数;计算设备集群根据字典矩阵中的p个基向量,确定多个特征提取层分别对应的权重初始量,并采用时间序列数据集对多个特征提取层分别对应的权重初始量进行迭代更新,获得多个特征提取层分别对应的权重更新量;计算设备集群根据多个特征提取层分别对应的预训练权重和权重更新量,实现时序大模型的模型微调。

3、在上述方法中,时序大模型中每个特征提取层对应的权重初始量δw1中的参数并不是随机生成的,而是根据多个特征提取层分别提取到的时间序列数据集对应的特征向量确定的,这使得时序大模型在迭代更新较少次数的情况下便收敛于较好的结果,即获得较优的权重更新量δw2,进而减少时序大模型的微调所花费的时间,提高时序大模型的微调效率。

4、在一种可能的设计中,计算设备集群对多个特征向量进行聚类分析,获得字典矩阵,可以包括:计算设备集群采用聚类算法对多个特征向量进行聚类,获得p个类别;p个类别中每个类别包括至少一个特征向量;计算设备集群根据p个类别分别对应的聚类中心向量,确定p个基向量;p个基向量构成字典矩阵。在该设计中,计算设备集群不是直接将多个特征向量都作为基向量,而是对多个特征向量进行聚类获得p个类别,并根据p个类别分别对应的聚类中心向量确定p个基向量,可以减少所确定的基向量的数量,这将会使得p个基向量所构成的主目标子空间较小。后续根据p个基向量微调时序大模型时,由于p个基向量所构成的主目标子空间较小,在一个较小的主目标子空间内可以快速地找到时序大模型中特征提取层对应的权重更新量最优解,可以提高时序大模型的收敛速度。此外,由于时序大模型中特征提取层对应的权重更新量不是由多个特征向量确定,而是由p个基向量确定,可以减少影响特征提取层对应的权重更新量的因素,在一定程度上避免过拟合问题以及提高时序大模型在其他时间序列数据集的适配性。

5、在一种可能的设计中,计算设备集群根据字典矩阵中的p个基向量,确定多个特征提取层分别对应的权重初始量,可以包括:计算设备集群根据字典矩阵中的p个基向量以及多个特征提取层分别对应的第一权重矩阵和第二权重矩阵,确定多个特征提取层分别对应的权重初始量;第一权重矩阵和第二权重矩阵中的参数均是通过初始化确定的。

6、在一种可能的设计中,计算设备集群根据字典矩阵中的p个基向量以及多个特征提取层分别对应的第一权重矩阵和第二权重矩阵,确定多个特征提取层分别对应的权重初始量,包括:针对多个特征提取层,分别执行以下步骤:根据字典矩阵中的p个基向量以及一个特征提取层对应的第一权重矩阵,生成一个特征提取层对应的第一低秩矩阵;根据字典矩阵中的p个基向量以及一个特征提取层对应的第二权重矩阵,生成一个特征提取层对应的第二低秩矩阵;根据一个特征提取层对应的第一低秩矩阵和第二低秩矩阵,确定一个特征提取层对应的权重初始量。通过该设计确定的特征提取层对应的权重初始量δw1中待更新的参数数量并不是d*d,而是第一权重矩阵tb中参数数量与第二权重矩阵ta中参数数量之和,即2*p*s,由于p和s均是远小于d的整数,故通过该设计中的步骤确定的特征提取层对应的权重初始量δw1中待更新的参数数量较少,后续对权重初始量δw1中待更新的参数进行更新时,可以提高时序大模型的收敛速度,进而提高时序大模型的微调效率。

7、在一种可能的设计中,时序大模型包括损失函数层;损失函数层包括组稀疏正则化项,组稀疏正则化项用于对多个特征提取层分别对应的第一权重矩阵和第二权重矩阵进行约束。

8、在一种可能的设计中,计算设备集群采用时间序列数据集对多个特征提取层分别对应的权重初始量进行迭代更新,获得多个特征提取层分别对应的权重更新量,可以包括:计算设备集群重复执行以下步骤,直至损失函数层输出的损失函数值满足第一条件或者迭代次数满足第二条件,将多个特征提取层分别对应的权重初始量作为权重更新量:计算设备集群将时间序列数据集输入至时序大模型,通过时序大模型中的多个特征提取层分别对应的权重初始量对时间序列数据集进行计算,获得训练特征向量;计算设备集群将训练特征向量输入至损失函数层,获得损失函数值;计算设备集群根据损失函数值,对多个特征提取层分别对应的权重初始量进行更新,获得更新后的多个特征提取层分别对应的权重初始量。该设计提供了一种计算设备集群获得特征提取层对应的权重更新量的方法。

9、在一种可能的设计中,计算设备集群根据多个特征提取层分别对应的预训练权重和权重更新量,实现时序大模型的模型微调,可以包括:针对多个特征提取层,计算设备集群分别执行:将一个特征提取层对应的预训练权重与一个特征提取层的权重更新量进行相加,实现时序大模型的模型微调。

10、第二方面,本技术实施例还提供了一种数据处理装置,该装置中包括用于执行以上第一方面提供的方法。

11、第三方面,本技术实施例还提供了一种数据处理装置,所述数据处理装置中包括存储器和处理器,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序并执行以上第一方面提供的方法。

12、第四方面,本技术实施例还提供了一种计算设备集群包括至少一个计算设备,每个计算设备包括处理器和存储器,其中,至少一个计算设备的处理器用于执行至少一个计算设备的存储器中存储的指令,以使得计算设备集群执行以上第一方面提供的方法。

13、第五方面,本技术实施例还提供了一种包含指令的计算机程序产品,当指令被计算设备集群运行时,使得计算设备集群执行以上第一方面提供的方法。

14、第六方面,本技术实施例还提供了一种计算机可读存储介质,包括计算机程序指令,当计算机程序指令由计算设备集群执行时,计算设备集群执行以上第一方面提供的方法。