一种基于无监督多模型融合的时序任务预测方法和装置

1.本发明涉及数据挖掘与机器学习领域，尤其是涉及一种基于无监督多模型融合的时序任务预测方法和装置。


背景技术：

2.在现实应用中，大量机器学习模型仅针对特定任务设计，完成任务后即失去使用价值。然而，一个精心设计和训练的模型通常高度凝练了训练数据蕴含的“知识”。模型复用的目标是利用已有的预训练模型辅助目标模型学习，尤其适用于数据量及数据标注不足的情形。模型复用的主要方法包括知识蒸馏、知识融合。
3.知识蒸馏通过拟合源模型输出的软标签，提升轻量化目标模型的性能。随后，基于中间层约束的蒸馏方法发展迅速。注意力迁移通过配准源模型与目标模型间多组注意力特征图，为特征层的知识蒸馏增加更强的逐层约束。类似的，aguilar等人通过大型模型的中间层内部表征引导简单模型的训练，相比于软标签的学习方式更加有效。除了可以实现模型压缩之外，知识蒸馏还可以显著地加快目标模型的训练。目前，知识蒸馏大多应用于单个源模型、相同任务域的情形，即使涉及多个源模型也要求源模型与目标模型的任务域严格对齐。
4.知识融合的研究重点在于源模型和目标模型之间多对一的知识传递，即把多个不同任务的源模型相融合，得到兼具各源模型任务能力的目标模型。shen等人提出了一种面向图像细粒度分类的卷积网络知识融合框架，使用卷积自编码器融合多个源模型对应层的特征图，得到每一层的复合特征图，之后逐层进行回归，最终将所有回归模块串联得到目标模型。之后的研究也沿袭了此思路，ye等人选用带分支的沙漏型网络作为目标模型，实现了不同图像像素级任务间的融合。但此方法要求源模型之间在层次结构上基本保持一致，适用性不足。luo等人提出基于公共特征学习的异构卷积网络融合方法，将源模型和目标模型末端的特征图变换到公共特征空间计算损失，放宽了对源模型的结构约束。知识融合的相关研究还不广泛，目前的成果主要集中于图像领域的卷积网络融合，对于时序任务缺乏成熟的算法框架。
5.时序预测主要应用于对于某地区天气的预测或者是在工业生产中对轴承的使用情况进行预测。现有的针对时序任务的预测方法虽然涉及了模型的融合，但仅仅只是将数据输入多个模型，并各设一个独立的判断标准，这种方法要求所有模型的功能以及参数具有极高的一致性，相当于多个人对同一件事进行投票，而这样就要求每个人都具有相同的水准，否则会大大影响判断的准确度，而现有的技术难以实现模型的统一，对于时序任务的预测并不准确。


技术实现要素：

6.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于无监督多模型融合的时序任务预测方法和装置。
7.本发明的目的可以通过以下技术方案来实现：
8.一种基于无监督多模型融合的时序任务预测方法，包括以下步骤：
9.将时序任务输入优化好的目标模型中，得到预测结果，所述优化好的预测模型优化过程如下：
10.s1、初始化无标签数据集、多个源模型、源模型任务、目标模型、目标任务和特征融合模块；
11.s2、随机采样无标签数据集中的若干数据，输入所有源模型中，得到若干组时序特征和预测结果；
12.s3、将每组数据对应的所有源模型的时序特征根据时间片分布进行拼接，并输入特征融合模块，得到特征融合损失；
13.s4、将每组数据对应的所有源模型的预测结果拼接，并根据拼接好的时序特征消除预测冲突，得到真实预测结果，并根据真实预测结果计算得到分类损失；
14.s5、将步骤s2获取的若干数据输入目标模型，根据分类损失和特征融合损失，优化输入目标模型。
15.进一步地，步骤s4中消除预测冲突的方法如下：
16.a1、获取置信度最高和次高的拼接预测结果；
17.a2、若两者差值小于设定阈值，则判定存在冲突，执行步骤a3；若两者差值大于设定阈值，则判定不存在冲突，执行步骤a4；
18.a3、根据对应样本的时序特征，计算置信度最高和次高拼接预测结果的相似度，取较高值的预测结果为真实预测结果；
19.a4、采用滑动平均法更新置信度最高的拼接预测结果，得到真实预测结果。
20.进一步地，步骤s5中优化输入目标模型的方式为随机梯度下降法，执行完步骤s5后返回步骤s3进行循环优化。
21.进一步地，当循环优化轮数低于设定的轮数阈值时，不消除预测冲突，直接采用滑动平均法更新置信度最高的拼接预测结果，计算分类损失。
22.进一步地，若源模型任务重叠或源模型任务超过目标任务范畴，则对拼接好的预测结果进行去重和裁剪。
23.进一步地，根据源模型和源模型任务，设置步骤s3中时间片分布的权值。
24.一种基于无监督多模型融合的时序任务预测装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现以下方法：
25.将时序任务输入优化好的目标模型中，得到预测结果，所述优化好的预测模型优化过程如下：
26.s1、初始化无标签数据集、多个源模型、源模型任务、目标模型、目标任务和特征融合模块；
27.s2、随机采样无标签数据集中的若干数据，输入所有源模型中，得到若干组时序特征和预测结果；
28.s3、将每组数据对应的所有源模型的时序特征根据时间片分布进行拼接，并输入特征融合模块，得到特征融合损失；
29.s4、将每组数据对应的所有源模型的预测结果拼接，并根据拼接好的时序特征消
除预测冲突，得到真实预测结果，并根据真实预测结果计算得到分类损失；
30.s5、将步骤s2获取的若干数据输入目标模型，根据分类损失和特征融合损失，优化输入目标模型。
31.与现有技术相比，本发明具有以下优点：
32.1、本发明对源模型输出的时间特征和预测结果分别进行了数据处理，用于计算特征融合损失和分类损失，并根据上述损失函数优化目标模型；本发明将所有源模型的结果进行了融合，与现有技术中将源模型的结果逐一输出不同，本发明将结果依据时序特征的基本特点输出后，输入一个目标模型进行不断地优化，统筹考虑了所有源模型的特性，使最终得到的目标模型预测准确度更高。
33.2、本发明对预测冲突进行了判断及消除，同时在优化初期由于样本随机性无法消除冲突，只执行结果更新，不消除冲突，进一步提高了模型预测的准确性。
34.3、本发明对时间片分布赋予了权值，可更符合实际的源模型特点，进一步提高了模型预测的准确性。
附图说明
35.图1为本发明的目标模型优化流程图。
36.图2为本发明的目标模型优化总体过程示意图。
具体实施方式
37.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
38.本实施例提供了一种基于无监督多模型融合的时序任务预测方法，包括将时序任务输入优化好的目标模型中，得到分类预测结果，其中，优化好的预测模型优化过程如图1所示，具体包括以下步骤：
39.步骤s1、初始化算法的输入，包括特征融合模块f
adp
(*)，目标模型t，目标任务目标任务无标签数据集x＝{xi}，源模型sk(k＝1，...，k)，源模型任务不同源模型的任务可能存在交集，同时，源模型任务的并集应当能完全覆盖及目标任务，即融合训练总步数max_step；预测冲突设定阈值conf_thd；轮数阈值warm_up。其中，特征融合模块用单层lstm实现，目标模型的特征原型可表示为各原型宽度等于所有源模型特征宽度之和。
40.步骤s2、随机采样无标签数据集中的若干数据xi，输入所有源模型中，得到若干组时序特征和预测结果
41.步骤s3、将每组数据对应的所有源模型的时序特征根据时间片分布进行拼接，得到拼接后的时序特征并输入特征融合模块，计算得到特征融合损失表达式如下：
[0042][0043]
其中，因为f
adp
(*)为循环编码网络，其输出的编码特征也仍具备时间片维度，当前样本xi的时间片数量用tsi表示，σ(ts)为依据任务及源模型特点自定义的时间片分布权值，f
t
(xi)表示目标模型中的特征提取网络，该损失函数用于约束目标模型在各个时间片的输出特征和f
adp
(*)模块输出保持一致，以确保来自各源模型的信息被编码到目标模型。
[0044]
步骤s4、将每组数据对应的所有源模型的预测结果拼接，得到拼接预测结果若不同源模型任务范畴存在重叠，或源模型任务范畴超出目标任务，则对ps(xi)进行去重和裁剪，去重可采取保留最大值或保留均值的方法。并根据拼接好的时序特征消除预测冲突，得到真实预测结果，其中消除预测冲突的过程具体如下：
[0045]
步骤a1、获取置信度最高和次高的拼接预测结果max1(ps(xi))和max2(ps(xi))。
[0046]
步骤a2、若两者差值小于预测冲突设定阈值conf_thd，则判定存在冲突，执行步骤a3；若两者差值大于预测冲突设定阈值conf_thd，则判定不存在冲突，执行步骤a4。
[0047]
步骤a3、根据对应样本fs(xi)的时序特征，将此样本fs(xi)与置信度最高和次高的拼接预测结果逐一计算相似度，取较高者认定为真实预测结果。
[0048]
步骤a4、采用滑动平均法更新置信度最高的拼接预测结果，得到真实预测结果，更新规则如下式所示：
[0049][0050]
其中，λ为滑动更新参数，值越大，则更新越慢。
[0051]
最后，根据真实预测结果计算得到分类损失，损失函数表达式如下：
[0052][0053]
其中，t(xi)表示目标模型中的分类网络，该损失函数约束目标模型预测结果与源模型保持一致。
[0054]
值得说明的是，当算法处于优化初期时，由于参数初始化的随机性，若直接进行冲突消除，会对模型准确度造成影响，因此设定了轮数阈值warm_up。在优化轮数未到达warm_up时，不判定是否存在冲突，跳过步骤a2和a3直接执行步骤a4，直接进行更新。
[0055]
步骤s5、将步骤s2获取的若干数据输入目标模型，根据分类损失和特征融合损失，优化输入目标模型，联合损失函数表达式如下：
[0056][0057]
其中，λ
adp
为对应比例系数。
[0058]
本实施例本采用随机梯度下降优化目标模型，执行完步骤s5后返回步骤s3循环进行优化，循环次数共max_step次，上述优化过程如图2所示。
[0059]
本实施例还提出了一种基于无监督多模型融合的时序任务预测装置，包括存储器和处理器；存储器，用于存储计算机程序；处理器，用于当执行所述计算机程序时，实现上述
基于无监督多模型融合的时序任务预测方法。
[0060]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。