基于GGInformer的金融产品交易价格预测模型及其构建方法

基于gginformer的金融产品交易价格预测模型及其构建方法
技术领域
1.本发明涉及一种基于gginformer的金融产品交易价格预测模型及其构建方法。


背景技术：

2.金融市场是世界各国政治经济生活的核心，金融市场的稳定与各国社会发展紧密相关。金融市场为各类金融活动提供直接和间接的交易场所和机会，为促进世界经济社会发展提供强有力的保障。自从金融市场诞生以来，金融产品资产价格变化就是所有人关注的方向。无论在什么阶段，预测问题都是一个令人好奇和富有挑战性的研究课题，通过预测金融市场变化趋势，个人投资者以及金融机构就可以进行金融投资来获得预期收益。
3.传统时序建模方法主要依靠统计学理论来进行金融市场变化预测任务，传统方法对数据分布规则和完整性等方面要求非常严格，其仅考虑了引起金融市场变化因素间的线性变化关系。但是，金融产品交易价格变化往往与其影响因素之间存在复杂的非线性关系，所以需要更复杂的方法来进行金融预测。
4.随着机器学习的发展，研究人员开始将机器学习预测模型用于金融预测。例如rnn模型、lstm模型等。rnn可以处理有序列的问题，比如时间序列等，它拥有“记忆”能力，可以“模拟”数据间的依赖关系(dependency)。为了加强这种“记忆能力”，人们开发各种各样的变形体，如非常著名的long short-term memory(lstm)，用于解决“长期及远距离的依赖关系”。但是实际应用中往往需要预测未来较长时间的金融价格走势，基于rnn、lstm等模型预测金融价格趋势模型计算费时，且在时间跨度大且网络很深的情况下需要较高计算资源，针对长序列时间序列输入输出表现不佳。
5.综上所述，尽管以上的方法已经取得了一些较好的结果，然而在处理特征参数冗余、非线性的、预测序列长度过长的金融时序数据预测任务时时仍然存在一定的局限性。


技术实现要素：

6.本发明提供一种基于gginformer的金融产品交易价格预测模型及其构建方法，用于解决特征参数冗余、非线性的、预测序列长度过长的金融时序数据预测任务时存在局限性的问题。
7.一种基于gginformer的金融产品交易价格预测模型的构建方法，包括：
8.构建遗传算法层，所述遗传算法层对输入数据进行特征提取，得到具有竞争力的特征组合数据；
9.构建gru网络层，所述gru网络层是将所述特征组合数据输入到gru网络层进行全局时序依赖信息的提取，得到特征向量；
10.构建embedding层，所述embedding层将特征向量经过3层投影映射得到输出结果；
11.构建informer层，所述informer层将embedding层的输出结果经过编码器和解码器的处理得到输入输出间的映射关系；
12.构建全连接层，所述全连接层将informer层得到的结果转换成最终的预测结果。
13.在一个具体实施方式中，所述构建遗传算法层，其具体步骤包括：
14.初始化群体，对输入数据进行二进制编码，每条数据编码成一条染色体，采用随机算法来选取初始群体，每条染色体个体的每一个基因位按照等概率在{0,1}中选择，生成种群群体p如下：
[0015][0016]
选择基于类内类间距离的可分性判断依据作为适应度函数f(x)对种群中所有个体进行评价，具体公式为：
[0017]
假设从d个特征中选出最优的d个特征(d《d)，其定义公式如下：
[0018][0019][0020][0021]
公式中，c为样本数，ni为第i类中的样本数，mi表示样本集的均值向量，m表示所有各类的样本集总均值向量，pi为i类的先验概率，为第i类的d维特征向量，sb为类间离散度矩阵，sw为类内离散度矩阵，为了保证类间离散度尽可能大，类内离散度尽可能小，jd(x)为最终的输出结果；
[0022]
使用轮盘赌选择方法作为选择算子选择出更合适的个体，轮盘赌选择方法中每个个体进入下一代的概率等于它的适应度值与整个种群中个体适应度值和的比例；
[0023]
通过交叉算子和变异算子对当前种群p进行交叉变异，交叉算子选择单点交叉方式进行交叉操作，变异算子选择单点位翻转突变进行变异操作，得到所述特征组合数据。
[0024]
在一个具体实施方式中，所述构建gru网络层，包括：
[0025]rt
＝σ(w
ir
x
t
b
ir
w
hrht-1
b
hr
)
[0026]zt
＝σ(w
iz
x
t
b
iz
w
hzht-1
b
hz
)
[0027]nt
＝tanh(w
in
x
t
b
in
r
t
×
(w
hnht-1
b
hn
))
[0028]ht
＝(1-z
t
)
×nt
z
t
×ht-1
[0029]
其中，h
t
是t时刻的隐藏状态；x
t
是t时刻的输入；h
t-1
是t-1时刻的隐藏状态；r
t
，z
t
，n
t
分别是重置门；更新门和计算候选隐藏层；σ为sigmoid激活函数。
[0030]
在一个具体实施方式中，所述构建embedding层，包括：
[0031]
embedding层包括三部分，分别为标量投影嵌入本地时间戳嵌入pe和全局时间戳嵌入se；embedding层输入公式为：
[0032][0033]
式中：i∈{1，......，l
x
}，α为平衡三者大小的因子；
[0034]
标量投影嵌入操作，使用一维卷积操作conv1d将输入数据的特征维度向量转换为512维向量；
[0035]
本地时间戳嵌入pe操作使用位置编码，计算公式为：
[0036][0037][0038]
式中，pos指的是一句话中某个字的位置，取值范围是[0，max_sequence_length)，i指的是字向量的维度序号，取值范围是[0，embedding_dimension/2)，embedding_dimension指的是字向量维度的值，d
model
指的是embedding_dimension的值；
[0039]
全局时间戳嵌入se操作使用全连接层将输入的时间戳映射为512维的向量。
[0040]
在一个具体实施方式中，所述构建informer层，包括：
[0041]
所述编码器的组成，embedding层输出的结果输入到编码器中，在多头注意力模块使用概率稀疏自注意力计算，具体算法为：
[0042]
(1)设置超参数c，u＝c ln m，u＝m ln n
[0043]
(2)从k中随机采样u个点积对作为
[0044]
(3)计算采样的得分
[0045]
(4)按行计算稀疏性得分
[0046]
(5)按照m排名选择前u个qi作为
[0047]
(6)
[0048]
(7)s0＝mean(v)
[0049]
(8)s＝{s1，s0}，并调整为原来的行顺序
[0050]
经过概率稀疏自注意力计算得出结果s会产生v值的冗余，因此在编码器中又加入了自注意力蒸馏机制(self-attention distilling)，以此来蒸馏出更具有优势的注意力权重，蒸馏公式为：
[0051][0052]
所述解码器的组成，解码器由一个掩码多头概率稀疏自注意力层和一个多头自注意力层组成，其中，多头概率稀疏自注意力层要进行mask，解码过程舍弃了动态解码过程，而采用一步生成式解码得到整个输出序列，解码器输入数据结构如下：
[0053][0054]
其中，是预测开始标签，对于推理预测提供推理依据，从编码器输入值中截取，是一个为预测序列保留的占位时序序列，填充值为0，在解码器中也加入了自注意力蒸馏机制(self-attention distilling)，以此来蒸馏出更具有优势的注意力权重，蒸馏公式为：
[0055][0056]
所述全连接层将informer层得到的结果转换成最终的预测结果。
[0057]
一种基于gginformer的金融产品交易价格预测模型，包括：
[0058]
遗传算法层，所述遗传算法层对输入数据进行特征提取，得到具有竞争力的特征组合数据；
[0059]
gru网络层，所述gru网络层是将所述特征组合数据输入到gru网络层进行全局时序依赖信息的提取，得到特征向量；
[0060]
embedding层，所述embedding层将特征向量经过3层投影映射得到输出结果；
[0061]
informer层，所述informer层将embedding层的输出结果经过编码器和解码器的处理得到输入输出间的映射关系；
[0062]
全连接层，所述全连接层将informer层得到的结果转换成最终的预测结果。
[0063]
在一个具体实施方式中，所述构建遗传算法层，其具体步骤包括：
[0064]
初始化群体，对输入数据进行二进制编码，每条数据编码成一条染色体，采用随机算法来选取初始群体，每条染色体个体的每一个基因位按照等概率在{0,1}中选择，生成种群群体p如下：
[0065][0066]
选择基于类内类间距离的可分性判断依据作为适应度函数f(x)对种群中所有个体进行评价，具体公式为：
[0067]
假设从d个特征中选出最优的d个特征(d＜d)，其定义公式如下：
[0068][0069][0070][0071]
公式中，c为样本数，ni为第i类中的样本数，mi表示样本集的均值向量，m表示所有各类的样本集总均值向量，pi为i类的先验概率，为第i类的d维特征向量，sb为类间离散度矩阵，sw为类内离散度矩阵，为了保证类间离散度尽可能大，类内离散度尽可能小，jd(x)为最终的输出结果；
[0072]
使用轮盘赌选择方法作为选择算子选择出更合适的个体，轮盘赌选择方法中每个个体进入下一代的概率等于它的适应度值与整个种群中个体适应度值和的比例；
[0073]
通过交叉算子和变异算子对当前种群p进行交叉变异，交叉算子选择单点交叉方式进行交叉操作，变异算子选择单点位翻转突变进行变异操作，得到所述特征组合数据。
[0074]
在一个具体实施方式中，所述构建gru网络层，包括：
[0075]rt
＝σ(w
ir
x
t
b
ir
w
hrht-1
b
hr
)
[0076]zt
＝σ(w
iz
x
t
b
iz
w
hzht-1
b
hz
)
[0077]nt
＝tanh(w
in
x
t
b
in
r
t
×
(w
hnht-1
b
hn
))
[0078]ht
＝(1-z
t
)
×nt
z
t
×ht-1
[0079]
其中，h
t
是t时刻的隐藏状态；x
t
是t时刻的输入；h
t-1
是t-1时刻的隐藏状态；r
t
，z
t
，n
t
分别是重置门；更新门和计算候选隐藏层；σ为sigmoid激活函数。
[0080]
在一个具体实施方式中，所述构建embedding层，包括：
[0081]
embedding层包括三部分，分别为标量投影嵌入本地时间戳嵌入pe和全局时间戳嵌入se；embedding层输入公式为：
[0082][0083]
式中：i∈{1，......，l
x
}，α为平衡三者大小的因子；
[0084]
标量投影嵌入操作，使用一维卷积操作conv1d将输入数据的特征维度向量转换为512维向量；
[0085]
本地时间戳嵌入pe操作使用位置编码，计算公式为：
[0086][0087][0088]
式中，pos指的是一句话中某个字的位置，取值范围是[0，max_sequence_length)，i指的是字向量的维度序号，取值范围是[0，embedding_dimension/2)，embedding_dimension指的是字向量维度的值，d
model
指的是embedding_dimension的值；
[0089]
全局时间戳嵌入se操作使用全连接层将输入的时间戳映射为512维的向量。
[0090]
在一个具体实施方式中，所述构建informer层，包括：
[0091]
所述编码器的组成，embedding层输出的结果输入到编码器中，在多头注意力模块使用概率稀疏自注意力计算，具体算法为：
[0092]
(1)设置超参数c，u＝c ln m，u＝m ln n
[0093]
(2)从k中随机采样u个点积对作为
[0094]
(3)计算采样的得分
[0095]
(4)按行计算稀疏性得分
[0096]
(5)按照m排名选择前u个qi作为
[0097]
(6)
[0098]
(7)s0＝mean(v)
[0099]
(8)s＝{s1，s0}，并调整为原来的行顺序
[0100]
经过概率稀疏自注意力计算得出结果s会产生v值的冗余，因此在编码器中又加入了自注意力蒸馏机制(self-attention distilling)，以此来蒸馏出更具有优势的注意力权重，蒸馏公式为：
[0101][0102]
所述解码器的组成，解码器由一个掩码多头概率稀疏自注意力层和一个多头自注意力层组成，其中，多头概率稀疏自注意力层要进行mask，解码过程舍弃了动态解码过程，而采用一步生成式解码得到整个输出序列，解码器输入数据结构如下：
[0103][0104]
其中，是预测开始标签，对于推理预测提供推理依据，从编码
器输入值中截取，是一个为预测序列保留的占位时序序列，填充值为0，在解码器中也加入了自注意力蒸馏机制(self-attention distilling)，以此来蒸馏出更具有优势的注意力权重，蒸馏公式为：
[0105][0106]
所述全连接层将informer层得到的结果转换成最终的预测结果。
[0107]
本发明提供的一种基于gginformer的金融产品交易价格预测模型及其构建方法中，构建遗传算法层，遗传算法层对输入数据进行特征提取，得到具有竞争力的特征组合数据，可以消除金融数据参数冗余特性，对特征参数进行优化选择，应用遗传算法进行特征组合提取，可以提升后续模型的预测精度；在得到具有竞争力的特征组合数据后，将数据输入到gru网络，通过gru网络有效的提取金融数据的时序依赖关系，减小长程依赖对后续实验的影响；将gru网络的输出数据输入到embedding层，通过embedding层将特征向量经过3层投影映射得到输出结果；将输出结果输入到informer层，informer层的编码器将embedding层的输出结果使用概率稀疏自注意力机制和自注意力蒸馏机制进行特征编码，同时也采用一步生成式的decoder结构来捕获任意输出之间的长依赖关系，加快了预测速度的同时避免了误差的积累。使用自注意力蒸馏机制缩短每一层的输入序列长度，降低了多个堆叠层的内存使用量，降低了算法的总时间复杂度。同时扩展了该操作的卷积深度，使其卷积获得更深层次的特征后，再对具有主要特征的优势特征赋予更高的权重，以此获得更好的预测精度。使用概率稀疏性自注意力机制，降低了传统自注意力机制的计算时间复杂度和空间复杂度，二者均达到o(l*logl)，将informer模型的输出结果输入到构建的全连接层，全连接层将informer层得到的结果转换成最终的预测结果输出。与其他金融产品预测模型相比，本发明提供的金融产品交易价格预测模型可以用于解决特征参数冗余、非线性的、预测序列长度过长的金融时序数据预测任务时存在局限性的问题，为以后的金融时序数据预测任务开辟了新的思路。
附图说明
[0108]
图1是本发明提供的基于gginformer的金融产品交易价格预测模型的构建方法的流程图；
[0109]
图2是本发明提供的基于gginformer的金融产品交易价格预测模型的一种具体数据执行流程图；
[0110]
图3是本发明提供的基于gginformer的金融产品交易价格预测模型的整体结构示意图；
[0111]
图4是本发明提供给的基于gginformer的金融产品交易价格预测模型的一种具体网络结构图。
具体实施方式
[0112]
基于gginformer的金融产品交易价格预测模型的构建方法实施例：
[0113]
本实施例提供一种基于gginformer的金融产品交易价格预测模型的构建方法，该构建方法的硬件执行主体可以为台式电脑、笔记本电脑、服务器设备、智能移动终端(平板电脑、智能手机等)等等，本实施例不做限定。
[0114]
如图1所示，该构建方法包括：
[0115]
步骤1：构建遗传算法层，所述遗传算法层对输入数据进行特征提取，得到具有竞争力的特征组合数据：
[0116]
遗传算法层，首先初始化群体，对输入数据进行二进制编码，每条数据编码成一条染色体，采用随机算法来选取初始群体，每条染色体个体的每一个基因位按照等概率在{0，1}中选择，生成种群群体p；
[0117]
种群群体p的表示情况为：
[0118][0119]
选择基于类内类间距离的可分性判断依据作为适应度函数f(x)对种群中所有个体进行评价，具体公式为：
[0120]
假设从d个特征中选出最优的d个特征(d＜d)，其定义公式如下：
[0121][0122][0123][0124]
公式中，c为样本数，ni为第i类中的样本数，mi表示样本集的均值向量，m表示所有各类的样本集总均值向量，pi为i类的先验概率，为第i类的d维特征向量，sb为类间离散度矩阵，sw为类内离散度矩阵，为了保证类间离散度尽可能大，类内离散度尽可能小，jd(x)为最终的输出结果；
[0125]
使用轮盘赌选择方法作为选择算子选择出更合适的个体，轮盘赌选择方法中每个个体进入下一代的概率等于它的适应度值与整个种群中个体适应度值和的比例；
[0126]
交叉算子选择单点交叉方式进行交叉操作，变异算子选择单点位翻转突变进行变异操作。
[0127]
步骤2：构建gru网络层，所述构建gru网络层，将遗传算法得到的特征组合数据输入到gru网络层进行全局时序依赖信息的提取，得到特征向量，具体公式为：
[0128]rt
＝σ(w
ir
x
t
b
ir
w
hrht-1
b
hr
)
[0129]zt
＝σ(w
iz
x
t
b
iz
w
hzht-1
b
hz
)
[0130]nt
＝tanh(w
in
x
t
b
in
r
t
×
(w
hnht-1
b
hn
))
[0131]ht
＝(1-z
t
)
×nt
z
t
×ht-1
[0132]
其中，h
t
是t时刻的隐藏状态；x
t
是t时刻的输入；h
t-1
是t-1时刻的隐藏状态；r
t
，z
t
，n
t
分别是重置门；更新门和计算候选隐藏层；σ为sigmoid激活函数。
[0133]
步骤3：构建embedding层，所述embedding层将特征向量经过3层投影映射得到输出结果；
[0134]
如图2所示，为embedding层的一种具体数据处理流程图，包括三部分，分别为标量
投影嵌入本地时间戳嵌入pe和全局时间戳嵌入se；embedding层输入公式为：
[0135][0136]
式中：i∈{1，......，l
x
}，α为平衡三者大小的因子；
[0137]
标量投影嵌入操作，使用一维卷积操作conv1d将输入数据的特征维度向量转换为512维向量；
[0138]
本地时间戳嵌入pe操作使用位置编码，计算公式为：
[0139][0140][0141]
式中，pos指的是一句话中某个字的位置，取值范围是[0，max_sequence_length)，i指的是字向量的维度序号，取值范围是[0，embedding_dimension/2)，embedding_dimension指的是字向量维度的值，d
model
指的是embedding_dimension的值；
[0142]
全局时间戳嵌入se操作使用全连接层将输入的时间戳映射为512维的向量。
[0143]
步骤4：构建informer层，所述informer层将embedding层的输出结果经过编码器和解码器的处理得到输入输出间的映射关系，包括：
[0144]
编码器的组成，embedding层输出的结果输入到编码器中，在多头注意力模块使用概率稀疏自注意力计算，具体算法为：
[0145]
(1)设置超参数c，u＝c ln m，u＝m ln n
[0146]
(2)从k中随机采样u个点积对作为
[0147]
(3)计算采样的得分
[0148]
(4)按行计算稀疏性得分
[0149]
(5)按照m排名选择前u个qi作为
[0150]
(6)
[0151]
(7)s0＝mean(v)
[0152]
(8)s＝{s1，s0}，并调整为原来的行顺序
[0153]
经过概率稀疏自注意力计算得出结果s会产生v值的冗余，因此在编码器中又加入了自注意力蒸馏机制(self-attention distilling)，以此来蒸馏出更具有优势的注意力权重；
[0154]
如图2所示，为自注意力蒸馏机制的一种具体数据处理流程图，首先经过一维卷积处理，再加上elu激活函数进行非线性激活，然后经过最大池化操作进行降维处理，最后加上层归一化，蒸馏公式为：
[0155][0156]
解码器的组成，解码器由一个掩码多头概率稀疏自注意力层和一个多头自注意力层组成，其中，多头概率稀疏自注意力层要进行mask，解码过程舍弃了动态解码过程，而采用一步生成式解码得到整个输出序列，解码器输入数据结构如下：
[0157][0158]
其中，是预测开始标签，对于推理预测提供推理依据，从编码
器输入值中截取，是一个为预测序列保留的占位时序序列，填充值为0，解码器的结构也加入了自注意力蒸馏机制(self-attention distilling)，如图2所示，为自注意力蒸馏机制的一种具体数据处理流程图，首先经过一维卷积处理，再加上elu激活函数进行非线性激活，然后经过最大池化操作进行降维处理，最后加上层归一化，蒸馏公式为：
[0159][0160]
步骤5：构建全连接层，所述全连接层将informer层得到的结果转换成最终的预测结果；
[0161]
构建全连接层，使用线性层将informer层得到的结果维度d
informer
转换成最终分类结果维度d
output
，输出结果，公式为：
[0162]
a＝wb
[0163]
本发明提供的模型本发明提供的金融产品交易价格预测模型可以用于解决特征参数冗余、非线性的、预测序列长度过长的金融时序数据预测任务时存在局限性的问题，为以后的金融时序数据预测任务开辟了新的思路。
[0164]
基于gginformer的金融产品交易价格预测模型实施例：
[0165]
本实施例提供一种基于gginformer的金融产品交易价格预测模型，与上述基于gginformer的金融产品交易价格预测模型的构建方法相对应，如图3所示，基于gginformer的金融产品交易价格预测模型包括：
[0166]
遗传算法层，所述遗传算法层对输入数据进行特征提取，得到具有竞争力的特征组合数据；
[0167]
gru网络层，所述gru网络层是将所述特征组合数据输入到gru网络层进行全局时序依赖信息的提取，得到特征向量；
[0168]
embedding层，所述embedding层将特征向量经过3层投影映射得到输出结果；
[0169]
informer层，所述informer层将embedding层的输出结果经过编码器和解码器的处理得到输入输出间的映射关系；
[0170]
全连接层，所述全连接层将informer层得到的结果转换成最终的预测结果。
[0171]
对于各个处理层的具体实现方式参见上述基于gginformer的金融产品交易价格预测模型的构建方法实施例，不再赘述。
[0172]
图4为基于gginformer的金融产品交易价格预测模型的一种具体网络结构图。
[0173]
上述实施例仅以一种具体的实施方式说明本发明的技术方案，任何对本发明进行的等同替换及不脱离本发明精神和范围的修改或局部替换，其均应涵盖在本发明权利要求保护的范围之内。