一种基于多模态融合与动量溢出效应的股票预测方法与流程

1.本发明涉及一种股票预测方法。特别是涉及一种基于多模态融合与动量溢出效应的股票预测方法。


背景技术：

2.股票市场是金融行业的重要组成部分，对股票的预测可以为投资者进行投资组合选择提供重要的参考价值。然而股票市场受到很多外界因素影响具有高波动性、随机性等特性，使得对目标股票的预测成为一个很有挑战性的任务。因此，尽管股票预测可以被简单的看为是二分类任务，但使用单一的目标股票历史数据和简单的数学模型很难提供可靠的股票走势预测，我们需要蕴含更多信息的多源历史数据与复杂的、有针对性的深度学习模型来对目标股票进行预测来提高预测准确度。
3.最能反映股票价格变化规律的历史数据是交易数据，包括股票的开盘价、收盘价、最高值、交易量等。但越来越多研究表明只对股票的历史交易数据进行特征学习、规律探索并不能很好预测股票未来走势。因为股票价格的变化直接与投资人对股票的未来走势的态度有关，而投资者对股票走势的态度不仅受此股票历史价格影响，还受与之相关的新闻以及其他投资者的观点的影响。因此对股票的新闻、论坛内容等文本数据的收集和信息提取也是预测股票价格变化的重要一环。
4.在现有的股票预测系统中，大多数研究直接利用情感词典来提取文本数据的情感，如：积极的、消极的等，然而这种方法并不是通过深度的分析文本上下文信息提取情感，而是指凭借一些关键词判别全文情感不能准确的把我全文情感也不能蕴含全文信息内容。通过深度学习模型直接提取文本的全文特征，并整合成特征嵌入无疑是更好的方法，这使得文本特征蕴含了更多有效信息。bert(bidirectional encoder representation from transformers)模型是基于transformer的深度学习模型，用于对自然语言进行处理，包括对文本进行特征提取得到对应的特征表征，即特征向量。该模型经过与训练后，只需要添加一个额外的输出层进行微调就可以在各种下游任务中取得优异的结果。
5.收集到能反映股票价格变化的交易数据和文本数据后，通过有效、可靠的数据分析模型实现对股票数据的特征提取、特征融合进而实现对股票价格的预测至关重要。交易数据与文本数据的联合学习过程除了需要理解语言语义、寻找价格时序变化规律，最重要的是两种模式之间的对齐关系。寻找合适有效的模态对齐、特征融合的深度学习模块对基于多源信息融合的股票预测系统至关重要。
6.寻找高效可靠的关系网络构建方法至关重要，目前常见的计算股票之间相关性的方法有计算欧氏距离、余弦相似度等方法。然而与普通的规律性的数据序列不同，现实中的金融价格序列因突发事件(如恐怖袭击等)会使得价格发生突变，而这些突变往往是不可预测的。


技术实现要素：

7.本发明所要解决的技术问题是，为克服现有技术的不足，提供一种能够准确和可靠的对股票进行预测的基于多模态融合与动量溢出效应的股票预测方法。
8.本发明所采用的技术方案是：一种基于多模态融合与动量溢出效应的股票预测方法，包括如下步骤：
9.1)收集目标股票和n-1只与目标股票相关股票的交易数据和文本数据；
10.2)数据预处理，包括：
11.(2.1)对交易数据以及文本数据进行异常值检测和缺失值补全；
12.(2.2)对文本数据进行特征提取，得到每只股票的每日的文本特征向量；
13.3)构建n只股票之间的关系矩阵，包括：
14.(3.1)使用每只股票的开盘价序列，在大小为t天的滑动窗口下构建n只股票之间的时空动态分层复杂网络；
15.(3.2)分别计算每层单只股票网络的度分布和聚类系数分布，得到层与层之间的度分布互信息和聚类系数分布互信息，分别用来表征股票两两间度相关性和股票两两间聚类系数相关性，从而得到以股票为节点，股票两两间相关性为连边的动态股票关系网络；
16.(3.3)以股票为节点，分别以股票两两间度相关性和股票两两间聚类系数相关性为边构建动态股票关系网络，得到每个滑动窗口下n只股票间的度相关性网络和聚类系数相关性网络，对所述的度相关性网络和聚类系数相关性网络计算均值，得到最终的时空动态分层复杂网络ε，表示为表征从第t-t 1个交易日到第t个交易日跨度内股票之间关系网络，表示为其中e
i,j
表示股票i与股票j之间的相关性；
17.4)对n只股票的文本数据进行特征提取，转化为每个交易日下文本特征向量；
18.5)设定股票预测模型的输入样本；
19.6)建立股票预测模型；
20.7)采用输入样本对所述的股票预测模型进行迭代训练和预测，具体是通过对第i只股票t时刻的未来涨跌预测标签yi和未来涨跌预测值计算交叉熵损失值来在训练中更新股票预测模型的可训练参数，其中，当目标股票i的第t 1个交易日的开盘价大于第t个交易日的开盘价时，第i只股票t时刻的未来涨跌预测标签yi设置为1否则为0。
21.本发明的一种基于多模态融合与动量溢出效应的股票预测方法，主要从多模态数据特征融合和利用市场动量溢出效应两个角度入手设计出适合的、有效的深度学习模块来提升股票预测模型的准确性和可靠性。其中使用基于交叉注意力与图卷积的多模态信息融合的股票预测模型实现交易数据、文本数据的多模态数据联合学习、特征融合融合，相较于现有的只基于交易数据的预测系统考虑到了更全面的信息，并利用两类数据之间的相关性进行深度有效的特征融合提高了模型的预测能。同时充分利用动量溢出效应对目标股票涨跌的影响，通过提出的时空动态分层复杂网络实现了目标股票及相关股票的关系网络构建，并结合提出的深度学习模型中的门控图卷积模块将股票关系网络融入到股票预测中，相较于现有的只考虑分析目标股票数据的方法利用市场规律提高了模型的预测效果。
附图说明
22.图1是本发明一种基于多模态融合与动量溢出效应的股票预测方法的流程图；
23.图2是本发明中股票预测模型的结构示意图；
24.图3是本发明中交叉特征融合模块结构图；
25.图4是本发明中单只股票网络的构建示意图。
具体实施方式
26.下面结合实施例和附图对本发明的一种基于多模态融合与动量溢出效应的股票预测方法做出详细说明。
27.如图1所示，本发明的一种基于多模态融合与动量溢出效应的股票预测方法，包括如下步骤：
28.1)收集目标股票和n-1只与目标股票相关股票的交易数据和文本数据，n可以设为5～10；
29.所述的股票交易数据是指该股票在股市上交易产生的数据信息，包括五种属性：开盘价、收盘价、最高价、最低价和交易量；股票文本数据包括目标股票以及与目标股票相关股票的每日的腾讯新闻以及东方财富论坛中投资者对目标股票以及与目标股票相关股票的讨论信息。
30.2)数据预处理，包括：
31.(2.1)对交易数据以及文本数据进行异常值检测和缺失值补全；
32.(2.2)对文本数据进行特征提取，得到每只股票的每日的文本特征向量；具体包括：
33.(2.2.1)通过jieba停词(python库)对每条文本数据进行去停用词；
34.(2.2.2)通过裁剪和补齐的方法将每条文本数据转化为相同长度，即每条文本数据包含的词语个数相同；
35.(2.2.3)通过预训练好的bert模型对去停用词后的每条文本数据进行特征提取，得到每条文本数据的文本特征向量，对每只股票每天的所有文本特征向量做平均池化，得到每只股票每个交易日下的文本特征向量。
36.3)构建n只股票之间的关系矩阵，包括：
37.(3.1)使用每只股票的开盘价序列，在大小为t天的滑动窗口下构建n只股票之间的时空动态分层复杂网络；具体包括：
38.(3.1.1)设置有限穿越视距为e；
39.(3.1.2)将每个交易日作为单只股票网络节点；
40.(3.1.3)如图4所示，在两个节点和的直方条之间构建水平连线，连线高度为两个节点的直方条中较低的直方条的高度，即其中，设定节点表示第i只股票在第ta天的开盘价为节点表示第i只股票在第tb天的开盘价为ta,tb∈[t-t 1,t]表示从第t-t 1交易日到第t交易日范围内的第ta天和tb天；
[0041]
规定若所述的两个节点和的水平连线只与e个或者少于e个中间节点
相交，则这两个节点和之间存在连边，否则认定在有限穿越视距为e的单只股票网络中节点和节点之间不存在连边；由此，针对每只股票构建一层单只股票网络gi，即针对n只股票得到n层单只股票网络
[0042]
(3.2)分别计算每层单只股票网络的度分布和聚类系数分布，得到层与层之间的度分布互信息和聚类系数分布互信息，分别用来表征股票两两间度相关性和股票两两间聚类系数相关性，从而得到以股票为节点，股票两两间相关性为连边的动态股票关系网络；其中，
[0043]
所述的得到层与层之间的度分布互信息用来表征股票两两间的度相关性，具体包括：
[0044]
第i只股票的单只股票网络，即第i层的单只股票网络节点的度值为hi，第i层的单只股票网络在节点的度值为该股票网络节点的度分布表示为p(hi)；通过计算第i只股票的单只股票网络节点的度值序列和第j只股票的单只股票网络节点的度值序列的互信息来表述第i只股票和第j只股票的度相关性，确定两两通道间相关性大小，第i只股票和第j只股票两两间的度相关性为：
[0045][0046]
其中，p(hi)是第i只股票网络节点的度分布，p(hi,hj)是第i只股票网络和第j只股票网络的节点联合度分布。
[0047]
得到层与层之间的聚类系数分布互信息用来表征股票两两间聚类系数相关性，具体包括：
[0048]
第i只股票的单只股票网络节点，即第i层的单只股票网络的聚类系数为ci，第i层的单只股票网络在节点的聚类系数为其中表示节点的邻居节点的个数，表示节点与邻居节点之间实际存在的边数，表示节点与邻居节点之间最多的边数，进而得到第i只股票的聚类系数分布为p(ci)；通过计算第i只股票的单只股票网络节点的聚类系数序列和第j只股票的单只股票网络节点的聚类系数序列的互信息，来表示第i只股票和第j只股票的两两间聚类系数相关性为：
[0049][0050]
其中，p(ci)是第i只股票的聚类系数分布，p(ci,cj)是第i只股票和第j只股票的联合聚类系数分布。
[0051]
(3.3)以股票为节点，分别以股票两两间度相关性和股票两两间聚类系数相关性为边构建动态股票关系网络，得到每个滑动窗口下n只股票间的度相关性网络和聚类系数相关性网络，对所述的度相关性网络和聚类系数相关性网络计算均值，得到最终的时空动
态分层复杂网络ε，表示为表征从第t-t 1个交易日到第t个交易日跨度内股票之间关系网络，表示为其中e
i,j
表示股票i与股票j之间的相关性；
[0052]
4)对n只股票的文本数据进行特征提取，转化为每个交易日下文本特征向量；包括：
[0053]
(4.1)使用jieba分词(中文分词python库)对每条文本数据去停用词，得到词集合；
[0054]
(4.2)采用裁剪和补齐的方法将每条文本数据转化为相同长度，即每条文本数据包含的词语个数相同；
[0055]
(4.3)将处理后的每只股票的每一条文本数据放入预训练好的bert模型进行特征提取，得到对应的文本特征向量；
[0056]
(4.3)每只股票每个交易日下的所有文本特征向量通过平均池化后，得到每只股票每个交易日下融合后的特征向量，即，从第i只股票的第t个交易日内收集到的新闻与论坛评价信息文本中抽取到l维度文本特征向量
[0057]
5)设定股票预测模型的输入样本；包括：
[0058]
股票预测模型的每一个输入样本都是由一个交易数据样本、一个文本特征样本、一个股票关系网络矩阵组成；所述的交易数据样本，由于股票交易数据包括五种属性，则第i只股票在第t交易日的l’维属性数据构成该交易日的交易特征向量则一个交易数据样本表示为所述的文本特征样本，第i只股票在第t交易日下的l维度文本特征向量表示为则一个文本特征样本表示为其中n表示股票数目，i＝1,2,
…
,n，t表示交易日的天数，即一个样本使用多少交易日的数据；所述的一个股票关系网络矩阵是由表示，其中e
i,j
∈ε代表归一化后的目标股票i与相关股票j之间的关联程度，同时e
i,j
∈[0,1]，越接近1表示相关性越强烈，越接近0表示相关性越弱。
[0059]
6)建立股票预测模型；，如图2所示，包括：
[0060]
(6.1)将设定的股票预测模型的输入数据中的每只股票的交易数据通过填零的方式转换为和文本特征数据相同维度，即其中n
t
表示第t个交易日的交易数据，n表示共有n只股票，l表示文本特征数据的特征维度；
[0061]
(6.2)在每只股票的文本特征样本中首端引入令牌[class]，表示为其中，i表示第i只股票，l表示文本特征数据的特征维度
[0062]
(6.3)对每只股票分别构建股票预测模型的特征交叉融合模块，用于每只股票的交易数据与文本特征数据交叉学习，特征融合，得到每只股票的交易数据与本文特征的融合特征嵌入；特征交叉融合模块是由h个特征交叉融合层组成，每个特征交叉融合层是由3个子层串联组成，所述的3个子层包括：一个双向交叉注意力子层、一个由两个并联的自注意力机制组成的自注意力子层、一个由两个并联的前馈神经网络组成的子层，所述的两个前馈神经网络均采用两层全连接神经网络和采用tanh函数为激活函数，3个子层的后面分别引入一个残差网络结构和归一化处理；
[0063]
每只股票的交易数据与添加了[class]令牌的文本特征数据输入到特征交叉融合模块中，其中表示第i只股票在第τ个交易日的交易数据，表示第i只股票在第τ个交易日的文本特征数据，τ属于第t-t 1交易日到第t交易日范围内；每只股票的股票数据输入对应的特征交叉融合模块；
[0064]
双向交叉注意力子层包含两个单向交叉注意力模块，分别用来将交易数据融合到文本特征数据域，以及将文本特征数据融合到交易数据域，具体融合公式为：
[0065][0066][0067][0068]
其中crossatt
w-j
表示将文本特征数据融合到交易数据域，crossatt
j-w
表示将交易数据融合到文本特征数据域；表示融合到文本特征数据域的交易数据序列，表示融合到[class]令牌的交易数据向量，表示融合到交易数据域的文本数据特征序列和[class]令牌，同时[class]令牌，同时和也是第k层交叉特征融合模块中双向交叉注意力子层的输出序列；τ表示从第t-t 1交易日到第t交易日内的一个交易日，共有k层交叉融合模块其中k表示为第k层；
[0069]
将自注意力子层和前馈神经网络子层的输出序列用公式表示为：
[0070][0071][0072][0073][0074][0075][0076]
τ＝t-t,t-t 1,...,t
[0077]
其中selfattw→w表示自注意力子层中文本自注意力机制计算过程，selfattj→j表示自注意力子层中交易数据自注意力机制计算过程；和表示第k层自注意力子层的输出序列，和表示第k层交叉特征融合模块中双向交叉注意力子层的输出序列；ffnw→w表示文本前馈神经网络的计算过程，ffnj→j表示交易前馈神经网络的计算过程；对第i只股票，特征交叉融合模块的输出包括深度交易特征序列深度文本特征序列以及融合特征嵌入其中τ表示第τ个交易日，所述的融合特征嵌入vi就是第t-t 1至t天的交易数据与文本数据的交叉学习后融合的特征表示；
[0078]
(6.4)构建股票预测模型的门控图卷积神经网络：
[0079][0080]
c(vi,vj)＝tanh(wc[vi||vj] bc)
[0081]
其中，e
i,j
∈ε表示标准化后的第i只股票与第j只股票之间的关联程度，同时e
i,j
∈[0,1]，越接近1表示第i只股票与第j只股票之间的相关性越强烈，越接近0表示第i只股票与第j只股票之间的相关性越弱；是所有股票共有的权重矩阵，由神经网络训练得到；代表所有股票的融合特征嵌入集合；σ是sigmoid函数；si代表目标股i与其他n-1只相关股票的关系特征向量，表示为c(
·
)表示门控机制，用于筛选掉相关股票微小的变动，这些变动往往不会影响到目标股票价格变动；是门控机制中的权重矩阵，是偏置；
[0082]
(6.5)构建股票预测模型的输出层：对股票的关系特征向量si应用带有softmax函数的两层前馈神经网络，得到对第i只股票未来涨跌的预测值
[0083][0084]
其中，是第i只股票的权重矩阵，由神经网络训练得到；c是股票未来涨跌的类别个数；bi是第i只股票的偏置，由神经网络训练得到；是对第i只股票的未来涨跌预测值，也是股票预测模型的最终输出。
[0085]
7)采用输入样本对所述的股票预测模型进行迭代训练和预测，具体是通过对第i只股票t时刻的未来涨跌预测标签yi和未来涨跌预测值计算交叉熵损失值来在训练中更新股票预测模型的可训练参数，其中，当目标股票i的第t 1个交易日的开盘价大于第t个交易日的开盘价时，第i只股票t时刻的未来涨跌预测标签yi设置为1否则为0。
[0086]
本发明的一种基于多模态融合与动量溢出效应的股票预测方法，创新性的通过基于交叉注意力机制的神经网络模块来交叉、联合学习这些交易数据与文本数据之间的连接，融合两种模态特征信息。相较于现有的只基于交易数据的预测系统考虑到了更全面的信息，同时相较于现有方法使用特征拼接、利用矩阵变换实现特征融合的方法等，本发明的交叉注意力模块通过寻找两种模态数据相关关系的方法进行联合特征学习、提取能更加有效的融合多模态特征，提高模型对股票信息的利用率，进而提高对股票的预测效果。
[0087]
本发明的一种基于多模态融合与动量溢出效应的股票预测方法，第二个核心是利用动量溢出效应提高对目标股票的预测效果。多模态信息的融合的引入为股票预测系统提供了大量的股票属性数据信息，同时，对相关股票的变化规律研究同样也可以为我们对目标股票的预测提供更多帮助。在股票市场中，动量溢出效应指可以通过一家公司的过去收益可以预测与其相关的公司的收益。因此动量溢出效应与股票所属公司之间关系息息相关，构造公司关系网络是研究动量溢出效应的重要一环。然而大多数现有的股票预测系统只是针对目标股票的文本数据、交易数据进行深度学习，并没有考虑到其他公司对目标股票未来价格波动的影响。本发明充分考虑到动量溢出效应对目标股票的影响，结合多只股票交易信息预测目标股票未来收益趋势。寻找高效可靠的关系网络构建方法至关重要，现
实中的金融价格序列因突发事件(如恐怖袭击等)会使得价格发生突变，而这些突变往往是不可预测的，可将其视为噪声点。因此为了解决噪声问题，更好的寻找到目标股票与县官股票的可靠的相关关系，本发明创新性的提出了构建时空动态分层复杂网络的方法来计算股票之间相关关系网络。本发明提出的时空动态分层复杂网络不仅能对网络节点层间的耦合进行更精确的建模，而且具有更好的抗噪能力，可用于多元时间信号分析。本发明通过构建时空动态分层复杂网络对目标股票及与之相关的多只股票构建关系网络。此股票关系网络以股票为网络节点，股票两两间相关性为网络连边。得到关系网络后，如何将股票关系与每只股票的融合特征有机结合，实现通过利用相关股票特征信息辅助预测目标股票价格变化也是本发明的在预测模型要考虑到重要一环。本发明创新性的在预测模型中添加了提出的门控图卷积网络(gate-graph convolutional neural network，ggcn)用计算目标股票与其他相关股票的深度特征加权和，即通过股票关系网络得到其他相关股票与目标股票之间的相关性，根据相关关系将相关股票的的深度特征融合到目标股票的特征中，使得在对目标股票预测时利用更为全面的市场信息，提高对目标股票的预测准确率。然而在实际的金融市场中，并不相关股票的所有变动都对目标股票的价格造成影响，如相关股票价格下跌，但是成交量很小，这种情况下，相关股票的变动对目标股票并不会对目标股票产生影响。所以相较于传统的图卷积神经网络，本发明创新性的在图卷积网络中引入门控机制，来过滤这种相关股票的微小变动，增加系统的预测的稳定性可靠性。此过程实现了股票预测模型对动量溢出效应的考虑。提高对目标股票价格变化的预测准确率。