基于复值树突神经模型的时间序列预测方法和系统

1.本发明涉及神经网络技术领域，尤其是指一种基于复值树突神经模型的时间序列预测方法和系统。


背景技术：

2.股票价格指数预测由于其广泛的金融应用范围而成为研究热点。股票价格指数是一个动态序列，同时伴随着高波动性、非线性和非平稳性，因此预测股票和股价指数并不容易。此外，股市还受到很多宏观经济因素的影响，包括总体经济形势、政治事件、机构投资者和个人投资者的选择和预期、商业公司的政策以及不同投资者的心理等因素，这些因素对股价的确切影响仍然未知，但确实使得金融数据更加难以预测。然而考虑到股市交易体量大这一特点，即便股票价格指数预测的准确性只是略有提高，也可能使投资者受益。因此，如果对从过往的股价中获得的信息进行有效的预处理并应用适当的算法，则可以预测股票价格指数的趋势。
3.现有的股票指数预测模型主要有统计模型和基于人工神经网络的模型。统计模型可以根据历史数据和信息，跟踪股票指数序列来进行预测。然而，统计模型很难近似不规则和非线性金融时间序列，因为统计模型过于固定，无法适应不断变化的动态股票数据，所以采用这些传统模型得到的预测结果通常并不精确。而人工神经网络相较于统计模型的优势在于它们对嘈杂和错误数据更具鲁棒性。其中，一种新出现的具有独特模型架构和激励函数的树突神经模型，可以有效捕捉到股票数据细微、连续的变化来提高股票指数序列的预测精度。树突神经模型已被应用于解决各种时间序列预测问题，包括风速预测和医学诊断等问题。树突神经模型与大多数其他人工神经网络不同的是，该模型树突层中使用了乘法运算，以非线性方式有效地回归了不同特征之间的相关关系。树突神经模型由突触层、树突层、膜层和胞体层四层组成，具体架构如图1所示，其中：
4.突触层是树突神经模型的第一层，它接收来自突触前神经元的信息并将信息传递给突触后神经元。在突触层中，可以使用sigmoid函数将第i维输入xi(i＝1,2,...,d)连接到第j个树突层(j＝1,2,...,ms)，d是输入维度，ms是树突层数。突触层的输出为y
ij
，ω
ij
和θ
ij
分别是需要学习的连接权重和阈值，k是一个正常数。公式表示为：
[0005][0006]
树突层是树突神经模型的第二层，该层使用乘法作为非线性激活函数。树突层中第j层的输出zj表示为：
[0007][0008]
膜层是树突神经模型的第三层，该层将所有树突分支的输出值求和，然后求和后的输出值v被传递到下一层以激活。膜层的公式表示如下：
[0009][0010]
胞体层是树突神经模型的第四层，也是最后一层。含义是当输入值超过阈值时，胞体会被触发。因此，胞体o的公式定义为：
[0011][0012]
式中，ks是一个正常数，θs∈(0,1)是一个定阈值。
[0013]
对于复数信号的处理，复值神经网络是一种行之有效的手段，在一些应用领域如图像处理、复信号处理等，复值神经网络的表现已经被证实在许多方面都超过了相同结构的实值神经网络。复值树突神经模型可以与树突神经模型具有相同的体系结构，但突触层和胞体层所用的激活函数与实值模型不同。在突触层，复值突触连接的定义为：
[0014][0015]
式中，xi是输入信号，是突触层所用的全复型激活函数，ω
ij
、θ
ij
分别表示复权重和复阈值。
[0016]
胞体层的输出定义为：
[0017][0018]
式中，是胞体层所用的全复型激活函数。
[0019]
对于复值神经网络来说，复梯度算法和复牛顿算法是目前较多的训练算法。复梯度下降算法因计算复杂度低而被广泛应用。梯度类算法通过使用wirtinger算子进行反向求导，适用于不同类型的复值神经网络，但是复值梯度下降算法也存在一些缺陷。一方面，与实值梯度下降算法一样，复值梯度下降算法的表现相对于二阶算法不太突出。另一方面，由于复值神经网络的损失函数中存在大量的鞍点，也给梯度类算法的训练增加了难度。而牛顿法相比于梯度算法往往能获得更快的收敛速度和更高的精度。牛顿类算法主要可以分为牛顿法和拟牛顿法。牛顿法需要计算海森矩阵的逆，计算量对于大规模问题是非常大的，所以为了降低计算复杂度，现有研究中有同时利用曲率提出了估计hessian矩阵的准牛顿方法。其中bfgs算法在实践中表现最好，但在bfgs算法中，由于需要存储大规模的矩阵，对内存的消耗仍然很大。为了减少储存量，有限内存的bfgs(l-bfgs)算法被提出。l-bfgs算法只需要保留最近更新的有限次信息，可以进一步减少计算量，降低对内存的需求，增强算法的实用性。自适应复值l-bfgs算法是一种复数域的优化算法，相比于传统的复值l-bfgs算法，它在每一次迭代中都能得到最优的记忆尺度，能够用于求解复数域无约束优化问题
[0020]
但是，传统的复值树突神经模型通常采用复梯度算法，很容易陷入鞍点或局部最优解，而且收敛速度相较于复牛顿算法以及复拟牛顿算法也很慢。并且，当样本数量变大，信息冗余时，小批次随机算法会比全批次确定性算法更具优势；同时，小批次随机算法也存在梯度噪声问题，梯度估计不够准确，导致预测精度不准确。


技术实现要素：

[0021]
为此，本发明所要解决的技术问题在于克服现有技术中的不足，提供一种基于复值树突神经模型的时间序列预测方法和系统，可以加快收敛速度、提高精确性，适用于大型数据集。
[0022]
为解决上述技术问题，本发明提供了一种基于复值树突神经模型的时间序列预测方法，包括：
[0023]
s1：获取原始数据进行复值化处理得到训练集，构建复值树突神经模型；
[0024]
s2：使用所述训练集训练所述复值树突神经模型得到训练完成的复值树突神经模型，训练时采用方差缩减的循环结构优化训练过程、采用定量递增的策略改变随机批次数；
[0025]
s3：将待测数据输入训练完成的复值树突神经模型得到预测结果。
[0026]
在本发明的一个实施例中，所述获取原始数据进行复值化处理得到训练集，具体为：
[0027]
在一段连续时间内取n个数据，建立时间序列{xn|n＝1,
…
,n}，其中n是时间序列的总长度，xn是第n个数据；将每p个连续数据作为模型输入，得到n-p个模型输入为i＝{x1,x2,
…
,xi,
…
,x
n-p
}，其中xi是模型输入的第i个样本，共有n-p个样本为：
[0028][0029]
将所述模型输入i作为训练集。
[0030]
在本发明的一个实施例中，所述训练时采用方差缩减的循环结构优化训练过程、采用定量递增的策略改变随机批次数，具体为：
[0031]
s2-1：初始化模型参数ω
ij
和θ
ij
得到初始外循环参数ω
ij
和θ
ij
分别是需要学习的连接权重和阈值；设定学习率α，最大内循环次数t，最大外循环次数k，其中
[0032]
s2-2：构建外循环：令2：构建外循环：令表示第k次外循环的参数；根据ω
ij
的全样本平均梯度表示式和θ
ij
的全样本平均梯度表示式计算当前迭代时刻全样本的平均梯度值
[0033]
s2-3：构建内循环：根据现有的外循环次数递增样本数s，在确定s后进行样本随机采样，此时取到的样本集为γ；计算方差缩减后的梯度t表示第t次内循环，表示在第k次外循环内进行第t次内循环时的参数，表示内循环参数在随机样本集γ上的平均梯度，表示外
循环参数在随机样本集γ上的平均梯度；
[0034]
s2-4：计算前后两次迭代时参数的变化量sc与前后两次迭代时梯度的变化量yc：当前后两次迭代在同一外循环时，有以及当前后两次迭代在不同外循环时，有以及γ-1表示用于上一次迭代更新的随机采样的样本集，c表示参数更新次数；
[0035]
s2-5：计算在第k次外循环内进行第t次内循环时的搜索方向
[0036]
s2-6：更新
[0037]
s2-7：如果内循环次数t 1＜t，则令t＝t 1，继续内循环；如果t 1＝t，结束内循环，并令外循环参数重新开始外循环，直至k达到最大外循环次数k；
[0038]
s2-8：当所有的内循环和外循环都结束后，将此时的作为模型的最佳参数。
[0039]
在本发明的一个实施例中，所述ω
ij
的全样本平均梯度表示式和θ
ij
的全样本平均梯度表示式的计算方法为：
[0040]
s2-2-1：构建单神经元复值树突神经模型后向传播的表示式；
[0041]
s2-2-2：根据所述单神经元复值树突神经模型后向传播的表示式，构建ω
ij
的单个样本的复梯度表示和θ
ij
的单个样本的复梯度表示
[0042]
s2-2-3：将整体n个样本梯度加和求平均得到ω
ij
的全样本平均梯度表示式和θ
ij
的全样本平均梯度表示式
[0043]
在本发明的一个实施例中，所述构建单神经元复值树突神经模型后向传播的表示式，具体为：
[0044]
s2-2-1-1：根据欧几里德范数计算模型输出层的单样本误差为：
[0045][0046]en
＝o
n-tsn；
[0047]
其中，ln表示单样本为n时、模型输出的单样本误差，en表示单样本为n时、单样本输出值与目标值的差距，表示en的共轭值，tsn表示单样本为n时、该样本的目标值，on表示单样本为n时、该样本的输出值；n∈{1,2,...,n-p}表示所取的单样本序列数，n是时间序列的总长度，p是单个样本的输入维数；
[0048]
s2-2-1-2：计算胞体层的复导数为：
[0049][0050][0051]
其中，表示单样本为n时、该样本胞体层输出的共轭值；
[0052]
s2-2-1-3：构建膜层的递推公式表示为：
[0053][0054][0055]
其中，vn表示单样本为n时、该样本膜层的输出值，表示vn的共轭值，表示的共轭值，是胞体层所用的全复型激活函数，表示激活函数对vn求导；
[0056]
s2-2-1-4：构建树突层的递推公式表示为：
[0057][0058]
其中，z
j,n
表示单样本为n时、该样本的树突层在第j层树突层的输出值；
[0059]
s2-2-1-5：构建突触层的递推公式表示为：
[0060][0061][0062]
其中，y
i,j,n
表示单样本为n时、该样本的突触层在输入第i维、第j层树突层的输出值，表示z
j,n
的共轭值，d表示样本的输入维度，表示y
i,j,n
的共轭值，表示的共轭值。
[0063]
在本发明的一个实施例中，所述ω
ij
的单个样本的复梯度表示为：
[0064][0065][0066]
将整体n个样本梯度加和求平均得到ω
ij
的全样本平均梯度表示式为：
[0067][0068]
所述θ
ij
的单个样本的复梯度表示为：
[0069][0070][0071]
将整体n个样本梯度加和求平均得到θ
ij
的全样本平均梯度表示式为：
[0072][0073]
其中，p
i,n
表示第n个样本中的第i维输入，表示突触层的复值激活函数，表示的共轭值，表示的共轭值。
[0074]
在本发明的一个实施例中，所述计算在第k次外循环内进行第t次内循环时的搜索方向的具体过程为：
[0075]
s2-5-1：设置初始化参数ξ1、m
set
、w、w和τ，ξ1表示递减阈值，表示递增阈值控制参量，m
set
表示初始的内存大小m的选取上限m值，w表示记忆尺度选取参量，w表示滑动窗长，τ表示混合方向选取个数；
[0076]
s2-5-2：利用前w次迭代中记忆尺度的平均值2：利用前w次迭代中记忆尺度的平均值计算当前迭代记忆尺度的预测值
[0077][0078]
其中，c表示参数[ω
ij
,θ
ij
]
t
的更新次数，当c＜w且c≠0时，w＝c；
[0079]
s2-5-3：如果则令m＝m-1；如果其中则令m＝m 1；如果既不满足也不满足m保持不变；
[0080]
s2-5-4：根据s2-4中sc和yc的表达式，分别计算多步拟牛顿公式中的相对应的，前后两次迭代时参数的变化量前后两次迭代时梯度的变化量
[0081]
s2-5-5：根据公式其中，表示海塞矩阵逆矩阵的近似，h表示转置；分别计算m＝2,
…
,m时与真实海塞矩阵的逆矩阵之间的近似程度em；
[0082]
s2-5-6：根据s2-5-5中计算的em和s2-5-3中修正的m，在第c次迭代中选择使得em最小的前τ个记忆尺度，计算前τ个记忆尺度的平均记忆尺度
[0083]
s2-5-7：在τ个方向上进行叠加得到当前迭代时的搜索方向hc表示参数第c次迭代时的海塞矩阵逆矩阵的近似表示，表示经过内循环计算、方差缩减后的梯度。
[0084]
在本发明的一个实施例中，所述的计算方法为：
[0085][0086][0087][0088][0089]
其中，i表示单位矩阵。
[0090]
在本发明的一个实施例中，所述hc的计算方法为：
[0091][0092]
本发明还提供了一种基于复值树突神经模型的时间序列预测系统，包括数据获取模块、建模模块、训练模块和预测模块，
[0093]
所述数据获取模块获取原始数据进行复值化处理得到训练集，并将所述训练集传送给所述训练模块；
[0094]
所述建模模块构建复值树突神经模型，
[0095]
所述训练模块使用所述训练集训练所述复值树突神经模型得到训练完成的复值
树突神经模型，训练时采用方差缩减的循环结构优化训练过程、采用定量递增的策略改变随机批次数；
[0096]
所述预测模块将待测数据输入训练完成的复值树突神经模型得到预测结果。
[0097]
本发明的上述技术方案相比现有技术具有以下优点：
[0098]
本发明在复值树突神经网络的基础上，采用方差缩减的循环结构优化训练过程，具有更快的收敛速度，可以降低随机噪声，从而得到更加准确的梯度估计；采用定量递增的策略改变随机批次数，避免了随机小批量算法中少数样本训练不到的问题，有效地提高了随机算法的精确性，适用于大型数据集。
附图说明
[0099]
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
[0100]
图1是树突神经模型的结构图，
[0101]
图2是本发明的流程图，
[0102]
图3是本发明实施例中方法的整体框图，
[0103]
图4是本发明中基于方差缩减的随机批次算法的主流程图，
[0104]
图5是本发明中自适应的复值l-bfgs算法的流程图，
[0105]
图6是本发明实施例中使用本发明方法和复值梯度算法、复值l-bfgs算法、自适应复值l-bfgs算法训练模型时的对比图，
[0106]
图7是本发明实施例中使用本发明方法对股票收盘指数进行预测的精度曲线拟合结果图。
具体实施方式
[0107]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0108]
参照图2-图3所示，本发明公开了一种基于复值树突神经模型的时间序列预测方法，包括以下步骤：
[0109]
s1：获取原始数据进行复值化处理得到训练集，构建复值树突神经模型。
[0110]
s1-1：在一段连续时间内取n个数据，建立时间序列{xn|n＝1,
…
,n}，其中n是时间序列的总长度，xn是第n个数据；将每p个连续数据作为模型输入，将第p 1个数据作为对应的期望输出；得到n-p个模型输入为i＝{x1,x2,
…
,xi,
…
,x
n-p
}，其对应的期望输出ts＝{x
p 1
,x
p 2
,
…
,xn}，其中xi是模型输入的第i个样本，共有n-p个样本为：
[0111]
[0112]
其对应的期望输出分别为x
p 1
,x
p 2
,
…
,xn。因此，模型输入i也可以表示为p
×
(n-p)矩阵：
[0113][0114]
将所述模型输入i作为训练集，将期望输出ts与预测结果进行比对可以评价本发明的预测准确性。
[0115]
s1-2：构建复值树突神经模型。
[0116]
s2：使用所述训练集训练所述复值树突神经模型得到训练完成的复值树突神经模型，训练时使用带有方差缩减的自适应复值随机l-bfgs算法更新模型参数、即训练采用方差缩减的循环结构优化训练过程、采用定量递增的策略改变随机批次数。通过均方误差构建损失函数对损失函数使用带有方差缩减的自适应复值随机l-bfgs算法进行优化，训练模型从而得到合适参数的复值单树突神经模型。
[0117]
为了解决在大数据集情况下，全批次算法运算效率低，运行时间长的缺点，本发明在自适应复值随机l-bfgs算法的基础上，增添了基于方差缩减的随机小批次策略，同时可以根据现有迭代次数，递增批次数。如图4所示，使用带有方差缩减的自适应复值随机l-bfgs算法更新模型参数得到训练完成的复值树突神经模型的训练过程，具体为：
[0118]
s2-1：初始化模型参数ω
ij
和θ
ij
得到初始外循环参数ω
ij
和θ
ij
分别是需要学习的连接权重和阈值；设定学习率α，最大内循环次数t，最大外循环次数k，其中的连接权重和阈值；设定学习率α，最大内循环次数t，最大外循环次数k，其中表示k＝0时的即初始化的外循环参数。
[0119]
s2-2：构建外循环：令2：构建外循环：令表示第k次外循环的参数；根据ω
ij
的全样本平均梯度表示式和θ
ij
的全样本平均梯度表示式计算当前迭代时刻全样本的平均梯度值其中k表示第k次外循环，表示第k次外循环的参数。
[0120]
随着树突神经模型从实值域推广到复值域，利用基于方差缩减的自适应复值随机l-bfgs算法优化参数ω
ij
和θ
ij
，需要推导单神经元全复树突神经模型的学习算法。全批次具体实现过程如下，即所述ω
ij
的全样本平均梯度表示式和θ
ij
的全样本平均梯度表示式的计算方法为：
[0121]
s2-2-1：构建单神经元复值树突神经模型后向传播的表示式：
[0122]
s2-2-1-1：根据欧几里德范数计算模型输出层的单样本误差为：
[0123][0124]en
＝o
n-tsn；
[0125]
其中，ln表示单样本为n时、模型输出的单样本误差，en表示单样本为n时、单样本输出值与目标值(即期望输出)的差距，表示en的共轭值，tsn表示单样本为n时、该样本的目标值，on表示单样本为n时、该样本的输出值；n∈{1,2,...,n-p}表示所取的单样本序列数，n是时间序列的总长度，p是单个样本的输入维数。
[0126]
下面计算全样本平均梯度值其中[ω
ij
,θ
ij
]
t
的值随着迭代更新，
[0127]
s2-2-1-2：根据全复树突神经模型计算公式从后往前递推，计算胞体层的复导数为：
[0128][0129][0130]
其中，表示单样本为n时、该样本胞体层输出的共轭值。
[0131]
s2-2-1-3：构建膜层的递推公式表示为：
[0132][0133][0134]
其中，vn表示单样本为n时、该样本膜层的输出值，表示vn的共轭值，表示的共轭值，是胞体层所用的全复型激活函数，表示激活函数对vn求导。
[0135]
s2-2-1-4：构建树突层的递推公式表示为：
[0136][0137][0138]
其中，z
j,n
表示单样本为n时、该样本的树突层在第j层树突层的输出值。
[0139]
s2-2-1-5：构建突触层的递推公式表示为：
[0140][0141][0142]
其中，y
i,j,n
表示单样本为n时、该样本的突触层在输入第i维、第j层树突层的输出值，表示z
j,n
的共轭值，d表示样本的输入维度，表示y
i,j,n
的共轭值，表示的共轭值。
[0143]
s2-2-2：根据所述单神经元复值树突神经模型后向传播的表示式，构建ω
ij
的单个样本的复梯度表示和θ
ij
的单个样本的复梯度表示
[0144]
s2-2-2-1：构建ω
ij
的单个样本的复梯度表示的表示为：
[0145][0146][0147]
构建θ
ij
的单个样本的复梯度表示的表示为：
[0148][0149][0150]
其中，p
i,n
表示第n个样本中的第i维输入，表示突触层的复值激活函数，表示的共轭值，表示的共轭值。
[0151]
s2-2-2-2：将整体n个样本梯度加和求平均得到ω
ij
的全样本平均梯度表示式θ
ij
的全样本平均梯度表示式为：
[0152][0153]
[0154]
后续根据以及的表达式，并利用不同的批次选取策略和算法，更新模型参数ω
ij
和θ
ij
。
[0155]
s2-3：构建内循环：根据现有的外循环次数递增样本数s，在确定s后进行样本随机采样，此时取到的样本集为γ；
[0156]
计算方差缩减后的梯度：
[0157][0158]
其中，t表示第t次内循环，表示在第k次外循环内进行第t次内循环时的参数，初始k＝t＝0；表示内循环参数在随机样本集γ上的平均梯度，表示外循环参数在随机样本集γ上的平均梯度。平均梯度的计算也是利用和求得，不同处在于需要根据选取的样本确定具体的样本集以及n的取值。
[0159]
s2-4：计算前后两次迭代时参数的变化量sc与前后两次迭代时梯度的变化量yc：当前后两次迭代在同一外循环时，有以及当前后两次迭代在不同外循环时，有以及γ-1表示用于上一次迭代更新的随机采样的样本集，c表示参数更新次数，本实施例中c＝k
·
t t。
[0160]
s2-5：如图5所示，通过自适应复值l-bfgs算法计算在第k次外循环内进行第t次内循环时的搜索方向具体过程为：
[0161]
s2-5-1：设置初始化参数ξ1、m
set
、w、w和τ，ξ1表示递减阈值，表示递增阈值控制参量，m
set
表示初始的内存大小m的选取上限m值，w表示记忆尺度选取参量，w表示滑动窗长，τ表示混合方向选取个数。
[0162]
s2-5-2：利用前w次迭代中记忆尺度的平均值w＝c-w,c-w 1,
…
,c-1，计算当前迭代记忆尺度的预测值
[0163][0164]
其中，c表示参数[ω
ij
,θ
ij
]
t
的更新次数，当c＜w且c≠0时，w＝c。
[0165]
s2-5-3：如果则令m＝m-1；如果其中则令m＝m 1；如果既不满足也不满足m保持不变。
[0166]
s2-5-4：根据s2-4中sc和yc的表达式，分别计算多步拟牛顿公式中相对应的，前后两次迭代时参数的变化量前后两次迭代时梯度的变化量
[0167]
s2-5-5：根据公式其中，表示海塞矩阵逆矩阵的近似，h表示转置；分别计算m＝2,
…
,m时与真实海塞矩阵的逆矩阵之间的近似程度em。
[0168]
其中的计算方法为：
[0169][0170][0171][0172][0173]
其中，i表示单位矩阵。
[0174]
s2-5-6：根据s2-5-5中计算的em和s2-5-3中修正的m，在第c次迭代中选择使得em最小的前τ个记忆尺度为计算前τ个记忆尺度的平均记忆尺度
[0175]
s2-5-7：在τ个方向上进行叠加得到当前迭代时的搜索方向hc表示参数第c次迭代时的海塞矩阵逆矩阵的近似表示，表示经过内循环计算、方差缩减后的梯度。
[0176]
其中hc的计算方法为：
[0177][0178]
s2-6：更新其中α为固定学习率。
[0179]
s2-7：如果内循环次数t 1＜t，则令t＝t 1，继续内循环；如果t 1＝t，结束内循环，并令外循环参数重新开始外循环，直至k达到最大外循环次数k。
[0180]
s2-8：当所有的内循环和外循环都结束后，将此时的作为模型的最佳参数。带有
方差缩减的自适应复值随机l-bfgs算法对于给定的训练样本和复值树突神经网络，通过前向/反向传播、内/外循环、递增训练批次数、缩减方差，计算出sc，yc，γc和βc并得到合理的上界m与记忆尺度m
*
，利用双循环法得到ω
ij
和θ
ij
的更新方向，采用固定步长更新模型参数，可以加快收敛速度、提高随机算法的精确性，适用于大型数据集。
[0181]
s3：将待测数据输入训练完成的复值树突神经模型得到预测结果，实现对股票收盘指数等待测数据的预测。
[0182]
本发明还公开了一种基于复值树突神经模型的时间序列预测系统，包括数据获取模块、建模模块、训练模块和预测模块。所述数据获取模块获取原始数据进行复值化处理得到训练集，并将所述训练集传送给所述训练模块。所述建模模块构建复值树突神经模型。所述训练模块使用所述训练集训练所述复值树突神经模型得到训练完成的复值树突神经模型，训练时采用方差缩减的循环结构优化训练过程、采用定量递增的策略改变随机批次数。所述预测模块将待测数据输入训练完成的复值树突神经模型得到预测结果。
[0183]
本发明在复值树突神经网络的基础上，使用带有方差缩减的自适应复值随机l-bfgs算法更新模型参数：一方面，采用方差缩减的循环结构改进原算法相较于传统的cbp、lbfgs算法，具有更快的收敛速度；同时，采用方差缩减的手段还可以降低随机噪声，从而得到更加准确的梯度估计。另一方面，采用定量递增的策略改变随机批次数，避免了随机小批量算法中少数样本训练不到的问题，有效地提高了随机算法的精确性，适用于大型数据集。同时，本发明推导了通用的复值单神经元树突神经模型的后向传播表达式，并用提出的基于方差缩减的自适应复值随机l-bfgs算法加以训练，拓展了网络模型的应用范围。
[0184]
为了进一步说明本发明的有益效果，本实施例中使用基于复值树突神经模型的时间序列预测方法来预测股票收盘指数。从yahoo finance网站上采集了从2017年10月13日到2022年9月26日、总共1205个开盘日上证指数的收盘价格，并将原始数据进行复值化处理，将每5天的连续收盘数据作为模型输入，预测1天后的收盘价格并与1天后的实际值进行对比。通过单神经元树突神经模型进行预测，分别使用本发明方法(基于方差缩减的自适应复值随机l-bfgs算法，简称svr-iacl-bfgs)、复值梯度算法(cbp)、复值l-bfgs算法(cl-bfgs)、自适应复值l-bfgs算法(iacl-bfgs)训练模型，对比图如图6所示，图6中横坐标表示迭代次数，纵坐标表示损失函数的log值。从图6可以看出，本发明的收敛速度最快。
[0185]
图7是本发明方法在训练集和测试集上的拟合曲线，前1000个是在连续训练集上的拟合结果，后200个是在连续测试集上的拟合结果。图7中横坐标表示数据序号，纵坐标表示实际值或预测值。从图7可以看出，使用本发明方法得到的预测值曲线与实际值曲线基本重合，可以较为准确地预测出股票收盘指数的变化趋势、预测精度高。
[0186]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0187]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0188]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0189]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0190]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。