交易数据分析预测方法及装置与流程

1.本发明涉及大数据技术领域，尤其涉及一种交易数据分析预测方法及装置。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.现有的交易数据分析预测方法包括利用监督学习，但监督学习中要求数据集是独立同分布的，由于股票交易数据存在时序的特殊性，并不能满足这一要求，直接将监督学习应用到股票交易数据集上，存在对股票交易数据分析预测不准确的情况，影响用户体验。
4.因此，如何提供一种新的方案，能够解决上述技术问题是本领域亟待解决的技术难题。


技术实现要素：

5.本发明实施例提供一种交易数据分析预测方法，用以提高股票交易数据分析预测的准确性，改善用户体验，该方法包括：
6.创建深度强化学习环境，所述深度强化学习环境中定义有状态参数、行为参数和反馈参数；所述状态参数记录股票交易数据，所述行为参数记录股票交易行为，所述反馈参数记录由股票交易行为导致股票交易数据的变化；
7.基于所述深度强化学习环境创建深度强化学习代理，所述深度强化学习代理中定义有深度强化学习神经网络的模型结构和训练函数，以及根据模型输出选择的股票交易行为；
8.利用所述深度强化学习代理构建深度强化学习神经网络，并对所述深度强化学习神经网络进行训练和测试，得到优化的深度强化学习神经网络；
9.利用优化的深度强化学习神经网络对股票交易数据进行分析预测。
10.本发明实施例还提供一种交易数据分析预测装置，用以提高股票交易数据分析预测的准确性，改善用户体验，该装置包括：
11.环境创建模块，用于创建深度强化学习环境，所述深度强化学习环境中定义有状态参数、行为参数和反馈参数；所述状态参数记录股票交易数据，所述行为参数记录股票交易行为，所述反馈参数记录由股票交易行为导致股票交易数据的变化；
12.代理创建模块，用于基于所述深度强化学习环境创建深度强化学习代理，所述深度强化学习代理中定义有深度强化学习神经网络的模型结构和训练函数，以及根据模型输出选择的股票交易行为；
13.神经网络构建模块，用于利用所述深度强化学习代理构建深度强化学习神经网络，并对所述深度强化学习神经网络进行训练和测试，得到优化的深度强化学习神经网络；
14.分析预测模块，用于利用优化的深度强化学习神经网络对股票交易数据进行分析预测。
15.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述交易数据分析预测方法。
16.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述交易数据分析预测方法的计算机程序。
17.与现有技术中利用监督学习对股票交易数据进行分析预测的方法不同，本发明实施例中，创建深度强化学习环境，所述深度强化学习环境中定义有状态参数、行为参数和反馈参数；所述状态参数记录股票交易数据，所述行为参数记录股票交易行为，所述反馈参数记录由股票交易行为导致股票交易数据的变化；基于所述深度强化学习环境创建深度强化学习代理，所述深度强化学习代理中定义有深度强化学习神经网络的模型结构和训练函数，以及根据模型输出选择的股票交易行为；利用所述深度强化学习代理构建深度强化学习神经网络，并对所述深度强化学习神经网络进行训练和测试，得到优化的深度强化学习神经网络；利用优化的深度强化学习神经网络对股票交易数据进行分析预测，通过构建深度强化学习神经网络，并对深度强化学习神经网络进行训练和测试，不断进行优化，可以提高股票交易数据分析预测的准确性，改善用户体验。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
19.图1为本发明实施例中交易数据分析预测方法的处理流程图；
20.图2为本发明实施例中深度强化学习神经网络的一训练流程图；
21.图3为本发明实施例中深度强化学习神经网络的一测试流程图；
22.图4为本发明实施例中交易数据分析预测装置的结构示意图；
23.图5为本发明一实施例的计算机设备结构示意图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
25.图1为本发明实施例中交易数据分析预测方法的处理流程图。如图1所示，本发明实施例中交易数据分析预测方法可以包括：
26.步骤101、创建深度强化学习环境，所述深度强化学习环境中定义有状态参数、行为参数和反馈参数；所述状态参数记录股票交易数据，所述行为参数记录股票交易行为，所述反馈参数记录由股票交易行为导致股票交易数据的变化；
27.步骤102、基于所述深度强化学习环境创建深度强化学习代理，所述深度强化学习代理中定义有深度强化学习神经网络的模型结构和训练函数，以及根据模型输出选择的股票交易行为；
28.步骤103、利用所述深度强化学习代理构建深度强化学习神经网络，并对所述深度强化学习神经网络进行训练和测试，得到优化的深度强化学习神经网络；
29.步骤104、利用优化的深度强化学习神经网络对股票交易数据进行分析预测。
30.由图1所示流程可以得知，本发明实施例中交易数据分析预测方法与现有技术中利用监督学习的方法不同，通过构建深度强化学习神经网络，并对深度强化学习神经网络进行训练和测试，不断进行优化，可以提高股票交易数据分析预测的准确性，改善用户体验。
31.金融交易系统要能够随时根据交易市场的变化进行自我调整,感知市场变化，采取相应的行动，如做多(long)、做空(short)、空仓(观望)。市场会在行动的基础上给予一定的反馈，如收益、亏损。标准的强化学习框架结构中，它主要有4个要素，即策略(policy)、奖惩反馈(reward)、值函数(value function)和环境模型(environment)。
32.强化学习可以理解为在某一个状态下采取某种行为，通过所采取的行为得到环境的反馈，从而可以根据所得到的反馈选择更好的行为，这与进行股票交易时的逻辑一致，可以利用深度强化学习对股票交易数据进行分析预测。
33.强化学习在量化领域应用时，首先创建一个环境，在环境中定义state，action，以及reward。state:将n天的价格，交易量数据组合成某一天的state,或者用收益率或是其他因子组合作为某一天的state，定义有限个的state。action:可以定义为buy/sell两种，
‑
1和1分别代表sell out和buy。reward:定义为新旧总资产价值之间的差，或是变化率，将buy时的reward定义为0，sell时的定义为买卖价差。
34.在一个实施例中，首先可以创建股票交易条件下的深度强化学习环境，在深度强化学习环境中定义状态参数、行为参数和反馈参数；其中，状态参数可以记录股票交易数据，行为参数可以记录股票交易行为，反馈参数可以记录由股票交易行为导致股票交易数据的变化。
35.在一个实施例中，股票交易数据可以包括股票的价格数据、交易量数据、收益率数据其中之一或任意组合。
36.具体实施时，状态参数可以由股票的价格数据、交易量数据、收益率数据等组合构成，表明股票当前的具体状态；行为参数可以是具体的股票操作行为，例如买入股票或卖出股票等；反馈参数可以包括进行股票交易行为后股票交易数据发生的变化，例如买入或卖出股票后，新旧总资产之间的价值差或价值的变化率。
37.在一个实施例中，在创建股票交易条件下的深度强化学习环境之后，还可以基于已创建的深度强化学习环境创建深度强化学习代理，深度强化学习代理中可以定义有深度强化学习神经网络的模型结构和训练函数，以及根据模型输出选择的股票交易行为。
38.在一个实施例中，深度强化学习代理定义的深度强化学习神经网络的模型结构可以为多层的全连接神经网络结构。
39.在一个实施例中，深度强化学习神经网络的模型结构可以为三层的全连接神经网络结构，其中，可以在第一层定义32个神经节点，第二层定义16个神经节点，第三层定义8个神经节点。
40.在一个实施例中，深度强化学习代理构建深度强化学习神经网络可以包括：利用深度强化学习代理，以股票交易数据作为输入，以股票交易风险度量指标作为目标函数，根
据股票交易行为构建深度强化学习神经网络。
41.可以将收益率、回撤的技术指标作为目标函数，例如将微分夏普比率(sharp ratio)作为目标函数，计算夏普比率、最大回撤率(max drawdown)等风险度量指标。夏普比率作为衡量风险和收益的指标更能表现投资是否稳健,较高的夏普比率代表着较高的收益和较低的风险。模型把金融时间序列作为输入，以最大化夏普比率为目标函数，设计两类金融领域常见的操作:做空、做多。[
‑
1,1],代表着在t时刻的操作(空/多)。
[0042]
在一个实施例中，股票交易风险度量指标可以包括微分夏普比率，和/或，最大回撤率。微分夏普比率作为衡量风险和收益的指标，可以表明股票交易是否稳健，较高的夏普比率代表着较高的收益和较低的风险；最大回撤率也可以作为重要的风险指标，可以表明股票抗风险的能力。
[0043]
在一个实施例中，对深度强化学习神经网络进行训练，可以包括：基于深度强化学习环境，输出股票交易数据时间序列；将股票交易数据时间序列的每一序列值输入深度强化学习神经网络，输出每一序列值对应的股票交易行为；根据由每一序列值对应的股票交易行为获得的反馈参数，更新深度强化学习神经网络的参数。
[0044]
具体实施时，以编号000001.sz的股票在2018
‑
01
‑
01至2020
‑6‑
31期间的股票交易数据为例进行说明，在股票交易条件下的深度强化学习环境中，按时间顺序将000001.sz在2018
‑
01
‑
01至2020
‑6‑
31期间的交易数据，组合构成多个状态参数，依次将每个状态参数输入深度强化学习神经网络，输出为每一状态参数对应的股票交易行为，例如将000001.sz在2018
‑
01
‑
01至2020
‑6‑
31期间的某一状态参数输入深度强化学习神经网络，输出为该状态参数对应的股票交易行为，输出的行为可以是将000001.sz卖出；根据每一状态参数对应的股票交易行为，可以得到股票交易行为导致股票交易数据的变化，在本例中，即在该状态参数条件下将000001.sz卖出的行为是获利还是亏损，根据可以获利的股票交易行为对深度强化学习神经网络的参数进行更新，通过更新后的深度强化学习神经网络可以选择更好的股票交易行为，例如若将000001.sz卖出后贬值，说明将000001.sz卖出的行为是获利的，可以根据将000001.sz卖出的行为对深度强化学习神经网络参数进行更新，使更新后的深度强化学习神经网络可以选择更好的行为。
[0045]
在一个实施例中，对深度强化学习神经网络进行测试，包括：建立测试数据集，所述测试数据集中包括历史股票交易数据时间序列中每一序列值及对应的股票交易行为和反馈参数；利用所述测试数据集对所述深度强化学习神经网络进行测试。
[0046]
具体实施时，以编号000001.sz的股票在2020
‑
07
‑
01至2020
‑
12
‑
31期间的股票交易数据为例，建立测试数据集，可以包括：按时间顺序将编号000001.sz的股票在2020
‑
07
‑
01至2020
‑
12
‑
31期间的历史股票交易数据组合构成的多个状态参数、以及每一状态参数已知的对应股票交易行为和反馈参数；将测试数据集中的每一状态参数依次输入已经训练完成的深度强化学习神经网络，输出为该深度强化学习神经网络根据测试数据集中的每一状态参数选择的股票交易行为，根据测试数据集中每一状态参数已知的对应股票交易行为和反馈参数，对深度强化学习神经网络进行测试，判断深度强化学习神经网络选择的股票交易行为，以及根据深度强化学习神经网络选择的股票交易行为获得的反馈参数，是否与历史数据中每一状态参数对应的股票交易行为和反馈参数相同，若是，说明深度强化学习神经网络已训练成功，可以利用优化的深度强化学习神经网络对股票交易数据进行分析预
测；若否，说明可以继续对深度强化学习神经网络进行训练。
[0047]
图2为本发明实施例中深度强化学习神经网络的一训练流程图。如图2所示，本发明实施例中深度强化学习神经网络的训练流程可以包括：
[0048]
步骤201、基于深度强化学习环境，输出股票交易数据时间序列；
[0049]
步骤202、将股票交易数据时间序列的每一序列值输入深度强化学习神经网络，输出每一序列值对应的股票交易行为；
[0050]
步骤203、根据由每一序列值对应的股票交易行为获得的反馈参数，更新深度强化学习神经网络的参数。
[0051]
图3为本发明实施例中深度强化学习神经网络的一测试流程图。如图3所示，本发明实施例中深度强化学习神经网络的测试流程可以包括：
[0052]
步骤301、建立测试数据集，测试数据集中包括历史股票交易数据时间序列中每一序列值及对应的股票交易行为和反馈参数；
[0053]
步骤302、将历史股票交易数据时间序列的每一序列值输入已训练完成的深度强化学习神经网络，输出深度强化学习神经网络根据每一序列值选择的股票交易行为；
[0054]
步骤303、判断深度强化学习神经网络输出的股票交易行为，以及根据深度强化学习神经网络输出的股票交易行为获得的反馈参数，是否与历史数据中对应的股票交易行为和反馈参数相同。
[0055]
本发明实施例中还提供了一种交易数据分析预测装置，如下面的实施例所述。由于该装置解决问题的原理与交易数据分析预测方法相似，因此该装置的实施可以参见交易数据分析预测方法的实施，重复之处不再赘述。
[0056]
图4为本发明实施例中交易数据分析预测装置的结构示意图。如图4所示，本发明实施例中交易数据分析预测装置可以包括：
[0057]
环境创建模块401，用于创建深度强化学习环境，所述深度强化学习环境中定义有状态参数、行为参数和反馈参数；所述状态参数记录股票交易数据，所述行为参数记录股票交易行为，所述反馈参数记录由股票交易行为导致股票交易数据的变化；
[0058]
代理创建模块402，用于基于所述深度强化学习环境创建深度强化学习代理，所述深度强化学习代理中定义有深度强化学习神经网络的模型结构和训练函数，以及根据模型输出选择的股票交易行为；
[0059]
神经网络构建模块403，用于利用所述深度强化学习代理构建深度强化学习神经网络，并对所述深度强化学习神经网络进行训练和测试，得到优化的深度强化学习神经网络；
[0060]
分析预测模块404，用于利用优化的深度强化学习神经网络对股票交易数据进行分析预测。
[0061]
在一个实施例中，股票交易数据可以包括股票的价格数据、交易量数据、收益率数据其中之一或任意组合。
[0062]
在一个实施例中，深度强化学习神经网络的模型结构为多层的全连接神经网络结构。
[0063]
在一个实施例中，深度强化学习神经网络的模型结构可以为三层的全连接神经网络结构，其中第一层定义32个神经节点，第二层定义16个神经节点，第三层定义8个神经节
点。
[0064]
在一个实施例中，神经网络构建模块403具体用于：
[0065]
利用所述深度强化学习代理，以股票交易数据作为输入，以股票交易风险度量指标作为目标函数，根据股票交易行为构建深度强化学习神经网络。
[0066]
在一个实施例中，股票交易风险度量指标可以包括：微分夏普比率、和/或，最大回撤率。
[0067]
在一个实施例中，神经网络构建模块403具体用于：
[0068]
基于所述深度强化学习环境，输出股票交易数据时间序列；
[0069]
将股票交易数据时间序列的每一序列值输入深度强化学习神经网络，输出每一序列值对应的股票交易行为；
[0070]
根据由每一序列值对应的股票交易行为获得的反馈参数，更新深度强化学习神经网络的参数。
[0071]
在一个实施例中，神经网络构建模块403具体用于：
[0072]
建立测试数据集，所述测试数据集中包括历史股票交易数据时间序列中每一序列值及对应的股票交易行为和反馈参数；
[0073]
利用所述测试数据集对所述深度强化学习神经网络进行测试。
[0074]
基于前述发明构思，如图5所示，本发明还提出了一种计算机设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530，所述处理器520执行所述计算机程序530时实现前述交易数据分析预测方法。
[0075]
基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述交易数据分析预测方法。
[0076]
综上所述，与现有技术中利用监督学习对交易数据进行分析预测的方法不同，本发明实施例中，创建深度强化学习环境，所述深度强化学习环境中定义有状态参数、行为参数和反馈参数；所述状态参数记录股票交易数据，所述行为参数记录股票交易行为，所述反馈参数记录由股票交易行为导致股票交易数据的变化；基于所述深度强化学习环境创建深度强化学习代理，所述深度强化学习代理中定义有深度强化学习神经网络的模型结构和训练函数，以及根据模型输出选择的股票交易行为；利用所述深度强化学习代理构建深度强化学习神经网络，并对所述深度强化学习神经网络进行训练和测试，得到优化的深度强化学习神经网络；利用优化的深度强化学习神经网络对股票交易数据进行分析预测，通过构建深度强化学习神经网络，并对深度强化学习神经网络进行训练和测试，不断进行优化，可以提高股票交易数据分析预测的准确性，改善用户体验。
[0077]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0078]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0079]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0080]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0081]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。