一种基于数据统计的农产品价格预测方法

1.本发明属于农产品市场价格预测领域，具体涉及一种基于数据统计的农产品价格预测方法。


背景技术：

2.农业是我国国民经济的命脉，农产品市场在现代社会中占有重要的地位。某种农产品市场行情受国内或国际环境、国家季节、经济形势和人们需求量的影响，以及受投资者心理等诸多因素的影响，农产品市场预测是经济、系统科学领域的重要研究问题。随着人们对农产品需求数量不断增大、质量不断提高，对农产品的合理有效生产和销售提出了更高的要求。传统的农产品产销模式是以人工方式去估计市场的需求和价格，并根据市场情况调整产品的生产和销售，这种方式工作量较大，信息反馈慢，且对市场的把握不够及时准确。现有的农产品产销及流通过程中还存在信息反馈慢、市场经营策略制定不够及时、准确等现象，导致了农产品的产销决策效率低，时间浪费严重的问题。
3.目前，国内外对农产品的价格预测主要集中于定性和定量两种预测方法。定性预测方法主要借助于专家的经验知识对农产品的未来走势给出个人主观预测，该类方法的主观随意性大，预测的精确性往往受限于专家经验的丰富程度。定量预测方法主要通过对农产品的市场价格建立数学模型，利用建立的模型对未来的价格进行预测。该类方法都是以农产品价格数据为中心建模，精确度往往受限于所搜集的农产品价格数据的准确性，而在现实情形中，搜集准确的农产品价格数据需要耗费大量的人力、物力以及较长的时间周期，这往往制约了该类方法的普遍适用性。随着互联网的迅猛发展和广泛普及，使得人们能够及时获得众多电商最新价格信息。由于电商最新价格信息反映了季节对农产品市场发展变化的特点，这些特点信息不断在影响投资者对于市场趋势的判断，进而影响市场走势。另外，随着购买欲分析技术的发展，购买欲分析技术已被应用于价格预测领域。在现有的基于购买欲分析的某种农产品预测方法中，处理对象主要包括互联网电商评价和购买者答疑，处理方法是发现这些信息的购买欲倾向与某种农产品市场行情的关联，进而预测未来某种农产品市场的走势。一种现有关于农产品价格预测有采用基于隐马尔科夫模型的某种农产品市场预测方法，其主要使用了某种农产品市场运行过程中的基本信息，但忽略了最新媒体的观点和投资者的心理对某种农产品市场波动的影响，仅仅利用这些基本信息难以反映某种农产品市场的性质。


技术实现要素：

4.针对现有预测方法仅能处理单一或组合农产品价格走势问题，不能解决还存于每次计算投资过程中起止时间内的波动率问题，本发明提供了一种针对单一或组合农产品的价格走势与波动率结合的预测方法，且将惯性购买欲与某种农产品市场技术指标有机地结合，优化预测某种农产品市场走势。
5.本发明实现其目的技术方案是采用一种基于数据统计的农产品价格预测方法，该
方法主要包括如下步骤。
6.步骤1.价格信息采集。1.1线上价格信息采集：针对多个知名电商网信息，利用网络爬虫heritrix采集相应网站前数页内关于某种农产品网页价格，其包括以日为单位的历史成交价格和当日成交价格，将其保存到本地计算机。1.2线下价格信息采集：包括所有关于某种农产品中抽取具有市场代表性的多家主要贸易商的某种农产品作为计算对象，并以当日销售量为权重计算得出的当前加权价格指数。
7.步骤2.相应农产品集产地基础数据采集。包括相应农产品产地各地农贸网基础数据采集，包括实时价格数据、分析师名称、价格数据发布时间和相应农贸网名称，获取相应分析师的预测准确度数据库。
[0008] 步骤3.信息预处理。3.1对所述线上信息采集步骤中获取的农产品网页价格进行正文抽取、分词和词性标注，以及停用词和标点符号过滤，针对采集到的农产品网页价格抽取最新网页的标题、发布时间和正文对应某农产品信息，去除网页中的噪音信息，形成针对某农产品的文本，并进行分词和词性标注，形成线上价格统计的数据库。3.2对所述线下信息采集通过人工构建农产品领域词库和某种农产品市场惯性购买欲词库，由于不同区域农贸领域包含众多的专业词汇，因此通过构建农产品领域词库和某种农产品市场惯性购买欲词库来提高分词的准确率，并对某农产品的文本进行分词和词性标注形成线下价格统计的数据库。3.3 对所述农贸网名称获取相应农贸网的分析师数据、分析师资质和分析师研究不同农产品方向，确定相应农贸网的网站等级，同时对盈利预测准确度、目标价准确度和投资评级准确度和网站等级进行加权计算，进一步优化分析师等级，再根据所述数据发布时间确定预测时间等级，将相应分析师等级和其预测时间等级对相应农产品实时价格数据进行加权计算，获取所述农贸网加权的价格信息预测值。
[0009]
步骤4.构建综合据库。根据所述线上统计数据库和线下统计数据库及预测准确度数据库构建某种农产品领域相关的当前语料数据库，其中包括对农产品价格网页的主题词抽取和某种农产品领域相关语料的识别。
[0010]
步骤5.对某种单一或组合农产品市场技术分析。依据某农产品当前成交价格和历史成交价格为基础确定次日价格走势，结合分析师权重和某种农产品市场惯性购买欲，分析某种农产品市场线上和线下技术指标走势，并绘制至少包括次日的价格走势曲线。
[0011]
步骤6. 根据某农产品季节因素计算相应农产品投资的波动率，对价格走势曲线进行修正，通过输入设备输入的某单一农产品或多个农产品组合、组合农产品中的不同农产品对应的权重、产品收获地、收获时间、购入价和零售价。基于上述步骤5的技术分析，再从综合数据库读取根据当前基础数据计算得到的风险控制参数的值，所述风险控制参数包括单一或组合农产品风险因子、农产品风险因子的因子回报、因子回报的协方差矩阵以及残差波动率，所述残差波动率是不能由上述技术分析所解释部分回报的波动率；所述产品风险因子的因子回报采用横截面回归方法计算，y＝xf ε；其中，y表示单一或组合农产品的超无风险利率收益，x表示单一或组合农产品的风险因子，f表示单一或组合农产品风险因子的因子回报，ε表示不能由单一或组合农产品风险因子所解释部分的残差回报；通过如下公式计算因子回报的协方差矩阵；
其中，fi表示i日单一或组合农产品风险因子的因子回报，i∈[0 ,t]，λ表示因子回报权重的衰减速度，长半衰期l满足：l=-log2(λ)的整数部分，为t 1日的某单一农或组合产品风险因子的因子回报的协方差矩阵，n为整数，且n≥1；根据所述单一或组合农产品对应的权重、收获时间、购入价、零售价以及所述某单一农产品或组合农产品风险因子、因子回报的协方差矩阵、残差波动率的值，计算得到单一或组合农产品投资组合在所述起止时间内的波动率，将计算得到的某单一或组合农产品风险因子、某单一或组合农产品风险因子的因子回报、因子回报的协方差矩阵以及残差波动率存入风险控制模型数据库，将波动率与所述价格走势曲线结合形成价格波动率曲线。
[0012]
本发明的有益效果：本发明方法不仅采集线上价格信息、线下价格信息和农产品集产地基础数据采集，技术分析某种单一或组合农产品市场价格走势，而且将惯性购买欲与某种农产品市场技术指标有机地结合，用以优化预测某种农产品市场走势，通过利用最新网页的惯性购买欲信息，提高了某种农产品市场预测的准确性。
[0013]
本发明方法对某种单一或组合农产品市场技术分析时，还包括将惯性购买欲分析和隐马尔科夫模型融合的预测方法预测某种农产品市场价格走势，提高惯性购买欲对单一或组合农产品预测价格的精准度。
[0014]
本发明方法还根据单一或组合农产品的风险因子，风险因子的因子回报，风险因子所解释部分的残差回报，通过对单一或组合农产品的超无风险利率收益进行计算，将单一或组合农产品的价格走势与波动率结合，提高预测精准度。
附图说明
[0015]
图1为本发明实施步骤的流程图。
具体实施方式
[0016]
下面结合附图对本发明进行详细说明。
[0017]
实施例1：一种基于数据统计的农产品价格预测方法，针对现有预测方法仅能处理单一或组合农产品价格走势问题而改进，该方法不仅将惯性购买欲与某种农产品市场技术指标有机地结合，用以优化预测某种农产品市场走势，而且将单一或组合农产品的价格走势与波动率结合，提高预测精准度。该方法主要包括如下步骤。
[0018]
1.价格信息采集1.1线上价格信息采集：针对多个知名电商网页，利用网络爬虫heritrix采集相应网站前数页内关于某种农产品网页价格，将其保存到本地计算机。具体地，在网络爬虫中，分别输入四个种子网页地址，即淘宝某农产品关键词首页、美团某农产品关键词首页、京东某农产品关键词首页和拼多多某农产品关键词首页地址，下载这些网站的农产品前10页的价格网页，下载后的农产品价格网页按照最新的发布时间顺序以超文本标记语言html文件形式保存在本地计算机。
[0019]
还包括对相关某农产品的电商信息的采集，电商网信息是指电商网运行过程中的基本信息，包括历史均格、团购价、当前零售均价、收藏量、购物车存量和成交量。某种农产品市场技术分析指标包括当月线上均价线、当月线下均价线、即时价格线，以及物流成本比线。
[0020]
1.2线下价格信息采集：包括所有关于某种农产品中抽取具有市场代表性的多家主要贸易商的某种农产品作为计算对象，并以当月销售量为权重计算得出的加权价格指数。
[0021]
1.3电商网信息是指电商网运行过程中的基本信息，包括团购价、零售均价、收藏量、购物车存量和成交量。某种农产品市场技术分析指标包括当月线上均价线、当月线下均价线、即时价格线，以及物流成本比线。从线下的所有某种农产品中抽取具有市场代表性的多家主要贸易商的某种农产品作为计算对象，并以当月销售量为权重计算得出的加权价格指数。线下农产品抽取包括来自于各大超市和农贸市场的采购票据照片，通过积分有偿的方式对上传照片进行补贴。
[0022]
2.相应农产品集产地基础数据采集2.1包括相应农产品产地各地农贸网基础数据采集，包括实时价格数据、分析师名称、价格数据发布时间和相应农贸网名称，获取相应分析师的预测准确度数据库。
[0023]
2.2还包括根据相应分析师名称获取该分析师关于某种农产品的历史实时价格数据，历史实时价格数据包括预测值、实际值、预测时间和实际值公布时间，根据其预测值和实际值获取历史预测准确度，根据所述预测时间和实际值公布时间获取历史预测时间间隔，并根据历史预测时间间隔确定历史时间等级，根据所述历史时间等级确定历史时间权重，根据历史时间权重对历史预测准确度进行加权计算，获取相应分析师的预测准确度数据库。其中，所述预测准确度包括盈利预测准确度、目标价准确度、投资评级准确度；预测准确度数据库为根据不同时期的动态数据库。
[0024]
2.3所述的基础数据采集包括某单一或组合农产品的日频交易数据、财务数据和分析师预测的数据；根据所述基础数据确定某单一或组合农产品风险因子；根据所述基础数据以及所述某单一或组合农产品风险因子确定某单一或组合农产品的收益回报，所述收益回报包括某单一或组合农产品风险因子可解释部分的因子回报和不能由某单一或组合农产品风险因子所解释部分的残差回报；根据所述因子回报计算因子回报的协方差矩阵；根据所述残差回报计算某单一或组合农产品的残差波动率；将计算得到的某单一农产品风险因子、某单一农产品风险因子的因子回报、因子回报的协方差矩阵以及残差波动率存入风险控制模型数据库。
[0025]
3.信息预处理3.1对所述线上信息采集步骤中获取的农产品网页价格进行正文抽取、分词、词性标注，以及停用词和标点符号过滤。针对采集到的农产品网页价格，抽取最新网页的标题、发布时间和正文对应某农产品信息，去除网页中的噪音信息，形成针对某农产品的文本，并进行分词和词性标注，同时构建某种农产品市场惯性购买欲词库来提高分词的准确率，形成线上统计数据库。选取网络电商最新信息作为惯性购买欲分析的来源，具有实时性、多样性和海量性的特点。
[0026]
3.2对所述线下信息采集通过人工构建农产品领域词库和某种农产品市场惯性购
买欲词库，由于不同区域农贸领域包含众多的专业词汇，因此通过构建农产品领域词库和某种农产品市场惯性购买欲词库来提高分词的准确率，并对某农产品的文本进行分词和词性标注形成线下统计数据库。
[0027]
3.3 对所述农贸网名称获取相应农贸网的分析师数据、分析师资质和分析师研究方向，并根据相应农贸网的分析师数据、分析师资质和分析师研究方向，确定相应农贸网的网站等级；同时，对盈利预测准确度、目标价准确度和投资评级准确度和网站等级进行加权计算，进一步优化分析师等级，再根据所述数据发布时间确定预测时间等级，将所述分析师等级和所述预测时间等级对所述实时价格数据进行加权计算，获取所述农贸网的加工信息预测值。
[0028]
4.构建综合据库4.1根据所述线上统计数据库和线下统计数据库及预测准确度数据库构建某种农产品领域相关语料库，采用主题词引导的方法来识别某种农产品领域相关语料，解决了由于网页信息主题偏差而导致的惯性购买欲识别准确率下降的问题。包括对农产品价格网页的主题词抽取、某种农产品领域相关语料的识别。
[0029]
4.2对农产品价格网页的主题词，采用一种基于规则和统计的混合抽取方法，具体步骤包括：首先，构建农产品价格网页的候选主题词，包括网页中的名词，以及包含在农产品领域词库和某种农产品市场惯性购买欲词库中的词语。
[0030]
其次，计算候选主题词在网页中的词频tf，tf为该词语在文档中的出现频率与文档中所有词语数目的比值，若该词语在农产品领域词库和某种农产品市场惯性购买欲词库中，则其tf值扩大两倍。
[0031]
然后，计算候选主题词的文档频率df，文档频率df为该词语在语料库中出现的文档数目与语料库中所有文档数目的比值。
[0032]
进一步，计算候选主题词的权重为α
×
tf
×
df，其中α为位置衰减系数，位置衰减系数根据候选主题词在段首句、段尾句、段中句设置不同的值，候选主题词在段首句的权重设为0.9，段尾句设为0.75，其他语句中设为0.5。
[0033]
最后，对于在句子中位置相邻的多个候选主题词，将它们合并为一个候选主题词，其权重为这些相邻词语的权重之和；将候选主题词的权重按照降序方式排列，输出前三个候选主题词作为网页的主题词。
[0034]
5.某种单一或组合农产品市场技术分析：分析某种农产品市场线上和线下技术指标走势，线上电商网信息包括采集淘宝网信息和美团网美团优选信息，计算某种农产品市场线上和线下技术指标走势。
[0035]
5.1对某种农产品领域相关语料的识别采用主题词引导的识别方法，具体步骤为：若最新网页至少存在一个主题词在农产品领域词库和某种农产品市场惯性购买欲词库中出现，则判别该网页与某种农产品领域相关；最后将采集的农产品价格网页识别为三类：某种农产品领域相关网页、某种农产品领域无关网页，以及噪音网页，噪音网页是指含有超文本标记语言html标签、结构混乱且缺乏正文信息的网页。
[0036]
5.2所述惯性购买欲词库包括对惯性购买欲分析：对某种农产品领域相关语料进行惯性购买欲分析，包括特征词提取、特征词权重计算和惯性购买欲判别，其方法如下。
[0037]
首先，提取最新网页的特征词，针对某种农产品领域文本的特点，根据词语的词性
和专业性来提取文本的特征词，若词语的词性为名词、动词、形容词或副词，或者词语包含在农产品领域词库或某种农产品市场惯性购买欲词库中，则将该词语作为最新网页的特征词；然后，计算最新网页的特征词的权重，采用基于词频-逆文档频率的方法来计算特征词的权重，特征词的权重为tf
×
idf，其中词频tf为该词语在文档中的出现频率与文档中所有词语数目的比值；逆文档频率idf为语料库中所有文档的数目与该词语在语料库中出现的文档数目加一的比值，再取对数；若词语在文档中出现的频率较高，且在其他文档中较少出现，则该词语具有较好的类别区分能力；最后，对最新网页进行惯性购买欲的判别，最新网页的惯性购买欲分为积极和消极两类，积极表示最新网页反映某种农产品的走势为上涨，消极表示某种农产品的走势为下跌，惯性购买欲判别就是对最新网页的惯性购买欲进行两个类别的分类，构建最新网页的特征向量，其中特征维数为特征词的数目，特征值为特征词的权重，采用支持向量机分类器对最新网页进行分类。
[0038]
通过采集线上价格信息、线下价格信息和农产品集产地基础数据采集，技术分析某种单一或组合农产品市场价格走势，其中将惯性购买欲与某种农产品市场技术指标有机地结合，用以优化预测某种农产品市场走势，通过利用最新网页的惯性购买欲信息，提高了某种农产品市场预测的准确性。
[0039]
6.计算一定时期内相应农产品投资的波动率，根据单一或组合农产品的风险因子，风险因子的因子回报，风险因子所解释部分的残差回报，通过对响应农产品的超无风险利率收益进行计算，将单一或组合农产品的价格在特点使其内走势与波动率结合，提高预测精准度。
[0040]
6.1通过输入设备输入的某单一农产品或多个农产品组合、组合农产品中的不同农产品对应的权重、产品收获地、收获时间、购入价和零售价。
[0041]
6.2基于上述技术分析，从统计数据库读取根据当前基础数据计算得到的风险控制参数的值， 所述风险控制参数包括单一或组合农产品风险因子、农产品风险因子的因子回报、因子回报的协方差矩阵以及残差波动率，所述残差波动率是不能由上述技术分析所解释部分回报的波动率。
[0042]
所述产品风险因子的因子回报采用横截面回归方法计算，具体公式为： y＝xf ε，其中，y表示单一或组合农产品的超无风险利率收益，x表示单一或组合农产品的风险因子，f表示单一或组合农产品风险因子的因子回报，ε表示不能由单一或组合农产品风险因子所解释部分的残差回报；通过如下所述的公式计算因子回报的协方差矩阵：其中，fi表示i日单一或组合农产品风险因子的因子回报，i∈[0 ,t]，λ表示因子回报的权重的衰减速度，和长半衰期l的对应关系满足：l等于-log2(λ)的整数部分 为t 1日的某单一农或组合产品风险因子的因子回报的协方差矩阵，n为整数，且n≥1。
[0043]
6.3根据所述单一或组合农产品对应的权重、收获时间、购入价、零售价以及所述某单一农产品或组合农产品风险因子、因子回报的协方差矩阵、残差波动率的值，计算得到
单一或组合农产品投资组合在所述起止时间内的波动率。
[0044]
实施例2：在实施例1基础上，对某种单一或组合农产品市场技术分析时，将惯性购买欲分析和隐马尔科夫模型融合的预测方法预测某种农产品市场价格走势。采用连续型隐马尔科夫模型来进行建模，假定观测状态序列值服从高斯分布，使用三维混合高斯分布作为连续型隐马尔科夫模型中混淆矩阵的概率密度函数，在连续型隐马尔科夫模型中，设定隐含状态数量n为3，表示某种农产品市场有上涨、下跌和持平三种走势，隐含状态序列为某种农产品市场走势序列，即由上涨、下跌和持平构成的序列，隐含状态序列为一个满足马尔可夫过程的状态序列，通常无法通过观察来获得。
[0045]
采用高斯混合模型来模拟购买欲倾向值序列和某种农产品市场技术分析指标值序列的概率分布，m为观测状态数量，即使用m个服从单高斯分布的随机变量来表示m个观测状态；观测状态序列为一个与隐含状态相关联的状态序列，通过观察来获得。高斯混合模型的输入是购买欲倾向值序列和某种农产品市场技术分析指标值序列，每个观测状态为一个服从单高斯分布的随机变量，观测状态序列是由m个观测状态即随机变量的取值组成的序列。
[0046]
在某种农产品市场预测步骤中，由训练集构建训练样本，设每个样本的长度为k，也就是每个样本的观测状态序列是由高斯混合模型根据连续k天的购买欲倾向值序列和某种农产品市场技术分析指标值序列生成的m个观测状态的取值所构成的序列，若训练集包含连续t日的购买欲倾向值和某种农产品市场技术分析指标值，其中t大于等于k，则由训练集可构建t-k 1个样本，第i个样本的观测状态序列为第i天到第i k-1天的购买欲倾向值序列和某种农产品市场技术分析指标值序列生成的m个观测状态的取值构成的序列，其中i＝1 ，2 ，
…ꢀ
，t-k 1。
[0047]
获取序列训练样本集合，其中，所述序列训练样本集合包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本包括按时间顺序排列的多个序列数据。
[0048]
基于所述序列训练样本集合，训练所述机器学习模型，其中，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。多个序列数据涉及对象在不同时间点的行为数据，所述机器学习模型被训练为针对对象的按时间顺序排列的一系列历史行为数据来预测对象在所述一系列历史行为数据之后的下一行为数据。
[0049]
实施例3：在实施例2基础上，连续型隐马尔科夫模型参数学习和某种农产品市场预测过程中，隐含状态空间s＝{上涨，积极性，下跌，消极性，持平}，观测状态序列p＝{p1 ，p2 ，
…ꢀ
， pm }，pi为观测状态，其中i＝ 1 ，2 ，
…ꢀ
，m。隐含状态的初始概率矩阵e＝{ p1 ，p2 ，
…ꢀ
，pn }，表示隐含状态在初始日的概率矩阵，pj为初始状态sj的概率，其中j＝1，2，3，4，5。分别计算隐含状态之间相互转换的概率矩阵和观测状态转移行为的概率矩阵。预测步骤采用连续型隐马尔科夫模型来进行建模，假定观测状态序列值服从高斯分布，使用三维混合高斯分布作为连续型隐马尔科夫模型中混淆矩阵的概率密度函数，在连续型隐马尔科夫模型中，设定隐含状态数量n为5，表示某种农产品市场有上涨、积极性、下跌、消极性和持平五种走势，隐含状态序列为某种农产品市场走势序列，即由上涨、积极性、下跌、消极性
和持平构成的序列。本实施例对某种单一或组合农产品市场技术分析时，相对于实施例2能够明显提高惯性购买欲对单一或组合农产品预测价格的精准度。
[0050]
实施例4：价格信息采集和基础数据采集还包括对多个电商网获取的价格数据进行学习的过程，首先选取一段时间内的电商网数据，并确定学习区间起始点、置信度判断区间起始点、预测区间起始点及区间长度，然后对所述学习区间起始点到所述预测区间起始点之间的历史数据以所述区间长度进行划分得到多个区间，对每个所述区间进行特征提取并计算出历史数据区间斜率，再使用贝叶斯分类器对所述历史数据区间斜率进行学习和预测，得到以所述置信度判断区间起始点为起点的多个交易日的电商网均价。
[0051]
实施例5：在实施例1基础上，基础数据采集的采集包括搜索和采集社交网络中与某电商网相关的海量数据，海量数据包括社交网络中与电商网相关的微博、新闻，及发表微博新闻的投资者或分析师信息，将收集到的海量数据整理并存入数据库中。在计算市场惯性购买欲时，将收集到的海量数据包括微博、新闻等内容进行情感分析，情感分析为积极、消极和持平三类，例如根据发表微博、新闻的情感，将投资者或分析师分为发表积极情感、消极情感和持平情感。
[0052]
投资者关于投资情感程度等于该投资者所关注的对于所有电商网发表积极情感的投资者集合，根据各投资者历史预测准确的分别配以权重，将各投资者的积极权重之和除以抽调的投资者或分析师数量，获得积极或消极或持平的情感程度，对电商网价格的上涨与下跌的可能性做出预测，若社交网络整体具有消极情感，电商网价格的预测为下降，若社交网络整体具有积极情感，电商网价格的预测为上升。
[0053]
本发明上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制，在不偏离本发明的范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。例如还可以针对某种农产品市场受季节面影响较大，仅依赖某种农产品市场技术指标难以有效建模的现状，将购买欲倾向值与传统该种农产品技术分析指标值有机地结合来构造另一个隐马尔科夫模型的观测状态序列等。