一种基于网络大数据的经济信息预测分析系统的制作方法

1.本发明涉及经济数据预测领域，尤其涉及一种基于网络大数据的经济信息预测分析系统。


背景技术：

2.对于产品销售额、股市股值等经济数据分析预测一直颇受人们关注，科学的网络数据收集与分析预测可以协助人们对公司发展作出合理的评估，进而协助对公司进行风投、股票买入等操作，在经融领域尤为重要。
3.现有的经济数据分析与预测系统存在相当大的弊端，基本通过单一的模型进行预测，预测结果不够准确，或者通过线性回归模型进行演算推测，由于常出现欠拟合的问题，使得预测结果并不能达到目的需求，对于获取的数据需要耗费大量人工进行整合，去除掉多余数据、过时数据等，带来严重弊端。


技术实现要素：

4.本发明的目的是为了解决背景技术中存在的缺点，而提出的一种基于网络大数据的经济信息预测分析系统。
5.为达到以上目的，本发明采用的技术方案为：一种基于网络大数据的经济信息预测分析系统，包括数据集输入模块，还包括数据获取模块，所述数据模块与数据集输入模块共同连接有数据预处理模块，所述数据预处理模块连接有宏观分析模块以及微观分析模块，所述宏观分析模块与微观分析模块的结果分别经过线下评估模块进行结果评估，其中：所述数据获取模块用来爬取网络中的经济数据集；所述数据集输入模块用来人为输入经济数据集；所述数据预处理模块对数据集进行预处理，将无用数据刨除；所述宏观分析模块通过一次性函数模型进行经济数据的快速分析预测；所述微观分析模块通过线性回归预测的方式进行经济数据的详细分析预测。
6.优选的，所述数据获取模块包括爬取算法输入模块与爬取实施模块，所述爬取算法输入模块用来人为输入爬取算法，所述爬取实施模块用来运行爬取算法将经济数据从网络中获取。
7.优选的，所述数据预处理模块包括重复删除模块、符合度筛选模块、完整度分析模块与时效性分析模块，所述重复删除模块用来筛选数据集中的数据将重复的数据删除，所述符合度筛选模块用来筛选出预定范围内的数据集，所述完整度分析模块用来评估数据集中数据的完整度，所述时效性分析模块用来分析数据的实时程度并将过时数据刨除。
8.优选的，所述宏观分析模块包括一次性函数快速预测分析模块，所述一次性函数快速预测分析模块包括计算模型输入模块，所述计算模型输入模块连接有数据集输入模块，所述数据集输入模块连接有均化处理模块，所述均化处理模块连接有模型训练与预测模块，所述模型训练与预测模块连接有图表转化模块，所述图表转化模块连接有宏观结果
输出模块，其中：所述计算模型输入模块用来人为输入一次函数计算模型；所述数据集输入模块将输入集输入算法编程中；所述均化处理模块用来将数据集划分训练集与测试集，且均进行均化处理；所述模型训练与预测模块用来创建线性回归对象、使用训练集训练模型以及在测试集上进行预测；所述图表转化模块将所得预测结果通过图表的方式展示出来；所述宏观结构输出模块将图表显示。
9.优选的，所述图表转化模块转化的图表为二维坐标系中数据的点状分布图。
10.优选的，所述微观分析模块包括比较线性回归预测模块，所述比较线性回归预测模块连接有连续数据段筛选模块，所述连续数据段筛选模块连接有局部加权线性回归预算模块，所述局部加权线性回归预算模块连接有微观结果输出模块，其中：所述比较线性回归预测模块用来进行数据集的线性回归分析；所述连续数据段筛选模块用来摘取线性回归中连续样本点范围内的数据集线性回归分析结果；所述局部加权线性回归预算模块用来对连续段内的回归结果进行核回归分析得到新的线性回归分析结果；所述微观结果输出模块用来输出微观分析预测结果。
11.优选的，所述局部加权线性回归预算模块包括高斯核确定模块与回归系数确定模块，所述高斯核确定模块用来计算出核回归预算中的核权重数据，所述回归系数确定模块用最小二乘法求解最佳回归系数。
12.优选的，所述线下评估模块包括打分模块，所述打分模块连接有判断分输入模块，所述判断分输入模块连接有auc值计算模块，所述auc值计算模块连接有加权平均模块，所述加权平均模块连接有评估结果输出模块，其中：所述打分模块为人群体根据实际结果对预测结果进行打分；所述判断分输入模块即输入一个分的评判点，超过所述评判点的分数记为正，低于所述评判点的分数记为负；所述auc值计算模块算出若干评分的综合auc值；所述加权平均模块根据人群量将所述auc值加权平均；所述评估结果输出模块将评估的结果输出。
13.与现有技术相比，本发明具有以下有益效果：1、本方案中采用两种数据集的分析方法进行预测，宏观分析模块通过一次性函数模型进行经济数据的快速分析预测，微观分析模块通过线性回归预测的方式进行经济数据的详细分析预测，并且通过宏观分析模块与微观分析模块的结果分别经过线下评估模块进行结果评估，来推断预测结果是否准确，系统中输入的计算模型是否合理，以利于作出后续调整；在网络经济数据集中，数据预处理模块对数据集进行预处理，将无用数据刨除，减少人力。
14.2、重复删除模块用来筛选数据集中的数据将重复的数据删除，符合度筛选模块用来筛选出预定范围内的数据集，完整度分析模块用来评估数据集中数据的完整度，时效性
分析模块用来分析数据的实时程度并将过时数据刨除，用来将网络上爬取的数据以及人为输入的数据进行预处理，将无用数据刨除，减少系统负担，也免去了人为筛选去除带来的不便。
15.3、宏观分析模块中，计算模型输入模块用来人为输入一次函数计算模型，数据集输入模块将输入集输入算法编程中，均化处理模块用来将数据集划分训练集与测试集，且均进行均化处理，模型训练与预测模块用来创建线性回归对象、使用训练集训练模型以及在测试集上进行预测，图表转化模块将所得预测结果通过图表的方式展示出来，宏观结构输出模块将图表显示，通过一次函数预测可以有效降低系统的运算复杂程度，减少系统负担，对应的图表显示更为直观，主要用来比对微观分析模块给出参考，在两者预测偏差过大的情况下给出提示，提示预测精确度。
16.4、比较线性回归预测模块用来进行数据集的线性回归分析，连续数据段筛选模块用来摘取线性回归中连续样本点范围内的数据集线性回归分析结果，局部加权线性回归预算模块用来对连续段内的回归结果进行核回归分析得到新的线性回归分析结果，微观结果输出模块用来输出微观分析预测结果，局部加权线性回归预算模块包括高斯核确定模块与回归系数确定模块，高斯核确定模块用来计算出核回归预算中的核权重数据，回归系数确定模块用最小二乘法求解最佳回归系数，相比于传统的局部加权线性回归预算来说该方案进行分段式的回归预算，有效降低服务器负担，显然的设置多个局部加权线性回归预算模块即可进行多段样本点的同时分析预测，大大提升了预测效率。
附图说明
17.图1为本发明一种基于网络大数据的经济信息预测分析系统的结构示意图；图2为本发明一种基于网络大数据的经济信息预测分析系统的数据获取模块原理图；图3为本发明一种基于网络大数据的经济信息预测分析系统的数据预处理模块原理图；图4为本发明一种基于网络大数据的经济信息预测分析系统的宏观分析模块原理图；图5为本发明一种基于网络大数据的经济信息预测分析系统的微观分析模块原理图；图6为本发明一种基于网络大数据的经济信息预测分析系统的线下评估模块原理图。
具体实施方式
18.以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。
19.如图1-图6所示的一种基于网络大数据的经济信息预测分析系统，包括数据集输入模块，还包括数据获取模块，数据模块与数据集输入模块共同连接有数据预处理模块，数据预处理模块连接有宏观分析模块以及微观分析模块，宏观分析模块与微观分析模块的结果分别经过线下评估模块进行结果评估，其中：
数据获取模块用来爬取网络中的经济数据集；数据集输入模块用来人为输入经济数据集；数据预处理模块对数据集进行预处理，将无用数据刨除；宏观分析模块通过一次性函数模型进行经济数据的快速分析预测；微观分析模块通过线性回归预测的方式进行经济数据的详细分析预测。
20.数据获取模块包括爬取算法输入模块与爬取实施模块，爬取算法输入模块用来人为输入爬取算法，爬取实施模块用来运行爬取算法将经济数据从网络中获取。
21.数据预处理模块包括重复删除模块、符合度筛选模块、完整度分析模块与时效性分析模块，重复删除模块用来筛选数据集中的数据将重复的数据删除，符合度筛选模块用来筛选出预定范围内的数据集，完整度分析模块用来评估数据集中数据的完整度，时效性分析模块用来分析数据的实时程度并将过时数据刨除。
22.宏观分析模块包括一次性函数快速预测分析模块，一次性函数快速预测分析模块包括计算模型输入模块，计算模型输入模块连接有数据集输入模块，数据集输入模块连接有均化处理模块，均化处理模块连接有模型训练与预测模块，模型训练与预测模块连接有图表转化模块，图表转化模块连接有宏观结果输出模块，其中：计算模型输入模块用来人为输入一次函数计算模型；数据集输入模块将输入集输入算法编程中；均化处理模块用来将数据集划分训练集与测试集，且均进行均化处理；模型训练与预测模块用来创建线性回归对象、使用训练集训练模型以及在测试集上进行预测；图表转化模块将所得预测结果通过图表的方式展示出来；宏观结构输出模块将图表显示。
23.图表转化模块转化的图表为二维坐标系中数据的点状分布图。
24.微观分析模块包括比较线性回归预测模块，比较线性回归预测模块连接有连续数据段筛选模块，连续数据段筛选模块连接有局部加权线性回归预算模块，局部加权线性回归预算模块连接有微观结果输出模块，其中：比较线性回归预测模块用来进行数据集的线性回归分析；例如，在此采用如下模型进行计算：2output:连续数据段筛选模块用来摘取线性回归中连续样本点范围内的数据集线性回归分析结果；例如，在此采用如下模型进行计算:2output:output:
当样本点接近预测点x时，权值大，此时接近于1。当样本点远离预测点x时，权值小，此时接近于。
25.权值系数指数衰减，其中参数r为衰减因子。
26.局部加权线性回归预算模块用来对连续段内的回归结果进行核回归分析得到新的线性回归分析结果；微观结果输出模块用来输出微观分析预测结果。
27.局部加权线性回归预算模块包括高斯核确定模块与回归系数确定模块，高斯核确定模块用来计算出核回归预算中的核权重数据，回归系数确定模块用最小二乘法求解最佳回归系数。其中的回归系数即为上述提及的r。
28.线下评估模块包括打分模块，打分模块连接有判断分输入模块，判断分输入模块连接有auc值计算模块，auc值计算模块连接有加权平均模块，加权平均模块连接有评估结果输出模块，其中：打分模块为人群体根据实际结果对预测结果进行打分；判断分输入模块即输入一个分的评判点，超过评判点的分数记为正，低于评判点的分数记为负；auc值计算模块算出若干评分的综合auc值；加权平均模块根据人群量将auc值加权平均；评估结果输出模块将评估的结果输出。
29.本方案中采用两种数据集的分析方法进行预测，宏观分析模块通过一次性函数模型进行经济数据的快速分析预测，微观分析模块通过线性回归预测的方式进行经济数据的详细分析预测，并且通过宏观分析模块与微观分析模块的结果分别经过线下评估模块进行结果评估，来推断预测结果是否准确，系统中输入的计算模型是否合理，以利于作出后续调整；在网络经济数据集中，数据预处理模块对数据集进行预处理，将无用数据刨除，减少人力。
30.重复删除模块用来筛选数据集中的数据将重复的数据删除，符合度筛选模块用来筛选出预定范围内的数据集，完整度分析模块用来评估数据集中数据的完整度，时效性分析模块用来分析数据的实时程度并将过时数据刨除，用来将网络上爬取的数据以及人为输入的数据进行预处理，将无用数据刨除，减少系统负担，也免去了人为筛选去除带来的不便。
31.宏观分析模块中，计算模型输入模块用来人为输入一次函数计算模型，数据集输入模块将输入集输入算法编程中，均化处理模块用来将数据集划分训练集与测试集，且均进行均化处理，模型训练与预测模块用来创建线性回归对象、使用训练集训练模型以及在测试集上进行预测，图表转化模块将所得预测结果通过图表的方式展示出来，宏观结构输出模块将图表显示，通过一次函数预测可以有效降低系统的运算复杂程度，减少系统负担，对应的图表显示更为直观，主要用来比对微观分析模块给出参考，在两者预测偏差过大的情况下给出提示，提示预测精确度。例如采用如下算法进行：fromskl.datasetsimportload_boston//skl内置的数据集，load_boston是加载数据集的函数
fromskl.model_selectionimporttrain_test_split//使用skl中的train_test_split划分数据集fromskl.linear_modelimportlinearregression//线性回归预测x,y=load_boston(return_x_y=true)//加载数据集，样本点为x，结果点yx=x[:,5:6]//对选取的特征列进行限定，该处限定至取第6列x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=2020)//划分为训练集和测试集，此处具体的测试集取的占总数据集数量的20%regr=linearregression()//为创建的回归对象regr.fit(x_train,y_train)//训练集进行训练y_pred=regr.predict(x_test)//预算print('y_pred:',y_pred[:3])print('y_test:',y_test[:3])print(regr.coef_,regr.intercept_)//输出前3个预测值与真实值。
[0032]
比较线性回归预测模块用来进行数据集的线性回归分析，连续数据段筛选模块用来摘取线性回归中连续样本点范围内的数据集线性回归分析结果，局部加权线性回归预算模块用来对连续段内的回归结果进行核回归分析得到新的线性回归分析结果，微观结果输出模块用来输出微观分析预测结果，局部加权线性回归预算模块包括高斯核确定模块与回归系数确定模块，高斯核确定模块用来计算出核回归预算中的核权重数据，回归系数确定模块用最小二乘法求解最佳回归系数，相比于传统的局部加权线性回归预算来说该方案进行分段式的回归预算，有效降低服务器负担，显然的设置多个局部加权线性回归预算模块即可进行多段样本点的同时分析预测，大大提升了预测效率。
[0033]
在本发明中，术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0034]
在本说明书的描述中，若出现术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0035]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。