一种大数据挖掘处理方法及装置与流程

技术特征：
1.一种大数据挖掘处理方法，其特征在于：包括以下步骤：s1、数据采集，使用数据采集模块通过手动采集和借助接口自动采集的方法将采集到的数据存放在数据挖掘库内，通过预先设定的种子链接集，利用htrp协议访问并下载页面，再利用各种技术对页面与主题之间的联系进行分析并提取出待访问的链接以对数据进行采集，然后建立数据挖掘库，将采集到的数据存放在数据挖掘库内，最后在挖掘数据库中对数据对象的特征进行抽取，对数据内容进行分解，以组成数据的特征集合对数据进行显示；s2、数据预处理，使用数据处理模块从数据挖掘库中提取一定范围的数据进行预处理，然后提取将预处理后的数据的行为特征向量，并根据行为特征向量对数据进行索引分析得到目标数据集，根据数据的功能类型和数据特点对目标数据集进行挖掘，然后对挖掘的结果进行解释和评价，最后将生成的报告通过中央处理器和数据分析模块发送至用户端；s3、数据分类，数据处理模块对预处理后的数据进行分类，首先按照预处理数据对象的共同特点按照一定的分类模式将其划分为不同的类别，然后通过分类将数据项映射到某个给定的类别中，再针对每个类别中的数据相似性和差异性将该类别中的数据分为几个类型；s4、数据分析，数据分类完成后，数据处理模块将数据进行去噪和归一化处理，然后结合sql查询、交互查询和搜索查询的方式并利用数据挖掘软件将数据返回至数据挖掘库内部进行数据挖掘，并得到挖掘结果；s5、最终生成，数据分析模块将挖掘结果进行建模，数据分析模块先用一部分数据结果建立模型，然后用剩下的数据来测试和验证该模型，并生结果报告发送至用户端。2.根据权利要求1所述的一种大数据挖掘处理方法，其特征在于：所述s1中在使用组成数据的特征集合对数据进行显示后，需要对数据的相似度进行计算，根据数据特征重合的比例来确定是否出现重复数据。3.根据权利要求1所述的一种大数据挖掘处理方法，其特征在于：所述s2中预处理步骤包括：s21、检查一定范围的数据中各个数据的完整性和一致性；s22、将复杂的数据转化为单一的或者便于处理的数据构型；s23、对数据过滤去噪以得到有用的数据。4.根据权利要求1所述的一种大数据挖掘处理方法，其特征在于：所述s3中数据分类模式包括关联规则法、神经网络方法和序列模式发现方法。5.根据权利要求1所述的一种大数据挖掘处理方法，其特征在于：所述s4中数据挖掘的方法包括机器学习方法、统计方法、神经网络方法和数据库方法。6.根据权利要求1所述的一种大数据挖掘处理方法，其特征在于：所述s5中需要将剩下来的数据再分出一部分独立的数据集来验证模型的准确性，并且数据分析模块会根据数据挖掘的结果以及图像化的模型对数据进行预测性分析，然后同步发送至用户端。7.一种大数据挖掘处理装置，包括处理单元、中央处理器和数据分析模块，其特征在于：所述处理单元包括数据采集模块、信息监控模块、数据挖掘库和数据处理模块；所述信息监控模块与数据采集模块通讯连接，所述数据采集模块与数据挖掘库通讯连接，所述数据挖掘库与数据处理模块通讯连接，所述中央模块分别与数据采集模块、信息监控模块、数据挖掘库和数据处理模块通讯连接，所述数据分析模块与中央处理器通讯连接。
8.根据权利要求7所述的一种大数据挖掘处理装置，其特征在于：所述数据采集模块用于从海量的网页中提取一定范围内的数据，并且通过预先设定的种子链接集，利用htrp协议访问并下载页面，再利用各种技术对页面与主题之间的联系进行分析并提取出待访问的链接以对数据进行采集；所述信息监控模块用于在数据采集的过程中明确数据采集的时间频率、采集的关键信息点、控制图分析类型、控制指标和异常处理信息；所述数据挖掘库是对数据进行存放、分类、合并、整合和数据挖掘的地点；所述数据处理模块用于从数据挖掘库中把数据提取出来，然后经过etl组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘；所述数据分析模块用于根据挖掘所得的数据进行建模，并且在模型建立完成后对模型的价值进行评价、结束，然后将模型提供给分析人员作参考。

技术总结
本发明公开了一种大数据挖掘处理方法及装置,包括以下步骤：数据采集、数据预处理、数据分类、数据分析和最终生成。通过对数据挖掘库内部的数据进行预处理，在数据挖掘处理时能够按照分类顺序在数据挖掘库内部依次对数据进行挖掘处理，而且在对预处理后的数据再次进行分类，使得数据能够按照一定的分类模式划分为不同的类别，不仅全面覆盖了所有信息，使得在数据挖掘处理时能够照顾到全部数据，而且提高了数据挖掘处理的效率。高了数据挖掘处理的效率。高了数据挖掘处理的效率。


技术研发人员：李秋缘
受保护的技术使用者：福州外语外贸学院
技术研发日：2021.10.28
技术公布日：2022/3/1