一种基于大数据的日志分析方法及终端与流程

技术特征：
1.一种基于大数据的日志分析方法，其特征在于，包括步骤：s1、获取待分析的日志，并将获取的待分析的日志添加入日志池中；s2、对日志池的日志进行预处理和分析以得到用户行为数据；s3、对用户行为数据进行进行预处理与聚类；s4、根据聚合后的用户行为数据建立用户行为数据本体模型，并将用户行为数据本体模型存储在数据库中；s5、对数据库中的用户行为数据本体模型进行推理得到行业风向数据。2.根据权利要求1所述的一种基于大数据的日志分析方法，其特征在于，所述步骤s3，对用户行为数据进行进行聚类具体包括：s31、根据用户行为数据得到用户项目评价矩阵；s32、根据用户项目评价矩阵使用相似度计算方法得到了用户相似度矩阵；s33、根据用户项目评价矩阵和用户相似度矩阵将用户行为数据进行聚类。3.根据权利要求2所述的一种基于大数据的日志分析方法，其特征在于，所述步骤s33包括：s331、选取k个用户行为数据形成k个聚类，每个用户行为数据对应一个聚类，用户行为数据对应的用户项目评价矩阵作为对应聚类的聚类中心；s332、选取一个新的用户行为数据，根据选取的用户行为数据与各个聚类中心的相似性，将加入到与其最相似的聚类中，并重新计算加入的聚类的聚类中心；重复执行步骤s332直到重新计算的聚类中心与计算前的聚类中心的差小于设定阈值。4.根据权利要求1所述的一种基于大数据的日志分析方法，其特征在于，所述步骤s5、对数据库中的用户行为数据本体模型进行推理得到行业风向数据具体包括：通过用户的行为日志，采集用户最常浏览的模块信息，并进行统计，根据用户在插件超市中使用的插件次数，推理出功能受欢迎的插件排行，通过用户浏览量统计行业最热门的版块。5.根据权利要求1所述的一种基于大数据的日志分析方法，其特征在于，所述步骤s3，对用户行为数据进行进行预处理具体包括：去除不完整数据，删除重复数据、图片、页面动画；对页面进行的打印、收藏、保存、下载操作，在获取后，将其转换为对应的数据格式保存在数据库中。6.一种基于大数据的日志分析终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：s1、获取待分析的日志，并将获取的待分析的日志添加入日志池中；s2、对日志池的日志进行预处理和分析以得到用户行为数据；s3、对用户行为数据进行进行预处理与聚类；s4、根据聚合后的用户行为数据建立用户行为数据本体模型，并将用户行为数据本体模型存储在数据库中；s5、对数据库中的用户行为数据本体模型进行推理得到行业风向数据。7.根据权利要求6所述的一种基于大数据的日志分析终端，其特征在于，所述步骤s3，对用户行为数据进行进行聚类具体包括：s31、根据用户行为数据得到用户项目评价矩阵；s32、根据用户项目评价矩阵使用相似度计算方法得到了用户相似度矩阵；
s33、根据用户项目评价矩阵和用户相似度矩阵将用户行为数据进行聚类。8.根据权利要求7所述的一种基于大数据的日志分析终端，其特征在于，所述步骤s33包括：s331、选取k个用户行为数据形成k个聚类，每个用户行为数据对应一个聚类，用户行为数据对应的用户项目评价矩阵作为对应聚类的聚类中心；s332、选取一个新的用户行为数据，根据选取的用户行为数据与各个聚类中心的相似性，将加入到与其最相似的聚类中，并重新计算加入的聚类的聚类中心；重复执行步骤s332直到重新计算的聚类中心与计算前的聚类中心的差小于设定阈值。9.根据权利要求6所述的一种基于大数据的日志分析终端，其特征在于，所述步骤s5、对数据库中的用户行为数据本体模型进行推理得到行业风向数据具体包括：通过用户的行为日志，采集用户最常浏览的模块信息，并进行统计，根据用户在插件超市中使用的插件次数，推理出功能受欢迎的插件排行，通过用户浏览量统计行业最热门的版块。10.根据权利要求6所述的一种基于大数据的日志分析终端，其特征在于，所述步骤s3，对用户行为数据进行进行预处理具体包括：去除不完整数据，删除重复数据、图片、页面动画；对页面进行的打印、收藏、保存、下载操作，在获取后，将其转换为对应的数据格式保存在数据库中。

技术总结
本发明公开了一种基于大数据的日志分析方法，包括步骤：S1、获取待分析的日志，并将获取的待分析的日志添加入日志池中；S2、对日志池的日志进行预处理和分析以得到用户行为数据；S3、对用户行为数据进行进行预处理与聚类；S4、根据聚合后的用户行为数据建立用户行为数据本体模型，并将用户行为数据本体模型存储在数据库中；S5、对数据库中的用户行为数据本体模型进行推理得到行业风向数据。采集用户行为数据，对用户行为数据采用并行运算模型进行预处理与聚合，根据聚合后的用户行为数据，建立用户行为数据本体模型，并存储在数据库中，适合日志的大数据分析。合日志的大数据分析。合日志的大数据分析。


技术研发人员：陈强 司小林 丁有刚 何守理 何明胜 陈曦 陈嘉豪
受保护的技术使用者：福州万山电力咨询有限公司
技术研发日：2022.05.11
技术公布日：2022/10/13