一种基于ELK的用户习惯分析方法及系统与流程

技术特征：
1.一种基于elk的用户习惯分析方法，其特征在于，包括以下步骤：s1，日志数据缓存：将日志数据写入磁盘文件，供后续数据预处理使用；s2，数据预处理：将经日志数据缓存的各数据源的日志数据作归一化处理，供后续日志数据检索使用；s3，数据检索：实时检索所需的经数据预处理的日志数据，供后续用户行为习惯分析使用；s4，用户行为习惯分析：对经数据检索得到的日志数据进行建模，分析用户的用户行为习惯。2.根据权利要求1所述的一种基于elk的用户习惯分析方法，其特征在于，步骤s3中，利用elasticsearch实时检索所需的经数据预处理的日志数据。3.根据权利要求2所述的一种基于elk的用户习惯分析方法，其特征在于，步骤s2中，利用logstash将经日志数据缓存的各数据源的日志数据作归一化处理。4.根据权利要求3所述的一种基于elk的用户习惯分析方法，其特征在于，步骤s3还包括以下步骤：s31，利用kibana实现对经数据检索得到的日志数据的可视化。5.根据权利要求4所述的一种基于elk的用户习惯分析方法，其特征在于，步骤s4中，用户行为习惯包括用户在使用系统软件时的浏览习惯、软件操作习惯、和/或系统操作习惯。6.根据权利要求5所述的一种基于elk的用户习惯分析方法，其特征在于，步骤s4中，分析用户的用户行为习惯的方法为以下的一种或多种：路径分析，用以判断出当前软件中最为频繁访问的路径；序列模式，用以在时间戳有序的事务集合中发现高频率出现的具有关联性的内部事务；分类分析，用以给出识别一个特殊群体的公共属性的描述；聚类分析，用以找出用户中具有相似特征的用户，将数据划分为不同的类；统计，用以从系统历史日志数据中对用户活跃时间与事件进行频度、平均值的统计分析，分析出系统运行时资源的消耗情况；和/或；用以对应用状态与流量进行统计，对于可能影响系统正常运行的情况做出及时预警；漏斗分析，用以找出用户在系统功能各环节的使用情况。7.根据权利要求6所述的一种基于elk的用户习惯分析方法，其特征在于，步骤s1～s4中的日志数据包括用户行为日志、系统操作日志、应用状态日志和/或流量监控日志。8.根据权利要求1至7任一项所述的一种基于elk的用户习惯分析方法，其特征在于，步骤s1中，日志数据首先进入缓存中间件中存储，当缓存中间件接收到一定数量的日志数据或者到达某一时间阈值时，将缓存中的所有日志数据全部一次性通过磁盘io写入磁盘文件。9.一种基于elk的用户习惯分析系统，其特征在于，包括以下模块：日志数据缓存模块：用以将日志数据写入磁盘文件，供后续数据预处理模块使用；数据预处理模块：用以将经日志数据缓存模块的各数据源的日志数据作归一化处理，供后续日志数据检索模块使用；数据检索模块：用以实时检索所需的经数据预处理模块的日志数据，供后续用户行为
习惯分析模块使用；用户行为习惯分析模块：用以对经数据检索模块得到的日志数据进行建模，分析用户的用户行为习惯。

技术总结
本发明公开了一种基于ELK的用户习惯分析方法及系统，该方法包括以下步骤：S1，日志数据缓存：将日志数据写入磁盘文件，供后续数据预处理使用；S2，数据预处理：将经日志数据缓存的各数据源的日志数据作归一化处理，供后续日志数据检索使用；S3，数据检索：实时检索所需的经数据预处理的日志数据，供后续用户行为习惯分析使用；S4，用户行为习惯分析：对经数据检索得到的日志数据进行建模，分析用户的用户行为习惯。本发明解决了现有技术存在的以下问题：针对来源较多、种类繁杂甚至是网络异构的日志数据，传统的日志处理手段由于缺乏实时的数据分析能力，无法及时对日志数据完成处理，且传统日志处理系统的数据处理方式较为简陋。日志处理系统的数据处理方式较为简陋。日志处理系统的数据处理方式较为简陋。


技术研发人员：黄河 邓永晖 荣星 黄兴 严亚伟 冯中华 苏怀方 盘善海 唐林
受保护的技术使用者：中国电子科技集团公司第三十研究所
技术研发日：2021.11.23
技术公布日：2022/2/28