一种基于ELK的用户习惯分析方法及系统与流程

一种基于elk的用户习惯分析方法及系统
技术领域
1.本发明涉及网络日志数据处理技术领域，具体是一种基于elk的用户习惯分析方法及系统。


背景技术：

2.随着互联网技术的不断发展，信息系统由较为简单的单节点应用逐渐转变成分布式应用。信息系统日志，如用户行为日志、系统操作日志、应用状态与流量监控日志等，对于保证系统的使用以及运维等有着重要意义。信息系统产生的日志，可以记录系统运行时的相关数据，通过数值、图标等形式可直观反映出系统用户的活跃时间与事件等相关信息。用户习惯分析主要以系统日志为数据基础，从基本的用户行为日志以及系统操作日志分析，再到应用状态与流量监控日志的辅助分析，日志信息越全面，反映出的用户习惯更加真实，进而辅助应用程序的不断完善与提高以及资源的合理运用。通常情况下，应用日志数据多存在于各个服务器上，对这些服务器上的日志数据进行收集、处理以及分析，对应用的正常运行提供了有力保障。
3.目前已有一些开源的日志系统可以辅助日志分析。scribe作为facebook公司开源的一个用于对流数据聚合的日志收集系统，能够从多种数据源中收集日志并最终将日志数据存储在目标存储系统中，但是该日志系统并不提供对日志数据的实时分析。chukwa是hadoop的一个子项目，用于弥补日志处理与hadoop生态系统之间的差距，通过对不同数据源的日志进行汇聚再转交给mapreduce进行处理，使得mapreduce能够发挥出最佳性能。但是chukwa并不能够达到实时处理日志数据的要求，且chukwa的存储系统高度依赖hadoop。apache flume虽然为日志数据的收集与聚合提供了一种可靠的分布式服务，但是由于flume的客户端需要用户自行实现代码，且实时数据的收集是通过命令行方式，可靠性较差，其没有实现对文件新增记录的监控，且对数据的过滤和解析能力较差。
4.基于日志数据，对数据进行建模可分析出用户使用系统的行为习惯，实现对用户使用行为的跟踪，分析出用户在各环节的使用情况，找出用户在各环节可能产生的脏数据以及造成的潜在问题，分析流程的合理性并做出改进，优化操作流程，降低使用门槛；同时优化资源分配，依据用户使用占比灵活配置各功能模块所占有的资源。
5.为满足不断采集的多源网络日志数据，需要对各日志数据进行转换，能够实现用户可灵活配置日志处理规则。此外日志系统还需支持实时分析处理的能力，能够对用户行为习惯进行实时反应。因此需具备高并发、低延迟与高可用的特点。


技术实现要素：

6.为克服现有技术的不足，本发明提供了一种基于elk的用户习惯分析方法及系统，解决现有技术存在的以下问题：针对来源较多、种类繁杂甚至是网络异构的日志数据，传统的日志处理手段由于缺乏实时的数据分析能力，无法及时对日志数据完成处理，且传统日志处理系统的数据处理方式较为简陋。
7.本发明解决上述问题所采用的技术方案是：
8.一种基于elk的用户习惯分析方法，包括以下步骤：
9.s1，日志数据缓存：将日志数据写入磁盘文件，供后续数据预处理使用；
10.s2，数据预处理：将经日志数据缓存的各数据源的日志数据作归一化处理，供后续日志数据检索使用；
11.s3，数据检索：实时检索所需的经数据预处理的日志数据，供后续用户行为习惯分析使用；
12.s4，用户行为习惯分析：对经数据检索得到的日志数据进行建模，分析用户的用户行为习惯。
13.作为一种优选的技术方案，步骤s3中，利用elasticsearch实时检索所需的经数据预处理的日志数据。
14.作为一种优选的技术方案，步骤s2中，利用logstash将经日志数据缓存的各数据源的日志数据作归一化处理。
15.作为一种优选的技术方案，步骤s3还包括以下步骤：
16.s31，利用kibana实现对经数据检索得到的日志数据的可视化。
17.作为一种优选的技术方案，步骤s4中，用户行为习惯包括用户在使用系统软件时的浏览习惯、软件操作习惯、和/或系统操作习惯。
18.作为一种优选的技术方案，步骤s4中，分析用户的用户行为习惯的方法为以下的一种或多种：
19.路径分析，用以判断出当前软件中最为频繁访问的路径；
20.序列模式，用以在时间戳有序的事务集合中发现高频率出现的具有关联性的内部事务；
21.分类分析，用以给出识别一个特殊群体的公共属性的描述；
22.聚类分析，用以找出用户中具有相似特征的用户，将数据划分为不同的类；
23.统计，用以从系统历史日志数据中对用户活跃时间与事件进行频度、平均值的统计分析，分析出系统运行时资源的消耗情况；和/或；用以对应用状态与流量进行统计，对于可能影响系统正常运行的情况做出及时预警；
24.漏斗分析，用以找出用户在系统功能各环节的使用情况。
25.根据权利要求6所述的一种基于elk的用户习惯分析方法，其特征在于，步骤s1～s4中的日志数据包括用户行为日志、系统操作日志、应用状态日志和/或流量监控日志。
26.作为一种优选的技术方案，步骤s1中，日志数据首先进入缓存中间件中存储，当缓存中间件接收到一定数量的日志数据或者到达某一时间阈值时，将缓存中的所有日志数据全部一次性通过磁盘io写入磁盘文件。
27.一种基于elk的用户习惯分析系统，包括以下模块：
28.日志数据缓存模块：用以将日志数据写入磁盘文件，供后续数据预处理模块使用；
29.数据预处理模块：用以将经日志数据缓存模块的各数据源的日志数据作归一化处理，供后续日志数据检索模块使用；
30.数据检索模块：用以实时检索所需的经数据预处理模块的日志数据，供后续用户行为习惯分析模块使用；
31.用户行为习惯分析模块：用以对经数据检索模块得到的日志数据进行建模，分析用户的用户行为习惯。
32.本发明相比于现有技术，具有以下有益效果：
33.(1)本发明采用elk技术，实现对大量多源日志数据的采集、处理与治理，将数据以服务的形式提供给用户行为习惯分析与展示模块，提升了系统的运行效率。同时结合缓存中间件技术，提升日志产生端的性能；
34.(2)本发明对用户行为习惯进行分析，考虑到单一分析方法无法对所有日志数据进行全面准确地评估分析，采用了多种分析方法，充分发挥各分析方法优势，得到更加准确全面的用户行为习惯评估分析结果。
附图说明
35.图1为本发明所述一种基于elk的用户习惯分析方法的步骤示意图；
36.图2为本发明所述一种基于elk的用户习惯分析系统的结构框图；
37.图3为本发明所述一种基于elk的用户习惯分析方法的总体架构图；
38.图4为本发明用户行为习惯分析与展示示意图。
具体实施方式
39.下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
40.实施例
41.如图1至图4所示，基于背景技术指出来的技术问题，提出一种基于elk的用户习惯分析，为信息提供的不断完善以及资源的合理利用提供解决方案。
42.针对来源较多、种类繁杂甚至是网络异构的日志数据，传统的日志处理手段由于缺乏实时的数据分析能力，无法及时对日志数据完成处理，且传统日志处理系统的数据处理方式较为简陋。因此需要设计能够支持实时的日志分析解决方案，提供灵活日志数据处理规则，在保证高并发与低延迟的要求下，完成对多源日志数据的分析处理，及时准确的反映出用户行为习惯，对系统的改善以及资源的合理分配有着重要意义。
43.具体来讲：
44.1)采用elk(elasticsearch,logstash和kibana)作为日志数据收集、处理和分析的核心模块，能够从多种数据源收集日志数据并对日志数据进行处理，提供近乎实时的分析处理能力，快速检索到所需的日志数据，并提供了日志检索的可视化界面。同时，在日志产生端可添加缓存中间件技术来减少磁盘io，提升系统并发能力。
45.2)建立用户行为习惯分析模型，从日志数据中分析出用户浏览习惯、软件使用习惯等，跟踪用户使用行为，分析用户在各环节的使用情况，分析软件操作流程的合理性并依此来对软件做出进一步改进，优化资源配置与用户使用体验，降低使用门槛。
46.(一)总体架构
47.基于elk的用户行为习惯分析架构图如图1所示，由日志数据缓存、日志数据预处理、日志数据检索以及用户行为习惯分析处理等步骤组成：
48.步骤一：日志数据缓存。传统日志处理系统或直接以日志文件的形式，亦或是以数
据库的方式来存储日志数据，产生的日志数据通过磁盘io与日志数据存储文件进行交互存储，大量产生的日志会带来大量的磁盘io操作。而对于操作系统来说，磁盘io往往都是一个较大的性能瓶颈。通过引入日志缓存中间件技术，产生的日志数据首先进入缓存中间件中存储，当缓存中间件接收到一定数量的日志数据或者到达某一时间阈值，将缓存中的所有日志数据全部一次性通过磁盘io写入日志数据存储文件，极大减少磁盘io操作，对提升系统响应有着重要作用。
49.步骤二：数据预处理。由于系统日志数据可能来自于不同的子应用，各应用的日志格式、记录的日志数据内容可能不尽相同。在数据进行检索分析之前，需要将各数据源的日志数据作归一化处理供日志数据检索模块使用。
50.步骤三：数据检索。该模块需要提供实时的数据检索与分析功能，帮助技术人员快速检索所需的日志数据。同时向系统开发人员提供日志数据检索接口，辅助开发人员完成用户行为习惯分析与展示。
51.步骤四：用户行为习惯分析处理与展示。对日志数据进行建模，分析用户的浏览习惯、软件使用习惯，对用户在软件功能各环节中的使用情况进行计算分析，分析软件功能模块流程设计的合理性，并不断改善软件功能流程。依据软件功能用户使用占比合理分配有限物理资源(如服务器资源，带宽资源)，提升软件整体运行效率与性能。分析应用状态与流量监控日志能够对信息系统面临的潜在问题做出预警，帮助运维人员及时抵御信息系统可能遭受的风险，尽可能减少损失。
52.(二)具体方案
53.基于elk的用户行为习惯分析，其核心是充分利用elk提供的近乎实时的强大检索与分析能力，采用多种行为分析方法对用户浏览习惯、软件操作习惯、系统操作习惯等做出及时准确的分析如图2所示，根据用户在软件功能各环节中的使用情况分析软件功能流程设计的合理性。本方法通过引入logstash支持从多数据源收集数据，依靠其丰富的插件生态为用户编写日志处理规则提供了便利，能够简单便捷的实现对日志数据的预处理，各日志数据产生端无需为了适配日志收集的日志处理规则而添加额外的属性字段；通过引入elasticsearch提供近乎实时的数据检索与分析，帮助技术人员快速检索所需的日志数据，其水平伸缩性，使得数据在生产环境中变得更有价值；通过kibana提供了日志数据检索的可视化界面，方便技术人员快捷检索日志数据；通过引入缓存中间件技术来减少磁盘io操作，确保系统对外提供较快的响应时间。
54.1.日志数据缓存
55.日志数据缓存是用户行为习惯分析的前提。传统日志处理系统将产生的日志直接通过io写入磁盘文件，对系统的性能造成较大的瓶颈。通过引入缓存中间件技术，各模块产生的日志数据首先写入缓存中间件中，当缓存中间件接收到一定数量的日志数据，或者到达指定的时间阈值，将缓存中的日志数据一次性写入磁盘，减少应用与磁盘的io次数。缓存中间件技术包括redis，消息队列等。redis是一种基于内存的nosql数据库，可用作简单的消息队列来缓存日志数据。消息队列如kafka mq可将数据从一个程序传递到另一个程序。信息系统只需关注数据的产生，而对数据如何写入磁盘并不关注，可明显提升系统响应。当日志数据在成功写入磁盘后，日志上报模块filebeat会监听到新的日志数据已被写入并将新的日志数据上传至日志数据预处理模块。
56.2.日志数据预处理
57.日志数据预处理主要是将系统中多种格式，多种内容的日志数据进行统一的归一化。而logstash丰富的插件生态使得用户能够方便快捷的处理不同格式的日志数据，各日志产生端刻意改变自己的日志产生方式。且logstash对elasticsearch具有良好的兼容性，可以轻松实现与elasticsearch的整合。
58.3.日志数据检索
59.日志数据检索与分析是本方法的核心之一。传统的日志处理系统通常对日志进行离线式处理，无法解决生产环境下遇到的即时性问题。本方法采用elasticsearch实现日志数据的近乎实时检索与分析，其基于著名全文搜索引擎lucene实现搜索引擎，检索性能可达百毫秒级别，并保证了数据的高可用。
60.4.用户行为习惯分析
61.用户行为习惯分析是本方法的核心内容。对用户行为日志、系统操作日志、应用状态日志与流量监控日志等进行模式发现与分析，得出用户在使用系统软件时的浏览习惯、使用习惯以及操作习惯等。具体来讲：
62.1)通过路径分析可以判断出当前软件中最为频繁访问的路径，以及一些其他的有关路径的信息，从而调整和优化软件结构，使得用户访问所需路径更加简单快捷。
63.2)通过序列模式，在时间戳有序的事务集合中发现那些高频率出现的具有关联性的内部事务。
64.3)通过分类分析可以给出识别一个特殊群体的公共属性的描述。
65.4)通过聚类分析可以找出用户中具有相似特征的用户，其会将数据划分为几个类，使得在同一类中的数据之间具有较高的相似度，而在不同类中的数据存在较大的差别。
66.5)通过统计可以从系统历史日志数据中对用户活跃时间与事件进行频度、平均值的统计分析，分析出系统运行时资源的消耗情况，对用户使用占比较多的功能配置更多的资源，协同改进系统结构，提升系统性能。同时还能够对应用状态与流量进行统计，对于可能影响系统正常运行的情况做出及时预警。
67.6)通过漏斗分析可以找出用户在系统功能各环节的使用情况，分析流程设计的合理性，分析漏斗合理性，缩短路径事件，降低用户使用门槛，协同改进系统结构。
68.5.用户行为习惯展示
69.用户行为习惯展示能够将分析处理后的数据通过可视化的方式进行展示，使得相关技术人员等整个系统使用情况、资源消耗情况、潜在风险预警等有着全局掌握。
70.五、有益效果和优点
71.本发明专利有着如下有益效果和优点：
72.1)本发明专利采用elk技术，实现对大量多源日志数据的采集、处理与治理，将数据以服务的形式提供给用户行为习惯分析与展示模块，提升了系统的运行效率。同时结合缓存中间件技术，提升日志产生端的性能。
73.2)本发明专利提出对用户行为习惯进行分析，考虑到单一分析方法无法对所有日志数据进行全面准确地评估分析，采用了多种分析方法，充分发挥各分析方法优势，得到更加准确全面的用户行为习惯评估分析结果。
74.如上所述，可较好地实现本发明。
75.本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
76.以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。