基于日志和图的动态网络拓扑图生成方法、系统、处理设备、存储介质与流程

1.本发明涉及计算机网络管理技术领域，具体来说是基于日志和图的动态网络拓扑图生成方法、系统、处理设备、存储介质。


背景技术：

2.随着网络技术的发展，现代业务系统变得越来越复杂，涉及到的服务器与终端设备也越来越多，网络拓扑在大型网络管理中尤为重要。因为业务的扩张，用户角色的变更，所以网络结构随时可能扩展或变更。
3.传统手工收集网络拓扑的方法，收集周期往往过长，往往不能及时对网络的变化进行更新。利用服务器之间的通信构建节点之间的关系，可以完成网络构建，但需要部署探测器，同时构建的网络拓扑也仅限于服务器之间的联系，无法收集用户、客户端和服务器的关系，也无法记录网络使用时的权限变更等更加深入的应用方向。
4.申请号为201811646558.1公开的一种网络拓扑图的生成方法、装置及存储介质，加载各业务系统的结构化数据；对所述结构化数据进行解析，获得所述业务系统对应的节点数据和节点关系数据；对所述业务系统中所述节点数据包括的所有节点进行分组，获得各分组对应的节点分组数据；基于所述节点关系数据以及所述各分组对应的显示区域，生成网络拓扑图，对各节点进行显示。该技术根据已经有的系统结构化数据，构建拓扑图，拓扑图的更新需要监听对应响应事件，更新阈值需要预定，生成的拓扑图信息只能用于网络维护。
5.再如申请号为cn202110114017.x公开的基于无线日志信息的ap拓扑关系图生成方法和系统，包括无线日志分析模块和ap拓扑图生成模块，无线日志分析模块用于统计分析终端与ap间的无线日志信息，提取终端与ap的交互记录以及交互过程中处于活跃状态的ap集合；ap拓扑图生成模块，用于根据所述终端与ap的交互记录判断处于活跃状态的ap间的相邻关系，并生成ap拓扑关系图。系统生成的ap拓扑关系图时只依赖于无线日志信息，较其他方法有着更小额外的人力物力开销，实现简单实用。该技术主要是用于确认ap的分布情况和状态检查，没有更深入的应用方向。


技术实现要素：

6.本发明所要解决的技术问题在于提供一种能够快速构建网络拓扑图，用以展示网络活跃情况和用户行为分析。
7.本发明通过以下技术手段实现解决上述技术问题的：
8.基于日志和图的动态网络拓扑图生成方法，包括以下步骤：
9.s1，数据收集，通过流的方式收集各服务器流量、ssh、ftp、web系统日志；
10.s2，数据解析，从步骤s1收集的各类日志中解析各服务器的特征信息；
11.s3，图谱创建，利用步骤s2解析出的特征信息构建有向图；所述有向图的边的方向
由连接发起者指向被访问服务器；
12.s4，网络拓扑状态查询，利用步骤s3中创建的有向图，查询网络拓扑状态。
13.本发明根据服务器之间的连接、流量等日志，解析服务器之间的关系，存在关系的服务器必然是存在数据交换的活跃状态，解析出连接关系后创建图，可以随时发现网络的变化，利用图的概念和相关算法，可用根据边进行任意时间段的网络活跃情况展示以及内网用户行为的分析。
14.进一步的，还包括网络拓扑可视化的步骤，利用步骤s3的方向图对步骤4查询结果或对整个网络拓扑进行图展示。
15.进一步的，所述步骤2中特征信息包括访问服务器ip、被访问服务器ip、连接的时间、用户、mac地址，并记录连接方式。
16.进一步的，所述步骤3中的方向图为：利用步骤s2中解析出的ip、mac、用户为顶点，mac只与ip建立边，ip之间基于记录的连接情况建立边，同时解析出的连接时间、流量、连接方式作为ip之间边的属性。
17.与上述方法对应的，本发明还提供一种基于日志和图的动态网络拓扑图生成系统，包括：
18.数据收集模块，通过流的方式收集各服务器流量、ssh、ftp、web系统日志；
19.数据解析模块，从数据收集模块收集的各类日志中解析各服务器的特征信息；
20.图谱创建模块，利用数据解析模块解析出的特征信息构建有向图；所述有向图的边的方向有连接发起者指向被访问服务器；
21.状态查询模块，利用图谱创建模块中创建的有向图，查询网络拓扑状态，并基于图算法进行行为分析。
22.进一步的，还包括网络拓扑可视化模块，利用图谱创建模块的方向图对状态查询模块查询结果或对整个网络拓扑进行图展示。
23.进一步的，所述数据解析模块中特征信息包括访问服务器ip、被访问服务器ip、连接的时间、用户、mac地址，并记录连接方式。
24.进一步的，所述图谱创建模块中的方向图为：利用数据解析模块中解析出的ip、mac、用户为顶点，mac只与ip建立边，ip之间基于记录的连接情况建立边，同时解析出的连接时间、流量、连接方式作为ip之间边的属性。
25.本发明还提供一种处理设备，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。
26.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。
27.本发明的优点在于：
28.本发明根据服务器之间的连接、流量等日志，解析服务器之间的关系，存在关系的服务器必然是存在数据交换的活跃状态，解析出连接关系后创建图，可以随时发现网络的变化，利用图的概念和相关算法，可以根据边属性进行任意时间段的网络活跃情况展示以及利用已构成的图进行内网用户行为的分析。
29.图的边属性中包含时间和连接方式，筛选一段时间内的边即可查看该时间段内各
用户及服务器之间的连接状态，生成当时的网络连接拓扑图，通过对比不同时段的图，即可观察网络状态变化；用户可访问的节点应当符合权限控制，用户访问的节点可以由边属性进行筛选，不在权限控制内的连接应当就是异常；另外应用图论算法、图论中节点属性也可用于其他行为的分析。本发明根据创建的有向图，可以自动动态生成网络结构拓扑图，可以监控到各个时间段网络结构的变化情况。除了网络本身的结构外，同时监控网络中各服务器被访问的情况，便于分析网络状态。
附图说明
30.图1为本发明实施例中基于日志和图的动态网络拓扑图生成方法的流程图；
31.图2为本发明实施例中基于日志和图的动态网络拓扑图生成系统的结构框图。
具体实施方式
32.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.本实施例提供一种基于日志和图的动态网络拓扑图生成方法，如图1所示，具体步骤如下：
34.步骤s1收集网络相关日志
35.通过流的方式收集各服务器流量、ssh、ftp、web系统等日志。
36.步骤s2日志解析
37.从步骤s1收集的各类日志中解析访问服务器ip以及对端ip、连接的时间、用户、mac地址等信息，并记录连接方式。
38.步骤s3构建用户及服务器之间的访问图
39.图是数学中描述一组对象的结构，其中某些对象在某种意义上是相关的。这些对象为对应于称为顶点的数学抽象，也称为节点或点，每个相关的顶点对称为边。在本实施例中，ip、mac、用户为对象，应用到图论时，就是图中的顶点，顶点就是对象的数学抽象。通常，图论以图解形式描绘为顶点的一组点或环，并通过边的线连接。
40.在离散数据中，图g是由两个集合v和e组成(记做g＝(v,e))：v是vertex，节点的集合，e是edges，边的集合。
41.这里利用步骤s2解析出的ip、mac、用户为顶点，mac只与ip建立边，ip之间基于日志解析的连接情况建立边，同时解析出的连接时间、流量、连接方式作为ip之间边的属性，并保存相关信息。
42.如果给图的每条边规定一个方向，那么该图就是有向图。在有向图中，与一个节点有关的边有出边(由节点指出的边)和入边(指向节点的边)之分。
43.本实施例采用有向图，边的方向由连接发起者指向被访问服务器。
44.创建好的图可以存储到图数据库中，如neo4j等，也可以直接将保存的边信息以文件的方式存储到本地文件系统，便于在需要的时候直接创建图。
45.s4网络拓扑状态查询
46.该模块利用步骤s3中创建好的图，基于图的基础操作即可方便快速地查看网络在各时间段下的状态。例如查询某个时间段的连接情况、某时间点以后的网络拓扑结构，某各服务器加入网络拓扑的时间等等。也可以基于图算法对网络中的服务器访问情况、用户访问行为进行分析。
47.s5网络拓扑可视化
48.结构化表格化的数据，很难直观的发现到多个服务器之间的联系。本实施例利用的图结构，可以非常直观的看到各个顶点之间的关系，使得对网络结构的分析可以变得更加方便快捷直观。该模块可以利用步骤s3创建的图结构，对步骤s4查询的结果或者之间对整个网络拓扑图进行展示。
49.本发明根据服务器之间的连接、流量等日志，解析服务器之间的关系，存在关系的服务器必然是存在数据交换的活跃状态，解析出连接关系后创建图，可以随时发现网络的变化，利用图的概念和相关算法，可进行任意时间段的网络活跃情况展示以及内网用户行为的分析。
50.本发明根据创建的有向图，可以自动动态生成网络结构拓扑图，可以监控到各个时间段网络结构的变化情况。除了网络本身的结构外，同时监控网络中各服务器被访问的情况，便于分析网络状态。也可以基于图算法对网络中的服务器访问情况、用户访问行为进行分析。
51.与上述方法对应的，本实施例还提供一种基于日志和图的动态网络拓扑图生成系统，如图2所示，包括：
52.数据收集模块，通过流的方式收集各服务器流量、ssh、ftp、web系统日志；
53.数据解析模块，从数据收集模块收集的各类日志中解析访问服务器ip以及对端ip、连接的时间、用户、mac地址等信息，并记录连接方式。
54.图谱创建模块，图是数学中描述一组对象的结构，其中某些对象在某种意义上是相关的。这些对象为对应于称为顶点的数学抽象，也称为节点或点，每个相关的顶点对称为边。在本实施例中，ip、mac、用户为对象，应用到图论时，就是图中的顶点，顶点就是对象的数学抽象。通常，图论以图解形式描绘为顶点的一组点或环，并通过边的线连接。
55.在离散数据中，图g是由两个集合v和e组成(记做g＝(v,e))：v是vertex，节点的集合，e是edges，边的集合。
56.这里利用数据解析模块解析出的ip、mac、用户为顶点，mac只与ip建立边，ip之间基于日志解析的连接情况建立边，同时解析出的连接时间、流量、连接方式作为ip之间边的属性，并保存相关信息。
57.如果给图的每条边规定一个方向，那么该图就是有向图。在有向图中，与一个节点有关的边有出边(由节点指出的边)和入边(指向节点的边)之分。
58.本实施例采用有向图，边的方向由连接发起者指向被访问服务器。
59.创建好的图可以存储到图数据库中，如neo4j等，也可以直接将保存的边信息以文件的方式存储到本地文件系统，便于在需要的时候直接创建图。
60.状态查询模块，该模块利用图谱创建模块中创建好的图，基于图的基础操作即可方便快速地查看网络在各时间段下的状态。例如查询某个时间段的连接情况、某时间点以后的网络拓扑结构，某各服务器加入网络拓扑的时间等等。也可以基于图算法对网络中的
服务器访问情况、用户访问行为进行分析。
61.网络拓扑可视化模块，结构化表格化的数据，很难直观的发现到多个服务器之间的联系。本实施例利用的图结构，可以非常直观的看到各个顶点之间的关系，使得对网络结构的分析可以变得更加方便快捷直观。该模块可以利用方向图结构，对状态查询模块的查询的结果或者之间对整个网络拓扑图进行展示。
62.数据解析模块中特征信息包括访问服务器ip、被访问服务器ip、连接的时间、用户、mac地址，并记录连接方式。
63.图谱创建模块中的方向图为：利用数据解析模块中解析出的ip、mac、用户为顶点，mac只与ip建立边，ip之间基于记录的连接情况建立边，同时解析出的连接时间、流量、连接方式作为ip之间边的属性。
64.本实施例还提供一种处理设备，包括至少一个处理器，以及与处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行上述的基于日志和图的动态网络拓扑图生成方法。
65.本实施例还提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述的基于日志和图的动态网络拓扑图生成方法。
66.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。