基于网络设备资源发现算法的自动生成网络拓扑系统及方法与流程

1.本发明涉及智能运维技术领域，具体为网络设备资源发现算法的自动生成网络拓扑系统及方法。


背景技术：

2.随着互联网的发展，无论是网络规模还是设备类型都增长到了一个庞大数量级，时刻发生变化的网络结构极大地增加了对网络理解和认识的难度，对于准确、清晰、直观地、快速的展示实时动态的网络拓扑结构，是势在必行的需要，随着人工智能的发展，自动化的发展，将大大提高人工效率。
3.然而大多数绘制拓扑还使用人工手动绘制，绘制耗时、数据共享同步无法做到及时更新；现有的一些自动绘制工具的问题，例如都是星型；无代码自动图形化引擎：传统的关系需要专业人员编写代码，调整坐标位置，需要耗费较长的时间去提高成熟度；现阶段主流网络拓扑图工具，必须手动编辑，连线无法自定义，无法自定义标签，需人工干预，无法自动化建立关系，自动化识别设备图元素；并且传统的绘图工具部署极为困难，软件安装笨重不易于熟练掌握，增大人员成本。


技术实现要素：

4.本发明提供了网络设备资源发现算法的自动生成网络拓扑系统及方法，解决了上述背景技术所提出的问题。
5.为实现以上目的，本发明通过以下技术方案予以实现：网络设备资源发现算法的自动生成网络拓扑系统，所述网络拓扑系统包括网络资源设备信息的采集、连接关系的分析、网络资源设备的分类、规范化数据格式的生成、网络拓扑的自动化出图、数据与系统的互通、网络设备资源的即时监控、关系图的智能化布局和智能数据的分层架构，所述网络资源设备信息的采集包括有采集内容和采集方式，所述采集内容设备名称、所属系统、设备位置、品牌型号和ip地址，所述采集方式分别为接口采集方式、导入cmdb采集方式、网管系统采集方式和设备snmp采集方式。
6.可选的，所述连接关系的分析通过交换机端口镜像流量、npm、网管系统、设备snmp数据的采集，配合智能分析建立网络设备资源之间的关系。
7.可选的，所述网络资源设备的分类包括网络设备、主机设备和其他设备。
8.可选的，所述规范化数据格式的生成通过关联数据，智能动态分析设备资源信息、业务流程连接关系，生成规范化字典数据格式。
9.可选的，所述数据与系统的互通是通过知识图谱存储，并输出结构化图元数据与其他系统数据的互通。
10.可选的，所述网络设备资源的即时监控通过设置的检测间隔t，循环检测各设备的状态和连接的关系，并实时更新知识图谱库。
11.可选的，所述智能数据的分层架构是通过不同业务、网络域和不同物理位置进行
分层下钻查看数据关系和各资源的指标信息。
12.网络设备资源发现算法的自动生成网络拓扑的方法，包括以下操作步骤：
13.s1：智能网络资源设备的发现
14.网络设备资源的发现是通过cmdb、网管系统、设备snmp等资源采集到网络设备信息。
15.1.1、通过地址解析协议arp表，该设备所连接的以太网中网络设备的ip 地址和mac地址的对应关系，根据arp表的这个特性，可从一台已知的路由器或交换机的arp表发现其连接的其他网络设备，从新发现的设备中区分不同的设备信息路由器和交换机，并根据这些设备的arp表进行网络设备扩展发现，递归类推，从而得到了整个网络下的所有资源设备新的拓扑结构，并生成规范的模板数据信息；
16.1.2、通过网管系统平台监控网卡日志信息进行智能分析，监视采用tcp 或udp协议的数据包，监视源ip、目的ip地址的数据包，完成数据封包日志记录，通过机器自学习算法，分析源ip与目的ip是否在同一路由器、交换机、网关下，为同一网段在为同一分区，依次递归分析并归纳各分区；
17.1.3、通过扫描程序扫描该交换机下的ip地址内所有的设备资源信息，生成分组下的子网拓扑图，扫描该ip下的所有交换机、路由器、主机等所有网络设备资源信息，通过路由器或交换机的arp表，来判断ip是的资源设备类型，若有此ip为交换机、路由器时，继续下钻扫描该交换机、路由器下的所有网络资源设备，生成子节点分区，依次递归扫描，生成子网数据报表；
18.1.4、网络资源分析，获取设备资源信息数据，自动智能分析设备类型、品牌，并智能化匹配设备图元素，再生成设备的基本信息和数据结构。
19.s2：网络分层，分区关系的智能分析
20.通过扫描程序对交换机下的所有ip地址进行扫描分析，同一网段的ip 为同一分区，不同网段的进行下钻到该网段的交换机进行扫描，依次递归扫描，直到网络可达终点，在生成标准结构化数据模型。
21.s3：机器学习建模设备连接关系的自动分析
22.通过网管系统平台监控网卡日志信息进行智能分析，监视采用tcp或udp 协议的数据包，监视源ip、目的ip地址的数据包，完成数据封包日志记录，通过机器学习模型建立源ip与目的ip链接关系，同时并记录该设备信息间连接通量关系，建立关系矩阵模型，在同一网络资源设备下可能存在多个ip、端口的情况，进行下钻分层到ip、端口层面，建立子网ip、端口矩阵模型，智能化资源设备链接关系的主要目的是获取网络节点间ip、端口间数据互相连接关系信息，以交换机为总线，产生多层次分支，指定规范模型化矩阵数据。
23.s4：自动总线拓扑模型的生成
24.4.1、自动布局模块根据节点的连接关系，将直接相连的节点就近布局，对于地位相同的互备设备和子网并排布局，以突出节点之间的物理连接和逻辑关系；
25.4.2、根据节点的类型和重要程度自动判断优先级，对于给定的数据，自动布局模块能够明确识别出中心设备，并布局在相对中央的位置，对于与中心设备连接的其他设备和子网，按照所在网络的不同层次，区分各个网络设备所在的层次，和不同层次上设备和子网的连接关系；
26.4.3、针对网络环境的特点，网络拓扑自动布局的数据区别与其他自动布局应用；
27.4.4、根据节点相关度，明确区分不同的节点域。
28.本发明具备以下有益效果：
29.1、该网络设备资源发现算法的自动生成网络拓扑系统及方法，通过总线拓扑图布局算法，实现了网络设备资源实时监测扫描网管系统，有效地解决了网络拓扑结构的展示问题，也可以从交换设备的工作日志上获取动态日志信息，同时通过从cmdb或其他数据源获取、自身业务日志动态等扫描最新设备资源信息，再通过动态网络拓扑算法更快速清晰的展示网络拓扑结构。
30.2、该网络设备资源发现算法的自动生成网络拓扑系统及方法，通过网络设备资源发现算法的自动生成网络拓扑方法，实现在网络中自动扫描网络设备资源的新增、删除、变更，有效利用总线型布局方式，快速绘制网络拓扑图保持网络拓扑结构图的稳定性。
31.3、该网络设备资源发现算法的自动生成网络拓扑系统及方法，通过算法模型，有效地解决了不能够迅速稳定的适应变化并重绘拓扑图的问题，实现了一种网络拓扑图动态自动布局算法，展示动态网络拓扑结构，并与算法进行对比测试分析，使得算法模型具有更好的快速稳定特性。
附图说明
32.图1为本发明的流程图；
33.图2为本发明中资源设备信息采集的流程图；
34.图3为本发明中智能分层、分区关系分析的流程图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.请参阅图1至图3，本发明提供技术方案：网络设备资源发现算法的自动生成网络拓扑系统，网络拓扑系统包括网络资源设备信息的采集、连接关系的分析、网络资源设备的分类、规范化数据格式的生成、网络拓扑的自动化出图、数据与系统的互通、网络设备资源的即时监控、关系图的智能化布局、智能数据的分层架构，网络资源设备的分类通过机器学习智能识别网络资源设备的品牌、类型，识别核心设备，网络拓扑的自动化出图实现分层、子网、深度穿透，网络资源设备信息的采集包括有采集内容和采集方式，采集内容设备名称、所属系统、设备位置、品牌型号和ip地址，设备名称、所属系统、设备位置、品牌型号和ip地址为设备资源基本信息的情况，采集方式分别为接口采集方式、导入cmdb采集方式、网管系统采集方式和设备snmp采集方式，接口采集方式、导入cmdb采集方式、网管系统采集方式和设备snmp采集方式的方式是网络资源设备基础信息数据的来源，通过网管系统、网络数据流量镜像等系统采集网络日志，监控网络中设备运行状态和数据连接关系，网络设备资源发现算法，实时监控更新网络资源设备状态和连接关系，同时通过文件数据的导入进行更新网络设备状态和连接关系，再通过机器学习识别设备资源类型、匹配设备图元库进行
关联，自动获取设备与设备之间的关系自动生成网络拓扑，较好得解决了现有的自动化出图软件中大多数以星型结构出图，采用中央节点集中控制，因而资源共享能力差，在视觉上不易可视化，导致结构混乱，在一个父节点下子节点设备较多时不易于扩容，视觉感过于凌乱，在新增网络设备资源无法及时发现，导致信息无法及时同步，子网节点无法自动渗透，无法下钻到网络最终可达的终端设备问题，在整个网络环境下，自动发现网络设备，自动穿透子网设备，识别在网络可达的所有设备终端及端口，智能化自动生成总线拓扑图，自动识别网络设备类型，分组分层，深入下钻到达每个网络可达设备终端。
37.连接关系的分析通过交换机端口镜像流量、npm、网管系统、设备snmp 数据的采集，配合智能分析建立网络设备资源之间的关系，主要体现在数据的连接通量，有数据的流向来建立连接关系，从源ip向目的ip之间有数据的传递，交互等，自动分析连接关系。
38.网络资源设备的分类包括网络设备、主机设备和其他设备，以映射的形式生成该分区的所有拓扑子图。
39.规范化数据格式的生成通过关联数据，智能动态分析设备资源信息、业务流程连接关系，生成规范化字典数据格式。
40.数据与系统的互通是通过知识图谱存储，并输出结构化图元数据与其他系统数据的互通。
41.网络设备资源的即时监控通过设置的检测间隔t，循环检测各设备的状态和连接的关系，并实时更新知识图谱库，解决了传统的关系图以星型架构，智能计算较为复杂的问题。
42.智能数据的分层架构是通过不同业务、网络域和不同物理位置进行分层下钻查看数据关系和各资源的指标信息，不仅解决了传统关系图在一张或多张图上展现，同时也解决了无法进行关系联动，数据互动的问题。
43.网络设备资源发现算法的自动生成网络拓扑的方法，包括以下操作步骤：
44.s1：智能网络资源设备的发现
45.网络设备资源的发现是通过cmdb、网管系统、设备snmp等资源采集到网络设备信息。
46.1.1、通过地址解析协议arp表，该设备所连接的以太网中网络设备的ip 地址和mac地址的对应关系，根据arp表的这个特性，可从一台已知的路由器或交换机的arp表发现其连接的其他网络设备，从新发现的设备中区分不同的设备信息路由器和交换机，并根据这些设备的arp表进行网络设备扩展发现，递归类推，从而得到了整个网络下的所有资源设备新的拓扑结构，并生成规范的模板数据信息；
47.1.2、通过网管系统平台监控网卡日志信息进行智能分析，监视采用tcp 或udp协议的数据包，监视源ip、目的ip地址的数据包，完成数据封包日志记录，通过机器自学习算法，分析源ip与目的ip是否在同一路由器、交换机、网关下，为同一网段在为同一分区，依次递归分析并归纳各分区；
48.1.3、通过扫描程序扫描该交换机下的ip地址内所有的设备资源信息，生成分组下的子网拓扑图，扫描该ip下的所有交换机、路由器、主机等所有网络设备资源信息，通过路由器或交换机的arp表，来判断ip是的资源设备类型，若有此ip为交换机、路由器时，继续下钻扫描该交换机、路由器下的所有网络资源设备，生成子节点分区，依次递归扫描，生成子
网数据报表；
49.1.4、网络资源分析，获取设备资源信息数据，自动智能分析设备类型、品牌，并智能化匹配设备图元素，再生成设备的基本信息和数据结构。
50.s2：网络分层，分区关系的智能分析
51.通过扫描程序对交换机下的所有ip地址进行扫描分析，同一网段的ip 为同一分区，不同网段的进行下钻到该网段的交换机进行扫描，依次递归扫描，直到网络可达终点，在生成标准结构化数据模型。
52.s3：机器学习建模设备连接关系的自动分析
53.通过网管系统平台监控网卡日志信息进行智能分析，监视采用tcp或udp 协议的数据包，监视源ip、目的ip地址的数据包，完成数据封包日志记录，通过机器学习模型建立源ip与目的ip链接关系，同时并记录该设备信息间连接通量关系，建立关系矩阵模型，在同一网络资源设备下可能存在多个ip、端口的情况，进行下钻分层到ip、端口层面，建立子网ip、端口矩阵模型，智能化资源设备链接关系的主要目的是获取网络节点间ip、端口间数据互相连接关系信息，以交换机为总线，产生多层次分支，指定规范模型化矩阵数据。
54.s4：自动总线拓扑模型的生成
55.4.1、自动布局模块根据节点的连接关系，将直接相连的节点就近布局，对于地位相同的互备设备和子网并排布局，以突出节点之间的物理连接和逻辑关系；
56.4.2、根据节点的类型和重要程度自动判断优先级，对于给定的数据，自动布局模块能够明确识别出中心设备，并布局在相对中央的位置，对于与中心设备连接的其他设备和子网，按照所在网络的不同层次，区分各个网络设备所在的层次，和不同层次上设备和子网的连接关系；
57.4.3、针对网络环境的特点，网络拓扑自动布局的数据区别与其他自动布局应用；
58.4.4、根据节点相关度，明确区分不同的节点域。
59.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性，此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
60.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。