一种快速发现和识别资产方法、系统、终端及存储介质与流程

1.本发明涉及网内资产识别技术领域，更具体地说，涉及一种快速发现和识别资产方法、系统、终端及存储介质。


背景技术：

2.随着网络技术的高速发展，各行各业都加大了对网络化建设的力度，大量的网络设备被部署在生成环境中。由于前期的快速建设，加上不同项目同一个地方设施和各种网络设备的交叉部署，导致重建设轻管理，现网内资产不明确，运维难度大。所以如何明确现网资产，并实施有效的管理，是当务之急。
3.有效的管理包括资产清单、风险监测、风险防范，风险处置，其中风险监测和风险防范的前提条件是能快速发现和识别资产。
4.目前资产发现方案，绝大多数是基于周期性扫描实现，即在每个周期内对固定的管理地址范围内每个地址发送刺探数据包，等到对方回复后才能确定资产是否存活，不管是周期性行为，还是拆分地址范围发送和等待数据包，这些过程会极大的消耗时间，很难实现资产入网后被快速发现；
5.例如：管理地址内有15000个ip地址，每个周期时间间隔5分钟；扫描周期时间间隔不易过短，如调整为30秒，上一个周期扫描任务还未执行完，下一个周期扫描任务已经开始执行，这会导致大量的扫描任务堆积，这种恶行循环会不停的消耗系统资源，会影响系统中的所有任务执行效率；一个扫描周期可以通过多增加服务来缓解扫描任务堆积问题，但多任务受限于带宽和网络环境，同一时间执行多个扫描任务，会抢夺网络带宽，极有可能会影响环境中其他网络设备间的正常通信，如果环境中有防扫描机制或相关的安全产品，那么高频率的扫描行为极有可能被认为是非法网络行为，然后采取把扫描系统从网络中隔离出去。
6.资产a地址为第2000个，当资产a入网时，情景一，在周期扫描任务时间间隔区；情景二，在周期扫描任务内，资产a对应的地址已被扫描过；情景三，在周期扫描任务内，周期扫描任务才开始执行；情景四，在周期扫描任务内，任务进度快执行到资产a对应地址附近。根据以上四种情景，可以明确除了情景四能在短时间发现资产入网，其余三种情景都不能做到入网资产及时发现，只有情景四是有可能快速发现资产入网，这种情景不止偶然性很高，还要取决于当然扫描任务扫描的地址与资产a的地址的距离有多大。整体上来说，基于周期性扫描实现资产发现，很难在资产入网10秒内做到发现；
7.综上情况，需要一种快速发现和识别资产的方式方法来实现资产入网后秒级发现以及快速识别。


技术实现要素：

8.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种快速发现和识别资产方法，还提供了一种快速发现和识别资产系统、一种快速发现和识别资产终端及
存储介质以及一种计算机可读存储介质。
9.本发明解决其技术问题所采用的技术方案是：
10.构造一种快速发现和识别资产方法，其中，包括以下步骤：
11.第一步：捕获经过网卡的arp询问包，解析获得源ip和源mac地址，对源ip进行过滤，得到管理范围内的有效ip，即为存活资产；
12.第二步：利用消息队列搭建识别快速通道，将发现的存活资产快速推向资产识别流程；
13.第三步：扫描存活资产常用网络端口开放情况，根据端口开放情况发送相应的问询数据包，通过分析返回的报文提取资产的特征信息；用提取的资产特征信息与已知网络设备指纹库做比较，得到资产信息；
14.第四步：利用消息队列搭建上报快速通道，把识别出来的资产信息快速上报到管理中心，最终呈现在用户端。
15.本发明所述的快速发现和识别资产方法，其中，所述第一步中包括方法：
16.持续捕获网络中的gratuitous arp报文，并解析出sender ip address和sender mac address，即sender ip address为新入网资产。
17.本发明所述的快速发现和识别资产方法，其中，所述第二步中实现方法为：
18.针对所述第一步中发现的存活资产，建立一个独立的消息队列arp_detector_queue来储存，资产识别服务阻塞式循环读取arp_detector_queue，获取到有效数据后执行识别任务。
19.本发明所述的快速发现和识别资产方法，其中，所述第三步中，扫描采用nmap网络映射器。
20.一种快速发现和识别资产系统，用于实现如上述的快速发现和识别资产方法，其中，包括存活资产识别单元、通道搭建单元、资产信息识别单元和上报单元；
21.所述存活资产识别单元，用于捕获经过网卡的arp询问包，解析获得源ip和源mac地址，对源ip进行过滤，得到管理范围内的有效ip，即为存活资产；
22.所述通道搭建单元，用于利用消息队列搭建识别快速通道以及上报快速通道，所述识别快速通道用于将发现的存活资产快速推向资产识别流程；
23.所述资产信息识别单元，用于扫描存活资产常用网络端口开放情况，根据端口开放情况发送相应的问询数据包，通过分析返回的报文提取资产的特征信息；用提取的资产特征信息与已知网络设备指纹库做比较，得到资产信息；
24.所述上报单元，用于利用所述上报快速通道，把识别出来的资产信息快速上报到管理中心，最终呈现在用户端。
25.本发明所述的快速发现和识别资产系统，其中，所述存活资产识别单元持续捕获网络中的gratuitous arp报文，并解析出sender ip address和sender mac address，即sender ip address为新入网资产。
26.本发明所述的快速发现和识别资产系统，其中，所述通道搭建单元针对所述存活资产，建立一个独立的消息队列arp_detector_queue来储存，资产识别服务阻塞式循环读取arp_detector_queue，获取到有效数据后执行识别任务。
27.本发明所述的快速发现和识别资产系统，其中，所述资产信息识别单元扫描采用
nmap网络映射器。
28.一种快速发现和识别资产的终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述方法的步骤。
29.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述方法的步骤。
30.本发明的有益效果在于：应用本技术的方式方法，能够快速发现入网资产，再对发现的资产开放快速通道用作识别，使资产被发现后到识别过程做的“零时延”，从而实现快速发现和识别资产。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图及实施例对本发明作进一步说明，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图：
32.图1是本发明较佳实施例的快速发现和识别资产方法流程图；
33.图2是本发明较佳实施例的快速发现和识别资产方法arp报文格式图；
34.图3是本发明较佳实施例的快速发现和识别资产方法gratuitous arp发包过程；
35.图4是本发明较佳实施例的快速发现和识别资产方法gratuitous arp报文示意图；
36.图5是本发明较佳实施例的快速发现和识别资产系统原理框图；
37.图6是本发明较佳实施例的快速发现和识别资产系统设计流程图。
具体实施方式
38.为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
39.本发明较佳实施例的快速发现和识别资产方法，如图1所示，包括以下步骤：
40.s01：捕获经过网卡的arp询问包，解析获得源ip和源mac地址，对源ip进行过滤，得到管理范围内的有效ip，即为存活资产；
41.s02：利用消息队列搭建识别快速通道，将发现的存活资产快速推向资产识别流程；
42.s03：扫描存活资产常用网络端口开放情况，根据端口开放情况发送相应的问询数据包，通过分析返回的报文提取资产的特征信息；用提取的资产特征信息与已知网络设备指纹库做比较，得到资产信息；
43.s04：利用消息队列搭建上报快速通道，把识别出来的资产信息快速上报到管理中心，最终呈现在用户端；
44.应用本技术的方式方法，能够快速发现入网资产，再对发现的资产开放快速通道用作识别，使资产被发现后到识别过程做的“零时延”，从而实现快速发现和识别资产。
45.优选的，第一步中包括方法：
46.通过实验发现，资产在入网2秒至5秒内会发起gratuitous arp报文，根据这一特性，系统持续捕获网络中的gratuitous arp报文，并解析出sender ip address和sender mac address，即sender ip address为新入网资产。
47.优选的，第二步中实现方法为：
48.针对第一步中发现的存活资产，建立一个独立的消息队列arp_detector_queue来储存，资产识别服务阻塞式循环读取arp_detector_queue，获取到有效数据后执行识别任务；
49.系统内一般不止一种发现资产方式，而是多种发现资产方式形成互补，然后把不同方式发现的资产放到等待识别队列wait_detector_queue中，等待识别资产的服务去处理。
50.系统内还会定期对已识别的资产做再次识别，以确保资产信息的准确性，此时也会把需要再次识别的资产ip放入wait_detector_queue中。
51.所以理论上来说，wait_detector_queue中即存放了发现后待识别的资产，也存放了需要再次识别的资产，整个队列中的待识别的资产会很多；如果把1中快速发现的资产，再放入wait_detector_queue中等待识别，那就达不到快速识别的目的。
52.针对1中发现的资产，建立一个独立的消息队列arp_detector_queue来储存，资产识别服务阻塞式循环读取arp_detector_queue，获取到有效数据后执行识别任务，从而达到发现资产到识别“零时延”。
53.优选的，第三步中，扫描采用nmap网络映射器，也可以替换成其他具有相同功能的现有模块，该种等同替换的方式同样属于本技术保护范畴。
54.一种快速发现和识别资产系统，用于实现如上述的快速发现和识别资产方法，如图5所示，同时参阅图6，包括存活资产识别单元1、通道搭建单元2、资产信息识别单元3和上报单元4；
55.存活资产识别单元1，用于捕获经过网卡的arp询问包，解析获得源ip和源mac地址，对源ip进行过滤，得到管理范围内的有效ip，即为存活资产；
56.通道搭建单元2，用于利用消息队列搭建识别快速通道20以及上报快速通道21，识别快速通道用于将发现的存活资产快速推向资产识别流程；
57.资产信息识别单元3，用于扫描存活资产常用网络端口开放情况，根据端口开放情况发送相应的问询数据包，通过分析返回的报文提取资产的特征信息；用提取的资产特征信息与已知网络设备指纹库做比较，得到资产信息；
58.上报单元4，用于利用上报快速通道，把识别出来的资产信息快速上报到管理中心，最终呈现在用户端；
59.应用本技术的方式方法，能够快速发现入网资产，再对发现的资产开放快速通道用作识别，使资产被发现后到识别过程做的“零时延”，从而实现快速发现和识别资产。
60.优选的，通过实验发现，资产在入网2秒至5秒内会发起gratuitous arp报文，根据这一特性，存活资产识别单元持续捕获网络中的gratuitous arp报文，并解析出sender ip address和sender mac address，即sender ip address为新入网资产。
61.优选的，通道搭建单元针对存活资产，建立一个独立的消息队列arp_detector_
queue来储存，资产识别服务阻塞式循环读取arp_detector_queue，获取到有效数据后执行识别任务；
62.系统内一般不止一种发现资产方式，而是多种发现资产方式形成互补，然后把不同方式发现的资产放到等待识别队列wait_detector_queue中，等待识别资产的服务去处理。
63.系统内还会定期对已识别的资产做再次识别，以确保资产信息的准确性，此时也会把需要再次识别的资产ip放入wait_detector_queue中。
64.所以理论上来说，wait_detector_queue中即存放了发现后待识别的资产，也存放了需要再次识别的资产，整个队列中的待识别的资产会很多；如果把1中快速发现的资产，再放入wait_detector_queue中等待识别，那就达不到快速识别的目的。
65.针对1中发现的资产，建立一个独立的消息队列arp_detector_queue来储存，资产识别服务阻塞式循环读取arp_detector_queue，获取到有效数据后执行识别任务，从而达到发现资产到识别“零时延”。
66.优选的，资产信息识别单元扫描采用nmap网络映射器。
67.一种快速发现和识别资产的终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现如上述方法的步骤。
68.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，计算机程序被处理器执行时实现如上述方法的步骤。
69.本技术方案实现涉及技术说明如下：
70.arp简介：arp(地址解析协议)，是根据ip地址获取物理地址的一个
71.tcp/ip协议。资产发送信息时将包含目标ip地址的arp请求广播到网络上的所有资产，并接收返回消息，以此确定目标的物理地址；收到返回消息后将该ip地址和物理地址存入本机arp缓存中并保留一定时间，下次请求时直接查询arp缓存以节约资源；arp报文格式如图2所示；其中：
72.hardware type：硬件地址类型，一般为以太网；
73.protocol type：表示三层协议地址类型，一般为ip；
74.hardware size和protocol size为mac地址和ip地址的长度，单位是字节；
75.opcode指定了arp报文的类型，包括arp request和arp reply；
76.sender mac address指的是发送arp报文的设备mac地址；
77.sender ip address指的是发送arp报文的设备ip地址；
78.target mac address指的是接收者mac地址，在arp request报文中，该字段值为0；
79.targer mac address指的是接受者的ip地址。
80.普通arp请求报文：
81.资产a和资产b处于同一个网段，资产a要向资产b发送信息，具体的地址解析过程如下：
82.1.资产a首先查看自己的arp表，确定其中是否包含有资产b对应的arp表项。如果找到了对应的mac地址，则资产a直接利用arp表中的mac地址，对ip数据包进行帧封装，并将数据包发送给资产b。
83.2.如果资产a在arp表中找不到对应的mac地址，则将缓存该数据报文，然后以广播方式发送一个arp请求报文。arp请求报文中的发送端ip地址和发送端mac地址为资产a的ip地址和mac地址，目标ip地址和目标mac地址为资产b的ip地址和全0的mac地址。由于arp请求报文以广播方式发送，该网段上的所有资产都可以接收到该请求，但只有被请求的资产(即资产b)会对该请求进行处理。
84.3.资产b比较自己的ip地址和arp请求报文中的目标ip地址，当两者相同时进行如下处理：将arp请求报文中的发送端(即资产a)的ip地址和mac地址存入自己的arp表中。之后以单播方式发送arp响应报文给资产a，其中包含了自己的mac地址。
85.4.资产a收到arp响应报文后，将资产b的mac地址加入到自己的arp表中以用于后续报文的转发，同时将ip数据包进行封装后发送出去。
86.免费arp报文：
87.免费arp(gratuitous arp)，也称无故arp。gratuitous arp不同于一般的arp请求，它并非期待得到ip对应的mac地址，而是当主机启动的时候，将发送一个gratuitous arp请求，即请求自己的ip地址的mac地址，过程如图3所示，报文内容如图4所示。其作用有两个，一是验证ip是否冲突，一个主机可以通过它来确定另一个主机是否设置了相同的ip地址。发送主机并不需要一定收到此请求的回答。如果收到一个回答，表示网络中存在与自身ip相同的主机。如果没有收到应答，则表示本机所使用的ip与网络中其它主机并不冲突。二是更换物理网卡，如果发送arp的主机正好改变了物理地址(如更换物理网卡)，可以使用此方法通知网络中其它主机及时更新arp缓存。
88.应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。