一种互联网资产指纹快速探测方法与系统与流程

1.本发明涉及网络资产探测技术领域，特别是一种互联网资产指纹快速探测方法与系统。


背景技术：

2.国内外常见的主动网络资产探测工具有nmap、xprobe2等，主动探测方法便捷且高效，通过目标网络内的一个节点进行探测数据包的收发和响应分析实现。但是探测行为所引发的大量网络流量噪声很容易对一些正常运行的系统造成影响，因此不适用于需要持续运行的关键性系统；易触发各类安全设备的警报，不利于信息收集行为的隐蔽性；对一些受到代理、nat路由以及安全设备保护的网络资产的探测难度大；探测结果的全面性相对有限，每次探测只能了解该时刻的网络资产状态；对一些客户端模式的软件、瞬时的服务、需要特定数据包激活的服务等资产进行探测时无效。


技术实现要素：

3.本发明的目的是提供一种互联网资产指纹快速探测方法与系统，旨在解决现有技术中互联网资产探测单一性、扫描速率以及准确性问题，实现提升互联网资产指纹快速探测准确率、隐蔽性、扫描速率以及多样性。
4.为达到上述技术目的，本发明提供了一种互联网资产指纹快速探测方法，所述方法包括以下操作：
5.扫描客户端根据目标网络资产信息构造并发送载荷tcp数据的ip数据包至目标网络，将扫描信息编码到tcp包中的数据序号位和源端口位，并将包信息保存本地信息库；
6.捕获主机或者网关收到的所有tcp数据包，分析数据包的数据序号位和源端口位，当数据序号位和源端口位的哈希值与本地ip以及远端ip哈希值一致时，则该数据包为无状态扫描数据包，向对方发送rst包中断连接；
7.扫描客户端根据接收到的目标网络响应数据并结合本地信息库分析获取目标网络系统信息；
8.采用分布式多线程探测，模拟正常服务请求，以轮询方式对目标网络系统信息进行探测。
9.优选地，所述扫描客户端的收发包为异步进行，收发包无交互。
10.优选地，所述扫描信息包括发送端和目的端的ip地址。
11.优选地，所述数据序号位和源端口位的哈希值与本地ip以及远端ip的哈希值的比对具体为：
12.将本地ip以及远端ip地址，用哈希算法将ip地址转换为两个整数，第一个整数和tcp/ip包的数据序号位比较；第二个整数用公式计算:端口起始号 第二个编码数％剩余可用端口数，将计算结果和源端口位比较；如果两个比较都一致，则该tcp包为无状态扫描数据包。
13.优选地，所述网络系统信息包括主机名、操作系统、开放服务、服务指纹、应用容器、框架信息、模块信息以及whois信息。
14.本发明还提供了一种互联网资产指纹快速探测系统，所述系统包括：
15.发包模块，用于扫描客户端根据目标网络资产信息构造并发送载荷tcp数据的ip数据包至目标网络，将扫描信息编码到tcp包中的数据序号位和源端口位，并将包信息保存本地信息库；
16.收包模块，用于捕获主机或者网关收到的所有tcp数据包，分析数据包的数据序号位和源端口位，当数据序号位和源端口位的哈希值与本地ip以及远端ip哈希值一致时，则该数据包为无状态扫描数据包，向对方发送rst包中断连接；
17.网络信息获取模块，用于扫描客户端根据接收到的目标网络响应数据并结合本地信息库分析获取目标网络系统信息；
18.分布式探测模块，用于采用分布式多线程探测，模拟正常服务请求，以轮询方式对目标网络系统信息进行探测。
19.优选地，所述扫描客户端的收发包为异步进行，收发包无交互。
20.优选地，所述扫描信息包括发送端和目的端的ip地址。
21.优选地，所述网络系统信息包括主机名、操作系统、开放服务、服务指纹、应用容器、框架信息、模块信息以及whois信息。
22.发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
23.与现有技术相比，本发明通过无状态极速开放服务探知网络资产，在无状态扫描过程中，收发是异步的，收发包之间没有交互，发包函数只负责发送，收包在接收特定tcp特征字段即可，没有等待回复的时间，扫描速度可达到质的提升；另外对于互联网资产指纹的快速探测，采用分布式多线程探测，对目标服务，采用模拟正常服务的请求，扫描发出的请求指纹和正常服务通讯及交互请求指纹一致，从而避免短时间内对某一ip进行大量扫描，提升互联网资产指纹快速探测准确率、隐蔽性、扫描速率。
附图说明
24.图1为本发明实施例中所提供的一种互联网资产指纹快速探测方法流程图；
25.图2为本发明实施例中所提供的一种互联网资产指纹快速探测系统结构框图。
具体实施方式
26.为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
27.下面结合附图对本发明实施例所提供的一种互联网资产指纹快速探测方法与系统进行详细说明。
28.如图1所示，本发明实施例公开了一种互联网资产指纹快速探测方法，所述方法包括以下操作：
29.扫描客户端根据目标网络资产信息构造并发送载荷tcp数据的ip数据包至目标网络，将扫描信息编码到tcp包中，并将包信息保存本地信息库；
30.捕获主机或者网关收到的所有tcp数据包，分析数据包的数据序号位和源端口位，当数据序号位和源端口位的哈希值与本地ip以及远端ip哈希值一致时，则该数据包为无状态扫描数据包，向对方发送rst包中断连接；
31.扫描客户端根据接收到的目标网络响应数据并结合本地信息库分析获取目标网络系统信息；
32.采用分布式多线程探测，模拟正常服务请求，以轮询方式对目标网络系统信息进行探测。
33.tcp是可靠的面向连接的协议，一个完整的tcp会话没个过程都有不同的状态，正是操作系统在底层已经保存了这些状态，从而在应用层使用起来才更加方便可靠，但可靠的同时带来了资源占用。
34.本发明实施例中采用无状态极速开放服务探知，无需关心tcp状态，不占用系统tcp/ip协议栈资源，无需syn、ack、fin、timewait，不进行会话组包，扫描速度达到质的提升，甚至可以做到3分钟扫描完互联网的的极速。
35.在无状态扫描中，收发是异步的，发包模块不关心收包模块会不会收到回复、收包模块也不关心发包模块向谁发送了什么，收发包之间没有交互，发包的函数只负责发送，收包时接收特定tcp的flags字段的数据包，没有等待回复的时间。
36.将ip数据包的扫描和接收进行独立开来，扫描时根据目标网络资产信息构造并发送载荷tcp数据的ip数据包给目标网络，并记录下来发送出去的包信息，用于在接收时进行比对，接收时则等待响应数据的返回。在限定时间内若目标网络未做任何响应或未接收到响应数据，此种情况则认定为无响应状态，若接收到目标网络的响应数据，则根据响应数据并结合本地信息库进行分析以获取目标网络系统信息。本发明实施例可提取识别网络空间资产的主机名、操作系统、开放服务、服务指纹、应用容器、框架信息、模块信息、whois信息，解决了测量单一性问题。
37.由于无状态扫描不使用系统协议栈，因此需要将扫描信息编码到tcp包中，当收到扫描目的端回复的tcp包时，可识别出该tcp包是回复给扫描工具的。这个编码存储在tcp包的数据序号位和源端口位，其中被编码的扫描信息为发送端和目的端的ip地址。
38.捕获该主机或该网关接收到的所有tcp包，分析数据包的数据序号位和源端口位，如果符合上述无状态扫描特征，则该数据包是客户端发送的，并向对方发送rst包，中断这个tcp连接。在主机或网关捕获接收到的tcp包，获取tcp包的数据序号位和源端口位，根据本地ip和远端ip取哈希，判断该哈希值是否和获取的数据序号位和源端口位一致，如果一致，说明该数据包为无状态扫描数据包，向发送方返回rst包，结束该连接。
39.所述取哈希具体为：针对接收到的tcp包，取两端ip地址，用哈希算法计算两个ip，如对8.8.8.8和8.8.4.4编码出的4个整数为:{12912816，1175904852，1886956615，2664335998}，其中第一个整数12912816和tcp/ip包的数据序号位比较，第二个整数1175904852，用公式：端口起始号 第二个编码数％剩余可用端口数，将计算结果和源端口
位比较，如果以上两个比较均一致，则该tcp包符合无状态扫描特征，即可判断该数据包为无状态扫描包。
40.将目标分别进行测量并采用分布式多线程探测，扫描针对所有的目标服务，采用模拟正常服务的请求，扫描发出的请求指纹，和正常服务通讯及交互请求指纹一致，扫描采用大轮询的方式，例如针对某一地区300万ip，扫描21和80端口的服务指针，针对21端口，对300万ip扫描一遍，然后在不同时间段，针对80端口再扫描一遍，避免针对一个ip短时间内大量薅羊毛式扫描，避免被认为是洪水攻击。
41.本发明实施例通过无状态极速开放服务探知网络资产，在无状态扫描过程中，收发是异步的，收发包之间没有交互，发包函数只负责发送，收包在接收特定tcp特征字段即可，没有等待回复的时间，扫描速度可达到质的提升；另外对于互联网资产指纹的快速探测，采用分布式多线程探测，对目标服务，采用模拟正常服务的请求，扫描发出的请求指纹和正常服务通讯及交互请求指纹一致，从而避免短时间内对某一ip进行大量扫描，提升互联网资产指纹快速探测准确率、隐蔽性、扫描速率。
42.如图2所示，本发明实施例还公开了一种互联网资产指纹快速探测系统，所述系统包括：
43.发包模块，用于扫描客户端根据目标网络资产信息构造并发送载荷tcp数据的ip数据包至目标网络，将扫描信息编码到tcp包中的数据序号位和源端口位，并将包信息保存本地信息库；
44.收包模块，用于捕获主机或者网关收到的所有tcp数据包，分析数据包的数据序号位和源端口位，当数据序号位和源端口位的哈希值与本地ip以及远端ip哈希值一致时，则该数据包为无状态扫描数据包，向对方发送rst包中断连接；
45.网络信息获取模块，用于扫描客户端根据接收到的目标网络响应数据并结合本地信息库分析获取目标网络系统信息；
46.分布式探测模块，用于采用分布式多线程探测，模拟正常服务请求，以轮询方式对目标网络系统信息进行探测。
47.将ip数据包的扫描和接收进行独立开来，扫描时根据目标网络资产信息构造并发送载荷tcp数据的ip数据包给目标网络，并记录下来发送出去的包信息，用于在接收时进行比对，接收时则等待响应数据的返回。在限定时间内若目标网络未做任何响应或未接收到响应数据，此种情况则认定为无响应状态，若接收到目标网络的响应数据，则根据响应数据并结合本地信息库进行分析以获取目标网络系统信息。本发明实施例可提取识别网络空间资产的主机名、操作系统、开放服务、服务指纹、应用容器、框架信息、模块信息、whois信息，解决了测量单一性问题。
48.由于无状态扫描不使用系统协议栈，因此需要将扫描信息编码到tcp包中，当收到扫描目的端回复的tcp包时，可识别出该tcp包是回复给扫描工具的。这个编码存储在tcp包的数据序号位和源端口位，其中被编码的扫描信息为发送端和目的端的ip地址。
49.捕获该主机或该网关接收到的所有tcp包，分析数据包的数据序号位和源端口位，如果符合上述无状态扫描特征，则该数据包是客户端发送的，并向对方发送rst包，中断这个tcp连接。在主机或网关捕获接收到的tcp包，获取tcp包的数据序号位和源端口位，根据本地ip和远端ip取哈希，判断该哈希值是否和获取的数据序号位和源端口位一致，如果一
致，说明该数据包为无状态扫描数据包，向发送方返回rst包，结束该连接。
50.所述取哈希具体为：针对接收到的tcp包，取两端ip地址，用哈希算法计算两个ip，如对8.8.8.8和8.8.4.4编码出的4个整数为:{12912816，1175904852，1886956615，2664335998}，其中第一个整数12912816和tcp/ip包的数据序号位比较，第二个整数1175904852，用公式：端口起始号 第二个编码数％剩余可用端口数，将计算结果和源端口位比较，如果以上两个比较均一致，则该tcp包符合无状态扫描特征，即可判断该数据包为无状态扫描包。
51.将目标分别进行测量并采用分布式多线程探测，扫描针对所有的目标服务，采用模拟正常服务的请求，扫描发出的请求指纹，和正常服务通讯及交互请求指纹一致，扫描采用大轮询的方式，例如针对某一地区300万ip，扫描21和80端口的服务指针，针对21端口，对300万ip扫描一遍，然后在不同时间段，针对80端口再扫描一遍，避免针对一个ip短时间内大量薅羊毛式扫描，避免被认为是洪水攻击。
52.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。