一种用户上网数据溯源标识方法及装置与流程

1.本发明涉及计算机网络技术领域，尤其涉及一种用户上网数据溯源标识方法及装置。


背景技术：

2.dpi(deep packet inspection)是一种基于数据包的深度检测技术，针对不同的网络应用层载荷进行深度检测，以此推动网络识别技术的发展。dpi主要应用于安全问题、流量识别以及大数据中的海量数据挖掘，通过特征匹配技术，对数据包在封装过程中所添加的各层头部信息进行解析并提取，实现流量识别。
3.通过对流量的识别来掌握网络中承载的数据内容，分析出用户的网络行为。随着对上网安全的要求的不断提升，通过上网数据溯源实现对用户上网行为的审计越来越重要。为了对用户的上网行为进行审计，首先我们要获取到每个用户上网的原始数据，使用dpi程序完成对用户所有上网数据的深度解析，进而实现对用户上网行为的审计。
4.现有的对用户上网行为进行审计的方法主要包括以下几种：
5.第一种方法，如图1所示，将dpi程序集成在网关设备上，通过pcap抓取的报文在网关设备上解析处理后上传到审计数据库，实现用户数据的溯源审计功能。这种方法中，因为将dpi程序部署在网关设备上，dpi程序通过pcap抓包并进行数据解析时，会占用大量cpu，导致设备性能降低；此外，因为网关设备硬加速的存在，部分数据走硬加速时，会导致pcap抓包不全，从而导致部分报文不能被dpi审计程序解析，使得在审计溯源的过程中得到的数据不完整。
6.第二种方法，如图2所示，将抓包程序集成在网关设备上，将dpi处理服务器设置在网关设备外，通过抓包程序将抓取的报文上传到dpi处理服务器，由dpi处理服务器将用户的上网数据解析后存储到审计数据库。这种方法中，抓包程序仍然在网关设备上运行，同样会消耗cpu性能，并且将抓取的数据上传到dpi服务器的过程上还会占用网关设备的上行宽带；此外，用户的上网数据报文因为网关设备硬加速的存在走加速，会导致抓包程序抓取的数据报文不完整，使得在审计溯源的过程中获取到的用户数据不完整，影响对用户上网行为审计的准确性。
7.鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。


技术实现要素：

8.本发明要解决的技术问题是：
9.现有技术中，对用户上网行为进行审计的方法主要通过将dpi审计程序或抓包程序部署在网关设备上，用抓包程序去抓取用户上网数据，但因为网关设备硬加速的存在，会导致抓包程序抓取的数据报文不完整，使得在审计溯源的过程中获取到的用户数据不完整，导致对用户上网行为的审计不够全面，影响对用户上网行为审计的准确性。
10.为实现上述目的，本发明采用如下技术方案：
11.第一方面，本发明提供了一种用户上网数据溯源标识方法，包括：
12.区分用户上网数据中的tcp数据流和udp数据流；
13.对于tcp数据流，提取tcp数据流的syn包，对所述syn包的option字段进行标识信息填充，完成标识信息填充后，对tcp数据流基于第一规则进行nat转换；其中，所述标识信息包括用户mac；
14.对于udp数据流，直接对udp数据流基于第一规则进行nat转换；
15.所述nat转换包括通过用户上网数据中私网ip地址的相关信息对用户上网数据的源端口做转换；
16.dpi服务器找到来自于同一个网关设备的完成nat转换的tcp数据流和完成nat转换的udp数据流，对完成nat转换的tcp数据流基于第一规则进行解析，以及对完成nat转换的udp数据流基于第一规则进行解析，以便找到属于同一个用户mac的tcp数据流和udp数据流。
17.优选地，对于完成nat转换的tcp数据流，若所述标识信息还包括网关设备标识，则dpi服务器依据所述标识信息进行网关设备的识别；
18.所述网关设备标识包括：网关设备的wan侧ip和/或网关设备的wan侧mac。
19.优选地，对于完成nat转换的tcp数据流，所述dpi服务器通过从tcp数据流的ip首部中提取网关设备的wan侧ip和/或网关设备的wan侧mac进行网关设备的识别。
20.优选地，所述对完成nat转换的tcp数据流基于第一规则进行解析，具体包括：
21.根据完成nat转换的tcp数据流中的标识信息，找到属于同一个用户mac的tcp数据流；
22.根据完成nat转换的tcp数据流的源端口以及所述第一规则，找到与相应完成nat转换的tcp数据流对应的源端口范围段，建立源端口范围段与用户mac的对应关系。
23.优选地，所述对完成nat转换的udp数据流基于第一规则进行解析，具体包括：
24.根据完成nat转换的udp数据流的源端口以及所述第一规则，找到与相应完成nat转换的udp数据流对应的源端口范围段；
25.根据所述源端口范围段与用户mac的对应关系，得到相应的udp数据流所归属的用户mac，进而找到属于同一个用户mac的完成nat转换的udp数据流。
26.优选地，所述第一规则包括：
27.根据私网ip地址的相关信息计算出相应完成nat转换的用户上网数据的源端口范围段，在所述源端口范围段内随机选取一个值作为相应完成nat转换的用户上网数据的源端口。
28.优选地，所述根据私网ip地址的相关信息计算出相应完成nat转换的用户上网数据的源端口范围段，具体包括：
29.根据私网ip地址的第四段，计算出源端口范围段的起始端口；根据所述起始端口计算出源端口范围段的结束端口。
30.优选地，所述对所述syn包的option字段进行标识信息填充之前，还包括：
31.在linux内核nf_inet_forward hook点挂载钩子函数，通过skb信息获取所述用户mac。
32.优选地，在区分用户上网数据中的tcp数据流和udp数据流之前，对用户上网数据
进行筛选，若用户上网数据的目的ip地址为网关设备同一私网段的地址，则判定相应的用户上网数据为访问私网的数据，做剔除处理。
33.第二方面，本发明提供了一种用户上网数据溯源标识装置，用于实现第一方面所述的用户上网数据溯源标识方法，用户上网数据溯源标识装置包括：
34.至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行第一方面所述的用户上网数据溯源标识方法。
35.与现有技术相比，本发明的有益效果是：
36.本发明提供的用户上网数据溯源标识方法，将dpi服务器设置在网关设备外，无需在网关设备上进行抓包，对tcp数据流的syn包的option字段进行标识信息填充后，对tcp数据流和udp数据流进行nat转换，由设置在网关设备外的dpi服务器对包括tcp数据流和udp数据流的用户上网数据进行解析；本发明提供的用户上网数据溯源标识方法，能够更全面、更准确地完成对用户上网行为的审计。
附图说明
37.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是现有的一种对用户上网行为进行审计的方法中的框架示意图；
39.图2是现有的另一种对用户上网行为进行审计的方法中的框架示意图；
40.图3是本发明实施例提供的一种用户上网数据溯源标识方法的流程示意图；
41.图4是本发明实施例提供的一种用户上网数据溯源标识方法中的框架示意图；
42.图5是本发明实施例提供的一种用户上网数据溯源标识方法的流程示意图；
43.图6是本发明实施例提供的一种用户上网数据溯源标识方法的流程示意图；
44.图7是本发明实施例提供的一种用户上网数据溯源标识装置的结构示意图。
具体实施方式
45.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
46.在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
47.此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
48.实施例1:
49.本发明实施例提供了一种用户上网数据溯源标识方法，如图3所示，包括：
50.在步骤201中，基于数据包协议类型来区分用户上网数据中的tcp数据流和udp数
据流。
51.在步骤202中，对于tcp数据流，数据转发模块将tcp数据流发送给tcp option处理模块，所述tcp option处理模块提取tcp数据流的syn包，对所述syn包的option字段进行标识信息填充，完成标识信息填充后，发送给nat转换模块，由所述nat转换模块对tcp数据流进行nat转换；其中，所述标识信息包括用户mac。
52.在步骤203中，对于udp数据流，由所述nat转换模块直接对udp数据流基于第一规则进行nat转换。
53.所述nat转换包括通过用户上网数据中私网ip地址的相关信息对用户上网数据的源端口做转换。
54.其中，所述私网ip地址的相关信息可以为私网ip地址的第四段。
55.在步骤204中，dpi服务器找到来自于同一个网关设备的完成nat转换的tcp数据流和完成nat转换的udp数据流，对完成nat转换的tcp数据流基于第一规则进行解析，以及对完成nat转换的udp数据流基于第一规则进行解析，以便找到属于同一个用户mac的tcp数据流和udp数据流。
56.其中，若所述标识信息还包括网关设备的wan侧ip和/或网关设备的wan侧mac，则dpi服务器可以依据标识信息识别完成nat转换的tcp数据流所归属的网关设备。
57.此外，所述dpi服务器还可以通过从tcp数据流的ip首部中提取网关设备的wan侧ip和/或网关设备的wan侧mac来识别完成nat转换的tcp数据流所归属的网关设备。
58.对于完成nat转换的udp数据流，所述dpi服务器通过从udp数据流的ip首部中提取网关设备的wan侧ip和/或网关设备的wan侧mac来识别完成nat转换的udp数据流所归属的网关设备。
59.由于来自不同网关设备的用户上网数据的私网ip地址的相关信息可能重合，所以在执行对完成nat转换的tcp数据流基于第一规则进行解析，以及对完成nat转换的udp数据流基于第一规则进行解析之前，先执行dpi服务器找到来自于同一个网关设备的完成nat转换的tcp数据流和完成nat转换的udp数据流。
60.如图4所示，dpi服务器设置在网关设备外，网关设备内设有数据转发模块、tcp option处理模块和nat转换模块；所述数据转发模块用于将用户上网数据中的tcp数据流转发给所述tcp option处理模块；所述tcp option处理模块用于对用户上网数据中的tcp数据流进行标识信息填充；所述nat转换模块用于对包括tcp数据流和udp数据流的用户上网数据做nat转换；所述dpi服务器用于对完成nat转换的tcp数据流和完成nat转换的udp数据流进行解析，将解析结果存储到审计数据库中，找到属于同一个用户mac的tcp数据流和udp数据流，得到基于用户mac的用户上网行为审计结果，从而完成用户上网数据溯源。
61.在本发明提供的用户上网数据溯源标识方法中，dpi服务器设置在网关设备外，无需在网关设备上进行抓包，避免了由于网关设备硬加速而导致抓取的数据报文不完整的情况；通过对tcp数据流的syn包的option字段进行标识信息填充后，对tcp数据流和udp数据流进行nat转换，由设置在网关设备外的dpi服务器对包括tcp数据流和udp数据流的用户上网数据进行解析，不仅能够找到属于同一个用户mac的tcp数据流，还能找到属于同一个用户mac的udp数据流，确保了对用户上网行为进行审计的全面性。
62.在本发明实施例中，此外，所述dpi服务器还可以通过从tcp数据流的ip首部中提
取网关设备的wan侧ip和/或网关设备的wan侧mac进行网关设备的识别；也就是说，当option携带的内容不包括网关设备的wan侧ip也不包括网关设备的wan侧mac时，所述dpi服务器对完成nat转换的tcp数据流基于第一规则进行解析的过程中，不仅需要对option携带的标识信息中的用户mac进行解析，还需要通过从tcp数据流的ip首部中提取网关设备的wan侧ip和/或网关设备的wan侧mac进行网关设备的识别。
63.在本发明实施例中，对于完成nat转换的tcp数据流，若所述标识信息还包括网关设备标识，则dpi服务器依据所述标识信息进行网关设备的识别；所述网关设备标识包括：网关设备的wan侧ip和/或网关设备的wan侧mac；也就是说，当option携带的内容除了用户mac以外，还包括网关设备的wan侧ip和/或网关设备的wan侧mac时，所述dpi服务器对完成nat转换的tcp数据流进行解析的过程中，可以直接依据option携带的标识信息来判断相应的完成nat转换的tcp数据流所归属的网关设备，以便更快速地找到相应的完成nat转换的tcp数据流所归属的网关设备。
64.在本发明实施例中，所述对完成nat转换的tcp数据流基于第一规则进行解析，具体包括：
65.根据完成nat转换的tcp数据流中的标识信息，找到属于同一个用户mac的tcp数据流。由于所述标识信息中包括用户mac，因此，在所述dpi服务器对不同的完成nat转换的tcp数据流基于第一规则进行解析时，可以根据完成nat转换的tcp数据流中的用户mac是否相同，来判断完成nat转换的tcp数据流是否来自于同一个用户，具体为：若完成nat转换的tcp数据流中的用户mac相同，则判定相应的完成nat转换的tcp数据流来自于同一个用户；若完成nat转换的tcp数据流中的用户mac不同，则判定相应的完成nat转换的tcp数据流来自于不同的用户。
66.根据完成nat转换的tcp数据流的源端口以及所述第一规则，找到与相应完成nat转换的tcp数据流对应的源端口范围段，建立源端口范围段与用户mac的对应关系。
67.其中，所述源端口范围段与用户mac的对应关系用于在后续对完成nat转换的udp数据流进行解析时，基于同一网关设备内源端口范围段相同的数据流来自于同一个用户，找到属于同一个用户mac的完成nat转换的tcp数据流和完成nat转换的udp数据流。
68.所述完成nat转换的tcp数据流中的信息包括：完成nat转换的tcp数据流的源端口以及通过对所述syn包的option字段进行标识信息填充所加入的用户mac。
69.由于所述第一规则能够将所述完成nat转换的用户上网数据的源端口与所述私网ip地址的相关信息进行关联，在所述dpi服务器对完成nat转换的tcp数据流基于第一规则进行解析时，如图5所示，在步骤301中，根据所述完成nat转换的tcp数据流的源端口，找到完成nat转换的tcp数据流的源端口范围段；在步骤302中，根据所述完成nat转换的tcp数据流的源端口范围段，找到与所述完成nat转换的tcp数据流的源端口范围段对应的私网ip地址的相关信息。
70.在步骤303中，根据所述通过对所述syn包的option字段进行标识信息填充所加入的用户mac，完成基于私网ip地址的相关信息按照第一规则生成的源端口范围段与用户mac的对应关系的建立。
71.其中，所述标识规则包括：对所述syn包的option字段进行标识信息填充，具体为，将用户mac按照指定格式写入所述syn包的option字段。
72.在本发明实施例中，所述对完成nat转换的udp数据流基于第一规则进行解析，具体包括：
73.根据完成nat转换的udp数据流的源端口以及所述第一规则，找到与相应完成nat转换的udp数据流对应的源端口范围段；由于是来自于同一个网关设备的完成nat转换的tcp数据流和完成nat转换的udp数据流，因此，可以根据在对完成nat转换的tcp数据流进行解析时所建立的源端口范围段与用户mac的对应关系，得到相应的udp数据流所归属的用户mac，进而找到属于同一个用户mac的完成nat转换的tcp数据流和完成nat转换的udp数据流。
74.所述完成nat转换的udp数据流中的信息包括：完成nat转换的udp数据流的源端口。
75.由于所述第一规则能够将所述完成nat转换的用户上网数据的源端口与基于私网ip地址按照第一规则生成的源端口范围段进行关联，在所述dpi服务器对完成nat转换的udp数据流进行解析时，如图6所示，在步骤401中，根据所述完成nat转换的udp数据流的源端口，找到完成nat转换的udp数据流的源端口范围段；
76.在步骤402中，根据在所述dpi服务器对完成nat转换的tcp数据流进行解析后，所建立的所述源端口范围段与用户mac的对应关系，得到相应的udp数据流所归属的用户mac。
77.在步骤403中，由此找到属于同一个用户mac的完成nat转换的udp数据流和完成nat转换的tcp数据流，dpi服务器解析相应的数据，得到基于用户mac的用户上网行为审计结果，从而完成用户上网数据溯源。
78.在本发明实施例中，所述第一规则包括：根据私网ip地址的相关信息计算出相应完成nat转换的用户上网数据的源端口范围段，在所述源端口范围段内随机选取一个值作为相应完成nat转换的用户上网数据的源端口。
79.也就是说，所述完成nat转换的用户上网数据的源端口大于所述源端口范围段中的最小值，且所述完成nat转换的用户上网数据的源端口小于所述源端口范围段中的最大值。
80.所述第一规则能够将所述源端口范围段与所述私网ip地址的相关信息进行关联；由于所述完成nat转换的用户上网数据的源端口必定大于所述源端口范围段中的最小值，且小于所述源端口范围段中的最大值，因此，所述第一规则还能够将所述完成nat转换的用户上网数据的源端口与所述私网ip地址的相关信息进行关联。
81.在所述完成nat转换的用户上网数据的源端口已知的情形下，基于所述第一规则，能够推导得到与相应的完成nat转换的用户上网数据的源端口对应的私网ip地址的相关信息。
82.在本发明实施例中，所述根据私网ip地址的相关信息计算出相应完成nat转换的用户上网数据的源端口范围段，具体包括：
83.根据私网ip地址的第四段，计算出源端口范围段的起始端口；根据所述起始端口计算出源端口范围段的结束端口。
84.例如，所述起始端口和所述结束端口的计算方式为：
85.起始端口＝(私网ip地址的第四段-1)*512 1024；
86.结束端口＝起始端口 511；
87.且结束端口小于65535。
88.也就是说，若私网的掩码为n位，每台设备理论上分配m个端口；排除1个不需要转化的网关设备给私网设备分配的统一网关设备ip；排除尾数为0的ip；排除保留的端口号，即不大于1024的；大致至少需满足下述公式：
89.m*(2^n-2)《＝65535-1024。
90.对常用的c类私有地址，掩码255.255.255.0，即n＝8；大概每台设备分配m＝253个端口。实际部署中可以结合具体私有网段、掩码、分配的端口范围段及支持的最大设备数来灵活调整。
91.此处给出的实施例是利用c类私有地址，最大可以支持125台主机分配。
92.在本发明实施例中，所述对所述syn包的option字段进行标识信息填充之前，还包括：
93.在linux内核nf_inet_forward hook点挂载钩子函数，通过skb信息获取所述用户mac。
94.所述对所述syn包的option字段进行标识信息填充，具体包括：
95.将用户mac按照指定格式写入所述syn包的option字段，其中，option的类型为0xc8；这里的0xc8为自定义类型，也可约定为其他值，在dpi服务器对数据包进行解析时，根据所述标识规则进行识别；option的长度根据用户mac的长度计算；例如，若option携带的内容为用户mac ffff，则option的长度为0x0a；若option携带的内容为用户mac ffff 网关设备的wan侧mac，则option的长度为0x10。
96.在本发明实施例中，在图3中的步骤201之前，即在区分用户上网数据中的tcp数据流和udp数据流之前，对用户上网数据进行筛选，若用户上网数据的目的ip地址为网关设备同一私网段的地址，则判定相应的用户上网数据为访问私网的数据，做剔除处理，无需进行溯源统计；若用户上网数据的目的ip地址与网关设备的ip地址并非同一私网段的地址，则判定相应的用户上网数据为访问外网的数据，需要进行溯源统计。
97.实施例2：
98.实施例1中对完成标识信息填充后tcp数据流和udp数据流均需要进行nat转换；所述nat转换包括通过用户上网数据中私网ip地址的相关信息对用户上网数据的源端口做转换；以表1为例，对上述实施例1中的第一规则进行说明。
99.在表1中，所述起始端口和所述结束端口的计算方式为：
100.起始端口＝(私网ip地址的第四段-1)*512 1024；
101.结束端口＝起始端口 511；
102.且结束端口小于65535。
103.私网ip地址由四段组成；例如，私网ip地址192.168.1.2的第四段为2，计算得到与私网ip地址192.168.1.2对应的起始端口为1536，与私网ip地址192.168.1.2对应的结束端口为2047。
104.表1：
105.私网ip地址起始端口结束端口192.168.1.215362047192.168.1.320482559
192.168.1.425603071192.168.1.530723583
106.对完成标识信息填充后tcp数据流和udp数据进行nat转换时，通过用户上网数据的私网ip地址的相关信息计算出完成nat转换的用户上网数据的源端口范围，所述源端口范围在表1中表现为起始端口至结束端口。
107.例如，完成nat转换的tcp数据流中的信息包括：完成nat转换的tcp数据流的源端口为3550，通过对所述syn包的option字段进行标识信息填充所加入的用户mac为b8:ee:65:5f:7d:22。
108.完成nat转换的udp数据流中的信息包括：完成nat转换的udp数据流的源端口为3214。
109.在dpi服务器对上述的完成nat转换的tcp数据流进行解析时，由表1可知，与完成nat转换的tcp数据流的源端口3550对应的私网ip地址的第四段是为5，对应的源端口范围是3072到3583，则上述的完成nat转换的tcp数据流来自于用户b8:ee:65:5f:7d:22，在来自同一个网关设备的数据，建立了源端口范围3072到3583与用户b8:ee:65:5f:7d:22的对应关系。
110.在dpi服务器对上述的完成nat转换的udp数据流进行解析时，由表1可知，与完成nat转换的udp数据流的源端口3214对应的基于私网ip地址计算得出的源端口范围也为3072到3583；由于完成nat转换的udp数据流与完成nat转换的tcp数据流来自于同一个网关设备，在dpi服务器对上述的完成nat转换的tcp数据流进行解析时，已经知晓此网关设备的3072到3583的源端口范围段与用户mac是b8:ee:65:5f:7d:22相对应，因此，可以根据所建立的源端口范围段与用户mac的对应关系，得到相应的udp数据流所归属的用户mac，即可以得到上述的完成nat转换的udp数据流来自于用户b8:ee:65:5f:7d:22；进而可以知晓用户b8:ee:65:5f:7d:22的上网数据包括源端口为3550的完成nat转换的tcp数据流和源端口为3214的完成nat转换的udp数据流。
111.实施例3：
112.本发明实施例提供了一种用户上网数据溯源标识装置，如图7所示，包括一个或多个处理器21以及存储器22。其中，图7中以一个处理器21为例。
113.处理器21和存储器22可以通过总线或者其他方式连接，图7中以通过总线连接为例。
114.存储器22作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序和非易失性计算机可执行程序，如实施例1中的用户上网数据溯源标识方法。处理器21通过运行存储在存储器22中的非易失性软件程序和指令，从而执行用户上网数据溯源标识方法。
115.存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
116.所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的用户上网数据溯源标识方法，例如，执行以上描述的图3所示的
各个步骤。
117.值得说明的是，上述装置和系统内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
118.本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
119.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。