基于规则特征的全流量入侵检测方法、装置、设备及介质与流程

1.本发明涉及计算机安全技术领域，具体涉及一种基于规则特征的全流量入侵检测方法、装置、设备及介质。


背景技术：

2.入侵检测是指依照一定的安全策略，对网络、系统的运行状况进行监视，尽可能发现各种攻击企图、攻击行为或者攻击结果，以保证网络系统资源的机密性、完整性和可用性。
3.伴随着互联网流量的高速增长，1g、10g、50g，来到现在的100g，传统基于特征值的入侵检测系统在应对高带宽的全流量时存在力不从心，只能依靠负载均衡，堆叠更多地硬件来提高处理性能，导致入侵检测效率和吞吐量较低的技术问题。
4.因此，现在亟需一种基于规则特征的全流量入侵检测方法、装置、设备及介质来解决如何利用现有入侵检测硬件设备，提升单台设备的入侵检测效率和吞吐量。


技术实现要素：

5.有鉴于此，有必要提供一种基于规则特征的全流量入侵检测方法、装置、设备及介质，用以解决现有技术中存在的入侵检测效率和吞吐量较低的技术问题。
6.一方面，本发明提供了一种基于规则特征的全流量入侵检测方法，包括：
7.获取网络流量，并对所述网络流量进行预处理，获得流量元数据；
8.获取规则文件，并对所述规则文件进行解析，获得多个特征组；
9.获取所述规则文件的特征信息，并根据所述特征信息将所述多个特征组划分为预过滤规则组和非预过滤规则组；
10.基于第一匹配方式对所述流量元数据和所述非预过滤规则组进行匹配，获得第一匹配结果，并根据所述第一匹配结果生成告警数据；
11.基于第二匹配方式对所述流量元数据和所述预过滤规则组进行匹配，获得第二匹配结果，并根据所述第二匹配结果生成告警数据。
12.在一些可能的实现方式中，所述第一匹配方式为五元组匹配；所述基于第一匹配方式对所述流量元数据和所述非预过滤规则组进行匹配，获得第一匹配结果，并根据所述第一匹配结果生成告警数据，包括：
13.获取所述流量元数据的五元组；
14.将所述五元组和所述非预过滤规则组进行哈希匹配，获得第一匹配结果；
15.当所述第一匹配结果为成功时，生成所述告警数据。
16.在一些可能的实现方式中，所述第二匹配方式为多模匹配；所述基于第二匹配方式对所述流量元数据和所述预过滤规则组进行匹配，获得第二匹配结果，并根据所述第二匹配结果生成告警数据，包括：
17.基于所述多模匹配对所述流量元数据和所述预过滤规则组进行匹配，获得第二匹
配结果；
18.当所述第二匹配结果为成功时，根据所述流量元数据生成候选者列表；
19.基于第三匹配方式对所述候选者列表和所述预过滤规则组进行匹配，获得第三匹配结果，并根据所述第三匹配结果生成告警数据。
20.在一些可能的实现方式中，所述第三匹配方式为单模匹配；所述基于第三匹配方式对所述候选者列表和所述预过滤规则组进行匹配，获得第三匹配结果，并根据所述第三匹配结果生成告警数据，包括：
21.基于所述单模匹配对所述候选者列表和所述预过滤规则组进行匹配，获得第三匹配结果；
22.当所述第三匹配结果为成功时，生成所述告警数据。
23.在一些可能的实现方式中，所述对所述规则文件进行解析，获得多个特征组，包括：
24.对所述规则文件进行解析，获得多个解析规则；
25.对所述多个解析规则进行类型设定；
26.对所述多个解析规则进行去重处理，获得多个目标规则，并根据所述多个目标规则构建特征列表；
27.对所述特征列表中的所述多个目标规则进行归并处理，获得所述多个特征组。
28.在一些可能的实现方式中，所述对所述特征列表中的所述多个目标规则进行归并处理，获得所述多个特征组，包括：
29.根据所述多个目标规则的端口、协议或流状态对所述特征列表中的所述多个目标规则进行归并处理，获得所述多个特征组。
30.在一些可能的实现方式中，在所述对所述多个解析规则进行去重处理，获得多个目标规则，并根据所述多个目标规则构建特征列表之后，还包括：
31.基于预设的排序规则对所述特征列表中的多个目标规则进行排序。
32.另一方面，本发明还提供了一种基于规则特征的全流量入侵检测装置，包括：
33.流量元数据获取单元，用于获取网络流量，并对所述网络流量进行预处理，获得流量元数据；
34.规则解析单元，用于获取规则文件，并对所述规则文件进行解析，获得多个特征组；
35.规则组划分单元，用于获取所述规则文件的特征信息，并根据所述特征信息将所述多个特征组划分为预过滤规则组和非预过滤规则组；
36.第一入侵检测单元，用于基于第一匹配方式对所述流量元数据和所述非预过滤规则组进行匹配，获得第一匹配结果，并根据所述第一匹配结果生成告警数据；
37.第二入侵检测单元，用于基于第二匹配方式对所述流量元数据和所述预过滤规则组进行匹配，获得第二匹配结果，并根据所述第二匹配结果生成告警数据。
38.另一方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
39.所述存储器，用于存储程序；
40.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意一种实现方式中所述的基于规则特征的全流量入侵检测方法中的步骤。
41.另一方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述任意一种实现方式中所述的基于规则特征的全流量入侵检测方法中的步骤。
42.采用上述实施例的有益效果是：本发明提供的基于规则特征的全流量入侵检测方法，通过根据规则文件的特征信息将多个特征组划分为预过滤规则组和非预过滤规则组；并基于第一匹配方式对流量元数据和非预过滤规则组进行匹配，基于第二匹配方式对流量元数据和预过滤规则组进行匹配，可实现通过多种匹配方式对流量元数据快速进行入侵检测，提高了网络流量入侵检测的效率和吞吐量。
43.进一步地，本发明无需堆叠更多的硬件，可以在不改变公司现有网络架构及升级硬件的前提下，提高网络流量的入侵检测效率，降低硬件成本和运营成本。
附图说明
44.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为本发明提供的基于规则特征的全流量入侵检测方法的一个实施例流程示意图；
46.图2为本发明图1中s104的一个实施例流程示意图；
47.图3为本发明图1中s105的一个实施例流程示意图；
48.图4为本发明图3中s303的一个实施例流程示意图；
49.图5为本发明图1中s102的一个实施例流程示意图；
50.图6为本发明提供的基于规则特征的全流量入侵检测装置的一个实施例结构示意图；
51.图7为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
54.在本发明实施例的描述中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如：a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
55.附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实
现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
56.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
57.图1为本发明提供的基于规则特征的全流量入侵检测方法的一个实施例流程示意图，如图1所示，基于规则特征的全流量入侵检测方法包括：
58.s101、获取网络流量，并对网络流量进行预处理，获得流量元数据；
59.s102、获取规则文件，并对规则文件进行解析，获得多个特征组；
60.s103、获取规则文件的特征信息，并根据特征信息将多个特征组划分为预过滤规则组和非预过滤规则组；
61.s104、基于第一匹配方式对流量元数据和非预过滤规则组进行匹配，获得第一匹配结果，并根据第一匹配结果生成告警数据；
62.s105、基于第二匹配方式对流量元数据和预过滤规则组进行匹配，获得第二匹配结果，并根据第二匹配结果生成告警数据。
63.与现有技术相比，本发明实施例提供的基于规则特征的全流量入侵检测方法，通过根据规则文件的特征信息将多个特征组划分为预过滤规则组和非预过滤规则组；并基于第一匹配方式对流量元数据和非预过滤规则组进行匹配，基于第二匹配方式对流量元数据和预过滤规则组进行匹配，可实现通过多种匹配方式对流量元数据快速进行入侵检测，提高了网络流量入侵检测的效率和吞吐量。
64.进一步地，本发明实施例无需堆叠更多的硬件，可以在不改变公司现有网络架构及升级硬件的前提下，提高网络流量的入侵检测效率，降低硬件成本和运营成本。
65.在本发明的具体实施例中，步骤s101中的对网络流量进行预处理包括但不限于对网络流量进行实时协议解析、乱序重组等预处理。
66.在本发明的具体实施例中，步骤s102中的获取规则文件可具体为：手动和/或自动从云端获取最新规则库，从最新规则库中获取规则文件。
67.需要说明的是：步骤s103中的特征信息包括但不限于规则文件中的有效负载(payload)和流状态(stream)。
68.还需要说明的是：步骤s104和/或步骤s105中的告警数据可以是告警信息或日志信息中的任意一种。以通过告警信息及时进行告警，或基于日志信息对入侵进行记录，便于后续分析。
69.在本发明的一些实施例中，第一匹配方式为五元组匹配，则如图2所示，步骤s104包括：
70.s201、获取流量元数据的五元组；
71.s202、将五元组和非预过滤规则组进行哈希匹配，获得第一匹配结果；
72.s203、当第一匹配结果为成功时，生成告警数据。
73.其中，流量元数据的五元组指的是流量元数据的源ip地址，源端口，目的ip地址，目的端口和传输层协议。
74.应当理解的是：当第一匹配结果为失败时，则无需生成告警数据。
75.在本发明的一些实施例中，第二匹配方式为多模匹配；则如图3所示，步骤s105包括：
76.s301、基于多模匹配对流量元数据和预过滤规则组进行匹配，获得第二匹配结果；
77.s302、当第二匹配结果为成功时，根据流量元数据生成候选者列表；
78.s303、基于第三匹配方式对候选者列表和预过滤规则组进行匹配，获得第三匹配结果，并根据第三匹配结果生成告警数据。
79.由于多模匹配是从一段字符串中匹配多个模式字符串，其匹配精确度不是特别高，因此，本发明实施例通过设置当第二匹配结果为成功时，基于第三匹配方式对候选者列表和预过滤规则组进行匹配，获得第三匹配结果，并根据第三匹配结果生成告警数据，可提高匹配精确度。
80.并且，只有当第二匹配结果为成功时，才继续基于第三匹配方式对候选者列表和预过滤规则组进行匹配，避免当第二匹配结果为失败时，还基于第三匹配方式对候选者列表和预过滤规则组进行匹配，避免无效的匹配流程，进一步提高匹配效率。
81.在本发明的具体实施例中，第三匹配方式为单模匹配，则如图4所示，步骤s303包括：
82.s401、基于单模匹配对候选者列表和预过滤规则组进行匹配，获得第三匹配结果；
83.s402、当第三匹配结果为成功时，生成告警数据。
84.由于单模匹配是从一段字符串中匹配单个模式字符串，因此，在多模匹配成功后，通过单模匹配对候选者列表和预过滤规则组进行匹配，可提高生成的告警数据的精确性。
85.应当理解的是：当第二匹配结果或第三匹配结果为失败时，不生成告警数据。
86.在本发明的一些实施例中，如图5所示，步骤s102包括：
87.s501、对规则文件进行解析，获得多个解析规则；
88.s502、对多个解析规则进行类型设定；
89.s503、对多个解析规则进行去重处理，获得多个目标规则，并根据多个目标规则构建特征列表；
90.s504、对特征列表中的多个目标规则进行归并处理，获得多个特征组。
91.在本发明的具体实施例中，步骤s502中解析规则的类型包括但不限于：纯ip规则、纯协议探测规则和纯协议解码规则。
92.本发明实施例通过对多个解析规则进行去重处理，可避免重复的解析规则对网络流量进行重复且无效的匹配，进一步提高网络流量入侵检测的效率和吞吐量。
93.进一步地，本发明实施例通过对多个目标特征进行归并处理，可减少进行匹配的特征数，从而可缩短对网络流量和特征组进行匹配的时间，进而可进一步提高网络流量入侵检测的效率和吞吐量。
94.在本发明的具体实施例中，步骤s504具体为：
95.根据多个目标规则的端口、协议或流状态对特征列表中的多个目标规则进行归并处理，获得多个特征组。
96.其中，端口可为目标规则的源端口或目的端口。
97.由于在将特征组和网络流量进行匹配时，是基于特征列表由上至下的顺序进行匹
配，因此，为了进一步提高流量入侵检测的效率和吞吐量，在本发明的一些实施例中，在步骤s503之后，还包括：
98.基于预设的排序规则对特征列表中的多个目标规则进行排序。
99.本发明实施例通过基于预设的排序规则对多个目标进行排序，在将特征组和网络流量进行匹配时，可快速获得匹配结果，从而可进一步提高流量入侵检测的效率和吞吐量。
100.需要说明的是：预设的排序规则包括但不限于目标规则的动作(action)、流位操作、源ip、目的ip以及优先级。
101.为了更好实施本发明实施例中的基于规则特征的全流量入侵检测方法，在基于规则特征的全流量入侵检测方法基础之上，对应的，如图6所示，本发明实施例还提供了一种基于规则特征的全流量入侵检测装置，基于规则特征的全流量入侵检测装置600包括：
102.流量元数据获取单元601，用于获取网络流量，并对网络流量进行预处理，获得流量元数据；
103.规则解析单元602，用于获取规则文件，并对规则文件进行解析，获得多个特征组；
104.规则组划分单元603，用于获取规则文件的特征信息，并根据特征信息将多个特征组划分为预过滤规则组和非预过滤规则组；
105.第一入侵检测单元604，用于基于第一匹配方式对流量元数据和非预过滤规则组进行匹配，获得第一匹配结果，并根据第一匹配结果生成告警数据；
106.第二入侵检测单元605，用于基于第二匹配方式对流量元数据和预过滤规则组进行匹配，获得第二匹配结果，并根据第二匹配结果生成告警数据。
107.上述实施例提供的基于规则特征的全流量入侵检测装置600可实现上述自基于规则特征的全流量入侵检测方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述基于规则特征的全流量入侵检测方法实施例中的相应内容，此处不再赘述。
108.如图7所示，本发明还相应提供了一种电子设备700。该电子设备700包括处理器701、存储器702及显示器703。图7仅示出了电子设备700的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
109.处理器701在一些实施例中可以是一中央处理器(central processing unit，cpu)，微处理器或其他数据处理芯片，用于运行存储器702中存储的程序代码或处理数据，例如本发明中的基于规则特征的全流量入侵检测方法。
110.在一些实施例中，处理器701可以是单个服务器或服务器组。服务器组可为集中式或分布式的。在一些实施例中，处理器701可为本地的或远程的。在一些实施例中，处理器701可实施于云平台。在本发明的一些实施例中，云平台可包括私有云、公共云、混合云、社区云、分布式云、多重云等，或以上的任意组合。
111.存储器702在一些实施例中可以是电子设备700的内部存储单元，例如电子设备700的硬盘或内存。存储器702在另一些实施例中也可以是电子设备700的外部存储设备，例如电子设备700上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
112.进一步地，存储器702还可既包括电子设备700的内部储存单元也包括外部存储设备。存储器702用于存储安装电子设备700的应用软件及各类数据。
113.显示器703在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以
及oled(organic light-emitting diode，有机发光二极管)触摸器等。显示器703用于显示在电子设备700的信息以及用于显示可视化的用户界面。电子设备700的部件701-703通过系统总线相互通信。
114.在本发明的一些实施例中，当处理器701执行存储器702中的基于规则特征的全流量入侵检测程序时，可实现以下步骤：
115.获取网络流量，并对网络流量进行预处理，获得流量元数据；
116.获取规则文件，并对规则文件进行解析，获得多个特征组；
117.获取规则文件的特征信息，并根据特征信息将多个特征组划分为预过滤规则组和非预过滤规则组；
118.基于第一匹配方式对流量元数据和非预过滤规则组进行匹配，获得第一匹配结果，并根据第一匹配结果生成告警数据；
119.基于第二匹配方式对流量元数据和预过滤规则组进行匹配，获得第二匹配结果，并根据第二匹配结果生成告警数据。
120.应当理解的是：处理器701在执行存储器702中的基于规则特征的全流量入侵检测程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
121.进一步地，本发明实施例对提及的电子设备700的类型不做具体限定，电子设备700可以为手机、平板电脑、个人数字助理(personal digitalassistant，pda)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载ios、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备700也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
122.相应地，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的基于规则特征的全流量入侵检测方法中的步骤或功能。
123.本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件(如处理器，控制器等)来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
124.以上对本发明所提供的基于规则特征的全流量入侵检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。