一种网络异常检测方法、装置、设备和介质与流程

1.本发明涉及网络安全技术领域，尤其涉及一种网络异常检测方法、装置、设备和介质。


背景技术：

2.在现有的主流的网络异常检测方法包括：基于主机的网络异常检测方法以及基于网络的网络异常检测方法。
3.基于主机的网络异常检测方法主要是检测主机日志和操作指令，从而确定是否发生网络异常，但其只能在发生网络异常之后进行事后追溯，不能实时检测是否发生网络异常。而基于网络的网络异常检测方法主要是检测网络行为，网络行为包括正常网络行为和异常网络行为，若检测到异常网络行为则确定发生网络异常，但是基于网络的网络异常检测方法的误报率较高。
4.因此，如何提高对网络异常的实时检测的准确度就成为亟待解决的技术问题。


技术实现要素：

5.本发明提供了一种网络异常检测方法、装置、设备和介质，用以解决现有技术中的问题。
6.本发明提供了一种网络异常检测方法，所述方法包括：
7.获取待检测网络在预设时间周期内传输的每条数据流；
8.针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议，根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值，将目标属性值输入预先训练完成的所述目标应用层协议对应的目标条件随机场模型，获取该条数据流对应的协议行为检测结果；
9.若任一数据流对应的协议行为检测结果为异常，则确定所述待检测网络的网络异常。
10.进一步地，所述根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值包括：
11.若所述目标预设协议行为特征属性包含用户行为标识和用户ip，则从该条数据流包含的任一数据报文中获取用户行为标识的标识信息和用户ip，将获取的用户行为标识和用户ip分别确定为目标属性值；
12.若所述目标预设协议行为特征属性包含数据包字节数和数据包数量，则从该条数据流包含的每个数据报文中获取包含的字节数、以及包含的数据包的数量，将获取的字节数的和值和数据包的总数量分别确定为目标属性值；
13.若所述目标预设协议行为特征属性包含用户行为开始时间和用户行为结束时间，则根据该条数据流包含的每个数据报文中携带的时间戳，获取该条数据流对应的每个开始
时间和每个结束时间，将获取的时间最早的开始时间、和时间最晚的结束时间分别确定为目标属性值。
14.进一步地，所述方法还包括：
15.若所述每条数据流对应的协议行为检测结果均正常，则确定所述待检测网络的网络正常。
16.进一步地，所述获取待检测网络在预设时间周期内传输的每条数据流之后，所述针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议之前，所述方法还包括：
17.根据每条数据流中包含的每个数据报文，获取每条数据流的聚合条件要素值，其中聚合条件要素包括源ip地址、流方向、传输层协议、应用层协议和端口；
18.针对每条数据流，确定与该条数据流的聚合条件要素值一致的其他数据流，将该数据路与所述其他数据流聚合为一条数据流；
19.针对得到的每条数据流进行后续针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议的操作。
20.进一步地，每种应用层协议对应的条件随机场模型的训练过程包括：
21.针对每种应用层协议，根据所述预设时间周期内采集的样本集中该种应用层协议对应的任一条数据流，获取该条数据流的所述目标协议行为特征属性的样本属性值、以及该条数据流对应的第一标签信息，其中所述第一标签信息标识该条数据流的协议行为是正常协议行为或异常协议行为；
22.将该条数据流的样本属性值及第一标签信息输入原始条件随机场模型中，获取输出的该条数据流的第二标签信息；
23.根据所述第一标签信息和所述第二标签信息，对所述原始条件随机场模型的各参数的参数值进行调整，得到训练完成的该种应用层协议对应的条件随机场模型。
24.相应地，本发明提供了一种网络异常检测装置，所述装置包括：
25.获取模块，用于获取待检测网络在预设时间周期内传输的每条数据流；
26.确定模块，用于针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议，根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值，将目标属性值输入预先训练完成的所述目标应用层协议对应的目标条件随机场模型，获取该条数据流对应的协议行为检测结果；
27.判断模块，用于若任一数据流对应的协议行为检测结果为异常，则确定所述待检测网络的网络异常。
28.进一步地，所述确定模块，具体用于若所述目标预设协议行为特征属性包含用户行为标识和用户ip，则从该条数据流包含的任一数据报文中获取用户行为标识的标识信息和用户ip，将获取的用户行为标识和用户ip分别确定为目标属性值；若所述目标预设协议行为特征属性包含数据包字节数和数据包数量，则从该条数据流包含的每个数据报文中获取包含的字节数、以及包含的数据包的数量，将获取的字节数的和值和数据包的总数量分
别确定为目标属性值；若所述目标预设协议行为特征属性包含用户行为开始时间和用户行为结束时间，则根据该条数据流包含的每个数据报文中携带的时间戳，获取该条数据流对应的每个开始时间和每个结束时间，将获取的时间最早的开始时间、和时间最晚的结束时间分别确定为目标属性值。
29.进一步地，所述判断模块，还用于若所述每条数据流对应的协议行为检测结果均正常，则确定所述待检测网络的网络正常。
30.进一步地，所述获取待检测网络在预设时间周期内传输的每条数据流之后，所述针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议之前，所述获取模块，还用于根据每条数据流中包含的每个数据报文，获取每个数据流的聚合条件要素值，其中聚合条件要素包括源ip地址、流方向、传输层协议、应用层协议和端口；
31.所述确定模块，还用于针对每条数据流，确定与该条数据流的聚合条件要素值一致的其他数据流，将该数据路与所述其他数据流聚合为一条数据流；针对得到的每条数据流进行后续针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议的操作。
32.进一步地，所述装置还包括：训练模块，用于针对每种应用层协议，根据所述预设时间周期内采集的样本集中该种应用层协议对应的任一条数据流，获取该条数据流的所述目标协议行为特征属性的样本属性值、以及该条数据流对应的第一标签信息，其中所述第一标签信息标识该条数据流的协议行为是正常协议行为或异常协议行为；将该条数据流的样本属性值及第一标签信息输入原始条件随机场模型中，获取输出的该条数据流的第二标签信息；根据所述第一标签信息和所述第二标签信息，对所述原始条件随机场模型的各参数的参数值进行调整，得到训练完成的该种应用层协议对应的条件随机场模型。
33.相应地，本发明提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现上述网络异常检测方法中任一所述方法的步骤。
34.相应地，本发明提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述网络异常检测方法中任一所述方法的步骤。
35.本发明提供了一种网络异常检测方法、装置、设备和介质，由于该方法基于预先训练完成的每种应用层协议对应的条件随机场模型，检测数据流对应的协议行为，若协议行为异常则确定网络异常，从而提高了对待检测网络的实时检测准确性。
附图说明
36.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
37.图1为本发明实施例提供的一种网络异常检测方法的过程示意图；
38.图2为本发明实施例提供的一种流量聚合的示意图；
39.图3为本发明实施例提供的一种网络异常检测装置的结构示意图；
40.图4为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
41.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
42.为了提高对待检测网络的实时检测准确性，本发明实施例提供了一种网络异常检测方法、装置、设备和介质。
43.实施例1：
44.图1为本发明实施例提供的一种网络异常检测方法过程示意图，该过程包括以下步骤：
45.s101：获取待检测网络在预设时间周期内传输的每条数据流。
46.本发明实施例提供的一种网络异常检测方法应用于电子设备，其中该电子设备可以是pc、平板电脑、移动终端等智能终端，也可以是服务器；该服务器可以是本地服务器，也可以是云端服务器。具体的，本发明实施例对此不做限制。
47.为了提高对待检测网络的实时检测准确性，在本发明实施例中，该电子设备获取待检测网络在预设时间周期内传输的每条数据流。其中该待检测网络为该电子设备当前连接的网络，该网络可以是局域网，还可以是数据网络。
48.该预设时间周期可以是3分钟、可以是30分钟、还可以是3小时，该数据流为netflow数据流，该数据流是基于用户数据报传输协议(user datagram protocol，udp)数据包传送的，由于udp是不可靠的传输协议，所以当数据的处理速率低于数据的传输速率就会出现丢包的情形。为了及时接收大数据流量和降低丢包率，该电子设备采用两个独立的线程各自进行数据接收和数据解析。接收数据的线程指定ip地址监听udp端口，接收的数据保存在缓存中；解析数据的线程从缓存中获取数据，按相应的报文格式进行解析。
49.s102：针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议，根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值，将目标属性值输入预先训练完成的所述目标应用层协议对应的目标条件随机场模型，获取该条数据流对应的协议行为检测结果。
50.为了确定待检测网络是否网络，该电子设备首先确定每条数据流对应的协议行为检测结果，为了确定每条数据流对应的协议行为检测结果，针对每条数据流，该电子设备识别出该条数据流中任一数据报文中的目标头部关键字，具体可以采用现有的文字识别方法进行书别。通用的tcp/ip模型对于每层协议都规定了数据包格式，主要包含数据报文头部和数据部分，例如超文本传输协议(hyper text transfer protocol，http)的关键字有option、get、iiead、post、100/202/301/404；文件传输协议(file transfer protocol，ftp)的关键字有user、pass、quit、120/211/350/451。
51.根据识别出的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键
字，确定目标头部关键字对应的应用层协议即为目标应用层协议。其中，该目标应用层协议可能是http协议，也可能是ftp协议。
52.根据该条数据流中包含的数据报文，采用现有的应用层协议识别技术获取目标预设协议行为特征属性对应的目标属性值。其中该预设协议行为特征属性包括用户行为标识、用户ip、数据包字节数、数据包数量、数据流目的子网个数、源端口、目的端口个数、目的ip个数、用户行为开始时间、用户行为结束时间。该目标预设协议行为特征属性为与协议行为有关的特征属性，该目标预设协议行为特征属性包括用户行为标识、用户ip、数据包字节数、数据包数量、用户行为开始时间、用户行为结束时间中的至少一个。
53.为了检测该条数据流对应的协议行为检测结果，该电子设备中预先训练完成有每种应用层协议对应的条件随机场模型。针对每种应用层协议对应的条件随机场模型，该应用层协议对应的条件随机场模型是用于检测该种应用层协议的协议行为是否异常。
54.为了检测该条数据流对应协议行为是否异常，根据预先确定的目标应用层协议、以及每种应用层协议对应的条件随机场模型，确定目标应用层协议对应的目标条件随机场模型，将目标属性值输入预先训练完成的目标条件随机场模型，获取该条数据流对应的协议行为检测结果。其中该条数据流对应的协议行为检测结果可能是协议行为异常，也可能是协议行为正常。
55.s103：若任一数据流对应的协议行为检测结果为异常，则确定所述待检测网络的网络异常。
56.在确定出每条数据流对应的协议行为检测结果后，根据每条数据流对应的协议行为检测结果，若任一数据流对应的协议检测结果为异常，则确定待检测网络的网络异常，即确定待检测网络在预设时间周期内的网络异常。
57.s104：若所述每条数据流对应的协议行为检测结果均正常，则确定所述待检测网络的网络正常。
58.根据每条数据流对应的协议行为检测结果，若每条数据流对应的协议检测结果均正常，则确定待检测网络的网络正常，即确定待检测网络在预设时间周期内的网络正常。
59.由于在本发明实施例中，该方法获取待检测网络在预设时间周期内传输的每条数据流；针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议，根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值，将目标属性值输入预先训练完成的所述目标应用层协议对应的目标条件随机场模型，获取该条数据流对应的协议行为检测结果；若任一数据流对应的协议行为检测结果为异常，则确定所述待检测网络的网络异常。由于本发明实施例中基于预先训练完成的每种应用层协议对应的条件随机场模型，检测数据流对应的协议行为，若协议行为异常则确定网络异常，从而提高了对待检测网络的实时检测准确性。
60.实施例2：
61.为了获取目标预设协议行为特征属性对应的目标属性值，在上述实施例的基础上，在本发明实施例中，所述根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值包括：
62.若所述目标预设协议行为特征属性包含用户行为标识和用户ip，则从该条数据流
包含的任一数据报文中获取用户行为标识的标识信息和用户ip，将获取的用户行为标识和用户ip分别确定为目标属性值；
63.若所述目标预设协议行为特征属性包含数据包字节数和数据包数量，则从该条数据流包含的每个数据报文中获取包含的字节数、以及包含的数据包的数量，将获取的字节数的和值和数据包的总数量分别确定为目标属性值；
64.若所述目标预设协议行为特征属性包含用户行为开始时间和用户行为结束时间，则根据该条数据流包含的每个数据报文中携带的时间戳，获取该条数据流对应的每个开始时间和每个结束时间，将获取的时间最早的开始时间、和时间最晚的结束时间分别确定为目标属性值。
65.为了获取目标预设协议行为特征属性对应的目标属性值，由于目标预设协议行为特征属性包含用户行为标识、用户ip、数据包字节数、数据包数量、用户行为开始时间和用户行为结束时间中的至少一种。
66.若目标预设协议行为特征属性包含用户行为标识和用户ip，针对该条数据流中包含的任一数据报文，该电子设备从该数据报文中获取到用户行为标识的标识信息，将该标识信息确定为该条数据流的用户行为标识的目标属性值；并从该数据报文中获取到用户ip，将用户ip地址确定为该条数据流的用户ip的目标属性值。
67.若目标预设协议行为特征属性包含数据包字节数和数据包数量，根据该条数据流中包含的每个数据报文，该电子设备从每个数据报文中获取包含的每个数据包的字节数，以及包含的数据包的数量；根据每个数据包的字节数确定字节数的和值，将该和值确定为该条数据流的数据包字节数的目标属性值，将数据包的数量确定为该条数据流的数据包数量的目标属性值。
68.若目标预设协议行为特征属性包含用户行为开始时间和用户行为结束时间，根据该条数据流包含的每个数据报文中携带的时间戳，获取每个时间戳的每个开始时间和结束时间，作为该条数据流对应的每个开始时间和每个结束时间。根据该条数据流对应的每个开始时间，获取时间最早的开始时间，并将时间最早的开始时间确定为该条数据流的用户行为开始时间的目标属性值。根据该条数据流对应的每个结束时间，获取时间最晚的结束时间，并将时间最晚的结束时间确定为该条数据流的用户行为结束时间的目标属性值。
69.实施例3：
70.为了提高网络异常监测的效率，在上述各实施例的基础上，在本发明实施例中，所述获取待检测网络在预设时间周期内传输的每条数据流之后，所述针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议之前，所述方法还包括：
71.根据每条数据流中包含的每个数据报文，获取每个数据流的聚合条件要素值，其中聚合条件要素包括源ip地址、流方向、传输层协议、应用层协议和端口；
72.针对每条数据流，确定与该条数据流的聚合条件要素值一致的其他数据流，将该数据路与所述其他数据流聚合为一条数据流；
73.针对得到的每条数据流进行后续针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议的操作。
74.为了提高网络异常检测的效率，在本发明实施例中，该电子设备还对在预设时间周期获取的每条数据流进行聚合。根据每条数据流中的包含的每个数据报文，获取每条数据流的聚合条件要素值，其中聚合条件要素包括源ip地址、流方向、传输层协议、应用层协议和端口。
75.根据每条数据流的聚合条件要素值，确定出每种聚合条件要素值一致的数据流进行聚合得到新的数据流。即针对每条数据流，根据该条数据流的聚合条件要素值、以及其余数据流的聚合条件要素值，确定与该条数据流的聚合条件要素值一致的其他数据流，将该条数据流与其他数据流聚合为一条数据流。
76.下面通过一个具体的实施例对数据流聚合进行说明，针对获取的第一条数据流，将该条数据流作为一条聚合流进行保存，根据第一条数据流之后获取的每条数据流的聚合条件要素值，判断聚合条件要素值是否与聚合流的聚合条件要素值一致，若是，则将数据流与聚合流进行聚合，若否，则将不一致的数据流作为新的聚合流进行保存，并针对下一条数据流进行判断直到所有数据流均报文为聚合流，将所有的聚合流作为更新后的数据流。
77.聚合流进行保存选取的是hash表结构，可以满足实时流量监测并减少存储空间，提高查询效率。图2为本发明实施例提供的一种流量聚合的示意图，如图2所示，flow数据流通过密钥k解析后采用hash函数进行判断，将flow数据流聚合为不同的聚合流进行保存，并每隔预设时间周期将保存的聚合流到处到聚合流数据库，其中该数据库为elasticsearch数据库。
78.实施例4：
79.为了训练每种应用层协议对应的条件随机场模型，在上述各实施例的基础上，在本发明实施例中，每种应用层协议对应的条件随机场模型的训练过程包括：
80.针对每种应用层协议，根据所述预设时间周期内采集的样本集中该种应用层协议对应的任一条数据流，获取该条数据流的所述目标协议行为特征属性的样本属性值、以及该条数据流对应的第一标签信息，其中所述第一标签信息标识该条数据流的协议行为是正常协议行为或异常协议行为；
81.将该条数据流的样本属性值及第一标签信息输入原始条件随机场模型中，获取输出的该条数据流的第二标签信息；
82.根据所述第一标签信息和所述第二标签信息，对所述原始条件随机场模型的各参数的参数值进行调整，得到训练完成的该种应用层协议对应的条件随机场模型。
83.为了实现对每种应用层协议对应的条件随机场模型的训练，在本发明实施例中，针对每种应用层协议，预先保存有在预设时间周期内采集的数据流组成的样本集，该样本集中的每条数据流对应有第一标签信息，其中该第一标签信息是人工预先标注的，用于标识该条数据流对应的协议行为是正常协议行为或异常协议行为。
84.其中该第一标签信息可以是数字、字母或其他信息，例如若该条数据流对应的协议行为是正常协议行为时，该第一标签信息是1，若该条数量对应的协议行为是异常协议行为时，则该第一标签信息是0。
85.在该样本集中获取该种应用层协议对应的任一条数据流，获取该条数据流的目标协议行为特征属性的样本属性值，以及预先标识的该条数据流对应的第一标签信息，具体在获取该条数据流的目标协议行为特征属性的样本属性值时可以采用现有的应用层协议
识别技术实现获取。
86.为了实现对条件随机场模型的训练，将该条数据流的样本属性值以及第一标签信息输入到原始条件随机场模型中，基于原始条件随机场模型的计算，确定出该条数据流对应的协议行为是异常协议行为的概率值，若概率值小于预设概率阈值，则确定输出的该条数据流的第二标签信息标识协议行为是正常协议行为，若概率值不小于预设协议行为，则确定输出的该条数据流的第二标签信息标识协议行为是异常协议行为。
87.在根据原始条件随机场模型确定出该条数据流的第二标签信息后，根据第一标签信息和第二标签信息，对原始条件随机场模型进行训练，以调整原始条件随机场模型的各参数的参数值。
88.作为一种可能的实施方式，在对原始条件随机场模型进行训练时，可以把样本集中的数据流分为训练数据流和测试数据流，先基于训练数据流对原始条件随机场模型进行训练，再基于测试数据流对训练完成的条件随机场模型的可靠性进行测试。
89.下面通过一个具体的实施例对本发明的一种应用层协议对应的条件随机场模型的训练过程进行说明，本发明实施例预先保存有在预设时间周期内采集的数据流组成的样本集，样本集中每条数据流的状态标识为kj，样本集中每条数据流的状态容器便是k＝{k1，k2，k3...km}，m表示样本集中数据流的个数。
90.针对每种应用层协议，获取该种应用层协议的数据流并组成观测序列x，观测序列里的x
x
的值就是观测序列里第x个数据流的状态标识位，状态标识位通常是由应用层协议的关键字，预设时间周期，目标预设协议行为特征属性的属性值的频率分布这三个字段决定的，即x
x
＝(c
x
，t
x
，d
x
)，其中c
x
表示应用层协议的关键字，t
x
表示预设时间周期，d
x
表示目标预设协议行为特征属性的属性值的频率分布。
91.获取该种应用层协议的数据流的状态标识并组成标注序列p，利用数据流对应的协议行为的正常状态和异常状态当成标签信息，用来将观测序列中o
x
记为p
x
，p
x
∈{0，1，2}，其中，1表示数据包正常，2表示异常，0表示它是特殊值。
92.本发明采用线性链式的条件随机场(conditional random field algorithm，crf)模型，对应用层协议的协议行为中的异常状态进行检测，在线性链式crf的无向图g＝(v,e)中，v表示节点的集合，若无向图中两个节点存在概率依赖关系，则将这两点以无向边连接，e表示无向边集合。无向图中存在一种情况，图中不论哪个点都和其他点有无向边连接，这样的无向图是一个封闭的图。也就是说，将无向图应用到网络环境中，这种情况就是任意两数据之间存在概率依赖的可能。g的一条边e＝{i-1,i}就是其相对的一个块，块所在的集合也即是相应图中边的集合e，所以说一个块{i-1,i}，它的势函数是：其中fk(y
i-1
，yi，x)是观测序列x于位置i-1和i处的标记的特征函数，计算公式为fk(y
i-1
，yi，x)＝y
i-1
qk(x
i-1
) yiqk(xi)，qk(xi)表示观测序列x在i所在的地方第k维度上的特点的一个所获得值。gk(yi，x)代表观测序列x在i所在的地方被打标签的函数，它对应的公式如后面所示gk(yi，x)＝yiqk(xi)，λk和uk是特征函数的权重。给定观测序列x，标记序列y的联合概率分布计算公式为
93.其中：θ表示参数集合。θ＝(λ1,
…
,λk,u
k1
,
…
,uk)。z(x)是归一化因子，是将势函数
乘积转化为合法概率分布的必要条件，其计算公式如下：z(x)＝∑
x,y
exp(∑i∑kλ
kfk
(y
i-1
，yi，x) ∑i∑ku
kgk
(yi，x))z。
94.在条件随机场模型里囊括的位置的信息和对应的参数就是参数块θ。定义θ的逻辑为：制定一个预设测试数据容器预设测试数据容器d中包含了观测序列x和它相对的标记序列y，x和y的联合概率为(x,y)。
95.条件随机场模型的对数似然函数为l(θ)，其中当条件随机场模型的对数似然函数达到极大似然估计时即表示条件随机场模型训练完成。极大似然估计是求出使l(θ)取值最大的参数θ的估计的过程，其中
96.将p((y|x)，θ)代入对数似然函数l(θ)中，得到对l(θ)偏导后得到当上式趋于0时可实现极大似然估计，训练结束，得到条件随机场模型的参数块θ中的λk和uk。
97.实施例5：
98.图3为本发明实施例提供的一种网络异常检测装置的结构示意图，所述装置包括：
99.获取模块301，用于获取待检测网络在预设时间周期内传输的每条数据流；
100.确定模块302，用于针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议，根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值，将目标属性值输入预先训练完成的所述目标应用层协议对应的目标条件随机场模型，获取该条数据流对应的协议行为检测结果；
101.判断模块303，用于若任一数据流对应的协议行为检测结果为异常，则确定所述待检测网络的网络异常。
102.进一步地，所述确定模块，具体用于若所述目标预设协议行为特征属性包含用户行为标识和用户ip，则从该条数据流包含的任一数据报文中获取用户行为标识的标识信息和用户ip，将获取的用户行为标识和用户ip分别确定为目标属性值；若所述目标预设协议行为特征属性包含数据包字节数和数据包数量，则从该条数据流包含的每个数据报文中获取包含的字节数、以及包含的数据包的数量，将获取的字节数的和值和数据包的总数量分别确定为目标属性值；若所述目标预设协议行为特征属性包含用户行为开始时间和用户行为结束时间，则根据该条数据流包含的每个数据报文中携带的时间戳，获取该条数据流对应的每个开始时间和每个结束时间，将获取的时间最早的开始时间、和时间最晚的结束时间分别确定为目标属性值。
103.进一步地，所述判断模块，还用于若所述每条数据流对应的协议行为检测结果均正常，则确定所述待检测网络的网络正常。
104.进一步地，所述获取待检测网络在预设时间周期内传输的每条数据流之后，所述针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每
种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议之前，所述获取模块，还用于根据每条数据流中包含的每个数据报文，获取每个数据流的聚合条件要素值，其中聚合条件要素包括源ip地址、流方向、传输层协议、应用层协议和端口；
105.所述确定模块，还用于针对每条数据流，确定与该条数据流的聚合条件要素值一致的其他数据流，将该数据路与所述其他数据流聚合为一条数据流；针对得到的每条数据流进行后续针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议的操作。
106.进一步地，所述装置还包括：训练模块，用于针对每种应用层协议，根据所述预设时间周期内采集的样本集中该种应用层协议对应的任一条数据流，获取该条数据流的所述目标协议行为特征属性的样本属性值、以及该条数据流对应的第一标签信息，其中所述第一标签信息标识该条数据流的协议行为是正常协议行为或异常协议行为；将该条数据流的样本属性值及第一标签信息输入原始条件随机场模型中，获取输出的该条数据流的第二标签信息；根据所述第一标签信息和所述第二标签信息，对所述原始条件随机场模型的各参数的参数值进行调整，得到训练完成的该种应用层协议对应的条件随机场模型。
107.实施例6：
108.图4为本发明实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本技术还提供了一种电子设备，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信；
109.所述存储器403中存储有计算机程序，当所述程序被所述处理器401执行时，使得所述处理器401执行如下步骤：
110.获取待检测网络在预设时间周期内传输的每条数据流；
111.针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议，根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值，将目标属性值输入预先训练完成的所述目标应用层协议对应的目标条件随机场模型，获取该条数据流对应的协议行为检测结果；
112.若任一数据流对应的协议行为检测结果为异常，则确定所述待检测网络的网络异常。
113.进一步地，所述处理器401具体用于所述根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值包括：
114.若所述目标预设协议行为特征属性包含用户行为标识和用户ip，则从该条数据流包含的任一数据报文中获取用户行为标识的标识信息和用户ip，将获取的用户行为标识和用户ip分别确定为目标属性值；
115.若所述目标预设协议行为特征属性包含数据包字节数和数据包数量，则从该条数据流包含的每个数据报文中获取包含的字节数、以及包含的数据包的数量，将获取的字节数的和值和数据包的总数量分别确定为目标属性值；
116.若所述目标预设协议行为特征属性包含用户行为开始时间和用户行为结束时间，则根据该条数据流包含的每个数据报文中携带的时间戳，获取该条数据流对应的每个开始
时间和每个结束时间，将获取的时间最早的开始时间、和时间最晚的结束时间分别确定为目标属性值。
117.进一步地，所述处理器401还用于若所述每条数据流对应的协议行为检测结果均正常，则确定所述待检测网络的网络正常。
118.进一步地，所述处理器401还用于所述获取待检测网络在预设时间周期内传输的每条数据流之后，所述针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议之前，所述方法还包括：
119.根据每条数据流中包含的每个数据报文，获取每条数据流的聚合条件要素值，其中聚合条件要素包括源ip地址、流方向、传输层协议、应用层协议和端口；
120.针对每条数据流，确定与该条数据流的聚合条件要素值一致的其他数据流，将该数据路与所述其他数据流聚合为一条数据流；
121.针对得到的每条数据流进行后续针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议的操作。
122.进一步地，所述处理器401具体用于每种应用层协议对应的条件随机场模型的训练过程包括：
123.针对每种应用层协议，根据所述预设时间周期内采集的样本集中该种应用层协议对应的任一条数据流，获取该条数据流的所述目标协议行为特征属性的样本属性值、以及该条数据流对应的第一标签信息，其中所述第一标签信息标识该条数据流的协议行为是正常协议行为或异常协议行为；
124.将该条数据流的样本属性值及第一标签信息输入原始条件随机场模型中，获取输出的该条数据流的第二标签信息；
125.根据所述第一标签信息和所述第二标签信息，对所述原始条件随机场模型的各参数的参数值进行调整，得到训练完成的该种应用层协议对应的条件随机场模型。
126.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
127.通信接口402用于上述电子设备与其他设备之间的通信。
128.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
129.上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字指令处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
130.实施例7：
131.在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所
述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
132.获取待检测网络在预设时间周期内传输的每条数据流；
133.针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议，根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值，将目标属性值输入预先训练完成的所述目标应用层协议对应的目标条件随机场模型，获取该条数据流对应的协议行为检测结果；
134.若任一数据流对应的协议行为检测结果为异常，则确定所述待检测网络的网络异常。
135.进一步地，所述根据该条数据流中包含的数据报文，获取目标预设协议行为特征属性对应的目标属性值包括：
136.若所述目标预设协议行为特征属性包含用户行为标识和用户ip，则从该条数据流包含的任一数据报文中获取用户行为标识的标识信息和用户ip，将获取的用户行为标识和用户ip分别确定为目标属性值；
137.若所述目标预设协议行为特征属性包含数据包字节数和数据包数量，则从该条数据流包含的每个数据报文中获取包含的字节数、以及包含的数据包的数量，将获取的字节数的和值和数据包的总数量分别确定为目标属性值；
138.若所述目标预设协议行为特征属性包含用户行为开始时间和用户行为结束时间，则根据该条数据流包含的每个数据报文中携带的时间戳，获取该条数据流对应的每个开始时间和每个结束时间，将获取的时间最早的开始时间、和时间最晚的结束时间分别确定为目标属性值。
139.进一步地，所述方法还包括：
140.若所述每条数据流对应的协议行为检测结果均正常，则确定所述待检测网络的网络正常。
141.进一步地，所述获取待检测网络在预设时间周期内传输的每条数据流之后，所述针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议之前，所述方法还包括：
142.根据每条数据流中包含的每个数据报文，获取每条数据流的聚合条件要素值，其中聚合条件要素包括源ip地址、流方向、传输层协议、应用层协议和端口；
143.针对每条数据流，确定与该条数据流的聚合条件要素值一致的其他数据流，将该数据路与所述其他数据流聚合为一条数据流；
144.针对得到的每条数据流进行后续针对每条数据流，根据该条数据流中任一数据报文的目标头部关键字、以及预先保存的每种应用层协议对应的头部关键字，确定所述目标头部关键词对应的目标应用层协议的操作。
145.进一步地，每种应用层协议对应的条件随机场模型的训练过程包括：
146.针对每种应用层协议，根据所述预设时间周期内采集的样本集中该种应用层协议对应的任一条数据流，获取该条数据流的所述目标协议行为特征属性的样本属性值、以及
该条数据流对应的第一标签信息，其中所述第一标签信息标识该条数据流的协议行为是正常协议行为或异常协议行为；
147.将该条数据流的样本属性值及第一标签信息输入原始条件随机场模型中，获取输出的该条数据流的第二标签信息；
148.根据所述第一标签信息和所述第二标签信息，对所述原始条件随机场模型的各参数的参数值进行调整，得到训练完成的该种应用层协议对应的条件随机场模型。
149.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
150.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
151.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
152.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
153.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。