用于多级系统的模型训练方法、装置、设备及存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及一种用于多级系统的模型训练方法、装置、设备及存储介质。


背景技术：

2.随着网络安全形势不断变化，网络安全态势感知建设正在各行业持续开展。态势感知平台是安全运营工作的技术支撑，态势感知平台通过对海量安全日志或事件的威胁分析及告警，能够发现并评估当前网络安全态势状况。对于一些大型监管单位或大集团企业，通常建立上下级联动的态势感知系统，对下属单位形成统一监测模式。
3.目前，上级平台统一收集各下级平台的网络攻击数据并训练检测模型，上级平台将训练的检测模型下发到下级平台，下级平台根据检测模型进行检测。然而，一些数据隐私保护要求较高的场景，由于密级、敏感程度等原因上级平台无法获取下级平台的数据，上级平台无法根据下级平台的数据进行检测模型的自适应调优，网络攻击检测的准确度有待提高，


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种用于多级系统的模型训练方法、装置、设备及存储介质。
5.第一方面，本公开实施例提供了一种用于多级系统的模型训练方法，所述多级系统包括第一级系统和多个第二级系统，所述方法包括：
6.步骤s1、所述第一级系统向每个所述第二级系统发送待训练的网络攻击检测模型；
7.步骤s2、每个所述第二级系统根据本地的网络攻击数据训练所述网络攻击检测模型，获取训练后的模型参数，并将所述训练后的模型参数发送至所述第一级系统；
8.步骤s3、所述第一级系统将接收的多个所述训练后的模型参数进行聚合，生成目标模型参数，并根据所述目标模型参数更新所述网络攻击检测模型；以及，所述第一级系统向每个所述第二级系统发送更新后的网络攻击检测模型；
9.步骤s4、重复步骤s2和步骤s3，直至满足预设的停止条件，所述第一级系统根据当前的目标模型参数生成网络攻击检测模型。
10.可选地，所述根据本地的网络攻击数据训练所述网络攻击检测模型，包括：
11.获取本地的真实攻击事件数据和误报攻击事件数据，其中，所述真实攻击事件数据为正样本，所述误报攻击事件数据为负样本；
12.根据所述真实攻击事件数据和误报攻击事件数据训练所述网络攻击检测模型。
13.可选地，所述模型参数包括梯度向量，所述第一级系统将接收的多个所述训练后的模型参数进行聚合，生成目标模型参数，包括：
14.所述第一级系统将接收的多个梯度向量进行聚合，生成目标梯度向量。
15.可选地，所述满足预设的停止条件，包括：
16.所述第一级系统获取迭代次数，其中，所述第一级系统每次接收所述训练后的模型参数时，所述迭代次数加一；
17.当检测所述迭代次数等于预设次数时，确定满足所述停止条件。
18.可选地，在所述第二级系统根据本地的网络攻击数据训练所述网络攻击检测模型之后，还包括：
19.所述第二级系统根据测试数据集对训练后的网络攻击检测模型进行测试，获取所述训练后的网络攻击检测模型的准确率，并将所述准确率发送至所述第一级系统；
20.所述满足预设的停止条件，包括：
21.所述第一级系统统计所述准确率大于预设准确率阈值的第二级系统的数量，当检测到所述数量大于预设数量时，确定满足所述停止条件。
22.可选地，所述将所述训练后的模型参数发送至所述第一级系统，包括：
23.对所述训练后的模型参数进行数据脱敏处理，并将脱敏处理后的模型参数发送至所述第一级系统。
24.第二方面，本公开实施例提供了一种用于多级系统的模型训练装置，所述多级系统包括第一级系统和多个第二级系统，所述装置包括：
25.发送模块，用于执行步骤s1、所述第一级系统向每个所述第二级系统发送待训练的网络攻击检测模型；
26.训练模块，用于执行步骤s2、每个所述第二级系统根据本地的网络攻击数据训练所述网络攻击检测模型，获取训练后的模型参数，并将所述训练后的模型参数发送至所述第一级系统；
27.更新模块，用于执行步骤s3、所述第一级系统将接收的多个所述训练后的模型参数进行聚合，生成目标模型参数，并根据所述目标模型参数更新所述网络攻击检测模型；以及，所述第一级系统向每个所述第二级系统发送更新后的网络攻击检测模型；
28.生成模块，用于执行步骤s4、重复步骤s2和步骤s3，直至满足预设的停止条件，所述第一级系统根据当前的目标模型参数生成网络攻击检测模型。
29.第三方面，本公开实施例提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述第一方面所述的用于多级系统的模型训练方法。
30.第四方面，本公开实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的用于多级系统的模型训练方法。
31.本公开实施例提供的技术方案与现有技术相比具有如下优点：通过第一级系统向每个第二级系统发送待训练的网络攻击检测模型，每个第二级系统根据本地的网络攻击数据训练网络攻击检测模型，并将训练后的模型参数发送至第一级系统，第一级系统将接收的多个模型参数进行聚合后更新网络攻击检测模型，以及向每个第二级系统发送更新后的网络攻击检测模型，重复以上步骤直至满足预设的停止条件，第一级系统根据当前的目标模型参数生成网络攻击检测模型，由此，实现了在下级数据不可见的情况下的网络攻击检测模型自适应调优，应用于多级隐私环境下，在保护数据隐私的同时保证了网络攻击检测
模型的准确性，进一步提高网络攻击检测的准确度。
附图说明
32.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
33.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
34.图1为本公开实施例所提供的一种用于多级系统的模型训练方法的流程示意图；
35.图2为本公开实施例所提供的一种多级系统的交互示意图；
36.图3为本公开实施例所提供的一种用于多级系统的模型训练装置的结构示意图；
37.图4为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
38.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
39.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
40.图1为本公开实施例所提供的一种用于多级系统的模型训练方法的流程示意图，本公开实施例提供的方法可以由用于多级系统的模型训练装置来执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如智能手机、平板电脑等用户终端。
41.如图1所示，本公开实施例提供的用于多级系统的模型训练方法可包括：
42.步骤101，第一级系统向每个第二级系统发送待训练的网络攻击检测模型。
43.本公开实施例的方法，可以应用于多级态势感知系统，例如，多级态势感知系统包括第一级态势感知系统和多个第二级态势感知系统，其中，第一级态势感知系统和第二级态势感知系统均包含深度学习分析引擎，以进行模型训练或更新操作。
44.本实施例中，由第一级系统获取待训练的网络攻击检测模型，并对每个第二级系统均发送一个待训练的网络攻击检测模型，其中，对每个第二级系统发送的待训练的网络攻击检测模型是相同的。具体地，第一级系统在下发网络攻击检测模型时，将与模型相关的算法框架、模型参数等发送至第二级系统。
45.步骤102，每个第二级系统根据本地的网络攻击数据训练网络攻击检测模型，获取训练后的模型参数，并将训练后的模型参数发送至第一级系统。
46.本公开实施例中，第二级系统的数量有多个，对于每个第二级系统，均根据本地的网络攻击数据训练网络攻击检测模型，在这一过程中，每个第二级系统接收的模型是相同的。
47.其中，网络攻击数据例如包括流量数据、安全事件数据等。
48.对于一些对数据隐私保护要求较高的场景，数据治理不能将来源于多区域、多系统的跨域数据进行统一组织，各第二级系统由于密级、敏感程度等原因不能将所有数据进行汇聚，因此该场景下各第二级系统通过接收下发的模型在本地进行模型训练，且各第二级系统之间的数据不产生交互。
49.在网络攻击检测的业务模式下，各第二级平台面向的数据特点是类似的，例如包括流量、安全事件等数据类型，区别仅在于面向的攻击实体或资产目标不同，而其数据特征是一致的，因此在应用检测时每个第二级平台可以独立进行检测，因此可以将该过程作为分布式模型训练。
50.作为一种示例，第二级系统根据本地的网络攻击数据训练网络攻击检测模型，包括：第二级系统获取本地的真实攻击事件数据和误报攻击事件数据，对真实攻击事件数据和误报攻击事件数据进行标注，其中，真实攻击事件数据的标签标记为1，表示正样本，误报攻击事件数据的标签标记为0，表示负样本。进而，根据真实攻击事件数据和误报攻击事件数据训练网络攻击检测模型。本示例中，该网络攻击检测模型的输入为安全事件数据，输出为该安全事件数据对应的类别，例如包括网络攻击事件类别和非网络攻击事件类别。
51.本公开实施例中，第二级系统根据本地的网络攻击数据训练网络攻击检测模型后，获取的训练后的模型参数例如包括梯度、损失计算评估等。
52.深度学习模型的训练可采取梯度下降法进行训练，梯度下降法的目标是搜索出一个能够让损失函数的值尽可能小的位置。深度学习模型训练任务过程中产生的梯度是一个向量，该向量代表一个方向，该方向可以使模型快速收敛到局部极小值。
53.作为一种示例，以梯度下降法进行训练为例，模型参数包括梯度向量，对于多个第二级系统，每个第二级系统均得到一个梯度向量，各第二级系统将自身训练得到的梯度向量发送至第一级系统，以使第一级系统进行统一聚合。
54.进一步，对于一些对数据隐私保护要求较高的场景，可选地，将训练后的模型参数发送至第一级系统，包括：对训练后的模型参数进行数据脱敏处理，并将脱敏处理后的模型参数发送至第一级系统，由此，在上述过程中，第二级系统并未进行本地网络攻击数据的上报，解决了数据隐私保护的问题，且可以通过加密的方式将训练后的模型参数发送至第一级系统，进一步提高了数据安全性，同时，采用第二级平台的真实网络攻击数据训练网络攻击检测模型，保证网络攻击检测模型的准确度和检测准确性。
55.步骤103，第一级系统将接收的多个训练后的模型参数进行聚合，生成目标模型参数，并根据目标模型参数更新网络攻击检测模型；以及，第一级系统向每个第二级系统发送更新后的网络攻击检测模型。
56.本实施例中，第一级系统将接收的多个模型参数进行聚合，生成目标模型参数，并根据目标模型参数更新网络攻击检测模型。其中，对多个训练后的模型参数进行聚合的方式可以根据需要选用，例如，可以采用加权平均、排列处理等方式对多个模型参数进行聚合。
57.在本公开的一个实施例中，模型参数包括梯度向量，则第一级系统将接收的多个所述训练后的模型参数进行聚合，生成目标模型参数，包括：第一级系统将接收的多个梯度向量进行聚合，生成目标梯度向量，通过聚合生成一个梯度向量，以根据该生成的梯度向量更新网络攻击检测模型，并进一步将更新后的网络攻击检测模型发送至各第二级系统。
58.步骤104，重复步骤102和步骤103，直至满足预设的停止条件，第一级系统根据当前的目标模型参数生成网络攻击检测模型。
59.本实施例中，重复以上第一级系统下发模型、各第二级系统进行模型训练并上传训练后的模型参数的上下级反馈联动训练过程，使模型迭代进行训练。每次第一级系统向第二级系统发送更新后的网络攻击检测模型后，各第二级系统根据本地的网络攻击数据训练当前接收的网络攻击检测模型，获取训练后的模型参数，并将训练后的模型参数发送至第一级系统。进而，第一级系统将当前接收的多个训练后的模型参数进行聚合，生成当前的目标模型参数，并判断是否满足停止条件，若满足停止条件，则根据当前的目标模型参数更新网络攻击检测模型，将更新后的网络攻击检测模型作为最终的络攻击检测模型。若不满足停止条件，则继续上述下发模型、模型训练、上传模型参数的步骤。第一级系统与第二级系统之间的交互例如参照图2所示。
60.其中，在该上下级反馈联动训练过程中，可设置预设迭代次数以及准确率阈值两个控制参数。
61.在本公开的一个实施例中，满足预设的停止条件，包括：第一级系统获取当前迭代次数，其中，第一级系统每次接收训练后的模型参数时，当前迭代次数计数加一。进而，当第一级系统检测到当前迭代次数等于预设迭代次数时，确定满足停止条件。其中，预设迭代次数可以根据实际需要设置。
62.在本公开的一个实施例中，满足预设的停止条件，包括：第一级系统统计准确率大于预设准确率阈值的第二级系统的数量，当检测到该数量大于预设数量时，确定满足停止条件。举例而言，第一级系统可以确定当前迭代次数，若当前迭代次数小于预设迭代次数，则将接收的多个准确率分别与预设准确率阈值比较，以确定准确率大于预设准确率阈值的第二级系统的数量。
63.本示例中，在第二级系统根据本地的网络攻击数据训练所述网络攻击检测模型之后，还包括：第二级系统根据测试数据集对训练后的网络攻击检测模型进行测试，获取训练后的网络攻击检测模型的准确率，并将准确率发送至第一级系统，即第二级系统每次上传模型参数和该准确率，以使第一级系统确定是否停止训练。
64.根据本公开实施例的技术方案，通过第一级系统向每个第二级系统发送待训练的网络攻击检测模型，每个第二级系统根据本地的网络攻击数据训练网络攻击检测模型，并将训练后的模型参数发送至第一级系统；第一级系统将接收的多个模型参数进行聚合，生成目标模型参数，并根据目标模型参数更新网络攻击检测模型，以及向每个第二级系统发送更新后的网络攻击检测模型；重复以上步骤直至满足预设的停止条件，第一级系统根据当前的目标模型参数生成网络攻击检测模型，由此，采用多级联动的模型训练方式，第一级系统无需统一收集第二级系统的隐私保护数据，实现了在下级数据不可见的情况下的网络攻击检测模型自适应调优，实现了数据的可用而不可见，应用于多级隐私环境下，在保护数据隐私的同时保证了网络攻击检测模型的准确性，进一步提高网络攻击检测的准确度。
65.图3为本公开实施例所提供的一种用于多级系统的模型训练装置的结构示意图，如图3所示，该用于多级系统的模型训练装置包括：发送模块31，训练模块32，更新模块33，生成模块34。
66.其中，发送模块31，用于执行步骤s1、所述第一级系统向每个所述第二级系统发送
待训练的网络攻击检测模型。
67.训练模块32，用于执行步骤s2、每个所述第二级系统根据本地的网络攻击数据训练所述网络攻击检测模型，获取训练后的模型参数，并将所述训练后的模型参数发送至所述第一级系统。
68.更新模块33，用于执行步骤s3、所述第一级系统将接收的多个所述训练后的模型参数进行聚合，生成目标模型参数，并根据所述目标模型参数更新所述网络攻击检测模型；以及，所述第一级系统向每个所述第二级系统发送更新后的网络攻击检测模型。
69.生成模块34，用于执行步骤s4、重复步骤s2和步骤s3，直至满足预设的停止条件，所述第一级系统根据当前的目标模型参数生成网络攻击检测模型。
70.在本公开的一个实施例中，训练模块32具体用于：获取本地的真实攻击事件数据和误报攻击事件数据，其中，所述真实攻击事件数据为正样本，所述误报攻击事件数据为负样本；根据所述真实攻击事件数据和误报攻击事件数据训练所述网络攻击检测模型。
71.在本公开的一个实施例中，所述模型参数包括梯度向量，更新模块33具体用于：所述第一级系统将接收的多个梯度向量进行聚合，生成目标梯度向量。
72.在本公开的一个实施例中，所述满足预设的停止条件，包括：所述第一级系统获取迭代次数，其中，所述第一级系统每次接收所述训练后的模型参数时，所述迭代次数加一；当检测所述迭代次数等于预设次数时，确定满足所述停止条件。
73.在本公开的一个实施例中，该装置还包括：检验模块，用于所述第二级系统根据测试数据集对训练后的网络攻击检测模型进行测试，获取所述训练后的网络攻击检测模型的准确率，并将所述准确率发送至所述第一级系统；
74.所述满足预设的停止条件，包括：所述第一级系统统计所述准确率大于预设准确率阈值的第二级系统的数量，当检测到所述数量大于预设数量时，确定满足所述停止条件。
75.在本公开的一个实施例中，更新模块33具体用于：对所述训练后的模型参数进行数据脱敏处理，并将脱敏处理后的模型参数发送至所述第一级系统。
76.本公开实施例所提供的用于多级系统的模型训练装置可执行本公开实施例所提供的任意用于多级系统的模型训练方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
77.图4为本公开实施例提供的一种电子设备的结构示意图。如图4所示，电子设备600包括一个或多个处理器601和存储器602。
78.处理器601可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备600中的其他组件以执行期望的功能。
79.存储器602可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行程序指令，以实现上文的本公开的实施例的方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
80.在一个示例中，电子设备600还可以包括：输入装置603和输出装置604，这些组件
通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入装置603还可以包括例如键盘、鼠标等等。该输出装置604可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
81.当然，为了简化，图4中仅示出了该电子设备600中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备600还可以包括任何其他适当的组件。
82.除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本公开实施例所提供的任意方法。
83.计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
84.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本公开实施例所提供的任意方法。
85.计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
86.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
87.以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。