保护隐私的可控轻量化联邦学习方法、系统和检测方法与流程

1.本发明涉及网络流量检测、网络隐私保护等网络安全技术领域，以及联邦学习、数据模型压缩等大数据技术领域，具体涉及保护隐私的可控轻量化联邦学习方法、系统和检测方法。


背景技术：

2.随着网络规模的不断扩大，网络流量不断增加，分布式网络流量检测技术也不断深化。不同的子网的训练数据往往不是独立同分布的，各本地数据自身的差异可能会导致局部和全局模型训练不当，造成大量的虚假预警。因此需要进行多检测器协作的分布式流量检测。跨域的协同检测过程可能需要每个涉及域的详细网络数据，然而直接将网络数据进行交互，会造成网络隐私泄露。现在已有研究团队利用联邦学习技术来实现网络流量检测，通过参数来代替数据本身进行交互从而保护本地网络隐私安全，例如已公开专利“基于联邦学习的流量识别方法及装置”（中国专利公开号cn111970277a）、“一种基于联邦学习的流量分类方法及系统”（中国专利公告号cn111865815b）。但是这些研究直接将各本地模型参数直接进行聚合，没有进行轻量化处理，然而神经网络深度学习模型规模较为庞大，当海量的模型参数直接传输时会给造成较大的网络负担，同时影响分布式网络协作流量检测的可扩展性。
3.虽然也有团队对联邦学习中的模型压缩方法进行研究，例如专利“基于联邦学习的目标检测方法、装置、设备”（中国专利公开号cn112257774a），但是该研究首先通过全局服务器收集各分布式网络的数据来对模型进行压缩，而在这过程可能就会造成各子网数据隐私的泄露。


技术实现要素：

4.鉴于现有技术中存在可能会造成各子网数据隐私泄露的技术问题，本发明提供保护隐私的可控轻量化联邦学习方法、系统和检测方法。
5.实现上述目的，本发明提供如下技术方案：第一方面，本发明提供保护隐私的可控轻量化联邦学习方法，包括：各子网节点基于本地训练集以及预设的模型及参数训练本地模型；利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；根据各子网节点的训练集中数据的数目确定最优子网节点，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它子网节点的压缩快照确定全局快照；对所述其它子网节点的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型；各子网节点利用本地训练集对全局压缩模型进行训练，直至各对子网节点训练后的模型进行加权聚合后的模型收敛，获得最终的聚合后的模型。
6.进一步地，所述模型采用卷积神经网络模型。
7.再进一步地，所述利用设定的调节因子计算本地模型各层中需要剪枝的输出通道，包括同时满足以下公式的第i层的第c个输出通道确定为需要修剪的输出通道，其中表示模型第i层的第c个输出通道通过激活函数输出的平均特征映射值；表示模型第i层的所有输出通道通过激活函数输出的平均特征映射值的平均值；，为调节因子且均大于0，表示模型第i层的第c个输出通道的平均零激活百分比，为模型第层所有输出通道的平均零激活百分比的平均值。
8.再进一步地，所述压缩快照包括需要被修剪的输出通道是第几层神经网络，以及需要修剪的输出通道的id号。
9.进一步地，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它各子网节点的压缩快照确定全局快照，包括：在所述其它子网节点的压缩快照中对基准快照中所有需要被修剪的输出通道进行扫描，并统计被修剪的输出通道是否存在于其它子网节点的压缩快照中；当某个输出通道不存在于其它子网节点的压缩快照中，则记录相应的子网节点，当记录的子网节点数量大于设定的输出通道恢复阈值时，则将该输出通道在基准快照中进行删除；最后获得全局快照。
10.进一步地，通过以下公式确定最优子网节点：其中为第i个子网节点的模型的数据不均衡度，为第i个子网节点的本地训练集的数据量占所有训练数据的比例。
11.进一步地，判断加权聚合后的模型是否收敛的方法包括：确定各子网节点训练的模型的损失函数和损失函数标准差的平均值；各子网节点训练的模型的损失函数和与损失函数标准差的平均值都小于等于设定阈值，则确定对子网控制器训练后的模型进行加权聚合后的模型收敛。
12.第二方面，本发明提供保护隐私的可控轻量化联邦学习系统，包括数据层，子网控制层和全局控制层；所述数据层，用于各子网进行数据转发通信；所述子网控制层设置多个子网控制器，所述全局控制层设置全局控制器；所述全局控制器用于向所有子网控制器传输预设的模型及参数与模型压缩所需的调节因子；
所述子网控制器用于进行数据采集并进行特征提取形成本地训练集；接收全局控制器传输的模型、参数和所述调节因子；利用本地训练集、模型及参数训练本地模型，利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；各所述子网控制器将本地训练集中数据的数目、模型和压缩快照传输至全局控制器。
13.全局控制器根据各子网控制器获得的训练集中数据的数目确定最优子网控制器，以最优子网控制器的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网控制器以外的其它子网控制器生成的压缩快照确定全局快照；全局控制器对各子网控制器训练的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型。
14.进一步地，所述子网控制器利用设定的调节因子计算本地模型各层中需要剪枝的输出通道，包括同时满足以下公式的第i层的第c输出通道确定为需要修剪的通道，其中表示模型第i层的第c个输出通道通过激活函数输出的平均特征映射值；表示模型第i层的所有输出通道通过激活函数输出的平均特征映射值的平均值；，为调节因子且均大于0，表示模型第i层的第c个输出通道的平均零激活百分比，为模型第i层所有输出通道的平均零激活百分比的平均值。
15.本发明还提供了保护隐私的可控轻量化联邦学习检测方法，采用如第一方面提供的技术方案任意一种可能的实施方式所提供的保护隐私的可控轻量化联邦学习方法获得模型；输入采集获取的网络流量数据，利用最终获得的模型进行流量检测。
16.本发明取得以下有益技术效果：本发明中无需进行各子网数据的收集，而是由各子网节点在本地进行模型训练与压缩，再对各子网节点的压缩模型进行处理与聚合形成能够体现全局数据特性的全局压缩模型。
17.另外在此过程中，系统可以通过参数调整实现全局压缩模型的规模控制，从而实现可控的轻量化联邦学习，且全局控制器不用收集与掌握具体的流量隐私信息。
18.通过最终训练的全局压缩模型对本地流量进行检测，整个过程中本地的训练数据都不需要进行传输交互，从而保护了分布式网络的本地数据隐私安全。
附图说明
19.图1是具体实施例提供的支持隐私保护的可控轻量化联邦学习系统框架示意图；图2是具体实施例提供的支持隐私保护的可控轻量化联邦学习方法流程示意图。
具体实施方式
20.以下结合说明书附图和具体实施例对本发明做进一步说明。
21.实施例1：保护隐私的可控轻量化联邦学习方法，包括：
各子网节点基于本地训练集以及全局节点预设的模型及参数训练本地模型；利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；全局节点根据各子网节点的训练集中数据的数目确定最优子网节点，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它子网节点的压缩快照确定全局快照；全局节点对各子网节点的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型；各子网节点利用本地训练集对全局压缩模型进行训练，直至各对子网节点训练后的模型进行加权聚合后的模型收敛，获得最终的聚合后的模型。
22.各子网节点的交换机数据转发通信。全局节点向所有子网节点传输与部署初始化的卷积神经网络深度学习模型、参数与模型压缩所需的调节因子。子网节点利用本地训练数据对初始模型进行训练，并根据调节因子计算本地模型压缩快照。全局节点挑选出各子网节点中的最优子网节点，将最优子网节点的压缩模型为基准快照；根据基准快照、通道恢复阈值和各子网节点的压缩快照确定全局快照；全局节点对各子网节点的模型进行加权聚合形成聚合后的全局模型；根据全局快照以及通道恢复阈值，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型；子网节点再利用本地数据对全局压缩模型进行训练，全局节点再将各子网节点训练后的模型直接聚合，依次迭代直至聚合后的模型收敛。由于无需收集各子网训练集数据或存储训练集数据从而保证了本地数据的隐私性，并通过可控轻量化联邦学习减少网络通信负担与本地计算负载。本实施例提供的联邦学习方法具体包括以下步骤：步骤1，全局节点预先确定初始化的深度学习模型、参数与控制模型规模的压缩参数，即调节因子。
23.步骤2，子网节点通过本地交换机进行数据采集，并进行特征提取形成本地训练集。子网节点利用本地训练数据集，对初始化的模型进行训练。在第一轮模型聚合通信前，为了减少冗余的模型参数提高通信效率，子网节点根据预设的调节因子，计算本地训练的深度学习网络模型各层中需要剪枝的输出通道，并同时生成各压缩快照，压缩快照中记录各个子网模型中具体的剪枝通道。
24.本实施例中，模型采用卷积神经网络。
25.其中步骤2中，各子网节点计算需要剪枝的输出通道形成压缩快照的方法如下：卷积神经网络中使用多个卷积层，卷积层包含多个卷积核即为多个输出通道，输入训练实例数据与卷积层的卷积核进行卷积运算，得到的值通过激活函数relu（rectified linear units）函数输出多个特征映射值。各输出通道通过激活函数输出的平均特征映射值与平均零激活百分比的均值作为的阈值来进行可控压缩。
26.定义平均零激活百分比(apz)来衡量各层输出通道神经元通过relu映射后的零激活百分比。令表示第i层的第c个输出通道通过relu函数后的输出值。那么第i层的第c个输出通道的平均零激活百分比则表示为如下公式：
为第k个训练实例在模型第i层的第c个输出通道通过relu函数后输出的第j个特征映射值。其中，若relu映射后的值为0则为1，否则的值为0。m代表输出特征映射的总数。n代表训练实例的总数。
27.为了判别卷积神经网络第i层的某个输出通道的参数冗余性是否过大，可以将该层的作为阈值进行比较，为模型第i层所有输出通道的平均零激活百分比的平均值，的计算公式如下，其中h为该层的输出通道的数目。
28.虽然可以通过平均零激活百分比来衡量网络每层输出通道的冗余度，同时也需要衡量各输出通道的贡献度。因此还需计算每层输出通道通过relu函数之后的平均特征映射值。表示模型第i层的第c个输出通道通过relu函数输出的平均特征映射值，表示如下：其中为第k个训练实例在模型第i层的第c个输出通道通过relu函数后输出的第j个特征映射值。
29.当越大时，说明该输出通道的权值贡献度就越大，对于数据分类的影响就越大。
30.为了保留有用的输出通道，可以将与该层的作为阈值进行比较，表示模型第层的所有输出通道通过relu函数输出的平均特征映射值的平均值，的计算公式如下。
31.在计算本地模型需要剪枝的输出通道时，可将平均零激活百分比较高，而权值贡献度较低的输出通道剪枝，剪枝条件如以下公式。其中，为调节因子且均大于0，通过
调整，的值可以调整压缩模型的大小。
32.同时满足以上两个公式的第i层的第c输出通道确定为需要修剪的通道。
33.然后通过key-value形式的快照，记录本地训练模型需要剪枝的输出通道，其中key记录第几层神经网络，value记录需要修剪的输出通道的id号。
34.步骤3，全局节点利用各子网训练集各类数据的数目计算各子网训练性能，并选出最优子网节点。以最优子网节点的压缩快照为基准快照，并设置通道恢复阈值，然后对除最优子网节点的其它所有子网节点的压缩快照进行扫描，当基准快照中某个被修剪的输出通道不存在于其它节点的快照中，且这些节点数量大于设定的通道恢复阈值时，则将该输出通道在基准快照中进行删除，形成全局快照。其次，全局控制器对子网控制器的训练模型进行加权聚合形成全局模型，然后根据全局快照，对聚合的全局模型的各层输出通道进行修剪形成全局压缩模型。
35.其中步骤3中，根据子网节点的训练集数据总量情况和数据不均衡度计算各子网训练集性能，根据各子网训练集性能选出最优子网节点,具体步骤如下：当第i个子网节点的本地训练集的数据量占所有训练数据的比例越大，且第i个子网节点的数据不均衡度越小，该子网节点的模型的精度就有可能越高。与的计算公式如下：计算公式如下：其中，为第i个子网节点训练数据数量；n为数据的种类数目；为第i个子网节点中第j种类别数据的数目；为第i个子网控制器中各类数据的平均数目。
36.因而，可以集合各节点的训练数据数量占所有训练数据总量的比例和数据不均衡度通过以下公式找到最优节点，表示第i个节点训练数据的性能评估值。但是最优子网节点的压缩模型结构只能体现其所对应的子网的训练数据特性。
37.其中步骤3中，以最优子网节点的压缩模型为基准，进行模型聚合与压缩，具体步骤如下：首先，将最优节点的压缩快照作为基准快照，对基准快照中所有需要被修剪的输出通道，在其它子网节点的压缩快照中进行扫描，并统计被修剪的输出通道是否存在于其它子网节点的压缩快照中。当基准快照中某个被修剪的输出通道不存在于其它子网节点的压缩快照中，则进行记录，当这些子网节点数量大于设定的通道恢复阈值z时（，k为所有的子网控制器节点数目），则将该输出通道在基准快照中进行删除，获得全局快照。而当设定值z越大时，需要从基准快照中删除的通道数会越小。
38.然后，利用加权平均公式，对所有子网节点训练的模型的权重进行聚合，计算出全局模型。
[0039]039]
为第i个子网控制器训练数据数量，表示第1轮聚合的第i个子网控制器的模型权值。
[0040]
其次，根据全局快照，对全局模型的各层输出通道进行剪枝形成全局压缩模型。
[0041]
因而系统管理员可以通过设定的调节因子、通道恢复阈值来控制全局压缩模型规模大小。
[0042]
步骤4，各子网节点利用本地数据对全局压缩模型进行训练，当到达规定训练次数，计算各子网模型t次训练的损失函数值的均值与标准差。
[0043][0043]
其中为第k个子网控制器第j轮的t次训练的损失函数值的标准差，为第i次训练的损失函数，是第j轮的t次训练的损失函数平均值。
[0044]
步骤5，对各子网节点训练的模型进行加权聚合，然后计算本轮聚合通信的各子网节点训练的模型的损失函数和s、损失函数标准差的平均值，计算公式如下（其中k是子网节点的个数）：子网节点的个数）：若各子网节点的模型的损失函数和s、损失函数标准差的平均值都小于等于设定阈值，则聚合后的全局模型收敛；，否则子网节点重复步骤4。
[0045]
可选地，还包括步骤6，各子网节点利用本地数据对收敛的全局模型进行微调，获得微调后的最新模型。
[0046]
实施例2：与实施例1相对应地，本实施例提供保护隐私的可控轻量化联邦学习系统，该系统框架如图1所示，分为数据层，子网控制层和全局控制层。在数据层，各子网的交换机数据转发通信。而子网层控制器主要负责对本地的交换机进行管理，并对本地数据(本实施例采用网络流量数据)进行检测，彼此之间并互不通信，子网控制器也不会向外传输本地数据以防止隐私泄露。在全局层，全局控制器向所有子网控制器传输与部署初始化的流量检测卷积神经网络深度学习模型、参数与模型压缩所需的调节因子。子网控制器利用本地流量训练数据对初始模型进行训练，并根据调节因子计算本地模型压缩快照。全局控制器挑选出最优节点的压缩模型为基准快照；根据基准快照与设定的通道恢复阈值进行首轮模型聚合与压缩形成全局压缩模型，并将全局压缩模型发送至子网控制器。子网控制器再利用本地数据对全局压缩模型进行训练，全局控制器再直接聚合，依次迭代直至收敛。子网控制器利用收敛模型进行本地检测，由于全局控制器无需收集各子网训练集数据或存储训练集数据从而保证了本地数据的隐私性，并通过可控轻量化联邦学习减少网络通信负担与本地计算负载。本实施例包括以下：1）子网控制器在全局控制器中进行注册，由全局控制器对子网控制器进行统一管理，然后全局控制器向所有子网控制器传输与部署初始化的流量检测深度学习模型参数与控制模型规模的压缩参数。
[0047]
2）子网控制器通过本地交换机进行流量数据采集，并进行特征提取形成本地流量检测训练集。子网控制器利用本地训练数据集，对初始化的检测模型进行训练。在第一轮模型聚合通信前，为了减少冗余的模型参数提高通信效率，子网控制器根据接收的压缩参数，
计算本地训练的深度学习网络模型各层中需要剪枝的输出通道，并同时生成各压缩快照，压缩快照中记录各个子网模型中具体的剪枝输出通道。本地控制器将本地各类训练数据的数目、各子网控制器训练模型、剪枝快照传输至全局控制器。
[0048]
其中各子网控制器计算需要剪枝的输出通道形成压缩快照的方法如下：卷积神经网络中使用多个卷积层，卷积层包含多个卷积核即为多个输出通道，输入训练实例数据与卷积层的卷积核进行卷积运算，得到的值通过激活函数relu（rectified linear units）函数输出多个特征映射值。各输出通道通过激活函数输出的平均特征映射值与平均零激活百分比的均值作为的阈值来进行可控压缩。
[0049]
定义平均零激活百分比(apz)来衡量各层通道神经元通过relu映射后的零激活百分比。令表示第i层的第c个输出通道通过relu函数后的输出值。那么第i层的第c个通道的平均零激活百分比表示为如下公式：表示为如下公式：为第k个训练实例在模型第i层的第c个输出通道通过relu函数后输出的第j个特征映射值。其中，若relu映射后的值为0则为1，否则的值为0。m代表输出特征映射的总数。n代表训练实例的总数。
[0050]
为了判别卷积神经网络第i层的某个输出通道的参数冗余性是否过大，可以将该层的作为阈值进行比较，为模型第i层所有输出通道的平均零激活百分比的平均值,的计算公式如下，其中h为该层的通道数目。
[0051]
虽然可以通过平均零激活百分比来衡量网络每层通道的冗余度，同时也需要衡量各通道的贡献度。因此还需计算每层输出通道通过relu函数之后的平均特征映射值。
[0052]
表示模型第i层的第c个输出通道通过relu函数输出的平均特征映射值，表示如下：其中为第k个训练实例在模型第i层的第c个输出通道通过relu函数后输出的第j个特征映射值。
[0053]
当越大时，说明该输出通道的权值贡献度就越大，对于流量分类的影响就越大。
[0054]
为了保留有用的输出通道，可以将与该层的作为阈值进行比较，表示模型第i层的所有输出通道通过relu函数输出的平均特征映射值的平均值，的计算公式如下。
[0055]
在计算本地模型需要剪枝的输出通道时，可将平均零激活百分比较高，而权值贡献度较低的通道剪枝，剪枝条件如以下公式。其中、为调节因子且均大于0，通过调整，的值可以调整压缩模型的大小。
[0056]
同时满足以上两个公式的第i层的第c输出通道确定为需要修剪的通道。
[0057]
然后通过key-value形式的快照，记录本地训练模型需要剪枝的输出通道，其中key记录第几层神经网络，value记录需要修剪的输出通道的id号。然后，子网控制器将剪枝快照、子网控制器训练后模型参数矩阵、本地各类训练数据数目、模型训练后的损失函数值传输至全局控制器。
[0058]
3）在首轮聚合通信时，全局控制器接收到各子网控制器的训练模型、快照和训练数据的数目参数后，利用各子网训练集各类数据的数目计算各子网训练性能，并选出最优子网控制器。以最优子网控制器的压缩快照为基准，并设置输出通道恢复阈值，然后对除最优子网的其它所有子网的压缩快照进行扫描，当基准快照中某个被修剪的输出通道不存在于其它节点的快照中，且这些节点数量大于设定的通道恢复阈值时，则将该输出通道在基准快照中进行删除，形成全局快照。其次，全局控制器对子网控制器的训练模型进行加权聚合形成全局模型，然后根据全局快照，对聚合的全局模型的各层输出通道进行修剪形成全局压缩模型，最后将全局压缩模型发送至各子网控制器。
[0059]
其中3）中，全局控制器接收到全部子网控制器节点数据总量情况和数据不均衡度计算各子网训练集性能，根据各子网训练集性能选出最优子网控制器节点,具体步骤如下：当某子网控制器节点的训练数据量占所有训练数据的比例越大，且流量数据不均衡度越小，该节点的子网模型的精度就有可能越高。与的计算公式如下：
其中，为第i个子网控制器训练数据数量；n为流量的种类数目；为第i个子网控制器中第j种类别流量的数目；为第i个子网控制器中各类流量的平均数目。
[0060]
因而，全局控制器可以集合各节点的训练数据数量占所有训练数据总量和数据不均衡度通过以下公式找到最优节点，表示第i个节点训练数据的性能评估值。但是最优节点的子网压缩模型结构只能体现其所对应的子网的训练数据特性。
[0061]
其中全局控制器以最优子网控制器的压缩模型为基准，进行模型聚合与压缩，具体步骤如下：首先，全局控制器将最优解点的快照最为基准，对基准的快照中所有需要被修剪的输出通道，在其它子网控制器的快照中进行扫描，并统计被修剪的输出通道是否存在于其它子网控制器的快照中。当基准快照中某个被修剪的输出通道不存在于其它节点的快照中，则进行记录，当这些节点数量大于设定的通道恢复阈值是z时（，k为所有的子网控制器节点数目），则将该输出通道在基准快照中进行删除，获得全局快照。而当设定值z越大时，需要从基准快照中删除的通道数会越小。
[0062]
然后，全局控制器对利用加权平均公式，对所有子网控制器的训练模型的权重进行聚合，计算出全局模型。
[0063]063]
为第i个子网控制器训练数据数量，表示第1轮聚合的第i个子网控制器的模型权值。
[0064]
其次，根据全局快照，对全局模型的各层输出通道进行剪枝形成全局压缩模型，并
将全局压缩模型发送至各子网控制器。
[0065]
因而系统管理员可以通过设定压缩参数、通道恢复阈值来控制全局压缩模型规模大小。
[0066]
4）子网控制器利用本地数据对全局压缩模型进行训练，当到达规定训练次数，计算各子网模型t次训练的损失函数值的均值与标准差。
[0067][0067]
其中为第k个子网控制器第j轮的t次训练的损失函数值的标准差，为第i次训练的损失函数，是第j轮的t次训练的损失函数平均值。然后，子网控制器将损失函数值的均值、损失函数值的标准差、本地训练模型发送给全局控制器。
[0068]
5）为了使各子网模型的收敛达到平衡状态，全局控制器对各子网控制器的训练模型进行加权聚合，然后计算本轮聚合通信的各子网训练模型的损失函数和s、损失函数标准差的平均值，计算公式如下（其中k是子网控制器的个数）：，计算公式如下（其中k是子网控制器的个数）：若各子网检测模型的损失函数和s、损失函数标准差的平均值都小于等于设定阈值，则将聚合后的模型与收敛信息发送至子网控制器，否则将聚合后的模型与非收敛信息发送至各子网控制器，子网控制器重复步骤4）。
[0069]
可选地，还包括6）各子网控制器则利用本地数据对全局模型进行微调，然后利用微调后的最新模型对本地流量进行检测。当检测出异常流量时，各子网控制器通过有效措施对异常攻击进行有效缓解。
[0070]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产
品的形式。
[0071]
本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0072]
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0073]
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0074]
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。