一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于条件的能量生成对抗网络的网络攻击恢复方法与流程

2021-12-17 19:48:00 来源:中国专利 TAG:


1.本发明属于网络信息安全技术领域,涉及网络攻击恢复技术,特别涉及一种级联的基于博弈的深度学习模型。


背景技术:

2.随着工业化与信息化结合的不断紧密,工业控制系统越来越多地采用标准化通信协议和软硬件,并通过互联网来实现远程控制和操作。虽然这种方式显著提高了复杂工业系统的效率,但这种连接打破了原有系统的封闭性和专有性,造成勒索软件攻击、信息泄露等网络安全问题向工控领域迅速扩散,直接影响大量工控相关基础设施安全。针对工业控制系统的网络攻击意在破坏网络物理系统中与控制相关的数据,从而导致物理系统的控制发生故障。在工业控制系统(ics)中可编程逻辑控制器(plc)是一种现场设备,可以直接连接到传感器和执行器或其他现场设备,其主要功能是监督和控制物理过程。对于攻击者而言,plc提供最有效的渗透点,因为对plc中数据进行篡改可以轻松使物理系统达到不稳定状态并对系统造成重大的经济损失和物理设备损坏。
3.面对日益加剧的工业控制系统运行安全问题,针对网络攻击恢复的研究显得格外重要。传统的网络攻击恢复根据恢复机制的不同可以分为控制理论方法和自动机理论的方法。控制理论的方法主要通过构建基于过程模型的观测器或参数估计器,与滤波技术相结合,用于恢复被攻击的状态估计,然而,物理系统的运行行为可能会变得过于复杂,很难构造符合系统特性的观测器或参数估计器。此外,影响行为的未知因素可能很多,这同样给构造观测器或参数估计器带来了挑战。而自动机理论的方法通过改变系统物理结构并设计相应的状态自动机来约束系统的运行行为,从而在一定程度上实现对网络攻击的检测和恢复。但是,这种方法一方面可扩展性较差,另一方面由于这种方法需要设置大量的状态,这会导致需要花费大量精力用于维护这些状态。
4.随着计算设备的性能不断提高,数据驱动方法即深度学习技术逐渐成为了人工智能领域的研究热点,一些研究者将深度学习领域的技术运用到了网络攻击恢复的领域。这种基于数据驱动的方法在恢复过程中对于不同领域的工业控制系统具有显著的泛化性,并且可以有效避免构造观测器或参数估计器的困难。但是,这种基于数据驱动的方法在训练模型阶段往往会花费大量时间,并且得到的结果精度和稳定性还有进一步提高的可能。然而,现有技术或是针对训练时间过长的缺陷进行改进,又或是进一步提高恢复结果的精度及稳定性,从而导致基于数据驱动的网络攻击恢复技术出现训练时间非常迅速但恢复精度及稳定性较差或是恢复精度较高但训练时间过长的问题,这在一定程度上制约了现有技术在实际场景中的应用。因此,如何保证系统遭受攻击后使系统仍然可以正常运行,是目前网络攻击恢复领域的研究热点。


技术实现要素:

5.本发明所要解决的技术问题是提供一种基于条件的能量生成对抗网络的网络攻
击恢复方法和系统,用于解决现有的网络攻击恢复方法,数据恢复精度依赖于物理系统建模精确性的问题,以及现有的基于深度学习的网络攻击恢复技术,因其训练过程难以控制所导致的恢复精度和稳定性较差的问题。
6.本发明解决上述技术问题的技术方案如下:一种基于条件的能量生成对抗网络的网络攻击恢复方法,包括:
7.步骤1,将流量数据中表示为传感器测量值作为输入,对基于条件的生成对抗网络进行训练,并用训练好的模型生成特征数据。
8.步骤2,将步骤1中训练好的基于条件的生成对抗网络生成的特征数据作为额外信息与随机噪声拼接作为输入,训练基于条件的能量生成对抗网络,当训练轮数大于一定的阈值后利用自适应决策策略比较生成器生成的测量值以及鉴别器重构的测量值之间的均方误差,选择最佳的恢复测量值的方法作为最终的恢复测量值的手段。
9.步骤3,利用恢复数据与真实数据间的绝对误差对恢复效果进行评价,并统计不同模型训练相同大小的数据集所需的时间和所需占用的空间,并利用这些指标衡量不同模型之间恢复性能的差异。
10.进一步,所述步骤1中将流量数据中表示为传感器测量值作为输入,对基于条件的生成对抗网络进行训练,并用训练好的模型生成特征数据的过程具体包括:
11.步骤11,将流量中的传感器测量值存储为csv文件;
12.步骤12,区分数据是否异常并打上相应标签;
13.步骤13,构建基于条件的生成对抗网络;
14.步骤14,训练鉴别器;
15.步骤15,根据每一批次数据按照步骤12所打的具有真实的样本数量控制每一轮中训练生成器的轮数;
16.步骤16,如果此时模型已经训练完成,利用基于条件的生成对抗网络模型生成系统的特征数据。
17.进一步,所述步骤2中将步骤1中训练好的基于条件的生成对抗网络生成的特征数据作为额外信息与随机噪声拼接作为输入,训练基于条件的能量生成对抗网络,当训练轮数大于一定的阈值后利用自适应决策策略比较生成器生成的测量值以及鉴别器重构的测量值之间的均方误差,选择最佳的恢复测量值的方法作为最终的恢复测量值的手段的具体流程包括:
18.步骤21,将基于条件的生成对抗网络生成的数据作为额外信息与随机生成的噪声拼接起来作为基于条件的能量生成对抗网络生成器的输入;
19.步骤22,构造基于条件的能量生成对抗网络;
20.步骤23,依据每一批样本中真实样本的数量控制每一轮中训练生成器的轮数;
21.步骤24,依据每一批样本中真实样本的数量控制每一轮中训练鉴别器的轮数;
22.步骤25,当训练轮数大于一定的阈值后比较生成数据的均方误差是否小于重构数据的均方误差;
23.步骤26,利用自适应决策策略选择最优的方式作为最终恢复。
24.进一步,所述步骤3中利用恢复测量值与真实测量值间的绝对误差对恢复效果进行评价,并统计不同模型训练相同大小的数据集所需的时间和所需占用的空间,并利用这
些指标衡量不同模型恢复性能的差异具体包括:
25.步骤31,计算恢复测量值与真实测量值之间的绝对误差;
26.步骤32,统计不同模型的训练时长;
27.步骤33,记录程序代码和模型的存储空间。
28.基于上述方法,本发明的技术方案还包括了一种级联式基于条件的能量生成对抗网络的网络攻击恢复系统,包括:
29.基于条件生成式对抗网络的模拟系统运行模块,其用于以流量数据中表示为传感器测量值作为输入,对基于条件的生成对抗网络进行训练,并用训练好的模型生成特征数据。
30.基于条件的能量生成式对抗网络的数据恢复模块,其用于以训练好的基于条件的生成对抗网络生成的特征数据作为额外信息与随机噪声拼接作为输入,训练基于条件的能量生成对抗网络,当训练轮数大于一定的阈值后利用自适应决策策略比较生成器生成的测量值以及鉴别器重构的测量值之间的均方误差,选择最佳的恢复测量值的方法作为最终的恢复测量值的手段。
31.基于模型评估模块,用于以利用恢复数据与真实数据间的绝对误差对恢复效果进行评价,并统计不同模型训练相同大小的数据集所需的时间和所需占用的空间,并利用这些指标衡量不同模型之间恢复性能的差异。
32.进一步,所述基于条件生成式对抗网络的模拟系统运行模块包括:
33.数据转换模块,其用于将流量数据中表示传感器测量值的部分转换为十进制的表达形式,并依据是否受到攻击为每个数据打上标签,以此作为训练样本。
34.基于条件的生成对抗网络模块,其用于模拟系统正常运行时的行为,并利用训练好的模型生成系统的特征数据。
35.进一步,所述基于条件的能量生成式对抗网络的数据恢复模块包括:
36.构造生成器输入模块,其用于利用基于条件生成对抗网络生成的系统特征数据与随机生成的噪声拼接起来,作为基于条件的能量生成对抗网络生成器的输入。
37.基于条件的能量生成对抗网络训练模块,其用于依据训练样本使模型收敛于预期的性能,并利用训练好的模型恢复测量值。
38.自适应决策策略模块,其用于比较生成器生成的测量值以及鉴别器重构的测量值之间的均方误差,选择最佳的恢复测量值的方法作为最终的恢复测量值的手段。
39.进一步,所述模型评估模块包括:
40.测量值精度评估模块,用于计算不同模型生成的测量值与真实测量值之间的绝对误差。
41.时空损失评估模块,用于统计不同模型运用相同数量的数据集所需的训练时间,以及生成模型和代码总计所需的存储空间大小。
42.本发明的有益效果是:
43.一、本发明提出了一个级联的生成对抗网络来恢复网络攻击。该方法通过将基于条件的生成对抗网络和基于条件的能量生成对抗网络叠加在一起,在模拟系统运行情况阶段由基于条件的生成对抗网络快速把握系统正常运行中寄存器测量值的特征,达到对模拟系统运行的效果。在数据恢复阶段运用基于条件的能量生成对抗网络,将基于条件的生成
对抗网络训练好的生成器生成的特征数据作为额外信息输入,以此约束模型的拟合方向,并在训练完成后分别比较生成器生成的恢复数据和鉴别器重构的数据与目标数据的均方误差,选择均方误差更小的那种方式作为最终的恢复数据的方式,从而达到期望的数据恢复精度。实验结果验证了本文所提出的方法与传统方法相比具有更高的恢复精度和稳定性。此外,该方法也很好的限制了训练模型所需要的时间。
44.二、本发明对传统的基于能量的生成对抗网络进行了改进,引入了额外信息。这种额外信息使模型在训练过程中具有一定的方向引导,使之可以快速的收敛于期望的目标,同时也提高了模型恢复值的精度。实验结果证明这种加入额外信息的基于能量的生成对抗网络具有更高的恢复数据精度。
45.三、本发明设计了一种自适应决策策略来选择最优的恢复数据方式作为,以保证选择恢复效果最好的方式进行恢复。我们将基于条件的能量生成对抗网络的生成器产生的生成数据与生成数据经由自动编码器后所得的重构数据作为输入,通过比较最后10轮中不同恢复结果与真实数据之间的均方误差的累计大小,从而选择累计数值较小的方式作为恢复的方法。
附图说明
46.图1为本发明所述一种基于条件的能量生成对抗网络的网络攻击恢复方法的流程示意图;
47.图2为本发明实施例一中训练基于条件的生成对抗网络的流程示意图;
48.图3为本发明实施例一中构建基于条件的能量生成对抗网络以及实施自适应决策策略的流程示意图;
49.图4为本发明实施例一中利用恢复测量值与真实测量值之间的绝对误差以及不同模型所需的训练时间以及所需占用的存储空间对不同模型的恢复性能进行衡量的流程示意图;
50.图5为本发明实施例二中不同模型对不同寄存器中测量值恢复结果的实验结果图;
51.图6为本发明实施例二中不同模型对不同寄存器中测量值恢复结果与相应真实测量值之间的绝对误差的实验结果图;
52.图7为本发明实施例二中不同模型对不同寄存器中测量值的恢复结果置信区间折线图的实验结果图;
53.图8为本发明实施例二中不同模型对不同寄存器中测量值恢复结果与相应真实测量值之间的绝对误差箱线图的实验结果图;
54.图9为本发明实施例二中级联式基于条件的能量生成对抗网络是否采用自适应决策策略对测量值恢复精度及稳定性影响的实验结果图。
55.图10为本发明实施例二中不同模型训练相同数量的数据集所需的训练时间以及代码和模型保存所需的存储空间。
具体实施方式
56.以下结合附图对本发明的原理和特征进行描述,所举实例只是用于解释本发明,
而并非用于限定本发明的范围。
57.实施例一
58.如图1所示,实施例一是一种级联式基于条件的能量生成对抗网络方法,该方法由三个步骤构成:训练可以模拟系统正常运行状况的基于条件的生成对抗网络模型,建立基于条件的能量生成对抗网络模型并实施自适应决策策略,以及利用恢复的测量值与真实测量值之间的绝对误差以及模型所造成的时空损失对不同模型的恢复性能进行评估。具体内容描述如下:
59.步骤1,将流量数据中表示为传感器测量值作为输入,对基于条件的生成对抗网络进行训练,并用训练好的模型生成特征数据。
60.步骤2,将步骤1中训练好的基于条件的生成对抗网络生成的特征数据作为额外信息与随机噪声拼接作为输入,训练基于条件的能量生成对抗网络,当训练轮数大于一定的阈值后利用自适应决策策略比较生成器生成的测量值以及鉴别器重构的测量值之间的均方误差,选择最佳的恢复测量值的方法作为最终的恢复测量值的手段。
61.步骤3,利用恢复测量值与真实测量值间的绝对误差对恢复效果进行评价,并统计不同模型训练相同大小的数据集所需的时间和所需占用的空间,并利用这些指标衡量不同模型之间恢复性能的差异。
62.如图2所示,上述步骤1中将流量数据中表示为传感器测量值作为输入,对基于条件的生成对抗网络进行训练,并用训练好的模型生成特征数据的具体内容如下所述:
63.步骤11,将流量中的传感器测量值存储为csv文件:在该过程中,传统的网络流量数据中的数据域部分将被转换为csv文件以满足神经网络的输入需求。我们从中筛选出表示传感器测量值得字节,并依据相应的转换规则得到相应的十进制数值。转换规则是将流量数据中数据域部分的十六进制数转换为二进制,再根据ieee754标准将对应的二进制数转换为对应的浮点数保存在csv文件中。
64.步骤12,区分数据是否异常并打上对应的标签:为了使模型在训练时具有一定的目标导向,因此将上一步处理后的流量信息按时间进行排序,并根据数据是否异常打上对应的代表正常或是攻击的标签,之后本文将代表数据是否异常的标签作为先验知识同所得到的数据一起输入训练。
65.步骤13,构建基于条件的生成对抗网络:由于构建符合物理系统行为特征的观测器和参数估计器需要详细了解系统的运行情况,并根据具体情况设置相应的参数,而且有许多未知因素会影响系统行为。因此,当输入数据受到干扰时,我们得到的输出可能是一个与系统的行为特征毫无关系的结果。基于条件的生成对抗网络能够对任意的输入产生有相关意义的数据,从而克服这个缺点。同时为了尽可能节省模型训练所需时间,本发明在设计基于条件的生成对抗网络模型时全部使用全连接层,并减少全连接层的层数和每一层的单元数来减少保存模型时会造成的存储损失。
66.步骤14,训练鉴别器:将步骤11所得到的数据以及步骤12中得到的数据标签按照批量进行封装,并在训练模型阶段将数据和标签拼接起来,以此作为输入数据送入步骤13所构造的鉴别器中。
67.步骤15,训练生成器:根据训练过程中的批量随机生成噪声,并与代表虚假数据含义的标签拼接起来,以此作为输入数据送入步骤3所构造的生成器中。
68.步骤16,判断生成器的循环次数:在训练阶段,会将从csv文件中读取的数据按照批量进行封装,并根据每一批中正常数据的数量对基于条件的生成对抗网络中的生成器在每一轮中的循环次数进行控制,从而可以使生成器更快速高效的提取数据特征。
69.步骤17,输出生成特征:在训练结束后,将生成器生成的恢复数据作为系统正常运行时的数据特征。
70.如图3所示,上述步骤2中将步骤1中训练好的基于条件的生成对抗网络生成的特征数据作为额外信息与随机噪声拼接作为输入,训练基于条件的能量生成对抗网络,当训练轮数大于一定的阈值后利用自适应决策策略比较生成器生成的测量值以及鉴别器重构的测量值之间的均方误差,选择最佳的恢复测量值的方法作为最终的恢复测量值的手段的具体内容如下所述:
71.步骤21,利用基于条件的生成对抗网络得到的数据特征作为额外信息来约束模型的拟合方向:基于条件的生成对抗网络生成的特征数据能够反映出系统正常运行时传感器测量值的大致特征范围,以此作基于条件的能量生成对抗网络的生成器的额外信息,从而可以更为快速的使模型收敛。
72.步骤22,构造基于条件的能量生成对抗网络:传统的生成对抗网络中的鉴别器最后所得到的结果为一个[0,1]之间的概率值,代表当前数据被鉴别器判断为真实数据的数据。而基于条件的能量生成对抗网络中,我们用一个自动编码器替代了传统意义上的鉴别器,其作用为重构数据,并利用均方误差作为损失函数从而可以更为准确的对模型拟合的轮廓进行调整。在此基础上,通过引入额外信息引导模型的训练过程。其中,y
k
代表神经网络的第k项输出结果,t
k
代表训练数据的第k项目标结果,均方误差损失函数的表达形式如下所示:
[0073][0074]
步骤23,训练生成器:将基于条件的生成对抗网络生成的特征数据作为额外信息与生成的随机噪声结合在一起作为输入数据,送入步骤22所构造的生成器中。
[0075]
步骤24,判别生成器的循环次数:在训练阶段,将基于条件的生成对抗网络生成的特征数据与随机噪声结合作为输入,并根据生成器生成的数据与鉴别器重构的数据之间的均方误差对基于条件的能量生成对抗网络中的生成器在每一轮中的循环次数进行控制。
[0076]
步骤25,训练鉴别器:将第二阶段生成器的生成数据以及训练数据输入,并分别与各自标签拼接后送入步骤22所构造的鉴别器中。
[0077]
步骤26,判别鉴别器的循环次数:在训练阶段,将从csv文件中读取的数据按照批量进行封装,并根据每一批中正常数据的数量对基于能量的条件生成对抗网络中的鉴别器在每一轮中的循环次数进行控制。
[0078]
步骤27,根据均方误差确定输出形式:由于基于能量的条件生成对抗网络中的鉴别器的输出不是传统的概率,而是重构出来的恢复数据。因此,本文通过在训练过程中不断累积鉴别器重构出来的恢复数据以及生成器生成的恢复数据与目标数据之间的均方误差,选择较小的方式作为最后恢复数据的方式。
[0079]
步骤28,输出最终恢复数据:在训练结束后,根据步骤27决定的恢复方式,生成最终的恢复数据。
[0080]
如图4所示,上述步骤3中利用恢复测量值与真实测量值间的绝对误差对恢复效果进行评价,并统计不同模型训练相同大小的数据集所需的时间和所需占用的空间,并利用这些指标衡量不同模型的恢复性能的具体内容如下所述:
[0081]
步骤31,计算恢复数据与真实数据之间的绝对误差的绝对值:通过计算运用本文所提出的方法得到未来5个时间步的恢复数据与系统未来5个时间步的真实数据之间的绝对误差来衡量本文所提出方法的恢复精度。其中,y
k
为模型未来第k个时间步所得到的恢复数据,t
k
为目标系统训练数据未来第k个时间步目标结果,绝对误差的表达形式如下所述:
[0082]
e=yk

tk
[0083]
步骤32,统计训练过程时长:利用python内置的时间函数,以毫秒为单位,在训练开始和训练结束时分别记录一个时间,其差值为训练过程的时长。
[0084]
步骤33,记录程序代码以及模型所需要的存储空间:通过查看程序代码的属性以及保存模型的属性记录下所占用的存储空间大小。
[0085]
基于上述一种基于条件的能量生成对抗网络的网络攻击恢复方法,本例还给出一种对应的级联式基于条件的能量生成对抗网络的网络攻击恢复系统的具体描述如下,包括:
[0086]
基于条件生成式对抗网络的模拟系统运行模块,其用于以流量数据中表示为传感器测量值作为输入,对基于条件的生成对抗网络进行训练,并用训练好的模型生成特征数据。
[0087]
基于条件的能量生成式对抗网络的数据恢复模块,其用于以训练好的基于条件的生成对抗网络生成的特征数据作为额外信息与随机噪声拼接作为输入,训练基于条件的能量生成对抗网络,当训练轮数大于一定的阈值后利用自适应决策策略比较生成器生成的测量值以及鉴别器重构的测量值之间的均方误差,选择最佳的恢复测量值的方法作为最终的恢复测量值的手段。
[0088]
基于模型评估模块,用于以利用恢复数据与真实数据间的绝对误差对恢复效果进行评价,并统计不同模型训练相同大小的数据集所需的时间和所需占用的空间,并利用这些指标衡量不同模型之间恢复性能的差异。
[0089]
所描述基于条件的生成式对抗网络的模拟系统运行模块包括:数据转换模块,其用于将流量数据中表示传感器测量值的部分转换为十进制的表达形式,并依据是否受到攻击为每个数据打上标签,以此作为训练样本;基于条件的生成对抗网络模块,其用于模拟系统正常运行时的行为,并利用训练好的模型生成系统的特征数据。
[0090]
所描述基于条件的能量生成式对抗网络的数据恢复模块包括:构造生成器输入模块,其用于利用基于条件生成对抗网络生成的系统特征数据与随机生成的噪声拼接起来,作为基于条件的能量生成对抗网络生成器的输入;基于条件的能量生成对抗网络训练模块,其用于依据训练样本使模型收敛于预期的性能,并利用训练好的模型恢复测量值;自适应决策策略模块,其用于比较生成器生成的测量值以及鉴别器重构的测量值之间的均方误差,选择最佳的恢复测量值的方法作为最终的恢复测量值的手段。
[0091]
所描述模型评估模块包括:测量值精度评估模块,用于计算不同模型生成的测量值与真实测量值之间的绝对误差。时空损失评估模块,用于统计不同模型运用相同数量的数据集所需的训练时间,以及生成模型和代码总计所需的存储空间大小。
[0092]
实施例二
[0093]
实施例二是运用传统的生成对抗网络以及不同训练轮数的级联式基于能量的生成对抗网络所得到的恢复数据作为参照,然后利用工控网络流量进行实验验证,对比本文所提出方法所得到的恢复数据,并分别比较不同模型的训练时间、存储空间的占用情况以及恢复数据的精度。
[0094]
图5和图6展示了五种模型与对不同寄存器测量值随时间变化的恢复精度。分析表中结果能够发现,本文所提出的模型在恢复精度和稳定性方面要明显优于生成对抗网络以及不同训练轮数的级联式基于能量的生成对抗网络。造成这种结果的原因在于:传统的生成对抗网络的结构全部使用全连接层,没有加入卷积层,这导致模型对于系统运行特征的把握不佳,从而导致训练好模型的恢复精度飘忽不定。而级联式基于能量的生成对抗网络虽然引入了卷基层,但是在训练过程中无法约束模型的拟合过程,这会使得生成的结果太过自由,需要花费更多的时间使模型达到预期效果。本文所提出的方法首先通过基于条件的生成对抗网络模拟系统行为,并将生成的特征数据作为额外信息作为基于条件的能量生成对抗网络的输入,这使得模型对于系统运行状况的把握更为精确,从而使得模型的恢复精度更高也更稳定。实验结果表明,本文所提出的这种级联式基于条件的能量生成对抗网络在针对网络攻击恢复方面更具优势。
[0095]
图7显示了不同模型在恢复测量值方面的变化。子图中突出显示了三种恢复方法的变化。横坐标表示同一属性测量值随时间的变化,纵坐标表示恢复的测量值。实线表示实际测量随时间变化的趋势,虚线表示不同模型恢复测量的趋势,垂直线表示α=95%时的置信区间。此外,与生成对抗网络和级联式基于能量的生成对抗网络相比,提出的级联式基于条件的能量生成对抗网络的恢复测量结果更接近实际值。图7显示,经过25次迭代后,我们提出的方法比生成对抗网络和经过25和50次迭代后的级联式基于能量的生成对抗网络方法产生更准确的结果。在100次迭代的训练中,级联式基于能量的生成对抗网络的结果略差于我们的25次迭代。可以看出,我们的模型的恢复测量是高度稳定的。因此,它可以有效地缓解网络攻击对工控系统的影响。
[0096]
图8显示了不同模型的实际测量值和恢复测量值之间的差距。在这里,我们可以通过箱线图直观地看到不同模型的测量值恢复性能。如图8(a)所示,级联式基于条件的能量生成对抗网络的绝对误差范围为[0.014,0.097],而生成对抗网络的绝对误差范围为[0.0128,7.570],迭代25,50,100次的级联式基于能量生成对抗网络的绝对误差范围为[0.086,2.048],[0.057,0.148],[0.011,0.118],通过比较绝对误差可以看出,级联式基于条件的能量生成对抗网络的性能始终优于生成对抗网络。另外,在训练周期数相同的情况下,我们的模型的绝对误差最多减少了7.5和2.0左右。此外,我们提出的方法在均值和离群值方面明显优于其他方法。
[0097]
图9显示了在级联式基于条件的能量生成对抗网络中使用或不使用自适应决策策略时测量值恢复的精度。通过箱线图可以看出,采用自适应决策策略后,恢复的测量值与实际测量值之间的绝对误差明显减小,生成的测量值的离群值也降低了。这表明该自适应决策策略在一定程度上提高了测量值恢复精度和测量值恢复的稳定性。
[0098]
图10(a)展示了传统的生成对抗网络、级联式基于能量的生成对抗网络与本文所提出方法的模型训练阶段所花费的时长。分析图中结果能够发现,生成对抗网络模型训练
阶段级联式基于能量的生成对抗网络和本文提出的方法所花费的时间。实验结果表明,生成对抗网络训练总共需要5923s。级联式基于能量的生成对抗网络在25、50和100个历元的迭代训练中分别需要5028s、9210s和 16661s,而本文提出的方法需要4858s。造成这种结果的原因在于:在传统的生成对抗网络的结构中全部采用全连接层,而全连接层在训练过程中可以节省大量的时间,但是由于全连接层的层数过多导致所需的训练时间增大。级联式基于能量的生成对抗网络一方面由于拥有卷基层需要进行大量计算,另一方面由于在训练过程中没有对拟合方向进行约束导致模型无法快速收敛,进而造成训练时间较长。而本文所提出的方法在模型的结构中采用了卷积层来替代部分全连接层,这虽然会导致训练时间在一定程度上有所增加。但是,为了尽可能的缩减训练时间,本文所提出的方法一方面在数据恢复阶段尽可能减少基于条件的能量生成对抗网络中卷积层的数量,另一方面在模拟系统运行行为过程中基于条件的生成对抗网络全部使用全连接层,从而尽可能减少模型训练时间所需的时间,而实验结果也证明了这一点。
[0099]
图10(b)展示了传统的生成对抗网络、级联式基于能量的生成对抗网络与本文所提出方法的模型所占用的存储空间。实验结果表明,生成对抗网络的程序代码和模型参数需要2735kb和2393kb,而本文提出的方法需要2505kb。这表明我们提出的模型不会消耗太多的存储空间。造成这种结果的原因在于:传统的生成对抗网络为了达到良好的结果不仅需要使用大量的全连接层,而且每一个全连接层中的神经元也需要尽可能的多,这就导致在保存模型时需要保存大量的权重。而本文所提的方法则是尽可能的减少全连接层的层数以及每一层中神经元的数量,并用卷积层替代了部分全连接层,这减少了所需的存储空间,实验结果也证明了这一点。
[0100]
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献