基于能量和镜像生成对抗网络的异常检测方法与流程

技术特征：
1.一种基于能量和镜像生成对抗网络的异常检测方法，其特征在于：具体包括如下步骤：步骤1：对正常数据进行预处理，将其标准化，以消除量纲对结果的影响。划分数据集得到训练样本和测试样本，分别用于模型的训练和测试，并将训练样本使用聚类算法进行分簇，消除簇间空隙对边缘异常点生成的影响；步骤2：用神经网络构建镜像生成对抗网络，并引入能量的思想，使用步骤1所得的单簇训练数据，对模型进行迭代训练，以得到最优参数，并将训练完成后的边缘异常点加入到原始数据集中；步骤3：用神经网络另外搭建异常检测器，使用步骤2对所有簇训练所得的边缘异常点及正常点，对其进行迭代训练，并使用测试集对其进行测试。2.根据权利1要求所述的数据预处理，其特征在于：所述步骤1对数据的预处理包括以下步骤：步骤11：对数据集中所有数据进行标准化处理，以消除量纲对结果的影响。步骤12：对数据集进行划分，将其中的全部异常数据划分到测试集中。对于正常数据，将80％的数据分割出来作为训练集，剩下的20％数据于异常数据合并成为测试集，分别记为x
train
，x
test
。步骤13：使用聚类算法，将训练数据x
train
进行分簇，其中m为数据簇的个数。取每一簇数据单独执行后续的步骤2和步骤3，以消除簇间空隙对异常点生成的影响。3.根据权利1所述的训练镜像生成对抗网络，其特征在于：所述步骤2训练镜像生成网络并结合能量思想包括以下步骤：步骤21：构建镜像生成对抗网络，不同于传统的单生成器单判别器结构，我们加入镜像判别器，并将其各组件记为g(生成器)，d(判别器)，d
mirror
(镜像判别器)，其中d和d
mirror
结构相同，但目标输出相反。步骤22：引入能量的思想，更改d和d
mirror
为编码器-解码器的结构，经过编码解码计算得到原始数据x
i
的重构数据y
i
。x
i
与y
i
维度一致，以x
i
和y
i
的均方误差作为能量值，直接用于与生成器g的对抗训练。步骤23：取预处理后的训练集中的一簇数据，记为其中n为该簇训练样本的个数。步骤24：随机采样k维的均匀噪声z作为生成器g的输入，输出最初的生成样本，记为x
g
＝{x
g1
，x
g2
，
…
，x
gn
}，其中n为生成样本的个数。步骤25：将步骤23，24所得的生成样本x
g
及一簇训练样本作为d的输入，通过编解码操作，希望d对中的样本输出能量较低，对x
g
中样本的输出能量高。d的目标函数如公式2-1所示：l
d
＝d(x) [m-d(g(z))]

ꢀꢀ
公式2-1步骤26：d
mirror
和d结构相同，但训练目标函数与之相反。将步骤23所得的生成样本x
g
及步骤24中的作为d
mirror
的输入，通过编解码操作，希望d
mirror
对x
g
中的样本输出能量较低，对中样本的输出能量高。d
mirror
的目标函数如公式2-2所示：
步骤27：重新采样k维均匀噪声z
*
作为生成器g的输入，将输出的生成样本分别作为训练后d和d
mirror
的输入，分别得到二者对各生成样本的能量值。步骤28：为规避模式崩溃问题，对于生成点计算其均值最大化各点于其均值的距离，鼓励生成点散开分布，如公式2-3：在生成器g的目标函数中加入公式2-3，根据步骤26中d和d
mirror
对各生成样本的能量值，训练生成器g。出生成器g的目标函数如公式2-4所示：l
g
＝||d(g(z
*
))-d
mirror
(g(z
*
))||2 λloss
d
ꢀꢀ
公式2-4步骤29：转到步骤24，继续训练g，d，d
mirror
，直至模型收敛。步骤210：模型收敛后，重新采样k维均匀噪声z
′
作为生成器g的输入，生成位于边缘位置的异常点，加入数据集中，切换下一簇数据，转到步骤23，直至训练集中的所有数据簇均处理完成。4.根据权利1要求所述的训练异常检测器，其特征在于：所述步骤3训练异常检测器包括以下步骤：步骤31：利用神经网络构建异常检测器ad，输入层维度与样本一致，输出层维度为1，即是位于区间0-1的异常分数。经过步骤2增广后的训练集数迭代训练异常检测器，直至收敛。步骤32：将测试集中的数据作为异常检测器的输入，输出对应分数，根据阈值threshold，将其判定正常或异常，如公式3-1所示：

技术总结
本发明公开了一种基于能量和镜像生成对抗网络的异常检测方法。所提出的方法包括三部分，第一部分是利用聚类算法将原始数据分成多簇，分别进行后续处理以排除簇间空隙的影响。第二部分用神经网络构建镜像生成对抗网络并引入能量的思想，利用正常的数据进行迭代训练，生成位于边缘的关键异常点，加入到原始数据集中，达到类别平衡的目的。第三部分是构建异常检测器，利用生成异常点及数据集的正常点，进行迭代训练，异常点所处的关键边缘位置，可以使异常检测器学习到正异常的分界信息，从而对未知异常具备良好的检测能力。本发明实现了更高效率的关键异常点生成，在解决类别不平衡问题的同时，也提高了异常检测器对未知异常的检测能力。的检测能力。的检测能力。


技术研发人员：梁启亮 张吉 关东海 李博涵
受保护的技术使用者：南京航空航天大学
技术研发日：2021.12.06
技术公布日：2022/3/3