一种物联网设备检测方法、系统和设备与流程

1.本发明属于物联网技术领域，具体涉及一种物联网设备检测方法、系统和设备。


背景技术：

2.物联网是指通过信息传感设备，按照约定的协议，将任务物体与网络相连，通过信息传播媒介进行信息交互和通信。物联网的目的是实现不受地点、时间限制，长期快速的连接，如智慧家居、智慧城市、智慧交通等应用环境的移动物联网设备。5g时代的到来为物联网技术的发展提供了极大支持，5g标准的指定能够很好地满足物联网的需求，包括网速、容量和安全性等，推动了工业物联网的发展。
3.随着物联网的不断发展，海量的设备数据和用户数据导致数据量的激增，向物联网设备提出了高容量、超低延迟、向最终用户提供更好的服务质量和用户体验等要求。而传统异常检测算法大多将原始数据视为正常数据，忽略异常数据来解决数据不均衡这一难题，因此现有方法无法利用异常数据来对异常检测模型进行训练，导致检测结果不够准确。


技术实现要素：

4.本发明的目的是提供一种物联网设备检测方法、系统和设备，用以解决现有技术中存在的无法利用异常数据来对异常检测模型进行训练，导致检测结果不够准确的技术问题。
5.为了实现上述目的，本发明采用以下技术方案：一方面提供一种物联网设备检测方法，包括：获取各物联设备的高维数据集，并对所述高维数据集进行预处理，得到正常样本集和第一异常样本集；引入采样过程中产生的符合高斯分布的随机噪声，利用深度卷积对抗网络中的生成器将随机噪声生成为扩充异常样本，将扩充异常样本和所述第一异常样本集输入到深度卷积对抗网络中的判别器中进行判别，并将生成器和判别器进行反复交叉对抗训练，得到第二异常样本集；将所述正常样本集、所述第一异常样本集和第二异常样本集整合为训练样本集集输入到分类回归树中进行分类训练，得到异常检测模型；基于所述异常检测模型对待检测物联网设备进行异常检测。
6.在一种可能的设计中，所述高维数据集包括高维时间序列数据集，所述高维时间序列数据集包括与各数据特征属性对应的值，各数据特征属性至少包括时间、设备标识、设备类型、设备位置以及设备运行数据，其中，设备运行数据包括设备流量数据。
7.在一种可能的设计中，对所述高维数据集进行预处理，包括：采用min-max法对高维时间序列数据集进行归一化处理实现数据标准化，采用主成分分析法对标准化后的高维时间序列数据集进行降维处理，并采用k-mean算法对降维后的时间序列数据集进行聚类分析。
8.在一种可能的设计中，在对所述高维时间序列数据集进行归一化处理、降维处理和聚类分析之后，所述方法还包括：对聚类分析之后时间序列数据集进行至少两次滑窗处理，以增加异常样本数据各维度间的相关性和异常样本数据与时间的相关性。
9.在一种可能的设计中，将扩充异常样本和所述第一异常样本集输入到深度卷积对抗网络中的判别器中进行判别，并将生成器和判别器进行反复交叉对抗训练，得到第二异常样本集，包括：步骤（1）：将扩充异常样本和所述第一异常样本集输入到判别器中，以便判别器对扩充异常样本和第一异常样本进行区分判别；步骤（2）：采用随机梯度上升法更新判别器的参数，直至判别器的训练能力达到预设标准时，利用随机梯度下降法更新生成器的参数，以便生成器利用映射的多维数据产生新的扩充异常样本；步骤（3）：重复步骤（1）和步骤（2），对判别器和生成器进行反复交叉训练，直至判别器无法对扩充异常样本和第一异常样本进行准确判别时，完成生成器的训练；步骤（4）：将生成器完成训练时输出的扩充异常样本作为第二异常样本集。
10.在一种可能的设计中，当判别器无法对扩充异常样本和第一异常样本进行准确判别时，表明深度卷积对抗网络达到数据平衡，此时深度卷积对抗网络的目标函数表达时如下：其中，表示判别器，表示生成器，表示深度卷积对抗网络的目标函数，表示第一异常样本，表示扩充异常样本，表示判别器输出，即判别的样本结果，表示生成器输出，即随机噪声生成的扩充异常样本，表示第一异常样本集的数据分布，表示扩充异常样本的数据分布。
11.在一种可能的设计中，在得到第二异常样本集之前，所述方法还包括：对训练完成时的生成器加入特征收缩约束，以惩罚扩充异常样本中与预设样本分布偏差超过阈值的样本点。
12.在一种可能的设计中，将所述正常样本集、所述第一异常样本集和第二异常样本集整合为训练样本集集输入到分类回归树中进行分类训练，包括：将步骤a：将正常样本集、第一异常样本集和第二异常样本集整合为训练样本集，并计算训练样本集的洛伦茨系数；步骤b：对训练样本集中的每个数据特征取特征值，根据特征值分别将训练样本集划分为两个子集，并在划分为两个子集后计算每一数据特征的洛伦茨系数；步骤c：选取洛伦茨系数最小的数据特征作为最优特征，将对应的特征值作为分割点来生成二叉树，并将各个训练样本分配至两个子节点中；步骤d：对两个子节点递归调用步骤a~步骤c，直至训练样本集的洛伦茨系数小于阈值，生成对应的分类回归树。
13.第二方面提供一种物联网设备检测系统，包括：数据处理模块，用于获取各物联设备的高维数据集，并对所述高维数据集进行预处理，得到正常样本集和第一异常样本集；样本扩充模块，用于引入采样过程中产生的符合高斯分布的随机噪声，利用深度卷积对抗网络中的生成器将随机噪声生成为扩充异常样本，将扩充异常样本和所述第一异常样本集输入到深度卷积对抗网络中的判别器中进行判别，并将生成器和判别器进行反复交叉对抗训练，得到第二异常样本集；分类训练模块，用于将正常样本集、第一异常样本集和第二异常样本集整合为训练样本集集，输入到分类回归树中进行分类训练，得到异常检测模型；异常检测模块，用于基于所述异常检测模型对待检测物联网设备进行异常检测。
14.第三方面，本发明提供一种计算机设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的物联网设备检测方法。
15.第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的物联网设备检测方法。
16.第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面任意一种可能的设计中所述的物联网设备检测方法。
17.本发明相较于现有技术的有益效果为：本发明通过引入采样过程的随机噪声，并利用深度卷积对抗网络中的生成器将随机噪声生成为扩充异常样本，将扩充异常样本和所述第一异常样本集输入到深度卷积对抗网络中的判别器中进行判别，并将生成器和判别器进行反复交叉对抗训练，得到第二异常样本集，以利用第二异常样本集对异常样本进行数据扩充，解决因异常样本数量少而导致正负样本不平衡的问题，从而提高模型的训练精度；通过将训练样本集输入到分类回归树中进行分类训练，以实现对物联网设备的异常行为进行分类检测，提高设备使用的安全性。
附图说明
18.图1为本发明实施例中的物联网设备检测方法的流程图；图2为本发明实施例中的物联网设备检测系统的结构框图。
19.图3为本发明实施例中部的计算机设备的结构框图。
具体实施方式
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
21.实施例为了解决现有技术中存在的无法利用异常数据来对异常检测模型进行训练，导致检测结果不够准确的技术问题，本技术实施例提供了一种物联网设备检测方法，该方法利用第二异常样本集对异常样本进行数据扩充，解决因异常样本数量少而导致正负样本不平衡的问题，从而提高模型的训练精度；通过将训练样本集输入到分类回归树中进行分类训练，以实现对物联网设备的异常行为进行分类检测，提高设备使用的安全性。
22.下面将对本技术实施例提供的物联网设备检测方法进行详细说明。
23.其中，需要说明的是，本技术实施例提供的基于物联网设备检测方法可应用于远程监控终端或云端服务器来对物联网设备的异常行为进行异常检测，其中，远程终端设备包括但不限于工控计算机、个人电脑和移动终端等，此处不做限定。本技术实施例以下通过对物联网检测方法的流程和原理进行描述，以使技术方案清楚。
24.为便于描述，除特别说明外，本技术实施例均以云端服务器为执行主体进行说明。可以理解，所述执行主体并不构成对本技术实施例的限定，在其他的一些实施例中可以采用其他终端设备来作为执行主体。
25.如图1所示，是本技术实施例提供的物联网设备检测方法的流程图，所述物联网设备检测方法包括但不限于由步骤s1~s4实现：步骤s1.获取各物联设备的高维数据集，并对所述高维数据集进行预处理，得到正常样本集和第一异常样本集；其中，需要说明的是，由于物联网设备在运行过程中产生了海量的数据，同时也产生了不可预估的异常数据，且异常状态并非常态，从而导致正负样本存在不均衡；基于此，本实施例需要对物联网的海量数据进行预处理，以满足后续训练模型的输入需求。其中，本实施例中的高维数据集可以是现有已有的数据集，例如crawdad 数据集、kddcup99数据集、nsl-kdd数据集、unsw-nb15数据集、predict数据集、 caida数据集、defcon数据集、adfa ids数据集、kyoto数据集、iscx 2012数据集和ics数据集等等，此处不做限定；当然，可以理解的是，本实施例中的高维数据集也可以是实时从边缘网关抓取的物联网设备数据，例如流量数据。
26.在步骤s1中，所述高维数据集包括高维时间序列数据集，所述高维时间序列数据集包括与各数据特征属性对应的值，各数据特征属性至少包括时间、设备标识（如设备id等）、设备类型、设备位置以及设备运行数据，其中，设备运行数据包括设备流量数据，还可以是物联网设备的经纬度、读/写状态、进口流量、出口流量、已使用内存、内存总容量、cpu使用率(百分位数)等等，此处不再赘述。
27.其中，需要说明的是，本实施例可以利用etl（extract transform load，抽取转换加载）获取到各物联设备的高维数据集，etl是数据分析前的常规步骤，其具体原理此处不再赘述；优选的，本技术实施例使用python(或者r、julia等编程语言)通过离线方式(例如通过读取csv格式文件)或在线方式(例如通过mysql、elasticsearch、hive等数据库接口)抽取物联网设备的高维数据，其中，如果需要通过在线方式获取物联网设备数据，则需要预先连接mysql、elasticsearch和hive等数据库；进而对数据进行处理得到对应的时间序列数据，每行为一个完整的时间序列数据，而每列则为对应任一数据特征的值。
28.在步骤s1中，对所述高维数据集进行预处理，包括：
采用min-max法对高维时间序列数据集进行归一化处理实现数据标准化，采用主成分分析法对标准化后的高维时间序列数据集进行降维处理，并采用k-mean算法对降维后的时间序列数据集进行聚类分析。
29.其中，需要说明的是，采用min-max法对高维时间序列数据集进行归一化处理实现数据标准化，具体包括：获取所有物联网设备的同一数据特征属性的样本的最大属性值、最小属性值以及每一样本的具体属性值，并根据最大属性值、最小属性值以及每一样本的具体属性值确定每个样本属性的标准化属性值，基于所述标准化属性值对每一样本进行归一化计算，其中，采用的归一化公式为常规的算法公式和原理，此处不再赘述。
30.其中，需要说明的是，由于物联网设备存在高维的海量数据，但并非是每一维度的数据对于设备异常检测都是有用的数据，因此，为了降低计算的复杂度和提供检测精度，本实施例需要对高维时间序列数据进行降维处理，以保留重要性高于阈值的特征数据，具体是采用主成分分析法对标准化后的高维时间序列数据集进行降维处理，具体是通过中心化，求解协方差矩阵，确定协方差矩阵的特征值以及每一特征值对应的特征向量，获取投影空间维度，并根据投影空间维度选取与投影空间维度对应的最大特征值，根据最大特征值对应的特征向量构建投影矩阵，并对投影矩阵和数据集进行映射，得到降维后的时间序列数据。
31.其中，需要说明的是，为了实现对降维后的时间序列数据的初步分类，本实施例通过k-means算法对数据集进行初步分类，以得到正常样本集和第一异常样本集，该第一异常样本集即为现有的物联网设备数据中的真实异常数据。但由于现有的正常样本集和第一异常样本集的数据量存在严重失衡，为了避免模型训练时的正负样本失衡，而导致训练不充分的问题，本实施例提出了步骤s2来解决该问题，下文将对步骤s2进行详细描述。
32.优选的，在对所述高维时间序列数据集进行归一化处理、降维处理和聚类分析之后，所述方法还包括：对聚类分析之后时间序列数据集进行至少两次滑窗处理，以增加异常样本数据各维度间的相关性和异常样本数据与时间的相关性，从而提高数据在后续训练中的准确性。
33.步骤s2.引入采样过程中产生的符合高斯分布的随机噪声，利用深度卷积对抗网络中的生成器将随机噪声生成为扩充异常样本，将扩充异常样本和所述第一异常样本集输入到深度卷积对抗网络中的判别器中进行判别，并将生成器和判别器进行反复交叉对抗训练，得到第二异常样本集；其中，需要说明的是，本实施例中的深度卷积对抗网络包括生成器和判别器，通过生成器和判别器之间的博弈训练，能够使得生成器和判别器的训练能力均得到提成，则通过生成器来生成模拟真实的异常样本，并利用判别器来对第一异常样本和模拟的扩充样本进行判别，从而判断输入的数据是第一异常样本还是生成器模拟的扩充样本，并根据判别结果来对判别器和生成器的参数进行优化，从而得到最优的第二异常样本集。
34.在步骤s2中，将扩充异常样本和所述第一异常样本集输入到深度卷积对抗网络中的判别器中进行判别，并将生成器和判别器进行反复交叉对抗训练，得到第二异常样本集，包括：步骤（1）：将扩充异常样本和所述第一异常样本集输入到判别器中，以便判别器对扩充异常样本和第一异常样本进行区分判别；
步骤（2）：采用随机梯度上升法更新判别器的参数，直至判别器的训练能力达到预设标准时，利用随机梯度下降法更新生成器的参数，以便生成器利用映射的多维数据产生新的扩充异常样本；步骤（3）：重复步骤（1）和步骤（2），对判别器和生成器进行反复交叉训练，直至判别器无法对扩充异常样本和第一异常样本进行准确判别时，完成生成器的训练；步骤（4）：将生成器完成训练时输出的扩充异常样本作为第二异常样本集。
35.在一种可能的设计中，当判别器无法对扩充异常样本和第一异常样本进行准确判别时，表明深度卷积对抗网络达到数据平衡，此时深度卷积对抗网络的目标函数表达时如下：其中，表示判别器，表示生成器，表示深度卷积对抗网络的目标函数，表示第一异常样本，表示扩充异常样本，表示判别器输出，即判别的样本结果，表示生成器输出，即随机噪声生成的扩充异常样本，表示第一异常样本集的数据分布，表示扩充异常样本的数据分布。
36.在一种具体的实施方式中，在得到第二异常样本集之前，所述方法还包括：对训练完成时的生成器加入特征收缩约束，以惩罚扩充异常样本中与预设样本分布偏差超过阈值的样本点。
37.其中，需要说明的是，在生成器输出第二异常样本集之前，通过在特征分布中加入收缩约束，来惩罚扩充异常样本中与预设样本分布偏差超过阈值的样本点，从而将不符合样本分布的样本点进行剔除，最小化非特征样本点对第二异常样本集的影响，提高输出数据的准确度。
38.步骤s3.将正常样本集、第一异常样本集和第二异常样本集整合为训练样本集集输入到分类回归树中进行分类训练，得到异常检测模型；其中，需要说明的是，由于分类回归树对物联网设备的行为行为攻击能够针对每一攻击样本制定对应的分类规则，从而提升分类准确率，并在检测异常行为的同时完成对不同行为攻击的分类。具体的，分类回归树采用洛伦茨系数来对行为攻击进行分类，若洛伦茨系数越小，样本的精度越高。
39.在步骤s3中，将所述正常样本集、所述第一异常样本集和第二异常样本集整合为训练样本集集输入到分类回归树中进行分类训练，包括：将步骤a：将正常样本集、第一异常样本集和第二异常样本集整合为训练样本集，并计算训练样本集的洛伦茨系数；步骤b：对训练样本集中的每个数据特征取特征值，根据特征值分别将训练样本集划分为两个子集，并在划分为两个子集后计算每一数据特征的洛伦茨系数；步骤c：选取洛伦茨系数最小的数据特征作为最优特征，将对应的特征值作为分割点来生成二叉树，并将各个训练样本分配至两个子节点中；步骤d：对两个子节点递归调用步骤a~步骤c，直至训练样本集的洛伦茨系数小于
阈值，生成对应的分类回归树。
40.步骤s4.基于所述异常检测模型对待检测物联网设备进行异常检测。
41.基于上述公开的内容，本技术实施例通过引入采样过程的随机噪声，并利用深度卷积对抗网络中的生成器将随机噪声生成为扩充异常样本，将扩充异常样本和所述第一异常样本集输入到深度卷积对抗网络中的判别器中进行判别，并将生成器和判别器进行反复交叉对抗训练，得到第二异常样本集，以利用第二异常样本集对异常样本进行数据扩充，解决因异常样本数量少而导致正负样本不平衡的问题，从而提高模型的训练精度；通过将训练样本集输入到分类回归树中进行分类训练，以实现对物联网设备的异常行为进行分类检测，提高设备使用的安全性。
42.如图2所示，第二方面提供一种物联网设备检测系统，包括：数据处理模块，用于获取各物联设备的高维数据集，并对所述高维数据集进行预处理，得到正常样本集和第一异常样本集；样本扩充模块，用于引入采样过程中产生的符合高斯分布的随机噪声，利用深度卷积对抗网络中的生成器将随机噪声生成为扩充异常样本，将扩充异常样本和所述第一异常样本集输入到深度卷积对抗网络中的判别器中进行判别，并将生成器和判别器进行反复交叉对抗训练，得到第二异常样本集；分类训练模块，用于将所述正常样本集、所述第一异常样本集和第二异常样本集整合为训练样本集集，输入到分类回归树中进行分类训练，得到异常检测模型；异常检测模块，用于基于所述异常检测模型对待检测物联网设备进行异常检测。
43.在一种可能的设计中，所述高维数据集包括高维时间序列数据集，所述高维时间序列数据集包括与各数据特征属性对应的值，各数据特征属性至少包括时间、设备标识、设备类型、设备位置以及设备运行数据，其中，设备运行数据包括设备流量数据。
44.在一种可能的设计中，在对所述高维数据集进行预处理，所述数据处理模块具体用于：采用min-max法对高维时间序列数据集进行归一化处理实现数据标准化，采用主成分分析法对标准化后的高维时间序列数据集进行降维处理，并采用k-mean算法对降维后的时间序列数据集进行聚类分析。
45.在一种可能的设计中，所述数据处理模块还用于：对聚类分析之后时间序列数据集进行至少两次滑窗处理，以增加异常样本数据各维度间的相关性和异常样本数据与时间的相关性。
46.在一种可能的设计中，所述样本扩充模块具体用于：步骤（1）：将扩充异常样本和所述第一异常样本集输入到判别器中，以便判别器对扩充异常样本和第一异常样本进行区分判别；步骤（2）：采用随机梯度上升法更新判别器的参数，直至判别器的训练能力达到预设标准时，利用随机梯度下降法更新生成器的参数，以便生成器利用映射的多维数据产生新的扩充异常样本；步骤（3）：重复步骤（1）和步骤（2），对判别器和生成器进行反复交叉训练，直至判别器无法对扩充异常样本和第一异常样本进行准确判别时，完成生成器的训练；步骤（4）：将生成器完成训练时输出的扩充异常样本作为第二异常样本集。
47.在一种可能的设计中，当判别器无法对扩充异常样本和第一异常样本进行准确判别时，表明深度卷积对抗网络达到数据平衡，此时深度卷积对抗网络的目标函数表达时如下：其中，表示判别器，表示生成器，表示深度卷积对抗网络的目标函数，表示第一异常样本，表示扩充异常样本，表示判别器输出，即判别的样本结果，表示生成器输出，即随机噪声生成的扩充异常样本，表示第一异常样本集的数据分布，表示扩充异常样本的数据分布。
48.在一种可能的设计中，所述系统还包括：约束优化模块，用于对训练完成时的生成器加入特征收缩约束，以惩罚扩充异常样本中与预设样本分布偏差超过阈值的样本点。
49.在一种可能的设计中，所述分类训练模块具体用于：将步骤a：计算训练样本集的洛伦茨系数；步骤b：对训练样本集中的每个数据特征取特征值，根据特征值分别将训练样本集划分为两个子集，并在划分为两个子集后计算每一数据特征的洛伦茨系数；步骤c：选取洛伦茨系数最小的数据特征作为最优特征，将对应的特征值作为分割点来生成二叉树，并将各个训练样本分配至两个子节点中；步骤d：对两个子节点递归调用步骤a~步骤c，直至训练样本集的洛伦茨系数小于阈值，生成对应的分类回归树。
50.本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见如上第一方面或第一方面中任意一种可能设计所述的方法，于此不再赘述。
51.如图3所示，第三方面，本发明提供一种计算机设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的物联网设备检测方法。
52.具体举例的，所述存储器可以但不限于包括随机存取存储器（random-access memory，ram）、只读存储器（read-only memory，rom）、闪存（flash memory）、先进先出存储器（first input first output，fifo）和/或先进后出存储器（first input last output，filo）等等；所述处理器可以不限于采用型号为stm32f105系列的微处理器；所述收发器可以但不限于为wifi（无线保真）无线收发器、蓝牙无线收发器、gprs（general packet radio service，通用分组无线服务技术）无线收发器和/或zigbee（紫蜂协议，基于ieee802 .15 .4标准的低功耗局域网协议）无线收发器等。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
53.本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见如上第一方面或第一方面中任意一种可能设计所述的方法，于此不再赘述。
54.第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存
储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的物联网设备检测方法。
55.其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
56.本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如上第一方面或第一方面中任意一种可能设计所述的方法，于此不再赘述。
57.第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面任意一种可能的设计中所述的物联网设备检测方法。
58.本实施例第五方面提供的前述包含指令的计算机程序产品的工作过程、工作细节和技术效果，可以参见如上第一方面或第一方面中任意一种可能设计所述的方法，于此不再赘述。
59.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。