监测数据的异常检测方法及装置、存储介质、电子设备与流程

本技术实施例涉及数据处理领域，具体而言，涉及一种监测数据的异常检测方法及装置、存储介质、电子设备。

背景技术：

1、随着科技的发展，使用智能化的手段对对象进行异常检测也越来越普及。但是，由于对象所在环境的比较复杂，例如，海空环境中飞机的飞行涉及高度变化，船舶可能受到洋流、风力影响等，因此现有的对象异常检测的方法检测依然存在着异常检测准确性差的问题。

技术实现思路

1、本技术实施例提供了一种监测数据的异常检测方法及装置、存储介质、电子设备，以至少解决相关技术中对对象的异常检测准确性差的问题。

2、根据本技术的一个实施例，提供了一种监测数据的异常检测方法，包括：获取目标对象的监测数据集合；对所述监测数据集合执行数据处理操作，得到目标数据集合；从所述目标数据集合中提取关键特征，得到目标特征集合；使用预先训练的目标网络模型对所述目标数据集合和所述目标特征集合执行异常检测操作，得到目标检测结果，其中，所述目标网络模型是利用一组样本数据集合和对应的一组样本特征集合对初始网络模型进行训练得到的模型，所述初始网络模型中包括第一检测模型和第二检测模型，针对每组所述样本数据集合和所述样本特征集合，所述第一检测模型用于基于输入的所述样本数据集合和所述样本特征集合输出第一检测结果，所述第二检测模型用于基于输入的所述样本数据集合、所述样本特征集合以及所述第一检测结果输出样本检测结果。

3、在一个示例性实施例中，使用预先训练的目标网络模型对所述目标数据集合和所述目标特征集合执行异常检测操作，得到目标检测结果之前，所述方法还包括：获取样本对象的多组样本监测数据集合；对多组所述样本监测数据集合执行所述数据处理操作，得到多组所述样本数据集合；分别从多组所述样本数据集合中包括的样本数据中提取关键特征，得到多组所述样本特征集合；根据多组所述样本数据集合和多组所述样本特征集合训练所述初始网络模型，直到所述初始网络模型对应的损失函数满足预设损失条件。

4、在一个示例性实施例中，获取样本对象的多组样本监测数据集合，包括：构建确定的n个数据源之间的数据传输网络，其中，n个所述数据源中的数据采集设备均与所述样本对象连接，所述n是大于或等于1的自然数；利用所述数据传输网络从n个所述数据源处获取所述样本对象的对象信息和运行轨迹信息，得到多组所述样本监测数据集合。

5、在一个示例性实施例中，对多组所述样本监测数据集合执行所述数据处理操作，得到多组所述样本数据集合，包括：分别对多组所述样本监测数据集合执行数据统一化操作，得到多组标准数据集合，其中，所述数据统一化操作包括将所述样本监测数据集合中包括的来自n个数据源的数据进行时间戳的统一操作，以及将n个所述数据源的数据进行坐标位置的统一操作，所述n是大于或等于1的自然数；对多组所述标准数据集合中的数据执行数据清洗操作，得到多组所述样本数据集合。

6、在一个示例性实施例中，对多组所述样本监测数据集合执行所述数据处理操作，得到多组所述样本数据集合之后，所述方法还包括：针对每组所述样本数据集合，按照所述样本数据集合中包括的多个样本数据的数据类型，对多个所述样本数据进行分类，得到m类数据，其中，所述m是大于或等于1的自然数；将m类所述数据分别存储至k个数据库中，其中，所述k是大于或等于1的自然数；将k个所述数据库集成至预设存储架构中，得到分布式数据库；利用预设数据属性对所述分布式数据库执行设置操作，得到目标分布式数据库，其中，所述设置操作包括以下至少之一：数据分区操作，数据分片操作，建立数据索引操作，所述目标分布式数据库中的数据是按照数据的来源进行分层存储的数据。

7、在一个示例性实施例中，分别从多组所述样本数据集合中包括的样本数据中提取关键特征，得到多组所述样本特征集合，包括：按照多组所述样本数据集合中包括的多个样本数据的状态特征，从多个所述样本数据中提取关键特征，得到多组关键特征集合，其中，所述状态特征包括静态特征和动态特征；利用预设机器学习算法从多组所述关键特征集合中包括的多个关键特征中筛选出满足预设权重阈值的特征，得到多组所述样本特征集合。

8、在一个示例性实施例中，分别从多组所述样本数据集合中包括的样本数据中提取关键特征，得到多组所述样本特征集合之后，所述方法还包括：通过版本控制工具对多组所述目标特征集合中包括的多个所述关键特征执行版本控制操作，以确定每个所述关键特征的版本特征，其中，所述版本特征用于标识所述关键特征的特征变化。

9、在一个示例性实施例中，根据多组所述样本数据集合和多组所述样本特征集合训练所述初始网络模型，直到所述初始网络模型对应的损失函数满足预设损失条件，包括：通过以下步骤对所述初始网络模型进行第k次训练，其中，k是正整数：在多组所述样本数据集合和多组所述样本特征集合训练数据中获取对所述初始网络模型进行第k次训练使用的第k组训练数据；将所述第k组训练数据中的所述样本数据集合和所述样本特征集合输入第k-1次训练的所述第一检测模型，得到第k个第一检测结果，其中，所述第一检测模型用于将所述样本数据集合、所述样本特征集合，分别与预设异常规则和预设异常事件进行比对，得到第一检测特征和第二检测特征，并结合所述第一检测特征和所述第二检测特征确定所述第k个第一检测结果；将所述第k组训练数据中的所述样本数据集合、所述样本特征集合以及所述第k个第一检测结果输入第k-1次训练的所述第二检测模型，得到第k个样本检测结果。

10、在一个示例性实施例中，所述第二检测模型通过以下方式确定所述第k个样本检测结果，包括：采用概率分布模型计算所述样本特征集合中每个样本特征的特征值；利用每个样本特征的特征值确定所述样本特征集合中偏离预设数值范围的异常样本特征和正常样本特征；利用聚类算法对所述正常样本特征进行聚类操作，以确定所述正常样本特征的正常行为聚类；利用所述正常行为聚类和所述样本对象的历史行为数据建立所述样本对象的正常行为数据的时间序列模型；基于所述时间序列模型、所述异常样本特征、所述样本数据集合以及所述第k个第一检测结果，确定所述第k个样本检测结果。

11、根据本技术的又一个实施例，还提供了一种监测数据的异常检测装置，包括第一存储器、第一处理器以及存储在所述第一存储器上并可在所述第一处理器上运行的第一计算机程序，所述第一处理器执行所述第一计算机程序时实现如下操作：获取目标对象的监测数据集合；对所述监测数据集合执行数据处理操作，得到目标数据集合；

12、从所述目标数据集合中提取关键特征，得到目标特征集合；使用预先训练的目标网络模型对所述目标数据集合和所述目标特征集合执行异常检测操作，得到目标检测结果，其中，所述目标网络模型是利用一组样本数据集合和对应的一组样本特征集合对初始网络模型进行训练得到的模型，所述初始网络模型中包括第一检测模型和第二检测模型，针对每组所述样本数据集合和所述样本特征集合，所述第一检测模型用于基于输入的所述样本数据集合和所述样本特征集合输出第一检测结果，所述第二检测模型用于基于输入的所述样本数据集合、所述样本特征集合以及所述第一检测结果输出样本检测结果。

13、根据本技术的又一个实施例，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。

14、根据本技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

15、根据本技术的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

16、通过本技术，由于获取并预处理目标对象的监测数据，提取出关键的、具有区分力的特征，并运用两个协同工作的检测模型对数据进行深度分析。即第一检测模型基于原始监测数据和关键特征进行初步筛选，快速过滤掉大部分正常行为，减轻后续深度检测的压力；第二检测模型在第一模型的基础上，进一步融合初步的检测结果，对数据进行精细化分析，从而极大地提高了异常检测的精确度。因此，可以解决相关技术中对对象的异常检测准确性差的问题，达到提高对象异常检测的准确性的效果。