一种融合主动学习与深度Q网络的异常检测方法

本发明涉及工业监控领域，尤其是涉及一种融合主动学习与深度q网络的异常检测方法。

背景技术：

1、时间序列异常检测是工业监控、智能运维、航天设备监测等领域的核心技术，用于从连续时序数据中识别偏离正常运行模式的异常事件。在实际应用中，异常样本天然稀缺且领域专家标注成本高昂，极限标注预算场景（仅需总样本数0.1%以下的标注）下的异常检测已成为行业亟待解决的核心问题。

2、当前，针对低标注场景的时序异常检测技术主要分为三类：第一类是无监督方法，如孤立森林（if）、自编码器（ae）、tranad等，无需标注数据但检测精度低、误报率高；第二类是传统主动学习方法，用贪心查询策略，冷启动阶段模型偏差大；第三类是基于强化学习的动态阈值方法，典型如adt框架，将阈值调整建模为马尔可夫决策过程，但依赖初始标注样本，且未解决极限标注下训练样本不足的问题。

3、公开号为cn119759797a的中国发明公开了一种基于值函数强化学习的嵌入式软件时序异常检测方法，包括：通过获取时序数据并划分时序片段，构建状态空间矩阵，采用长短时记忆网络提取特征向量，基于深度神经网络生成q值函数网络，构建基于马氏距离的奖励函数，采用深度q学习算法训练网络并优化参数，最终实现异常检测。上述发明能够有效捕捉时序数据的长期依赖关系，提高异常检测的准确性，降低误报率，具有较强的泛化能力。但仍存在传统方法在极限标注场景下面临的冷启动问题，标注预算不足无法支撑有效训练，以及过拟合少量标注样本，在分布漂移场景下检测精度快速下降的问题。

4、综上，目前缺少一种融合主动学习与深度q网络的异常检测方法，以解决或部分解决上述问题。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种融合主动学习与深度q网络的异常检测方法，以解决或部分解决传统方法在极限标注场景下面临的冷启动问题，标注预算不足无法支撑有效训练，以及过拟合少量标注样本，在分布漂移场景下检测精度快速下降的问题。

2、本发明的目的可以通过以下技术方案来实现：

3、本发明提供了一种融合主动学习与深度q网络的异常检测方法，所述方法包括：

4、s1．获取单变量时间序列，采用孤立森林作为无监督异常分数生成器，计算所述单变量时间序列中每个时间序列窗口的异常分数；

5、s2．将时间序列动态阈值调整问题建模为马尔可夫决策过程，基于所述异常分数定义状态空间和动作空间，设置奖励函数，并构建双网络dqn架构；

6、s3．将当前状态输入所述双网络dqn架构，得到动作q值，并基于所述动作q值计算决策不确定性；

7、s4．基于所述异常分数和时序相邻性，构建多策略标签传播机制获得训练标注集，所述多策略标签传播机制包括嵌入空间高斯核相似度传播、时间邻近性传播和k近邻投票传播；

8、s5．基于所述决策不确定性，利用所述训练标注集执行主动学习迭代训练，以状态向量为输入，使用训练好的双网络dqn架构得到动作q值，选取q值最大的动作值作为最终检测结果，实现融合主动学习与深度q网络的异常检测。

9、作为优选的技术方案，所述单变量时间序列采用重叠滑动窗口划分。

10、作为优选的技术方案，所述无监督异常分数生成器若在某时间点被多个窗口覆盖，取所有窗口分数的算术平均值作为所述时间点的异常分数。

11、作为优选的技术方案，所述状态空间采用六维向量表示当前状态，包括最近时间步异常分数的均值、方差，以及近期窗口内的真阳性率、假阳性率、真阴性率和假阴性率。

12、作为优选的技术方案，所述动作空间采用离散二值动作集{0,1}，其中0表示判定为正常，1表示判定为异常。

13、作为优选的技术方案，所述奖励函数基于异常检测结果构建，预测与真实标注的正常或异常标签一致时给予正向奖励，不一致时给予负向奖励。

14、作为优选的技术方案，所述双网络dqn架构采用在线网络与目标网络分离的结构。

15、作为优选的技术方案，所述在线网络包括输入层、隐藏层和输出层，所述目标网络在训练过程中同步所述在线网络的权重。

16、作为优选的技术方案，所述嵌入空间高斯核相似度传播以异常分数为嵌入向量，计算未标注样本与已标注样本的标准化欧氏距离，通过高斯核转换为相似度，根据最邻近的正常或异常样本相似度判定标签；

17、所述时间邻近性传播利用时序相邻性，统计窗口内已标注样本的标签分布，若某类标签占比超过预设阈值，则传播对应标签；

18、所述k近邻投票传播当已标注样本数达到阈值时，采用近邻投票判定标签。

19、作为优选的技术方案，所述主动学习迭代训练的过程包括：

20、以初始种子标注集训练所述双网络dqn架构，基于训练得到的所述动作q值与所述决策不确定性选择待查询样本，经专家标注后，利用所述多策略标签传播机制扩充标注集，并基于扩充后的标注集重新训练所述双网络dqn架构，重复训练过程直至满足预设的模型性能评估条件，得到训练完成的双网络dqn架构。

21、与现有技术相比，本发明至少具有以下有益效果之一：

22、（1）本发明基于双网络dqn架构输出的两个动作q值之差直接度量决策不确定性，无需额外引入独立的不确定性估计模型，相较于需要引入额外模型进行不确定性估计的方案，大大降低计算复杂度；由于动作q值本身反映了当前决策对未来累积回报的影响，基于q值差异选择的查询样本能够优先覆盖对模型长期检测性能提升贡献最大的样本，从而在初始种子集仅占极小总样本数量的极限标注条件下，使模型f1-score达到0.7以上，有效解决了传统方法在极限标注场景下面临的冷启动问题。

23、（2）本发明构建的多策略标签传播机制融合了嵌入空间高斯核相似度传播、时间邻近性传播和k近邻投票传播三种互补策略，并针对异常样本天然稀缺的特点设置差异化置信度阈值，在保证伪标签质量、避免误传播的前提下，最大化了标签的有效扩散范围，解决了标注预算不足无法支撑有效训练的问题，显著降低了实际应用中的人工标注成本。

24、（3）本发明将双网络dqn架构输出的决策不确定性作为主动学习查询样本选择的依据，通过专家标注获得的真实标签与多策略标签传播获得的伪标签共同用于双网络dqn架构的更新迭代，引入基于类别平衡的种子初始化策略与性能驱动的早停机制，提升极限标注场景下的训练稳定性与泛化能力，解决了过拟合少量标注样本，在分布漂移场景下检测精度快速下降的问题，实现了异常检测和模型综合性能显著提高的技术效果。

1.一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述单变量时间序列采用重叠滑动窗口划分。

3.根据权利要求1所述的一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述无监督异常分数生成器若在某时间点被多个窗口覆盖，取所有窗口分数的算术平均值作为所述时间点的异常分数。

4.根据权利要求1所述的一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述状态空间采用六维向量表示当前状态，包括最近时间步异常分数的均值、方差，以及近期窗口内的真阳性率、假阳性率、真阴性率和假阴性率。

5.根据权利要求1所述的一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述动作空间采用离散二值动作集{0,1}，其中0表示判定为正常，1表示判定为异常。

6.根据权利要求1所述的一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述奖励函数基于异常检测结果构建，预测与真实标注的正常或异常标签一致时给予正向奖励，不一致时给予负向奖励。

7.根据权利要求1所述的一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述双网络dqn架构采用在线网络与目标网络分离的结构。

8.根据权利要求7所述的一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述在线网络包括输入层、隐藏层和输出层，所述目标网络在训练过程中同步所述在线网络的权重。

9.根据权利要求1所述的一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述嵌入空间高斯核相似度传播以异常分数为嵌入向量，计算未标注样本与已标注样本的标准化欧氏距离，通过高斯核转换为相似度，根据最邻近的正常或异常样本相似度判定标签；

10.根据权利要求1所述的一种融合主动学习与深度q网络的异常检测方法，其特征在于，所述主动学习迭代训练的过程包括：