一种基于语义干扰抑制的文本增强时间序列异常检测方法
本发明涉及人工智能、时间序列数据处理及多模态信息融合,具体涉及一种基于语义干扰抑制的文本增强时间序列异常检测方法。
背景技术:
1、时间序列异常检测旨在从时间序列数据中识别偏离正常演变规律的观测值或模式。现有方法根据建模范式主要分为基于预测的方法、基于重构的方法、基于对比学习的方法以及基于大模型的方法。其中,基于重构的方法通过学习正常数据的压缩表征恢复原始序列,并依据重构残差进行异常评分。
2、随着多模态数据采集手段的发展,时间序列异常检测开始引入外源事件文本。数值模态反映系统的状态轨迹,事件报告、天气预警或操作日志等外源文本则提供系统波动的上下文信息。外部事件引起的数值变化虽然可能显著偏离一般统计模式,但若能够与同步或邻近时间范围内的事件语义形成一致解释,该变化属于可解释波动;若数值发生明显偏离但缺乏相应外源语义支持,或者现有文本无法解释该偏离,则属于语义缺失条件下的异常波动。
3、现有文本增强异常检测方法通常以提高时间序列与文本之间的表征一致性和重构准确性为目标,将文本作为一般辅助特征进行拼接、注意力交互或门控融合。由于连续时序信号与稀疏事件文本存在采样频率、信息密度和语义粒度差异,实际输入文本还可能存在冗余、错配或弱相关内容,直接融合容易破坏正常时序模式建模并产生跨模态负迁移。现有硬门控方式在复杂语义重叠条件下还可能删除具有解释作用的上下文,难以兼顾噪声抑制和有效语义保留。
4、此外,单一来源的当前文本难以全面反映复杂事件对时间序列的影响;直接在原始序列上进行多尺度编码时,低频趋势可能掩盖局部突变,不受约束的跨尺度交互还可能造成细粒度信息泄漏;点对点误差容易受到自然底噪和微小相位偏移影响。因而,需要一种能够利用历史事件模式和领域先验、量化跨模态冲突并自适应控制文本融合强度的时间序列异常检测方法。
技术实现思路
1、鉴于上述问题,本发明提供了一种基于语义干扰抑制的文本增强时间序列异常检测方法,解决了现有技术中语义正常与异常波动难区分、文本易干扰的技术问题。
2、本发明提供了一种基于语义干扰抑制的文本增强时间序列异常检测方法,如下步骤:
3、步骤s1、获取多元时间序列和对应的外源事件文本,获取领域先验文本;所述多元时间序列包括多个时间点的气象信息,所述外源事件文本包括多个时间点的气象文本;所述领域先验文本记录有外源事件种类对多元时间序列的影响;
4、对输入的多元时间序列进行趋势解耦,得到低频趋势项和残差序列;对所述残差序列进行多尺度降采样和尺度独立编码,获取多尺度时序特征;
5、步骤s2、基于所述多元时间序列的时间片段的统计量生成内生统计文本;
6、分别对外源事件文本、内生统计文本以及领域先验文本进行编码和语义融合,获取增强文本特征;
7、步骤s3、分别对所述多尺度时序特征和增强文本特征进行并行一维卷积,获取共识基准特征和动态互补特征,分别对共识基准特征和动态互补特征进行跨模态交互以及门控残差插值,得到融合特征;
8、步骤s4、将融合特征按尺度拆分并上采样,在部分可见跨尺度掩码约束下进行解码,然后经过所述低频趋势项的回注及自适应卷积平滑,得到重建序列;
9、步骤s5、基于所述重建序列与所述多元时间序列的多尺度重构误差和记忆模式偏离度计算逐时间点异常分数,对所述逐时间点异常分数进行阈值化得到异常检测结果。
10、优选地,步骤s1中,所述气象信息包括蒸发量、平均风速、降水量、平均温度、最高温度、最低温度、最高水温、最低水温、平均地表温度、最低地表温度、积雪深度、降雪量、2分钟风向角、5秒风向角、2分钟内最大风速和5秒内最大风速;所述气象文本包括暴风雨、飓风以及洪水相关事件的文本记录。
11、优选地,步骤s1中,所述低频趋势项和残差序列的表达式为:
12、
13、其中,表示低频趋势项;表示多元时间序列;表示一维平均池化;表示池化核大小;表示池化步长;
14、
15、其中,表示残差序列;
16、步骤s1中,所述多尺度时序特征的表达式为:
17、
18、
19、
20、其中,表示第i尺度时序特征;表示transformer编码器;表示尺度独立掩码;表示第i尺度嵌入特征;表示分块嵌入运算;表示降采样得到的第i尺度多尺度时序序列;表示第i尺度的位置编码;n表示尺度总数;表示第a个特征标记与第b个特征标记之间的尺度独立掩码值;分别表示第a个特征标记和第b个特征标记。
21、优选地,步骤s2中,所述基于所述多元时间序列的时间片段的统计量生成内生统计文本的步骤具体包括:计算得到多元时间序列时间片段的均值、标准差、最大值和最小值;将所述均值、标准差、最大值和最小值按照预设字段填入结构化提示模板,生成内生统计文本;
22、所述分别对外源事件文本、内生统计文本以及领域先验文本进行编码和语义融合,获取增强文本特征的步骤具体包括:
23、对所述外源事件文本与内生统计文本进行编码,得到联合文本特征;
24、对所述领域先验文本进行编码,得到领域先验特征;
25、以所述联合文本特征从动态记忆库检索历史语义原型,获取历史语义特征;
26、对所述领域先验特征和历史语义特征进行融合,获取增强文本特征。
27、优选地,所述联合文本特征的表达式为:
28、
29、其中,表示联合文本特征;表示文本编码器;表示外源事件文本;表示内生统计文本;
30、所述领域先验特征的表达式为:
31、
32、其中,表示领域先验特征;表示领域先验文本;
33、所述历史语义特征的表达式为:
34、
35、
36、其中,表示历史语义特征;表示从相关性权重集合中选出的top-k个高权重索引集合;表示第i’个记忆单元的相关性权重;表示第i’个可学习历史语义原型;表示第i’个记忆单元的相关性权重;表示指数函数;表示余弦相似度函数;表示第i’个记忆单元的可学习模式索引;d表示特征维度;k表示动态记忆库中的记忆单元总数;表示第j个记忆单元的可学习模式索引;
37、所述增强文本特征的表达式为:
38、
39、其中,表示增强文本特征;表示层归一化函数;表示联合文本特征;表示多头交叉注意力运算;q、k和v分别表示交叉注意力的查询、键和值;c表示由领域先验特征和历史语义特征拼接形成的综合上下文特征池。
40、优选地,步骤s3中,所述共识基准特征和动态互补特征的表达式为:
41、
42、
43、其中,表示时序动态互补特征;表示时序共识基准特征;表示用于提取动态互补特征的一维卷积;表示用于提取共识基准特征的一维卷积;表示多尺度时序特征,表示文本动态互补特征;表示文本共识基准特征;表示用于提取动态互补特征的一维卷积;表示用于提取共识基准特征的一维卷积;
44、步骤s3中,所述分别对共识基准特征和动态互补特征进行跨模态交互以及门控残差插值,得到融合特征的具体步骤包括:
45、共识基准特征进行跨模态交互得到基线表征;动态互补特征进行跨模态交互的得到联合表征;以所述联合表征相对于所述基线表征的均方偏移作为耦合冲突散度,以随所述耦合冲突散度增大而单调减小的安全融合权重对所述联合表征相对于所述基线表征的增量进行门控残差插值,得到融合特征。
46、优选地,所述基线表征的表达式为:
47、
48、其中,表示基线表征;表示跨模态注意力运算;q、k和v分别表示查询、键和值;
49、所述联合表征的表达式为:
50、
51、其中,表示联合表征;表示依次接收查询、键和值的跨模态注意力运算;
52、所述耦合冲突散度的表达式为:
53、
54、其中,d表示耦合冲突散度;表示联合表征在第i’’维的特征值;表示基线表征在第i’’维的特征值
55、所述安全融合权重的表达式为:
56、
57、其中,表示安全融合权重;表示softplus函数;表示可学习的标量缩放参数;
58、所述融合特征的表达式为:
59、
60、其中,表示融合特征;表示逐元素乘法。
61、优选地,步骤s4中,所述将融合特征按尺度拆分并上采样的表达式为:
62、
63、其中,表示第i尺度的上采样特征;表示第i尺度对应的线性插值运算;表示从融合特征中拆分得到的第i尺度融合特征;
64、在部分可见跨尺度掩码约束下进行解码的表达式为:
65、
66、
67、其中,表示解码时第i尺度查询位置对第j尺度上下文位置的部分可见跨尺度掩码值;i和j分别表示查询尺度索引和被访问尺度索引;表示第i位置对应的尺度编号;表示第j位置对应的尺度编号;表示第i尺度解码结果;表示受部分可见跨尺度掩码约束的transformer解码器;表示第i尺度的上采样特征;
68、步骤s4中,所述经过所述低频趋势项的回注及自适应卷积平滑,得到重建序列的表达式为:
69、
70、
71、其中,表示第i尺度重建结果;表示降采样至第i尺度的低频趋势项;表示重建序列;表示自适应卷积平滑运算;表示将各尺度重建结果合并后形成的待平滑重建结果。
72、优选地,步骤s5中,所述多尺度重构异常分数的表达式为:
73、
74、
75、
76、
77、其中,表示第k尺度的局部均值;表示一维平均池化运算;表示第k尺度真实多元时间序列;表示池化核大小为5;表示池化步长为1;表示第k尺度的点对点平方误差;表示第k尺度的动态容忍边界;表示正常局部波动的缩放系数;表示提高数值稳定性的正数稳定项;表示第k尺度扣除正常波动后的重构异常分数;表示线性整流函数;表示多尺度重构异常分数;n表示尺度总数;表示插值函数;表示第k尺度重构异常分数;表示将输出长度设为原始多元时间序列长度l;表示采用线性插值模式;
78、所述记忆模式偏离度的表达式为:
79、
80、
81、其中,表示记忆模式偏离度;q表示当前输入的查询向量;表示查询向量q与记忆反馈原型m的内积;和分别表示q和m的二范数;m表示记忆反馈原型;表示相关性权重最高的记忆单元索引集合;表示第i’个记忆单元的相关性权重;表示第i’个历史语义原型;
82、所述逐时间点异常分数的表达式为:
83、
84、其中,表示逐时间点异常分数;表示多尺度重构异常分数;表示记忆模式偏离度;表示记忆模式偏离度在逐时间点异常分数中的权重系数。
85、优选地,还包括训练序列异常检测模型的步骤,包括:利用重建损失、形态对齐损失、跨模态对比损失和解耦损失构建损失函数,基于所述损失函数训练模型;
86、所述重建损失的表达式为:
87、
88、其中,表示重建损失;n’表示当前重建损失所平均的误差元素总数;i’’’表示误差元素索引;表示第i’’’个重构残差;表示第i’’’个重构残差对应的huber损失;'表示焦点调制指数;
89、所述形态对齐损失的表达式为:
90、
91、其中,表示形态对齐损失;表示用于约束序列形态和时间对齐关系的dilate损失函数;表示重建序列;表示输入的多元时间序列;
92、所述跨模态对比损失的表达式为:
93、
94、其中,表示跨模态对比损失;表示由时序全局嵌入到文本全局嵌入的对比损失;表示由文本全局嵌入到时序全局嵌入的对比损失;
95、所述解耦损失的表达式为:
96、
97、其中,表示解耦损失;n’’’表示参与当前解耦损失平均计算的特征数量;表示余弦相似度函数
98、模型总损失为:
99、
100、其中,表示模型总损失;、和分别表示形态对齐损失、跨模态对比损失和解耦损失的权重系数。
101、与现有技术相比,本发明至少具有如下有益效果:
102、(1)本发明通过对多元时间序列进行趋势解耦、多尺度降采样及尺度独立编码,能够有效分离低频趋势项与局部残差信息,降低趋势变化及跨尺度信息混叠对异常细节建模的干扰,提升对短时突变、局部扰动等异常特征的提取能力。
103、(2)本发明通过动态记忆融合外源事件文本、内生统计文本、领域先验文本及历史语义原型,并比较低风险基准表征与联合表征之间的偏移连续度,可实现对跨模态信息冲突和文本可靠性的动态判断,使可信文本参与时序重建与异常判别,能够提高检测结果的可解释性和鲁棒性。
104、(3)本发明通过在部分可见跨尺度掩码约束下进行多尺度解码,并结合低频趋势回注、自适应卷积平滑以及动态容忍后的多尺度重构误差和记忆模式偏离度计算异常分数,能够降低正常底噪及可解释波动对检测结果的影响,提高异常检测的准确性和稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com