基于自适应上下文学习的电力日志异常检测方法及装置与流程
本申请涉及人工智能与电力系统安全技术交叉领域,尤其涉及一种基于自适应上下文学习的电力日志异常检测方法及装置。
背景技术:
1、随着新型电力系统建设的深入推进,电力信息系统等关键信息系统日益复杂,其运行过程中会产生海量半结构化日志,记录了系统状态、通信行为、错误告警等关键信息。日志异常检测作为保障系统安全稳定运行的重要手段,能够有效识别潜在的网络攻击、软件故障或配置错误,对提升电力系统可靠性具有重要意义。
2、目前,主流的日志异常检测方法主要分为两类:基于传统机器学习的方法(如决策树、主成分分析、不变量挖掘)和基于深度学习的方法(如deeplog、loganomaly、neurallog)。前者通常依赖人工特征工程,泛化能力弱;后者虽能自动学习复杂模式,但普遍需要大量带标注的域内训练数据。然而,在电力信息系统中,日志异常检测面临日志标注成本高、日志动态性强、日志异常极度稀疏等挑战。具体包括:日志涉及scada系统、通信协议、智能终端等多领域知识,需结合电力业务规则甚至物理规律进行判别;电力信息系统升级或业务变更频繁,导致日志模板不稳定;另外真实场景中异常日志占比常低于0.1%,导致监督模型易出现欠拟合或高误报等情况。近年来,大语言模型(large language model,llm)凭借其强大的上下文学习(in-context learning,icl)能力,为解决上述问题提供了新思路。llm无需参数更新,仅通过在输入提示中嵌入少量示例即可完成下游任务。然而,现有基于llm的日志异常检测方法(如logprompt、loggpt)普遍存在以下不足:
3、1、采用随机或人工构建的固定示例,未针对每条在线日志动态筛选最相关上下文;
4、2、提示设计简单,缺乏对电力领域经验知识(如“占位符非异常”“仅显式关键词视为异常”)的结构化注入;
5、3、输出格式不可控,易受模型幻觉干扰,影响结果提取效率与准确性。
技术实现思路
1、本申请提供了一种基于自适应上下文学习的电力日志异常检测方法及装置,以解决现有日志异常检测方法依赖大量标注数据、泛化能力弱、llm提示涉及粗糙的问题。
2、第一方面,本申请提供了一种基于自适应上下文学习的电力日志异常检测方法,包括:
3、获取待检测在线日志,分别计算所述待检测在线日志与预设上下文学习候选集中各候选样本的余弦相似度,并选取相似度最高的前n个候选样本作为上下文示例;
4、将预设任务指令、预设结构化判定规则、所述上下文示例以及所述待检测在线日志组合为复合提示文本;
5、将所述复合提示文本输入到已构建的大语言判别模型中,输出判定结果,并对所述判定结果进行格式解析,得到所述待检测在线日志的最终预测标签,所述判定结果为单个词元形式的判定结果。
6、第二方面,本申请提供了一种基于自适应上下文学习的电力日志异常检测装置,包括:
7、示例提取模块,用于获取待检测在线日志,分别计算所述待检测在线日志与预设上下文学习候选集中各候选样本的余弦相似度,并选取相似度最高的前n个候选样本作为上下文示例;
8、文本生成模块,用于将预设任务指令、预设结构化判定规则、所述上下文示例以及所述待检测在线日志组合为复合提示文本;
9、结果预测模块,用于将所述复合提示文本输入到已构建的大语言判别模型中,输出判定结果,并对所述判定结果进行格式解析,得到所述待检测在线日志的最终预测标签,所述判定结果为单个词元形式的判定结果。
10、本申请提供一种基于自适应上下文学习的电力日志异常检测方法及装置,本申请通过自适应上下文学习,无需针对每类异常重新微调模型,仅需从候选集中检索相似样本即可构建提示,大幅降低对大量标注数据的依赖;选取与待检测日志相似度最高的前n个候选样本作为上下文示例,使模型推理时具备与当前输入最相关的领域知识参照,相比固定示例或零样本提示,显著提升判定精度;然后,复合提示中同时包含任务指令、结构化判定规则和动态上下文示例:任务指令明确检测目标,结构化规则约束输出格式与判定逻辑,上下文示例提供实例引导,三者协同使大语言模型的输出既灵活又可控,避免自由生成带来的不可预测性;同时,判定结果为单个词元形式,经格式解析即可直接得到最终预测标签,无需额外后处理或复杂解码逻辑,降低了系统集成难度,适合在线实时检测场景。
1.一种基于自适应上下文学习的电力日志异常检测方法,其特征在于,包括:
2.根据权利要求1所述的基于自适应上下文学习的电力日志异常检测方法,其特征在于,在所述获取待检测在线日志之前,所述方法还包括:
3.根据权利要求2所述的基于自适应上下文学习的电力日志异常检测方法,其特征在于,所述基于所述结构化日志,构建所述预设上下文学习候选集,包括:
4.根据权利要求3所述的基于自适应上下文学习的电力日志异常检测方法,其特征在于,所述分别对所述结构化日志中的每条本地历史日志进行向量化处理,得到每条本地历史日志对应的语义嵌入向量,包括:
5.根据权利要求3所述的基于自适应上下文学习的电力日志异常检测方法,其特征在于,所述计算第一样本与所述第一候选样本的投影系数,包括:
6.根据权利要求5所述的基于自适应上下文学习的电力日志异常检测方法,其特征在于,所述利用所述第一样本的初始得分与所述第一样本的投影系数,得到所述第一样本的剩余多样性得分,包括:
7.根据权利要求1所述的基于自适应上下文学习的电力日志异常检测方法,其特征在于,所述分别计算所述待检测在线日志与预设上下文学习候选集中各候选样本的余弦相似度,包括:
8.根据权利要求1所述的基于自适应上下文学习的电力日志异常检测方法,其特征在于,在所述选取相似度最高的前n个候选样本作为上下文示例之后,所述方法还包括:
9.根据权利要求1所述的基于自适应上下文学习的电力日志异常检测方法,其特征在于,所述对所述判定结果进行格式解析,得到所述待检测在线日志的最终预测标签,包括:
10.一种基于自适应上下文学习的电力日志异常检测装置,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com