日志检测方法及装置、存储介质、计算机程序产品与流程

本申请涉及网络安全，尤其涉及一种日志检测方法及装置、存储介质、计算机程序产品。

背景技术：

1、现有技术中，web日志的异常检测的主要有以下几类方案：

2、基于规则/统计或轻量级机器学习混合方案，该类方案通过预设的正则表达式库或关键词库匹配已知的攻击签名，或通过统计特定事件的阈值来发现异常，再叠加简单机器学习模型进行二次确认。

3、基于单一深度学习模型的方案，该类方案通常采用一种主流模型进行分析，比如使用长短期记忆网络（long short-term memory，lstm）、循环神经网络（recurrent neuralnetwork，rnn）变体等捕捉日志序列的时序依赖性，或使用图神经网络（graph neuralnetwork，gnn）分析互联网协议（internet protocol ，ip）、统一资源定位符（uniformresource locator，url）等实体间的关联关系，其实施方式为将日志预处理成序列或图结构，再输入单一模型进行训练和推理。

4、依赖显式解析的特征工程方案，该类方案的第一步是通过正则表达式对半结构化的日志文本进行字段提取（如提取ip、时间、url、状态码等）。

5、上述方案中均涉及到日志文本的预处理，预处理严重依赖脆弱的正则表达式进行日志解析，无法适应线上业务快速迭代带来的日志格式漂移（format drift），一旦上游业务变更导致日志格式、字段顺序或分隔符发生改变，解析逻辑就会失效；同时，词嵌入方式无法有效解决未登录词问题，且其效果高度依赖分词工具的准确性。无法应对日志格式的微小变化，对新型、未知的攻击无检测能力，且规则库、阈值需手动更新，适应性不足，维护成本较高。可见，目前针对日志的异常检测的日志预处理能力不足，难以满足复杂业务场景下的高效检测需求。

技术实现思路

1、本申请提供一种日志检测方法及装置、存储介质、计算机程序产品。

2、本申请提供一种日志检测方法，包括：

3、利用基于统计的子词分词算法对待检测日志进行分词，得到所述待检测日志对应的词元token序列；

4、利用基于字符片段组合机制的语义嵌入模型，生成所述token序列中每个token的语义向量；

5、基于所述token序列中每个token的语义向量，构建所述待检测日志的异常检测特征；

6、将所述待检测日志的异常检测特征输入异常检测模型进行异常检测，得到所述待检测日志的异常检测评分。

7、本申请提供一种日志检测装置，包括：处理器、存储器和通信总线；

8、所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；

9、所述处理器，用于执行所述存储器存储的一个或者多个计算机程序，以实现上述日志检测方法。

10、本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实上述日志检测方法。

11、本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述日志检测方法。

12、本申请提供一种日志检测方法及装置、存储介质、计算机程序产品，方法包括：利用基于统计的子词分词算法对待检测日志进行分词，得到待检测日志对应的token序列；利用基于字符片段组合机制的语义嵌入模型，生成token序列中每个token的语义向量；基于token序列中每个token的语义向量，构建待检测日志的异常检测特征；将待检测日志的异常检测特征输入异常检测模型进行异常检测，得到待检测日志的异常检测评分。本申请提供的技术方案，通过子词分词与字符级语义嵌入，无需任何手动配置的解析规则，能够自动适应日志格式、字段顺序、分隔符的任意漂移，提高了日志预处理能力，从根本上解决了传统方案因上游业务变更导致检测系统瘫痪的问题，由此提高了日志检测性能，提升了未知攻击的检测能力与泛化性能。

1.一种日志检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述token序列中每个token的语义向量，构建所述待检测日志对应的异常检测特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述异常检测模型包括功能互补的第一神经网络通道和第二神经网络通道；

4.根据权利要求3所述的方法，其特征在于，所述异常检测模型还包括融合网络层；

5.根据权利要求1-4任一项所述的方法，其特征在于，所述异常检测评分，由所述待检测日志的交叉注意力输出在多个检测维度上的异常指标经标准化及加权融合得到。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

8.一种日志检测装置，其特征在于，包括：处理器、存储器和通信总线；

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。