芯片遥测日志异常检测方法和芯片遥测日志异常检测装置与流程

摘要: 以下描述涉及人工智能与故障诊断领域,更具体地讲,涉及一种芯片遥测日志异常检测方法和芯片遥测日志异常检测装置。背景技术:1、芯片遥测日志是芯片在运行过程中由芯片内...
芯片遥测日志异常检测方法和芯片遥测日志异常检测装置与流程

以下描述涉及人工智能与故障诊断领域,更具体地讲,涉及一种芯片遥测日志异常检测方法和芯片遥测日志异常检测装置。

背景技术:

1、芯片遥测日志是芯片在运行过程中由芯片内的各种传感器和/或监控单元采集并输出的关于芯片状态的各种类型的日志。在当代芯片架构(例如,异构芯片架构)中,芯片遥测日志可以达到每个核心每秒1-1000万个事件的速率,并且具有三个关键属性:1)微秒级的细粒度时间分辨率,事件语义定义为纳秒级(例如,缓存未命中计数器、流水线停滞和热节流触发器),2)从多个分布式源(包括但不限于神经处理器张量核心、双倍数据速率物理层和外围组件互连快速控制器)并发数据生成,3)屏蔽异常与合法周期模式共存。

2、目前,针对此类日志的异常检测方法通常依赖于静态阈值告警或基于规则的专家系统。然而,面对上述高并发、细粒度和分布式的芯片遥测日志,传统方法难以在保证低误报率的同时,对具有上述属性的芯片遥测日志执行准确的异常检测。

3、因此,需要一种具有较高准确度的芯片遥测日志异常检测方法。

技术实现思路

1、根据本公开的一个或多个实施例的方面,提供一种芯片遥测日志异常检测方法,包括:基于全局图嵌入提取方法从与芯片遥测日志对应的多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取全局图嵌入;基于局部图嵌入提取方法从所述多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取局部图嵌入;通过针对每个概率状态转换图融合全局图嵌入和局部图嵌入来生成与每个概率状态转换图对应的融合图嵌入;以及基于所述多个概率状态转换图的多个融合图嵌入执行芯片遥测日志的异常检测。

2、在一些实施例中,芯片遥测日志对应于芯片的预定功能域,其中,所述芯片遥测日志异常检测方法还包括:基于滑动窗口将芯片遥测日志划分为与所述预定功能域对应的多个功能切片;以及针对所述多个功能切片中的每个功能切片,生成概率状态转换图,以获得所述多个概率状态转换图中的每个概率状态转换图的状态转移矩阵,其中,所述多个概率状态转换图中的每个概率状态转换图包括顶点集、边集和权重集,其中,顶点集中的顶点表示从芯片遥测日志的功能切片提取的芯片的操作状态,边集中的边表示操作状态之间的概率状态转换,并且权重集中的权重表示从芯片遥测日志的功能切片得到的操作状态之间的归一化转换频率。

3、在一些实施例中,滑动窗口的步幅长度和重叠率中的至少一个基于芯片遥测日志内的事件密度波动和状态转换周期中的至少一个来设置。

4、在一些实施例中,所述芯片遥测日志异常检测方法还包括:以压缩稀疏行矩阵格式将所述多个概率状态转换图的所述多个状态转移矩阵存储在存储器中,其中,压缩稀疏行矩阵格式包括数据数组、索引数组和索引指针数组,其中,数据数组存储与概率状态转换图中的权重集对应的权重矩阵中的非零权重,索引数组存储目的地节点标识符,并且索引指针数组存储源节点的偏移量;以及从存储器读取压缩稀疏行矩阵格式的所述多个概率状态转换图的所述多个状态转移矩阵,其中,从与芯片遥测日志对应的多个概率状态转换图的多个状态转移矩阵中的每个状态转移矩阵提取全局图嵌入的步骤包括:从压缩稀疏行矩阵格式的所述多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取全局图嵌入,并且其中,从所述多个状态转移矩阵中的每个状态转移矩阵提取局部图嵌入的步骤包括:从压缩稀疏行矩阵格式的所述多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取局部图嵌入。

5、在一些实施例中,全局图嵌入提取方法是利用概率状态转换图的状态转移矩阵的全局信息来提取全局图嵌入的方法,并且局部图嵌入提取方法是利用概率状态转换图的状态转移矩阵的局部信息来提取局部图嵌入的方法。

6、在一些实施例中,全局图嵌入提取方法包括:采用非线性降维来将高维稀疏特征映射到低维潜在空间中并且同时保留拓扑邻域关系的全局流形投影方法,并且其中,局部图嵌入提取方法包括:混合广度优先搜索-深度优先搜索随机游走方法和神经表示学习方法。

7、在一些实施例中,针对每个概率状态转换图生成融合图嵌入的步骤包括:针对每个概率状态转换图分别对融合全局图嵌入和局部图嵌入进行归一化;并且通过对归一化的全局图嵌入和归一化的局部图嵌入进行级联来生成融合图嵌入。

8、在一些实施例中,执行芯片遥测日志的异常检测的步骤包括:使用基于密度的分层聚类方法将融合图嵌入划分为多个聚类;以及基于所述多个聚类的密度来执行异常检测。

9、在一些实施例中,基于所述多个聚类的密度来执行异常检测的步骤包括:确定所述多个聚类的密度在时间窗口内的波动;将与超过自适应阈值的波动对应的聚类和时间窗口标记为异常;以及将与标记为异常的聚类和时间窗口对应的芯片遥测日志检测为异常。

10、在一些实施例中,基于所述多个聚类的密度来执行异常检测的步骤还包括:将与标记为异常的聚类和时间窗口对应的芯片遥测日志和故障元数据相关联来完成异常检测。

11、根据本公开的一个或多个实施例的方面,提供一种芯片遥测日志异常检测装置,所述芯片遥测日志异常检测装置包括:至少一个处理器,以及至少一个非暂时性存储器,存储一个或多个指令,其中,所述一个或多个指令当由所述至少一个处理器执行时被配置为使所述至少一个处理器:基于全局图嵌入提取方法从与芯片遥测日志对应的多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取全局图嵌入;基于局部图嵌入提取方法从所述多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取局部图嵌入;通过针对每个概率状态转换图融合全局图嵌入和局部图嵌入来生成与每个概率状态转换图对应的融合图嵌入;并且基于所述多个概率状态转换图的多个融合图嵌入执行芯片遥测日志的异常检测。

12、在一些实施例中,芯片遥测日志对应于芯片的预定功能域,其中,所述至少一个处理器还被配置为:基于滑动窗口将芯片遥测日志划分为与所述预定功能域对应的多个功能切片;并且针对所述多个功能切片中的每个功能切片,生成概率状态转换图,以获得所述多个概率状态转换图中的每个概率状态转换图的状态转移矩阵,其中,所述多个概率状态转换图中的每个概率状态转换图包括顶点集、边集和权重集,其中,顶点集中的顶点表示从芯片遥测日志的功能切片提取的芯片的操作状态,边集中的边表示操作状态之间的概率状态转换,并且权重集中的权重表示从芯片遥测日志的功能切片得到的操作状态之间的归一化转换频率。

13、在一些实施例中,滑动窗口的步幅长度和重叠率中的至少一个基于芯片遥测日志内的事件密度波动和状态转换周期中的至少一个来设置。

14、在一些实施例中,所述至少一个处理器还被配置为:以压缩稀疏行矩阵格式将所述多个概率状态转换图的所述多个状态转移矩阵存储在存储器中,其中,压缩稀疏行矩阵格式包括数据数组、索引数组和索引指针数组,其中,数据数组存储与概率状态转换图中的权重集对应的权重矩阵中的非零权重,索引数组存储目的地节点标识符,并且索引指针数组存储源节点的偏移量;并且从存储器读取压缩稀疏行矩阵格式的所述多个概率状态转换图的所述多个状态转移矩阵,其中,所述至少一个处理器被配置为:从压缩稀疏行矩阵格式的所述多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取全局图嵌入;并且从压缩稀疏行矩阵格式的所述多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取局部图嵌入。

15、在一些实施例中,全局图嵌入提取方法是利用概率状态转换图的状态转移矩阵的全局信息来提取全局图嵌入的方法,并且局部图嵌入提取方法是利用概率状态转换图的状态转移矩阵的局部信息来提取局部图嵌入的方法。

16、在一些实施例中,全局图嵌入提取方法包括:采用非线性降维来将高维稀疏特征映射到低维潜在空间中并且同时保留拓扑邻域关系的全局流形投影方法,并且其中,局部图嵌入提取方法包括:混合广度优先搜索-深度优先搜索随机游走方法和神经表示学习方法。

17、在一些实施例中,所述至少一个处理器被配置为:针对每个概率状态转换图分别对融合全局图嵌入和局部图嵌入进行归一化;并且通过对归一化的全局图嵌入和归一化的局部图嵌入进行级联来生成融合图嵌入。

18、在一些实施例中,所述至少一个处理器被配置为:使用基于密度的分层聚类方法将融合图嵌入划分为多个聚类;并且基于所述多个聚类的密度来执行异常检测。

19、在一些实施例中,所述至少一个处理器被配置为:确定所述多个聚类的密度在时间窗口内的波动;将与超过自适应阈值的波动对应的聚类和时间窗口标记为异常;并且将与标记为异常的聚类和时间窗口对应的芯片遥测日志检测为异常。

20、在一些实施例中,计算机可读存储介质被配置为存储指令,所述指令在由包括在计算装置中的至少一个处理器执行时使计算装置:基于全局图嵌入提取方法从与芯片遥测日志对应的多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取全局图嵌入;基于局部图嵌入提取方法从所述多个概率状态转换图中的每个概率状态转换图的状态转移矩阵提取局部图嵌入;通过针对每个概率状态转换图融合全局图嵌入和局部图嵌入来生成与每个概率状态转换图对应的融合图嵌入;并且基于所述多个概率状态转换图的多个融合图嵌入执行芯片遥测日志的异常检测。