多模态推理芯片及工业故障诊断方法与流程

摘要: 本技术涉及芯片,特别是涉及一种多模态推理芯片及工业故障诊断方法。背景技术:1、工业设备故障诊断通常需要处理振动、声学、电流、温度、压力等多源传感数据。卷积神经网...
多模态推理芯片及工业故障诊断方法与流程

本技术涉及芯片,特别是涉及一种多模态推理芯片及工业故障诊断方法。

背景技术:

1、工业设备故障诊断通常需要处理振动、声学、电流、温度、压力等多源传感数据。卷积神经网络适于提取局部空间特征、频域特征或时频图特征;长短期记忆网络适于处理离散时间序列中的长期依赖关系;液态神经网络适于描述连续时间状态演化以及不规则采样条件下的动态过程。因此,同一工业故障诊断任务可能需要依次或交错执行上述多种网络计算。

2、现有推理芯片多针对单一网络类型设计。仅支持卷积神经网络的加速器难以直接完成长短期记忆网络的门控状态更新或液态神经网络的连续时间状态更新。部分通用神经网络处理器虽然能够执行矩阵乘法,但不同网络类型往往分别占用专用计算资源,或者依赖微控制器执行后续非线性处理和状态更新,导致芯片面积、功耗、控制开销和数据搬移开销增加。

3、传统卷积推理通常将卷积、激活和池化分别执行,激活结果需要反复写入和读取激活存储器,形成较大的片上存储带宽和动态功耗开销。当多个处理单元簇同时产生激活结果时,固定轮询方式又不能根据各数据流的实时性和吞吐量需求进行差异化调度,容易造成关键数据流的延迟抖动。

4、长短期记忆网络的四类门投影及逐元素状态更新若串行执行,推理延迟较高。液态神经网络的状态更新涉及指数衰减因子,若在每个时间步实时执行除法和指数运算,会增加硬件复杂度和处理周期。网络权重反复从片外存储器或片上权重存储器加载,还会限制乘累加阵列的利用率。因此,如何统一调度多模态的神经网络计算、减少网络权重加载和中间数据搬移是本领域技术人员所亟待解决的技术问题。

技术实现思路

1、本技术提供一种多模态推理芯片及工业故障诊断方法,以利用可复用的处理单元簇执行三种计算网络共有的卷积运算或矩阵投影运算,并由与计算类型对应的单元完成后续处理,从而降低网络类型切换、网络权重加载和中间数据搬移开销。

2、第一方面,本技术提供一种多模态推理芯片,包括: 指令输入单元,用于接收包含操作码和操作参数的指令; 调度器,用于解析所述指令,根据所述操作码确定待执行的计算类型,并根据所述计算类型和所述操作参数形成计算任务以及与所述计算类型对应的启动控制信息;所述计算类型包括卷积神经网络计算、长短期记忆网络计算和液态神经网络计算; 多个处理单元簇,用于基于网络权重和激活数据执行卷积运算或矩阵投影运算,以获取与所述计算类型对应的计算结果,并基于所述计算类型将所述计算结果对应传输至流式处理单元、长短期记忆网络处理单元或液态神经网络处理单元; 所述流式处理单元,用于在接收到所述调度器发送的流仲裁和池化模式控制信息后,对与所述卷积神经网络计算对应的所述计算结果执行流仲裁和池化处理; 所述长短期记忆网络处理单元,用于在接收到所述调度器发送的门控融合启动信息后,对与所述长短期记忆网络计算对应的所述计算结果执行门激活和状态融合;以及 所述液态神经网络处理单元,用于在接收到所述调度器发送的闭式状态更新启动信息后,对与所述液态神经网络计算对应的所述计算结果执行神经元状态更新; 其中,所述调度器还用于将所述计算任务分发至至少一个所述处理单元簇,并将所述启动控制信息发送至与所述计算类型对应的所述流式处理单元、所述长短期记忆网络处理单元或所述液态神经网络处理单元。

3、在第一方面的一种实施方式中,所述指令为64位定长指令,所述指令包括操作码字段、标志字段和多个参数字段; 所述调度器包括指令译码单元、指令分发单元和完成信号检测单元; 所述指令译码单元用于根据所述操作码字段、所述标志字段和所述多个参数字段形成所述计算任务以及所述启动控制信息; 所述指令分发单元用于将所述计算任务发送至至少一个所述处理单元簇,并将所述启动控制信息发送至与所述计算类型对应的所述流式处理单元、所述长短期记忆网络处理单元或所述液态神经网络处理单元; 所述完成信号检测单元用于根据接收所述计算任务或所述启动控制信息的单元返回的完成信号控制后续指令的获取和分发;其中,所述计算任务包括卷积运算任务、长短期记忆网络门投影任务或液态神经网络矩阵投影任务。

4、在第一方面的一种实施方式中,还包括片上存储子系统和权重编解码单元; 所述片上存储子系统包括用于存储所述网络权重的权重存储器和用于存储所述激活数据、所述计算结果及状态数据的激活存储器; 所述权重编解码单元用于对压缩形式的网络权重执行差分解码、零值游程解码或差分解码与零值游程解码相结合的混合解码; 所述权重编解码单元包括预取缓存,所述预取缓存用于在所述处理单元簇使用当前网络权重进行计算期间缓存后续计算所需的解码后的网络权重。

5、在第一方面的一种实施方式中,各所述处理单元簇包括乘累加阵列和本地权重缓存; 所述本地权重缓存用于同时缓存分别对应于多个输出通道的网络权重; 所述乘累加阵列用于基于同一输入激活窗口和各所述输出通道对应的网络权重,分别获取各所述输出通道对应的卷积运算结果。

6、在第一方面的一种实施方式中,各所述处理单元簇还包括激活电路和流式输出接口;所述流式处理单元包括流仲裁器和池化单元; 所述调度器用于配置所述处理单元簇、所述激活电路、所述流式输出接口、所述流仲裁器和所述池化单元形成卷积、激活和池化连续处理路径,以使所述激活电路获取的激活结果在不写入所述激活存储器的情况下经所述流式输出接口和所述流仲裁器传输至所述池化单元,并使所述池化单元将池化结果写入所述激活存储器。

7、在第一方面的一种实施方式中,所述流仲裁器具有严格优先级调度模式和加权轮询调度模式; 在所述严格优先级调度模式下,所述流仲裁器用于从具有有效激活结果的处理单元簇中选择优先级最高的处理单元簇; 在所述加权轮询调度模式下,所述流仲裁器用于根据各所述处理单元簇对应的调度权重,基于与所述调度权重对应的相对服务额度选择各所述处理单元簇。

8、在第一方面的一种实施方式中,所述调度器用于将分别对应于遗忘门、输入门、输出门和候选细胞状态的矩阵投影计算分发至多个所述处理单元簇,以并行获取遗忘门投影结果、输入门投影结果、输出门投影结果和候选细胞状态投影结果,并向所述长短期记忆网络处理单元发送所述门控融合启动信息; 所述长短期记忆网络处理单元包括多路并行门控计算通道,用于对所述遗忘门投影结果、所述输入门投影结果、所述输出门投影结果和所述候选细胞状态投影结果执行非线性处理和逐元素状态融合,以获取当前时间步的细胞状态和隐藏状态。

9、在第一方面的一种实施方式中,所述液态神经网络处理单元包括指数衰减因子查找表和状态更新电路; 所述指数衰减因子查找表用于在预设时间间隔为1时,根据时间常数输出预先存储的指数衰减因子; 所述状态更新电路用于在接收到所述调度器发送的所述闭式状态更新启动信息后,根据前一时刻神经元状态、由所述处理单元簇得到的输入投影结果和状态投影结果、偏置以及所述指数衰减因子,基于闭式状态更新关系获取当前时刻神经元状态。

10、第二方面,本技术提供一种工业故障诊断方法,包括: 获取工业设备的运行数据;将所述运行数据作为激活数据输入至如第一方面所述的多模态推理芯片,并利用所述多模态推理芯片获取推理结果; 根据所述推理结果确定所述工业设备的故障状态;其中,获取所述推理结果包括: 接收包含操作码和操作参数的指令; 解析所述指令,根据所述操作码从卷积神经网络计算、长短期记忆网络计算和液态神经网络计算中确定待执行的计算类型,并根据所述计算类型和所述操作参数形成计算任务以及与所述计算类型对应的启动控制信息; 将所述计算任务分发至至少一个所述处理单元簇,并将所述启动控制信息发送至与所述计算类型对应的所述流式处理单元、所述长短期记忆网络处理单元或所述液态神经网络处理单元,并通过所述处理单元簇基于网络权重和激活数据执行卷积运算或矩阵投影运算,以获取计算结果; 根据所述计算类型,将所述计算结果传输至已接收到所述启动控制信息的所述流式处理单元、所述长短期记忆网络处理单元或所述液态神经网络处理单元,以对应执行流仲裁和池化处理、门激活和状态融合或神经元状态更新,获取所述推理结果。

11、在第二方面的一种实施方式中,所述多模态推理芯片还包括用于存储所述激活数据和所述计算结果的激活存储器; 在所述计算类型为所述卷积神经网络计算时,获取所述推理结果还包括: 通过所述处理单元簇执行卷积运算并对卷积运算结果执行激活处理,将获取的激活结果在不写入所述激活存储器的情况下传输至所述流式处理单元; 通过所述流式处理单元,基于各所述处理单元簇对应的优先级选择优先级最高且具有有效激活结果的处理单元簇,或者根据各所述处理单元簇对应的调度权重,基于与所述调度权重对应的相对服务额度选择各所述处理单元簇,并对所选择的处理单元簇输出的激活结果执行池化处理。

12、综上所述,本技术提供的多模态推理芯片及工业故障诊断方法具有以下有益效果:

13、(1)同一调度器根据统一指令确定卷积神经网络计算、长短期记忆网络计算或液态神经网络计算,并将高计算量线性运算分发至可复用的处理单元簇,能够减少不同网络类型分别设置基础计算阵列造成的资源重复。

14、(2)本地权重缓存同时驻留多个输出通道分别对应的网络权重,处理单元簇可复用输入激活窗口,减少网络权重的重复加载并提高乘累加阵列利用率。

15、(3)权重编解码单元与预取缓存配合,可降低压缩形式的网络权重的数据量并隐藏至少部分解码延迟。

16、(4)卷积、激活和池化连续处理路径使激活结果绕过激活存储器直接进入池化单元,减少中间写入和再次读取。

17、(5)严格优先级调度能够优先服务实时性要求较高的数据流,加权轮询调度能够基于调度权重提供比例服务额度。

18、(6)长短期记忆网络的四类门投影和门控状态融合可并行执行,以降低时序推理延迟。

19、(7)液态神经网络处理单元利用预先获得的指数衰减因子基于闭式状态更新关系更新神经元状态,可减少实时除法和指数运算硬件。