一种面向RK3588NPU的石油设备红外热成像故障检测模型混合精度量化与算子融合方法与流程

属于边缘智能计算与石油设备智能检测，涉及深度学习模型压缩优化、专用神经网络处理器加速技术，具体为一种面向 rk3588 神经网络处理器的石油设备红外热成像故障检测模型混合精度量化与算子融合方法。

背景技术：

1、石油设备红外热成像故障检测是油田设备运行状态监测的重要技术手段。该技术通常利用红外成像设备采集变压器、电机、输油管道、阀门等石油设备的红外热成像图像，并通过故障检测模型提取温度分布、温度梯度及局部异常区域等特征，以确定设备故障类型、故障位置和温度异常程度。早期检测方案通常将红外热成像图像传输至服务器或云端计算平台进行集中处理，但在油田野外网络条件受限的应用场景下，数据传输过程容易影响检测结果的实时获取，因此，将故障检测模型部署于巡检终端并在现场完成推理，逐渐成为石油设备红外巡检的一种常见技术路线。

2、现有巡检终端通常采用集成神经网络处理器的边缘计算芯片运行故障检测模型。由于原始浮点模型的计算量和存储占用较大，在部署前一般需要对模型进行量化、剪枝或计算图优化。其中，模型量化通常将模型权重和激活值由高精度浮点数转换为低位宽整数，以降低模型体积和计算负荷；计算图优化通常通过调整算子执行顺序、合并部分连续算子或采用硬件支持的模型格式，使故障检测模型能够在神经网络处理器上运行。

3、然而，现有量化方法多采用统一精度对各网络层进行处理，未充分区分不同网络层所承载特征的重要程度。石油设备红外热成像图像中的部分故障表现为局部温度差异或温度梯度变化，相关特征通常由热成像特征提取层、注意力层等网络层表征。若对全部网络层统一采用低位宽整数量化，容易造成温度细节特征的数值表达能力下降；若为保持检测精度而整体采用较高精度，又难以充分降低模型的计算负荷和存储占用。因此，现有量化方式难以根据网络层对故障检测结果的影响程度合理分配量化精度，模型压缩与温度细节特征保持之间仍存在矛盾。

4、此外，现有模型部署方法通常侧重于模型格式转换，未结合特定神经网络处理器的运算单元、片上缓存及指令调度方式对模型计算图进行针对性重构。模型中的卷积、批归一化、激活、多分支特征拼接及残差连接等算子仍可能以相对独立的方式执行，导致中间特征在不同算子之间重复读写，并增加跨算子及跨分支的调度开销。同时，模型推理过程中的数据加载、运算执行和结果输出通常按照顺序完成，难以充分利用神经网络处理器的并行计算资源。由此，经过通用量化处理的故障检测模型虽然能够部署至巡检终端，但其量化精度分配和算子执行方式仍可能与rk3588神经网络处理器的硬件特性不匹配。

5、综上，现有技术中存在通用量化方式难以兼顾石油设备红外热成像故障特征保持与rk3588神经网络处理器硬件执行适配、算子执行过程中内存读写和指令调度开销较大的缺陷。

技术实现思路

1、为解决现有技术中存在通用量化方式难以兼顾石油设备红外热成像故障特征保持与rk3588神经网络处理器硬件执行适配、算子执行过程中内存读写和指令调度开销较大的缺陷，本发明提供的技术方案为：

2、一种面向神经网络处理器的石油设备红外热成像故障检测模型混合精度量化与算子融合方法，包括：

3、将红外热成像样本集输入石油设备红外热成像故障检测模型，获得各网络层的输出特征和模型检测损失的步骤；

4、根据各网络层的输出特征对所述模型检测损失的影响程度，确定各网络层的精度贡献度，并依据所述精度贡献度为各网络层分配高精度量化方式或低精度量化方式的步骤；

5、基于所述红外热成像样本集确定采用所述低精度量化方式的网络层的量化参数，按照各网络层对应的量化方式对所述石油设备红外热成像故障检测模型进行量化，得到混合精度量化模型的步骤；

6、根据所述混合精度量化模型的计算图中各算子之间的数据依赖关系以及所述神经网络处理器支持的算子执行关系，将能够连续执行的多个算子融合为融合算子，得到用于对石油设备红外热成像图像进行故障检测的目标推理模型的步骤。

7、进一步，在一个优选实施方式中，根据各网络层的输出特征对所述模型检测损失的影响程度确定各网络层的精度贡献度，包括确定各特征通道的输出特征变化与所述模型检测损失变化之间的关联程度，并对各特征通道对应的关联程度进行汇总。

8、进一步，在一个优选实施方式中，将各网络层的精度贡献度与预设贡献度阈值进行比较，将精度贡献度大于所述预设贡献度阈值的网络层分配高精度量化方式，将精度贡献度小于或等于所述预设贡献度阈值的网络层分配低精度量化方式，所述高精度量化方式为半精度浮点量化，所述低精度量化方式为低位宽整数量化。

9、进一步，在一个优选实施方式中，基于所述红外热成像样本集确定采用所述低精度量化方式的网络层的权重和激活值的数值分布范围，并根据所述数值分布范围确定用于将浮点数据映射为低位宽整数数据的量化缩放关系和量化零点。

10、进一步，在一个优选实施方式中，对所述混合精度量化模型进行量化感知训练，在前向处理过程中按照各网络层对应的量化方式模拟权重和激活值的量化误差，根据所述混合精度量化模型输出的故障检测结果与故障标注信息确定训练损失，并依据所述训练损失更新所述混合精度量化模型的模型参数。

11、进一步，在一个优选实施方式中，将所述计算图中依次连接的卷积算子、批归一化算子和激活算子确定为能够连续执行的多个算子，将所述批归一化算子的缩放参数和偏移参数合并至所述卷积算子的权重和偏置，并将合并后的卷积运算和激活运算配置于同一融合算子。

12、一种面向神经网络处理器的石油设备红外热成像故障检测模型混合精度量化与算子融合装置，包括：

13、将红外热成像样本集输入石油设备红外热成像故障检测模型，获得各网络层的输出特征和模型检测损失的模块；

14、根据各网络层的输出特征对所述模型检测损失的影响程度，确定各网络层的精度贡献度，并依据所述精度贡献度为各网络层分配高精度量化方式或低精度量化方式的模块；

15、基于所述红外热成像样本集确定采用所述低精度量化方式的网络层的量化参数，按照各网络层对应的量化方式对所述石油设备红外热成像故障检测模型进行量化，得到混合精度量化模型的模块；

16、根据所述混合精度量化模型的计算图中各算子之间的数据依赖关系以及所述神经网络处理器支持的算子执行关系，将能够连续执行的多个算子融合为融合算子，得到用于对石油设备红外热成像图像进行故障检测的目标推理模型的模块。

17、计算机存储介质，用于存储计算机程序，当所述计算机程序被计算机读取时，所述计算机执行所述的方法。

18、计算机，包括处理器和存储介质，当所述处理器读取所述存储介质中存储的计算机程序时，所述计算机执行所述的方法。

19、计算机程序产品，作为计算机程序，当所述计算机程序被执行时，实现所述的方法。

20、与现有技术相比，本发明提供的技术方案的有益之处在于：

21、在基础故障检测模型中设置热成像特征提取层和注意力层，并利用多尺度温度梯度提取红外热成像图像中的局部温度变化，使模型不仅依据大范围高温区域进行判断，还能够保留小温差、局部温升及温度边界变化所形成的细粒度故障特征，从而改善变压器过热、电机轴承异常、管道保温破损和阀门泄漏等故障特征不明显时的表征能力。

22、依据各网络层输出特征的梯度敏感性和精度贡献度分配量化精度，使不同网络层不再采用统一的数值精度。对精度贡献度较低且计算量较大的网络层采用int8量化，可减少权重和激活值的数据位宽，降低模型计算量和存储占用；对精度贡献度较高的网络层采用fp16量化，可保留温度细节特征和关键语义信息，从而缓解模型压缩程度与故障检测精度之间的矛盾。

23、将卷积层、池化层等计算密集型网络层配置为int8量化，使原始浮点权重和激活值通过缩放因子及零点映射为低位宽整数，能够调用rk3588神经网络处理器的整型运算资源，减少单次运算的数据搬运量和计算开销，并使量化后的模型体积相对于原始浮点模型得到明显压缩。

24、将热成像特征提取层和注意力层配置为fp16量化，使承载微小温差、局部温度梯度及通道关联信息的网络层保持较高的数值分辨能力，避免统一int8量化造成相邻温度特征被映射至相同或相近量化值，降低微小温差故障特征在量化过程中的丢失程度。

25、基于精度贡献度阈值对初始量化精度进行动态调整，使初始配置为int8但对检测结果影响较大的网络层能够调整为fp16，并使初始配置为fp16但精度贡献较低的网络层能够调整为int8，从而根据实际模型结构和红外热成像数据分布确定量化组合，避免仅依据网络层类型固定分配精度所造成的量化不合理问题。

26、利用覆盖多类石油设备、不同运行状态和典型故障状态的红外热成像校准数据集统计各量化层权重及激活值的分布范围，使量化缩放因子和零点能够匹配石油设备红外热成像数据的实际温度分布，减少采用通用图像数据或少量样本校准时产生的量化区间偏差，降低异常温度特征在截断和映射过程中的失真。

27、在前向计算过程中模拟量化引起的数值截断误差，并将量化噪声引入模型训练，通过反向传播调整模型权重，使模型在训练阶段适应后续实际部署时的低精度计算误差，从而补偿混合精度量化带来的检测精度损失。

28、将连续设置的卷积算子、批归一化算子和激活函数算子融合为单一计算单元，并将批归一化参数合并至卷积权重和偏置中，使三个连续运算能够由一次调度完成，避免中间特征在不同算子之间重复写入和读取存储器，减少rk3588神经网络处理器的指令切换次数和中间数据搬运开销。

29、将多分支特征提取结构中的并行运算算子与后续特征拼接算子整合为融合算子，使各分支运算能够由多个神经网络处理器计算核心并行执行，并使运算结果直接在片上缓存中完成拼接，减少多分支结果写入片外存储器后再次读取所产生的数据同步和存储访问开销。

30、将残差分支的运算算子与主分支对应算子进行合并调度，并将两类算子分配至相邻运算单元同步执行，使残差连接所需的分支计算和结果合并能够在统一调度关系下完成，减少跨分支指令切换和等待时间，改善残差结构在神经网络处理器上执行时的资源空闲问题。

31、将模型推理过程划分为数据加载、运算执行和结果输出三个阶段，并采用层间流水线方式重叠执行，使当前数据处于运算阶段时，后续数据可同步加载，前序数据可同步输出，减少各处理阶段串行等待造成的运算单元空闲时间，从而提高rk3588神经网络处理器的持续计算能力和算力利用率。

32、将完成混合精度量化和算子融合的模型转换为rk3588神经网络处理器支持的专用推理格式，并部署于巡检终端，使红外热成像图像能够在现场完成故障类型、故障位置和温度异常等级的推理输出，减少对云端数据传输和远程计算的依赖。