一种基于掩码视频建模的红外甲烷泄漏分级检测方法

本发明涉及红外气体泄漏检测与计算机视觉，更具体的说是涉及一种基于掩码视频建模的红外甲烷泄漏分级检测方法。

背景技术：

1、工业气体泄漏在能源、化工和核动力等系统中构成严重的安全与环境风险。甲烷作为天然气及多类工业生产过程中的主要成分，一旦发生泄漏，不仅可能诱发爆炸、火灾等安全事故，还会加剧温室气体排放，对大气环境造成长期影响。因此，实现对甲烷泄漏的及时检测与严重程度准确评估，是保障工业设施安全运行、降低事故风险和减少环境污染的关键环节。

2、目前，气体泄漏检测方法主要包括硬件传感器检测、负压波（npw）检测和声学检测等。上述方法在特定场景下具有一定应用价值，但通常依赖传感器布设位置、设备灵敏度以及环境稳定性。当处于极端天气等工业条件下时，传感器可能出现响应迟滞、灵敏度下降等问题，导致甲烷泄漏难以及时、稳定、准确地识别。现有基于视觉的甲烷泄漏识别方法多采用卷积神经网络（cnn）或其改进结构。此类方法虽然能够提取局部空间纹理特征，但在处理红外甲烷泄漏视频时仍存在一定局限。其一，红外甲烷信号弱、对比度低且时空分布间歇，现有视觉模型难以充分提取其长程时空依赖特征；其二，红外视频中背景区域占比较大，传统特征聚合方式容易导致有效泄漏特征被背景信息稀释；其三，实际部署场景与训练场景之间存在成像距离、视角和环境条件差异，导致模型在无标注测试场景下鲁棒性不足。

3、因此，提出一种基于掩码视频建模的红外甲烷泄漏分级检测方法，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于掩码视频建模的红外甲烷泄漏分级检测方法，解决现有红外甲烷泄漏分级检测技术中甲烷时空分布间歇、长程时空依赖关系难以充分建模对有效泄漏特征造成稀释，以及实际部署过程中成像距离、观测角度和环境条件变化导致模型检测性能退化的问题；通过采用经掩码视频预训练的videomae transformer骨干网络和轻量级时空注意力池化模块stap，降低背景主导区域对微弱泄漏特征的稀释影响；并通过应用基于熵最小化的tent测试时自适应策略，实现模型对不同部署条件的在线自适应。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于掩码视频建模的红外甲烷泄漏分级检测方法，包括以下步骤：

4、s1、采集红外甲烷泄漏视频，对采集的红外甲烷泄漏视频进行预处理，得到预处理后的视频片段；

5、s2、将得到的预处理后的视频片段输入经掩码视频建模预训练的videomae编码器，通过管状嵌入方案将红外帧序列转换为时空标记序列，videomae编码器对标记序列进行多层自注意力计算，输出包含时空信息的标记序列作为视频片段的特征表示；

6、s3、基于自注意力池化和注意力多实例学习机制，对s2输出的时空标记序列计算每个标记的注意力分数，经softmax归一化后生成注意力权重，对时空标记进行加权聚合，得到视频片段级别的聚合特征表示；

7、s4、将视频片段级别聚合特征表示输入分类器头部，预测八级泄漏严重程度的概率分布，完成对红外甲烷泄漏严重程度的分级检测；

8、s5、在推理部署阶段，对无标签的目标域视频片段应用tent测试时自适应方法，实现轻量级的在线自适应。

9、可选的，s1中对采集的红外甲烷泄漏视频进行预处理的具体内容为：

10、将采集的红外甲烷泄漏视频转换为固定帧数的视频片段，采用滑动窗口方法对视频进行片段划分；

11、对每个视频片段应用移动平均背景减除、基于差分的阈值处理和归一化处理，以增强泄漏羽流的运动特征，得到预处理后的视频片段。

12、可选的，s2中videomae编码器由l层transformer块组成，每层包含多头自注意力机制msa和前馈神经网络ffn，并采用残差连接和层归一化；第l层transformer块的计算过程为：

13、

14、

15、其中，ln(·)表示层归一化操作，和分别为第l层transformer块的输入和输出；

16、通过多层自注意力计算，videomae编码器能够捕获标记序列中任意两个时空位置之间的依赖关系，从而输出包含时空信息的标记序列作为视频片段的特征表示。

17、可选的，s2中通过管状嵌入方案将红外帧序列转换为时空标记序列的具体内容为：

18、管状嵌入方案首先将每帧图像划分为大小为的空间补丁，每个空间补丁通过线性投影映射为维度为c的特征向量；然后在时间维度上，将连续t帧的对应空间补丁拼接为一个时空管状标记，形成最终的时空标记序列。

19、可选的，s3中时空注意力池化模块的注意力分数计算采用两层全连接网络结构：第一层对输入标记进行线性变换和非线性激活，第二层将激活后的特征投影为标量注意力分数；softmax归一化确保所有标记的注意力权重之和为1，利用softmax归一化后的注意力权重对所有时空标记进行加权求和，得到视频片段级别的聚合特征表示为：

20、

21、其中，为聚合后的视频片段级别特征向量，维度与单个标记的特征维度相同，为第个标记的归一化注意力权重，且。

22、可选的，s4中将视频片段级别聚合特征表示输入分类器头部，预测八级泄漏严重程度的概率分布，完成对红外甲烷泄漏严重程度的分级检测的具体内容为：

23、分类器头部由一个线性分类层和softmax函数组成；

24、线性分类层将聚合特征向量从维映射到维的类别空间，得到未归一化的类别得分z；

25、通过softmax函数将得到的未归一化的类别得分z转换为概率分布；

26、训练时采用交叉熵损失函数；

27、模型的最终预测为概率最大的类别：

28、

29、其中，为模型对第k个泄漏严重等级的预测概率，为总类别数；

30、预测结果直接对应泄漏的严重等级，为运维人员提供量化的泄漏评估依据。

31、可选的，s5基于熵最小化的tent测试时自适应方法，在推理部署阶段对无标签的目标域视频片段进行在线自适应的具体内容为：

32、tent测试时自适应方法假设：在域偏移条件下，模型对目标域数据的预测不确定性增加，即，预测熵增大，通过最小化预测熵促使模型产生更加确定的预测，从而实现从源域到目标域的适应；预测熵损失函数定义为：

33、

34、其中，为泄漏严重程度的类别数，为模型对第k个泄漏严重等级的预测概率；

35、模型对某个类别高度确信时，预测熵接近0；当模型对所有类别给出均匀预测时，预测熵达到最大值。

36、经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于掩码视频建模的红外甲烷泄漏分级检测方法，具有以下有益效果：

37、（1）本发明引入轻量级时空注意力池化（stap）模块，通过内容自适应的注意力加权聚合机制，有效减少了背景主导标记对稀疏羽流信号的稀释效应，使模型能够更准确地聚焦于与泄漏相关的时空区域，提升分级分类的准确性；

38、（2）本发明应用基于熵最小化的测试时自适应（tent）策略，在推理阶段仅需更新归一化层的少量仿射参数，即可实现模型对不同部署条件的在线自适应，在保持低计算开销的同时显著提升模型在实际部署中的鲁棒性。