一种基于光谱视频的化工气体泄漏检测方法及系统与流程

技术特征：
1.一种基于光谱视频的化工气体泄漏检测方法，其特征在于，包括：对采集到的化工气体的光谱视频进行图像层面的预处理；将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。2.根据权利要求1所述的方法，其特征在于，所述对采集到的化工气体的光谱视频进行图像层面的预处理的步骤之后还包括：利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。3.根据权利要求2所述的方法，其特征在于，还包括：利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。4.根据权利要求1所述的方法，其特征在于，所述图像层面的预处理包括图像去噪、图像增强和图像对齐中的一种或多种。5.根据权利要求1所述的方法，其特征在于，所述将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征包括：将所述光谱视频划分为持续时间相同的t个片段，在每个片段中随机采样一个视频帧得到；将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到。6.根据权利要求5所述的方法，其特征在于，所述通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征包括：以视频帧为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到，并将多个光谱图像差分在通道维度上进行叠加；采用卷积神经网络对叠加的所述光谱图像差分进行运算，提取得到相邻视频帧的局部运动信息，所述运算包括：;其中，所述为利用平均池化层对光谱图像差分进行下采样，所述为利用二维提取运动特征，所述为对所述运动特征进行上采样以匹配特征；通过将所述视频帧的特征与所述局部运动信息进行叠加得到所述视频帧的
短时时序增强特征，所述叠加包括：。7.根据权利要求6所述的方法，其特征在于，所述通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征包括：将所述短时时序增强特征划分为两组，分别为分辨率为增强特征分辨率一半的大帧组以及分辨率和增强特征分辨率保持一致的小帧组；利用blvnet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出 可以表示为：其中，表示在第t帧的输入输出特征层，和是blvnet中的大分支和小分支，是模型参数，表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征：；其中，表示第t帧的激活输出，表示逐通道的乘法，其具体可定义为对于向量和，v=，表示时序。8.一种基于光谱视频的化工气体泄漏检测系统，其特征在于，包括：图像预处理模块，用于对采集到的化工气体的光谱视频进行图像层面的预处理；稀疏采样模块，用于将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；帧级特征增强模块，用于通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；时序加权融合模块，用于通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；输出模块，用于将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。9.根据权利要求8所述的系统，其特征在于，还包括：运动检测模块，用于利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。10.根据权利要求9所述的系统，其特征在于，还包括：预选框聚类模块，用于利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。
11.根据权利要求8所述的系统，其特征在于，所述图像预处理模块包括图像去噪模块、图像增强模块和图像对齐模块中的一种或多种。12.根据权利要求8所述的系统，其特征在于，所述稀疏采样模块具体用于：将所述光谱视频划分为持续时间相同的t个片段，在每个片段中随机采样一个视频帧得到；将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到。13.根据权利要求12所述的系统，其特征在于，所述帧级特征增强模块具体用于：以视频帧为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到，并将多个光谱图像差分在通道维度上进行叠加；采用卷积神经网络对叠加的所述光谱图像差分进行运算，提取得到相邻视频帧的局部运动信息，所述运算包括：;其中，所述为利用平均池化层对光谱图像差分进行下采样，所述为利用二维提取运动特征，所述为对所述运动特征进行上采样以匹配特征；通过将所述视频帧的特征与所述局部运动信息进行叠加得到所述视频帧的短时时序增强特征，所述叠加包括：。14.根据权利要求13所述的系统，其特征在于，所述时序加权融合模块具体用于：将所述短时时序增强特征划分为两组，分别为分辨率为增强特征分辨率一半的大帧组以及分辨率和增强特征分辨率保持一致的小帧组；利用blvnet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出 可以表示为：其中，表示在第t帧的输入输出特征层，和 是blvnet中的大分支和小分支，是模型参数，表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征：；其中，表示第t帧的激活输出，表示逐通道的
乘法，其具体可定义为对于向量和，v=，表示时序。15.一种计算设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7任意一项所述的基于光谱视频的化工气体泄漏检测方法。16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被计算机执行时实现如权利要求1至7任意一项所述的基于光谱视频的化工气体泄漏检测方法。

技术总结
本申请提供了一种基于光谱视频的化工气体泄漏检测方法，包括：对采集到的化工气体的光谱视频进行图像层面的预处理；将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；将短时时序增强特征和全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。本申请可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。扩散趋势等信息。扩散趋势等信息。


技术研发人员：曹汛 吕涛 周凯来 陈林森 李昀谦
受保护的技术使用者：南京智谱科技有限公司
技术研发日：2021.10.22
技术公布日：2021/11/24