一种基于光流约束的时空增强视频异常检测方法

技术特征：
1.一种基于光流约束的时空增强视频异常检测方法，其特征在于，包括以下步骤：s1：将正常样本作为训练集输入fusionnet-lstm神经网络中，该网络具有编码-预测-解码结构，由卷积层、残差网络层和最大池化层组成；s2：通过特征编码模块对图像通过下采样进行多尺度特征提取，获得更高级的语义信息；s3：通过fusionnet网络，将提取的连续的t帧视频帧(i1，i2，i3...i
t-1
，i
t
)的高级语义信息输入长短时记忆网络(lstm，long short-term memory)中，得到预测的第n 1帧视频帧；s4：对于得到的预测视频帧，通过fusionnet的解码网络，通过上采样融入背景信息，得到第n 1帧更真实的预测图；s5：计算损失函数；s6：通过损失函数对对抗性训练进行优化，得到一个生成能力较强的生成器；s7：通过不断的迭代训练，得到迭代训练后的生成器模型；s8：将含有异常样本的测试集输入迭代好的生成器模型fusionnet-lstm中，分别计算预测帧(i
t 1
)'和真实帧i
t 1
的峰值信噪比(psnr，peak signal-to-noise ratio)，得到异常得分score。2.根据权利要求1所述的基于光流约束的时空增强视频异常检测方法，其特征在于，步骤s5具体还包括以下步骤：s501：均方误差损失(mse)计算：h为真实帧i
t 1
的高，w为真实帧i
t 1
的宽，i
(t 1)
′
为预测帧，i，j分别代表图像的空间索引位置；s502：梯度损失计算，梯度损失通过计算水平方向和垂直方向的l1距离可以得到，计算公式如(2)所示：其中，l
grad
为梯度损失，i
t 1
为真实帧，i
(t 1)
′
为预测帧，i，j分别代表图像的空间索引位置；s503：强度损失计算，强度损失是预测帧i
(t 1)
与真实帧i
t 1
之间的l2距离，保证了rgb空间像素的相似性，计算公式如(3)所示：其中，l
i
为强度损失；s504：光流损失计算，计算第t帧和真实的第t 1帧的差值作为真正的运动损失，计算第t帧和预测的第t 1帧的差值计算预测图像的运动损失，取真实的运动损失和预测图像的光流损失的差值绝对值作为光流损失。
3.根据权利要求2所述的基于光流约束的时空增强视频异常检测方法，其特征在于，在步骤s6中，使用梯度损失l
grad
、强度损失l
i
、光流损失l
op
和均方误差损失l
mse
四个损失函数加权来约束生成器，得到优化后的生成器模型，其中，鉴别器采用patch gan对输入图像的每个区域都输出一个预测概率值。4.根据权利要求3所述的基于光流约束的时空增强视频异常检测方法，其特征在于，在步骤s7中，迭代训练次数取值大于10000次。5.根据权利要求4所述的基于光流约束的时空增强视频异常检测方法，其特征在于，在步骤s8中，异常得分s计算如下：步骤s8中，异常得分s计算如下：其中，表示i
t
可能的最大取值；计算出峰值信噪比psnr，通过归一化得到所有t帧的第t帧异常得分

技术总结
本发明公开了一种基于光流约束的时空增强视频异常检测方法，属于视频检测领域，包括以下步骤：S1：将正常样本作为训练集输入FusionNet-LSTM神经网络中，该网络具有编码-预测-解码结构，由卷积层、残差网络层和最大池化层组成；S2：通过特征编码模块对图像通过下采样进行多尺度特征提取，获得更高级的语义信息；S3：通过FusionNet网络，将提取的连续的T帧视频帧(I1,I2,I3…


技术研发人员：宋俊芳 赵海莉 许晓宇 武文哲 蒲媛媛
受保护的技术使用者：西藏民族大学
技术研发日：2022.05.05
技术公布日：2022/7/29