基于序列识别的视频异常事件检测方法与流程

技术特征：
1.一种基于序列识别的视频异常事件检测方法，其特征在于，包括步骤：s1、数据集划分：将异常视频数据集划分为训练集和测试集；s2、视频预处理：调整视频帧大小、频率，并将视频截取为rgb帧和光流帧；s3、视频特征提取：加载在数据集上预训练好的i3d模型，修改i3d模型网络结构，然后将步骤s2中得到的rgb帧输入修改后的i3d模型并从中提取视频特征向量；s4、数据增广：对步骤s3得到的视频特征向量进行不同起始位点的截取，并进行补长，最后得到若干条等长的视频特征向量；s5、利用双向lstm网络获得视频特征编码：将步骤s4中得到的视频特征向量输入到双向lstm网络中，获得视频特征编码；s6、利用序列识别模型对视频进行分类：将步骤s5中得到的视频特征编码输入到序列识别模型中，得出预测结果。2.根据权利要求1所述的方法，其特征在于，步骤s2中，视频预处理具体包括：s21、将视频帧大小统一为256*256，帧率固定到30fps；s22、利用dense_flow工具将视频截取为rgb帧和光流帧。3.根据权利要求1所述的方法，其特征在于，步骤s3中，视频特征提取具体包括：s31、加载在kinetics数据集上预训练好的i3d模型，初始化网络权重和偏差参数；s32、修改i3d模型网络结构，去除最后一层池化层和卷积层，取倒数第二层的输出作为视频的特征向量；s33、将步骤s2中获取的视频rgb帧输入修改后的i3d模型，提取i3d模型网络的倒数第二层的特征作为视频的特征向量，该特征向量大小为k*d，故对于视频t，可以得到k*d维的特征向量x
t
：x
t
＝[x
t,1
,
…
x
t,k
],x
t,i
∈r
d
(1)式(1)中，x
t
表示一段视频的特征向量，x
t,i
表示该视频第i个片段对应的特征向量，k表示视频被分为的片段的数量，d表示每个片段的特征向量的长度。4.根据权利要求3所述的方法，其特征在于，步骤s5中，利用双向lstm网络获得视频特征编码具体包括：s51、设置网络学习参数，所述网络学习参数至少包括批处理大小、学习率、动量、最大迭代次数、权重衰减率；s52、读取步骤s4中的视频特征向量作为双向lstm网络的输入；s53、初始化网络，第一时刻的神经元参数和隐藏层参数初始化为：式(2)中，c0表示双向lstm网络中第一时刻的神经元参数，h0表示双向lstm网络中第一时刻的隐藏层参数；s54、将特征向量输入到双向lstm网络模型中，最后获取视频的特征编码。5.根据权利要求4所述的方法，其特征在于，步骤s54中，训练双向lstm网络具体包括：s541、将输入视频特征向量作为双向lstm网络的输入，获得初始化参数c0和h0；s542、由lstm记忆神经元计算出每个时刻t的对应的h
t
,计算公式如下：
式(5)中，i
t
表示t时刻lstm记忆神经元的输入门，f
t
表示t时刻lstm记忆神经元的遗忘门，c
t
表示t时刻lstm记忆神经元内部记忆单元，o
t
表示t时刻lstm记忆神经元的输出门，h
t
表示t时刻lstm记忆神经元的隐藏层的输出；x
t
表示t时刻输入该神经元的向量，w
xi
表示记忆神经元的输入门中对应x
t
的科学系参数，w
hi
表示记忆神经元的输入门中对应隐藏层的科学系参数，w
ci
表示记忆神经元的输入门中对应内部记忆单元的科学系参数，b
i
是神经元的输入门可以被学习的参数，w
xf
表示记忆神经元的遗忘门中对应x
t
的科学系参数，w
hf
表示记忆神经元的遗忘门中对应隐藏层的科学系参数，w
cf
表示记忆神经元的遗忘门中对应内部记忆单元的科学系参数，b
f
是记忆神经元的遗忘门中可以被学习的参数，w
xc
表示神经元内部记忆单元中对应x
t
的科学系参数，w
hc
表示神经元内部记忆单元中对应隐藏层的科学系参数，b
c
是神经元内部记忆单元中可以被学习的参数，w
xo
表示神经元的输出门中对应x
t
的科学系参数，w
ho
表示神经元的输出门中对应隐藏层的科学系参数，w
co
表示神经元的输出门中对应内部记忆单元的科学系参数，b
o
是神经元的输出门中可以被学习的参数；s543、使用双向lstm捕捉到当前时刻t的过去和未来的特征，通过反向传播来训练双向lstm网络。6.根据权利要求1所述的方法，其特征在于，步骤s6中，利用序列识别模型对视频进行分类具体包括：s61、使用随机初始化方法来初始化序列识别网络模型的参数；s62、将步骤s5中的视频特征编码矩阵输入到序列识别模型中，最终得到视频的打分s
j
，其中s
j
表示该视频被分类为异常的概率；根据序列识别网络，在表示最后一层fc层的和异常概率s
j
之间建立映射函数，表示如下：式(3)中，w
fc
∈r，b
fc
∈r是可学习的参数，w
fc
和b
fc
是最后一层fc层中科学系的参数，表示第j个视频输入最后一层fc层的特征向量；s63、以二分类任务的交叉熵损失进行微调，获得最优序列识别模型，二分类任务的交叉熵损失函数可以表示如下：式(4)中，l
n
表示第n个任务的预测损失，1～n个预测损失组成了这一组数据的损失函数矩阵，t表示矩阵的转置，y
n
表示样本n的标签，正类为1、负类为0；x
n
表示样本n预测为正类的概率。7.根据权利要求6所述的方法，其特征在于，步骤s63中，利用给定输入视频特征编码微调卷积神经网络，具体包括：
s631、正向传递学习：计算在当前网络参数下，网络每一层的输出特征，正向传播过程如下：a
l
＝τ(z
l
)＝τ(a
l
‑1w
l
b
l
)
ꢀꢀ
(6)式(6)中，l表示第l层，a
l
表示第l层的输出，τ(*)表示激活函数，此处使用的是tanh，z
l
表示卷积操作之后的输出，w
l
表示第l层的权重，b
l
表示第l层的偏移值；s632、反向传播更新，采用随机梯度下降方法算法，每迭代一次从训练样本中随机抽取一组样本，通过网络获得卷积层的输出，计算梯度，更新网络参数，网络权重和偏差参数更新公式如下：式(7)中，l(w,b)表示损失函数，μ表示学习率；s633、重复步骤s631的正向传递学习和步骤s632的反向传播更新两个步骤，直到达到最大迭代次数或最高验证精度时结束微调。

技术总结
本发明公开了一种基于序列识别的视频异常事件检测方法，包括：S1、数据集划分：将异常视频数据集划分为训练集和测试集；S2、视频预处理：将视频截取为RGB帧和光流帧；S3、视频特征提取：加载在数据集上预训练好的I3D模型，修改I3D模型网络结构，将RGB帧输入修改后的I3D模型并从中提取视频特征向量；S4、数据增广：对视频特征向量进行不同起始位点的截取，并进行补长，得到若干条等长的视频特征向量；S5、利用双向LSTM网络获得视频特征编码；S6、利用序列识别模型对视频进行分类：将视频特征编码输入到序列识别模型中，得出预测结果。本发明的方法不局限于有限的感受野上，可以显著提高视频异常事件检测的效果。异常事件检测的效果。异常事件检测的效果。


技术研发人员：张晓龙 杨磊 徐新
受保护的技术使用者：武汉科技大学
技术研发日：2021.09.24
技术公布日：2022/1/3