基于视听学习的人群异常事件检测方法与流程

1.本发明属计算机视觉、智能视频分析技术领域，具体涉及一种基于视听学习的人群异常事件检测方法。


背景技术：

2.人群分析是公共安全领域的一项基本任务，包括人群计数、人群定位、人群异常事件检测、人群流/人群运动分析、人群分割、群体检测等。而异常事件检测是人群场景安全预警的一项基本任务。对正在发生的异常事件及时报警对于确保公共安全至关重要。
3.目前的异常检测方法主要分为局部分析和全局分析两大类。局部分析方法是检测发生异常事件的异常对象，如卡车或人群中的行人，并定位异常发生的位置。如liao等人在文献“h.liao,j.xiang,w.sun,q.feng,and j.dai,
‘
an abnormal event recognition in crowd scene,’in sixth international conference on image and graphics,icig 2011,hefei,anhui,china,august 12-15,2011.ieee computer society,2011,pp.731-736.”中提出的使用视频描述符检测视频帧中的打架事件。全局分析方法通常是分析整个视频片段并预测视频片段中是否存在异常事件。全局分析方法有三种典型方案：基于轨迹点、基于光流和基于分类。如mehran等人在文献“r.mehran,a.oyama,and m.shah,
‘
abnormal crowd behavior detection using social force model,’in 2009ieee computer society conference on computer vision and pattern recognition(cvpr 2009),20-25june 2009,miami,florida,usa.ieee computer society,2009,pp.935-942.”中利用人群视频片段中提取的目标轨迹进行异常检测；helbinge等人提出了一种典型的基于轨迹点的描述人群相互作用的社会力模型方法；受helbinge等人的启发，mehran和zhang等人将社会力量模型引入到视频中的社会事件分析中；cui等人在文献“j.cui,w.liu,and w.xing,
‘
crowd behaviors analysis and abnormal detection based on surveillance data,’j.vis.lang.comput.,vol.25,no.6,pp.628-636,2014.”中尝试使用模糊c均值聚类的方法对轨迹进行聚类，并通过聚类预测输入轨迹的类别；du等人提出了一种名为dsfa的变化检测器，它利用两个对称流和慢速特征分析模块来获得更好的遥感图像变化性能。
4.由于基于统计的方法对异常事件的定义不明确、不成熟，demarty等人和sultani等人分别提出了用于人群场景异常事件检测的vsd和ucfcrime数据集，其中分别包含7种和13种不同类型的异常事件。这两个数据集中的视频片段来自互联网上的电影和视频。上述数据集对人群中的异常事件进行了详细定义，将异常检测任务引入到视频分类任务中。然而当一个异常事件发生时，它往往伴随着一些特殊的声音。视听多模态联合学习是试图从视觉和听觉模态中学习到特殊任务的表征。近年来，视听多模态学习被应用于一般的场景中。owenset等人，试图将知识从音频学习转移到视频学习；arandjelovic等人通过视听关系分析视频。同时，这项工作被用于声音定位和视听分离。
5.然而，在人群分析领域，目前只有一种结合视觉和听觉信息的方法，是hu等人在文
献“d.hu,l.mou,q.wang,j.gao,y.hua,d.dou,and x.zhu,
‘
ambient sound helps:audiovisual crowd counting in extreme conditions,’arxiv preprint arxiv:2005.07097,2020.”中提出的方法，该方法提出了一种多模式学习，以同时对静止图像和环境声音进行编码。该方法大大减少了极端条件下人群计数的估计误差。而传统的人群场景中的异常检测方法没有考虑到音频数据的影响，具有一定的局限性。


技术实现要素：

6.为了克服现有技术的不足，本发明提供一种基于视听学习的人群异常事件检测方法。首先，对音频信号进行预处理，再将其对数梅尔谱图输入vggish网络进行特征提取，得到音频表征；然后，对视频序列进行空间变换和时间变换，再将其输入到3d-resnet网络中进行特征提取，得到视频表征；最后，融合两类特征，并将其输入到分类网络，得到事件类别预测结果。本发明是一种多模态学习方法，可以更加有效的用于人群分析中的异常事件检测。
7.一种基于视听学习的人群异常事件检测方法，其特征在于步骤如下：
8.步骤1：输入人群事件视频中的音频信号，对音频信号进行重采样和短时傅里叶变换；
9.步骤2：将步骤1处理后的音频信号的对数梅尔谱图输入vggish网络进行特征提取，得到音频表征；
10.步骤3：输入人群事件视频序列，对视频序列进行空间变换和时间变换；
11.步骤4：将步骤3处理后的视频序列输入到3d-resnet网络中进行特征提取，得到视频表征；
12.步骤5：将音频表征和视频表征进行融合处理，得到融合后的特征；
13.步骤6：将融合后的特征输入到分类网络，得到事件类别预测结果。
14.进一步地，步骤1中所述的重采样是对音频信号进行16khz重采样；所述的短时傅里叶变换是对重采样的音频信号进行带有hann窗口的短时傅里叶变换。
15.进一步地，步骤2中所述的特征提取采用改进的vggish网络，去掉vggish网络的主成分分析后处理部分，并在其输出上沿通道施加全局平均池化，并利用公开的audio set数据集进行预训练。
16.进一步地，步骤3中所述的空间变换是将视频序列中的图像大小调整为240
×
240，并以0.5的概率对所有图像进行随机水平翻转；所述的时间变换是以固定的步长从整个视频序列中采样50帧图像。
17.进一步地，步骤4中所述的3d-resnet网络是在ucf-101数据集上预训练后的3d-resnet网络。
18.进一步地，步骤5中所述的融合处理是采用特征拼接融合方式。
19.进一步地，步骤6中所述的分类网络采用全连接网络，其损失函数采用交叉熵损失。
20.本发明的有益效果是：由于采用融合时空3d-cnn特征和时空音频特征的多模态学习方式，能够有效实现视觉和音频表达的平衡，获得更好的异常检测精度。
附图说明
21.图1是本发明基于视听学习的人群异常事件检测方法流程图。
具体实施方式
22.下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
23.本发明提供了一种基于视听学习的人群异常事件检测方法。面向复杂人群场景，本发明通过融合视频表征学习和音频表征学习模块完成异常事件检测的目标。由于本发明采用了全新的融合视听表征学习方式，而且两个阶段分别针对视频序列和音频信号进行了训练与特定的方法模型设计，最终能够达到较好的异常事件检测效果，提升方法在复杂场景中的鲁棒性与表征精度。如图1所示，其具体实现过程如下：
24.基于视听学习的人群异常事件检测方法，其特征在于步骤如下：
25.步骤1：输入人群事件视频中的音频信号，对音频信号进行重采样和短时傅里叶变换。比如，进行16khz重采样，再通过带有hann窗口的短时傅里叶变换(stft)获得重采样音频信号的时频图。
26.步骤2：将音频预处理后的对数梅尔谱图(lms)输入vggish网络进行特征提取，得到音频表征。对数梅尔谱图(lms)的特征是二维的，基于cnn的方法可以很容易地从音频信号中提取隐藏特征。
27.进一步地，本发明的音频表征学习模块去掉了vggish的主成分分析(pca)的后处理；由于音频长度的差异，对数梅尔谱图(lms)特征具有不同的形状，因此，本发明在音频表示的输出上沿通道施加全局平均池化(gap)，使音频表征fa成为一个统一的大小ca×
1；并在audio set数据集上对vggish进行预训练，以此作为本技术的音频表征学习模块音频表征提取定义为：
[0028][0029]
其中，是音频表征，并且在vggish网络中ca＝512。
[0030]
步骤3：输入人群事件视频序列，对视频序列进行空间变换和时间变换。空间变换是将输入的视频序列调整为240
×
240，并以0.5的概率进行随机水平翻转。时间变换是以固定的步长从整个视频序列中采样，将具有l帧的输入视频序列采样到固定长度t(t＝50)。
[0031]
步骤4：将步骤3处理后的定长的视频序列传递至视觉表征学习模块即输入到在ucf-101数据集上预训练后的3d-resnet网络中，通过3d卷积进行特征提取。通过以下等式进行提取视觉表征fv：
[0032][0033]
3d-resnet是一种广泛应用于视频视觉任务的深度学习模型。3d-resnet是将resnet中传统的二维卷积层替换为三维卷积层，在cnns中引入了时间相关性。3d卷积滤波器是在2d卷积滤波器中增加了一个额外的长度维度。具体来说，假设在i
th
3d卷积层输出的j
th
特征图上，是其特征图映射到位置(x，y，z)处的值，以及i
th
层输入特征通道数为c，而3d卷积滤波器高为h、宽为w、长为l。则3d卷积如下公式所示：
[0034][0035]
其中，w
ij
和b
ij
分别表示卷积滤波器的权重和偏差。
[0036]
步骤5：将两个模块传递的特征表征进行融合，通过拼接融合将该多模态特征传递到分类网络中，检测视频中是否发生异常事件。分类网络采用一个简单的全连接网络。涉及到的公式如下所示：
[0037][0038]
其中，表示事件类别预测，n表示数据集中的类别数，cat表示特征串联操作。
[0039]
人群场景异常事件检测是一项视频分类任务。为了找到异常事件，模型需要判断视频中的动作是否属于异常事件，如射击、散开、打斗等。给定一个具有类别的视频和一个预测类别p，本发明选择交叉熵损失，这是一种典型的分类任务损失函数。损失函数定义为:
[0040][0041]
其中，m表示网络训练最小批处理大小，n表示类别数量，y表示视频类别，p表示预测的视频类别。
[0042]
为验证本发明方法有效性，在i7-6900k@3.4ghz，64gb ram，2个nvidia gtx 1080ti gpu，ubuntu 16.04系统环境上进行仿真实验。实验中使用的数据集为shade dataset，该数据集由lin等人在文献“w.lin,j.gao,q.wang,and x.li,
‘
learning to detect anomaly events in crowd scenes from synthetic data,’neurocomputing,vol.436,pp.248-259,2021.”中提出，在名为grand theft auto v(gta5)的视频游戏中生成的，包括2149个视频(879932帧，大小为1920
×
1080)。shade中的视频分为九类：逮捕、追捕、打架、击倒、逃跑、射击、散开、正常类型1和正常类型2。每个类别包含大约200个不同天气条件(雨、雾、晴等)和不同发生时间的视频。有1701个视频(约80％)用于训练，其余448个视频(约20％)用于验证或测试。同时，从视频中提取音频，用于音频表征学习模块的训练。
[0043]
首先，利用训练数据训练好本发明模型；然后，利用联合模型对测试集进行测试，并计算出不同类别的分类精度。在实验中，分别衡量了每个类别的top-1准确度。为了证明算法的有效性，比较了几种基于视觉的视频分类模型的性能，如mlp方法、lstm方法、lrcn方法、3d-resnet方法和n3d-resnet方法。其中，mlp方法记载在文献“p.allan,
‘
approximation theory of the mlp model in neural networks.’acta numerica,vol.8,pp.143-195,1999.”中；lstm方法记载在文献“h.sak,a.w.senior,and f.beaufays,
‘
long short-term memory recurrent neural network architectures for large scale acoustic modeling,’in interspeech 2014,15th annual conference of the international speech communication association,singapore,september 14-18,2014,h.li,h.m.meng,b.ma,e.chng,and l.xie,eds.isca,2014,pp.338-342.”中；lrcn方法记载在文献“j.donahue,l.a.hendricks,m.rohrbach,s.v enugopalan,s.guadar-rama,k.saenko,and t.darrell,
‘
long-term recurrent convolutional networks for visual recognition and description,’ieee trans.pattern anal.mach.intell.,vol.39,
no.4,pp.677-691,2017.”中；3d-resnet方法记载在文献“k.hara,h.kataoka,and y.satoh,
‘
learning spatio-temporal features with 3d residual networks for action recognition,’in 2017ieee inter-national conference on computer vision workshops,iccv workshops 2017,venice,italy,october22-29,2017.ieee computer society,2017,pp.3154-3160.”中；n3d-resnet方法记载在文献“w.lin,j.gao,q.wang,and x.li,
‘
learning to detect anomaly events in crowd scenes from synthetic data,’neurocomputing,vol.436,pp.248-259,2021.”中。对比结果如表1所示。可以看出，与最新的n3d-resnet方法相比，本发明方法在大多数类别上实现了更高的top-1精度，并且仅在逃跑和追捕两个类别上低于n3d-resnet方法。本发明方法将音频表征学习模块和应用基于视觉方法的3d-resnet的视频表征学习模块结合起来，并使用一个非常简单的融合模块，在事件分类的top-1准确性方面取得了显著进步。如射击、分散、逮捕和击倒这类具有特殊环境声音的事件，在事件分类准确性方面就有显著的增加，这意味着本发明方法能够学习到有助于有效进行分类的音频信号中的鉴别特征。同时，尽管本发明只用一种简单的连接方法来融合音频和视频表征，但是获得了很大的改进，这显示出多模态学习在异常事件检测中的优越性。
[0044]
表1
[0045][0046]