一种异常行为检测方法、装置、电子设备及存储介质与流程

1.本发明涉及信息处理技术领域，尤其涉及一种异常行为检测方法、装置、电子设备及存储介质。


背景技术：

2.随着社会的进步和科技的发展,视频监控深入到交通、社区、工业等各个领域，基于深度学习的视频异常行为监控的算法也得到了应用和发展。
3.深度学习基于大量样本的学习对不同的环境具有鲁棒性。异常行为区别于正常行为，指对社会治安、当前环境不利的或极少出现的行为，如打架、吸烟、跌倒等行为。由于异常行为本身的特性，异常行为的数据存在量少和难以采集等特点，这就不利于深度学习的大规模训练，检测准确度也会难以保证。
4.因此，如何更好的实现异常行为检测已经成为业界亟待解决的问题。


技术实现要素：

5.本发明提供一种异常行为检测方法、装置、电子设备及存储介质，用以解决现有技术中异常行为训练样本难以采集，不利于训练异常行为检测模型的问题。
6.本发明提供一种异常行为检测方法，包括：
7.将异常行为视频图像输入训练好的异常行为检测模型，得到异常行为检测结果；
8.其中，所述训练好的异常行为检测模型，是将异常行为视频样本图像输入预设融合网络训练得到的；
9.其中，所述异常行为视频样本图像携带有异常行为区域信息弱标签；
10.其中，所述预设融合网络是由分类模型和目标检测模型融合得到的。
11.根据本发明提供的一种异常行为检测方法，在所述将异常行为视频图像输入训练好的异常行为检测模型，得到异常行为检测结果的步骤之前，所述方法还包括：
12.获取初始异常行为视频样本图像，对所述初始异常行为视频样本图像进行数据倍增，得到异常行为视频样本图像集；
13.将所述异常行为视频样本图像集输入目标检测模型，得到每张异常行为视频样本图像的异常行为区域信息，将所述异常行为区域信息作为每个异常行为视频样本图像的弱标签；
14.其中，所述目标检测模型，是将基础yolov3检测模型裁减掉除person类外的所有类别分支后得到的。
15.根据本发明提供的一种异常行为检测方法，在所述将所述异常行为区域信息作为每个异常行为视频样本图像的弱标签的步骤之后，所述方法还包括：
16.在目标检测模型的特征图上增加图片分类预测分支，构建预设融合网络；
17.将所述每张异常行为视频样本图像和异常行为区域信息弱标签的组合作为一个训练样本，获得多个训练样本；
18.利用多个训练样本对所述预设融合网络进行训练。
19.根据本发明提供的一种异常行为检测方法，所述利用多个训练样本对所述预设融合网络进行训练的步骤，具体包括：
20.对于任意一个训练样本，将所述训练样本输入预设融合网络，输出所述训练样本对应的异常行为区域信息和异常行为检测结果信息；
21.利用预设融合损失函数，根据所述训练样本对应的异常行为区域信息和异常行为检测结果信息，计算融合损失函数值；
22.当所述融合损失函数值小于预设阈值时，完成训练，得到训练好的异常行为检测模型。
23.根据本发明提供的一种异常行为检测方法，所述获取初始异常行为视频样本图像的步骤，具体包括:
24.获取原始异常行为视频样本图像；
25.对所述原始异常行为视频样本图像进行异常行为位置标签标注和异常行为类别标签标注，得到初始异常行为视频样本图像。
26.根据本发明提供的一种异常行为检测方法，对所述初始异常行为视频样本图像进行数据倍增，得到异常行为视频样本图像集的步骤，具体包括：
27.根据初始异常行为视频样本图像的异常行为位置标签，确定所述初始异常行为视频样本图像的典型区域；
28.随机对所述典型区域进行扩张，得到扩张后的典型区域；
29.对所述扩张后的典型区域进行裁剪，得到裁剪后的第一图片样本；
30.将所述第一图片样本和初始异常行为视频样本图像的异常行为类别标签作为一个正训练样本；
31.对初始异常行为视频样本图像中典型区域外的图片进行裁剪，得到裁剪后的第二图片样本，
32.将所述第二图片样本和正常标签作为一个负训练样本；
33.根据多个所述正训练样本和多个所述负训练样本，得到异常行为视频样本图像集。
34.根据本发明提供的一种异常行为检测方法，对所述初始异常行为视频样本图像进行数据倍增，得到异常行为视频样本图像集的步骤，具体还包括：
35.通过随机光照增强算法、随机对比度增强算法、随机左右翻转算法或随机增加高斯噪声算法对所述初始异常行为视频样本图像进行数据倍增，得到异常行为视频样本图像集。
36.本发明还提供一种异常行为检测装置，包括：
37.检测模块，用于将异常行为视频图像输入训练好的异常行为检测模型，得到异常行为检测结果；
38.其中，所述训练好的异常行为检测模型，是将异常行为视频样本图像输入预设融合网络训练得到的；
39.其中，所述异常行为视频样本图像携带有异常行为区域信息弱标签；
40.其中，所述预设融合网络是由分类模型和目标检测模型融合得到的。
41.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述异常行为检测方法的步骤。
42.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述异常行为检测方法的步骤。
43.本发明提供的一种异常行为检测方法、装置、电子设备及存储介质，本发明中训练好的异常行为检测模型通过将分类模型和检测模型融合构成的深度学习构架，将检测模型作为弱监督模型，辅助完成图像分类的任务，这样既省去了过多的人工标注，又能使得分类模型不丢失浅层网络的关键信息，从而提高模型的分类准确率，因此本发明中的异常行为检测方法，在实现的过程中无需大量的标注内容，减少了异常行为检测训练数据难以获取的问题，提升了检测的准确度。
附图说明
44.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是本发明提供的异常行为检测方法的流程示意图；
46.图2为本发明提供的预设融合网络的结构示意图；
47.图3为本发明提供的异常行为检测装置示意图；
48.图4为本发明提供的电子设备的实体结构示意图。
具体实施方式
49.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.图1是本发明提供的异常行为检测方法的流程示意图，如图1所示，包括：
51.步骤s1，将异常行为视频图像输入训练好的异常行为检测模型，得到异常行为检测结果；
52.其中，所述训练好的异常行为检测模型，是将异常行为视频样本图像输入预设融合网络训练得到的；
53.其中，所述异常行为视频样本图像携带有异常行为区域信息弱标签；
54.其中，所述预设融合网络是由分类模型和目标检测模型融合得到的。
55.具体的，本发明中的异常行为视频图像，可以是指从异常行为视频数据中提取的视频帧图像。
56.本发明中所描述的异常行为区域信息，具体可以是指发生异常行为的人体位置区域信息。
57.本发明中所描述的异常行为，具体可以是指对社会治安或者对环境不利的行为，
其例如，打架行为、跌倒行为等等。
58.本发明中的异常行为检测结果，具体是指，异常行为视频图像中，具体行为所归属的行为类别，例如打架行为或者跌到行为。
59.本发明中训练好的异常行为检测模型，是由分类模型和目标检测模型融合得到的，这是因为单独的分类模型需要大量的人工标注，不利于模型训练，因此本发明通过设计一种预设融合网络，通过将目标检测模型作为弱监督模型，辅助完成图像分类的任务，这样既省去了过多的人工标注，又能使得分类模型不丢失浅层网络的关键信息，从而提高模型的分类准确率。
60.基于上述任一实施例，所述获取初始异常行为视频样本图像的步骤，具体包括:
61.获取原始异常行为视频样本图像；
62.对所述原始异常行为视频样本图像进行异常行为位置标签标注和异常行为类别标签标注，得到初始异常行为视频样本图像。
63.具体的，本发明中所描述的原始异常行为视频样本图像是指在自然场景或应用场景中收集带有异常行为的图片，如：吸烟行为的视频图像、打电话行为的视频图像等。
64.为提高检测模型的准确性，还应使原始异常行为视频样本图像的数据集尽量丰富，如：不同姿态的吸烟和打电话行为，人员遮挡，光照等。
65.本发明中所描述的标注具体是进行异常行为发生的位置标注(top,bottom,left,right)和图片分类标注，如：吸烟图片需要标注烟的位置边框以及图片的分类：smoking，打架行为图片对所有打架的人的标注一个位置边框，其他人不需要标注，图片分类为：fighting。
66.本发明中通过数据收集和数据标注保证数据的多样性，有利于后续步骤的进行。
67.基于上述任一实施例，对所述初始异常行为视频样本图像进行数据倍增，得到异常行为视频样本图像集的步骤，具体包括：
68.根据初始异常行为视频样本图像的异常行为位置标签，确定所述初始异常行为视频样本图像的典型区域；
69.随机对所述典型区域进行扩张，得到扩张后的典型区域；
70.对所述扩张后的典型区域进行裁剪，得到裁剪后的第一图片样本；
71.将所述第一图片样本和初始异常行为视频样本图像的异常行为类别标签作为一个正训练样本；
72.对初始异常行为视频样本图像中典型区域外的图片进行裁剪，得到裁剪后的第二图片样本，
73.将所述第二图片样本和正常标签作为一个负训练样本；
74.根据多个所述正训练样本和多个所述负训练样本，得到异常行为视频样本图像集。
75.具体的，由于本发明中的异常行为的异常行为视频样本图像较难获得，因此本发明需要多初始异常行为视频样本图像进行数据倍增，扩充训练样本的数据量。
76.本发明中可以采用常用的数据倍增方式，例如随机光照增强、随机对比度增强、随机左右翻转、随机增加高斯噪声等数据倍增方式。
77.而常用的随机切割的方式，由于很容易将典型异常行为区域裁切掉，导致图片的
分类发生改变，因此，本发明通过改进的随机裁剪方式，在不影响图片分类的情况下，进行数据倍增。
78.本发明中的典型区域是指发生异常行为的区域，例如抽烟部分的区域，或者摔倒部分的区域。
79.本发明中随机对所述典型区域进行扩张，具体可以是随机将典型区域边框的上下左右进行扩张，可以同时扩张上下左右，也可以分别扩张上下左右中的一边或者多边，但是扩张的范围最大不超过图片的边界，在完成扩张后，得到扩张后的典型区域。
80.对所述扩张后的典型区域进行裁剪，若宽高比较大则重新裁剪，得到裁剪后的第一图片样本；
81.将所述第一图片样本和初始异常行为视频样本图像的异常行为类别标签赋予第一图片样本，然后将其作为一个正训练样本另一方面，本发明在找到图片的电信区域的边框位置(top,bottom,left,right)后，然后在初始异常行为视频样本图像中典型区域外的图片进行裁剪，若宽高比较大或包含信息较少则重新裁剪，否则得到裁剪后的第二图片样本，将裁剪后的第二图片样本的分类信息赋为正常，然后将其作为一个负训练样本，统计最终的正负样本总量是否达到比例要求则停止倍增，得到异常行为视频样本图像集，否则重复上述步骤。
82.本发明通过独有的裁剪数据倍增方法，既能保证样本的数量和丰富性，又能在模型训练时内在的考察正负样本的差异使得模型对典型区域更加敏感，从而提高模型的准确率。
83.基于上述任一实施例，在所述将异常行为视频图像输入训练好的异常行为检测模型，得到异常行为检测结果的步骤之前，所述方法还包括：
84.获取初始异常行为视频样本图像，对所述初始异常行为视频样本图像进行数据倍增，得到异常行为视频样本图像集；
85.将所述异常行为视频样本图像集输入目标检测模型，得到每张异常行为视频样本图像的异常行为区域信息，将所述异常行为区域信息作为每个异常行为视频样本图像的弱标签；
86.其中，所述目标检测模型，是将基础yolov3检测模型裁减掉除person类外的所有类别分支后得到的。
87.具体的，本发明中所描述的目标检测模型，是将基础yolov3检测模型裁减掉除person类外的所有类别分支后得到的。
88.本发明通过将目标检测yolov3作为基础检测模型，并在此基础上将模型的架构进行改进，使得其能够作为图像分类模型。首先，yolov3基于coco训练的模型对于人体检测具有较高的准确率和召回率，coco的分类总共有80类，
89.本发明中，将除person类之外的其它79类的分支进行裁剪，这样可以有效减少模型参数，并降低预测时间，由于yolov3最后在预测层使用的1*1*channel的卷积层，channel＝(num_class conf loc)*3,其中num_class是数据集类别数，即80，conf为目标置信分数，是属于(0,1)的小数，loc为4维目标框的位置，从而可以3个预测层的权重w和偏置b进行切片裁剪，最后的特征图会经过logistic函数进行预测，类与类之间不会相互影响，所以权重裁剪后不会造成预测准确率的降低。
90.因此本发明中通过对于现有的yolov3模型进行裁剪，可以有效减少模型参数，降低预测时间，提高数据处理效率。
91.而本发明中的弱标签是将数据倍增后的异常行为视频样本图像集输入裁剪后的目标检测模型后得到的。
92.本发明将检测模型作为弱监督模型，辅助完成图像分类的任务，这样既省去了过多的人工标注，又能使得分类模型不丢失浅层网络的关键信息，从而提高模型的分类准确率。
93.基于上述任一实施例，在所述将所述异常行为区域信息作为每个异常行为视频样本图像的弱标签的步骤之后，所述方法还包括：
94.在目标检测模型的特征图上增加图片分类预测分支，构建预设融合网络；
95.将所述每张异常行为视频样本图像和异常行为区域信息弱标签的组合作为一个训练样本，获得多个训练样本；
96.利用多个训练样本对所述预设融合网络进行训练。
97.具体的，图2为本发明提供的预设融合网络的结构示意图，如图2所示，本发明中所描述的预设融合网络，以切割后的目标检测模型作为基础模型，在最后的特征图上增加图片分类预测分支，从而实现了预设融合网络，即目标检测模型和预测模型共用特征图。
98.因此随着神经网络深度的增加，提取的特征信息越抽象，浅层的边界纹理等信息较好的保留了原图信息，有利于检测边界的确定，同时较高的语义信息用于分类具有较高的准确性，构建如图的架构，将分类网络和检测网络结合，既保证了高层语义的提取又能将边界信息传递给深层网络。同时yolov3采用的多尺度特征图上预测，分别对应原图的大中小的目标，网络越深，对于小目标的定位越准确`
99.基于上述任一实施例，所述利用多个训练样本对所述预设融合网络进行训练的步骤，具体包括：
100.对于任意一个训练样本，将所述训练样本输入预设融合网络，输出所述训练样本对应的异常行为区域信息和异常行为检测结果信息；
101.利用预设融合损失函数，根据所述训练样本对应的异常行为区域信息和异常行为检测结果信息，计算融合损失函数值；
102.当所述融合损失函数值小于预设阈值时，完成训练，得到训练好的异常行为检测模型。
103.具体的，本发明中所描述的预设融合损失函数具体为：
[0104][0105]
其中，αj表示两个任务间的平衡参数，lj为任务j的损失函数。任务包括检测任务损失l
loc
和分类任务损失l
cls
。其中，检测任务中定位损失修改为soft ciou边框损失：
[0106][0107]
其中b
gt
为步骤5输出的标签文件，ρ2(b，b
gt
)表示边框b和b
gt
中心点的欧式距离，c
表示b和b
gt
最小闭包的对角线距离，α为平衡参数，相较于ciou损失，此损失函数添加了ε作为软间隔，当ciou loss小于ε时，不计入损失。
[0108]
分类任务预测对每一类采用二值逻辑回归函数，损失定义为交叉熵损失
[0109][0110]
本发明中训练好的异常行为检测模型通过将分类模型和检测模型融合构成的深度学习构架，将检测模型作为弱监督模型，辅助完成图像分类的任务，这样既省去了过多的人工标注，又能使得分类模型不丢失浅层网络的关键信息，从而提高模型的分类准确率，因此本发明中的异常行为检测方法，在实现的过程中无需大量的标注内容，减少了异常行为检测训练数据难以获取的问题，提升了检测的准确度。
[0111]
图3为本发明提供的异常行为检测装置示意图，如图3所示，包括：检测模块310，用于将异常行为视频图像输入训练好的异常行为检测模型，得到异常行为检测结果；
[0112]
其中，所述训练好的异常行为检测模型，是将异常行为视频样本图像输入预设融合网络训练得到的；
[0113]
其中，所述异常行为视频样本图像携带有异常行为区域信息弱标签；
[0114]
其中，所述预设融合网络是由分类模型和目标检测模型融合得到的。
[0115]
所述装置还包括：第一计算模块，所述第一计算模块，用于获取初始异常行为视频样本图像，对所述初始异常行为视频样本图像进行数据倍增，得到异常行为视频样本图像集；
[0116]
将所述异常行为视频样本图像集输入目标检测模型，得到每张异常行为视频样本图像的异常行为区域信息，将所述异常行为区域信息作为每个异常行为视频样本图像的弱标签；
[0117]
其中，所述目标检测模型，是将基础yolov3检测模型裁减掉除person类外的所有类别分支后得到的。
[0118]
所述装置还包括：训练模块，所述训练模块具体用于：在目标检测模型的特征图上增加图片分类预测分支，构建预设融合网络；
[0119]
将所述每张异常行为视频样本图像和异常行为区域信息弱标签的组合作为一个训练样本，获得多个训练样本；
[0120]
利用多个训练样本对所述预设融合网络进行训练。
[0121]
对于任意一个训练样本，将所述训练样本输入预设融合网络，输出所述训练样本对应的异常行为区域信息和异常行为检测结果信息；
[0122]
利用预设融合损失函数，根据所述训练样本对应的异常行为区域信息和异常行为检测结果信息，计算融合损失函数值；
[0123]
当所述融合损失函数值小于预设阈值时，完成训练，得到训练好的异常行为检测模型。
[0124]
所述装置还包括：获取模块，所述获取模块具体用于：获取原始异常行为视频样本图像；
[0125]
对所述原始异常行为视频样本图像进行异常行为位置标签标注和异常行为类别
标签标注，得到初始异常行为视频样本图像。
[0126]
所述装置还包括：扩增模块，所述扩增模块具体用于：根据初始异常行为视频样本图像的异常行为位置标签，确定所述初始异常行为视频样本图像的典型区域；
[0127]
随机对所述典型区域进行扩张，得到扩张后的典型区域；
[0128]
对所述扩张后的典型区域进行裁剪，得到裁剪后的第一图片样本；
[0129]
将所述第一图片样本和初始异常行为视频样本图像的异常行为类别标签作为一个正训练样本；
[0130]
对初始异常行为视频样本图像中典型区域外的图片进行裁剪，得到裁剪后的第二图片样本，
[0131]
将所述第二图片样本和正常标签作为一个负训练样本；
[0132]
根据多个所述正训练样本和多个所述负训练样本，得到异常行为视频样本图像集。
[0133]
所述扩增模块具体还用于：通过随机光照增强算法、随机对比度增强算法、随机左右翻转算法或随机增加高斯噪声算法对所述初始异常行为视频样本图像进行数据倍增，得到异常行为视频样本图像集。
[0134]
本发明中训练好的异常行为检测模型通过将分类模型和检测模型融合构成的深度学习构架，将检测模型作为弱监督模型，辅助完成图像分类的任务，这样既省去了过多的人工标注，又能使得分类模型不丢失浅层网络的关键信息，从而提高模型的分类准确率，因此本发明中的异常行为检测方法，在实现的过程中无需大量的标注内容，减少了异常行为检测训练数据难以获取的问题，提升了检测的准确度。
[0135]
图4为本发明提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行异常行为检测方法，该方法包括：将异常行为视频图像输入训练好的异常行为检测模型，得到异常行为检测结果；其中，所述训练好的异常行为检测模型，是将异常行为视频样本图像输入预设融合网络训练得到的；其中，所述异常行为视频样本图像携带有异常行为区域信息弱标签；其中，所述预设融合网络是由分类模型和目标检测模型融合得到的。
[0136]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0137]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的异常行为检测方法，该方法包
括：将异常行为视频图像输入训练好的异常行为检测模型，得到异常行为检测结果；其中，所述训练好的异常行为检测模型，是将异常行为视频样本图像输入预设融合网络训练得到的；其中，所述异常行为视频样本图像携带有异常行为区域信息弱标签；其中，所述预设融合网络是由分类模型和目标检测模型融合得到的。
[0138]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的异常行为检测方法，该方法包括：将异常行为视频图像输入训练好的异常行为检测模型，得到异常行为检测结果；其中，所述训练好的异常行为检测模型，是将异常行为视频样本图像输入预设融合网络训练得到的；其中，所述异常行为视频样本图像携带有异常行为区域信息弱标签；其中，所述预设融合网络是由分类模型和目标检测模型融合得到的。
[0139]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0140]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0141]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。