一种基于Yolo-TSM的轻量级实时监控异常行为检测方法与流程

技术特征：
1.一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于，包括步骤如下：步骤1：获取数据集并进行预处理；步骤2：构建tsm网络模型；步骤3：构建yolo轻量级网络模型；步骤4：构建特征融合模型；步骤5：将步骤1预处理后得到的数据集对步骤2、3、4构建的tsm网络模型、yolo轻量级网络模型及特征融合模型进行端到端的训练；步骤6：将待检测的视频预处理后输入训练后的yolo-tsm轻量级模型，yolo-tsm轻量级模型包括训练后的tsm网络模型、yolo轻量级网络模型及特征融合模型，tsm网络模型、yolo轻量级网络模型均连接特征融合模型；使用训练得到的权重文件，根据输入的视频信息进行推理，将视频流中行为个体的进行目标检测，并进行行为识别，最终把异常行为定位到场景中的个体身上。2.根据权利要求1所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于，步骤1中，对获取的数据集进行预处理，将数据集分别处理为输入tsm网络模型和yolo轻量级网络模型的两种形式：将数据集处理为输入tsm网络模型的形式即张量a，张量a∈r(n,c,t,h,w)，n是批处理大小，c是通道数，t是时间维，h和w是空间分辨率；将数据集处理为输入yolo轻量级网络模型的形式即张量b，张量b∈r(n,c,h,w)；mosaic数据增强，进行裁剪压缩为h*w，得到张量b，张量b的维度为(n,c,h,w)。3.根据权利要求1所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于，所述yolo轻量级网络模型的骨干网络为darknet53，包括依次连接的第一conv卷积层、第二conv卷积层、第一residual block模组、第三conv卷积层、第二residual block模组、第四conv卷积层、第三residual block模组、第五conv卷积层、第四residual block模组、第六conv卷积层、第五residual block模组；第一residual block模组包括1个residual block，第二residual block模组包括2个residual block，第三residual block模组包括8个residual block，第四residual block模组包括8个residual block，第五residual block模组包括4个residual block；第一conv卷积层中，经过一个padding＝1的[3,3]卷积网络，输出特征，再经过一个标准化层和一个激活函数,继续输出；第二conv卷积层中，经过一次步长为2的[3,3]卷积网络，输出特征；第一residual block模组、第二residual block模组、第三residual block模组、第四residual block模组、第五residual block模组均包括两个conv层、一个标准化函数和一个激活函数即batchnorm relu层，先通过一个[1,1]的conv层，调整通道数，再经过一个batchnorm relu层，最后经过一个padding＝1的[3,3]conv层，输出特征；第三conv卷积层、第四conv卷积层、第五conv卷积层、第六conv卷积层为步长为2、padding＝1的[3,3]conv层；最终,yolo轻量级网络模型获得一个[c,h,w]的空间特征张量。4.根据权利要求1所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其
特征在于，tsm网络模型的骨干网络为加入tsm模块的resnet50，包括依次连接的conv卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、以及每一个残差模块之间的激活函数；conv卷积层中，经过一个[7,7]卷积网络，输出特征，再经过一个标准化层和一个激活函数,继续输出；最大池化层中，经过一个[3,3]最大池化层，进行降维减少输入量；第一残差模块包括1个第一模型model-1与2个第二模型model-2；第二残差模块包括1个第一模型model-1与3个第二模型model-2；第三残差模块包括1个第一模型model-1与5个第二模型model-2；第四残差模块包括1个第一模型model-1与3个第二模型model-2；第一模型model-1分为两个分支，一分支首先经过tsm模块再输入进一个[1,1]的conv层，调整通道数，再经一个标准化层和一个激活函数，输入进一个的[3,3]conv层，获取特征，再经过一个标准化层和一个激活函数，输入进不同通道数一个[1,1]的conv层，调整通道数，经一个标准化层，输出；二分支为输入，最终的输出为两个分支相加进行输出；第二模型model-2分为两个分支，一分支首先经过tsm模块输入进一个[1,1]的conv层，调整通道数，再经一个标准化层和一个激活函数，输入进一个的[3,3]conv层，获取特征，再经过一个标准化层和一个激活函数，输入进一个[1,1]的conv层，调整通道数，经一个标准化层，输出；二分支首先进入一个[1,1]的conv层，调整通道数，再经过一个标准化层和一个激活函数，最终的输出为两个分支相加进行输出；最后输出一个[c1,h1,w1]大小的时空特征张量。5.根据权利要求1所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于，所述特征融合模型包括依次连接的信道融合模块、cfam模块、第一conv层、第二conv层；信道融合模块中，将tsm网络模型输出的[c1,h1,w1]先输入进一个[1,1]的卷积层，调整为[c2,h,w]，再将yolo轻量级网络模型输出[c,h,w]和此特征张量[c2,h,w]在通道维进行链接，得到张量[c3,h,w]，c3＝c2 c，输入进一个[1,1]的conv层，调整通道数b[c4*h*w]，再将每个通道的特征向量的一维化，即使特征向量变为f[c3,n]，n＝h*w；cfam模块中，将输入的特征向量f[c3,n]与自身的转置向量进行向量乘法，得到格拉姆矩阵g[n,n]；计算得到格拉姆矩阵g[n*n]后，使用softmax层生成通道注意图m，进行通道注意图m与f进行矩阵乘法，将得到的结果重新整形为与输入张量b形状相同的三维空间(c*h*w),将此结果与原始输入特征图b结合；第一conv层中，输入进一个[1,1]的conv层，调整通道数，再经过一个标准化层和一个激活函数；第二conv层中，输入进一个[1,1]的conv层，调整通道数,输出特征融合模型的输出d[c4,h,w]。6.根据权利要求1-5任一所述的一种基于yolo-tsm的轻量级实时监控异常行为检测方法,其特征在于，步骤6中，在特征融合模型将最后的卷积层使用1
×
1大小的卷积核，调整输出通道，用k-means算法在相应的数据集上选择5个先验框，生成具有5*(numclasses 4 1)通道数的特征张量，numclasses表示有数据集中numclasses个行为分类置信度得分，4代表目标检测框的4个坐标，1代表检测的置信度；根据这些锚点对边界框的回归进行细化，最终
实现对于目标的准确定位检测及行为识别，即时空行为检测。7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-6任一所述的基于yolo-tsm的轻量级实时监控异常行为检测方法的步骤。8.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的基于yolo-tsm的轻量级实时监控异常行为检测方法的步骤。

技术总结
本发明涉及一种基于YOLO-TSM的轻量级实时监控异常行为检测方法,包括：步骤1：采用轻量级目标检测网络即YOLO网络对监控中的视频中的行人进行目标检测，得到需要进行行为检测的目标，并获取其空间特征；步骤2：使用行为识别算法即通过TSM网络对检测框中的行人的行为进行检测，获取其时空特征；步骤3：使用注意力机制模块对得到的空间特征和时空特征进行融合，在对模型结果进行推理，实时推理输出结果。本发明将优秀的实时目标检测模型YOLO与行为识别模型TSM相结合的方式，并使用注意力机制进行特征融合，在保证一定准确度的同时，提高了实时推理速率，并将行为检测精细化，定义位场景中检测到的每个行为个体。场景中检测到的每个行为个体。场景中检测到的每个行为个体。


技术研发人员：陈雷 秦野风 贲晛烨 李玉军
受保护的技术使用者：山东大学
技术研发日：2021.12.16
技术公布日：2022/3/21