异常行为检测与定位方法、系统、终端设备及可读存储介质与流程

技术特征：
1.一种异常行为检测与定位方法，其特征在于，包括以下步骤：(1)获取原始的待测样本视频帧的光流运动信息特征；(2)将获取的待测样本视频帧的光流运动信息特征输入预训练好的双流记忆增强网络模型，通过双流记忆增强网络模型获得重构的待测样本视频帧以及预测的待测样本视频帧的光流运动信息特征；(3)根据原始的待测样本视频帧与步骤(2)重构的待测样本视频帧，以及步骤(1)获取的待测样本视频帧的光流运动信息特征与步骤(2)预测的待测样本视频帧的光流运动信息特征，计算像素级的差异，获得待测样本视频帧的误差图和待测样本视频帧的光流运动信息特征的误差图；(4)基于步骤(3)获得的误差图确定异常行为并获得异常行为的定位图；其中，所述双流记忆增强网络模型包括：编码器模块，用于获取输入视频帧的编码特征；记忆网络模块，用于基于自身存储的正常行为特征以及编码器模块获取的编码特征，获得重新整合的编码特征；外观信息解码器模块，用于基于所述重新整合的编码特征获得重构的视频帧；运动信息解码器模块，用于基于所述重新整合的编码特征获得预测的视频帧的光流运动信息特征。2.根据权利要求1所述的一种异常行为检测与定位方法，其特征在于，步骤(1)具体包括：将原始的待测样本视频帧的集合进行分组，获得分组后的视频帧对；其中，分组方式为将相邻两帧进行组合；将分组后的视频帧对作为光流提取网络的输入，获取原始的待测样本视频帧的光流运动信息特征。3.根据权利要求1所述的一种异常行为检测与定位方法，其特征在于，步骤(2)中，所述预训练好的双流记忆增强网络模型的获取步骤包括：使用编码器模块获取的编码特征与记忆网络模块重新整合的编码特征、外观信息解码器模块重构的训练样本视频帧与双流记忆增强网络模型输入的训练样本视频帧以及运动信息解码器模块预测的训练样本视频帧的光流运动信息特征与双流记忆增强网络模型输入的训练样本视频帧的光流运动信息特征构建损失函数；采用构建的损失函数对双流记忆增强网络模型进行迭代优化；达到预定的迭代次数或收敛条件后，获得训练好的双流记忆增强网络模型。4.根据权利要求3所述的一种异常行为检测与定位方法，其特征在于，步骤(2)中，所述损失函数包括：外观特征重构损失、运动特征重构损失、特征空间稀疏权重损失以及特征空间重新整合损失；所述外观特征重构损失采用l2损失；所述运动特征重构损失采用l1损失；所述特征空间稀疏权重损失利用降低特征重建信息熵的思想；所述特征空间重新整合损失函数获得的具体步骤包括：将获取的编码特征与重新整合的编码特征进行相似度的计算；将计算获得相似度减去一个预设margin值，同时对计算获
得的相似度为负值的进行抑制，获得基于margin的特征空间重新整合损失函数。5.根据权利要求4所述的一种异常行为检测与定位方法，其特征在于，所述特征空间重新整合损失函数的表达式为：式中，特征相似度计算函数；z为编码特征；为重新整合的编码特征；margin为阈值超参数；式中，x，y为待计算相似度的两个特征向量。6.根据权利要求3所述的一种异常行为检测与定位方法，其特征在于，步骤(2)中，所述双流记忆增强网络模型输入的训练样本视频帧的光流运动信息特征中，所述训练样本视频帧的光流运动信息特征的获取步骤包括：将训练样本视频帧的集合进行分组，获得分组后的视频帧对；其中，分组方式为将相邻两帧进行组合；将分组后的视频帧对作为光流提取网络的输入，获取训练样本视频帧的光流运动信息特征。7.根据权利要求1所述的一种异常行为检测与定位方法，其特征在于，步骤(4)具体包括：基于获得的待测样本视频帧的误差图和待测样本视频帧的光流运动信息特征的误差图，在各自的误差图上进行基于分块的步长卷积操作，获得各分块的平均误差分数；对各分块的平均误差分数进行排序，选择最高响应的分块作为待测样本视频帧的异常分数；若待测样本视频帧的异常分数超出预定判别阈值，则将该待测视频帧标记为异常帧；将标记为异常帧中的各个响应分块进行排序，将高于预定阈值的分块的响应分数置1，作为异常行为的定位候选区域，低于预定阈值的分块响应分数置0，获得异常行为的定位图。8.一种异常行为检测与定位系统，其特征在于，包括：光流运动信息特征获取模块，用于获取原始的待测样本视频帧的光流运动信息特征；重构和预测模块，用于将获取的待测样本视频帧的光流运动信息特征输入预训练好的双流记忆增强网络模型，通过双流记忆增强网络模型获得重构的待测样本视频帧以及预测的待测样本视频帧的光流运动信息特征；误差图获取模块，用于根据原始的待测样本视频帧与重构的待测样本视频帧，以及光流运动信息特征获取模块获取的待测样本视频帧的光流运动信息特征与重构和预测模块预测的待测样本视频帧的光流运动信息特征，计算像素级的差异，获得待测样本视频帧的误差图和待测样本视频帧的光流运动信息特征的误差图；定位图获取模块，用于基于误差图获取模块获得的误差图确定异常行为并确定异常行为的定位图；其中，所述双流记忆增强网络模型包括：编码器模块，用于获取输入视频帧的编码特征；
记忆网络模块，用于基于自身存储的正常行为特征以及编码器模块获取的编码特征，获得重新整合的编码特征；外观信息解码器模块，用于基于所述重新整合的编码特征获得重构的视频帧；运动信息解码器模块，用于基于所述重新整合的编码特征获得预测的视频帧的光流运动信息特征。9.一种终端设备，包括：处理器；存储器，用于存储计算机程序指令；其特征在于，所述计算机程序指令由所述处理器加载并运行时，所述处理器执行权利要求1至7中任一项所述的异常行为检测与定位方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器加载并运行时，所述处理器执行权利要求1至7中任一项所述的异常行为检测与定位方法。

技术总结
本发明公开了一种异常行为检测与定位方法、系统、终端设备及可读存储介质，所述方法包括以下步骤：(1)获取原始的待测样本视频帧的光流运动信息特征；(2)将获取的待测样本视频帧的光流运动信息特征输入预训练好的双流记忆增强网络模型，通过双流记忆增强网络模型获得重构的待测样本视频帧以及预测的待测样本视频帧的光流运动信息特征；(3)获得待测样本视频帧的误差图和待测样本视频帧的光流运动信息特征的误差图；(4)基于步骤(3)获得的误差图获得异常行为的定位图。本发明能够提高检测效率，可以实现异常样本的空间定位。可以实现异常样本的空间定位。可以实现异常样本的空间定位。


技术研发人员：王乐 田钧文 周三平 陈仕韬 辛景民 郑南宁
受保护的技术使用者：宁波市舜安人工智能研究院
技术研发日：2021.07.29
技术公布日：2021/10/29