一种基于深度学习的考场异常行为分析方法、系统及终端机与流程

技术特征：
1.一种基于深度学习的考场异常行为分析方法，其特征在于，方法包括：步骤（1）：获取考场监控视频信息，并对考场监控视频信息进行预处理；步骤（2）：构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；步骤（3）：对监控图像中的监考员和考生进行实时跟踪；步骤（4）：利用步骤（2）构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；如果为学生站立则会触发系统预警，提示有考生异常行为。2.根据权利要求1所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（1）还包括：截取考试过程中的监控视频，将非考试时间监控视频去除，对不同格式的视频进行解码，并且对视频进行等间隔采样抽帧。3.根据权利要求1所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（2）还包括：搭建卷积神经网络并对原始的监控图像进行人工标注，利用标注好的图像进行模型训练，最终获得监考员及每个考生的位置框。4.根据权利要求3所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（2）中，利用训练完成的模型进行推理预测，最终得到每个人的位置坐标信息，其中为矩形框的左上角坐标，分别为矩形框的宽度和高度。5.根据权利要求1或2所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（3）还包括：调取每一帧图像中监考员和考生的位置信息，对每个检测框进行人体属性特征向量提取，利用卡尔曼滤波算法对前一帧图像的所有检测框进行状态预测，并将预测结果与当前帧所有检测框进行交并比计算得分，同时对所有检测框进行人体属性特征向量比对，最终结合两者得分情况将相似度最高的检测框标为同一个人的id。6.根据权利要求5所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（3）中，设系统状态向量为：其中为k时刻矩形框的中心点坐标，分别为矩形框的宽度和高度，为k时刻经卡尔曼滤波预测的矩形框的中心点坐标，分别为k时刻经卡尔曼滤波预测的矩形框的宽度和高度；利用预测方程对k时刻的状态向量和协方差进行预测，具体公式如下：进行预测，具体公式如下：其中，是状态转移矩阵，根据先验知识得到，是噪声的协方差矩阵；根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：
其中，为测量矩阵，r为测量过程的协方差矩阵，为卡尔曼增益；将卡尔曼滤波算法得到的所有预测框a与目标检测模型得到的所有检测框b进行iou计算，具体公式如下：提取所有检测框的特征向量与前一帧的所有特征向量进行相似度比对，最终得到外观成本矩阵,结合iou计算得到的运动成本矩阵，最终生成总成本矩阵c,具体公式如下：其中，为权重因子；通过匈牙利算法对成本矩阵进行最优分配计算，得到当前帧各人员所属的id。7.根据权利要求1或2所述的基于深度学习的考场异常行为分析方法，其特征在于，步骤（4）中经softmax激活函数得到最终的行为类别，具体公式如下：其中，为第i个节点的输出，c为分类的类别个数，取值为2；通过对行为类型进行分类识别后，确定每个人的站立、坐立行为，然后对连续时序帧下的所有人的行为进行站立时长和位移距离分析，将站立时长最长及位移距离最远的人员划分为监考人员，将存在短暂站立行为及短位移距离的人员划分为考生，并对发生站立行为的考生进行智能识别并预警。8.一种基于深度学习的考场异常行为分析系统，其特征在于，系统采用如权利要求1至7任意一项所述的基于深度学习的考场异常行为分析方法；系统包括：视频采集模块、预处理模块、位置检测模块、人员跟踪模块以及行为识别模块；视频采集模块用于获取考场监控视频信息；预处理模块用于对考场监控视频信息进行预处理；位置检测模块用于构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；人员跟踪模块用于对监控图像中的监考员和考生进行实时跟踪；行为识别模块用于利用构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；如果为学生站立则会触发系统预警，提示有考生异常行为。9.一种终端机，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于深度学习的考场异常行为分析方法的步骤。

技术总结
本发明提供一种基于深度学习的考场异常行为分析方法、系统及终端机，涉及视频行为分析领域，获取考场监控视频信息，并对考场监控视频信息进行预处理；构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；对监控图像中的监考员和考生进行实时跟踪；利用构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；如果为学生站立则会触发系统预警，提示有考生异常行为。本发明对考场出现的异常情况进行预警，辅助审查人员进行判断和决策，提高异常分析的效率和准确度。率和准确度。率和准确度。


技术研发人员：马磊 陈义学 侯庆 梁延灼
受保护的技术使用者：山东山大鸥玛软件股份有限公司
技术研发日：2022.11.09
技术公布日：2022/12/30