一种基于深度学习的考场异常行为分析方法、系统及终端机与流程

1.本发明涉及视频行为分析领域，具体涉及一种基于深度学习的考场异常行为分析方法、系统及终端机。


背景技术：

2.目前，考试的监考主要通过设置监考老师来进行监控。为了提高对考试过程的监控力度，并随着高清数字监控设备的普及，有些区域在考场中安装摄像机可以实时记录考试状况，从而快速处理考试过程中的各种突发紧急情况。还可以对考试全过程进行视频获取，并进行保存。如果考生在考试过程出现异常动作则可以进行影像记录，为异常动作的认定提供证据。
3.目前为了处理一些考情事件需要对考场监控视频进行回放，只能依赖人的视觉和脑力活动参与进行人海战术解决。另有为了能够实现对考场进行监控，由专人对摄像头摄取的信息进行监控，如监控到考生的异常动作，报告给监考人员进行处理。然而由于监控人员长时间集中审查视频画面，很快会出现视觉疲劳，或者不能做到实时对考试过程进行监控，从而无法及时的发现监控视频中出现的考生异常行为，影响考试的公正性。


技术实现要素：

4.本发明提出了基于深度学习的考场异常行为分析方法，方法利用可以对监控视频中的监考员和考生进行位置检测，并实时跟踪他们的运动轨迹，当考生出现站立行为时，会发出预警并保存当前异常行为画面。
5.基于深度学习的考场异常行为分析方法包括：步骤（1）：获取考场监控视频信息，并对考场监控视频信息进行预处理；步骤（2）：构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；步骤（3）：对监控图像中的监考员和考生进行实时跟踪；步骤（4）：利用步骤（2）构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；如果为学生站立则会触发系统预警，提示有考生异常行为。
6.进一步需要说明的是，步骤（1）还包括：截取考试过程中的监控视频，将非考试时间监控视频去除，对不同格式的视频进行解码，并且对视频进行等间隔采样抽帧。
7.进一步需要说明的是，步骤（2）还包括：搭建卷积神经网络并对原始的监控图像进行人工标注，利用标注好的图像进行模型训练，最终获得监考员及每个考生的位置框。
8.进一步需要说明的是，步骤（2）中，利用训练完成的模型进行推理预测，最终得到每个人的位置坐标信息，其中为矩形框的左上角坐标，分别为矩形框的宽度和高度。
9.进一步需要说明的是，步骤（3）还包括：调取每一帧图像中监考员和考生的位置信息，对每个检测框进行人体属性特征向量提取，利用卡尔曼滤波算法对前一帧图像的所有检测框进行状态预测，并将预测结果与当前帧所有检测框进行交并比计算得分，同时对所有检测框进行人体属性特征向量比对，最终结合两者得分情况将相似度最高的检测框标为同一个人的id。
10.进一步需要说明的是，步骤（3）中，设系统状态向量为：其中为k时刻矩形框的中心点坐标，分别为矩形框的宽度和高度，为k时刻经卡尔曼滤波预测的矩形框的中心点坐标，分别为k时刻经卡尔曼滤波预测的矩形框的宽度和高度；利用预测方程对k时刻的状态向量和协方差进行预测，具体公式如下：进行预测，具体公式如下：其中，是状态转移矩阵，根据先验知识得到，是噪声的协方差矩阵；根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：其中，为测量矩阵，r为测量过程的协方差矩阵，为卡尔曼增益；将卡尔曼滤波算法得到的所有预测框a与目标检测模型得到的所有检测框b进行iou计算，具体公式如下：提取所有检测框的特征向量与前一帧的所有特征向量进行相似度比对，最终得到外观成本矩阵,结合iou计算得到的运动成本矩阵，最终生成总成本矩阵c,具体公式如下：其中，为权重因子；通过匈牙利算法对成本矩阵进行最优分配计算，得到当前帧各人员所属的id。
11.进一步需要说明的是，步骤（4）中经softmax激活函数得到最终的行为类别，具体公式如下：其中，为第i个节点的输出，c为分类的类别个数，取值为2；通过对行为类型进行分类识别后，确定每个人的站立、坐立行为，然后对连续时序帧下的所有人的行为进行站立时长和位移距离分析，将站立时长最长及位移距离最远的人
员划分为监考人员，将存在短暂站立行为及短位移距离的人员划分为考生，并对发生站立行为的考生进行智能识别并预警。
12.本发明还提供一种基于深度学习的考场异常行为分析系统，系统包括：视频采集模块、预处理模块、位置检测模块、人员跟踪模块以及行为识别模块；视频采集模块用于获取考场监控视频信息；预处理模块用于对考场监控视频信息进行预处理；位置检测模块用于构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；人员跟踪模块用于对监控图像中的监考员和考生进行实时跟踪；行为识别模块用于利用构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；如果为学生站立则会触发系统预警，提示有考生异常行为。
13.本发明还提供一种终端机，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，基于深度学习的考场异常行为分析方法的步骤。
14.从以上技术方案可以看出，本发明具有以下优点：本发明提供的将智能视频监控技术应用在考场视频监控系统中，减少视频监控对人工的依赖，避免了人工监控及时性差，分辨不清楚的问题。本发明使用智能计算机系统对考场监控视频中的监考员和考生的运动进行实时检测和跟踪，对他们的运动趋势进行分析和预测，对可能出现的异常情况进行预警，辅助审查人员进行判断和决策，提高异常分析的效率和准确度。
附图说明
15.为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为基于深度学习的考场异常行为分析方法流程图；图2为基于深度学习的考场异常行为分析系统示意图。
具体实施方式
17.如图1所示，本发明提供一种基于深度学习的考场异常行为分析方法中所提供的图示仅以示意方式说明本发明的基本构想，本发明可以基于人工智能技术对关联的数据进行获取和处理。其中，基于深度学习的考场异常行为分析方法利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。换句话说，基于深度学习的考场异常行为分析方法在执行过程中，可以生产出能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本发明综合了摄像头、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一
体化等技术。使用计算机视角技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。结合人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术实现考场异常行为分析。
18.如图1示出了本发明的基于深度学习的考场异常行为分析方法的较佳实施例的流程图。基于深度学习的考场异常行为分析方法应用于一个或者多个终端机中，所述终端机是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
19.终端机可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(personal digital assistant， pda)、交互式网络电视(internet protocol television，iptv)、智能式穿戴式设备等。
20.终端机还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloud computing)的由大量主机或网络服务器构成的云。
21.终端机所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(virtual private network，vpn)等。终端机通过网络与设置在考场的摄像头通信连接，获取考场监控视频信息，再对考场监控视频信息进行分析，分析监考员和考生行为变化趋势，评价考生在考试过程是否满足规范要求，考试是否发生站立行为，对于维持考场秩序有积极作用。
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.请参阅附图所示是一具体实施例中基于深度学习的考场异常行为分析方法的流程图，方法包括：s101：获取考场监控视频信息，并对考场监控视频信息进行预处理；本实施例中，可以实时获取考场监控视频信息，对考场监控视频信息进行预处理。也可以每间隔一预设时长对考场监控视频信息进行预处理，而不是实时进行预处理再分析，这样可以降低系统处理的数据量。
24.预处理过程是将非考试时间监控视频去除，对不同格式的视频进行解码，并且对视频进行等间隔采样抽帧。
25.s102：构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；s103：对监控图像中的监考员和考生进行实时跟踪；其中，本发明是对每一帧图像中监考员和考生的位置信息，然后对每个检测框进行人体属性特征向量提取，利用卡尔曼滤波算法对前一帧图像的所有检测框进行状态预测，并将预测结果与当前帧所有检测框进行交并比（iou）计算得分，同时对所有检测框进行人体属性特征向量比对，最终结合两者得分情况将相似度最高的检测框标为同一个人的id。
26.s104：利用s102构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；如果为学生站立则会触发系统预警，提示有考生异常行为。
27.这样，实现了对考场监控视频信息进行监控分析，对可能出现的异常情况进行预警，辅助审查人员进行判断和决策，提高异常分析的效率和准确度。
28.而且还避免了基于人工监控的弊端，实现了实时监控，提高了监控的及时性。
29.进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，本实施例主要是针对考场监控视频，利用深度学习技术对考场中的监考人员及考生进行实时位置检测与跟踪，并对考生的异常行为进行智能识别。
30.示例性的讲，终端机所用的系统环境为linux系统，系统配置为：inter（r） xeon e5-2620 v4 @ 2.10ghz 内存32g和两个内存为16g 的nvidia tesla p100 gpu显卡，选取考场监控视频作为输入视频流，并以该视频流作为例子。
31.具体实施步骤如下：步骤（1）：视频预处理对考场监控视频进行预处理，首先截取考试过程中的监控视频，将非考试时间监控视频去除，然后对不同格式的视频进行解码，并且每秒抽取5帧图像，最终得到n张图像组成的图像帧序列。
32.步骤（2）：对监考员和考生进行位置检测a.搭建卷积神经网络。具体网络结构为主干网络采用darknet53，中间层采用特征金字塔网络（fpn）自顶向下将高层的特征信息通过上采样的方式与下采样得到的特征信息进行传递融合，预测输出层采用解耦头方式，分为三个分支，分别对前景背景、位置框坐标、类别进行预测。
33.b.模型训练。采集原始监控视频图像进行人工标注，并采用数据增强技术增加训练样本数量，最终生成两万张训练图片进行模型训练，训练批次设为128，轮次设为300。
34.c.利用训练完成的模型进行推理预测，最终得到每个人的位置坐标信息,其中为矩形框的左上角坐标，分别为矩形框的宽度和高度。
35.步骤（3）：对监考员和考生进行跟踪卡尔曼滤波算法可以利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计。因此为了获取k时刻各人员的位置信息，可以假设系统状态向量为：其中为k时刻矩形框的中心点坐标，分别为矩形框的宽度和高度，为k时刻经卡尔曼滤波预测的矩形框的中心点坐标，分别为k时刻经卡尔曼滤波预测的矩形框的宽度和高度。
36.利用预测方程对k时刻的状态向量和协方差进行预测，具体公式如下：
其中，是状态转移矩阵，根据先验知识得到，是噪声的协方差矩阵。
37.根据预测的状态值和实际观测值进行卡尔曼滤波参数更新，具体更新公式如下：滤波参数更新，具体更新公式如下：滤波参数更新，具体更新公式如下：其中，为测量矩阵，r为测量过程的协方差矩阵，为卡尔曼增益。
38.将卡尔曼滤波算法得到的所有预测框a与目标检测模型得到的所有检测框b进行iou计算，具体公式如下：提取所有检测框的特征向量与前一帧的所有特征向量进行相似度比对，最终得到外观成本矩阵,结合iou计算得到的运动成本矩阵，最终生成总成本矩阵c,具体公式如下：其中，为权重因子，取值为0.98。
39.最后通过匈牙利算法对成本矩阵进行最优分配计算，得到当前帧各人员所属的id。
40.步骤（4）：对异常行为进行智能识别利用步骤（2）搭建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，经softmax激活函数得到最终的行为类别，具体公式如下：其中，为第i个节点的输出，c为分类的类别个数，取值为2。
41.通过对行为类型进行分类识别后，可以确定每个人的站立、坐立行为，然后对连续时序帧下的所有人的行为进行站立时长和位移距离分析，将站立时长最长及位移距离最远的人员划分为监考人员，将存在短暂站立行为及短位移距离的人员划分为考生，并对发生站立行为的考生进行智能识别并预警。
42.以下是本公开实施例提供的基于深度学习的考场异常行为分析系统的实施例，该基于深度学习的考场异常行为分析系统与上述各实施例的基于深度学习的考场异常行为分析方法属于同一个发明构思，在基于深度学习的考场异常行为分析系统的实施例中未详尽描述的细节内容，可以参考上述基于深度学习的考场异常行为分析方法的实施例。
43.基于深度学习的考场异常行为分析系统包括：视频采集模块、预处理模块、位置检测模块、人员跟踪模块以及行为识别模块；视频采集模块用于获取考场监控视频信息；预处理模块用于对考场监控视频信息进行预处理；
位置检测模块用于构建卷积神经网络，对监控图像中的监考员和考生进行位置检测；人员跟踪模块用于对监控图像中的监考员和考生进行实时跟踪；行为识别模块用于利用构建的卷积神经网络，取解耦头后的其中一路分支进行行为分类识别，对坐立和站立两种行为进行识别；通过识别的行为类别以及个体在连续帧下站立的时长及位移情况，判断是否为学生；如果为学生站立则会触发系统预警，提示有考生异常行为。
44.本发明提供的基于深度学习的考场异常行为分析系统将智能视频监控技术应用在考场视频监控系统中，减少视频监控对人工的依赖，避免了人工监控及时性差，分辨不清楚的问题。本发明使用智能计算机系统对考场监控视频中的监考员和考生的运动进行实时检测和跟踪，对他们的运动趋势进行分析和预测，对可能出现的异常情况进行预警，辅助审查人员进行判断和决策，提高异常分析的效率和准确度。
45.本发明提供的基于深度学习的考场异常行为分析系统中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
46.基于深度学习的考场异常行为分析系统和方法附图中的流程图和框图，图示了按照本公开各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。示例性的讲，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
47.本发明提供的基于深度学习的考场异常行为分析系统及方法中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或电力服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(示例性的讲利用因特网服务提供商来通过因特网连接)。
48.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的
一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。