基于图像分析的课堂行为识别方法、系统、终端及介质

1.本发明涉及图像处理技术领域，更具体地说，它涉及基于图像分析的课堂行为识别方法、系统、终端及介质。


背景技术：

2.随着图像处理技术的不断发展，如何更高效地识别和分析学生课堂行为已经成为了智慧教育的研究热点。
3.目前，大部分课堂行为识别技术均是针对单个目标对象的行为动作进行检测，主要是对关节点和/或面部表情等进行识别，部分还考虑了课堂场景的具体情况。一方面，由于课堂场景学生行为识别属于复杂场景下多人姿态行为识别问题，常见的识别算法准确率低，且整个识别算法复杂，占用了较多的网络资源；另一方面，由于学生的学习习惯具有个异性，即在同一课堂场景下，部分学生可能进行了埋头记笔记操作，部分学生可能进行了查看课本，还有部分学生可能注视着黑板等等，从而导致识别结果存在较大误差。


技术实现要素：

4.为解决现有技术中的不足，本发明的目的是提供基于图像分析的课堂行为识别方法、系统、终端及介质，实现了课堂行为识别精确检测。
5.本发明的上述技术目的是通过以下技术方案得以实现的：
6.第一方面，提供了基于图像分析的课堂行为识别方法，包括以下步骤：
7.从预设周期内的视频图像中截取多个帧图像；
8.通过图像识别技术提取帧图像中各个人物的动作，并分析目标对象的动作在相应帧图像中的占比情况后得到占有率序列；
9.统计目标对象在多个帧图像中的动作，并从数据库中匹配相应的特征值后对各个动作表征得到特征值序列；
10.根据占有率序列的空间分布情况为各个动作生成识别系数，得到识别系数序列；
11.根据占有率序列、识别系数序列和特征值序列分析得到目标对象在预设周期内的动作表征值；
12.依据动作表征值的分布区间分析得到目标对象在预设周期内的行为识别结果。
13.进一步的，所述帧图像的截取过程具体为：
14.以预设时间为时间间隔从视频图像连续截取预设数量的帧图像；
15.若从视频图像单次循环截取的帧图像数量未达到预设数量时，则将视频图像的末时刻连接始时刻后继续截取。
16.进一步的，所述占有率序列中占有率的计算公式具体为：
[0017][0018]
其中，pn表示目标对象在第n个帧图像中的占有率；an(k)表示目标对象所对应动作
k在第n个帧图像中的数量；zn表示第n个帧图像中所有动作的数量。
[0019]
进一步的，若所述目标对象在帧图像中存在至少两个动作时，则最终的占有率以各个动作的占有率进行权重计算得到，最终表征的特征值以各个动作的特征值进行权重计算得到。
[0020]
进一步的，所述特征值与各个动作在相同课程中的历史出现概率成正相关。
[0021]
进一步的，所述识别系数的生成过程具体为：
[0022]
以相同幅值将整个分布空间均分为四个分布值区域，由下至上的四个分布值区域的基础值比例为1:2:3:4；
[0023]
将分布值区域的基础值除以相应区域中占有率的分布数量，得到对应占有率的识别系数。
[0024]
进一步的，所述动作表征值的计算公式具体为：
[0025][0026]
其中，d(n)表示目标对象在预设周期内的动作表征值；pi表示目标对象在第i个帧图像中的占有率；s(pi)表示占有率pi所对应的识别系数；ti表示目标对象在第i个帧图像中动作的特征值；m表示预设周期所截取的帧图像数量。
[0027]
第二方面，提供了基于图像分析的课堂行为识别系统，包括：
[0028]
图像截取模块，用于从预设周期内的视频图像中截取多个帧图像；
[0029]
动作分析模块，用于通过图像识别技术提取帧图像中各个人物的动作，并分析目标对象的动作在相应帧图像中的占比情况后得到占有率序列；
[0030]
动作表征模块，用于统计目标对象在多个帧图像中的动作，并从数据库中匹配相应的特征值后对各个动作表征得到特征值序列；
[0031]
系数生成模块，用于根据占有率序列的空间分布情况为各个动作生成识别系数，得到识别系数序列；
[0032]
分析计算模块，用于根据占有率序列、识别系数序列和特征值序列分析得到目标对象在预设周期内的动作表征值；
[0033]
行为识别模块，用于依据动作表征值的分布区间分析得到目标对象在预设周期内的行为识别结果。
[0034]
与现有技术相比，本发明具有以下有益效果：
[0035]
1、本发明提出的基于图像分析的课堂行为识别方法，通过对目标对象的连续动作在整体动作中的分布情况进行分析，并结合特征值表征和识别系数的自动生成，在考虑了目标对象的个异性情况下能够准确可靠的识别出目标对象的行为异常等级，实现了课堂行为识别精确检测；
[0036]
2、本发明在对课堂行为识别过程中考虑了目标对象同时存在的多个动作的情况，有效规避了动作识别选取的随机性而导致识别结果存在较大误差的情况；
[0037]
3、本发明依据不同基础值的分布值区域对目标对象在整个预设周期内的占有率分布情况进行分析，能够有效的对学生故意长期保持某个高频率来规避异常监测的情况进行异常识别；
[0038]
4、本发明通过动作表征值对学生的异常情况进行量化分析，能够从整体上获知学
生的学生情况，方便大范围推广应用。
附图说明
[0039]
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定。在附图中：
[0040]
图1是本发明实施例中的流程图；
[0041]
图2是本发明实施例中的系统框图。
具体实施方式
[0042]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
[0043]
实施例1：基于图像分析的课堂行为识别方法，如图1所示，包括以下步骤：
[0044]
s1：从预设周期内的视频图像中截取多个帧图像；
[0045]
s2：通过图像识别技术提取帧图像中各个人物的动作，并分析目标对象的动作在相应帧图像中的占比情况后得到占有率序列；
[0046]
s3：统计目标对象在多个帧图像中的动作，并从数据库中匹配相应的特征值后对各个动作表征得到特征值序列；特征值与各个动作在相同课程中的历史出现概率成正相关；
[0047]
s4：根据占有率序列的空间分布情况为各个动作生成识别系数，得到识别系数序列；
[0048]
s5：根据占有率序列、识别系数序列和特征值序列分析得到目标对象在预设周期内的动作表征值；
[0049]
s6：依据动作表征值的分布区间分析得到目标对象在预设周期内的行为识别结果，动作表征值越低，异常越明显。
[0050]
帧图像的截取过程具体为：以预设时间为时间间隔从视频图像连续截取预设数量的帧图像；若从视频图像单次循环截取的帧图像数量未达到预设数量时，则将视频图像的末时刻连接始时刻后继续截取。
[0051]
占有率序列中占有率的计算公式具体为：
[0052][0053]
其中，pn表示目标对象在第n个帧图像中的占有率；an(k)表示目标对象所对应动作k在第n个帧图像中的数量；zn表示第n个帧图像中所有动作的数量。
[0054]
此外，若所述目标对象在帧图像中存在至少两个动作时，则最终的占有率以各个动作的占有率进行权重计算得到，最终表征的特征值以各个动作的特征值进行权重计算得到。
[0055]
识别系数的生成过程具体为：以相同幅值将整个分布空间均分为四个分布值区域，由下至上的四个分布值区域的基础值比例为1:2:3:4；将分布值区域的基础值除以相应区域中占有率的分布数量，得到对应占有率的识别系数。
[0056]
动作表征值的计算公式具体为：
[0057][0058]
其中，d(n)表示目标对象在预设周期内的动作表征值；pi表示目标对象在第i个帧图像中的占有率；s(pi)表示占有率pi所对应的识别系数；ti表示目标对象在第i个帧图像中动作的特征值；m表示预设周期所截取的帧图像数量。
[0059]
实施例2：基于图像分析的课堂行为识别系统，如图2所示，该系统用于实现实施例1中记载的识别方法，包括图像截取模块、动作分析模块、动作表征模块、系数生成模块、分析计算模块和行为识别模块。
[0060]
其中，图像截取模块，用于从预设周期内的视频图像中截取多个帧图像；动作分析模块，用于通过图像识别技术提取帧图像中各个人物的动作，并分析目标对象的动作在相应帧图像中的占比情况后得到占有率序列；动作表征模块，用于统计目标对象在多个帧图像中的动作，并从数据库中匹配相应的特征值后对各个动作表征得到特征值序列；系数生成模块，用于根据占有率序列的空间分布情况为各个动作生成识别系数，得到识别系数序列；分析计算模块，用于根据占有率序列、识别系数序列和特征值序列分析得到目标对象在预设周期内的动作表征值；行为识别模块，用于依据动作表征值的分布区间分析得到目标对象在预设周期内的行为识别结果。
[0061]
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。