一种基于改进的Densenet模型的课堂行为识别分类方法及系统

一种基于改进的densenet模型的课堂行为识别分类方法及系统
技术领域
1.本发明涉及课堂行为识别分类技术领域，特别是涉及一种基于改进的densenet模型的课堂行为识别分类方法及系统。


背景技术：

2.在课堂教学活动中，学生作为学习活动的主体，其行为状态是教学活动的直接体现，而课堂行为识别一直是教育领域的研究重点和难点。因此，学生课堂行为分析既是教学分析的重要环节，也是影响学生学习和教师教学效率的重要因素。当前，要求对学生课堂行为分析提出了更高的要求，通过学生的行为判断学生学习状态，进而形成教学反馈，但这种方式耗时费力，不能满足当今智慧学习环境下大规模课堂分析需求。实现智能化的学生课堂行为识别变得越来重要。
3.近年来，随着人工智能和计算机视觉等技术的发展，以及各种教室录播设备的使用，国内开始出现一些利用计算机视觉和人工智能等技术来实现学生课堂行为识别的研究。如：在教室场景下利用kinect设备提取人体骨骼特征向量，然后再用svm分类器对特征向量进行分类和识别学生的姿态和行为。此方法实现了人体骨骼特征和传统机器学习的结合，但使用的是传统机器学习的方法，还需要在教室里架设专门的kinect设备采集数据，操作较复杂且准确率不高，现有技术中的图像分类识别虽然可以实现，但也具有一定的局限性，对于课堂行为图像，图像中的背景较为复杂、人员较多、特征提取较为困难。因此需要提供一种对课堂行为识别率高的行为识别分类方法。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于改进的densenet模型的课堂行为识别分类方法及系统，用于解决现有技术中的具有一定的局限性，对于课堂行为图像，图像中的背景较为复杂、人员较多、特征提取较为困难的问题。
5.为实现上述目的及其他相关目的，本发明提供一种基于改进的densenet模型的课堂行为识别分类方法，包括：
6.s1、通过摄像机采集课堂行为图像数据，构建课堂行为数据库；
7.s2、在densenet模型中增加stem block模块，得到第一densenet模型；
8.s3、在第一densenet模型中增加通道注意模块，得到第二densenet模型；
9.s4、将课堂行为数据库中的行为图像数据输入至改进后的网络模型即为第二densenet模型，对课堂行为进行识别分类。
10.在本发明的一实施例中，所述课堂行为数据库包括举手行为数据、睡觉行为数据、左顾右盼行为数据。
11.在本发明的一实施例中，所述步骤s2中的在densenet模型中增加stem block模块，得到第一densenet模型包括：
12.将stem block模块替代densenet模型中的7
×
7卷积以及3
×
3最大池化；
13.所述densenet模型的卷积核在二维图像上采用的是二维的离散卷积，其计算公式为：
[0014][0015]
其中，i(x，y)表示特征图在位置(x，y)上的值，k(x，y)表示m
×
n维的卷积核，某一层卷积核的输入特征图尺寸为m
×
n，卷积核尺寸为k
×
k，填充为t，步长为s；
[0016]
利用深度为32、步长为2的3
×
3卷积接收行为图像数据，进行提取特征操作，再分为两个并行操作，其中一个并行操作为先进行深度为16、步长为1的1
×
1卷积操作，再进行深度为32、步长为2的3
×
3卷积操作；另一个并行操作为进行步长为2的2
×
2卷积的最大值池化操作，最后将两个并行操作的输出拼接输入至深度为32、步长为1的1
×
1的卷积。
[0017]
在本发明的一实施例中，所述步骤s3中的在第一densenet模型中增加通道注意模块，得到第二densenet模型包括：
[0018]
实现对通道注意模块中的通道进行选择，公式为：
[0019][0020]
其中，σ为sigmoid函数，f表示原特征图，avgpool(f)为平均池化，maxpool(f)为最大池化，和表示平均池化特征和最大池化特征，mc(f)为产生的通道注意力图，mlp为共享网络由一个多层感知器组成，包括一个隐含层；
[0021]
分别计算每张特征图的全局平均池化及全局最大池化信息，再通过全连接层后相加来得到通道注意力参数，其中两者共用相同的全连接网络，mc(f)与f进行元素相乘得到f
′
，其中，为元素乘法，f
′
为计算得到的通道注意图。
[0022]
本发明还提供一种基于改进的densenet模型的课堂行为识别分类系统，包括：
[0023]
摄像机，用于采集课堂行为图像数据，构建课堂行为数据库；
[0024]
stem block模块增加单元，用于在densenet模型中增加stem block模块，得到第一densenet模型；
[0025]
通道注意模块增加单元，用于在第一densenet模型中增加通道注意模块，得到第二densenet模型；
[0026]
输入单元，用于将课堂行为数据库中的行为图像数据输入至改进后的网络模型即为第二densenet模型，对课堂行为进行识别分类。
[0027]
本发明还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的基于改进的densenet模型的课堂行为识别分类方法。
[0028]
如上所述，本发明的一种基于改进的densenet模型的课堂行为识别分类方法及系统，具有以下有益效果：
[0029]
本发明的基于改进的densenet模型的课堂行为识别分类方法利用深度学习模型densenet对已有数据集进行训练，可以提取图像的深层特征，从而获得更丰富的图像信息，使用stem block模块，可以在不带来过多计算耗时的前提下，提高网络的特征表达能力。在
两个dense block之间加入自注意力机制，可以使网络更加关注图像的重要特征区域，不会丢失样本的重要信息，从而使得特征提取更加高效，之后更好的做分类。
附图说明
[0030]
图1为本技术实施例提供的基于改进的densenet模型的课堂行为识别分类方法的工作流程图。
[0031]
图2为本技术实施例提供的基于改进的densenet模型的课堂行为识别分类方法的stem block结构图。
[0032]
图3为本技术实施例提供的基于改进的densenet模型的课堂行为识别分类方法的改进后的densenet网络结构图。
[0033]
图4为本技术实施例提供的基于改进的densenet模型的课堂行为识别分类方法的添加的通道注意力模块。
具体实施方式
[0034]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0035]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0036]
请参阅图1，图1为本技术实施例提供的基于改进的densenet模型的课堂行为识别分类方法的工作流程图。本发明提供一种基于改进的densenet模型的课堂行为识别分类方法，包括：
[0037]
步骤s1、通过摄像机采集课堂行为图像数据，构建课堂行为数据库。所述课堂行为数据库包括举手行为数据、睡觉行为数据、左顾右盼行为数据。
[0038]
步骤s2、在densenet模型中增加stem block模块，得到第一densenet模型。
[0039]
请参阅图2，图2为本技术实施例提供的基于改进的densenet模型的课堂行为识别分类方法的stem block结构图。densenet模型简介：densenet提出了一个激进的密集连接机制，即互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入。可以看到，每个层都会与前面所有层在channel维度上连接在一起，并作为下一层的输入。主要包含紧密块(dense block)和过渡层(transition layer)2个组成模块，在每个紧密块内，第l层的输出x
l
满足公式(1)，层与层之间的非线性转换函数h
l
(
·
)包含3个连续的操作，批标准化、线性整流函数和3
×
3卷积，定义超参数k为生长率，如果h
l
(
·
)产生k个特征映射，则第l层将有k0 k
×
(l-1)个特征映射输入(k0为首个输入层的通道数)，将导致每一层有太多输入，因此在每个紧密块的卷积3
×
3(conv3
×
3)前引入卷积1
×
1(conv1
×
1)作为颈瓶层(bottle neck layer)，来减少特征映射输入的数量，每2个紧密块之间用颈瓶层连
接，通过卷积和池化操作改变特征映射的大小：
[0040]
x
l
＝h
l
([x0,x1,
···
,x
l-1
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0041]
其中，h()表示非线性转化函数，l表示输出的层数，xl为第l层的输出。对于一个l层的网络，densenet共包含l(l 1)/2个连接，这是一种密集连接。而且densenet是直接连接来自不同层的特征图，这可以实现特征重用，提升效率。
[0042]
请参阅图2、图3，图2为本技术实施例提供的基于改进的densenet模型的课堂行为识别分类方法的stem block结构图。图3为本技术实施例提供的基于改进的densenet模型的课堂行为识别分类方法的改进后的densenet网络结构图。所述步骤s2中的在densenet模型中增加stem block模块，得到第一densenet模型包括：
[0043]
将stem block模块替代densenet模型中的7
×
7卷积以及3
×
3最大池化；
[0044]
所述densenet模型的卷积核在二维图像上采用的是二维的离散卷积，其计算公式为：
[0045][0046]
其中，i(x,y)表示特征图在位置(x,y)上的值，k(x,y)表示m
×
n维的卷积核，某一层卷积核的输入特征图尺寸为m
×
n，卷积核尺寸为k
×
k，填充为t，步长为s；
[0047]
利用深度为32、步长为2的3
×
3卷积接收行为图像数据，进行提取特征操作，再分为两个并行操作，其中一个并行操作为先进行深度为16、步长为1的1
×
1卷积操作，再进行深度为32、步长为2的3
×
3卷积操作；另一个并行操作为进行步长为2的2
×
2卷积的最大值池化操作，最后将两个并行操作的输出拼接输入至深度为32、步长为1的1
×
1的卷积。
[0048]
改进后的densenet网络结构如表1所示，首先输入一个3x3的卷积，然后进行两个步骤，一个是进行1
×
1和3
×
3的卷积，另一个是进行2
×
2的最大池化，然后将这两个步骤进行拼接，在进行1
×
1的卷积操作，表1为改进后的densenet网络结构参数。
[0049]
表1：
[0050][0051]
步骤s3、在第一densenet模型中增加通道注意模块，得到第二densenet模型。注意力机制(attention mechanism)源于对人类视觉注意力的研究，人类可以通过快速扫描全局图像，获得需要重点关注的目标区域，而后对这一区域投入更多注意力，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。受人类视觉注意力的启发，深度学习领域引入注意力让机器更关注图像中的焦点信息。从特征中学习或者提取出权重分布，再拿这个权重分布施加在原来的特征之上，改变原有特征的分布，增强有效特征抑制无效的特征或者是噪音。
[0052]
请参阅图4，图4为本技术实施例提供的基于改进的densenet模型的课堂行为识别分类方法的添加的通道注意力模块。本发明中将通道注意模注意力机制加入到改进后的densenet网络的dense block1和dense block2中间，通过注意力机制让鉴别器网络聚焦到图像的重要特征，从而激励生成器网络生成更加“逼真”的图像。
[0053]
所述步骤s3中的在第一densenet模型中增加通道注意模块，得到第二densenet模型包括：
[0054]
实现对通道注意模块中的通道进行选择，公式为：
[0055][0056]
其中，σ为sigmoid函数，f表示原特征图，avvgpool(f)为平均池化，maxpool(f)为最大池化，和表示平均池化特征和最大池化特征，mc(f)为产生的通道注意力图，mlp为共享网络由一个多层感知器组成，包括一个隐含层；
[0057]
分别计算每张特征图的全局平均池化及全局最大池化信息，再通过全连接层后相
加来得到通道注意力参数，其中两者共用相同的全连接网络，mc(f)与f进行元素相乘得到
[0058]f′
，其中，为元素乘法，f
′
为计算得到的通道注意图。为了有效计算通道注意力，需要对输入特征图的空间维度进行压缩，对于空间信息的聚合，常用的方法是平均池化最大池化收集了另一个重要线索，关于独特的物体特征，可以推断更细的通道上的注意力。因此，平均池化和最大池化的特征是同时使用的。
[0059]
步骤s4、将课堂行为数据库中的行为图像数据输入至改进后的网络模型即为第二densenet模型，对课堂行为进行识别分类。
[0060]
本发明还提供一种基于改进的densenet模型的课堂行为识别分类系统，包括：
[0061]
摄像机，用于采集课堂行为图像数据，构建课堂行为数据库；
[0062]
stem block模块增加单元，用于在densenet模型中增加stem block模块，得到第一densenet模型；
[0063]
通道注意模块增加单元，用于在第一densenet模型中增加通道注意模块，得到第二densenet模型；
[0064]
输入单元，用于将课堂行为数据库中的行为图像数据输入至改进后的网络模型即为第二densenet模型，对课堂行为进行识别分类。
[0065]
本发明还提出一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的一种基于改进的densenet模型的课堂行为识别分类方法。所述处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；所述存储器可能包含随机存取存储器(randomaccess memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器也可以为随机存取存储器(randomaccess memory，ram)类型的内部存储器，所述处理器、存储器可以集成为一个或多个独立的电路或硬件，如：专用集成电路(application specificintegrated circuit，asic)。需要说明的是，上述的存储器中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
[0066]
综上所述，本发明的基于改进的densenet模型的课堂行为识别分类方法利用深度学习模型densenet对已有数据集进行训练，可以提取图像的深层特征，从而获得更丰富的图像信息，使用stem block模块，可以在不带来过多计算耗时的前提下，提高网络的特征表达能力。在两个dense block之间加入自注意力机制，可以使网络更加关注图像的重要特征区域，不会丢失样本的重要信息，从而使得特征提取更加高效，之后更好的做分类。
[0067]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因
此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。