一种在线教学学习专注度识别方法、装置、系统及介质与流程

1.本发明涉及互联网技术领域，尤其涉及一种在线教学学习专注度识别方法、装置、系统及介质。


背景技术：

2.在线教育或称远程教育、在线学习，一般指的是指一种基于网络的学习行为。在线教育是以网络为介质的教学方式，通过网络，学生与教师即使相隔万里也可以开展教学活动，因其打破了时间和空间的限制，便捷高效的方式成为现在越来越多教师和学生的选择。
3.在线教育场景中，老师与学生主要通过摄像头看到对方，相比于线下教学场景，在线场景由于沉浸感不足学生更容易出现注意力不集中的情况，当直播间中人数较多时，老师难以实时观察到每一个学生的专注度，会极大的影响教学质量。
4.因此，现有技术还有待于改进和发展。


技术实现要素：

5.鉴于上述现有技术的不足，本发明的目的在于提供一种在线教学学习专注度识别方法、装置、系统及介质，旨在解决现有技术中在线教学时难以及时准确监测到学生注意力不集中的问题。
6.本发明的技术方案如下：
7.一种在线教学学习专注度识别方法，其包括如下步骤：
8.接收预设摄像头实时采集的学生用户的人脸图像；
9.将所述人脸图像输入至预设的眼神识别模型中得到实时的眼神信息，所述眼神信息包括方向信息和/或睁合度信息；
10.根据所述实时的眼神信息对学生用户的学习专注度进行识别，确定学生用户的注意力是否集中；
11.若所述学生用户的注意力不集中，则向教师终端发送提醒信息，所述提醒信息用于指示所述学生用户的注意力不集中。
12.所述的在线教学学习专注度识别方法中，所述根据所述实时的眼神信息对学生用户的学习专注度进行识别，确定学生用户的注意力是否集中，包括：
13.按图像帧识别所述眼神信息后得到各帧对应的学习专注度识别结果；
14.若预设时间段内各帧对应的学习专注度识别结果均为未集中注意力，则确定学生用户的注意力不集中。
15.所述的在线教学学习专注度识别方法中，所述按图像帧识别所述眼神信息后得到各帧对应的学习专注度识别结果，包括：
16.逐帧识别所述眼神信息，判断各帧对应的所述眼神信息是否满足预设专注条件；
17.若满足则识别为已集中注意力，若不满足则识别为未集中注意力。
18.所述的在线教学学习专注度识别方法中，所述按图像帧识别所述眼神信息后得到
各帧对应的学习专注度识别结果，包括：
19.跳帧识别所述眼神信息，判断各帧对应的所述眼神信息是否满足预设专注条件；
20.若满足则识别为已集中注意力，若不满足则识别为未集中注意力。
21.所述的在线教学学习专注度识别方法中，所述若预设时间段内各帧对应的学习专注度识别结果均为未集中注意力，则确定学生用户的注意力不集中，具体包括：
22.当识别到未集中注意力的人脸图像时开始计时，当识别到已集中注意力的人脸图像则停止计时，若计时值达到预设时间段时则确定学生用户的注意力不集中。
23.所述的在线教学学习专注度识别方法中，所述预设专注条件包括视线方向为显示屏方向和/或眼睛为睁开状态。
24.所述的在线教学学习专注度识别方法中，所述将所述人脸图像输入至预设的眼神识别模型中得到实时的眼神信息之前，还包括：
25.构建深度学习网络模型；
26.根据预先采集的眼神训练样本对所述深度学习网络模型进行训练，使所述深度学习网络模型达到预设收敛条件后生成所述眼神识别模型。
27.所述的在线教学学习专注度识别方法中，所述眼神信息包括方向信息和/或睁合度信息。
28.本发明又一实施例还提供了一种在线教学学习专注度识别装置，其包括：
29.采集模块，用于接收预设摄像头实时采集的学生用户的人脸图像；
30.信息提取模块，用于将所述人脸图像输入至预设的眼神识别模型中得到实时的眼神信息，所述眼神信息包括方向信息和/或睁合度信息；
31.判断模块，用于根据所述实时的眼神信息对学生用户的学习专注度进行识别，确定学生用户的注意力是否集中；
32.提醒模块，用于若所述学生用户的注意力不集中，则向教师终端发送提醒信息，所述提醒信息用于指示所述学生用户的注意力不集中。
33.本发明又一实施例还提供了一种在线教学学习专注度识别系统，所述系统包括至少一个处理器；以及，
34.与所述至少一个处理器通信连接的存储器；其中，
35.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述在线教学学习专注度识别方法或解码方法。
36.本发明的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的在线教学学习专注度识别方法或解码方法。
37.有益效果：本发明公开了一种在线教学学习专注度识别方法、装置、系统及介质，相比于现有技术，本发明实施例通过实时的眼神信息来准确且及时的判断学生用户是否保持课堂注意力集中，使得在上网课过程中教师能迅速发现学生注意力不集中的情况，有效提高了在线教学的效率与质量。
附图说明
38.下面将结合附图及实施例对本发明作进一步说明，附图中：
39.图1为本技术实施例中在线教学学习专注度识别方法的一个流程图；
40.图2为本技术实施例中在线教学学习专注度识别方法的另一个流程图；
41.图3为本技术实施例中在线教学学习专注度识别装置的另一个的功能模块示意图；
42.图4为本技术实施例中在线教学学习专注度识别系统的另一个的硬件结构示意图。
具体实施方式
43.为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。
44.本发明实施例提供的在线教学学习专注度识别方法应用于包括若干个终端设备、网络和服务器构成的系统，其中网络为在终端设备和服务器之间提供通信链路的介质，其可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
45.本发明实施例中终端设备上安装有相应的在线教学应用以进行在线教学直播、学生作业提交等等操作，终端设备根据用户的不同可分为教师终端和学生终端，即教师用户和学生用户可分别使用各自的终端设备，通过预先注册的账号登录各自终端设备上的在线教学应用后通过网络连接到服务器以实现交互，从而进行接收或发送数据等。具体可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式服务器等等。
46.具体请参阅图1，本发明提供的在线教学学习专注度识别方法包括如下步骤：
47.s100、接收预设摄像头实时采集的学生用户的人脸图像；
48.s200、将所述人脸图像输入至预设的眼神识别模型中得到实时的眼神信息，所述眼神信息包括方向信息和/或睁合度信息；
49.s300、根据所述实时的眼神信息对学生用户的学习专注度进行识别，确定学生用户的注意力是否集中；
50.s400、若所述学生用户的注意力不集中，则向教师终端发送提醒信息，所述提醒信息用于指示所述学生用户的注意力不集中。
51.本实施例中，当教师和学生分别通过各自的终端上预先安装的在线教学应用进行在线教学直播时，为及时准确的掌握各学生用户的学习状态，在直播上课时，通过预设摄像头实时采集学生用户的人脸图像，具体所述预设摄像头可以是学生终端上的内置摄像头或者与学生终端连接的外置摄像头，将采集到的人脸图像送至预设的眼神识别模型中以准确高效地进行特征提取，从而提取到当前人脸图像中学生用户的眼神信息，其中所述眼神识别模型优选为基于深度学习训练的眼神识别模型，可采用预先完成训练的模型直接进行高效精准识别，或者采用未完成训练的模型对新采集的人脸图像一边识别一边训练，以平衡训练成本和识别准确率。
52.具体地，所述眼神信息包括方向信息和/或睁合度信息，即实时提取的眼神信息至
少包括了眼神方向与眼睛睁合度中的至少一项，通过眼神方向和/或眼睛睁合度对学生用户的学习专注度进行识别后判断其注意力是否集中，若所述学生用户的注意力不集中则及时输出提醒信息至教师终端，所述提醒信息用于指示所述学生用户的注意力不集中，具体所述提醒信息包括判断为注意力不集中的学生信息以及持续时间等等，以便教师用户能及时准确的掌握当前课堂中所有学生的上课状态，可根据接收到的提醒信息对相应的学生进行提醒警示，或者调整教学方案例如增加课堂互动等等从而调用学生的积极性，有效提高了课堂纪律以及教学质量。
53.进一步地，所述将所述人脸图像输入至预设的眼神识别模型中得到实时的眼神信息之前，还包括：
54.构建深度学习网络模型；
55.根据预先采集的眼神训练样本对所述深度学习网络模型进行训练，使所述深度学习网络模型达到预设收敛条件后生成所述眼神识别模型。
56.本实施例中，基于已经训练完成的眼神识别模型对人脸图像进行眼神信息识别，先构建一具深度学习网络模型，例如可构建基础的卷积神经网络模型或者基于mobilenet的卷积神经网络模型作为深度学习模型，其中mobilenet作为专注于在移动设备和嵌入式设备上的轻量级卷积神经网络，相比于传统的卷积神经网络，在准确率小幅降低的前提下，大大减小模型参数和运算量，具体可根据对模型精度和效率的要求选择合适的深度学习网络模型，并且可灵活调整所述深度学习网络模型的结构，例如层数与每层的类型等等，本实施例对此不作限定；之后根据预先采集的大量眼神训练样本对所述深度学习网络模型进行训练，所述眼神训练样本中包含了已标定眼神方向的人脸图像和/或已标定眼睛睁合度的人脸图像，根据所述深度学习网络模型的输出值反向调节其权重参数直到模型收敛，即此时训练完成后得到的眼神识别模型，可准确对人脸图像中的眼神方向进行估计和/或对人脸图像中眼睛的睁合度进行分类，其中眼睛的睁合度信息包括睁眼、闭眼、眯眼等，通过眼神方向可反映当前学生用户在上课时的注视点是否在观看屏幕，而通过睁合度信息可反映当前学生用户的疲劳程度，例如睁眼、眯眼、闭眼的疲劳程度依次增加，从而为后续学习专注度的识别提供准确且实时的特征依据，有效提高了在线网课直播中专注度识别的实时性与准确性。
57.进一步地，所述根据所述实时的眼神信息对学生用户的学习专注度进行识别，判断学生用户的注意力是否集中，包括：
58.按图像帧识别所述眼神信息后得到各帧对应的学习专注度识别结果；
59.若预设时间段内各帧对应的学习专注度识别结果均为未集中注意力，则确定学生用户的注意力不集中。
60.其中，所述按图像帧识别所述眼神信息后得到各帧对应的学习专注度识别结果，包括：
61.逐帧识别所述眼神信息，判断各帧对应的所述眼神信息是否满足预设专注条件；
62.若满足则识别为已集中注意力，若不满足则识别为未集中注意力。
63.本实施例中，对学生用户的学习专注度进行识别时，对实时提取到的眼神信息进行帧图像识别，具体采用逐帧识别的方式，即依次识别每一帧人脸图像对应的眼神信息后得到对应的学习专注度识别结果，具体是判断每帧人脸图像中的眼神信息是否满足预设专
注条件，该预设专注条件为视线方向为显示屏方向和/或眼睛为睁开状态，也就是说，通过每帧图像对应的眼神信息判断当前时刻学生用户是否在观看显示屏分别和/或眼睛保持睁开，若是则表明学生用户此时在认真观看教师用户的上课视频，识别结果则已集中注意力，若不是则表明学生用户在走神看其他位置或者眼睛为闭合、眯眼等疲劳状态，此时均识别为未集中注意力，从而能根据眼神信息得到准确的每一时刻的专注度识别结果。
64.在另一实施例中，所述按图像帧识别所述眼神信息后得到各帧对应的学习专注度识别结果，包括：
65.跳帧识别所述眼神信息，判断各帧对应的所述眼神信息是否满足预设专注条件；
66.若满足则识别为已集中注意力，若不满足则识别为未集中注意力。
67.即本实施例中以跳帧的方式识别所述眼神信息，即不对每一帧对应的眼神信息进行识别以节约功耗，例如可每隔一帧对相应的眼神信息进行识别判断，当然，在其它实施例中还可采用其它的间隔帧数，本实施例对此不作限定。
68.优选地，为避免学生用户的偶然行为导致最终专注度识别错误，本实施例中进一步根据连续的预设时间段内的整体识别结果来对学生用户的注意力是否集中进行判断，当预设时间段内的识别结果均为未集中注意力，则确定学生用户的注意力不集中，即当学生用户在连续的预设时间段内的眼神信息均不满足预设专注条件，表明此时学生用户已经出现连续的低水平专注度状态，可能在走神看其他位置而非授课画面，或者因疲劳等出现连续时间的闭眼、眯眼等，此时判断为注意力不集中是更加可靠准确的，具体所述预设时间段的长短可根据实际需求灵活调整，例如一分钟等等，本实施例对此不作限定。避免某些时刻因学生自身或者图像采集的偶然性导致当前时刻被识别为未集中注意力，此时若直接输出注意力不集中的判断结果则会给教师用户输出误导的提醒信息，浪费授课时间影响上课效率，因此有效提高了网课学习专注度识别的可靠性与稳定性。
69.进一步地，所述若预设时间段内各帧对应的学习专注度识别结果均为未集中注意力，则确定学生用户的注意力不集中，具体包括：
70.当识别到未集中注意力的人脸图像时开始计时，当识别到已集中注意力的人脸图像则停止计时，若计时值达到预设时间段时则确定学生用户的注意力不集中。
71.本实施例中，在进行连续时间段内识别结果的确定时计时判断方式，在识别到某一帧人脸图像的眼神信息为未集中注意力时开始计时，后续若计时暂未到达预设时间段的值且识别到已集中注意力的人脸图像时则将计时值清零，直到重新识别到未集中注意力的人脸图像时则重新开始计时，当计时达到预设时间段的值时则确定为注意力不集中，通过计时的方式准确可靠的对学生持续的未集中注意力的状态进行确定，有效提高了网课学习专注度识别的可靠性。
72.或者，在另一实施例中，可先开始计时并统计每帧人脸图像对应的眼神信息的识别结果，当计时结束时(即计时时间等于预设时间段的值)对统计的识别结果进行判断，若均为未集中注意力则判断注意力不集中，同样也能实现对识别结果的综合判断，不同的计时方式可根据不同的设置指令进行选择，本实施例对此不作限定。
73.具体如图2所示，在一可选的应用实施例中，以第一种计时判断为例对在线教学学习专注度识别过程进行说明，从学生摄像头视频流中实时获取图像，将图像送至预先训练好的人脸眼神方向识别模型中获取当前图像中学生眼神方向信息，对眼神方向信息是否指
示屏幕方向进行判断，若发现学生眼神方向不是向前(网课设备屏幕方向)，则启动计时程序；若学生眼神方向是向前的，则重置计时程序继续返回采集图像；逐帧判断学生眼神方向信息，若连续多帧判断眼神方向不是向前，则计时程序累计时间；当时间累积到超过预置的计时阈值，则判断为该学生注意力不集中，此时将该提醒信息上报至老师端，老师用户可在老师端触发相应的提醒行为。
74.由以上方法实施例可知，本发明提供的在线教学学习专注度识别方法通过实时的眼神信息来准确且及时的判断学生用户是否保持课堂注意力集中，使得在上网课过程中教师能迅速发现学生注意力不集中的情况，有效提高了在线教学的效率与质量。
75.需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
76.对应于上述的在线教学学习专注度识别方法，本发明另一实施例提供一种在线教学学习专注度识别装置，如图4所示，装置1包括：
77.采集模块11，用于接收预设摄像头实时采集的学生用户的人脸图像；
78.信息提取模块12，用于将所述人脸图像输入至预设的眼神识别模型中得到实时的眼神信息，所述眼神信息包括方向信息和/或睁合度信息；
79.判断模块13，用于根据所述实时的眼神信息对学生用户的学习专注度进行识别，确定学生用户的注意力是否集中；
80.提醒模块14，用于若所述学生用户的注意力不集中，则向教师终端发送提醒信息，所述提醒信息用于指示所述学生用户的注意力不集中。
81.所述采集模块11、信息提取模块12、判断模块13和提醒模块13依次连接，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述在线教学学习专注度识别装置的执行过程，各模块的具体实施方式请参考上述对应的方法实施例，此处不再赘述。
82.进一步地，所述在线教学学习专注度识别装置还包括：
83.构建模块，用于构建深度学习网络模型；
84.训练模块，用于根据预先采集的眼神训练样本对所述深度学习网络模型进行训练，使所述深度学习网络模型达到预设收敛条件后生成所述眼神识别模型。
85.进一步地，所述判断模块13包括：
86.识别单元，用于逐帧识别所述眼神信息后得到各帧对应的学习专注度识别结果；
87.判断单元，用于若预设时间段内各帧对应的学习专注度识别结果均为未集中注意力，则确定学生用户的注意力不集中。
88.进一步地，所述识别单元包括：
89.判断子单元，用于逐帧识别所述眼神信息，判断各帧对应的所述眼神信息是否满足预设专注条件；
90.识别子单元，用于若满足则识别为已集中注意力，若不满足则识别为未集中注意力。
91.进一步地，所述判断单元具体用于：
92.当识别到未集中注意力的人脸图像时开始计时，当识别到已集中注意力的人脸图
像则停止计时，若计时值达到预设时间段时则确定学生用户的注意力不集中。
93.本发明另一实施例提供一种在线教学学习专注度识别系统，所述在线教学学习专注度识别系统可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备，如图4所示，系统10包括：
94.一个或多个处理器110以及存储器120，图4中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图4中以通过总线连接为例。
95.处理器110用于完成系统10的各种控制逻辑，其可以为通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、单片机、arm(acorn risc machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其它这种配置。
96.存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的在线教学学习专注度识别方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行系统10的各种功能应用以及数据处理，即实现上述方法实施例中的在线教学学习专注度识别方法。
97.存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
98.一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的在线教学学习专注度识别方法，例如，执行以上描述的图1中的方法步骤s100至步骤s400。
99.本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤s100至步骤s400。
100.作为示例，非易失性存储介质能够包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦rom(eeprom)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(ram)。通过说明丽非限制，ram可以以诸如同步ram(sram)、动态ram、(dram)、同步dram(sdram)、双数据速率sdram(ddrsdram)、增强型sdram(esdram)、synclink dram(sldram)以及直接rambus(兰巴斯)ram(drram)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
101.综上所述，本发明公开的一种在线教学学习专注度识别方法、装置、系统及介质中，方法通过接收预设摄像头实时采集的学生用户的人脸图像；将所述人脸图像输入至预设的眼神识别模型中得到实时的眼神信息，所述眼神信息包括方向信息和/或睁合度信息；
根据所述实时的眼神信息对学生用户的学习专注度进行识别，确定学生用户的注意力是否集中；若所述学生用户的注意力不集中，则向教师终端发送提醒信息，所述提醒信息用于指示所述学生用户的注意力不集中。本发明实施例通过实时的眼神信息来准确且及时的判断学生用户是否保持课堂注意力集中，使得在上网课过程中教师能迅速发现学生注意力不集中的情况，有效提高了在线教学的效率与质量。
102.以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。
103.通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机电子设备(可以是个人计算机，服务器，或者网络电子设备等)执行各个实施例或者实施例的某些部分的方法。
104.除了其他之外，诸如"能够"、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。
105.已经在本文中在本说明书和附图中描述的内容包括能够提供一种在线教学学习专注度识别方法、装置、系统及介质的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。