一种基于人脸识别的在线教育学习过程监控系统及方法与流程

1.本发明涉及客户端在线教育学习技术领域，特别是涉及一种基于人脸识别的在线教育学习过程监控系统及方法。


背景技术：

2.随着计算机设备的普及和网络技术的发展，在线教育学习设备逐渐进入了学校课堂及人们的日常工作学习之中，往往通过各种智能终端设备进行远程连接，从而实现远程的在线教育学习；远程的在线教育学习更加方便人们的工作及学习。
3.但是，在线教育学习远程的过程大多数由位于在线教育学习设备端的人们自发进行，而且，通过各种智能终端设备对在线内容进行展示以供人们学习，该过程缺乏相对应的约束，尤其是缺乏对人们在线教育学习过程监控，针对在线学习的目标对象，无法准确的识别并全程监督。


技术实现要素：

4.本发明的目的在于提供一种基于人脸识别的在线教育学习过程监控系统及方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种基于人脸识别的在线教育学习过程监控系统，所述系统包括：
7.学习终端，用于展示在线教育学习内容并实时获取终端设备监控区域影像和音频信号，基于所述监控区域影像和音频信号进入在线学习监控模式，并向教学监控中心发送所述监控区域影像和音频信号；
8.教学监控中心，用于向学习终端发送在线教育学习内容以及监控获取请求，接收学习终端发送的所述监控区域影像和音频信号，基于所述监控区域影像生成区域帧图像，并向所述区域帧图像插入待识别标签，基于人脸识别技术确定带有待识别标签的区域帧图像中的人脸区域并进行人脸识别，获得目标对象的身份信息并进行在线教育学习过程监控。
9.作为本发明的进一步方案，所述学习终端还用于接收教学监控中心的监控获取请求，基于所述监控获取请求启用监控设备实时获取终端设备监控区域影像，还用于基于所述监控获取请求启用麦克风设备实时获取终端设备音频信号。
10.作为本发明的进一步方案，所述教学监控中心与至少一个所述学习终端通过网络连通，用于基于所述学习终端的id进行分别识别并将接收的学习终端发送的监控区域影像和音频信号分类存储于所述教学监控中心的存储器。
11.作为本发明的进一步方案，所述学习终端基于所述监控区域影像和音频信号进入在线学习监控模式时，所述教学监控中心对接收的所述监控区域影像进行分帧处理，基于相邻的区域帧图像确定人体模型的动态轮廓，并对动态轮廓进行区域识别，确定人体轮廓区域信息。
12.作为本发明的进一步方案，所述教学监控中心还用于基于所述人体轮廓区域信息确定人体图像在对应区域帧图像中的位置信息并标记，基于人脸识别技术对区域帧图像中标记的位置信息区域识别，确定带有待识别标签的区域帧图像中的人脸区域并进行人脸识别，获得目标对象的身份信息并进行在线教育学习过程监控。
13.作为本发明的进一步方案，所述教学监控中心包括比较单元，所述比较单元用于将人脸识别的目标对象的身份信息与所述教学监控中心的存储器预存储的身份信息识别进行比对，在所述学习终端、目标对象以及预存储的身份信息识别一致的情况下，继续执行所述学习终端的在线学习监控模式，否则暂停或退出所述学习终端的在线学习监控模式。
14.作为本发明的进一步方案，所述教学监控中心还包括预警单元，所述预警单元用于根据所述比较单元的比对结果进行预警，在所述学习终端、目标对象以及预存储的身份信息识别一致的情况下，继续执行所述学习终端的在线学习监控模式，否则暂停或退出所述学习终端的在线学习监控模式，并通过所述学习终端发出警示。
15.作为本发明的进一步方案，所述学习终端还包括音频识别模块，所述音频识别模块用于识别所述音频信号的音频幅度均值以及确定幅度变化率，基于所述幅度变化率对所述音频信号进行音频识别，基于识别结果判断是否为人声信号。
16.本发明技术方案还提供了一种基于人脸识别的在线教育学习过程监控方法，所述方法应用于学习终端，所述方法包括：
17.接收教学监控中心发送的监控获取请求，启用监控设备实时获取终端设备监控区域影像，并将所述监控区域影像和音频信号发送至所述教学监控中心；
18.基于所述教学监控中心的人脸识别结果确定目标对象的身份信息，触发所述学习终端进入在线学习监控模式；
19.接收所述教学监控中心发送的在线教育学习内容，并在所述学习终端上进行展示在，通过所述学习终端与所述教学监控中心连通进行在线教育学习过程监控。
20.本发明技术方案还提供了一种基于人脸识别的在线教育学习过程监控方法，所述方法应用于教学监控中心，所述方法包括：
21.接收所述学习终端发送在线教育学习请求，经所述教学监控中心处理后，向所述学习终端发送监控获取请求，所述学习终端响应所述监控获取请求后实时获取终端设备监控区域影像，并上传至所述教学监控中心；
22.所述教学监控中心接收学习终端发送的所述监控区域影像和音频信号，基于所述监控区域影像生成区域帧图像，并向所述区域帧图像插入待识别标签；
23.所述教学监控中心基于人脸识别技术确定带有待识别标签的区域帧图像中的人脸区域并进行人脸识别，获得目标对象的身份信息；
24.所述目标对象的身份信息的核对一致后，向并所述学习终端发送在线教育学习内容，并进行在线教育学习过程监控。
25.与现有技术相比，本发明的有益效果是：
26.本发明通过学习终端展示在线教育学习内容并实时获取终端设备监控区域影像和音频信号，基于所述监控区域影像和音频信号进入在线学习监控模式，并向教学监控中心发送所述监控区域影像和音频信号；通过教学监控中心向学习终端发送在线教育学习内容以及监控获取请求，接收学习终端发送的所述监控区域影像和音频信号，基于所述监控
区域影像生成区域帧图像，并向所述区域帧图像插入待识别标签，基于人脸识别技术确定带有待识别标签的区域帧图像中的人脸区域并进行人脸识别，获得目标对象的身份信息并进行在线教育学习过程监控。
27.本发明通过学习终端有选择的采集影像和音频信息，通过教学监控中心筛选出人脸区域，再根据人脸识别确定目标对象的身份信息，身份验证通过后，所述学习终端进入在线学习监控模式，能够实现在线教育学习过程的监控，资源利用率高，识别能力强，且便于远程在线学习的全程监控及管理。
28.本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
29.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例。在附图中：
30.图1为本发明基于人脸识别的在线教育学习过程监控系统的架构图；
31.图2为本发明基于人脸识别的在线教育学习过程监控系统的系统框图；
32.图3示意性示出本发明示例性实施例中一种基于人脸识别的在线教育学习过程监控方法应用于学习终端的流程图；
33.图4示意性示出本发明示例性实施例中一种基于人脸识别的在线教育学习过程监控方法应用于教学监控中心的流程图。
34.本技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
35.下面，结合附图以及具体实施方式，对本技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
36.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
37.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
38.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
39.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
40.实施例1
41.图1示出了基于人脸识别的在线教育学习过程监控系统的架构图，本发明实施例中，一种基于人脸识别的在线教育学习过程监控系统，所述系统包括学习终端100和教学监
控中心200：
42.学习终端100，用于展示在线教育学习内容并实时获取终端设备监控区域影像和音频信号，基于所述监控区域影像和音频信号进入在线学习监控模式，并向教学监控中心200发送所述监控区域影像和音频信号；
43.教学监控中心200，用于向学习终端100发送在线教育学习内容以及监控获取请求，接收学习终端100发送的所述监控区域影像和音频信号，基于所述监控区域影像生成区域帧图像，并向所述区域帧图像插入待识别标签，基于人脸识别技术确定带有待识别标签的区域帧图像中的人脸区域并进行人脸识别，获得目标对象的身份信息并进行在线教育学习过程监控。
44.在本发明实施例的一种基于人脸识别的在线教育学习过程监控系统中，所述学习终端100将实时获取终端设备监控区域影像和音频信号发送至教学监控中心200后，教学监控中心200处理时，基于所述监控区域影像生成区域帧图像，并向所述区域帧图像插入待识别标签；接收教学监控中心200的监控获取请求，基于所述待识别标签定位区域帧图像，将所述区域帧图像向教学监控中心200发送。
45.在教学监控中心200内，在接收学习终端100发送的带有待识别标签的区域帧图像后，还可以基于区域帧图像确定动态轮廓，并对动态轮廓进行区域识别，确定区域信息；读取区域信息中的人脸区域；识别人脸区域中的目标对象的身份信息，以便对目标对象的在线学习过程监控。
46.具体的，本发明技术方案可以包括学习终端100、教学监控中心200以及网络。其中，所述教学监控中心200与至少一个所述学习终端100通过网络连通，用于基于所述学习终端100的id进行分别识别并将接收的学习终端100发送的监控区域影像和音频信号分类存储于所述教学监控中心200的存储器。
47.在本技术实施例中，所述学习终端100与教学监控中心200之间连接的网络可以是用以在学习终端100和教学监控中心200之间提供通信链路的介质。网络可以包括各种连接类型，但本发明以无线通信链路为主。
48.在本技术的实施例中，学习终端100为至少是具有通信、图像获取功能的计算机设备。学习终端100可以是具备通信功能的pc、便携计算机、移动终端等具有显示和处理功能的设备，当然也不限于此。
49.其次，学习终端100还具备音频获取功能以及图像获取功能。在本技术的实施例中，所述学习终端100还用于接收教学监控中心200的监控获取请求，基于所述监控获取请求启用监控设备101实时获取终端设备监控区域影像，还用于基于所述监控获取请求启用麦克风设备实时获取终端设备音频信号。
50.在一些实施例中，所述监控设备101可以为摄像头或与学习终端100连接的摄像机，最常见的电子设备是摄像头。在拍摄时，所述监控设备101具备至少一种模式的图像获取功能，其中，可以为彩色模式的图像获取功能，也可以为黑白模式的图像获取功能。
51.在本技术的实施例中，所述教学监控中心200与至少一个所述学习终端100通过网络连通，用于基于所述学习终端100的id进行分别识别并将接收的学习终端100发送的监控区域影像和音频信号分类存储于所述教学监控中心200的存储器。
52.其中，所述教学监控中心200可以是硬件，也可以是软件。当教学监控中心200为硬
件时，可以实现成多个服务设备组成的分布式服务设备群，也可以实现成单个服务设备。当服务设备为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
53.应该理解，图1中的学习终端100和教学监控中心200的数目仅仅是示意性的。根据实现需要，可以具有任意数目的学习终端100和教学监控中心200。
54.学习终端100的目的是获取监控视频并展示在线教育学习内容。在本技术的实施例中，所述学习终端100基于所述监控区域影像和音频信号进入在线学习监控模式时，所述教学监控中心200对接收的所述监控区域影像进行分帧处理，基于相邻的区域帧图像确定人体模型的动态轮廓，并对动态轮廓进行区域识别，确定人体轮廓区域信息。
55.其中，学习终端100获取的监控视频，学习终端100的是基于所述监控设备101调整图像清晰度与监控模式，清晰度会调整，监控模式也会调整。所述监控设备101的监控模式也会根据目标人物的出现自动调焦及进行对焦调整，在人像信息获取过程中，能够保持较高的清晰度。
56.在本技术的实施例中，所述教学监控中心200还用于基于所述人体轮廓区域信息确定人体图像在对应区域帧图像中的位置信息并标记，基于人脸识别技术对区域帧图像中标记的位置信息区域识别，确定带有待识别标签的区域帧图像中的人脸区域并进行人脸识别，获得目标对象的身份信息并进行在线教育学习过程监控。
57.在获取区域帧图像时，学习终端100也具备缓存的存储功能，为了便于对区域帧图像识别，教学监控中心200会在所述区域帧图像中插入一个标签，就是上述待识别标签。
58.教学监控中心200一方面与用户进行交互，一方面与学习终端100进行数据传输，在工作过程中，基于待识别标签的存在，教学监控中心200会向学习终端100发送监控获取请求，获取的图像是更有意义的区域帧图像。
59.在获取到区域帧图像后，教学监控中心200会基于区域帧图像确定轮廓，并对轮廓进行区域识别，确定区域信息；轮廓与动态图像(区域帧图像)的区别是：轮廓是动态图像中的一小片区域；所述轮廓便是人体信息，然后，要想进行人脸识别，还需要定位人脸，当定位到人脸时，再进行人脸识别流程，定位人脸。
60.参见图1和图2所示，在本技术的实施例中，所述教学监控中心200包括比较单元201，所述比较单元201用于将人脸识别的目标对象的身份信息与所述教学监控中心200的存储器预存储的身份信息识别进行比对，在所述学习终端100、目标对象以及预存储的身份信息识别一致的情况下，继续执行所述学习终端100的在线学习监控模式，否则暂停或退出所述学习终端100的在线学习监控模式。
61.在本技术的实施例中，所述教学监控中心200还包括预警单元202，所述预警单元用于根据所述比较单元201的比对结果进行预警，在所述学习终端100、目标对象以及预存储的身份信息识别一致的情况下，继续执行所述学习终端100的在线学习监控模式，否则暂停或退出所述学习终端100的在线学习监控模式，并通过所述学习终端100发出警示。
62.在本技术的实施例中，所述学习终端100还包括音频识别模块102，所述音频识别模块102用于识别所述音频信号的音频幅度均值以及确定幅度变化率，基于所述幅度变化率对所述音频信号进行音频识别，基于识别结果判断是否为人声信号。
63.上述的从音频信号中识别人声信号是基于所述幅度均值确定幅度变化率，基于所
述幅度变化率对所述音频信号进行音频识别，基于识别结果判断是否为人声信号。
64.实施例2
65.图3示出了基于人脸识别的在线教育学习过程监控方法中第一流程框图，本发明实施例中，提供了一种基于人脸识别的在线教育学习过程监控方法，所述方法应用于学习终端100，所述方法包括步骤s10-步骤s30：
66.步骤s10、接收教学监控中心200发送的监控获取请求，启用监控设备101实时获取终端设备监控区域影像，并将所述监控区域影像和音频信号发送至所述教学监控中心200；
67.步骤s20、基于所述教学监控中心200的人脸识别结果确定目标对象的身份信息，触发所述学习终端100进入在线学习监控模式；
68.步骤s30、接收所述教学监控中心200发送的在线教育学习内容，并在所述学习终端100上进行展示在，通过所述学习终端100与所述教学监控中心200连通进行在线教育学习过程监控。
69.在本发明的实施例中，在通过学习终端100执行基于人脸识别的在线教育学习过程监控方法时，学习终端100用于展示在线教育学习内容并实时获取终端设备监控区域影像和音频信号，基于所述监控区域影像和音频信号进入在线学习监控模式，并向教学监控中心200发送所述监控区域影像和音频信号。
70.实施例3
71.图4示出了基于人脸识别的在线教育学习过程监控方法中第二流程框图，本发明实施例中，提供了一种基于人脸识别的在线教育学习过程监控方法，所述方法应用于教学监控中心200，所述方法包括步骤s11-步骤s14：
72.步骤s11、接收所述学习终端100发送在线教育学习请求，经所述教学监控中心200处理后，向所述学习终端100发送监控获取请求，所述学习终端100响应所述监控获取请求后实时获取终端设备监控区域影像，并上传至所述教学监控中心200；
73.步骤s12、所述教学监控中心200接收学习终端100发送的所述监控区域影像和音频信号，基于所述监控区域影像生成区域帧图像，并向所述区域帧图像插入待识别标签；
74.步骤s13、所述教学监控中心200基于人脸识别技术确定带有待识别标签的区域帧图像中的人脸区域并进行人脸识别，获得目标对象的身份信息；
75.步骤s14、所述目标对象的身份信息的核对一致后，向并所述学习终端100发送在线教育学习内容，并进行在线教育学习过程监控。
76.上述基于人脸识别的在线教育学习过程监控系统所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述基于人脸识别的在线教育学习过程监控系统的功能。
77.处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(read-only memory，rom)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
78.示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储
在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
79.本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
80.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
81.上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
82.终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
83.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
84.本发明通过学习终端100展示在线教育学习内容并实时获取终端设备监控区域影像和音频信号，基于所述监控区域影像和音频信号进入在线学习监控模式，并向教学监控中心200发送所述监控区域影像和音频信号；通过教学监控中心200向学习终端100发送在线教育学习内容以及监控获取请求，接收学习终端100发送的所述监控区域影像和音频信
号，基于所述监控区域影像生成区域帧图像，并向所述区域帧图像插入待识别标签，基于人脸识别技术确定带有待识别标签的区域帧图像中的人脸区域并进行人脸识别，获得目标对象的身份信息并进行在线教育学习过程监控。
85.本发明通过学习终端100有选择的采集影像和音频信息，通过教学监控中心200筛选出人脸区域，再根据人脸识别确定目标对象的身份信息，身份验证通过后，所述学习终端100进入在线学习监控模式，能够实现在线教育学习过程的监控，资源利用率高，识别能力强，且便于远程在线学习的全程监控及管理。
86.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。