一种在线自习室学习状态监测系统及其方法

1.本发明涉及直播视频图像处理分析技术领域，尤其是涉及一种在线自习室学习状态监测系统及其方法。


背景技术：

2.随着当下互联网信息化浪潮的迅速发展，计算机技术也在跟着不断更新迭代。同时，伴随着网络教育的出现，网络在线自习室也应运而生，又称“云自习室”、“云上自习室”或“云端自习室”，是一种用互联网技术打造的在线自习室。在线自习室打破了时间、空间的束缚，比线下自习室更便捷，形式更多样，目前，在线自习室主要有三种类型：语音自习室、视频自习室、虚拟自习室。
3.基于在线自习室，用户可以不限时间、不限空间地进行面对面的交流学习，然而，传统的在线虚拟自习室大多仅具有简单的面对面学习和普通的社区讨论功能，而无法保证用户的学习使用效果，导致用户的学习效率降低。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种在线自习室学习状态监测系统及其方法，通过对用户的姿态信息进行识别，以得到用户的学习状态信息，从而帮助用户调整提高自身的学习效率。
5.本发明的目的可以通过以下技术方案来实现：一种在线自习室学习状态监测系统，包括用户端和服务端，所述用户端和服务端分别设置有通信传输模块，所述服务端设置有视频识别模块和编解码模块，所述通信传输模块用于实现用户端与服务端之间的数据信息传输，所述视频识别模块用于对视频数据进行处理，并从视频数据中分析得到用户的学习状态信息，所述编解码模块用于对处理后的视频数据进行编解码，以得到可观看的视频流。
6.进一步地，所述用户端安装有用于采集用户视频数据的拍摄装置，所述拍摄装置与用户端的通信传输模块相连接。
7.进一步地，所述视频识别模块与服务端的通信传输模块双向连接，所述视频识别模块单向连接至编解码模块。
8.进一步地，所述服务端的通信传输模块分别与多个用户端的通信传输模块相连接，以实现服务端与多个用户端之间的数据信息传输。
9.进一步地，所述视频识别模块包括截取单元和识别单元，所述截取单元用于从视频数据中按帧截取出图像，并将每帧图像输入到识别单元；
10.所述识别单元用于从帧图像中检测识别出用户的学习状态信息，并传输给服务端的通信传输模块。
11.一种在线自习室学习状态监测方法，包括以下步骤：
12.s1、用户端将实时采集的用户视频数据通过通信传输模块传输至服务端；
13.s2、视频识别模块对服务端接收的视频数据进行处理分析，得到对应的用户学习状态信息，并通过通信传输模块传输至用户端；
14.s3、编解码模块对视频识别模块处理后的视频数据进行编码-解码操作，得到对应的可观看视频流数据，并通过通信传输模块传输至用户端。
15.进一步地，所述步骤s2具体包括以下步骤：
16.s21、视频识别模块对服务端接收的视频数据进行按帧截取；
17.s22、将截取得到的每帧图像按顺序输入至预先训练好的识别网络，以识别得到用户的人体信息和关键点信息；
18.s23、基于用户的人体信息和关键点信息，通过信息整合计算，得到对应的学习状态信息。
19.进一步地，所述识别网络包括yolov5网络和stacked hourglass网络，所述yolov5网络用于识别用户的人体信息，所述stacked hourglass网络用于识别关键点信息。
20.进一步地，所述学习状态信息包括三类状态：正在学习中、疑似学习中和未在学习。
21.进一步地，所述步骤s3中编解码模块具体是采用h264技术对按帧截取的帧图像进行编解码操作，该编解码模块支持h.264的扩展sei消息发送机制；支持h.265解码，直播播放器支持的功能；支持rtmp扩展aes/sm4加解密，确保音视频数据安全性。
22.与现有技术相比，本发明通过在用户端和服务端分别设置通信传输模块，并在服务端设置视频识别模块和编解码模块，利用通信传输模块实现用户端与服务端之间的数据信息传输，利用视频识别模块从视频数据中分析得到用户的学习状态信息，利用编解码模块对视频数据进行编解码，以得到可观看的视频流，由此使得用户端能够实时获知当前用户自身的学习状态信息，同时可观看所有在线用户端的视频信息，进而帮助用户提高自身学习效率、避免出现长时间不在学习状态的现象。
23.本发明在视频识别模块采用识别网络模型，以从视频数据中识别出用户的学习状态信息，该识别网络模型包括yolov5网络和stacked hourglass网络，其中，yolov5模型能够有效地识别人体的位置信息，stacked hourglass网络则能高效快速地检测人体的关键点，由此保证了用户学习状态信息识别的准确性以及速度，从而使得用户端能够及时可靠地获知自身当前学习状态，进而及时进行相应调整。
附图说明
24.图1为本发明的系统结构示意图；
25.图2为本发明的方法流程示意图；
26.图3为实施例的应用过程示意图；
27.图中标记说明：1、用户端，2、服务端，3、通信传输模块，201、视频识别模块，202、编解码模块。
具体实施方式
28.下面结合附图和具体实施例对本发明进行详细说明。
29.实施例
30.如图1所示，一种在线自习室学习状态监测系统，包括用户端1和服务端2，用户端1和服务端2分别设置有通信传输模块3，服务端2设置有视频识别模块201和编解码模块202，通信传输模块3用于实现用户端1与服务端2之间的数据信息传输，视频识别模块201用于对视频数据进行处理，并从视频数据中分析得到用户的学习状态信息，编解码模块202用于对处理后的视频数据进行编解码，以得到可观看的视频流。
31.其中，用户端1还安装有用于采集用户视频数据的拍摄装置，拍摄装置与用户端1的通信传输模块3相连接。
32.视频识别模块201与服务端2的通信传输模块3双向连接，视频识别模块201单向连接至编解码模块202。
33.服务端2的通信传输模块3分别与多个用户端1的通信传输模块3相连接，以实现服务端2与多个用户端1之间的数据信息传输。
34.此外，视频识别模块201包括截取单元和识别单元，截取单元用于从视频数据中按帧截取出图像，并将每帧图像输入到识别单元；
35.识别单元202则用于从帧图像中检测识别出用户的学习状态信息，并传输给服务端2的通信传输模块3。
36.将上述系统应用于实际，以实现一种在线自习室学习状态监测方法，如图2所示，包括以下步骤：
37.s1、用户端将实时采集的用户视频数据通过通信传输模块传输至服务端；
38.s2、视频识别模块对服务端接收的视频数据进行处理分析，得到对应的用户学习状态信息，并通过通信传输模块传输至用户端，具体的：
39.视频识别模块首先对服务端接收的视频数据进行按帧截取；
40.之后将截取得到的每帧图像按顺序输入至预先训练好的识别网络，以识别得到用户的人体信息和关键点信息，其中，识别网络包括yolov5网络和stacked hourglass网络，yolov5网络用于识别用户的人体信息，stacked hourglass网络用于识别关键点信息；
41.再基于用户的人体信息和关键点信息，通过信息整合计算，得到对应的学习状态信息，本实施例中，将学习状态信息分为三类：正在学习中、疑似学习中和未在学习；
42.s3、编解码模块对视频识别模块处理后的视频数据进行编码-解码操作，得到对应的可观看视频流数据，并通过通信传输模块传输至用户端。本实施例中，编解码模块具体是采用h264技术对按帧截取的帧图像进行编解码操作，并支持h.264的扩展sei消息发送机制；支持h.265解码，直播播放器支持的功能；支持rtmp扩展aes/sm4加解密，确保音视频数据安全性。
43.本实施例应用上述技术方案，采用java作为编程语言，使用sping作为开发框架，在模型上，选择yolov5模型和stacked hourglass网络，具体应用过程如图3所示：
44.一、配置spring cloud环境，设置intellij idea、java、mysql、tomcat等系统参数。
45.二、通过是用户的设备采集视频数据；
46.三、对采集到的视频数据处理，以识别出用户的学习状态信息；
47.四、将处理后的视频数据重新编解码成可传输可观看的视频流；
48.五、将视频流分发推流，即将视频流通过网络传输到各用户的设备上。
49.在进行数据信息的传输时，包括视频数据从用户端传输到服务端、再分发到自习室各用户端的这个过程；视频识别则主要是对视频中的人体信息的检测与跟踪，检测到用户的人体特征和关键点，再利用人体姿态算法分析得到用户的当前学习状态。
50.本技术方案中，人体检测与跟踪，采用的是yolov5模型，可以有效地识别人体的位置信息，人体关键点检测采用的是stacked hourglass网络，该网络能高效快速地检测人体的关键点，并加以算法进行分析，最终得到用户当前的学习状态。
51.在视频传输方面，首先是主播方(每个进入在线自习室的用户都是主播方)，它是产生视频流的源头，由一系列流程组成：第一，通过是用户的设备采集视频流数据；第二，对采集到的视频流数据处理；第三，将处理后的视频流重新编解码成可传输可观看的视频流；第四，将处理后的视频流分发推流，即将视频流通过网络传输到各学习者的设备上。
52.对视频流进行处理时，首先获取到视频流，将获取到的视频流按帧进行截取，将每帧图像输入到提前训练好的yolov5网络和stacked hourglass网络中，这两个网络能够识别到用户的人体信息和关键点信息，并经过算法的二者信息的整合，输出该学习者的学习状态，目前状态有三个等级，分别是：正在学习中；疑似正在学习中；未在学习。
53.对视频流进行编解码时，视频的编解码采用h264技术，基于udp进行传输，将采集到的视频分别进行编码-解码操作，同时支持h.264的扩展sei消息发送机制；支持h.265解码，直播播放器支持的功能；支持rtmp扩展aes/sm4加解密，确保音视频数据安全性。