一种智能监督学生学习的监控方法、系统、存储介质与流程

1.本发明属于学习智能辅助设备技术领域，尤其涉及一种智能监督学生学习的监控系统、方法、计算机可读存储介质。


背景技术：

2.目前，在家庭中，经常出现家长工作忙碌或疏于陪伴，使学生在缺乏监督的环境下学习的情况。如果学生自制力不够，在学习时可能会发生吃东西，趴着睡觉，玩手机等影响学习效率的事情。同时，保持端正的学习姿态也是学生忽视、家长头疼的难题。学生在学习时经常会驼背，跷二郎腿，这些不健康的姿势会影响身体健康。能不能有这样一款产品，它能够协助家长监督孩子学习，也能矫正学习坐姿，而进一步帮助学生养成良好的学习习惯。
3.市场上主流的学习辅助产品面向的对象主要是具有自主学习能力的高中生或者大学生，而对于那些年龄比较小，需要依靠良好的监督等外部因素来养成学习习惯的初中生、小学生，目前市面上还没有出现专门监督学生学习的系统，家长往往通过在家里安装智能监控来监督学生学习。但是智能监控却存在很大的缺陷：首先，智能监控不能实时的检测学生姿态，矫正学生姿态需要家长查看实时监控并通过智能监控语音喊话提醒；其次，智能监控不能统计生成学生当日的学习数据以供学生和家长查看；另外，智能监控还存在网络环境的要求较高、隐私泄露风险问题。
4.除此之外，智能监控对孩子的隐私也是一种伤害，有不少学生表示，安装家庭监控后感觉自己“时刻被盯着”，造成极大的心理负担，这更加造成了学生对学习的恐惧心理，进一步降低孩子的学习积极性。考虑到这方面。
5.通过上述分析，现有技术存在的问题及缺陷为：
6.(1)现有的监控设备不能实时的了解监控对象当前的姿态。而且不能准确给学生进行学习进程的提醒。
7.(2)现有技术监控设备不能保护学生的隐私，容易泄露，不安全。
8.(3)现有技术的监控设备对于学生的学习状况信息不能给与指导性建议。
9.(4)现有技术的监控设备对于学生的学习过程数据处理中，获取的信息准确率低。
10.解决以上问题及缺陷的难度为：由于视频监控本身的性质，隐私问题与视频监控的矛盾本就是不可调和的，若想中和这个矛盾，可以通过实时处理图像，并将计算结果代替实时画面传送到另一端。由于对图像的处理通常较为复杂且时间较慢，因此实时画面的处理无论是对网络还是硬件的要求都是很高的，目前技术难以实现。另外，现有监控都是基于rgb图像的，相对于rgb图像与深度图像结合，只利用rgb图像进行对人体姿态进行判断的准确度会受到影响。
11.解决以上问题及缺陷的意义为：解决实时计算的问题能保证准确记录学生的学习状况信息并在学生学习时及时提出建议，利用深度图像与rgb图像结合能提高学生姿态识别的精度。
12.本发明摒弃了实时的画面监控，而是选择在家长一端实时的姿态显示，这减轻了
孩子的心理负担的同时，也能帮助家长了解孩子的状态。


技术实现要素：

13.为克服相关技术中存在的问题，本发明公开实施例提供了一种智能监督学生学习的监控系统、方法、计算机可读存储介质。所述技术方案如下：一种智能监督学生学习的监控方法，包括：
14.步骤一，通过摄像头实时地采集rgb图像和深度图像，传输到树莓派上；
15.步骤二，树莓派通过神经网络提取出人体三维骨架化的多个关键节点；
16.步骤三，运用所述节点的三维坐标计算出人体各个躯干之间的角度，角度输入提前训练好的随机森林识别出当前学生姿态，并将识别出的姿态数据实时的传输到云服务器上；
17.步骤四，利用云服务器更新维护上述数据，微信小程序的学生端和家长端分别通过发送http请求来从服务器上获取学生当前的姿态信息，并反馈到手机上的微信小程序上。
18.在本发明一实施例中，所述步骤三运用所述节点的三维坐标计算出人体各个躯干之间的角度包括：前驱角，前驱角计算公式包括：
[0019][0020]
p
nose
‑‑‑
鼻子的三维坐标；
[0021]
p
neck
‑‑‑
脖子的三维坐标；
[0022]
p
mid,hip
‑‑‑
中臀的三维坐标。
[0023]
在本发明一实施例中，所述步骤三运用所述节点的三维坐标计算出人体各个躯干之间的角度包括：左右臀部角，计算公式：
[0024][0025]
p
neck
‑‑‑
脖子的三维坐标；
[0026]
p
hip
‑‑‑
左右臀部的三维坐标；
[0027]
p
knee
‑‑‑
左右膝盖的三维坐标。
[0028]
在本发明一实施例中，所述步骤三运用所述节点的三维坐标计算出人体各个躯干之间的角度包括：左右肩部角，计算公式：
[0029][0030]
p
neck
‑‑‑
脖子的三维坐标；
[0031]
p
shoulder
‑‑‑
左右肩部的三维坐标；
[0032]
p
elbow
‑‑‑
左右手肘的三维坐标。
[0033]
在本发明一实施例中，所述步骤三运用所述节点的三维坐标计算出人体各个躯干之间的角度包括：双腿角，计算公式：
[0034]
[0035]
p
left,knee
‑‑‑
左膝盖的三维坐标；
[0036]
p
mid,hip
‑‑‑
中臀的三维坐标；
[0037]
p
rigt,knee
‑‑‑
右膝盖的三维坐标。
[0038]
在本发明一实施例中，所述步骤三运用所述节点的三维坐标计算出人体各个躯干之间的角度包括：左右肘部角，计算公式：
[0039][0040]
p
hand
‑‑‑
左右手的三维坐标；
[0041]
p
elbow
‑‑‑
左右肘部的三维坐标；
[0042]
p
shoulder
‑‑‑
左右肩部的三维坐标。
[0043]
在本发明一实施例中，所述步骤三运用所述节点的三维坐标计算出人体各个躯干之间的角度包括：左右膝盖角，计算公式：
[0044][0045]
p
knee
‑‑‑
左右膝盖的三维坐标；
[0046]
p
ankle
‑‑‑
左右脚踝的三维坐标；
[0047]
p
hip
‑‑
左右臀部的三维坐标。
[0048]
本发明另一目的在于提供一种智能监督学生学习的监控系统包括：
[0049]
学生端，用于设置学习倒计时和休息倒计时，学习倒计时过程中若站起来或者离开座位，提醒学生坐回座位继续学习，若学生学习过程中出现驼背，跷二郎腿学习姿态不端正的行为，语音提醒学生端正坐姿；当学习倒计时结束后，系统自动进入休息倒计时，并提醒学生休息，当休息倒计时结束后，系统语音提醒学生休息结束，需要继续学习；
[0050]
还用于选择查看不同日期的学习质量报告，学习质量报告包括学生每种姿态的总时长，和便于可视化的数据饼图；还用于查看系统自动生成的评语；
[0051]
家长端，用于实时的显示学生当前的姿态，姿态包括端坐学习，看手机，趴着，跷二郎腿，驼背，吃东西，实时的了解学生当前的姿态；还用于选择查看不同日期的学习质量报告，学习质量报告包括学生每种姿态的总时长，和便于可视化的数据饼图；还用于查看系统自动生成的评语。
[0052]
进一步，所述智能监督学生学习的监控系统进一步包括：
[0053]
摄像头，用于实时地采集rgb图像和深度图像，传输到树莓派上；
[0054]
树莓派，用于通过神经网络提取出人体三维骨架化的多个关键节点；运用所述节点的三维坐标计算出人体各个躯干之间的角度，角度输入提前训练好的随机森林识别出当前学生姿态，并将识别出的姿态数据实时的传输到云服务器上；
[0055]
云服务器，用于更新维护上述数据，微信小程序的学生端和家长端分别通过发送http请求来从服务器上获取学生当前的姿态信息，并反馈到手机上的微信小程序上。
[0056]
本发明另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述智能监督学生学习的监控方法。
[0057]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
[0058]
本发明主要通过微信小程序来进行操作和接收反馈。微信小程序分为学生端和家
长端。家长端特有的功能是可以实时的显示学生当前的姿态，姿态包括端坐学习，看手机，趴着，跷二郎腿，驼背，吃东西等，以便家长可以实时的了解学生当前的姿态。学生端特有的功能是学生可以设置学习倒计时和休息倒计时，学习倒计时过程中如果学生站起来或者离开座位，系统会提醒学生坐回座位继续学习，如果学生学习过程中出现驼背，跷二郎腿等学习姿态不端正的行为，系统语音提醒学生端正坐姿。当学习倒计时结束后，系统自动进入休息倒计时，并提醒学生休息，当休息倒计时结束后，系统语音提醒学生休息结束，需要继续学习。
[0059]
本发明的学生端和家长端均可以选择查看不同日期的学习质量报告，学习质量报告包括学生每种姿态的总时长，和便于可视化的数据饼图。还可以查看系统自动生成的评语，评语是根据学生当日学习状况和往日学习状况的对比来生成的，来使得系统更加的人性化。
[0060]
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
[0061]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0062]
图1是本发明实施例提供的智能监督学生学习的监控方法流程图。
[0063]
图2是本发明实施例提供的模拟人体18个节点的效果示意图。
[0064]
图3是本发明实施例提供的数据流向效果图。
[0065]
图4是本发明实施例提供的应用本发明的方法效果展示图。
[0066]
图5是本发明实施例提供的智能监督学生学习的监控系统示意图。
[0067]
图6是本发明实施例提供的智能监督学生学习的监控系统的各模块功能原理图。
[0068]
图中：a、学生端；b、家长端；c、摄像头；d、树莓派；e、云服务器。
具体实施方式
[0069]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
[0070]
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
[0071]
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0072]
如图1所示，本发明提供一种智能监督学生学习的监控方法，包括：
[0073]
s101，通过摄像头实时地采集rgb图像和深度图像，传输到树莓派上；
[0074]
s102，树莓派通过神经网络提取出人体三维骨架化的多个关键节点；
[0075]
s103，运用所述节点的三维坐标计算出人体各个躯干之间的角度，角度输入提前训练好的随机森林识别出当前学生姿态，并将识别出的姿态数据实时的传输到云服务器上；
[0076]
s104，利用云服务器更新维护上述数据，微信小程序的学生端和家长端分别通过发送http请求来从服务器上获取学生当前的姿态信息，并反馈到手机上的微信小程序上。
[0077]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0078]
实施例
[0079]
本发明实施例提供的智能监督学生学习的监控方法核心技术是人体姿态识别。通过intel realsense深度镜头(d415)采集到rgb图像和深度图像数据后，基于openvino训练好的模型去获取人体18个关键节点坐标以及这些坐标各自的深度值信息，如图2是人体18个节点的示意图。
[0080]
再通过计算得出这些节点之间的三维向量，通过向量夹角公式计算出人体的10个骨骼角度。这些角度分别是：前驱角，左右臀部角，左右肩部角，双腿角，左右肘部角，左右膝盖角。
[0081]
前驱角是人体脖颈和躯干之间的夹角，是人脖子和鼻子组成的向量和人脖子和中臀组成的向量之间构成的夹角。左右臀部角分别是人脖子与左臀、左臀与左膝盖组成的角，和脖子和右臀、右臀和右膝盖组成的角。左右肩部角分别是脖子与左肩、左肩与左肘组成的角，和脖子与右肩、右肩与右肘组成的角。双腿角是左膝盖与中臀和右膝盖与中臀组成的角。左右肘部角分别是左肩和左肘、左肘与左手组成的角，和左肩和右肘、右肘与右手组成的角。左右膝盖角分别是左臀与左膝盖、左膝盖与左脚组成的角，和右臀与右膝盖、右膝盖与右脚组成的角。它们的计算公式如公式1～6所示。
[0082]
前驱角，前驱角计算公式包括：
[0083][0084]
p
nose
‑‑‑
鼻子的三维坐标；
[0085]
p
neck
‑‑‑
脖子的三维坐标；
[0086]
p
mid,hip
‑‑‑
中臀的三维坐标。
[0087]
左右臀部角，计算公式：
[0088][0089]
p
neck
‑‑‑
脖子的三维坐标；
[0090]
p
hip
‑‑‑
左右臀部的三维坐标；
[0091]
p
knee
‑‑‑
左右膝盖的三维坐标。
[0092]
左右肩部角，计算公式：
[0093][0094]
p
neck
‑‑‑
脖子的三维坐标；
[0095]
p
shoulder
‑‑‑
左右肩部的三维坐标；
[0096]
p
elbow
‑‑‑
左右手肘的三维坐标。
[0097]
双腿角，计算公式：
[0098][0099]
p
left,knee
‑‑‑
左膝盖的三维坐标；
[0100]
p
mid,hip
‑‑‑
中臀的三维坐标；
[0101]
p
rigt,knee
‑‑‑
右膝盖的三维坐标。
[0102]
左右肘部角，计算公式：
[0103][0104]
p
hand
‑‑‑
左右手的三维坐标；
[0105]
p
elbow
‑‑‑
左右肘部的三维坐标；
[0106]
p
shoulder
‑‑‑
左右肩部的三维坐标。
[0107]
左右膝盖角，计算公式：
[0108][0109]
p
knee
‑‑‑
左右膝盖的三维坐标；
[0110]
p
ankle
‑‑‑
左右脚踝的三维坐标；
[0111]
p
hip
‑‑
左右臀部的三维坐标。
[0112]
通过得到的这10个角度，本发明就可以根据这十个角度的不同来区分人体当前的姿态，因为人体不同姿态的时候这些角度是会发生变化的，比如说坐着的时候人的膝盖角相对较小，站着的时候人的膝盖角相对较大，端坐学习时前倾角相对较大，驼背时前倾角相对较小。
[0113]
根据上述的公式计算出arccos值，再计算出骨骼之间的角度，之后存入一个csv文件中作为随机森林模型的训练集。因为本发明在训练模型的时候动作的数据都是连续的，所以采集完数据后，本发明可以手动的给数据贴上标签。如表1就是本发明贴上标签后的训练数据内容。其中前10列是对应的10个角度，最后一列贴的标签代表了不同的姿态，其中在表1中，1代表驼背，2代表跷二郎腿，3代表吃东西，4代表趴着，5代表端坐学习，6代表站着。之后这些数据就可以作为随机森林模型的训练数据集了。
[0114]
表1训练数据内容
[0115][0116]
数据流向如图3所示，通过摄像头实时地采集rgb图像和深度图像，传输到树莓派上，树莓派通过神经网络提取出人体三维骨架化的18个关键节点，运用这些节点的三维坐标计算出人体各个躯干之间的角度，角度输入提前训练好的随机森林识别出当前学生姿态，并将识别出的姿态数据实时的传输到华为云服务器上，利用华为云服务器来更新维护这些数据，最后微信小程序的学生端和家长端分别通过发送http请求来从服务器上获取学生当前的姿态信息，来反馈到手机上的微信小程序上。
[0117]
效果展示图如图4所示，在当前的应用场景下，深度镜头获取图像后经过树莓派的处理，生成了包含人体三维骨架的rgb图像，通过随机森林模型识别并输出人体当前姿态，在微信小程序的学生端和家长端进行数据和结果的反馈。
[0118]
在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。
[0119]
建造每棵树的算法如下：
[0120]
1.用n来表示训练样本的个数，m表示特征数目。
[0121]
2.输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于m。
[0122]
3.从n个训练样本中以有放回抽样的方式，取样n次，形成一个训练集，并用未抽到的样本作预测，评估其误差。
[0123]
4.对于每一个节点，随机选择m个特征，决策树上每个节点的决定都是基于这些特征确定的。根据这m个特征，计算其最佳的分裂方式。
[0124]
5.每棵树都会完整成长而不会剪枝。
[0125]
随机森林的构建过程为：
[0126]
1.随机选取数据：首先，从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。其次，利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。最后，如果有了新的数据需要通过随机森林得到分类结果，就可以通过对子决策树的判断结果的投票，得到随机森林的输出结果了。
[0127]
2.随机选取待选特征：与数据集的随机选取类似，随机森林中的子树的每一个分
裂过程并未用到所有的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的特征。这样能够使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能。
[0128]
#训练模型
[0129]
forest＝randomforestclassifier(n_nestimators＝25,max_features＝3,random_state＝3)
[0130]
设置随机森林的决策树数量为25，设置每次分裂时需要考虑的特征数目为3，在生成数据集时控制随机状态。
[0131]
如图5、图6所示，本发明提供的智能监督学生学习的监控系统，主要通过微信小程序来进行操作和接收反馈。微信小程序分为学生端1和家长端2。
[0132]
学生端a用于学生可以设置学习倒计时和休息倒计时，学习倒计时过程中如果学生站起来或者离开座位，系统会提醒学生坐回座位继续学习，如果学生学习过程中出现驼背，跷二郎腿等学习姿态不端正的行为，系统语音提醒学生端正坐姿。
[0133]
家长端b，用于实时的显示学生当前的姿态，姿态包括端坐学习，看手机，趴着，跷二郎腿，驼背，吃东西等，以便家长可以实时的了解学生当前的姿态。
[0134]
当学习倒计时结束后，系统自动进入休息倒计时，并提醒学生休息，当休息倒计时结束后，系统语音提醒学生休息结束，需要继续学习。
[0135]
学生端a和家长端b共同的功能包括：可以选择查看不同日期的学习质量报告，学习质量报告包括学生每种姿态的总时长，和便于可视化的数据饼图。还可以查看系统自动生成的评语，评语是根据学生当日学习状况和往日学习状况的对比来生成的。
[0136]
摄像头c，用于实时地采集rgb图像和深度图像，传输到树莓派上；
[0137]
树莓派d，用于通过神经网络提取出人体三维骨架化的多个关键节点；运用所述节点的三维坐标计算出人体各个躯干之间的角度，角度输入提前训练好的随机森林识别出当前学生姿态，并将识别出的姿态数据实时的传输到云服务器上；
[0138]
云服务器e，用于更新维护上述数据，微信小程序的学生端和家长端分别通过发送http请求来从服务器上获取学生当前的姿态信息，并反馈到手机上的微信小程序上。
[0139]
本发明主要通过微信小程序来进行操作和接收反馈。微信小程序分为学生端和家长端。学生端和家长端共同的功能是：可以选择查看不同日期的学习质量报告，学习质量报告包括学生每种姿态的总时长，和便于可视化的数据饼图。还可以查看系统自动生成的评语，评语是根据学生当日学习状况和往日学习状况的对比来生成的，来使得系统更加的人性化。
[0140]
该智能监督学生学习的监控系统还能够为年龄较大的学生群体提供辅助学习，运用节点的三维坐标计算出人体各个躯干之间的角度，角度输入提前训练好的随机森林识别出当前年龄较大学生的姿态，并将识别出的姿态数据实时的传输到云服务器上；并放弃学生端a，只开放学生端b，并引入社交属性。为年龄较大的学生提供一个自习的平台，随着网络的普及，线上自习室渐渐流行，但一般这种自习室为了提高学生的学习效率可能需要打开摄像头，学生可能考虑到隐私的问题而为难，降低学生学习的积极性。而本发明提供的自习平台中并不会展示每一个人的画面，仅仅只会展示每个学生的姿态或者某些行为，不仅可以相互监督是否学习，而且在很大程度上保障了学生的隐私。这对于许多比较内向的同
学来说极为有利。同时，本发明可以记录每天的学习时长以供学生查看、可以进行学习时长的排名、打卡等。同时，本发明的学习监控软件在切换模型后可作为一个副机位进行使用，可对学生的不良坐姿进行抓拍(站立，左顾右盼，玩手机)并且上传到iot云平台上。并且在网络不好的情况下，本发明的设备仍然会工作，会对姿态进行抓拍并等待网络正常时上传到iot云平台。老师可以在考试过后，对不良记录进行二次检查来判断学生是否作弊，大大减轻了老师的压力，可以较好的解决目前线上考试的不公平因素。
[0141]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
[0142]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。