基于云边协同技术的一体化手势操控PPT系统、方法、平台与流程

基于云边协同技术的一体化手势操控ppt系统、方法、平台
技术领域
1.本发明属于ppt智能操控技术领域，尤其涉及一种基于云边协同技术的一体化手势操控ppt系统、方法、计算机设备、计算机可读存储介质、如影随形教学云平台。


背景技术：

2.目前，在教师讲课，组织汇报，企业发布会的过程中，本发明都需要放映ppt。而却时常遇到各种各样的情况：翻页笔没带，翻页笔没电，控制ppt的电脑过远不得不找人来操控ppt。严重影响了讲解效果。
3.如果有一种产品，可以无需设备的束缚，只通过双手就可以完成一场精彩的ppt讲解，甚至可以在需要的时候，隔空进行写画，那么一定会极大的便利了ppt的讲解者，所以新的产品需要研发。
4.通过上述分析，现有技术存在的问题及缺陷为：
5.(1)现有技术在放映ppt中，对于操控中一些条件不具备的情况下，影响讲解效果。
6.(2)现有技术没有结合摄像头人脸 骨架双重识别的方案进行 ppt的操控，不能提高讲解的效率。
7.(3)现有ppt讲解设备不能远程与听讲人员进行交互。
8.解决以上问题及缺陷的难度为：
9.(1)以现在所有的技术，讲解ppt的惯用方式还是使用鼠标键盘或翻页笔，使用过程中会有不习惯。
10.(2)现有的隔空翻页技术(如翻页笔)常用的解决方案是使用蓝牙进行翻页信号的传输。
11.(3)现有的激光笔技术，常用的解决方案都为外部设备的激光笔。
12.(4)如何仅仅通过三维空间内的人体骨架，以及各个人体骨骼点的位置，实现手指向哪，激光笔就移动到哪的功能。
13.(5)在使用者通过左手使用荧光笔功能时，系统如何判定使用者的落笔状态，以及松笔状态。
14.(6)如何降低使用者一些多余动作的误判对系统功能造成的影响。
15.(7)如何在讲解者放映ppt的同时，使离大屏幕较远的同学也能看清大屏幕上的内容。
16.解决以上问题及缺陷的意义为：
17.(1)可以让使用者仅通过手势就完成对ppt的操控，减少对翻页笔、鼠标、键盘的依赖。
18.(2)避免出现使用者使用翻页笔等隔空操作ppt设备时，因为忘带翻页笔，或翻页笔没电，或翻页笔离电脑距离过远造成的翻页笔断连等现象的发生。
19.(3)讲解者不需拘束于电脑旁，就可以实现对ppt的控制，更有利于讲解者走入听讲者中，提高了讲解效果。
20.(4)讲解者可以通过非常符合自己人体动作习惯的动作，完成对ppt的操作，可以极大化的方便讲解者讲解ppt。
21.(5)通过本发明提供的平台，教师可以实时上传ppt，学生也可以进行ppt的下载，有利于教学信息的保存和获取。
22.(6)本发明提供的平台还支持ppt的实时同传放映，让远离大屏幕的听讲者在云端就可以观看ppt。


技术实现要素：

23.为克服相关技术中存在的问题，本发明公开实施例提供了一种基于云边协同技术的一体化手势操控ppt系统、方法、计算机设备、计算机可读存储介质、如影随形教学云平台。本发明具体提供一种云(数据传输，数据处理分析)、边(树莓派4b intelrealsensed435 intel二代神经计算棒)协同一体化手势操控ppt解决方案。
24.所述技术方案如下：一种基于云边协同技术的一体化手势操控ppt方法，包括：
25.步骤一，边缘设备获取人体关节坐标原始数据：
26.步骤二，网络传输技术的选择；
27.步骤三，三维重建；
28.步骤四，随机森林模型进行人体姿态的判断；
29.步骤五，在操控ppt的pc机上，运行预置的软件程序，根据云端传来的数据分析结果进行相应的键鼠操作，完成对应的ppt操作。
30.在本发明一实施例中，所述步骤一中，利用openpose神经网络确定了rgb图像中人体18个骨骼点的二维坐标，以及对应点的深度值；每个关节点的二维坐标和深度值构成当前关节点的原始数据。
31.在本发明一实施例中，openpose网络模型为自下而上的检测模型，先识别图片中所有可能的关键点，输出h色彩丰富的热图，展示人体在图像中的大致位置，以及识别所有关键点之间的连接关系。
32.在本发明一实施例中，所述的openpose网络模型进行单人姿态估计方法包括：
33.(1)openpose网络模型一个分支用来预测打分图confidencemaps(s)，一个分支用来预测部分亲和度pafs；
34.(2)利用lossfunction损失函数保证神经网络可靠收敛。
35.(3)采用高斯分布计算出热图heatmap和骨骼方向vectormap。
36.(4)进行骨骼关节的相连与姿态识别预测；
37.所述步骤(2)中lossfunction损失函数为：
[0038][0039][0040][0041]
当人体骨骼点р向标准点k慢慢靠近时，随着推移逐渐达到峰值；
[0042]
骨骼点检测标注点的正态峰值表达式为：
[0043][0044]
在本发明一实施例中，所述步骤二选择在内网使用socket技术进行数据传输，完成从边缘设备到pc机的零延迟传输；
[0045]
所述步骤三中三维重建包括：
[0046]
利用相机内参camera_factor、camera_cx、camera_cy、camera_fx、
[0047]
camera_fy
[0048]
参数，通过针孔成像模型公式将2d坐标转化为3d坐标x、y、z；
[0049]
针孔成像模型为：
[0050][0051]
在本发明一实施例中，所述步骤四随机森林模型进行人体姿态的判断具体包括：
[0052]
使用人体在三维空间内的骨骼角度来作为随机森林模型预测的依据；再进行多条数据的采集，通过计算得的骨骼角训练的随机森林模型；将训练好的模型部署到云端，利用云端进行三维空间内的骨骼角度的识别。
[0053]
本发明的另一目的在于提供一种实基于云边协同技术的一体化手势操控ppt系统包括：
[0054]
摄像头，用于实现对人体姿态的识别；
[0055]
树莓派，用于获取人体关节坐标原始数据，以及进行三维重建；
[0056]
神经计算棒，搭载在树莓派上，用于利用随机森林模型进行人体姿态的判断；
[0057]
云端，用于数据分析结果传输；
[0058]
pc机，用于根据云端传来的数据分析结果进行相应的键鼠操作，完成对应的ppt操作。
[0059]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于云边协同技术的一体化手势操控ppt方法。
[0060]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于云边协同技术的一体化手势操控ppt方法。
[0061]
本发明的另一目的在于提供一种如影随形教学云平台，所述如影随形教学云平台支持教师上传ppt，学生下载ppt，并实现教师放映ppt同传；具体执行：
[0062]
第一步，边缘设备获取人体关节坐标原始数据；
[0063]
第二步，网络传输技术的选择；
[0064]
第三步，三维重建；
[0065]
第四步，随机森林模型进行人体姿态的判断；
[0066]
第五步，在操控ppt的pc机上，运行事先已经装好的软件，程序根据云端传来的数据分析结果来进行相应的键鼠操作，完成对应的ppt操作；
[0067]
第六步，当教师在平台进行注册时，摄像头进行扫描人脸和骨架信息，并录入，系
统提示注册成功，教师的身份信息自动录入系统；
[0068]
在系统注册成功的时，系统自动以该教师的身份进行登录，进行 ppt的讲解。
[0069]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
[0070]
通过本发明手向左一挥即可翻到下一页ppt，向右一挥即可翻到上一页ppt，手一指即可调出激光笔，手一划即可进行荧光笔标注。
[0071]
本发明提供的如影随形教学平台是一个能支持教师上传ppt，学生下载ppt，并可以实现教师放映ppt同传的辅助教学平台。
[0072]
本发明的平台不同于以往的平台，为了极大化的便捷教师上课的操作，简化教师登入系统的过程，本发明创新性的使用了摄像头人脸 骨架双重识别的方案对教师身份进行注册和登录。
[0073]
本发明与市面上现有技术的对比如下所示：
[0074][0075]
以当今放映ppt需求的大学课堂为例，通过本发明提供基于云边协同技术的一体化手势操控ppt系统，将有以下积极效果：
[0076]
教师上课将不再受外部设备(如鼠标键盘，翻页笔)的束缚，仅凭手势就可以完成精彩的课堂。教师操控ppt的动作幅度都不大，长时间使用不会造成肌肉疲劳。教师可以走进学生中进行ppt的讲解，可以增加课堂的互动性，和学生对课堂的参与感。看不到教室大屏幕上的ppt的同学，通过本发明提供的教学平台上进行同步观看，提高学生听课的效率。在教师想使用荧光笔等必须需要鼠标的功能时，通过本发明提供的基于云边协同技术的一体化手势操控ppt系统，教师将不再需要走到电脑旁进行操作，随时随地想用就用。开始上课时，教室走到摄像头前，摄像头就已进行对教师身份的识别，并自动为其登录系统，不需教师进行如账号登录等繁琐的操作。当教师想要在平台进行注册时，可以站在摄像头前扫描一圈，进行人脸和骨架信息的录入，系统提示注册成功，教师的身份信息就会自动录入系统。每当在系统注册成功的教师站在讲台上时，系统会自动以该教师的身份进行登录，教师在系统中自己上传过的文件中找到想要讲解的ppt，打开即可进行ppt的讲解，同时学生端可以实时观看老师讲解的ppt 的当前页。同时，为了便于老师在没有摄像头的地点(如家中)进行 ppt的上传，本发明的系统同样支持账号密码登录。
[0077]
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
[0078]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0079]
图1是本发明实施例提供的基于云边协同技术的一体化手势操控ppt方法流程图。
[0080]
图2是本发明实施例提供的基于云边协同技术的一体化手势操控ppt系统示意图。
[0081]
图中：1、摄像头；2、树莓派；3、神经计算棒。
[0082]
图3是本发明实施例提供的基于云边协同技术的一体化手势操控ppt系统原理图。
[0083]
图4是本发明实施例提供的模拟人体18个关节点坐标的原始数据效果图。
[0084]
图5是本发明实施例提供的获取关节点原始数据流程图。
[0085]
图6是本发明实施例提供的三维重建流程图.
[0086]
图7是本发明实施例提供的三维重建后的人体骨架图。
[0087]
图8是本发明实施例提供的在人体姿态识别方法流程图。
[0088]
图9是本发明实施例提供的如影随形教学系统云平台控制方法流程图。
具体实施方式
[0089]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
[0090]
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
[0091]
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0092]
如图1所示，本发明提供的基于云边协同技术的一体化手势操控ppt方法包括：
[0093]
边缘设备获取人体关节坐标原始数据：
[0094]
网络传输技术的选择；
[0095]
三维重建；
[0096]
随机森林模型进行人体姿态的判断；
[0097]
需要操控ppt的pc机上，运行事先已经装好的软件，程序可以根据云端传来的数据分析结果来进行相应的键鼠操作，完成对应的 ppt操作。
[0098]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0099]
实施例
[0100]
1.本发明提供的基于云边协同技术的一体化手势操控ppt系统包括(如图2所示)：
[0101]
摄像头a的选择：
[0102]
要实现对人体姿态的精准识别，就需要拍摄人体的摄像头具有较高的rgb传感器
分辨率和帧数以及较广的深度距离范围。所以本发明首选了当今市面上最适合于本发明产品的intel realsense d435 深度摄像头。它的rgb传感器分辨率和帧数可以达到1920
×
1080， 30fps，深度距离范围可以达到0.105m～10m。超过了市面上95％的产品，但价格只是略高于市面摄像头的平均值。
[0103]
边缘设备的选择：
[0104]
由于本发明的摄像头不可能用在pc机上，需要连接在边缘设备上。但是边缘设备的普遍缺点是算力不足，不能满足本发明需要的高速率数据计算与传输，所以本发明选择了算力还算过关的树莓派 (型号4b)b，并搭配了intel神经计算棒c来提高树莓派的算力。
[0105]
图3是本发明实施例提供的基于云边协同技术的一体化手势操控ppt系统原理图。
[0106]
2.在本发明一优选实施例中，本发明提供的基于云边协同技术的一体化手势操控ppt方法包括：
[0107]
第一步，边缘设备获取人体关节坐标原始数据：
[0108]
如图5所示：为了获取人体18个关节点坐标的原始数据，获取关节点原始数据流程如图5所示，本发明利用openpose神经网络确定了rgb图像中人体18个骨骼点的二维坐标，以及对应点的深度值。每个关节点的二维坐标和深度值构成当前关节点的原始数据。
[0109]
具体实现过程如下：
[0110]
1.将摄像头以及intel神经计算棒连接在树莓派上，在树莓派上运行本发明的数据采集程序。
[0111]
2.由于树莓派的算力无法支撑本发明计算人体关节点坐标的庞大计算量，所以本发明用了openvino套件来提升计算速度。 openvino是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，支持各种英特尔平台的硬件加速器上进行深度学习，并且允许直接异构执行。支持在windows与linux系统，python/c 语言。
[0112]
3.openpose网络模型是本发明的基础。它广泛应用于人体姿态识别领域。能够有效的检测一个图像中的多人。通过part affinityfields来学习身体的各部分及关联性。part affinity fields(pafs) 方法即连接部分身体关节来形成人体姿态。是利用全局纹理信息，自下而上的方法，达到实时性和高精度。这是一个自下而上的人体姿态检测模型，他不同于自上而下的网络模型，自上而下的检测模型主要是通过先确定图片中的人数，确定人后，对每个人进行关键点检测。而openpose是自下而上的检测模型，他先识别图片中所有可能的关键点，在模型中的输出是heatmap(即色彩丰富的热图，可以展示人体在图像中的大致位置)，以及识别所有关键点之间的连接关系，这种关键点之间的联系被称为矢量场或者人体关键点亲和场，在模型输出的是paf(part affinity fields部分亲和度)。这个模型同时进行人体关键点的检测和连接。
[0113]
openpose的单人姿态估计算法思想，整个算法的流程是：
[0114]
(1)其中一个分支用来预测打分图confidence maps(s)，一个分支用来预测部分亲和度pafs。
[0115]
(2)利用loss function损失函数保证神经网络可靠收敛。
[0116]
(3)采用高斯分布计算出热图heatmap和骨骼方向 vectormap。
[0117]
(4)进行骨骼关节的相连与姿态识别预测。
[0118]
openpose多人姿态估计的具体算法思想。在原始数据的基础之上，通过前面的十层神经网络校正具体的参数，作为映射f传送到初始阶段中去。pafs，本发明一般称为骨骼方向向量，代表了骨骼中肢体的具体走向。共分为两大部分：蓝色和橙色。蓝色代表的是 cnns，一般用于引擎的推理和预测，在经过反复的训练之后提高s，本发明一般称为置信度。橙色代表的是所谓卷积内核，这种方式可以极大地减少本发明的工作量，并且可以提升细化的效率和层数。换句话说，提升了本发明上面提到的置信度s，也就是更为准确的识别出身体所在的具体位置和姿态行为。
[0119]
公式(2-1)、(2-2)、(2-3)揭示了神经网络识别姿态损失函数。以下公式中pafs由l*所表示，置信度由s*所表示。若有骨骼点被遮挡或者未被检测到，则刨除该点不予计算。
[0120][0121]
公式(2-4)揭示了骨骼点检测标注点的正态峰值。当本发明的人体骨骼点р向标准点k慢慢靠近时，会随着推移逐渐达到峰值。
[0122][0123]
第二步，网络传输技术的选择：
[0124]
在选择完底层设备后，本发明需要确定数据的传输层技术。由于本发明传输的单条数据量很小，并且数据编码并不复杂，所以传输层的稳定性和传输速率就尤为重要。所以本发明选择了在内网使用socket技术进行数据传输，完成从边缘设备到pc机的零延迟传输。
[0125]
第三步，三维重建：
[0126]
将每一帧人体18个骨骼点的二维坐标和深度值数据通过云端上传到pc机进行三维重建。具体流程见图6，三维重建后的人体骨架如图7所示。18个骨骼点的二维坐标和深度值数据下表所示：
[0127]
2021-08-16 18:10:05：data-41：(270,189，2.70)，(270,216，2.74)，(248,219，2.83)，(206,223，2.86)，(169,219，2.80)， (293,216，2.78)，(330，219，2.87)，(364,216，2.90)，(255,298，2.79)，(259,351，2.78)， (263，396，2.90)，(285，298，2.73)，(289，3472.87)，(289，392，3.01)，(263，182，2.69)， (274，182，2.69)，(259，189，2.72)，(282，186，3.18)，
[0128]
如图6所示，三维重建具体步骤：
[0129]
1.pc机通过socket实现与树莓派的远程通讯，接收当前帧的人体18个骨骼点的数据(二维坐标 深度值)。
[0130]
2.有了人体骨骼点的二维坐标和深度值，本发明就可以利用相机内参camera_factor、camera_cx、camera_cy、camera_fx、camera_fy 等参数，通过针
[0131]
孔成像模型公式(2-5)将2d坐标转化为3d坐标x、y、z。
[0132][0133]
3.计算出当前骨骼点的三维坐标后，将对应的骨骼点相连，即可完成人体骨骼的三维重建。骨骼点的相连关系如图4示。如果当前帧的数据不能连成人体骨骼(如有骨骼点遮挡，数据丢失)，随即进行下一帧的三维重建。
[0134]
4.当前帧的骨骼三维重建完成后，即可进行下一帧的骨骼三维重建。
[0135]
第四步，随机森林模型进行人体姿态的判断：
[0136]
在本发明的技术设计中，最为重要的就是人体姿态识别模型的构建。如图8所示。在当今市面上的所有人体姿态识别技术中大部分都是基于rgb图像的识别，而本发明的方案如果只用基于二维图像的识别技术，将会有很大的局限性，人体与摄像头的角度，甚至是距离，都会对模型预测的结果产生巨大的干扰。所以本发明创新性的使用了人体在三维空间内的骨骼角度(如左肩与左臂间的夹角称为左肩角)，作为随机森林模型预测的依据。再进行了数万条数据的采集，通过计算得的骨骼角训练的随机森林模型准确度可达97％以上。将训练好的模型部署到华为云端，利用云端的处理速度，本发明可以节省大部分算力，最大限度的减少从数据采集到数据结果回传需要用的时间。
[0137]
如图8所示，人体姿态识别模型的具体构建方法如下：
[0138]
1.首先，根据不同的动作采集本发明对模型进行训练的原始数据集，(如向左挥手，向右挥手等等)
[0139]
2.为了使模型的预测结果不受距离角度等外界因素的影响，本发明计算了人体骨骼在三维空间内的9个骨骼角：前屈角(身体前屈的角度)、臀部角(左右)、肩部角(左右)、膝盖角(左右)、手臂角(左右)，作为本发明进行模型训练的训练集。
[0140]
3.为了使模型能对不同的动作有不同的识别结果，本发明将不同的动作手动添加上不同的标签。不同的标签，对应不同的识别结果。
[0141]
4.用添加好标签的数据集对随机森林模型进行训练。
[0142]
人体姿态识别模型的使用过程如下：
[0143]
1.pc机通过socket可实现和树莓派的远程通信，当树莓派计算好当前帧的人体骨骼数据后，通过socket将人体18个点的骨骼数据传到pc机。
[0144]
2.当pc机接收到当前帧人体18个骨骼点的数据后，随即进行人体骨骼角的计算。
[0145]
3.将当前帧的人体骨骼角送入已经训练好的人体姿态识别随机森林模型中后，就可得到随机森林对当前帧动作的预测标签，即预测动作。
[0146]
第五步，需要操控ppt的pc机上，运行事先已经装好的软件，程序可以根据云端传来的数据分析结果来进行相应的键鼠操作，完成对应的ppt操作。
[0147]
本发明的如影随形教学云平台是一个能支持教师上传ppt，学生下载ppt，并可以实现教师放映ppt同传的辅助教学平台。
[0148]
本发明的平台不同于以往的平台，为了极大化的便捷教师上课的操作，简化教师登入系统的过程，本发明创新性的使用了摄像头人脸 骨架双重识别的方案对教师身份进行注册和登录。
[0149]
本发明的如影随形教学云平台运行原理如图9所示。
[0150]
具体包括：
[0151]
第一步，边缘设备获取人体关节坐标原始数据：
[0152]
为了获取人体18个关节点(如图5)坐标的原始数据，获取关节点原始数据流程如图5所示，本发明利用openpose神经网络确定了rgb图像中人体18个骨骼点的二维坐标，以及对应点的深度值。每个关节点的二维坐标和深度值构成当前关节点的原始数据。
[0153]
openpose网络模型是本发明的基础。它广泛应用于人体姿态识别领域。能够有效的检测一个图像中的多人。通过partaffinityfields来学习身体的各部分及关联性。partaffinityfields(pafs)方法即连接部分身体关节来形成人体姿态。是利用全局纹理信息，自下而上的方法，达到实时性和高精度。这是一个自下而上的人体姿态检测模型，他不同于自上而下的网络模型，自上而下的检测模型主要是通过先确定图片中的人数，确定人后，对每个人进行关键点检测。而openpose是自下而上的检测模型，他先识别图片中所有可能的关键点，在模型中的输出是heatmap(即色彩丰富的热图，可以展示人体在图像中的大致位置)，以及识别所有关键点之间的连接关系，这种关键点之间的联系被称为矢量场或者人体关键点亲和场，在模型输出的是paf(partaffinityfields部分亲和度)。这个模型同时进行人体关键点的检测和连接。
[0154]
openpose的单人姿态估计算法思想，整个算法的流程是：
[0155]
(1)其中一个分支用来预测打分图confidencemaps(s)，一个分支用来预测部分亲和度pafs。
[0156]
(2)利用lossfunction损失函数保证神经网络可靠收敛。
[0157]
(3)采用高斯分布计算出热图heatmap和骨骼方向vectormap。
[0158]
(4)进行骨骼关节的相连与姿态识别预测。
[0159]
openpose多人姿态估计的具体算法思想。在原始数据的基础之上，通过前面的十层神经网络校正具体的参数，作为映射f传送到初始阶段中去。pafs，本发明一般称为骨骼方向向量，代表了骨骼中肢体的具体走向。共分为两大部分：蓝色和橙色。蓝色代表的是cnns，一般用于引擎的推理和预测，在经过反复的训练之后提高s，本发明一般称为置信度。橙色代表的是所谓卷积内核，这种方式可以极大地减少本发明的工作量，并且可以提升细化的效率和层数。换句话说，提升了本发明上面提到的置信度s，也就是更为准确的识别出身体所在的具体位置和姿态行为。
[0160]
公式(2-1)、(2-2)、(2-3)揭示了神经网络识别姿态损失函数。以下公式中pafs由l*所表示，置信度由s*所表示。若有骨骼点被遮挡或者未被检测到，则刨除该点不予计算。
[0161][0162][0163][0164]
公式(2-4)揭示了骨骼点检测标注点的正态峰值。当本发明的人体骨骼点p向标准点k慢慢靠近时，会随着推移逐渐达到峰值。
[0165][0166]
第二步，网络传输技术的选择：
[0167]
在选择完底层设备后，本发明需要确定数据的传输层技术。由于本发明传输的单条数据量很小，并且数据编码并不复杂，所以传输层的稳定性和传输速率就尤为重要。所以本发明选择了在内网使用socket技术进行数据传输，完成从边缘设备到pc机的零延迟传输。
[0168]
第三步，三维重建：
[0169]
将每一帧人体18个骨骼点的二维坐标和深度值数据通过云端上传到pc机进行三维重建。具体流程见图6，三维重建后的人体骨架如图7所示。18个骨骼点的二维坐标和深度值数据如下表所示：
[0170]
2021-08-16 18:10:05：data-41：(270，189，2.70)，(270，216，2.74)，(248，219，2.83)，(206，223，2.86)，(169，219，2.80)， (293，216，2.78)，(330，219，2.87)，(364，216，2.90)，(255，298，2.79)，(259，351，2.78)， (263，396，2.90)，(285，298，2.73)，(289，347，2.87)，(289，392，3.01)，(263，182，2.69)， (274，182，2.69)，(259，189，2.72)，(282，186，3.18)，
[0171]
有了人体骨骼点的二维坐标和深度值，本发明就可以利用相机内参camera_factor、camera_cx、camera_cy、camera_fx、camera_fy 等参数，通过针
[0172]
孔成像模型公式(2-5)将2d坐标转化为3d坐标x、y、z。
[0173][0174]
第四步，随机森林模型进行人体姿态的判断：
[0175]
在本发明的技术设计中，最为重要的就是人体姿态识别模型的构建。如图8所示。使用人体在三维空间内的骨骼角度(如左肩与左臂间的夹角称为左肩角)，作为随机森林模型预测的依据。再进行了数万条数据的采集，通过计算得的骨骼角训练的随机森林模型。将训练好的模型部署到华为云端，利用云端的进行三维空间内的骨骼角度的处理。
[0176]
第五步，需要操控ppt的pc机上，运行事先已经装好的软件，程序可以根据云端传来的数据分析结果来进行相应的键鼠操作，完成对应的ppt操作。
[0177]
第六步，当教师想要在平台进行注册时，可以站在摄像头前扫描一圈，进行人脸和骨架信息的录入，系统提示注册成功，教师的身份信息就会自动录入系统。
[0178]
每当在系统注册成功的教师站在讲台上时，系统会自动以该教师的身份进行登录，教师在系统中自己上传过的文件中找到想要讲解的ppt，打开即可进行ppt的讲解，同时学生端可以实时观看老师讲解的ppt的当前页。
[0179]
在本发明一优选实施例中，为了便于老师在没有摄像头的地点 (如家中)进行ppt的上传，本发明的系统同样支持账号密码登录。
[0180]
除此之外，本发明还可以增加隔空写字功能，由于本发明已经实现手势隔空操控荧光笔，手势隔空操控激光笔等功能，所以通过手势隔空使用记号笔功能是可以实现的。介于本发明现在所使用的摄像头精度不支持本发明隔空写字功能的实现，本功能实现的可能
性很高。
[0181]
同时，本发明中的摄像头也可以实现人体追踪功能，由于本发明可以实现通过人脸和人体骨架来进行人身份的识别，再通过对摄像头加上一些电控操作(如上下左右旋转等)就可以实现摄像头跟随某一特定人进行旋转，使此人一直处于摄像头的正前方。有了此功能，可以大幅提高人体姿态识别的准确度，同时以教室使用本发明的场景为例，有了摄像头追踪功能以后，教师可以行走在教室的任何角落来进行ppt的讲解，而不用担心自己走出摄像头的拍摄范围。
[0182]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
[0183]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。