一种用于美术作品在线教育的身体捕捉方法及装置与流程

1.本发明涉及在线教育技术领域，尤其涉及一种用于美术作品在线教育的身体捕捉方法及装置。


背景技术：

2.在线教育顾名思义，是以网络为介质的教学方式，通过网络，学员与教师即使相隔万里也可以开展教学活动；此外，借助网络课件，学员还可以随时随地进行学习，真正打破了时间和空间的限制，对于工作繁忙，学习时间不固定的职场人而言网络远程教育是最方便不过的学习方式。
3.虚拟人物动作仿真，即通过计算机建立的虚拟三维模型来模拟真实人体动作的过程，并通过三维图形方式在计算机上呈现出来。属于虚拟现实的一个重要分支，由生物力学、机器人学、计算机科学等产生的一个交叉学科，其目的是通过虚拟三维模型来模拟原始人物动作，并通过三维图形方式在计算机上呈现。
4.目前对于在线教育而言，教师在对学员进行教学时，也可利用虚拟人物仿真技术，生成虚拟人物形象，而目前现有技术难以根据教师真实形象建立虚拟人物，无法通过虚拟人物对教师肢体动作实时表达。


技术实现要素：

5.为了现有技术存在的上述技术缺陷，本发明提供了一种用于美术作品在线教育的身体捕捉方法及装置，可以有效解决背景技术中的问题。
6.为了解决上述技术问题，本发明提供的技术方案具体如下：
7.本发明实施例公开了一种用于美术作品在线教育的身体捕捉方法，所述方法包括以下步骤：
8.利用kinect传感器获取人体骨骼关节点坐标数据，并将虚拟人物关节点与人体骨骼节点进行绑定，生成虚拟人物模型；
9.根据人体骨骼关节点坐标数据设置运动阈值，计算人体骨骼特征是否在阈值范围内，并将人体运动数据反馈虚拟人物模型；
10.根据人体运动数据，完成虚拟人物骨骼连续动作。
11.在上述任一方案中优选的是，虚拟人物模型包括骨骼段、关节点和骨骼蒙皮，骨骼段通过关节点连接，其中臀部关节点为根节点，包括6个自由度，分别为三维空间中的3个旋转自由度和3个位移自由度；将虚拟人物模型分为若干部分，每一部分由其相应的父节点独立控制，通过kinect传感器对人体骨骼节点进行检测，并将虚拟人物关节点与人体骨骼节点进行绑定，利用蒙皮算法生成虚拟人物模型。
12.在上述任一方案中优选的是，由于人体各个骨骼节点是实时变化的，骨骼节点之间的夹角在人体运动时会随之变化，需通过设置运动阈值控制人体运动过程中的大幅度姿态变化，使得相邻帧中骨骼节点之间的夹角变化和位移被限制在预设的范围之内。
13.在上述任一方案中优选的是，通过kinect传感器实时获取人体各个关节点的空间三位坐标，人体骨骼节点向量夹角为[0，π]，在一条骨骼链中关节点的坐标为(x
e
,y
e
,z
e
),其父节点的坐标为(x
s
,y
s
,z
s
),其子节点的坐标为(x
w
,y
w
,z
w
)，其中每个角度对应唯一的余弦值。
[0014]
在上述任一方案中优选的是，根据骨骼节点的空间位置坐标计算关节点到其父节点的距离d1，关节点到其子节点的距离d2，关节点的父节点到关节点的子节点的距离d3，则：，则：
[0015]
在上述任一方案中优选的是，根据人体骨骼节点之间的距离确定当前帧中骨骼向量的夹角值α，则
[0016]
在上述任一方案中优选的是，设置角度阈值y
ɑ
和位移阈值y
d
，骨骼特征包括角度特征
ɑ
和位移特征d。
[0017]
在上述任一方案中优选的是，判断连续的视频图像帧中每个骨骼节点对应的角度和位移特征是否满足|α
i
‑
α
j
|≤y
α
，|d
i
‑
d
j
|≤y
d
；其中，
ɑ
i
为前一帧中的角度特征，
ɑ
j
为下一帧中的角度特征；d
i
为前一帧中的距离特征，d
j
为下一帧中的距离特征；若运动过程中数据超出范围，则人体运动错误，重新对该帧的数据进行获取；若运动过程中数据未超出范围，则人体运动正确，并将人体运动数据反馈虚拟人物模型。
[0018]
在上述任一方案中优选的是，由于在人体运动中，通常以关节的转动带动人体运动，例如行走动作中大腿通过膝关节带动小腿，小腿通过踝关节带动脚，可以将腿看成是通过关节连接的骨骼链；其中每个节点最多只有一个父节点，根节点无父节点，关节的父节点和子节点都是骨骼，每个关节只有一个子节点。
[0019]
在上述任一方案中优选的是，以每个节点为坐标原点建立局部标架，生成相应的旋转矩阵和平移矩阵，通过与父节点变换矩阵的计算，将这两个矩阵变换为世界坐标矩阵，完成骨骼变换。
[0020]
在上述任一方案中优选的是，通过以下方式完成骨骼变换：
[0021]
(ⅰ)通过公式f(i)＝ft
i
fr
i
fm
i
计算初始骨骼f
i
，其中，ft
i
，fr
i
，fm
i
三个矩阵分别为关节点i对应父节点的变换矩阵、平移矩阵和旋转矩阵；
[0022]
(ⅱ)通过公式f'(i)＝ft
i
fr
i
fm
i
×
fr
i
m
i
计算得到f
i
'，fr
i
m
i
为旋转矩阵；
[0023]
(ⅲ)通过赋予父骨骼节点新的坐标值变化，变化过程如公式：
[0024]
fm
i
＝r
x
r
y
r
z
；可得到这一帧骨骼的最终姿态；
[0025]
(ⅳ)通过公式v'＝f(i)f'(i)
‑1v计算v'，v'为v在运动过程中变形后的位置，v为人体骨骼节点运动前的位置。
[0026]
一种用于美术作品在线教育的身体捕捉装置，所述装置包括：
[0027]
生成模块，用于利用kinect传感器获取人体骨骼关节点坐标数据，并将虚拟人物关节点与人体骨骼节点进行绑定，生成虚拟人物模型；
[0028]
计算模块，用于根据人体骨骼关节点坐标数据设置运动阈值，计算人体骨骼特征是否在阈值范围内，并将人体运动数据反馈虚拟人物模型；
[0029]
完成模块，用于根据人体运动数据，完成虚拟人物骨骼连续动作。
[0030]
与现有技术相比，本发明的有益效果：
[0031]
本发明提供的一种用于美术作品在线教育的身体捕捉方法及装置通过利用kinect传感器获取人体骨骼关节点坐标数据，并将虚拟人物关节点与人体骨骼节点进行绑定，生成虚拟人物模型；根据人体骨骼关节点坐标数据设置运动阈值，计算人体骨骼特征是否在阈值范围内，并将人体运动数据反馈虚拟人物模型；根据人体运动数据，完成虚拟人物骨骼连续动作；可实现教师对学员进行授课时，能够对教师全身骨架姿态数据实时获取并实时对虚拟角色驱动，保证了kinect传感器获取的教师骨骼运动数据的真实性，提高了虚拟人物运动的灵活性，简单便捷。
附图说明
[0032]
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0033]
图1是本发明一种用于美术作品在线教育的身体捕捉方法的流程示意图；
[0034]
图2是本发明一种用于美术作品在线教育的身体捕捉装置的模块示意图。
具体实施方式
[0035]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0036]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
[0037]
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0038]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0039]
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
[0040]
本发明提供了一种用于美术作品在线教育的身体捕捉方法，如图1所示，所述方法包括以下步骤：
[0041]
步骤1，利用kinect传感器获取人体骨骼关节点坐标数据，并将虚拟人物关节点与人体骨骼节点进行绑定，生成虚拟人物模型。
[0042]
具体的，kinect传感器包括三原色rgb彩色摄像头、红外光源和红外摄像头，其中，rgb摄像头可以采集彩色图像，红外光源和红外摄像头可以采集3d深度图像，通过kinect红外摄像头对人体进行动作捕捉时，可以克服光照、复杂背景等干扰；在kinect传感器捕获人体骨骼数据后，每一帧的数据都是一个骨骼对象集合，集合中每一个骨骼对象都包括骨骼的三维空间位置以及骨骼关节点的数据，每一个骨骼关节点都有一个唯一的标识，例如头、肘、肩部等，和对应的三维向量数据。
[0043]
进一步的，通过提取深度数据流中人体骨骼节点的坐标数据，kinect传感器可以实时获取人体骨骼节点，其中头部、手部和脚步只有一个节点；而人体骨架由一系列的骨骼按照一定的层次结构连接起来的，两个骨骼的连接处称为关节点，根节点可以视为一个特殊的骨骼，它的平移与旋转共同决定了骨架的整体朝向和平移，其他骨骼分别绕着根节点在不同自由度方向上旋转；人体的运动通常由关节点的变化来实现，其中骨架结构中的根节点为人体运动在世界坐标中的位移信息，其他关节点的信息均用其自身相对于父节点的平移和旋转来表示，子关节点相对于父关节点的平移信息一般是一个固定值，每一关节点的空间信息变化都会影响其下层关节点的空间位置，而整体骨架的移动则是以其根节点的平移来表示的，其他节点只做旋转。
[0044]
进一步的，虚拟人物模型包括骨骼段、关节点和骨骼蒙皮，每一骨骼段为刚性几何体，骨骼段通过关节点连接，其中臀部关节点为根节点，包括6个自由度，分别为三维空间中的3个旋转自由度和3个位移自由度；将虚拟人物模型分为若干部分，每一部分由其相应的父节点独立控制，进而通过kinect传感器对人体骨骼节点进行检测，并将虚拟人物关节点与人体骨骼节点进行绑定，利用蒙皮算法生成虚拟人物模型。
[0045]
步骤2，根据人体骨骼关节点坐标数据设置运动阈值，计算人体骨骼特征是否在阈值范围内，并将人体运动数据反馈虚拟人物模型。
[0046]
具体的，由于人体各个骨骼节点是实时变化的，骨骼节点之间的夹角在人体运动时会随之变化，需通过设置运动阈值控制人体运动过程中的大幅度姿态变化，使得相邻帧中骨骼节点之间的夹角变化和位移被限制在预设的范围之内。
[0047]
进一步的，通过kinect传感器获取人体各个关节点的空间三位坐标，人体骨骼节点向量夹角为[0，π]，在一条骨骼链中某关节点的坐标为(x
e
,y
e
,z
e
),其父节点的坐标为(x
s
,y
s
,z
s
),其子节点的坐标为(x
w
,y
w
,z
w
)，其中每个角度对应唯一的余弦值。
[0048]
进一步的，根据骨骼节点的空间位置坐标计算关节点到其父节点的距离d1，关节点到其子节点的距离d2，关节点的父节点到关节点的子节点的距离d3，则：
[0049][0050][0051]
[0052]
进一步的，根据人体骨骼节点之间的距离确定当前帧中骨骼向量的夹角值α，则
[0053]
进一步的，设置角度阈值y
ɑ
和位移阈值y
d
，在获取人体数据的过程中，kinect传感器是根据单帧骨骼数据的变化记录有效信息，人体骨骼节点的位置通常可反映单帧图像中的骨骼特征，其中，骨骼特征包括角度特征
ɑ
和位移特征d。
[0054]
进一步的，判断连续的视频图像帧中每个骨骼节点对应的角度和位移特征是否满足|α
i
‑
α
j
|≤y
α
，|d
i
‑
d
j
|≤y
d
；
ɑ
i
为前一帧中的角度特征，
ɑ
j
为下一帧中的角度特征；d
i
为前一帧中的距离特征，d
j
为下一帧中的距离特征。
[0055]
进一步的，若运动过程中数据超出范围，则人体运动错误，重新对该帧的数据进行获取；若运动过程中数据未超出范围，则人体运动正确，并将人体运动数据反馈虚拟人物模型。
[0056]
步骤3，根据人体运动数据，完成虚拟人物骨骼连续动作。
[0057]
具体的，由于在人体运动中，通常以关节的转动带动人体运动，例如行走动作中大腿通过膝关节带动小腿，小腿通过踝关节带动脚，可以将腿看成是通过关节连接的骨骼链；其中每个节点最多只有一个父节点，根节点无父节点，关节的父节点和子节点都是骨骼，每个关节只有一个子节点。
[0058]
进一步的，以每个节点为坐标原点建立局部标架，生成相应的旋转矩阵和平移矩阵，通过与父节点变换矩阵的计算，将这两个矩阵变换为世界坐标矩阵，完成骨骼变换。
[0059]
进一步的，通过以下方式完成骨骼变换：
[0060]
(ⅰ)通过公式f(i)＝ft
i
fr
i
fm
i
计算初始骨骼f
i
，其中，ft
i
，fr
i
，fm
i
三个矩阵分别为关节点i对应父节点的变换矩阵、平移矩阵和旋转矩阵；
[0061]
(ⅱ)通过公式f'(i)＝ft
i
fr
i
fm
i
×
fr
i
m
i
计算得到f
i
'，fr
i
m
i
为旋转矩阵；
[0062]
(ⅲ)通过赋予父骨骼节点新的坐标值变化，变化过程如公式：
[0063]
fm
i
＝r
x
r
y
r
z
；可得到这一帧骨骼的最终姿态；
[0064]
(ⅳ)通过公式v'＝f(i)f'(i)
‑1v计算v'，v'为v在运动过程中变形后的位置，v为人体骨骼节点运动前的位置。
[0065]
本发明还提供了一种用于美术作品在线教育的身体捕捉装置，如图2所示，所述装置包括：
[0066]
生成模块，用于利用kinect传感器获取人体骨骼关节点坐标数据，并将虚拟人物关节点与人体骨骼节点进行绑定，生成虚拟人物模型。
[0067]
计算模块，用于根据人体骨骼关节点坐标数据设置运动阈值，计算人体骨骼特征是否在阈值范围内，并将人体运动数据反馈虚拟人物模型。
[0068]
完成模块，用于根据人体运动数据，完成虚拟人物骨骼连续动作。
[0069]
与现有技术相比，本发明提供的有益效果是：
[0070]
本发明提供的一种用于美术作品在线教育的身体捕捉方法及装置通过利用kinect传感器获取人体骨骼关节点坐标数据，并将虚拟人物关节点与人体骨骼节点进行绑定，生成虚拟人物模型；根据人体骨骼关节点坐标数据设置运动阈值，计算人体骨骼特征是否在阈值范围内，并将人体运动数据反馈虚拟人物模型；根据人体运动数据，完成虚拟人物骨骼连续动作；可实现教师对学员进行授课时，能够对教师全身骨架姿态数据实时获取并实时对虚拟角色驱动，保证了kinect传感器获取的教师骨骼运动数据的真实性，提高了虚拟人物运动的灵活性，简单便捷。
[0071]
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。