一种基于两阶段的体势-手势整体姿态捕获方法

1.本发明属于人机体感交互技术领域，特别是涉及一种基于两阶段的体势-手势整体姿态捕获方法。


背景技术：

2.随着社会的不断发展和科技的不断进步，机器人正逐步深入我们生活的方方面面，而其也从传统的专用场景机器人，向通用场景下人-机协作交互机器人转变。而传统的人机交互识别方法识别模式单一，智能化程度不高，只能针对简单单一识别模式，执行固定单一的控制指令。
3.现在有相关文献中有记载人机交互智能系统，但是都存在的不足之处，具体体现在以下几个方面：人体捕获系统组成复杂，甚至需要专用特制的人体跟踪设备；对于人体和手部这种尺度差异较大的物体，整体姿态的捕获效果较差；多种姿态检测算法同时叠加后，系统实时性不高稳定性较低。


技术实现要素：

4.针对以上技术问题，本发明提供系统硬件简易、识别效果好并且实时性高稳定性强的一种基于两阶段的体势-手势整体姿态捕获方法
5.本发明解决其技术问题采用的技术方案是：
6.一种基于两阶段的体势-手势整体姿态捕获方法，方法包括以下步骤：
7.步骤s100：使用单目相机对人体交互动作进行视频采集，得到视频数据；
8.步骤s200：将视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据，并根据人体骨骼序列得到人体高度值；
9.步骤s300：将人体骨骼序列数据和人体高度值送入手部定位模块，得到手部定位roi区域值结果和手部roi区域的rgb图像序列；
10.步骤s400：将手部roi区域的rgb序列图像送入已训练好的手部骨骼提取网络，得到手部骨骼序列数据；
11.步骤s500：根据手部定位roi区域值，将手部骨骼序列数据，反映射回原图像中得到手部骨骼序列数据；
12.步骤s600：根据人体骨骼序列数据和手部骨骼序列数据结合，在原图像上进行显示得到人体骨骼图像和手部骨骼图像，完成骨骼捕获。
13.优选地，人体骨骼提取网络为mediapipe网络，步骤s200包括：
14.步骤s210：将采集得到视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据
[0015][0016]
其中，p表示人体骨骼序列数据，i表示当前所在骨骼序号，t表示当前所在帧序号，v＝33为人体骨骼点总数，t为序列总帧数，x为横轴坐标值，y为纵轴坐标值；
[0017]
步骤s220：根据人体骨骼序列数据和预设定的骨骼序号得到头部区域和脚部区域中心点的坐标，根据头部区域和脚部区域中心点的坐标，得到人体高度h：
[0018][0019][0020][0021]
其中，head和foot分别表示头部区域和脚部区域中心点的坐标，(x
head
,y
head
)分别表示头部区域中心点的横坐标和纵坐标，(x
foot
,y
foot
)分别表示头部区域中心点的横坐标和纵坐标，1-6为头部区域的骨骼序号，27-32为脚部区域的骨骼序号。
[0022]
优选地，步骤s300包括：
[0023]
步骤s310：将人体骨骼序列数据和人体高度值送入手部定位模块，手部定位模块根据人体骨骼序列数据和预设定的骨骼序号，分别得到左手区域和右手区域的粗定位坐标序列：
[0024][0025][0026]
其中，hand
left
表示左手区域粗定位坐标序列，hand
right
表示右手区域粗定位坐标序列,p
15/17/19/21
表示左手区域的手腕/小拇指/食指/大拇指的坐标数据，p
16/18/20/22
表示右手区域的手腕/小拇指/食指/大拇指；
[0027]
步骤s320：将左手区域的坐标数据和右手区域的坐标数据送入最大最小函数，得到左右两手区域的坐标数据的最大和最小值：
[0028][0029]
其中，(left/right)
max
表示左手/右手区域坐标数据的最大值，(left/right)
min
表示左手/右手区域坐标数据的最小值，max/min(
·
)表示取最大值或最小值运算；
[0030]
步骤s330：根据左手/右手区域坐标数据的最大值、左手/右手区域坐标数据的最小值以及人体高度h，得到左右手的roi区域：
[0031]
roi
left/right
＝rectangle[point1,point2]
[0032][0033]
其中：rectangle[
·
]表示取矩形区域，point1表示矩形区域的左上顶点，point2表示矩形区域的右下顶点。x
max
表示左手坐标数据的最大值，y
max
表示右手坐标数据的最大值，
x
min
表示左手坐标数据的最小值，y
min
表示右手坐标数据的最小值；
[0034]
步骤s340：获取左右手roi区域内的rgb图像序列。
[0035]
优选地，步骤s500包括：
[0036]
步骤s510：获取手部骨骼序列数据，其坐标数据值为左右手roi区域内的坐标值，具体为：
[0037][0038]
其中，v'＝21表示手部骨骼点总数，表示手部骨骼序列数据，分别表示左右手roi区域内的横坐标和纵坐标值。
[0039]
步骤s520：根据左右手roi区域的矩形区域左上角坐标，对整个手部坐标序列进行映射变换，将坐标从左右手roi区域内坐标变换为原图像中坐标
[0040][0041][0042]
经过变换后，手部骨骼数据为原图像中的真实值。
[0043]
优选地，步骤s600包括：
[0044]
步骤s610：根据人体骨骼序列数据，在原图像中进行显示，显示出预设定的人体33个关节圆点；
[0045]
步骤s620：根据预设定的各个人体关节点连接顺序，直线连接得到人体骨骼连线，与关节圆点构成人体骨骼显示图像；
[0046]
步骤s630：根据手部骨骼序列数据，在原图像中进行显示，显示出手部关节圆点；
[0047]
步骤s640：根据预设定的各个手部关节点连接顺序，直线连接得到手部骨骼连线，与关节圆点构成手部骨骼显示图像。
[0048]
与现有技术相比，本发明的优点在于：(1)系统硬件平台简易：本发明的一种人体姿态捕获系统，组成简单，仅依靠单目相机的摄像头进行视频采集，无需外加电子元件，更无需专用特制的人体跟踪设备。系统不复杂，平台的搭建工作容易完成；(2)交互效果好：本发明提出的基于两阶段的体势-手势整体姿态捕获方法，能够在捕获大尺度身体骨骼的同时，对小尺度的手部骨骼也具有较好的姿态捕获效果；(3)实时性高：本系统采用两阶段的手部姿态捕获算法，相比于直接对原图进行手部姿态估计，先根据人体的姿态结果对手部进行定位，从而去除了非手部区域的冗余信息，提升了算法实时性，通过实验可以看到帧率提升在一倍以上。
附图说明
[0049]
图1为本发明一实施例中一种基于两阶段的体势-手势整体姿态捕获方法的流程图；
[0050]
图2为本发明一实施例中一种基于两阶段的体势-手势整体姿态捕获方法的流程示意图；
[0051]
图3为本发明一实施例中直接姿态估计效果与两阶段姿态捕获效果对比图。
具体实施方式
[0052]
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
[0053]
在一个实施例中，如图1、2所示，一种基于两阶段的体势-手势整体姿态捕获方法，方法包括以下步骤：
[0054]
步骤s100：使用单目相机对人体交互动作进行视频采集，得到视频数据。
[0055]
步骤s200：将视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据，并根据人体骨骼序列得到人体高度值。
[0056]
具体地，人体高度值用于后续手部roi区域的确定。
[0057]
在一个实施例中，人体骨骼提取网络为mediapipe网络，步骤s200包括：
[0058]
步骤s210：将采集得到视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据
[0059][0060]
其中，p表示人体骨骼序列数据，i表示当前所在骨骼序号，t表示当前所在帧序号，v＝33为人体骨骼点总数，t为序列总帧数，x为横轴坐标值，y为纵轴坐标值；
[0061]
步骤s220：根据人体骨骼序列数据和预设定的骨骼序号得到头部区域和脚部区域中心点的坐标，根据头部区域和脚部区域中心点的坐标，得到人体高度h：
[0062][0063][0064][0065]
其中，head和foot分别表示头部区域和脚部区域中心点的坐标，(x
head
,y
head
)分别表示头部区域中心点的横坐标和纵坐标，(x
foot
,y
foot
)分别表示头部区域中心点的横坐标和纵坐标，1-6为头部区域的骨骼序号，27-32为脚部区域的骨骼序号。
[0066]
步骤s300：将人体骨骼序列数据和人体高度值送入手部定位模块，得到手部定位roi区域值结果和手部roi区域的rgb图像序列。
[0067]
在一个实施例中，步骤s300包括：
[0068]
步骤s310：将人体骨骼序列数据和人体高度值送入手部定位模块，手部定位模块根据人体骨骼序列数据和预设定的骨骼序号，分别得到左手区域和右手区域的粗定位坐标序列：
[0069][0070]
[0071]
其中，hand
left
表示左手区域粗定位坐标序列，hand
right
表示右手区域粗定位坐标序列,p
15/17/19/21
表示左手区域的手腕/小拇指/食指/大拇指的坐标数据，p
16/18/20/22
表示右手区域的手腕/小拇指/食指/大拇指；
[0072]
步骤s320：将左手区域的坐标数据和右手区域的坐标数据送入最大最小函数，得到左右两手区域的坐标数据的最大和最小值：
[0073][0074]
其中，(left/right)
max
表示左手/右手区域坐标数据的最大值，(left/right)
min
表示左手/右手区域坐标数据的最小值，max/min(
·
)表示取最大值或最小值运算；
[0075]
步骤s330：根据左手/右手区域坐标数据的最大值、左手/右手区域坐标数据的最小值以及人体高度h，得到左右手的roi区域：
[0076]
roi
left/right
＝rectangle[point1,point2]
[0077][0078]
其中：rectangle[
·
]表示取矩形区域，point1表示矩形区域的左上顶点，point2表示矩形区域的右下顶点。x
max
表示左手坐标数据的最大值，y
max
表示右手坐标数据的最大值，x
min
表示左手坐标数据的最小值，y
min
表示右手坐标数据的最小值；
[0079]
步骤s340：获取左右手roi区域内的rgb图像序列。
[0080]
步骤s400：将手部roi区域的rgb序列图像送入已训练好的手部骨骼提取网络，得到手部骨骼序列数据。
[0081]
具体地，手部骨骼提取网络为mediapipe网络。
[0082]
步骤s500：根据手部定位roi区域值，将手部骨骼序列数据，反映射回原图像中得到手部骨骼序列数据。
[0083]
在一个实施例中，步骤s500包括：
[0084]
步骤s510：获取手部骨骼序列数据，其坐标数据值为左右手roi区域内的坐标值，具体为：
[0085][0086]
其中，v'＝21表示手部骨骼点总数，表示手部骨骼序列数据，分别表示左右手roi区域内的横坐标和纵坐标值。
[0087]
步骤s520：根据左右手roi区域的矩形区域左上角坐标，对整个手部坐标序列进行映射变换，将坐标从左右手roi区域内坐标变换为原图像中坐标
[0088]
[0089][0090]
经过变换后，手部骨骼数据为原图像中的真实值。
[0091]
步骤s600：根据人体骨骼序列数据和手部骨骼序列数据结合，在原图像上进行显示得到人体骨骼图像和手部骨骼图像，完成骨骼捕获。
[0092]
在一个实施例中，步骤s600包括：
[0093]
步骤s610：根据人体骨骼序列数据，在原图像中进行显示，显示出预设定的人体33个关节圆点；
[0094]
步骤s620：根据预设定的各个人体关节点连接顺序，直线连接得到人体骨骼连线，与关节圆点构成人体骨骼显示图像；
[0095]
步骤s630：根据手部骨骼序列数据，在原图像中进行显示，显示出手部关节圆点；
[0096]
步骤s640：根据预设定的各个手部关节点连接顺序，直线连接得到手部骨骼连线，与关节圆点构成手部骨骼显示图像。
[0097]
具体地，直接姿态估计效果与两阶段姿态捕获效果对比图如图3所示。
[0098]
与现有技术相比，本发明的优点在于：(1)系统硬件平台简易：本发明的一种人体姿态捕获系统，组成简单，仅依靠单目相机的摄像头进行视频采集，无需外加电子元件，更无需专用特制的人体跟踪设备。系统不复杂，平台的搭建工作容易完成；(2)交互效果好：本发明提出的基于两阶段的体势-手势整体姿态捕获方法，能够在捕获大尺度身体骨骼的同时，对小尺度的手部骨骼也具有较好的姿态捕获效果；(3)实时性高：本系统采用两阶段的手部姿态捕获算法，相比于直接对原图进行手部姿态估计，先根据人体的姿态结果对手部进行定位，从而去除了非手部区域的冗余信息，提升了算法实时性，通过实验可以看到帧率提升在一倍以上。
[0099]
以上对本发明所提供的一种基于两阶段的体势-手势整体姿态捕获方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。