一种基于两阶段的体势-手势整体姿态捕获方法

技术特征：
1.一种基于两阶段的体势-手势整体姿态捕获方法，其特征在于，所述方法包括以下步骤：步骤s100：使用单目相机对人体交互动作进行视频采集，得到视频数据；步骤s200：将所述视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据，并根据所述人体骨骼序列得到人体高度值；步骤s300：将所述人体骨骼序列数据和所述人体高度值送入手部定位模块，得到手部定位roi区域值结果和手部roi区域的rgb图像序列；步骤s400：将所述手部roi区域的rgb序列图像送入已训练好的手部骨骼提取网络，得到手部骨骼序列数据；步骤s500：根据所述手部定位roi区域值，将所述手部骨骼序列数据，反映射回原图像中得到手部骨骼序列数据；步骤s600：根据所述人体骨骼序列数据和所述手部骨骼序列数据结合，在原图像上进行显示得到人体骨骼图像和手部骨骼图像，完成骨骼捕获。2.根据权利要求1所述的方法，其特征在于，所述人体骨骼提取网络为mediapipe网络，步骤s200包括：步骤s210：将采集得到视频数据送入已训练好的人体骨骼提取网络，得到人体骨骼序列数据列数据其中，p表示人体骨骼序列数据，i表示当前所在骨骼序号，t表示当前所在帧序号，v＝33为人体骨骼点总数，t为序列总帧数，x为横轴坐标值，y为纵轴坐标值；步骤s220：根据所述人体骨骼序列数据和预设定的骨骼序号得到头部区域和脚部区域中心点的坐标，根据所述头部区域和脚部区域中心点的坐标，得到人体高度h：域中心点的坐标，根据所述头部区域和脚部区域中心点的坐标，得到人体高度h：域中心点的坐标，根据所述头部区域和脚部区域中心点的坐标，得到人体高度h：其中，head和foot分别表示头部区域和脚部区域中心点的坐标，(x
head
,y
head
)分别表示头部区域中心点的横坐标和纵坐标，(x
foot
,y
foot
)分别表示头部区域中心点的横坐标和纵坐标，1-6为头部区域的骨骼序号，27-32为脚部区域的骨骼序号。3.根据权利要求2所述的方法，其特征在于，步骤s300包括：步骤s310：将所述人体骨骼序列数据和所述人体高度值送入手部定位模块，所述手部定位模块根据所述人体骨骼序列数据和预设定的骨骼序号，分别得到左手区域和右手区域的粗定位坐标序列：
其中，hand
left
表示左手区域粗定位坐标序列，hand
right
表示右手区域粗定位坐标序列,p
15/17/19/21
表示左手区域的手腕/小拇指/食指/大拇指的坐标数据，p
16/18/20/22
表示右手区域的手腕/小拇指/食指/大拇指；步骤s320：将所述左手区域的坐标数据和所述右手区域的坐标数据送入最大最小函数，得到左右两手区域的坐标数据的最大和最小值：其中，(left/right)
max
表示左手/右手区域坐标数据的最大值，(left/right)
min
表示左手/右手区域坐标数据的最小值，max/min(
·
)表示取最大值或最小值运算；步骤s330：根据所述左手/右手区域坐标数据的最大值、所述左手/右手区域坐标数据的最小值以及所述人体高度h，得到左右手的roi区域：roi
left/right
＝rectangle[point1,point2]其中：rectangle[
·
]表示取矩形区域，point1表示矩形区域的左上顶点，point2表示矩形区域的右下顶点。x
max
表示左手坐标数据的最大值，y
max
表示右手坐标数据的最大值，x
min
表示左手坐标数据的最小值，y
min
表示右手坐标数据的最小值；步骤s340：获取所述左右手roi区域内的rgb图像序列。4.根据权利要求3所述的方法，其特征在于，步骤s500包括：步骤s510：获取所述手部骨骼序列数据，其坐标数据值为左右手roi区域内的坐标值，具体为：其中，v'＝21表示手部骨骼点总数，表示手部骨骼序列数据，分别表示左右手roi区域内的横坐标和纵坐标值。步骤s520：根据所述左右手roi区域的矩形区域左上角坐标，对整个手部坐标序列进行映射变换，将坐标从左右手roi区域内坐标变换为原图像中坐标映射变换，将坐标从左右手roi区域内坐标变换为原图像中坐标映射变换，将坐标从左右手roi区域内坐标变换为原图像中坐标经过变换后，手部骨骼数据为原图像中的真实值。5.根据权利要求4所述的方法，其特征在于，步骤s600包括：
步骤s610：根据所述人体骨骼序列数据，在原图像中进行显示，显示出预设定的人体33个关节圆点；步骤s620：根据预设定的各个人体关节点连接顺序，直线连接得到人体骨骼连线，与关节圆点构成人体骨骼显示图像；步骤s630：根据所述手部骨骼序列数据，在原图像中进行显示，显示出手部关节圆点；步骤s640：根据预设定的各个手部关节点连接顺序，直线连接得到手部骨骼连线，与关节圆点构成手部骨骼显示图像。

技术总结
本发明公开了一种基于两阶段的体势-手势整体姿态捕获方法，包括使用单目相机对人体交互动作进行视频采集；将视频数据送入已训练好的人体骨骼提取网络得到人体骨骼序列数据，并根据结果得到人体高度；将人体骨骼序列数据和人体高度送入手部定位模块，得到手部ROI区域结果和对应的图像序列；将手部ROI区域的图像序列送入手部骨骼提取网络，得到手部骨骼序列在ROI区域的数据值；根据手部ROI区域值，将手部骨骼序列在ROI区域的数据值，反映射回原图像中得到手部骨骼序列的真实数据值；最后将人体骨骼序列数据和手部骨骼序列数据在原图像上进行显示，完成体势-手势骨骼点捕获。系统硬件简易、识别效果好并且实时性高稳定性强。识别效果好并且实时性高稳定性强。识别效果好并且实时性高稳定性强。


技术研发人员：王耀南 郭晓峰 朱青 毛建旭 莫洋 陈林 周振 冯明涛
受保护的技术使用者：湖南大学
技术研发日：2022.06.14
技术公布日：2022/9/2