一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

人手位置信息确定方法及相关设备与流程

2021-11-05 20:01:00 来源:中国专利 TAG:


1.本技术属于图像识别技术领域,尤其涉及一种人手位置信息确定方法及相关设备。


背景技术:

2.现有自下而上的人体姿态估计人工智能(artificial intelligence,ai)算法,能够检测图像中人体的所有关键点,并将同一个人的关节点连接起来,组合成一个人的整体骨架。通过上述ai算法,能够检测的人体常见关键部位,例如:鼻子、颈部、左右眼、左右耳、左右肩关节、左右肘关节、左右腕关节、左右跨关节、左右膝关节以及左右踝关节。
3.然而,上述人体姿态估计算法,无法直接检测图像中人物对象的人手位置,从而导致无法识别出人物对象的整体姿态。因此,如何在现有人体姿态估计算法上,快速识别出图像中人物对象的人手位置已成为亟需解决的问题。


技术实现要素:

4.有鉴于此,本技术实施例提供的一种人手位置信息确定方法、装置、电子设备、计算机存储介质和计算机程序产品,能够在计算量较少的情况下,快速从图像中确定人手位置信息。
5.第一方面,本技术实施例提供一种人手位置信息确定方法,所述人手位置信息确定方法包括:
6.根据人体骨架检测模型,确定图像中人物对象的关键部位关节点在预设坐标系中的位置信息;所述关键部位关节点至少包括头部关键部位关节点、第一部位关节点、肘部关节点以及腕部关节点,第一部位关节点包括颈部关节点或者肩部关节点;
7.根据所述头部关键部位关节点的位置信息和所述第一部位关节点的位置,确定所述头部关键部位关节点和所述第一部位关节点的高度差;
8.根据所述高度差,确定所述人物对象的手部尺寸;
9.根据所述手部尺寸、所述肘部关节点的位置信息以及所述腕部关节点的位置信息,确定特征点的位置信息,所述特征点为包围手部区域的预设形状的特征点;
10.将所述特征点的位置信息确定为所述人物对象的人手位置信息。
11.在一些实施例中,所述根据所述手部尺寸、所述肘部关节点以及腕部关节点,确定特征点的位置信息,包括:
12.根据所述肘部关节点的位置信息以及所述腕部关节点的位置信息,确定第一直线及其对应的第一直线方程;
13.根据所述第一直线方程、所述肘部关节点的位置信息以及所述腕部关节点的位置信息,确定手部与所述腕部关节点的相对位置;
14.根据所述相对位置、所述手部尺寸以及所述腕部关节点的位置信息,确定所述特征点的位置信息。
15.在一些实施例中,所述根据所述第一直线方程、所述肘部关节点的位置信息以及所述腕部关节点的位置信息,确定手部与所述腕部关节点的相对位置,包括:
16.根据所述第一直线方程,确定所述第一直线与所述预设坐标系中坐标轴的位置关系;
17.根据所述位置关系,以及所述肘部关节点与所述腕部关节点的坐标相对关系,确定手部与所述腕部关节点的相对位置。
18.在一些实施例中,所述根据所述位置关系,以及所述肘部关节点与所述腕部关节点的坐标相对关系,确定手部与所述腕部关节点的相对位置,包括:
19.在所述第一直线与所述第一坐标轴垂直,且所述腕部关节点在所述预设坐标系中第二坐标轴上的坐标大于所述肘部关节点在所述第二坐标轴上的坐标的情况下,确定手部位于所述腕部关节点朝向第二坐标轴正方向的一侧;
20.在所述第一直线与所述第一坐标轴垂直,且所述肘部关节点在所述第二坐标轴上的坐标大于所述腕部关节点在所述第二坐标轴上的坐标的情况下,确定所述手部位于所述腕部关节点朝向第二坐标轴反方向的一侧;
21.在所述第一直线与所述第一坐标轴平行或者倾斜相交,且所述腕部关节点在所述第一坐标轴上的坐标大于所述肘部关节点在所述第一坐标轴上的坐标的情况下,确定所述手部位于所述腕部关节点朝向第一坐标轴正方向的一侧;
22.在所述第一直线与所述第一坐标轴平行或者倾斜相交,且所述肘部关节点在所述第一坐标轴上的坐标大于所述腕部关节点在所述第一坐标轴上的坐标的情况下,确定所述手部位于所述腕部关节点朝向第一坐标轴反方向的一侧。
23.在一些实施例中,所述预设形状为圆形,所述根据所述相对位置、所述手部尺寸以及所述腕部关节点的位置信息,确定特征点的位置信息,包括:
24.确定在所述第一直线上,与所述腕部关节点的距离为第一距离的第一坐标点,所述第一距离根据所述手部尺寸确定;
25.根据所述相对位置以及第一坐标点,确定所述特征点的位置信息。
26.在一些实施例中,所述预设形状为多边形,所述根据所述相对位置、所述手部尺寸以及所述腕部关节点的位置信息,确定特征点的位置信息,包括:
27.在所述特征点包括所述预设形状的顶点的情况下,根据所述第一直线的方程,确定垂直于所述第一直线的第二直线的斜率;
28.根据所述腕部关节点的位置信息以及所述第二直线的斜率,确定第二直线及其对应的第二直线方程,所述第二直线经过所述腕部关节点;
29.根据所述第二直线方程以及所述腕部关节点的位置信息,计算所述多边形的第一边的顶点的位置,所述第一边的顶点包括第一顶点和第二顶点,所述第一顶点和所述第二顶点均与所述腕部关节点的距离不小于第一距离,所述第一距离根据所述手部尺寸确定;
30.根据所述第一边的顶点、所述相对位置、所述多边形的内角,以及所述手部尺寸,确定所述预设形状除第一边外的其它边的顶点的位置。
31.在一些实施例中,所述头部关键部位关节点包括左耳关节点和/或右耳关节点。
32.第二方面,本技术实施例提供了一种人手位置信息确定装置,该人手位置信息确定装置包括:
33.第一位置确定模块,用于根据人体骨架检测模型,确定图像中人物对象的关键部位关节点在预设坐标系中的位置信息;所述关键部位关节点至少包括头部关键部位关节点、第一部位关节点、肘部关节点以及腕部关节点,第一部位关节点包括颈部关节点或者肩部关节点;
34.高度差确定模块,用于根据所述头部关键部位关节点的位置信息和所述第一部位关节点的位置信息,确定所述头部关键部位关节点和所述第一部位关节点的高度差;
35.手部尺寸确定模块,用于根据所述高度差,确定所述人物对象的手部尺寸;
36.第二位置确定模块,用于根据所述手部尺寸、所述肘部关节点的位置信息以及所述腕部关节点的位置信息,确定特征点的位置信息,所述特征点为包围手部区域的预设形状的特征点;
37.第三位置确定模块,用于将所述特征点的位置信息确定为所述人物对象的人手位置信息。
38.第三方面,本技术实施例提供了一种电子设备,所述设备包括:处理器以及存储有计算机程序指令的存储器;
39.所述处理器执行所述计算机程序指令时实现如第一方面所述的人手位置信息确定方法。
40.第四方面,本技术实施例提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如第一方面所述的人手位置信息确定方法。
41.第五方面,本技术实施例提供一种计算机程序产品,包括计算机程序或指令,所述计算机程序或指令被处理器执行时实现如第一方面所述的人手位置信息确定方法。
42.本技术实施例提供的一种人手位置信息确定方法、装置、电子设备、计算机存储介质和计算机程序产品,能够通过获取图像中人物对象的关键部位关节点的位置,得到第一部位关节点和头部关键部位关节点的高度差,并且根据高度差得到人物对象的手部尺寸。同时,通过根据所述手部尺寸、肘部关节点的位置信息以及腕部关节点的位置信息,得到包围手部区域的预设形状的特征点位置,并且将预设形状的特征点的位置信息确定为人手位置信息。如此,通过计算包围人手的预设形状的特征点的位置信息,可以快速确定出图像中人物对象的人手位置,从而达到无需复杂的运算,即可识别人手位置的目的。简化了人手位置识别步骤,避免了识别人手位置时,导致的算力大幅上升以及算法延迟增加的问题。
附图说明
43.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
44.图1是根据本技术实施例提供的一种人手位置信息确定方法的流程示意图;
45.图2是本技术实施例中一种人体关键关节点的示意图;
46.图3是本技术实施例提供的一种人物图像的示意图;
47.图4是根据本技术实施例提供的一种手部与腕部关节点的相对位置示意图;
48.图5是根据本技术实施例提供的一种人手位置信息示意图;
49.图6是根据本技术实施例提供的另一种人手位置信息示意图;
50.图7为本技术实施例中一种人手位置信息确定装置的组成结构示意图;
51.图8是根据一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
52.下面将详细描述本技术的各个方面的特征和示例性实施例,为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本技术进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本技术,而不是限定本技术。对于本领域技术人员来说,本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
53.人体姿态估计,主要在于研究描述人体姿态以及预测人体行为,其识别过程是在指定图像或视频中,根据人体中关节点位置的变化,识别人体动作的过程。一般人体姿态估计模型通过深度学习以及结合上下文,仅能识别人体关键关节点的位置。然而,该模型对于人体手部区域是无法正常识别的。对此,人们在人体姿态估计模型基础上,利用人手的骨架ai模型来识别人物对象的手部位置。虽然在一定程度上能够识别出人物对象的手部区域,但是会造成识别算法延迟,以及需求算力大幅度上升的问题。
54.为达到快速识别图像中人物对象的手部位置信息,本技术实施例提供了一种人手位置信息确定方法、装置、设备及计算机存储介质,能够利用头部关键部位与第一关节点的高度差,确定包围手部区域的预设形状的手部尺寸,并根据腕部关节点的位置信息、肘部关节点的位置信息以及手部尺寸,确定预设形状的特征点的位置信息。如此,快速简单地确定出人手位置信息。
55.下面首先对本技术实施例所提供的人手位置信息确定方法进行介绍。
56.图1是根据本技术实施例提供的一种人手位置信息确定方法的流程示意图。如图1所示,该人手位置信息确定方法应用于人手位置信息确定装置,包括:
57.步骤s110,根据人体骨架检测模型,提取图像中人物对象的关键部位关节点在预设坐标系中的位置信息。
58.这里,关键部位关节点至少包括头部关键部位关节点、第一部位关节点、肘部关节点以及腕部关节点。
59.步骤s120,根据头部关键部位关节点的位置信息和第一部位关节点的位置,确定头部关键部位关节点和第一部位关节点的高度差。
60.步骤s130,根据高度差,确定人物对象的手部尺寸。
61.步骤s140,根据手部尺寸、肘部关节点的位置信息以及腕部关节点的位置信息,确定特征点的位置信息。
62.步骤s150,将特征点的位置信息确定为人物对象的人手位置信息。
63.在本技术实施例中,能够通过获取图像中人物对象的关键部位关节点的位置,得到第一部位关节点和头部关键部位关节点的高度差,并且根据高度差得到人物对象的手部尺寸。同时,通过根据所述手部尺寸、肘部关节点的位置信息以及腕部关节点的位置信息,得到包围手部区域的预设形状的特征点位置,并且将预设形状的特征点的位置信息确定为人手位置信息。如此,通过计算包围人手的预设形状的特征点的位置信息,可以快速确定出
图像中人物对象的人手位置,从而达到无需复杂的运算,即可识别人手位置的目的。简化了人手位置识别步骤,避免了识别人手位置时,导致的算力大幅上升以及算法延迟增加的问题。
64.下面介绍上述各个步骤的具体实现方式。
65.本技术实施例涉及的“预设坐标系”可以为图像的参考坐标系。可选地,该图像坐标系可以为直角坐标系。在该图像的参考坐标系中,第一坐标轴与第二坐标轴垂直。例如,在图像的参考坐标系中,可以将以水平向右定义为第一坐标轴的正方向,将竖直向下定义为第二坐标轴的正方向。或者,将以水平向左定义为第一坐标轴的正方向,将竖直向下定义为第二坐标轴的正方向,等等。在本技术实施例中,对于预设坐标系的方向不做限制。
66.本技术实施例涉及的“人体骨架检测模型”,用于从图像中检测出人物对象的重要关节点的位置。人体骨架检测模型可以是一种人体姿态估计的深度学习模型。例如人体骨架检测模型可以为alphapose模型,pytorch

openpose模型,openpifpaf模型,mobilepose模型,lighttrack模型或者lightweight openpose模型。
67.图2是本技术实施例中一种人体关键关节点的示意图,如图2所示,人体关键关节可以包括鼻部关节点0、颈部关节点1、左眼关节点15、右眼关节点14、左耳关节点17、右耳关节点16、左肩关节点5、右肩关节点2、左肘关节点6、右肘关节点3、左腕关节点7、右腕关节点4、左跨关节点11、右跨关节点8、左膝关节点12、右膝关节点12、左踝关节点13以及右踝关节点10。
68.本技术实施例涉及的“图像”可以为人物图像,包含至少一个人物对象。图3是本技术实施例提供的一种人物图像的示意图。如图3所示,图中包含一个人物对象,在步骤s110中,人手位置信息确定装置识别出图像中的人物对象,然后利用人体骨架检测模型,提取人物对象的关键部位关节点,并确定该关键部位关节点在预设坐标系中的位置信息。
69.本技术实施例涉及的“关键部位关节点”可以至少包括头部关键部位关节点、第一部位关节点、肘部关节点以及腕部关节点,其中,第一部位关节点包括颈部关节点或者肩部关节点。
70.通过大量数据研究表明,在人们活动时,人体的头部与颈部活动范围小于人体四肢的活动范围。因此,与四肢部位上的关节点相比,头部关节点和颈部关节点的位置稳定性较好。可选地,头部关节点可以包括耳部关节点、鼻部关节点、眼部关节点。
71.本技术实施例涉及的“位置信息”,可以为关节点在预设坐标系中的位置信息。位置信息可以包括坐标信息。可选地,在图像为二维图像时,坐标信息可以包括第一坐标轴上的坐标和第二坐标轴上的坐标。第一坐标轴上的坐标的大小为坐标点到第二坐标轴的距离。第二坐标轴上的坐标的大小为坐标点到第一坐标轴的距离。
72.本技术实施例涉及的“高度差”,可以为预设坐标系中竖直方向上的高度差。可选地,高度差可以为两个关节点在竖直方向上的坐标差值。
73.在步骤s120中,人手位置信息确定装置根据头部关键部位关节点与第一部位关节点之间的竖直方向上的坐标差值,确定头部关键部位关节点与第一部位关节点之间的高度差。
74.由于在人们活动头部时,例如人们抬头,低头时,眼部关节点和鼻部关节相对于颈部关节点的高度发生较大变化,而耳部关节点相对于颈部关节点的高度变化较小。并且在
人体向侧面倾斜时,关节点之间的高度差的改变量小于关节点之间的宽度差的改变量。
75.因此,为了进一步准确确定人物的人手尺寸,在一些实施例中,头部关键部位关节点可以包括左耳关节点,也可以包括右耳关节点,还可以同时包括左耳关节点和右耳关节点。
76.在一些实施例中,第一部位关节点可以包括颈部关节点。由于无论人们是否处于活动状态,人体颈部位置相对固定。因此,头部关键部位关节点和颈部关节点之间的高度差相对固定。
77.在一些实施例中,第一部位关节点也可以包括肩部关节点。由于左肩部关节点、右肩关节点与颈部关节点几乎在同一直线上,并且颈部关节点几乎位于两个肩部关节点之间。因此,头部关键部位关节点和肩部关节点之间的高度差较为固定。
78.本技术实施例涉及的“人手尺寸”可以为包围手部区域的预设形状的尺寸。可选地,人手尺寸可以为边长、直径、半径或者面积等。
79.在一些实施例中,由于人体关节长度与人手尺寸存在一定的比例关系。因此,为了准确确定人手尺寸,在步骤s130中,人手确定装置可以将头部关键部位关节点与第一部位关节点之间的高度差乘以预设系数,得到人手尺寸。
80.这里,预设系数的范围可以在0.7到1.3范围之内。例如,在预设形状为矩形时,预设系数可以包括宽边预设系数和长边预设系数。人手位置信息确定装置将高度差分别乘以宽边预设系数和长边预设系数,得到预设形状的宽边边长和长边边长,其中,宽边边长小于长边边长。可选地,宽边预设系数可以为0.8,长边预设系数可以为1.2。
81.本技术实施例涉及的“预设形状”可以为包围手部区域的几何形状。可选地,预设形状可以为圆形或者多边形。
82.本技术实施例涉及的“特征点”为包围手部区域的预设形状的特征点。特征点可以为预设形状的特殊点,通过该特征点可以确定预设形状的位置。可选地,特征点可以为中心点、顶点或者圆点等。
83.由于手部与腕部连接,因此,根据腕部关节点和肘部关节点可以大致确定手部区域的大概位置。同时,根据人手尺寸可以确定出预设形状的大小。从而在步骤s140中,人手位置信息确定装置可以根据手部尺寸、肘部关节点的位置信息以及腕部关节点的位置信息,确定特征点的位置信息。
84.在一些实施例中,步骤s140具体可以执行为:
85.根据肘部关节点的位置信息以及腕部关节点的位置信息,确定第一直线及其对应的第一直线方程;
86.根据第一直线方程、肘部关节点的位置信息以及腕部关节点的位置信息,确定手部与腕部关节点的相对位置;
87.根据相对位置、手部尺寸以及腕部关节点的位置信息,确定特征点的位置信息。
88.这里,第一直线为肘部关节点和腕部关节点连接形成的直线。因此,根据肘部关节点的位置信息和腕部关节点的位置信息,人手位置信息确定装置可以确定第一直线方程。
89.本技术实施例涉及的“直线方程”可以为以下三种形式之一:y=a,x=b,y=ax b。
90.其中,y可以表示坐标点到第一坐标轴的距离,x可以表示坐标点到第二坐标轴的距离,a表示直线的斜率,表示直线相对于第一坐标轴的倾斜角度。
91.本技术实施例涉及的“相对位置”可以包括朝向第一坐标轴正方向一侧的位置,朝向第一坐标轴反方向一侧的位置,朝向第二坐标轴正方向一侧的位置,朝向第二坐标轴反方向一侧的位置。
92.在上述实施例中,由于手部、腕部和肘部是依次连接的,因此,可以根据肘部关节点和腕部关节点的位置关系,确定手部与腕部关节点的相对位置。通过相对位置关系、以及手部尺寸以及腕部关节点的位置信息,可以快速准确地确定出包围手部区域的预设形状的特征点的位置信息。
93.在一些实施例中,根据第一直线方程、肘部关节点的位置信息以及腕部关节点的位置信息,确定手部与腕部关节点的相对位置,可以包括:
94.根据第一直线方程,确定第一直线与预设坐标系中坐标轴的位置关系;
95.根据该位置关系,以及肘部关节点与腕部关节点的坐标相对关系,确定手部与腕部关节点的相对位置。
96.这里,坐标轴可以为第一坐标轴,或者第二坐标轴。当第一直线方程为y=a时,人手位置信息确定装置可以确定第一直线与第一坐标轴的位置关系为平行,或者与第二坐标轴垂直。当第一直线方程为x=b时,人手位置信息确定装置可以确定第一直线与第一坐标轴的位置关系为垂直,或者第一直线与第二坐标轴的位置关系为平行。当第一直线方程为y=ax b时,人手位置信息确定装置可以确定第一直线与第一坐标轴的位置关系为倾斜相交,或者第一直线与第二坐标轴的位置关系为倾斜相交。
97.本技术实施例涉及的“坐标相对关系”包括到第一坐标轴上的相对关系或者到第二坐标轴上的相对关系。
98.在上述实施例中,通过第一直线与预设坐标系中坐标轴的位置关系,可以准确,以及快速确定出手部相对于腕部关节点的位置,以便后续从多个候选特征点选取正确的特征点。
99.在一些实施例中,根据该位置关系,以及肘部关节点与腕部关节点的坐标相对关系,确定手部与腕部关节点的相对位置,可以包括:
100.在第一直线与第一坐标轴垂直,且腕部关节点在第二坐标轴上的坐标大于所述肘部关节点在第二坐标轴上的坐标的情况下,确定手部位于腕部关节点朝向第二坐标轴正方向的一侧。
101.在一些实施例中,根据该位置关系,以及肘部关节点与腕部关节点的坐标相对关系,确定手部与腕部关节点的相对位置,可以包括:
102.在第一直线与第一坐标轴垂直,且肘部关节点在第二坐标轴上的坐标大于腕部关节点在第二坐标轴上的坐标的情况下,确定手部位于腕部关节点朝向第二坐标轴反方向的一侧。
103.在一些实施例中,根据该位置关系,以及肘部关节点与腕部关节点的坐标相对关系,确定手部与腕部关节点的相对位置,可以包括:
104.在第一直线与第一坐标轴平行或者倾斜相交,且腕部关节点在第一坐标轴上的坐标大于所述肘部关节点在第一坐标轴上的坐标的情况下,确定手部位于所述腕部关节点朝向第一坐标轴正方向的一侧。
105.在一些实施例中,根据该位置关系,以及肘部关节点与腕部关节点的坐标相对关
系,确定手部与腕部关节点的相对位置,可以包括:
106.在第一直线与所述第一坐标轴平行或者倾斜相交,且肘部关节点在第一坐标轴上的坐标大于腕部关节点在第一坐标轴上的坐标的情况下,确定手部位于所述腕部关节点朝向第一坐标轴反方向的一侧。
107.为进一步加深对手部与腕部关节点的相对位置的理解,以第一坐标轴为横坐标轴,且水平向右的方向为正方向,水平向左的方向为反方向,以及第二坐标轴为纵坐标轴,且竖直向下的方向为正方向,竖直向上的方向为反方向,肘部关节点a的位置信息可以为(x2,y2),腕部关节点b的位置信息可以为(x1,y1)为例进行说明。
108.图4是根据本技术实施例提供的一种手部与腕部关节点的相对位置示意图。如图4所示,在第一直线与横坐标轴垂直,且y2>y1的情况下,肘部关节点位于腕部关节点的下方,以及手部位于腕部关节点b的上方。在第一直线与横坐标轴垂直,且y2<y1的情况下,肘部关节点a位于腕部关节点的上方,以及手部位于腕部关节点的下方。
109.在第一直线与第一坐标轴平行或者倾斜相交,且x2>x1的情况下,肘部关节点a位于腕部关节点b的右方,以及手部位于腕部关节点b的左方。在第一直线与第一坐标轴平行或者倾斜相交,且x2<x1的情况下,肘部关节点a位于腕部关节点b的左方,以及手部位于腕部关节点b的右方。
110.在上述实施例中,通过判断第一直线与第一坐标轴的位置关系,以及腕部关节点与肘部关节点的坐标大小,准确确定出手部相对于腕部关节点的位置。
111.本技术实施例涉及的“第一距离”可以根据手部尺寸确定。例如,第一距离可以等于手部尺寸的二分之一,或者,第一距离与手部尺寸的二分之一的差值在预设范围内。可选地,预设范围可以为3厘米左右。
112.在一些实施例中,在预设形状可以为圆形的情况下,该圆形关于第一直线对称,且圆形的半径为第一距离。此外,该圆形经过腕部关节点,远离肘部关节点。
113.在一些实施例中,在预设形状为圆形的情况下,根据相对位置、手部尺寸以及腕部关节点的位置信息,确定特征点的位置信息,可以包括:
114.确定在第一直线上,与腕部关节点的距离为第一距离的第一坐标点;
115.根据相对位置以及第一坐标点,确定特征点的位置信息。
116.这里,预设形状的特征点可以是圆心。该圆心位于第一直线上,且该圆心距离腕部关节点的距离为第一距离。由于在第一直线上与腕部关节点的距离为第一距离的第一坐标点有两个,因此,手部位置确定装置根据手部与腕部关节点的相对位置,可以确定将哪个第一坐标点作为特征点。此外,该预设形状的半径为第一距离。
117.图5是根据本技术实施例提供的一种人手位置信息示意图。如图5所示,第一坐标轴为横坐标轴,且水平向右的方向为正方向,以及第二坐标轴为纵坐标轴,且竖直向下的方向为正方向,第一距离为l,腕部关节点b的位置信息可以为(x1,y1)。第一坐标点的位置信息为(x3,y3)和(x4,y4)。
118.在第一直线方程为x=a1的情况下,x3=x1,y3=y1 l,x4=x1,y4=y1‑
l。当手部位于腕部关节点的上方时,特征点c的位置信息为(x4,y4)。当手部位于腕部关节点b的下方时,特征点c的位置信息为(x3,y3)。
119.在第一直线方程为y=b1的情况下,x3=x1 l,y3=b1,x4=x1‑
l,y4=b1。当手部位于
腕部关节点b的左方时,特征点c的位置信息为(x4,y4)。当手部位于腕部关节点b的右方时,特征点c的位置信息为(x3,y3)。
120.在第一直线方程为y=a1x b1的情况下,d1=sqrt(l2/(1 a
12
)),其中,sqrt表示开平方运算。x3=x1 d1,y3=a1x3 b1,x4=x1‑
d1,y4=a1x4 b1。当手部位于腕部关节点b的右方时,特征点的位置信息为(x3,y3)。当手部位于腕部关节点b的左方时,特征点的位置信息为(x4,y4)。
121.需要说明的是,预设形状可以为以特征点为圆心,以第一距离为半径的圆形。
122.此外,当特征点为第一直线与预设形状的交点时,特征点与腕部关节点的距离为第一距离。从而预设形状可以为以特征点与腕部关节之间的中心点为圆心,第一距离的2倍为直径的圆形。特征点计算过程与上述实施例类似,这里不再赘述。
123.需要说明的是,预设形状也可以为椭圆。在本技术实施例中,对于预设形状的圆形不做限制。
124.在上述实施例中,在预设形状为圆形的情况下,通过第一直线以及第一距离,求取圆形的特征点的位置信息,从而可以快速准确地确定出人手位置信息。
125.本技术实施例涉及的“多边形”可以为三角形、四边形以及五边形等。并且该多边形的中心线在第一直线上。在预设形状可以为多边形的情况下,预设形状的特征点可以为多边形的顶点,也可以为多边形的中心点。
126.在一些实施例中,预设形状为多边形,根据相对位置、手部尺寸以及腕部关节点的位置信息,确定特征点的位置信息,包括:
127.在特征点包括预设形状的顶点的情况下,根据第一直线的方程,确定垂直于第一直线的第二直线的斜率;
128.根据腕部关节点的位置信息以及第二直线的斜率,确定第二直线及其对应的第二直线方程;
129.根据第二直线方程以及腕部关节点的位置信息,计算多边形的第一边的顶点的位置;
130.根据所述第一边的顶点、所述相对位置、所述多边形的内角,以及第一距离,确定预设形状除第一边外的其它边的顶点的位置。
131.这里,第二直线与第一直线垂直,且第二直线经过腕部关节点。如此,根据第一直线方程中的斜率,可以求出第二直线的斜率。并且根据腕部关节点的位置信息,可以求解出与第二直线对应的直线方程。
132.本技术实施例涉及的“第一边”为预设形状中经过腕关节的边。第一边位于第二直线上。第一边长的顶点包括第一顶点和第二顶点。第一顶点与腕部关节点的距离为第一距离,以及第二顶点与腕部关节点的距离也为第一距离。如此,通过第一直线斜率、腕部关节点的位置信息、以及第一距离,可以求出预设形状第一边的两个顶点的位置信息。
133.这里,人手位置信息确定装置根据第一边的斜率以及多边形的内角,可以求出第二边的斜率。根据第二边斜率以及多边形的内角,可以求出第三边的斜率,依次类推,可以求出预设形状各个边的斜率。再根据各个边的斜率以及各边已知的顶点,可以求出各边直线对应的直线方程。根据预设形状的边长以及各边的斜率,求出各边的一个顶点相对于另一个顶点沿坐标轴的变化量,根据相对位置信息以及各边的直线方程,确定出各边的顶点。
134.本技术实施例中“第一距离”可以为边长的一半。第一距离可以根据人手尺寸确定。此外,人手尺寸可以包括宽边尺寸以及长边尺寸,以及第一距离可以包括长边距离和短边距离。长边距离可以与长边尺寸的一半相差在预设阈值范围内,短边距离可以与短边尺存的一半相差在预设阈值范围内。
135.图6是根据本技术实施例提供的另一种人手位置信息示意图。如图6所示,预设形状为矩形,其中,矩形的长边边长为长边距离的2倍,用w表示,矩形短边边长为短边距离的2倍,用h表示。第一坐标轴为横坐标轴,且水平向右的方向为正方向,以及第二坐标轴为纵坐标轴,且竖直向下的方向为正方向,腕部关节点b的位置信息为(x1,y1),第一直线为l1。
136.在直线l1方程为x=a1的情况下,该矩形的第一边的两个顶点分别为p1(x1‑
w/2,y1)和p2(x1 w/2,y1)。当手部位于腕部关节点的下方时,该矩形的另外边的两个顶点分别为p3(x1‑
w/2,y1 h)和p4(x1 w/2,y1 h)。当手部位于腕部关节点的上方时,该矩形的另外边的两个顶点分别为p3(x1‑
w/2,y1‑
h)和p4(x1 w/2,y1‑
h)。
137.在直线l1方程为x=a1的情况下,该矩形的第一边长的两个顶点分别为p1(x1,y1‑
w/2)和p2(x1,y1 w/2)。当手部位于腕部关节点的右方时,该矩形的另外边的两个顶点分别为p3(x1 h,y1‑
w/2)和p4(x1 h,y1 w/2)。当手部位于腕部关节点的左方时,该矩形的另外两个顶点分别为p3(x1‑
h,y1‑
w/2)和p4(x1‑
h,y1 w/2)。
138.在第一直线l1为y=a1x b1的情况下,首先,求解一条与l1垂直,且经过腕部关节点的第二直线l2。第二直线l2为y=a2x b2,其中,a2=

1/a1,b2=y1‑
a2x1。
139.其次,计算出l2上与腕部关节点相距w/2的两个顶点p1(x5,y5)和p2(x6,y6)(即第一边的两个顶点)。具体地,沿横坐标轴变化的长度为:d2=sqrt((w/2)2/(1 a
22
)),其中,sqrt表示开平方运算。这里,x5=x1 d2,y5=a2x1 b2,x6=x1‑
d2,y6=a2x6 b2。
140.再次,计算一条与第二直线l2垂直(即内角为90度)且经过p1的第三直线l3以及一条与第二直线l2垂直且经过p2的第四直线l4。
141.第三直线l3可以为:y=a1x b3,其中,b3=y5‑
a1x5。
142.第四直线l4可以为:y=a1x b4,其中,b4=y6‑
a1x6。
143.沿纵坐标轴变化的长度为:d3=sqrt((h)2/(1 a
12
))。
144.最后,该矩形的另外边的两个顶点分别为p3(x7,y7)和p4(x8,y8),当手部位于腕部关节点的右方时,x7=x5 d3,y7=a1x7 b3,x8=x4 d3,y8=a1x8 b4。
145.当手部位于腕部关节点的左方时,x7=x5‑
d3,y7=a1x7 b3,x8=x4‑
d3,y8=a1x8 b4。
146.在上述实施例中,在预设形状为多边形的情况下,先通过垂直于第一直线的第二直线,求取经过腕部关节点的第一边的两个顶点,然后再通过多边形的内角以及第一距离,求取多边形其它边的顶点,从而利用简单几何运算,可以快速确定出人手位置信息。
147.基于上述实施例提供的人手位置信息确定方法,相应地,本技术还提供了人手位置信息确定装置的具体实现方式。请参见以下实施例。
148.图7为本技术实施例中一种人手位置信息确定装置的组成结构示意图。如图7所示,本技术实施例提供的人手位置信息确定装置包括以下模块:
149.第一位置确定模块41,用于根据人体骨架检测模型,确定图像中人物对象的关键部位关节点在预设坐标系中的位置信息;所述关键部位关节点至少包括头部关键部位关节点、第一部位关节点、肘部关节点以及腕部关节点,第一部位关节点包括颈部关节点或者肩
部关节点;
150.高度差确定模块42,用于根据所述头部关键部位关节点的位置信息和所述第一部位关节点的位置,确定所述头部关键部位关节点和所述第一部位关节点的高度差;
151.手部尺寸确定模块43,用于根据所述高度差,确定所述人物对象的手部尺寸;
152.第二位置确定模块44,用于根据所述手部尺寸、所述肘部关节点的位置信息以及所述腕部关节点的位置信息,确定特征点的位置信息,所述特征点为包围手部区域的预设形状的特征点;
153.第三位置确定模块45,用于将所述特征点的位置信息确定为所述人物对象的人手位置信息。
154.在一些实施例中,第二位置确定模块44包括:
155.第一直线确定子模块,用于根据所述肘部关节点的位置信息以及所述腕部关节点的位置信息,确定第一直线及其对应的第一直线方程;
156.相对位置确定子模块,用于根据所述第一直线方程、所述肘部关节点的位置信息以及所述腕部关节点的位置信息,确定手部与所述腕部关节点的相对位置;
157.特征点位置确定子模块,用于根据所述相对位置、所述手部尺寸以及所述腕部关节点的位置信息,确定所述特征点的位置信息。
158.在一些实施例中,在一些实施例中,相对位置确定子模块包括:
159.第一位置关系确定单元,用于根据所述第一直线方程,确定所述第一直线与所述预设坐标系中坐标轴的位置关系;
160.相对位置确定单元,用于根据所述位置关系,以及所述肘部关节点与所述腕部关节点的坐标相对关系,确定手部与所述腕部关节点的相对位置。
161.在一些实施例中,第一位置关系确定单元具体用于,在所述第一直线与所述第一坐标轴垂直,且所述腕部关节点到所述第一坐标轴的距离大于所述肘部关节点到所述第一坐标轴的距离的情况下,确定手部位于所述腕部关节点朝向第二坐标轴正方向的一侧;
162.在所述第一直线与所述第一坐标轴垂直,且所述肘部关节点在所述第二坐标轴上的坐标大于所述腕部关节点在所述第二坐标轴上的坐标的情况下,确定所述手部位于所述腕部关节点朝向第二坐标轴反方向的一侧;
163.在所述第一直线与所述第一坐标轴平行或者倾斜相交,且所述腕部关节点在所述第一坐标轴上的坐标大于所述肘部关节点在所述第一坐标轴上的坐标的情况下,确定所述手部位于所述腕部关节点朝向第一坐标轴正方向的一侧;
164.在所述第一直线与所述第一坐标轴平行或者倾斜相交,且所述肘部关节点在所述第一坐标轴上的坐标大于所述腕部关节点在所述第一坐标轴上的坐标的情况下,确定所述手部位于所述腕部关节点朝向第一坐标轴反方向的一侧。
165.在一些实施例中,在预设形状为圆形的情况下,特征点位置确定子模块,具体用于确定在所述第一直线上,与所述腕部关节点的距离为第一距离的第一坐标点,所述第一距离根据所述手部尺寸确定;
166.根据所述相对位置以及第一坐标点,确定所述特征点的位置信息。
167.在一些实施例中,在预设形状为多边形的情况下,特征点位置确定子模块,具体用于在所述特征点包括所述预设形状的顶点的情况下,根据所述第一直线的方程,确定垂直
于所述第一直线的第二直线的斜率;
168.根据所述腕部关节点的位置信息以及所述第二直线的斜率,确定第二直线及其对应的第二直线方程,所述第二直线经过所述腕部关节点;
169.根据所述第二直线方程以及所述腕部关节点的位置信息,计算所述多边形的第一边的顶点的位置,所述第一边的顶点包括第一顶点和第二顶点,所述第一顶点和所述第二顶点均与所述腕部关节点的距离不小于第一距离,所述第一距离根据所述手部尺寸确定;
170.根据所述第一边的顶点、所述相对位置、所述多边形的内角,以及所述手部尺寸,确定所述预设形状除第一边外的其它边的顶点的位置。
171.在一些实施例中,所述头部关键部位关节点包括左耳关节点和/或右耳关节点。
172.图8是根据一示例性实施例示出的一种电子设备的硬件结构示意图。
173.在电子设备可以包括处理器51以及存储有计算机程序指令的存储器52。
174.具体地,上述处理器51可以包括中央处理器(cpu),或者特定集成电路(application specific integrated circuit,asic),或者可以被配置成实施本技术实施例的一个或多个集成电路。
175.存储器52可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器52可包括硬盘驱动器(hard disk drive,hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus,usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器52可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器52可在综合网关容灾设备的内部或外部。在特定实施例中,存储器52是非易失性固态存储器。
176.存储器52可包括只读存储器(rom),随机存取存储器(ram),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本技术的一方面的方法所描述的操作。
177.处理器51通过读取并执行存储器52中存储的计算机程序指令,以实现上述实施例中的任意一种车辆定位方法。
178.在一个示例中,电子设备还可包括通信接口53和总线54。其中,如图8所示,处理器51、存储器52、通信接口53通过总线54连接并完成相互间的通信。
179.通信接口53,主要用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。
180.总线54包括硬件、软件或两者,将在电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci

express(pci

x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线54可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线,但本技术考虑任何合适的总线或互连。
181.该电子设备可以基于执行本技术实施例中的方法,从而实现结合图1至图7描述的
人手位置信息确定方法和装置。
182.另外,结合上述实施例中的人手位置信息确定方法,本技术实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种人手位置信息确定方法。
183.此外,结合上述实施例中的人手位置信息确定方法,本技术实施例提供一种计算机程序产品,包括计算机程序或指令,计算机程序或指令被处理器执行时实现上述实施例中的任意一种人手位置信息确定方法。
184.需要明确的是,本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本技术的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本技术的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
185.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时,本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd

rom、光盘、硬盘、光纤介质、射频(rf)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
186.还需要说明的是,本技术中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本技术不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
187.上面参考根据本技术的实施例的方法、车载终端、电子设备和计算机程序产品的流程图和/或框图描述了本技术的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
188.以上所述,仅为本技术的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本技术的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献