手部跟踪方法、装置、设备及计算机存储介质与流程

1.本技术属于计算机视觉技术，尤其涉及一种手部跟踪方法、装置、设备及计算机存储介质。


背景技术：

2.随着计算机视觉技术的发展，越来越多的智能电子设备能够使用摄像头跟踪人体的动作行为，实现通过捕捉用户的动作姿态接收用户对设备的控制指令，这样，无需遥控器等控制设备，或者鼠标键盘等传统输入设备，即可在一定距离范围内实现用户对设备的操控。例如，用户可通过一个简单的手势，即可调出设备系统中的某个特定功能。
3.通常，在跟踪手势动作的过程中，摄像头可能会捕捉到多只手，例如同一用户的两只手，或者多个用户的多只手等，如何从捕捉到的多只手中确定真正需要跟踪的目标手，成为亟待解决的问题。
4.现有的手部跟踪方式是通过目标手上穿戴的标志性的配饰来区分该目标手，或者通过规定预设操控区域，使目标手在该预设操控区域内进行手势操控，以确保该区域内只有一只手，来实现对目标手的跟踪。这样，导致手势操控受到限制，降低了用户的使用体验。


技术实现要素：

5.本技术实施例提供一种在手部跟踪方法、装置、设备及计算机存储介质，能够解决现有技术中手势操控受到限制，用户使用体验较差的问题。
6.第一方面，本技术实施例提供一种手部跟踪方法，该方法包括：
7.获取用户动作视频；其中，所述用户动作视频为包含多个手部的动作视频；
8.识别目标帧图像中包括的多个手部，得到与所述多个手部对应的特征信息；其中，所述目标帧图像为所述用户动作视频中除首帧图像之外的任一帧图像；
9.根据所述特征信息确定所述多个手部中是否存在满足目标筛选条件的目标手部；其中，所述目标筛选条件包括位于预测位置对应区域内，与目标被跟踪手部的左右手类型相同，以及与所述目标被跟踪手部的手势类型相同中的至少两个条件，所述目标被跟踪手部为所述目标帧图像的上一帧图像中确定的被跟踪手部；
10.在确定存在所述目标手部的情况下，将所述目标手部确定为被跟踪手部。
11.在一种可选的实施方式中，所述根据所述特征信息确定所述多个手部中是否存在满足目标筛选条件的目标手部，包括：
12.根据所述特征信息，确定所述多个手部中是否存在满足目标筛选条件中的第一条件的第一手部；
13.在确定存在所述第一手部且所述第一手部的数量为一个的情况下，将所述第一手部确定为被跟踪手部；
14.在确定存在所述第一手部且所述第一手部的数量为多个的情况下，根据所述特征信息，确定多个所述第一手部中是否存在满足所述目标筛选条件中除所述第一条件之外的
其他条件的目标手部。
15.在一种可选的实施方式中，所述特征信息包括位置信息；
16.所述根据所述特征信息，确定所述多个手部中是否存在满足目标筛选条件中的第一条件的第一手部，包括：
17.获取所述目标帧图像之前的至少两帧图像中被跟踪手部的位置信息；
18.根据所述至少两帧图像中被跟踪手部的位置信息，确定被跟踪手部的运动特征；
19.根据所述运动特征确定所述目标帧图像中的所述预测位置对应区域；
20.根据与所述多个手部分别对应的位置信息，确定所述多个手部中是否存在位于所述预测位置对应区域内的第一手部。
21.在一种可选的实施方式中，所述特征信息还包括左右手类型信息；
22.所述根据所述特征信息，确定多个所述第一手部中是否存在满足所述目标筛选条件中除所述第一条件之外的其他条件的目标手部，包括：
23.根据与多个所述第一手部分别对应的左右手类型信息，确定多个所述第一手部中是否存在与所述目标被跟踪手部的左右手类型相同的第二手部；
24.所述在确定存在所述目标手部的情况下，将所述目标手部确定为被跟踪手部，包括：
25.在确定存在所述第二手部的情况下，将所述第二手部确定为被跟踪手部。
26.在一种可选的实施方式中，所述特征信息还包括手势类型信息；
27.在根据与多个所述第一手部对应的左右手类型信息，确定多个所述第一手部中是否存在与所述目标被跟踪手部的左右手类型相同的第二手部之后，所述方法还包括：
28.在满足第一目标条件中的任一条件的情况下，根据与多个所述第二手部分别对应的手势类型信息，确定多个所述第二手部中是否存在与所述目标被跟踪手部的手势类型相同的第三手部；
29.其中，所述第一目标条件包括：
30.在确定不存在所述第二手部时，将所述第一手部确定为所述第二手部的条件；
31.确定存在所述第二手部，且所述第二手部的数量为多个的条件；
32.所述在确定存在所述第二手部的情况下，将所述第二手部确定为被跟踪手部，包括：
33.在确定存在所述第三手部的情况下，将所述第三手部确定为被跟踪手部。
34.在一种可选的实施方式中，所述特征信息还包括识别概率值；
35.所述在确定存在所述第三手部的情况下，将所述第三手部确定为被跟踪手部，包括：
36.在满足第二目标条件中的任一条件的情况下，根据与多个所述第三手部分别对应的位置信息，计算多个所述第三手部所在的区域和所述预测位置对应区域的重合度；
37.根据所述重合度和所述识别概率值，计算多个所述第三手部分别对应的分数值；
38.从多个所述第三手部中获取分数值最高的第四手部；
39.将所述第四手部确定为被跟踪手部；
40.其中，所述第二目标条件包括：
41.在确定不存在所述第三手部时，将所述第二手部确定为所述第三手部的条件；
42.确定存在所述第三手部，且所述第三手部的数量为多个的条件。
43.在一种可选的实施方式中，所述根据所述重合度和所述识别概率值，计算多个所述第三手部分别对应的分数值，包括：
44.分别计算多个所述第三手部中每个第三手部对应的重合度和识别概率值之间的乘积，将所述乘积确定为所述每个第三手部对应的分数值。
45.在一种可选的实施方式中，所述特征信息还包括手部关键点位置信息；
46.在根据与多个所述第二手部分别对应的手势类型信息，确定多个所述第二手部中是否存在与所述目标被跟踪手部的手势类型相同的第三手部之前，所述方法还包括：
47.根据与多个所述第二手部分别对应的手部关键点位置信息，确定与多个所述第二手部分别对应的手势类型信息。
48.第二方面，本技术实施例提供了一种手部跟踪装置，该手部跟踪装置包括：
49.获取模块，用于获取用户动作视频；其中，所述用户动作视频为包含多个手部的动作视频；
50.识别模块，用于识别目标帧图像中包括的多个手部，得到与所述多个手部对应的特征信息；其中，所述目标帧图像为所述用户动作视频中除首帧图像之外的任一帧图像；
51.筛选模块，用于根据所述特征信息确定所述多个手部中是否存在满足目标筛选条件的目标手部；其中，所述目标筛选条件包括位于预测位置对应区域内，与目标被跟踪手部的左右手类型相同，以及与所述目标被跟踪手部的手势类型相同中的至少两个条件，所述目标被跟踪手部为所述目标帧图像的上一帧图像中确定的被跟踪手部；
52.第一确定模块，用于在确定存在所述目标手部的情况下，将所述目标手部确定为被跟踪手部。
53.在一种可选的实施方式中，所述筛选模块，包括：
54.第一筛选子模块，用于根据所述特征信息，确定所述多个手部中是否存在满足目标筛选条件中的第一条件的第一手部；
55.第一确定子模块，用于在确定存在所述第一手部且所述第一手部的数量为一个的情况下，将所述第一手部确定为被跟踪手部；
56.第二筛选子模块，用于在确定存在所述第一手部且所述第一手部的数量为多个的情况下，根据所述特征信息，确定多个所述第一手部中是否存在满足所述目标筛选条件中除所述第一条件之外的其他条件的目标手部。
57.在一种可选的实施方式中，所述特征信息包括位置信息；
58.第一筛选子模块包括：
59.信息获取单元，用于获取所述目标帧图像之前的至少两帧图像中被跟踪手部的位置信息；
60.特征确定单元，用于根据所述至少两帧图像中被跟踪手部的位置信息，确定被跟踪手部的运动特征；
61.区域确定单元，用于根据所述运动特征确定所述目标帧图像中的所述预测位置对应区域；
62.目标确定单元，用于根据与所述多个手部分别对应的位置信息，确定所述多个手部中是否存在位于所述预测位置对应区域内的第一手部。
63.在一种可选的实施方式中，所述特征信息还包括左右手类型信息；
64.第二筛选子模块包括：
65.第一确定单元，用于根据与多个所述第一手部分别对应的左右手类型信息，确定多个所述第一手部中是否存在与所述目标被跟踪手部的左右手类型相同的第二手部；
66.第一确定模块包括：
67.第二确定子模块，用于在确定存在所述第二手部的情况下，将所述第二手部确定为被跟踪手部。
68.在一种可选的实施方式中，所述特征信息还包括手势类型信息；
69.该第二筛选子模块还包括：
70.第二确定单元，用于在根据与多个所述第一手部分别对应的左右手类型信息，确定多个所述第一手部中是否存在与所述目标被跟踪手部的左右手类型相同的第二手部之后，在满足第一目标条件中的任一条件的情况下，根据与多个所述第二手部分别对应的手势类型信息，确定多个所述第二手部中是否存在与所述目标被跟踪手部的手势类型相同的第三手部；
71.其中，所述第一目标条件包括：
72.在确定不存在所述第二手部时，将所述第一手部确定为所述第二手部的条件；
73.确定存在所述第二手部，且所述第二手部的数量为多个的条件；
74.第二确定子模块包括：
75.第三确定单元，用于在确定存在所述第三手部的情况下，将所述第三手部确定为被跟踪手部。
76.在一种可选的实施方式中，所述特征信息还包括识别概率值；
77.第三确定单元包括：
78.第一计算子单元，用于在满足第二目标条件中的任一条件的情况下，根据与多个所述第三手部分别对应的位置信息，计算多个所述第三手部所在的区域和所述预测位置对应区域的重合度；
79.第二计算子单元，用于根据所述重合度和所述识别概率值，计算多个所述第三手部分别对应的分数值；
80.获取子单元，用于从多个所述第三手部中获取分数值最高的第四手部；
81.确定子单元，用于将所述第四手部确定为被跟踪手部；
82.其中，所述第二目标条件包括：
83.在确定不存在所述第三手部时，将所述第二手部确定为所述第三手部的条件；
84.确定存在所述第三手部，且所述第三手部的数量为多个的条件。
85.在一种可选的实施方式中，第二计算子单元具体用于：
86.分别计算多个所述第三手部中每个第三手部对应的重合度和识别概率值之间的乘积，将所述乘积确定为所述每个第三手部对应的分数值。
87.在一种可选的实施方式中，所述特征信息还包括手部关键点位置信息；
88.该手部跟踪装置还包括：
89.第二确定模块，用于在根据与多个所述第二手部分别对应的手势类型信息，确定多个所述第二手部中是否存在与所述目标被跟踪手部的手势类型相同的第三手部之前，根
据与多个所述第二手部分别对应的手部关键点位置信息，确定与多个所述第二手部分别对应的手势类型信息。
90.第三方面，本技术实施例提供了一种电子设备，该电子设备包括：处理器以及存储有计算机程序指令的存储器；
91.处理器执行所述计算机程序指令时实现如第一方面的任一项实施例中所述的手部跟踪方法。
92.第四方面，本技术实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的任一项实施例中所述的手部跟踪方法。
93.本技术实施例中的手部跟踪方法、装置、设备及计算机存储介质，通过识别用户动作视频中目标帧图像包括的多个手部，利用与该多个手部对应的特征信息，并综合考虑手部位置、左右手类型、手势类型中的至少两个筛选条件，从识别出的多个手部中筛选出满足上述至少两个筛选条件的目标手部，这样，可以在保证手部跟踪准确性的同时，减小对用户手势操控的限制，提高用户的使用体验。
附图说明
94.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
95.图1是本技术一个实施例提供的手部跟踪方法的流程示意图之一；
96.图2是本技术一个实施例提供的手部跟踪方法的流程示意图之二；
97.图3是本技术另一个实施例提供的手部跟踪装置的结构示意图；
98.图4是本技术又一个实施例提供的电子设备的结构示意图。
具体实施方式
99.下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本技术，而不是限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
100.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
101.为了解决现有技术问题，本技术实施例提供了一种手部跟踪方法、装置、设备及计算机存储介质。该手部跟踪方法可以应用于多个手部进行操控时对被跟踪手部进行跟踪的
场景，下面首先对本技术实施例所提供的手部跟踪方法进行介绍。
102.图1示出了本技术一个实施例提供的手部跟踪方法的流程示意图。如图1所示，该手部跟踪方法具体可以包括如下步骤：
103.首先，步骤110，获取用户动作视频；其中，用户动作视频为包含多个手部的动作视频。
104.其次，步骤120，识别目标帧图像中包括的多个手部，得到与多个手部对应的特征信息；其中，目标帧图像为用户动作视频中除首帧图像之外的任一帧图像。
105.接着，步骤130，根据特征信息确定多个手部中是否存在满足目标筛选条件的目标手部；其中，目标筛选条件包括位于预测位置对应区域内，与目标被跟踪手部的左右手类型相同，以及与目标被跟踪手部的手势类型相同中的至少两个条件，目标被跟踪手部为目标帧图像的上一帧图像中确定的被跟踪手部。
106.最后，步骤140，在确定存在目标手部的情况下，将目标手部确定为被跟踪手部。
107.由此，通过识别用户动作视频中目标帧图像包括的多个手部，利用与该多个手部对应的特征信息，并综合考虑手部位置、左右手类型、手势类型中的至少两个筛选条件，从识别出的多个手部中筛选出满足上述至少两个筛选条件的目标手部，这样，可以在保证手部跟踪准确性的同时，减小对用户手势操控的限制，提高用户的使用体验。
108.下面对上述步骤进行详细说明，具体如下所示：
109.首先，涉及步骤110，本技术实施例中，用户动作视频可以是通过摄像头采集得到的包含多个手部的动作视频，其中，该多个手部可以是一个用户的两只手，也可以是多个用户的多只手，在此不作限定。
110.其次，涉及步骤120，本技术实施例中，按照时间顺序提取出用户动作视频中的每一帧图像，并将每一帧图像进行预处理，如缩放、增强等操作，每一帧图像中都可以包括多个手部，目标帧图像可以是用户动作视频中除首帧图像之外的任一帧图像。特征信息可以包括多个手部的位置信息、手势类型信息、关键点位置信息以及左右手类型信息等，具体可利用人工智能(artificial intelligence，ai)识别获取与多个手部对应的特征信息。
111.在一个具体的例子中，在通过摄像头采集得到包含多个手部的用户动作视频的情况下，按照时间顺序提取出用户动作视频中的每一帧图像，将每一帧图像输入深度神经网络模型，通过深度神经网络模型识别出用户动作视频中任一帧图像中包括的多个手部，并输出得到与多个手部对应的位置信息、手势类型信息、关键点位置信息以及左右手类型信息等信息。
112.接着，涉及步骤130，本技术实施例中，预测位置可以是根据目标帧图像之前的至少两帧图像中被跟踪手部位置的运动轨迹所预测的当前手部位置，手势类型例如可以是握拳和手掌。每个筛选条件对应的筛选过程执行的顺序在此不作限定。
113.在一个具体的例子中，通过ai识别得到用户动作视频中多个手部的位置和手势类型等信息后，根据上述信息确定多个手部中位于预测位置对应区域内的手部，再对这些手部的左右手类型和手势类型与目标被跟踪手部进行比较，从而过滤出与目标被跟踪手部的左右手类型和手势类型相同的手部，其中，目标被跟踪手部为目标帧图像的上一帧图像中确定的被跟踪手部。
114.最后，涉及步骤140，本技术实施例中，在确定存在目标手部的情况下，将目标手部
确定为被跟踪手部。目标手部可以是一个，也可以是多个，在此不作限定。
115.基于此，在一种可选实施方式中，上述步骤130具体可以包括：
116.根据特征信息，确定多个手部中是否存在满足目标筛选条件中的第一条件的第一手部；
117.在确定存在第一手部且第一手部的数量为一个的情况下，将第一手部确定为被跟踪手部；
118.在确定存在第一手部且第一手部的数量为多个的情况下，根据特征信息，确定多个第一手部中是否存在满足目标筛选条件中除第一条件之外的其他条件的目标手部。
119.这里，可依次判断是否存在满足目标筛选条件中的每个条件的手部，在筛选过程中，若唯一存在一个手部满足条件，则可将该手部确定为被跟踪手部，若存在多个满足条件的手部，则可继续根据其他条件进行筛选。其中，在满足第一条件的第一手部的数量为多个的情况下，可继续进行其他条件的筛选过程，以此类推。
120.这样，可在筛选出唯一满足条件的手部时，及时退出筛选过程，提高手部跟踪效率。
121.基于此，在一种可选实施方式中，特征信息包括位置信息，上述根据特征信息，确定多个手部中是否存在满足目标筛选条件中的第一条件的第一手部的步骤，具体可以包括：
122.获取目标帧图像之前的至少两帧图像中被跟踪手部的位置信息；
123.根据至少两帧图像中被跟踪手部的位置信息，确定被跟踪手部的运动特征；
124.根据运动特征确定目标帧图像中的预测位置对应区域；
125.根据与多个手部分别对应的位置信息，确定多个手部中是否存在位于预测位置对应区域内的第一手部。
126.这里，位置信息例如可以是利用深度神经网络模型对对象进行定位得到的信息，被跟踪手部的运动特征可以是根据之前的至少两帧图像中被跟踪手部的位置信息确定得到的，被跟踪手部的运动速度、加速度以及运动距离等信息，通过这些信息可以得到一条运动轨迹，从而确定目标帧图像中被跟踪手部可能出现的位置区域，也即预测位置对应区域。第一手部可以是目标帧图像中位于预测位置对应区域内的一个或多个手部。
127.示例性地，若目标帧图像之前的至少两帧图像中被跟踪手部是匀速运动，则可确定一条被跟踪手部对应的运动轨迹，并根据被跟踪手部的运动速度预测目标帧图像中被跟踪手部可能到达的位置对应的区域，若目标帧图像中存在位于预测位置对应区域内的手部，则将其确定为被跟踪手部。
128.这样，通过目标帧图像之前的至少两帧图像中被跟踪手部的位置信息，可以预测出目标帧图像中被跟踪手部对应的位置，便于确定多个手部中是否存在位于预测位置对应区域内的手部，从而提高手部跟踪的准确性。
129.基于此，在一种可选实施方式中，特征信息还包括左右手类型信息；
130.上述根据特征信息，确定多个第一手部中是否存在满足目标筛选条件中除第一条件之外的其他条件的目标手部的步骤，具体可以包括：
131.根据与多个第一手部分别对应的左右手类型信息，确定多个第一手部中是否存在与目标被跟踪手部的左右手类型相同的第二手部；
132.在确定存在目标手部的情况下，将目标手部确定为被跟踪手部，具体可以包括：
133.在确定存在第二手部的情况下，将第二手部确定为被跟踪手部。
134.这里，在进行左右手类型筛选之前可以先根据位置信息进行手部的筛选和手势类型的筛选，在此不作限定。左右手类型信息例如可以利用深度神经网络模型确定，第二手部可以是第一手部中与目标被跟踪手部的左右手类型相同的手部，该第二手部可以是一个，也可以是多个。
135.示例性地，在不存在第二手部的情况下，则不做本次检测，继续将第一手部确定为被跟踪手部，或者，将第一手部作为第二手部，以继续进行后续筛选过程。
136.这样，通过对第一手部与目标被跟踪手部的左右手类型进行比较，可以筛选出与目标帧图像的上一帧图像中被跟踪手部的左右手类型相同的手部，缩小筛选范围，从而进一步提高手部跟踪的准确性。
137.基于此，在一种可选实施方式中，特征信息还包括手势类型信息；
138.在根据与多个第一手部对应的左右手类型信息，确定多个第一手部中是否存在与目标被跟踪手部的左右手类型相同的第二手部之后，本技术实施例提供的手部跟踪方法还可以包括：
139.在满足第一目标条件中的任一条件的情况下，根据与多个第二手部分别对应的手势类型信息，确定多个第二手部中是否存在与目标被跟踪手部的手势类型相同的第三手部；
140.其中，第一目标条件包括：
141.在确定不存在第二手部时，将第一手部确定为第二手部的条件；
142.确定存在第二手部，且第二手部的数量为多个的条件；
143.在确定存在第二手部的情况下，将第二手部确定为被跟踪手部，具体可以包括：
144.在确定存在第三手部的情况下，将第三手部确定为被跟踪手部。
145.这里，手势类型信息例如可以利用深度神经网络模型确定，可以是手部造型特点，例如握拳、手掌手指交叉等。第三手部可以是多个第二手部中与目标被跟踪手部的手势类型相同的手部，可以是一个，也可以是多个。
146.示例性地，在不存在第二手部，且将第一手部确定为第二手部的情况下，或者，存在第二手部，且第二手部的数量为多个的情况下，可进行左右手类型的筛选，确定是否存在与上一帧图像中被跟踪手部的左右手类型相同的第三手部，若不存在第三手部，则不做本次检测，继续将第二手部确定为被跟踪手部，或者，将第二手部作为第三手部，以继续进行后续筛选过程。
147.这样，通过对第二手部与目标被跟踪手部的手势类型进行比较，可以筛选出与目标帧图像的上一帧图像中被跟踪手部的手势类型相同的手部，缩小筛选范围，从而在多个手部进行操控的情况下，提高对被跟踪手部的手部跟踪的准确性。
148.基于此，在一种可选实施方式中，特征信息还包括识别概率值；
149.在确定存在第三手部的情况下，将第三手部确定为被跟踪手部，具体可以包括：
150.在满足第二目标条件中的任一条件的情况下，根据与多个第三手部分别对应的位置信息，计算多个第三手部所在的区域和预测位置对应区域的重合度；
151.根据重合度和识别概率值，计算多个第三手部分别对应的分数值；
152.从多个第三手部中获取分数值最高的第四手部；
153.将第四手部确定为被跟踪手部；
154.其中，第二目标条件包括：
155.在确定不存在第三手部时，将第二手部确定为第三手部的条件；
156.确定存在第三手部，且第三手部的数量为多个的条件。
157.这里，识别概率值可以是深度神经网络模型将目标区域图像识别为手部的概率值，也可以是该概率值乘以系数后得到的概率值，其中，系数可以由第三手部的中心位置与预测位置对应区域的中心位置之间的距离来决定，距离越远则系数越小。重合度可以根据第三手部所在的区域和预测位置对应区域的交集与并集之间的比值来确定，比值越大，重合度就越高。第四手部可以是多个第三手部中获取分数值最高的手部。
158.示例性地，在不存在第三手部的情况下，可不做手势类型的检测，此时，可将第二手部确定为第三手部，继续按照分数值进行筛选，确定其中分数值最高的第四手部为被跟踪手部。或者，在存在第三手部，且第三手部的数量为多个的情况下，可按照分数值进行筛选，确定其中分数值最高的第四手部为被跟踪手部。
159.这样，通过重合度和识别概率值，计算多个第三手部分别对应的分数值，可以筛选出与预测位置对应区域的重合度最高的手部，进一步提高对被跟踪手部的手部跟踪的准确性。
160.基于此，在一种可选实施方式中，根据重合度和识别概率值，计算多个第三手部分别对应的分数值还可以包括：
161.分别计算多个第三手部中每个第三手部对应的重合度和识别概率值之间的乘积，将乘积确定为每个第三手部对应的分数值。
162.这里，分数值的计算公式可以是score＝iou*p，其中，iou可以是每个第三手部所在的区域和预测位置对应区域的重合度，p可以是每个第三手部对应的识别概率值，score可以是每个第三手部对应的分数值。
163.这样，可以精确地计算出多个第三手部分别对应的分数值。
164.基于此，在一种可选实施方式中，特征信息还包括手部关键点位置信息；
165.在根据与多个第二手部分别对应的手势类型信息，确定多个第二手部中是否存在与目标被跟踪手部的手势类型相同的第三手部之前，方法还可以包括：
166.根据与多个第二手部分别对应的手部关键点位置信息，确定与多个第二手部分别对应的手势类型信息。
167.这里，手部关键点位置信息可以是手部的关节位置信息。另外，手部关键点位置信息还可以用于确定与多个第二手部分别对应的手部位置信息和左右手类型信息等。
168.这样，通过识别多个第二手部分别对应的手部关键点位置信息，可以提高手势类型识别的精确度。
169.为了更好地描述整个方案，基于上述各实施例，举一个具体例子。
170.例如，如图2所示的手部跟踪方法流程图。该手部跟踪方法可以包括s201-s212，下面对此进行详细解释。
171.s201，图像采集。
172.在一个具体的例子中，通过摄像头获取用户动作视频，然后提取出每一帧图像，并
进行预处理，如缩放、增强等操作。
173.s202，ai检测识别。
174.在一个具体的例子中，将每一帧图像送入目标检测定位模型，例如使用深度神经网络模型，定位图像中所有手部的位置。
175.s203，预测目标被跟踪手部的位置。
176.在一个具体的例子中，获取目标帧图像之前的至少两帧图像中被跟踪手部的位置信息，确定被跟踪手部的运动特征，根据运动特征确定目标帧图像中的预测位置对应区域。
177.s204，将预测位置对应区域内的手部作为第一手部。
178.在一个具体的例子中，根据与多个手部分别对应的位置信息，确定多个手部中位于预测位置对应区域内的手部，并将其作为第一手部。
179.s205，检测是否存在与目标被跟踪手部的左右手类型相同的第二手部，若是，则执行s206，若否，则执行s207。
180.在一个具体的例子中，根据与第一手部分别对应的左右手类型信息，确定第一手部中是否存在与目标被跟踪手部的左右手类型相同的第二手部。
181.s206，确定第二手部是否为多个，若是，则执行s208，若否，则执行s212。
182.在一个具体的例子中，若第一手部中存在与目标被跟踪手部的左右手类型相同的第二手部，确定第二手部是否为多个。
183.s207，忽略本次检测，将第一手部作为第二手部。
184.在一个具体的例子中，若第一手部中不存在与目标被跟踪手部的左右手类型相同的第二手部，忽略本次检测，继续将第一手部作为第二手部。
185.s208，检测是否存在与目标被跟踪手部的手势类型相同的第三手部，若是，则执行s209，若否，则执行s210。
186.在一个具体的例子中，根据与多个第二手部分别对应的手势类型信息，确定多个第二手部中是否存在与目标被跟踪手部的手势类型相同的第三手部。
187.s209，确定第三手部是否为多个，若是，则执行s211，若否，则执行s212。
188.在一个具体的例子中，若多个第二手部中存在与目标被跟踪手部的手势类型相同的第三手部，确定第三手部是否为多个。
189.s210，忽略本次检测，将第二手部作为第三手部。
190.在一个具体的例子中，若多个第二手部中不存在与目标被跟踪手部的手势类型相同的第三手部，忽略本次检测，将第二手部作为第三手部。
191.s211，计算多个第三手部分别对应的分数值。
192.在一个具体的例子中，根据与多个第三手部分别对应的位置信息，计算多个第三手部所在的区域和预测位置对应区域的重合度，根据重合度和识别概率值，计算多个第三手部分别对应的分数值。
193.s212，输出检测结果。
194.在一个具体的例子中，可将第三手部分别对应的分数值最大的手部作为被跟踪手部。另外，若第一手部中与目标被跟踪手部的左右手类型相同的第二手部为一个，则可将第二手部作为被跟踪手部。若第二手部中与目标被跟踪手部的手势类型相同的第三手部为一个，则可将第三手部作为被跟踪手部。
195.由此，通过识别用户动作视频中目标帧图像包括的多个手部，利用与该多个手部对应的特征信息，并综合考虑手部位置、左右手类型、手势类型中的至少两个筛选条件，从识别出的多个手部中筛选出满足上述至少两个筛选条件的目标手部，这样，可以在保证手部跟踪准确性的同时，减小对用户手势操控的限制，提高用户的使用体验。
196.图3是根据一示例性实施例示出的一种手部跟踪装置的结构示意图。
197.如图3所示，该手部跟踪装置300可以包括：
198.获取模块301，用于获取用户动作视频；其中，用户动作视频为包含多个手部的动作视频；
199.识别模块302，用于识别目标帧图像中包括的多个手部，得到与多个手部对应的特征信息；其中，目标帧图像为用户动作视频中除首帧图像之外的任一帧图像；
200.筛选模块303，用于根据特征信息确定多个手部中是否存在满足目标筛选条件的目标手部；其中，目标筛选条件包括位于预测位置对应区域内，与目标被跟踪手部的左右手类型相同，以及与目标被跟踪手部的手势类型相同中的至少两个条件，目标被跟踪手部为目标帧图像的上一帧图像中确定的被跟踪手部；
201.第一确定模块304，用于在确定存在目标手部的情况下，将目标手部确定为被跟踪手部。
202.在一种可选的实施方式中，筛选模块303，包括：
203.第一筛选子模块，用于根据特征信息，确定多个手部中是否存在满足目标筛选条件中的第一条件的第一手部；
204.第一确定子模块，用于在确定存在第一手部且第一手部的数量为一个的情况下，将第一手部确定为被跟踪手部；
205.第二筛选子模块，用于在确定存在第一手部且第一手部的数量为多个的情况下，根据特征信息，确定多个第一手部中是否存在满足目标筛选条件中除第一条件之外的其他条件的目标手部。
206.在一种可选的实施方式中，特征信息包括位置信息；
207.第一筛选子模块具体可以包括：
208.信息获取单元，用于获取目标帧图像之前的至少两帧图像中被跟踪手部的位置信息；
209.特征确定单元，用于根据至少两帧图像中被跟踪手部的位置信息，确定被跟踪手部的运动特征；
210.区域确定单元，用于根据运动特征确定目标帧图像中的预测位置对应区域；
211.目标确定单元，用于根据与多个手部分别对应的位置信息，确定多个手部中是否存在位于预测位置对应区域内的第一手部。
212.在一种可选的实施方式中，特征信息还包括左右手类型信息；
213.第二筛选子模块可以包括：
214.第一确定单元，用于根据与多个第一手部分别对应的左右手类型信息，确定多个第一手部中是否存在与目标被跟踪手部的左右手类型相同的第二手部；
215.第一确定模块304包括：
216.第二确定子模块，用于在确定存在第二手部的情况下，将第二手部确定为被跟踪
手部。
217.在一种可选的实施方式中，特征信息还包括手势类型信息；
218.该第二筛选子模块还可以包括：
219.第二确定单元，用于在根据与多个第一手部分别对应的左右手类型信息，确定多个第一手部中是否存在与目标被跟踪手部的左右手类型相同的第二手部之后，在满足第一目标条件中的任一条件的情况下，根据与多个第二手部分别对应的手势类型信息，确定多个第二手部中是否存在与目标被跟踪手部的手势类型相同的第三手部；
220.其中，第一目标条件包括：
221.在确定不存在第二手部时，将第一手部确定为第二手部的条件；
222.确定存在第二手部，且第二手部的数量为多个的条件；
223.第二确定子模块包括：
224.第三确定单元，用于在确定存在第三手部的情况下，将第三手部确定为被跟踪手部。
225.在一种可选的实施方式中，特征信息还包括识别概率值；
226.第三确定单元可以包括：
227.第一计算子单元，用于在满足第二目标条件中的任一条件的情况下，根据与多个第三手部分别对应的位置信息，计算多个第三手部所在的区域和预测位置对应区域的重合度；
228.第二计算子单元，用于根据重合度和识别概率值，计算多个第三手部分别对应的分数值；
229.获取子单元，用于从多个第三手部中获取分数值最高的第四手部；
230.确定子单元，用于将第四手部确定为被跟踪手部；
231.其中，第二目标条件包括：
232.在确定不存在第三手部时，将第二手部确定为第三手部的条件；
233.确定存在第三手部，且第三手部的数量为多个的条件。
234.在一种可选的实施方式中，第二计算子单元具体用于：
235.分别计算多个第三手部中每个第三手部对应的重合度和识别概率值之间的乘积，将乘积确定为每个第三手部对应的分数值。
236.在一种可选的实施方式中，特征信息还包括手部关键点位置信息；
237.该手部跟踪装置300还可以包括：
238.第二确定模块，用于在根据与多个第二手部分别对应的手势类型信息，确定多个第二手部中是否存在与目标被跟踪手部的手势类型相同的第三手部之前，根据与多个第二手部分别对应的手部关键点位置信息，确定与多个第二手部分别对应的手势类型信息。
239.由此，通过识别用户动作视频中目标帧图像包括的多个手部，利用与该多个手部对应的特征信息，并综合考虑手部位置、左右手类型、手势类型中的至少两个筛选条件，从识别出的多个手部中筛选出满足上述至少两个筛选条件的目标手部，这样，可以在保证手部跟踪准确性的同时，减小对用户手势操控的限制，提高用户的使用体验。
240.图4示出了本技术实施例提供的电子的硬件结构示意图。
241.在电子设备可以包括处理器401以及存储有计算机程序指令的存储器402。
242.具体地，上述处理器401可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
243.存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在综合网关容灾设备的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。
244.存储器可包括只读存储器(rom)，随机存取存储器(ram)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本技术的一方面的方法所描述的操作。
245.处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种手部跟踪方法。
246.在一个示例中，电子设备还可包括通信接口403和总线410。其中，如图4所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
247.通信接口403，主要用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。
248.总线410包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
249.该电子设备可以基于识别用户动作视频中目标帧图像包括的多个手部执行本技术实施例中的手部跟踪方法，从而实现结合图1和图3描述的手部跟踪方法和装置。
250.另外，结合上述实施例中的手部跟踪方法，本技术实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种在线数据流量计费方法。
251.需要明确的是，本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本技术的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本技术的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
252.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组
合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
253.还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
254.上面参考根据本技术的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本技术的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
255.以上所述，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。