手势交互误检过滤方法、装置、交互设备和存储介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及手势交互误检过滤方法、装置、交互设备和存储介质。


背景技术：

2.在基于vr(virtual reality，虚拟现实)或ar(augmented reality，增强现实)的交互设备中，通过佩戴式双目相机采集的图像可以进行准确的手势识别，由此，手势交互也成为一种使用越来越普遍的人机交互方式。在这些交互设备中，实现手势交互的基本流程是：(1)先检测手在相机图像中的位置和区域；(2)取该区域做手势识别或者关键点检测；与此同时进行手部区域的跟踪。
3.发明人在应用现有的交互设备进行手势交互时发现，由于纯图像的手势检测，可能会产生一些误检，导致出现交互失败或检测到用户之外的手势触发交互的情况。


技术实现要素：

4.本发明提供了一种手势交互误检过滤方法、装置、交互设备和存储介质，以减少现有技术进行手势交互时出现交互失败或检测到用户之外的手势触发交互的情况。
5.第一方面，本发明实施例提供了一种手势交互误检过滤方法，包括：
6.获取佩戴式双目相机的两个相机采集到的两幅图像，确认所述两幅图像中对应于同一目标空间的初始手部区域；
7.提取所述初始手部区域的特征点，并对所述特征点进行匹配，确认所述两幅图像中对应的有效特征点对；
8.基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值；
9.滤除深度值在预设有效深度范围之外的初始手部区域。
10.第二方面，本发明实施例还提供了一种手势交互误检过滤装置，包括：
11.区域确认单元，用于获取佩戴式双目相机的两个相机采集到的两幅图像，确认所述两幅图像中对应于同一目标空间的初始手部区域；
12.特征点确认单元，用于提取所述初始手部区域的特征点，并对所述特征点进行匹配，确认所述两幅图像中对应的有效特征点对；
13.深度值计算单元，用于基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值；
14.区域滤除单元，用于滤除深度值在预设有效深度范围之外的初始手部区域。
15.第三方面，本发明实施例还提供了一种交互设备，包括：
16.一个或多个处理器；
17.存储器，用于存储一个或多个程序；
18.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理
器实现如第一方面所述的手势交互误检过滤方法。
19.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的手势交互误检过滤方法。
20.上述手势交互误检过滤方法、装置、交互设备和存储介质，获取佩戴式双目相机的两个相机采集到的两幅图像，确认所述两幅图像中对应于同一目标空间的初始手部区域；提取所述初始手部区域的特征点，并对所述特征点进行匹配，确认所述两幅图像中对应的有效特征点对；基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值；滤除深度值在预设有效深度范围之外的初始手部区域。通过对两个相机采集到的图像中可能的手部区域进行特征匹配和深度值计算，根据佩戴式双目相机在具体使用过程中与双手的距离，对深度值明显超出合理范围的初始手部区域进行过滤，有效减少检测到用户之外的手势触发交互的情况。
附图说明
21.图1为本发明实施例提供的一种手势交互误检过滤方法的流程图；
22.图2为佩戴式双目相机的结构示意图；
23.图3为初始手部区域的示意图；
24.图4为本发明实施例提供的一种手势交互误检过滤装置的结构示意图；
25.图5为本发明实施例提供的一种交互设备的结构示意图。
具体实施方式
26.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
27.需要注意的是，由于篇幅所限，本技术说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本技术说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。
28.例如，在实施例的一个实施方式中，记载了一个技术特征：提取sift特征点，并根据sift特征点的个数对直接进行过滤，或确认有效特征点对；在实施例的另一个实施方式中，记载了另一个技术特征：提取harris特征点。由于以上两个技术特征不互相矛盾，本领域技术人员在阅读本技术说明书后，应该能够想到，提取harris特征点，并根据harris特征点的个数对直接进行过滤，或确认有效特征点对的实施方式也是一种可选的实施方式。
29.另外需要注意的是，本方案的实施形态也不是实施例中记载的所有技术特征的集合，其中某些技术特征的描述是为了方案的优化实现，实施例中记载的若干技术特征的组合如果可以实现本方案的设计初衷，其即可作为一种未独立的实施方式，当然也可以作为一种具体的产品形态。
30.下面对各实施例进行详细说明。
31.图1为本发明实施例提供的一种手势交互误检过滤方法的流程图。实施例中提供的手势交互误检过滤方法可以由用于手势交互误检过滤的各种操作设备执行，该操作设备可以通过软件和/或硬件的方式实现，该操作设备可以是两个或多个物理实体构成，也可以
是一个物理实体构成。
32.具体的，参考图1，该手势交互误检过滤方法具体包括：
33.步骤s110：获取佩戴式双目相机的两个相机采集到的两幅图像，确认所述两幅图像中对应于同一目标空间的初始手部区域。
34.佩戴式双目相机是基于vr/ar的交互设备的基本硬件配置，在具体的产品形态中，佩戴式双目相机是真实世界与虚拟世界的接口之一，其设置的两个相机采集真实世界的画面，并在虚拟世界进行反馈。当然，在更丰富的交互实现中，还有可以有动作传感、温度检测等对真实世界全面检测。
35.图2是佩戴式双目相机1的一种形态，其正前方设置有两个相机(即第一相机11和第二相机12)，在该佩戴式双目相机1中，第一相机11和第二相机12的距离、各自的内参等各种参数均已标定好，在基于两个相机采集的图像进行处理时，已标定好的参数可以直接使用。
36.对于佩戴式双目相机而言，两个相机拍摄到的图像对应的实际空间区别很小，基本能互相全部覆盖拍摄范围，由此，在一个相机中拍摄某个目标空间对应生成的图像，在另一相机中也对应存在对该目标空间生成的图像，根据以上两个相机的图像和空间的关系，在实现过程中，可以基于第一相机的图像进行手部检测得到对应的初始手部区域，基于第一相机对应的初始手部区域直接确认第二相机对应的初始手部局域，具体而言，步骤s110可以通过步骤s111-步骤s113实现。
37.步骤s111：获取佩戴式双目相机的两个相机采集到的两幅图像，所述两个相机为第一相机和第二相机。
38.步骤s112：对所述第一相机对应的图像进行手部检测，并确认手部检测得到的存在手部图像的区域为初始手部区域。
39.步骤s113：根据所述第一相机和第二相机对应的相机参数，以及所述有效深度范围，计算所述第一相机对应的初始手部区域在所述第二相机对应的图像中的关联区域，以确认所述第二相机对应的初始手部区域。
40.对于第一相机对应的初始手部区域，通过四个顶点约束，由此，可以直接确认四个顶点在第二相机对应图像中的映射范围，进而确认第二相机中的初始手部区域，即步骤s113通过步骤s1131和步骤s1132实现。
41.步骤s1131：根据所述第一相机和第二相机对应的相机参数，以及所述有效深度范围，计算所述第一相机对应的初始手部区域的四个顶点在所述第二相机对应的图像中的关联点。
42.具体来说，根据佩戴式双目相机的两个相机的参数，所述关联点通过如下公式计算：
[0043][0044]
其中，(u1，v1)表示第一相机中像素点的位置，单位为像素；(u2,v2)表示第一相机中像素点在第二相机中关联点的位置，单位为像素；f
x
表示所述第二相机的焦距，单位为像素；d
x
表示第一相机和第二相机的距离，单位为毫米；z表示有效深度范围的端值，单位为毫
米。需要说明的是，z表示有效深度范围的端值，表明顶点进行关联点的计算时，需要根据端值通过以上公式做两次计算，对应每个顶点可以得到两个关联点。
[0045]
步骤s1132：确认所述关联点约束的最大区域为关联区域。
[0046]
如图3所示，在第一相机11对应的图像中，识别到初始手部区域，即长方形abcd所在的区域，对于该长方形的四个顶点a、b、c以及d，在第二相机对应的图像中，分别有关联点a1和a2、b1和b2、c1和c2以及d1和d2，可以看出，这些关联点所约束的最大区域为长方形a
1 b
2 c
2 d1所在的区域。通过这种直接计算关联点确认关联区域的方式，只需要对一个相机的图像进行手部识别确认初始手部区域，对另一个相机直接通过简单的计算即可确认初始手部区域，有效降低了数据处理量。
[0047]
需要说明的是，第一相机和第二相机的参数基本一致，可以对其中任意一个相机对应的图像进行手部检测，确认初始手部区域，根据手部检测结果通过步骤s111-步骤s113确认另一个相机对应图像中的初始手部区域。这里的第一相机和第二相机仅为描述清楚做的区分描述，不表示其中某个相机固定为第一相机或第二相机。
[0048]
除了步骤s111-步骤s113中的实现方式，也可以对第一相机和第二相机采集的图像分别进行手部检测，然后对检测到的区域进行匹配，如果有位置偏差在设定范围内的区域，则确认为对应的初始手部区域，继而对初始手部区域进行后续的处理。
[0049]
步骤s120：提取所述初始手部区域的特征点，并对所述特征点进行匹配，确认所述两幅图像中对应的有效特征点对。
[0050]
初始手部区域的特征点可以通过各种现有的特征点提取方式实现，例如harris,sift(scale-invariant feature transform，尺度不变特征变换)。在特征点提取的过程中，可能直接确认初始手部区域不是同一物体，此时可以直接对初始手部区域进行滤除，以基于sift的特征点提取为例，步骤s120具体通过步骤s121-步骤s124实现。
[0051]
步骤s121：提取所述初始手部区域的sift特征点。
[0052]
步骤s122：对所述sift特征点进行匹配。
[0053]
步骤s123：确认匹配出的sift特征点的数量在预设有效数量范围外时，滤除对应的初始手部区域。
[0054]
步骤s124：确认匹配出的sift特征点的数量在预设有效数量范围内时，将匹配出的特征点作为两幅图像中对应的有效特征点对。
[0055]
如果对应的初始手部区域没有匹配出足够数量的特征点，则认为该初始手部区域没有真实的手部存在，属于误检；如果对应的初始手部区域匹配出足够数量的特征点，则认为该初始手部区域有真实的手部存在，需要对其进一步过滤。
[0056]
步骤s130：基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值。
[0057]
目标空间相对于佩戴式双目相机的深度值并不是由某个有效特征点确定，而是根据所有有效特征点的深度值综合计算目标空间的深度值，一种具体的实现方式如步骤s131和步骤s132。
[0058]
步骤s131：计算每组有效特征点对相对于所述佩戴式双目相机的深度值。
[0059]
步骤s132：对所述深度值进行聚类，取聚集数量最多的一类作为对应的目标空间相对于所述佩戴式双目相机的深度值。
[0060]
每组有效特征点可以都通过三角化测量公式进行深度值的计算。因为检测到的手势对应的有效特征点，在空间中与佩戴式双目相机的距离(即深度值)并不完全相同，因此，不能通过单个特征点的深度值判断是否有效，而应综合所有特征点的深度值进行判断，例如步骤s132中所述基于聚类的方式。具体还可以通过均值、中位数等统计方式，以综合的结果表达手势所处的目标空间相对于佩戴式双目相机的距离。
[0061]
步骤s140：滤除深度值在预设有效深度范围之外的初始手部区域。
[0062]
不管是图2所示以眼镜为形式的佩戴式双目相机，或是其它头盔、座舱等为形式的双目相机，在处于使用状态时，使用者的手势即约束在一定范围之内才能确认为有效，直观而言，手势不能在双目相机后面检测到，同时手势也不能达到双目相机一臂之外。基于此，将手势可能被检测到的深度范围定义为有效深度范围，例如设定100mm～1000mm，如果初始手部区域中的手部深度不在这个范围之内，则认为是误检，需要进行滤除。例如有人从佩戴式双目相机前方3米处做出手势，使用者双手同时在前方0.5米处做出手势，并且各个手势之间互相不存在遮挡，那么在两个相机的图像在步骤s110中均能识别出3个初始手部区域，再经过步骤s120-步骤s130的识别，能滤除3米处的手势对应的初始手部区域，剩下的两个初始手部区域可以确认为有效手部区域。
[0063]
在滤除初始手部区域之后，得到有效手部区域，进一步可以进行手势识别和手部跟踪，最终实现手势交互，具体而言，步骤s140之后还包括步骤s150和步骤s160。
[0064]
步骤s150：确认深度值在预设深度范围内的初始手部区域为有效手部区域。
[0065]
对于第一相机采集到的图像和第二相机采集到的图像，可能识别出三组对应的初始手部区域，最终滤除其中一组初始手部区域，剩余两组初始手部区域确认为有效手部区域，后续即对有效手部区域进行手势识别和手部跟踪。
[0066]
步骤s160：对所述有效手部区域的图像进行手势识别和手部跟踪，以完成对应的手势交互。
[0067]
有效手部区域仅表示该区域的手势是相对于使用者处于合理范围内的，在后续的手势识别和手部跟踪时，可能该手势并不是使用者的具体操作表达，甚至不是使用者本身的操作表达，这一类手势知己予以忽略，只有能识别出有效的交互指令的手势，才有后续的对应交互响应。
[0068]
上述，获取佩戴式双目相机的两个相机采集到的两幅图像，确认所述两幅图像中对应于同一目标空间的初始手部区域；提取所述初始手部区域的特征点，并对所述特征点进行匹配，确认所述两幅图像中对应的有效特征点对；基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值；滤除深度值在预设有效深度范围之外的初始手部区域。通过对两个相机采集到的图像中可能的手部区域进行特征匹配和深度值计算，根据佩戴式双目相机在具体使用过程中与双手的距离，对深度值明显超出合理范围的初始手部区域进行过滤，有效减少检测到用户之外的手势触发交互的情况。
[0069]
图4为本发明实施例提供的一种手势交互误检过滤装置的结构示意图。参考图4，该手势交互误检过滤装置包括：区域确认单元210、特征点确认单元220、深度值计算单元230和区域滤除单元240。
[0070]
其中，区域确认单元210，用于获取佩戴式双目相机的两个相机采集到的两幅图像，确认所述两幅图像中对应于同一目标空间的初始手部区域；特征点确认单元220，用于
提取所述初始手部区域的特征点，并对所述特征点进行匹配，确认所述两幅图像中对应的有效特征点对；深度值计算单元230，用于基于所述有效特征点对计算对应的目标空间相对于所述佩戴式双目相机的深度值；区域滤除单元240，用于滤除深度值在预设有效深度范围之外的初始手部区域。
[0071]
在上述实施例的基础上，所述区域确认单元210，包括：
[0072]
图像获取模块，用于获取佩戴式双目相机的两个相机采集到的两幅图像，所述两个相机为第一相机和第二相机；
[0073]
手部检测模块，用于对所述第一相机对应的图像进行手部检测，并确认手部检测得到的存在手部图像的区域为初始手部区域；
[0074]
关联映射模块，用于根据所述第一相机和第二相机对应的相机参数，以及所述有效深度范围，计算所述第一相机对应的初始手部区域在所述第二相机对应的图像中的关联区域，以确认所述第二相机对应的初始手部区域。
[0075]
在上述实施例的基础上，所述关联映射模块，包括：
[0076]
顶点映射子模块，用于根据所述第一相机和第二相机对应的相机参数，以及所述有效深度范围，计算所述第一相机对应的初始手部区域的四个顶点在所述第二相机对应的图像中的关联点；
[0077]
区域约束子模块，用于确认所述关联点约束的最大区域为关联区域。
[0078]
在上述实施例的基础上，所述关联点通过如下公式计算：
[0079][0080]
其中，(u1，v1)表示第一相机中像素点的位置，单位为像素；(u2,v2)表示第一相机中像素点在第二相机中关联点的位置，单位为像素；f
x
表示所述第二相机的焦距，单位为像素；d
x
表示第一相机和第二相机的距离，单位为毫米；z表示有效深度范围的端值，单位为毫米。
[0081]
在上述实施例的基础上，所述特征点确认单元220，包括：
[0082]
特征点提取模块，用于提取所述初始手部区域的sift特征点；
[0083]
特征点匹配模块，用于对所述sift特征点进行匹配；
[0084]
初始滤除单元，用于确认匹配出的sift特征点的数量在预设有效数量范围外时，滤除对应的初始手部区域；
[0085]
特征点对确认单元，用于确认匹配出的sift特征点的数量在预设有效数量范围内时，将匹配出的特征点作为两幅图像中对应的有效特征点对。
[0086]
在上述实施例的基础上，所述深度值计算单元230，包括：
[0087]
特征点深度计算模块，用于计算每组有效特征点对相对于所述佩戴式双目相机的深度值；
[0088]
特征点深度聚类模块，用于对所述深度值进行聚类，取聚集数量最多的一类作为对应的目标空间相对于所述佩戴式双目相机的深度值。
[0089]
在上述实施例的基础上，所述深度值通过三角化测量公式进行计算。
[0090]
在上述实施例的基础上，所述装置，还包括：
[0091]
有效区域确认单元，用于确认深度值在预设深度范围内的初始手部区域为有效手部区域；
[0092]
识别跟踪单元，用于对所述有效手部区域的图像进行手势识别和手部跟踪，以完成对应的手势交互。
[0093]
本发明实施例提供的手势交互误检过滤装置包含在手势交互误检过滤设备中，且可用于执行上述实施例中提供的任一手势交互误检过滤方法，具备相应的功能和有益效果。
[0094]
图5为本发明实施例提供的一种交互设备的结构示意图，该交互设备是前文所述手势交互误检过滤设备的一种具体的硬件呈现方案。如图5所示，该交互设备包括处理器310、存储器320、输入装置330、输出装置340以及通信装置350；交互设备中处理器310的数量可以是一个或多个，图5中以一个处理器310为例；交互设备中的处理器310、存储器320、输入装置330、输出装置340以及通信装置350可以通过总线或其他方式连接，图5中以通过总线连接为例。
[0095]
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的手势交互误检过滤方法对应的程序指令/模块(例如，手势交互误检过滤装置中的区域确认单元210、特征点确认单元220、深度值计算单元230和区域滤除单元240)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行交互设备的各种功能应用以及数据处理，即实现上述的手势交互误检过滤方法。
[0096]
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据交互设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至交互设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0097]
输入装置330可用于接收输入的数字或字符信息，以及产生与交互设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
[0098]
上述交互设备包含手势交互误检过滤装置，可以用于执行任意手势交互误检过滤方法，具备相应的功能和有益效果。
[0099]
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本技术任意实施例中提供的手势交互误检过滤方法中的相关操作，且具备相应的功能和有益效果。
[0100]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。
[0101]
因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程
序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0102]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0103]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0104]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0105]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。