一种基于手势识别的人机交互方法及系统与流程

1.本发明涉及人机交互技术领域，具体是涉及一种基于手势识别的人机交互方法及系统。


背景技术：

2.随着计算机视觉技术的发展以及人们对新的交互手段的需求，基于计算机视觉的交互方法也逐渐发展起来，传统的交互方式如：鼠标、键盘、手柄等在某些特殊领域已经无法发挥便利的作用，例如在虚拟现实和增强现实场景下，用户很难再通过点击实体按键、操作输入设备点击菜单等传统方式完成，因而基于手势识别的人机交互人具有非常好的应用前景。目前已经能够实现对手势的自动识别，并进行相应的操作，但是实际使用过程中会发现，用户会在无意中做出一些不需要的手势，而这些手势很可能会被识别，导致执行不必要的操作。因此，需要提供一种基于手势识别的人机交互方法及系统，旨在解决上述问题。


技术实现要素：

3.针对现有技术存在的不足，本发明的目的在于提供一种基于手势识别的人机交互方法及系统，以解决上述背景技术中存在的问题。
4.本发明是这样实现的，一种基于手势识别的人机交互方法，所述方法包括以下步骤：
5.接收手势识别开启指令，自动打开图像采集设备；
6.接收通过所述图像采集设备连续采集的两张用户手势图像，图像采集设备设置有图像采集时间间隔；
7.对两张用户手势图像进行一致性判定，当一致性判定不通过时，两张用户手势图像均无效；当一致性判定通过时，选取任意一张用户手势图像与预设手势库中的预设手势图像进行匹配，将匹配成功的预设手势图像设定为执行手势；
8.根据执行手势执行对应的操作。
9.作为本发明进一步的方案：所述对两张用户手势图像进行一致性判定的步骤，具体包括：
10.获取两张用户手势图像的颜色特征和轮廓特征，所述颜色特征为像素均值，所述轮廓特征为phash值；
11.根据两张用户手势图像的像素均值之间的差值得到颜色特征相似度；
12.根据两张用户手势图像的phash值的汉明距离得到轮廓特征相似度；
13.根据颜色特征相似度和轮廓特征相似度得到两张用户手势图像之间的总相似度值，将总相似度值与第一预设值进行对比得到一致性判定结果。
14.作为本发明进一步的方案：所述根据执行手势执行对应的操作的步骤，具体包括：
15.调取执行手势对应的预设手势图像所设定的执行操作程序，所述预设手势库中上传有若干个预设手势图像，每个预设手势图像设定有执行操作程序；
16.根据所述执行操作程序执行对应的操作。
17.作为本发明进一步的方案：所述方法还包括：对历史执行手势进行分析，生成伴随性手势，具体为：
18.每隔预设时间对历史上所有种类的连贯执行手势进行计数，所述连贯执行手势是指两个连续的执行手势；
19.当一种连贯执行手势达到第二预设值时，确定所述连贯执行手势为伴随性手势；
20.将伴随性手势导入伴随性手势库中。
21.作为本发明进一步的方案：所述方法还包括：
22.接收预设伴随手势增加命令，所述预设伴随手势增加命令包括伴随性手势和预设手势图像；
23.将预设手势图像导入预设手势库中，并记录所述伴随性手势对应的两个执行操作程序，当所述预设手势图像被设定为执行手势时，会先后执行两个操作。
24.本发明的另一目的在于提供一种基于手势识别的人机交互系统，所述系统包括：
25.手势识别开启模块，用于接收手势识别开启指令，自动打开图像采集设备；
26.手势图像采集模块，用于接收通过所述图像采集设备连续采集的两张用户手势图像，图像采集设备设置有图像采集时间间隔；
27.一致性判定模块，用于对两张用户手势图像进行一致性判定，当一致性判定不通过时，两张用户手势图像均无效；当一致性判定通过时，选取任意一张用户手势图像与预设手势库中的预设手势图像进行匹配，将匹配成功的预设手势图像设定为执行手势；以及
28.操作执行模块，用于根据执行手势执行对应的操作。
29.作为本发明进一步的方案：所述一致性判定模块包括：
30.颜色轮廓特征确定单元，用于获取两张用户手势图像的颜色特征和轮廓特征，所述颜色特征为像素均值，所述轮廓特征为phash值；
31.颜色相似度确定单元，用于根据两张用户手势图像的像素均值之间的差值得到颜色特征相似度；
32.轮廓相似度确定单元，用于根据两张用户手势图像的phash值的汉明距离得到轮廓特征相似度；以及
33.总相似度确定单元，用于根据颜色特征相似度和轮廓特征相似度得到两张用户手势图像之间的总相似度值，将总相似度值与第一预设值进行对比得到一致性判定结果。
34.作为本发明进一步的方案：所述操作执行模块包括：
35.操作程序调取单元，用于调取执行手势对应的预设手势图像所设定的执行操作程序，所述预设手势库中上传有若干个预设手势图像，每个预设手势图像设定有执行操作程序；
36.程序执行单元，用于根据所述执行操作程序执行对应的操作。
37.作为本发明进一步的方案：所述系统还包括伴随性手势生成模块，伴随性手势生成模块包括：
38.连贯执行手势计数单元，每隔预设时间对历史上所有种类的连贯执行手势进行计数，所述连贯执行手势是指两个连续的执行手势；
39.伴随性手势确定单元，当一种连贯执行手势达到第二预设值时，确定所述连贯执
行手势为伴随性手势；以及
40.伴随性手势导入单元，用于将伴随性手势导入伴随性手势库中。
41.作为本发明进一步的方案：所述系统还包括伴随性手势图像模块，伴随性手势图像模块包括：
42.伴随手势增加单元，用于接收预设伴随手势增加命令，所述预设伴随手势增加命令包括伴随性手势和预设手势图像；以及
43.伴随预设手势导入单元，用于将预设手势图像导入预设手势库中，并记录所述伴随性手势对应的两个执行操作程序，当所述预设手势图像被设定为执行手势时，会先后执行两个操作。
44.与现有技术相比，本发明的有益效果是：
45.本发明通过图像采集设备采集两张连续的用户手势图像，自动对两张用户手势图像进行一致性判定，当一致性判定不通过时，表明两张用户手势图像中的手势不一致，说明手势属于用户在无意中作出的无用手势；当一致性判定通过时，表明两张用户手势图像中的手势一致，说明手势确实是用户想要做出的手势，本发明只会根据执行手势执行对应的操作，避免出现无用操作。
附图说明
46.图1为一种基于手势识别的人机交互方法的流程图。
47.图2为一种基于手势识别的人机交互方法中对两张用户手势图像进行一致性判定的流程图。
48.图3为一种基于手势识别的人机交互方法中根据执行手势执行对应的操作的流程图。
49.图4为一种基于手势识别的人机交互方法中对历史执行手势进行分析的流程图。
50.图5为一种基于手势识别的人机交互方法中接收预设伴随手势增加命令的流程图。
51.图6为一种基于手势识别的人机交互系统的结构示意图。
52.图7为一种基于手势识别的人机交互系统中一致性判定模块的结构示意图。
53.图8为一种基于手势识别的人机交互系统中操作执行模块的结构示意图。
54.图9为一种基于手势识别的人机交互系统中伴随性手势生成模块的结构示意图。
55.图10为一种基于手势识别的人机交互系统中伴随性手势图像模块的结构示意图。
具体实施方式
56.为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
57.以下结合具体实施例对本发明的具体实现进行详细描述。
58.如图1所示，本发明实施例提供了一种基于手势识别的人机交互方法，所述方法包括以下步骤：
59.s100，接收手势识别开启指令，自动打开图像采集设备；
60.s200，接收通过所述图像采集设备连续采集的两张用户手势图像，图像采集设备设置有图像采集时间间隔；
61.s300，对两张用户手势图像进行一致性判定，当一致性判定不通过时，两张用户手势图像均无效；当一致性判定通过时，选取任意一张用户手势图像与预设手势库中的预设手势图像进行匹配，将匹配成功的预设手势图像设定为执行手势；
62.s400，根据执行手势执行对应的操作。
63.需要说明的是，随着计算机视觉技术的发展以及人们对新的交互手段的需求，基于计算机视觉的交互方法也逐渐发展起来，传统的交互方式如：鼠标、键盘、手柄等在某些特殊领域已经无法发挥便利的作用，例如在虚拟现实和增强现实场景下，用户很难再通过点击实体按键、操作输入设备点击菜单等传统方式完成，因而基于手势识别的人机交互人具有非常好的应用前景。目前已经能够实现对手势的自动识别，并进行相应的操作，但是实际使用过程中会发现，用户会在无意中做出一些不需要的手势，而这些手势很可能会被识别，导致执行不必要的操作，本发明实施例旨在解决上述问题。
64.本发明实施例中，当用户需要通过手势与机器进行交互时，直接输入手势识别开启指令，会自动打开图像采集设备，所述图像采集设备会自动对用户的手势进行拍照采集，图像采集设备事先设置有图像采集时间间隔，例如图像采集时间间隔为1秒钟，那么图像采集设备连续采集两张图片之间的时间间隔就是1秒钟，需要说明的是，图像采集设备所采集的用户手势图像是实时上传的，但在本发明实施例中，用户手势图像不是一张一张上传的，而是两张两张上传的，当图像采集设备上传两张连续采集的用户手势图像后，本发明实施例自动对两张用户手势图像进行一致性判定，一致性判定是指确定两张用户手势图像中的手势是否一致，当一致性判定不通过时，表明两张用户手势图像中的手势不一致，说明手势属于用户在无意中作出的无用手势，无意中作出的手势移动速度较快，没有停留，因此不具有一致性，本发明实施例自动判定两张用户手势图像均无效；当一致性判定通过时，表明两张用户手势图像中的手势一致，说明手势确实是用户想要做出的手势，本发明实施例自动选取两张中的任意一张用户手势图像与预设手势库中的预设手势图像进行匹配，将匹配成功的预设手势图像设定为执行手势，最后根据执行手势执行对应的操作。
65.如图2所示，作为本发明一个优选的实施例，所述对两张用户手势图像进行一致性判定的步骤，具体包括：
66.s301，获取两张用户手势图像的颜色特征和轮廓特征，所述颜色特征为像素均值，所述轮廓特征为phash值；
67.s302，根据两张用户手势图像的像素均值之间的差值得到颜色特征相似度；
68.s303，根据两张用户手势图像的phash值的汉明距离得到轮廓特征相似度；
69.s304，根据颜色特征相似度和轮廓特征相似度得到两张用户手势图像之间的总相似度值，将总相似度值与第一预设值进行对比得到一致性判定结果。
70.本发明实施例中，为了判定两张用户手势图像是否具有一致性，需要获取两张用户手势图像的像素均值和phash值，然后通过像素均值之间的差值得到颜色特征相似度，并通过phash值的汉明距离得到轮廓特征相似度，这里颜色特征相似度和轮廓特征相似度的确定手段均为现有技术手段，本发明实施例不再赘述，最后通过颜色特征相似度和轮廓特征相似度得到两张用户手势图像之间的总相似度值，总相似度值＝第一系数*颜色特征相
似度 第二系数*轮廓特征相似度，第一系数和第二系数均为定值，且第一系数要小于第二系数，将总相似度值与第一预设值进行对比得到一致性判定结果，所述第一预设值为事先设定的定值。
71.如图3所示，作为本发明一个优选的实施例，所述根据执行手势执行对应的操作的步骤，具体包括：
72.s401，调取执行手势对应的预设手势图像所设定的执行操作程序，所述预设手势库中上传有若干个预设手势图像，每个预设手势图像设定有执行操作程序；
73.s402，根据所述执行操作程序执行对应的操作。
74.本发明实施例中，执行手势确定后，立即调取执行手势对应的预设手势图像所设定的执行操作程序，所述预设手势库中事先上传有很多预设手势图像，每个预设手势图像对应设定有执行操作程序，预设手势库需要相关工作人员不断完善和更新，最后根据调取的执行操作程序执行对应的操作，一个手势交互任务完成。
75.如图4所示，作为本发明一个优选的实施例，所述方法还包括：对历史执行手势进行分析，生成伴随性手势，具体为：
76.s501，每隔预设时间对历史上所有种类的连贯执行手势进行计数，所述连贯执行手势是指两个连续的执行手势；
77.s502，当一种连贯执行手势达到第二预设值时，确定所述连贯执行手势为伴随性手势；
78.s503，将伴随性手势导入伴随性手势库中。
79.本发明实施例中，具有大数据分析的能力，以便后续提供更好的服务，本发明实施例每隔预设时间对历史上所有种类的连贯执行手势进行计数，预设时间为事先设定的定值，例如为一个月，所述连贯执行手势是指两个连续的执行手势，例如执行手势a和执行手势b为某次操作中连续的两个执行手势，则执行手势a和执行手势b为连贯执行手势，且默认先执行a后执行b，如果某一种或者某几种连贯执行手势达到第二预设值时，第二预设值为事先设定的定值，说明两个执行手势经常一起连续出现，确定所述连贯执行手势为伴随性手势，将伴随性手势导入伴随性手势库中，后续就可以对伴随性手势库进行分析以提供更好的服务了。
80.如图5所示，作为本发明一个优选的实施例，所述方法还包括：
81.s601，接收预设伴随手势增加命令，所述预设伴随手势增加命令包括伴随性手势和预设手势图像；
82.s602，将预设手势图像导入预设手势库中，并记录所述伴随性手势对应的两个执行操作程序，当所述预设手势图像被设定为执行手势时，会先后执行两个操作。
83.本发明实施例中，提供了一种更好服务的手段，即对伴随性手势新增一个预设手势图像，并将预设手势图像导入预设手势库中，所述预设手势图像的设定执行操作程序为所述伴随性手势对应的两个执行操作程序，所以当该预设手势图像被设定为执行手势时，会先后执行两个操作，如此通过一个手势就能够实现两个操作，快速方便。当需要对伴随性手势新增一个预设手势图像时，输入预设伴随手势增加命令，所述预设伴随手势增加命令包括伴随性手势和预设手势图像。
84.如图6所示，本发明实施例还提供了一种基于手势识别的人机交互系统，所述系统
包括：
85.手势识别开启模块100，用于接收手势识别开启指令，自动打开图像采集设备；
86.手势图像采集模块200，用于接收通过所述图像采集设备连续采集的两张用户手势图像，图像采集设备设置有图像采集时间间隔；
87.一致性判定模块300，用于对两张用户手势图像进行一致性判定，当一致性判定不通过时，两张用户手势图像均无效；当一致性判定通过时，选取任意一张用户手势图像与预设手势库中的预设手势图像进行匹配，将匹配成功的预设手势图像设定为执行手势；以及
88.操作执行模块400，用于根据执行手势执行对应的操作。
89.本发明实施例中，当用户需要通过手势与机器进行交互时，直接输入手势识别开启指令，会自动打开图像采集设备，所述图像采集设备会自动对用户的手势进行拍照采集，图像采集设备事先设置有图像采集时间间隔，例如图像采集时间间隔为1秒钟，那么图像采集设备连续采集两张图片之间的时间间隔就是1秒钟，需要说明的是，图像采集设备所采集的用户手势图像是实时上传的，但在本发明实施例中，用户手势图像不是一张一张上传的，而是两张两张上传的，当图像采集设备上传两张连续采集的用户手势图像后，本发明实施例自动对两张用户手势图像进行一致性判定，一致性判定是指确定两张用户手势图像中的手势是否一致，当一致性判定不通过时，表明两张用户手势图像中的手势不一致，说明手势属于用户在无意中作出的无用手势，无意中作出的手势移动速度较快，没有停留，因此不具有一致性，本发明实施例自动判定两张用户手势图像均无效；当一致性判定通过时，表明两张用户手势图像中的手势一致，说明手势确实是用户想要做出的手势，本发明实施例自动选取两张中的任意一张用户手势图像与预设手势库中的预设手势图像进行匹配，将匹配成功的预设手势图像设定为执行手势，最后根据执行手势执行对应的操作。
90.如图7所示，作为本发明一个优选的实施例，所述一致性判定模块300包括：
91.颜色轮廓特征确定单元301，用于获取两张用户手势图像的颜色特征和轮廓特征，所述颜色特征为像素均值，所述轮廓特征为phash值；
92.颜色相似度确定单元302，用于根据两张用户手势图像的像素均值之间的差值得到颜色特征相似度；
93.轮廓相似度确定单元303，用于根据两张用户手势图像的phash值的汉明距离得到轮廓特征相似度；以及
94.总相似度确定单元304，用于根据颜色特征相似度和轮廓特征相似度得到两张用户手势图像之间的总相似度值，将总相似度值与第一预设值进行对比得到一致性判定结果。
95.本发明实施例中，为了判定两张用户手势图像是否具有一致性，需要获取两张用户手势图像的像素均值和phash值，然后通过像素均值之间的差值得到颜色特征相似度，并通过phash值的汉明距离得到轮廓特征相似度，这里颜色特征相似度和轮廓特征相似度的确定手段均为现有技术手段，本发明实施例不再赘述，最后通过颜色特征相似度和轮廓特征相似度得到两张用户手势图像之间的总相似度值，总相似度值＝第一系数*颜色特征相似度 第二系数*轮廓特征相似度，第一系数和第二系数均为定值，且第一系数要小于第二系数，将总相似度值与第一预设值进行对比得到一致性判定结果，所述第一预设值为事先设定的定值。
96.如图8所示，作为本发明一个优选的实施例，所述操作执行模块400包括：
97.操作程序调取单元401，用于调取执行手势对应的预设手势图像所设定的执行操作程序，所述预设手势库中上传有若干个预设手势图像，每个预设手势图像设定有执行操作程序；和
98.程序执行单元402，用于根据所述执行操作程序执行对应的操作。
99.本发明实施例中，执行手势确定后，立即调取执行手势对应的预设手势图像所设定的执行操作程序，所述预设手势库中事先上传有很多预设手势图像，每个预设手势图像对应设定有执行操作程序，预设手势库需要相关工作人员不断完善和更新，最后根据调取的执行操作程序执行对应的操作，一个手势交互任务完成。
100.如图9所示，作为本发明一个优选的实施例，所述系统还包括伴随性手势生成模块500，伴随性手势生成模块500包括：
101.连贯执行手势计数单元501，每隔预设时间对历史上所有种类的连贯执行手势进行计数，所述连贯执行手势是指两个连续的执行手势；
102.伴随性手势确定单元502，当一种连贯执行手势达到第二预设值时，确定所述连贯执行手势为伴随性手势；以及
103.伴随性手势导入单元503，用于将伴随性手势导入伴随性手势库中。
104.本发明实施例中，具有大数据分析的能力，以便后续提供更好的服务，本发明实施例每隔预设时间对历史上所有种类的连贯执行手势进行计数，预设时间为事先设定的定值，例如为一个月，所述连贯执行手势是指两个连续的执行手势，例如执行手势a和执行手势b为某次操作中连续的两个执行手势，则执行手势a和执行手势b为连贯执行手势，且默认先执行a后执行b，如果某一种或者某几种连贯执行手势达到第二预设值时，第二预设值为事先设定的定值，说明两个执行手势经常一起连续出现，确定所述连贯执行手势为伴随性手势，将伴随性手势导入伴随性手势库中，后续就可以对伴随性手势库进行分析以提供更好的服务了。
105.如图10所示，作为本发明一个优选的实施例，所述系统还包括伴随性手势图像模块600，伴随性手势图像模块600包括：
106.伴随手势增加单元601，用于接收预设伴随手势增加命令，所述预设伴随手势增加命令包括伴随性手势和预设手势图像；以及
107.伴随预设手势导入单元602，用于将预设手势图像导入预设手势库中，并记录所述伴随性手势对应的两个执行操作程序，当所述预设手势图像被设定为执行手势时，会先后执行两个操作。
108.本发明实施例中，提供了一种更好服务的手段，即对伴随性手势新增一个预设手势图像，并将预设手势图像导入预设手势库中，所述预设手势图像的设定执行操作程序为所述伴随性手势对应的两个执行操作程序，所以当该预设手势图像被设定为执行手势时，会先后执行两个操作，如此通过一个手势就能够实现两个操作，快速方便。当需要对伴随性手势新增一个预设手势图像时，输入预设伴随手势增加命令，所述预设伴随手势增加命令包括伴随性手势和预设手势图像。
109.以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围
之内。
110.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
111.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
112.本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。