增强现实中的裸手操作方法、系统与流程

1.本发明涉及虚拟现实技术领域，更为具体地，涉及一种增强现实中的裸手操作方法、系统。


背景技术：

2.由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。
3.随着人工现实领域的发展，用户在vr、ar以及mr场景下与内容的交互必不可少，同时操作便捷的“裸手”手势交互成为今日发展的趋势。目前该场景下已有的手势交互大部分为单手指食指“点击”手势、拇指与食指的“捏取”手势、握拳“确定”手势等。而单纯的采用单手食指“点击”、拇指与食指的“捏取”、握拳进行“确定”的交互手势，对手势识别的精度要求较高，因而对此产生的人力、财力投入势必较大，并且在进行手的虚拟坐标采集时，由于精度要求较高，通常手的重要关节定位不稳定，从而使得交互准确度与体验度相对较差。
4.因此，亟需一种能够减少人财投入，提高手势识别精度，提高手势操作稳定性的增强现实中的裸手操作方法。


技术实现要素：

5.鉴于上述问题，本发明的目的是提供一种增强现实中的裸手操作方法，以解决目前单纯的采用单手食指“点击”、拇指与食指的“捏取”、握拳进行“确定”的交互手势，对手势识别的精度要求较高，因而对此产生的人力、财力投入势必较大，并且在进行手的虚拟坐标采集时，由于精度要求较高，通常手的重要关节定位不稳定，从而使得交互准确度与体验度相对较差的问题。
6.本发明提供的一种增强现实中的裸手操作方法，其中，包括：
7.基于真实手的深度信息获取vr系统中虚拟手的空间坐标；
8.基于所述空间坐标在所述虚拟手上绑定追踪球；其中，在所述虚拟手的掌心绑定掌心球，在所述虚拟手的指尖绑定指尖球，且，所述掌心球比所述指尖球大；
9.实时获取所述指尖球与所述掌心球的直线距离，若所述直线距离小于预设的触发阈值，则第一触发条件成立；
10.根据所述第一触发条件进行vr互动操作。
11.优选地，基于真实手的深度信息获取vr系统中虚拟手的空间坐标的过程，包括：
12.通过深度相机获取所述真实手与vr系统中的传感器的相对距离；
13.基于所述传感器的位置和所述相对距离获取所述真实手的手腕真实位置；
14.以所述传感器的虚拟坐标为参照，将所述手腕真实位置映射至虚拟空间内以形成手腕空间坐标；
15.基于所述手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取所述虚拟手在vr系统内的空间坐标。
16.优选地，在所述虚拟手的掌心绑定掌心球，在所述虚拟手的指尖绑定指尖球的过程，包括：
17.获取所述虚拟手的掌心虚拟位置坐标和指尖虚拟位置坐标；
18.在所述掌心虚拟位置坐标上设置掌心球，在所述指尖虚拟位置坐标上设置指尖球；并且，
19.所述掌心球始终随着所述掌心虚拟位置坐标的移动而移动；
20.所述指尖球始终随着所述指尖虚拟位置坐标的移动而移动。
21.优选地，所述指尖球包括小指指尖球、无名指指尖球和中指指尖球。
22.优选地，实时获取所述指尖球与所述掌心球的直线距离，若所述直线距离小于预设的触发阈值，则第一触发条件成立的过程，包括：
23.实时获取指尖球
‑
掌心球直线距离，其中，所述指尖球
‑
掌心球直线距离表征除拇指外的手指向所述掌心靠拢做握拳动作时所述指尖球与所述掌心球之间所形成的直线距离；
24.将所述指尖球
‑
掌心球直线距离与预设的触发阈值进行比较，若所述指尖球
‑
掌心球直线距离小于所述触发阈值，则第一触发条件成立。
25.优选地，还包括：在所述虚拟手的拇指上绑定拇指球，在所述虚拟手的食指上绑定食指长方体；其中，
26.在所述虚拟手的拇指上绑定拇指球，在所述虚拟手的食指上绑定食指长方体的过程，包括：
27.获取所述拇指虚拟位置坐标和食指虚拟位置坐标；
28.在所述拇指虚拟位置坐标上设置拇指球，在所述食指虚拟位置坐标上设置食指长方体；并且，
29.所述拇指球始终随着所述拇指虚拟位置坐标的移动而移动；
30.所述食指长方体始终随着所述食指虚拟位置坐标的移动而移动。
31.优选地，实时获取拇指球
‑
食指长方体间距，其中，所述拇指球
‑
食指长方体间距表征所述拇指向所述食指靠拢做捏取动作时所述拇指球与所述食指长方体之间所形成的间距；
32.当所述拇指球
‑
食指长方体间距小于预设的捏取阈值，则第二触发条件成立；
33.根据所述第二触发条件触发vr系统上显示器中所述虚拟手对应位置处的操作光标以进行vr互动操作。
34.本发明还提供一种增强现实中的裸手操作系统，实现如前所述的增强现实中的裸手操作方法，包括：
35.坐标对应模块，用于基于真实手的深度信息获取vr系统中虚拟手的空间坐标；
36.追踪绑定模块，用于基于所述空间坐标在所述虚拟手上绑定追踪球；其中，在所述虚拟手的掌心绑定掌心球，在所述虚拟手的指尖绑定指尖球，且，所述掌心球比所述指尖球大；
37.条件触发模块，用于实时获取所述指尖球与所述掌心球的直线距离，若所述直线
距离小于预设的触发阈值，则第一触发条件成立；
38.互动执行模块，用于根据所述第一触发条件进行vr互动操作。
39.优选地，所述坐标对应模块包括：
40.真实位置计算单元，用于通过深度相机获取所述真实手与vr系统中的传感器的相对距离；基于所述传感器的位置和所述相对距离获取所述真实手的手腕真实位置；
41.虚拟坐标对应单元，用于以所述传感器的虚拟坐标为参照，将所述手腕真实位置映射至虚拟空间内以形成手腕空间坐标；基于所述手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取所述虚拟手在vr系统内的空间坐标。
42.优选地，还包括捏取操作单元，
43.所述捏取操作单元用于当拇指球
‑
食指长方体间距小于预设的捏取阈值，则第二触发条件成立，并根据所述第二触发条件触发vr系统上显示器中所述虚拟手对应位置处的操作光标以进行vr互动操作；其中，所述拇指球
‑
食指长方体间距表征所述拇指向所述食指靠拢做捏取动作时所述拇指球与所述食指长方体之间所形成的间距。
44.从上面的技术方案可知，本发明提供的增强现实中的裸手操作方法、系统，基于真实手的深度信息获取vr系统中虚拟手的空间坐标，再基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；而后实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立，从而根据第一触发条件进行vr互动操作，该种裸手操作方式由于引进了随手而动的小球，故稳定性更高，对精度要求更小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。
附图说明
45.通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
46.图1为根据本发明实施例的增强现实中的裸手操作方法的流程图；
47.图2为根据本发明实施例的增强现实中的裸手操作方法中绑定追踪球的示意图；
48.图3为根据本发明实施例的增强现实中的裸手操作方法中拇指球与食指长方体的示意图；
49.图4为根据本发明实施例的增强现实中的裸手操作方法中虚拟射线的示意图；
50.图5为根据本发明实施例的增强现实中的裸手操作系统的示意图。
具体实施方式
51.目前该场景下已有的手势交互大部分为单手指食指“点击”手势、拇指与食指的“捏取”手势、握拳“确定”手势等。而单纯的采用单手食指“点击”、拇指与食指的“捏取”、握拳进行“确定”的交互手势，对手势识别的精度要求较高，因而对此产生的人力、财力投入势必较大，并且在进行手的虚拟坐标采集时，由于精度要求较高，通常手的重要关节定位不稳定，从而使得交互准确度与体验度相对较差。
52.针对上述问题，本发明提供一种增强现实中的裸手操作方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
53.为了说明本发明提供的增强现实中的裸手操作方法、系统，图1、图2、图3、图4对本发明实施例的增强现实中的裸手操作方法进行了示例性标示；图5对本发明实施例的增强现实中的裸手操作系统进行了示例性标示。
54.以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
55.如图1所示，本发明提供的本发明实施例的增强现实中的裸手操作方法，包括：
56.s1：基于真实手的深度信息获取vr系统中虚拟手的空间坐标；
57.s2：基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；
58.s3：实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立；
59.s4：根据第一触发条件进行vr互动操作。
60.如图1所示，步骤s1为基于真是手的深度信息获取虚拟手的空间坐标的过程，在本实施例中，基于真实手的深度信息获取vr系统中虚拟手的空间坐标的过程，包括：
61.s11：通过深度相机获取真实手与vr系统中的传感器的相对距离；
62.s12：基于传感器的位置和相对距离获取真实手的手腕真实位置；
63.s13：以传感器的虚拟坐标为参照，将手腕真实位置映射至虚拟空间内以形成手腕空间坐标；
64.s14：基于手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取虚拟手在vr系统内的空间坐标。
65.具体的，首先通过深度相机获取真实手与vr系统中的传感器的之间的位置关系的过程，且传感器的真实位置以及传感器的虚拟坐标均是已知的，故可根据传感器的真实位置推算出手的手腕的真实位置，再基于已知的传感器的虚拟坐标，即可将手腕的真实位置映射至虚拟空间中，如此获取到手腕空间坐标，并且手的大小以及手的各个关节之间的位置关系(手部关节信息)均是已知的，故可根据手腕空间坐标计算推导出手的各个关节在虚拟空间中的坐标，因此得以填充形成虚拟手，进而获取整个虚拟手在vr系统内的空间坐标。
66.如图1、图2共同所示，步骤s2为在虚拟手上绑定追踪球的过程，其中，在如图2所示的虚拟手的掌心绑定掌心球(大球)，在虚拟手的指尖绑定指尖球(小球)的过程，包括：
67.s21：获取虚拟手的掌心虚拟位置坐标和指尖虚拟位置坐标；
68.s22：在掌心虚拟位置坐标上设置掌心球，在指尖虚拟位置坐标上设置指尖球222；并且，
69.该掌心球始终随着掌心虚拟位置坐标的移动而移动；
70.该指尖球始终随着指尖虚拟位置坐标的移动而移动；
71.如此，通过判断掌心球与指尖球的距离即可判断手指的指尖与掌心的距离，进而判断手指的弯曲程度以辨别整个手是否发生了握拳动作，在本实施例中，该指尖球包括小指指尖球、无名指指尖球和中指指尖球，即通过指尖球判断小指、无名指、中指与掌心的位置关系，从而判断用户是否握拳，该种通过绑定小球判断手的状态的方式解决了传统裸手操作精度要求高的问题，提高了虚拟手定位的稳定性，且降低了精准度要求，进而提高用户
沉浸式体验。
72.如图1、图2共同所示，步骤s3为实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立的过程，该过程即实时监测指尖球与掌心球的直线距离，若用户欲通过裸手操控vr系统，则会开始握拳，在本实施例中，该过程包括：
73.s31：实时获取指尖球
‑
掌心球直线距离，其中，该指尖球
‑
掌心球直线距离表征除拇指外的手指向掌心靠拢做握拳动作时指尖球与掌心球之间所形成的直线距离；
74.s32：将指尖球
‑
掌心球直线距离与预设的触发阈值进行比较，若指尖球
‑
掌心球直线距离小于触发阈值，则第一触发条件成立。
75.需要说明的是，该指尖球和掌心球为vr系统中的虚拟球，其可以为有色的，也可以为无色的，为了便于示意，在附图2中示出了掌心球和指尖球，但在本实施例中，该掌心球和指尖球为无色透明、肉眼不可见的虚拟球体，其可随着所绑定的手的部位移动而移动，以增加虚拟手的坐标信息的稳定性，从而确保对虚拟手的姿势的判定的准确性；在本实施例中，若该第一触发条件成立，可自动立即执行任何与该第一触发条件相对应的操作，如此，提高进行裸手操作交互时的响应速度。
76.如图1、图3共同所示，步骤s4为根据该第一触发条件进行vr互动操作的过程，即若用户进行了一次握拳，择满足一次该第一触发条件，该第一触发条件成立，则vr系统自动执行与该第一触发条件相对应的交互操作，该交互操作与该第一触发条件的对应关系为提前预设的，具体的预设过程在此不做赘述；并且该第一触发条件可以与任何具有交互性质的操作相对应，比如进入页面和退出页面，点击vr系统中的显示器中界面上的任何光标或标识，甚至进行开启和关闭操作等，并且该开启和关闭包括但不限于对显示器的开启或关闭，即当用户握拳动作发生，该vr系统即可自动进行上述进入页面和退出页面，点击vr系统中的显示器中界面上的任何光标或标识，甚至进行开启和关闭操作等任何交互性质的操作。
77.此外，如图1、图3共同所示，本发明提供的本发明实施例的增强现实中的裸手操作方法，还包括：s5：在虚拟手的拇指上绑定拇指球，在虚拟手的食指上绑定食指长方体；其中，
78.在如图3所示的虚拟手的拇指上绑定拇指球(图3中拇指上的扁圆形)，在虚拟手的食指上绑定食指长方体的过程，包括：
79.s511：获取拇指虚拟位置坐标和食指虚拟位置坐标；
80.s512：在拇指虚拟位置坐标上设置拇指球，在食指虚拟位置坐标上设置食指长方体；并且，
81.该拇指球始终随着拇指虚拟位置坐标的移动而移动；
82.该食指长方体始终随着食指虚拟位置坐标的移动而移动；
83.需要说明的是，该食指长方体并非单指实际意义中传统的长方体形状，而是如图三所示包裹食指的类似长方体形状的标志物，可以较长方体略扁、略不规则。
84.在图1、图3共同所示的实施例中，包括：
85.s521：实时获取拇指球
‑
食指长方体间距，其中，该拇指球
‑
食指长方体间距表征拇指向食指靠拢做捏取动作时拇指球与食指长方体之间所形成的间距；
86.s522：当拇指球
‑
食指长方体间距小于预设的捏取阈值，则第二触发条件成立；
87.s523：根据第二触发条件触发vr系统上显示器中虚拟手对应位置处的操作光标以
进行vr互动操作。
88.在图1、图3、图4共同所示的实施例中，通过在虚拟手的拇指位置绑定拇指球，在食指的位置绑定食指长方体，以便于获取到拇指球
‑
食指长方体间距，当用于有一定的需求，通过拇指捏取食指的方式触发第二触发条件，即用户做拇指与食指的捏取动作使拇指向食指靠拢以形成拇指球
‑
食指长方体间距，当拇指球
‑
食指长方体间距小于预设的捏取阈值，则第二触发条件成立，该第二触发条件成立后和直接自动启动与该第二触发条件相对应的交互操作，在本实施例中，与该第二触发条件相对应的交互操作可以为任意具有“点击”、“按下”等性质的操作，在此不作具体限制。
89.在图1、图3、图4共同所示的实施例中，通过用户的关节和手的特定位置确定一条虚拟射线，该虚拟射线在实际应用中可以为有色，也可以为无色，在图4中为便于示意故将该虚拟射线示为有形状、有色的自手开始、自显示器结束的线条，但在本实施例中该虚拟射线与vr系统中的显示器相交，相交处为显示器中虚拟光标的地方，当用户移动手时，该虚拟射线也会随手移动，从而用户通过移动手的方式移动显示器中的虚拟光标，即通过移动手的方式选择想要点击显示器中的哪一位置，当将虚拟光标移动到想要点击的位置时，通过拇指捏取食指的方式触发第二触发条件，第二触发条件成立，则虚拟光标点击显示器中任意一个能够点击的页面按键，比如点击页面中的app图标、点击确定、点击取消，虚拟光标点击之后，在此不做赘述，在本实施例中，若第二触发条件成立对显示器的界面中的内容进行点击之后，当用户松开拇指该点击动作即刻生效，因此，该第二触发条件还能够与拖拽、滑动显示器的界面中的内容这一交互操作相对应，即用户进行捏取动作，虚拟光标点击显示器中的内容，此时用户可移动整个手，使该虚拟光标带动所点击的内容随着手的运动而移动，当把所点击的内容移动至目标位置之后，用户抬起拇指终止捏取动作，即可使拖拽或滑动操作生效。
90.需要说明的是，第一触发条件和第二触发条件所分别对应交互操作均可提前设置，交互操作的对象可以为任意vr系统中能够进行裸手操作对应的目标按键或界面，更为详细的操作细节在此不作赘述。
91.如上所述，本发明提供的增强现实中的裸手操作方法，基于真实手的深度信息获取vr系统中虚拟手的空间坐标，再基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；而后实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立，从而根据第一触发条件进行vr互动操作，该种裸手操作方式由于引进了随手而动的小球，故稳定性更高，对精度要求更小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。
92.如图5所示，本发明还提供一种增强现实中的裸手操作系统100实现如上的增强现实中的裸手操作方法，包括：
93.坐标对应模块101，用于基于真实手的深度信息获取vr系统中虚拟手的空间坐标；
94.追踪绑定模块102，用于基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；
95.条件触发模块103，用于实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立；
96.互动执行模块104，用于根据第一触发条件进行vr互动操作。
97.在图5所示的实施例中，该坐标对应模块101包括：
98.真实位置计算单元101
‑
1，用于通过深度相机获取真实手与vr系统中的传感器的相对距离；基于传感器的位置和相对距离获取真实手的手腕真实位置；
99.虚拟坐标对应单元101
‑
2，用于以传感器的虚拟坐标为参照，将手腕真实位置映射至虚拟空间内以形成手腕空间坐标；基于手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取虚拟手在vr系统内的空间坐标。
100.此外，本发明提供的增强现实中的裸手操作系统100还包括捏取操作单元105(图中未示出)，
101.该捏取操作单元105用于当拇指球
‑
食指长方体间距小于预设的捏取阈值，则第二触发条件成立，并根据第二触发条件触发vr系统上显示器中虚拟手对应位置处的操作光标以进行vr互动操作；其中，该拇指球
‑
食指长方体间距表征拇指向食指靠拢做捏取动作时拇指球与食指长方体之间所形成的间距。
102.如此通过第一触发条件、第二触发条件分别对应不同的功能，以便于用户通过单手可实现两类交互方式，具体的互动操作方式在此不作具体对应，可根据用户需求而定，以提高用户进行裸手操作的趣味性和稳定性。
103.通过上述实施方式可以看出，本发明提供的增强现实中的裸手操作系统，首先通过坐标对应模块101基于真实手的深度信息获取vr系统中虚拟手的空间坐标，再通过追踪绑定模块102基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；而后通过条件触发模块103实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立，从而通过互动执行模块104根据第一触发条件进行vr互动操作，该种裸手操作方式由于引进了随手而动的小球，故稳定性更高，对精度要求更小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。
104.如上参照附图以示例的方式描述了根据本发明提出的增强现实中的裸手操作系统方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的增强现实中的裸手操作系统方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。