眼动交互控制方法及装置与流程

本发明涉及眼动控制，尤其涉及一种眼动交互控制方法及装置。

背景技术：

1、增强现实（augmented reality，ar）是一种将虚拟景物或信息与现实物理环境叠加融合起来呈现在用户面前，从而营造出虚拟与现实共享同一空间的技术。目前，ar设备（如：眼镜、头盔等）可在透明显示屏（如：眼镜镜片）上投射虚拟交互界面，用户通过眼动即可与虚拟交互界面交互。现有眼动交互方案主要依赖眼球注视方向，当摄像头捕捉到的注视点落在近场的虚拟交互界面时，即用户在近场界面注视时，判断用户需要与ar设备交互或观看近场界面的内容（如：无人设备回传的画面）。例如：在ar设备控制无人设备（如：无人机、无人车、无人船或机器人等设备）的应用场景中，ar设备在透明显示屏显示虚拟交互界面，该虚拟交互界面中有多个用于控制无人设备的虚拟控件，在人眼的注视点落在某一虚拟控件所在区域时，即判定用户意图触发该按钮功能，以控制无人设备。

2、然而，用户在远场世界注视（也称外部世界注视）时，即观察远场的外部真实世界时，视线可能同时穿透近场的虚拟交互界面，即注视点落在近场的虚拟交互界面，导致误判断用户的意图是近场界面注视，即难以准确判断用户意图是近场界面注视还是远场世界注视。例如：用户注视远处天空中的无人机时，而视觉方向恰好穿过某一虚拟控件所在区域，即注视点落在该虚拟控件区域，此时会误判用户的交互意图为操作虚拟控件，导致误触发，这在操控无人机等对安全性要求高的应用场景中是不可接受的。

技术实现思路

1、本发明提供一种眼动交互控制方法及装置，用以解决现有技术中通过注视点的交互控制方式难以准确地判断用户意图的技术问题。

2、本发明提供一种眼动交互控制方法，包括以下步骤：

3、获取用户的眼部图像；

4、从所述眼部图像中识别瞳孔并确定瞳孔大小；

5、基于所述眼部图像确定用户的注视点坐标；

6、在所述注视点坐标位于近场的虚拟交互界面内，且所述瞳孔大小小于预设瞳孔大小阈值的情况下，则确定用户意图为近场界面注视，否则，为远场世界注视。

7、根据本发明提供的一种眼动交互控制方法，所述预设瞳孔大小阈值基于如下方式确定：

8、获取用户注视近场的虚拟交互界面的近场瞳孔大小，以及用户注视远场的外部真实世界的远场瞳孔大小；

9、基于所述近场瞳孔大小和所述远场瞳孔大小标定所述预设瞳孔大小阈值。

10、根据本发明提供的一种眼动交互控制方法，基于所述近场瞳孔大小和所述远场瞳孔大小标定所述预设瞳孔大小阈值，包括：

11、计算所述远场瞳孔大小与近场瞳孔大小的尺寸差，并根据预设尺寸差权重得到尺寸差加权值；

12、利用所述远场瞳孔大小减去所述尺寸差加权值，得到所述预设瞳孔大小阈值。

13、根据本发明提供的一种眼动交互控制方法，在所述注视点坐标位于近场的虚拟交互界面内，且所述瞳孔大小小于预设瞳孔大小阈值的情况下，则确定用户意图为近场界面注视，否则，为远场世界注视，包括：

14、确定所述注视点坐标位于近场的虚拟交互界面内，在所述瞳孔大小的收缩速率大于预设速率阈值和/或在预设时间范围内收缩至小于所述预设瞳孔大小阈值的情况下，确定用户意图为近场界面注视，否则，为远场世界注视。

15、根据本发明提供的一种眼动交互控制方法，还包括：在确定用户意图为近场界面注视之后，以第一不透明度显示所述虚拟交互界面，在确定用户意图为远场世界注视之后，以第二不透明度显示所述虚拟交互界面，第一不透明度大于第二不透明度。

16、根据本发明提供的一种眼动交互控制方法，在确定用户意图为近场界面注视之后，还包括：

17、基于所述注视点坐标持续监测注视点在所述虚拟交互界面内的暂停位置；

18、在所述暂停位置位于所述虚拟交互界面中任一控件的区域范围时，高亮显示所述任一控件；

19、在所述注视点在所述任一控件的停留时长大于预设时长的情况下，确定所述任一控件为目标控件，并生成目标控件相应的目标指令。

20、根据本发明提供的一种眼动交互控制方法，在所述注视点在所述任一控件的停留时长大于预设时长的情况下，确定所述任一控件为目标控件，并生成目标控件相应的目标指令，包括：

21、在所述注视点在所述任一控件的停留时长大于预设时长的情况下，在所述虚拟交互界面生成用户确认提示窗口；

22、在收到用户按所述用户确认提示窗口中的提示执行的反馈信息后，生成所述目标指令。

23、根据本发明提供的一种眼动交互控制方法，用于无人设备的交互控制，还包括：

24、在确定用户意图为远场世界注视的情况下，激活第一操控模态集合，抑制第二操控模态集合，所述第一操控模态集合至少包括：对无人设备运动状态控制的手动操控模态和语音操控模态，所述第二操控模态集合至少包括：对无人设备运动状态控制的眼动操控模态以及对无人设备云台运动状态控制的头部姿态操控模态；

25、在确定用户意图为近场界面注视的情况下，激活所述第二操控模态集合，且保持所述第一操控模态集合为激活状态。

26、根据本发明提供的一种眼动交互控制方法，还包括：在确定用户意图为近场界面注视的情况下，在同时收到多个操控模态的目标指令时，优先将第二操控模态集合对应的目标指令发送至所述无人设备。

27、本发明还提供一种眼动交互控制装置，包括：

28、眼部图像获取模块，用于获取用户的眼部图像；

29、瞳孔大小确定模块，用于从所述眼部图像中识别瞳孔并确定瞳孔大小；

30、注视点确定模块，用于基于所述眼部图像确定用户的注视点坐标；

31、用户意图确定模块，用于在所述注视点坐标位于近场的虚拟交互界面内，且所述瞳孔大小小于预设瞳孔大小阈值的情况下，则确定用户意图为近场界面注视，否则，为远场世界注视。

32、本发明提供的眼动交互控制方法及装置，通过获取用户的眼部图像；从眼部图像中识别瞳孔并确定瞳孔大小；基于眼部图像确定用户的注视点坐标；在注视点坐标位于近场的虚拟交互界面内，且瞳孔大小小于预设瞳孔大小阈值的情况下，则确定用户意图为近场界面注视，否则，为远场世界注视，即利用了瞳孔因近反射而收缩，注视远处物体时，瞳孔相对放大的生理反应，判断注视点坐标位于近场的虚拟交互界面内，以及瞳孔大小小于预设瞳孔大小阈值这两个条件同时满足时，确定用户意图为近场界面注视，从而在眼动交互过程中能够准确地判断出用户意图是近场界面注视还是远场世界注视。

1.一种眼动交互控制方法，其特征在于，包括：

2.根据权利要求1所述的眼动交互控制方法，其特征在于，所述预设瞳孔大小阈值基于如下方式确定：

3.根据权利要求2所述的眼动交互控制方法，其特征在于，基于所述近场瞳孔大小和所述远场瞳孔大小标定所述预设瞳孔大小阈值，包括：

4.根据权利要求1所述的眼动交互控制方法，其特征在于，在所述注视点坐标位于近场的虚拟交互界面内，且所述瞳孔大小小于预设瞳孔大小阈值的情况下，则确定用户意图为近场界面注视，否则，为远场世界注视，包括：

5.根据权利要求1所述的眼动交互控制方法，其特征在于，还包括：在确定用户意图为近场界面注视之后，以第一不透明度显示所述虚拟交互界面，在确定用户意图为远场世界注视之后，以第二不透明度显示所述虚拟交互界面，第一不透明度大于第二不透明度。

6.根据权利要求1所述的眼动交互控制方法，其特征在于，在确定用户意图为近场界面注视之后，还包括：

7.根据权利要求6所述的眼动交互控制方法，其特征在于，在所述注视点在所述任一控件的停留时长大于预设时长的情况下，确定所述任一控件为目标控件，并生成目标控件相应的目标指令，包括：

8.根据权利要求1至7中任一项所述的眼动交互控制方法，其特征在于，用于无人设备的交互控制，还包括：

9.根据权利要求8所述的眼动交互控制方法，其特征在于，还包括：在确定用户意图为近场界面注视的情况下，在同时收到多个操控模态的目标指令时，优先将第二操控模态集合对应的目标指令发送至所述无人设备。

10.一种眼动交互控制装置，其特征在于，包括：