眼动瞳孔自适应交互方法、装置、设备及存储介质与流程

摘要: 本发明涉及增强现实人机交互,尤其涉及一种眼动瞳孔自适应交互方法、装置、设备及存储介质。背景技术:1、随着增强现实技术的发展,ar眼镜逐渐应用于信息提示、导航、工...
眼动瞳孔自适应交互方法、装置、设备及存储介质与流程

本发明涉及增强现实人机交互,尤其涉及一种眼动瞳孔自适应交互方法、装置、设备及存储介质。

背景技术:

1、随着增强现实技术的发展,ar眼镜逐渐应用于信息提示、导航、工业辅助、远程协作等场景。由于ar眼镜通常采用头戴式显示方式,传统的触摸、按键或手持控制方式会受到设备形态和用户使用场景的限制,因此基于眼动的自然交互方式受到关注。现有眼动交互技术通常通过眼动追踪获取用户的注视位置,并将注视位置映射至ar界面中的交互对象,从而实现基于视线的目标选择、界面浏览及其他交互操作。

2、然而,现有基于注视的交互方式容易产生误触发问题。用户在浏览ar界面时,其视线可能自然落在某一交互对象上,但该注视行为并不意味着用户具有操作意图。如果仅根据注视位置或者注视持续时间判断用户是否需要执行操作,则难以准确区分有意交互和无意注视。采用固定停留时间作为触发条件虽然能够在一定程度上降低误触发,但较短的停留时间容易造成误操作,较长的停留时间又会增加交互等待时间和视觉疲劳;同时,不同用户以及不同使用状态下的眼动行为存在差异,采用固定的判定条件难以适应实际交互过程中的动态变化。

3、为进一步提高眼动交互的准确性,部分现有技术利用瞳孔变化等生理信息辅助确定用户的注意状态或交互事件,但通常仍需要通过用户可感知的视觉变化、额外的显式操作或者其他辅助交互方式完成确认。这类方式虽然能够增加确认依据,但可能改变原有ar界面的视觉呈现,或者要求用户执行额外动作,从而增加交互负担。与此同时,单纯利用瞳孔变化进行交互判定时,用户在不同认知状态下的瞳孔动态特征可能存在变化,固定的响应判定条件容易受到用户当前认知状态的影响,进而降低交互判断的稳定性。

4、此外,现有部分眼动交互系统主要利用注视位置、眼动速度等较为粗粒度的眼动信息进行交互判断,对微扫视、注视稳定性、瞳孔动态变化以及眨眼等眼动微特征的综合利用程度有限,因而难以进一步利用这些微观行为特征区分用户的不同交互意图。

5、综上所述,现有技术中存在的问题亟需得到解决。

技术实现思路

1、本发明提供一种眼动瞳孔自适应交互方法、装置、设备及存储介质,用以解决现有技术中的缺陷,提高ar眼动交互的准确性、自然性及自适应能力。

2、本发明提供一种眼动瞳孔自适应交互方法,包括:

3、获取用户眼部的眼动数据,并基于所述眼动数据提取用于表征用户眼动行为及瞳孔动态变化的多维眼动微特征;

4、基于所述多维眼动微特征确定用户的交互意图及对应的意图置信度,并基于所述意图置信度与预先确定的分类阈值确定用户是否产生选择意图,在确定产生所述选择意图时,根据用户当前注视位置确定目标ui元素;

5、对所述目标ui元素对应的目标区域施加低于用户意识感知阈值的统一亚感知微调制,获取所述统一亚感知微调制施加后的瞳孔动态数据,并基于所述瞳孔动态数据确定瞳孔响应特征;

6、将所述瞳孔响应特征与预先确定的确认阈值以及预设的确认响应特征进行匹配,当所述瞳孔响应特征满足所述确认阈值和所述确认响应特征时,确定所述目标ui元素被确认并执行所述目标ui元素对应的交互操作;

7、其中,所述分类阈值和所述确认阈值分别根据用户的认知负荷状态确定,所述认知负荷状态根据用户的眼动和/或瞳孔动态变化进行估计。

8、根据本发明提供的一种眼动瞳孔自适应交互方法,所述获取用户眼部的眼动数据,并基于所述眼动数据提取用于表征用户眼动行为及瞳孔动态变化的多维眼动微特征这一步骤,具体包括:

9、通过设置于ar眼镜上的眼动追踪组件采集用户的眼部图像,并根据所述眼部图像确定用户眼动数据;

10、基于所述眼动数据检测用户注视期间的微扫视事件,并根据所述微扫视事件确定微扫视频率和微扫视方向分布特征;

11、基于用户注视位置的变化确定注视稳定性特征,并基于瞳孔直径随时间的变化确定瞳孔动态特征;

12、基于用户眼睑状态的变化确定眨眼特征;

13、将所述微扫视频率、所述微扫视方向分布特征、所述注视稳定性特征、所述瞳孔动态特征以及所述眨眼特征构成所述多维眼动微特征。

14、根据本发明提供的一种眼动瞳孔自适应交互方法,所述通过设置于ar眼镜上的眼动追踪组件采集用户的眼部图像,并根据所述眼部图像确定用户眼动数据这一步骤,具体包括:

15、通过设置于所述ar眼镜上的第一红外光源、第二红外光源以及红外摄像头对用户眼部进行采集,其中,所述第一红外光源和所述第二红外光源以交替脉冲方式照射用户眼部,所述红外摄像头在对应的照射时序下采集用户眼部图像;

16、基于所述眼部图像提取瞳孔特征和角膜反射特征,并根据所述瞳孔特征和所述角膜反射特征确定所述眼动数据。

17、根据本发明提供的一种眼动瞳孔自适应交互方法,所述基于所述多维眼动微特征确定用户的交互意图及对应的意图置信度,并基于所述意图置信度与预先确定的分类阈值确定用户是否产生选择意图,在确定产生所述选择意图时,根据用户当前注视位置确定目标ui元素这一步骤,具体包括:

18、将所述多维眼动微特征输入预先训练的意图分类模型,获得多个候选交互意图分别对应的分类结果及意图置信度,并根据各候选交互意图对应的意图置信度确定用户的交互意图;

19、将所述交互意图对应的意图置信度与所述分类阈值进行比较,当所述意图置信度达到所述分类阈值时,确定用户产生选择意图;

20、在确定产生所述选择意图后,获取用户的当前注视位置,并根据所述当前注视位置与ar界面中各ui元素之间的空间对应关系,确定所述当前注视位置对应的ui元素作为目标ui元素。

21、根据本发明提供的一种眼动瞳孔自适应交互方法,所述对所述目标ui元素对应的目标区域施加低于用户意识感知阈值的统一亚感知微调制,获取所述统一亚感知微调制施加后的瞳孔动态数据,并基于所述瞳孔动态数据确定瞳孔响应特征这一步骤,具体包括:

22、对所述目标ui元素对应的目标区域施加统一亚感知微调制,使所述目标区域内的显示内容按照相同的调制规则发生变化,且所述统一亚感知微调制的调制幅度低于用户意识感知阈值;

23、以所述统一亚感知微调制的施加时刻作为时间基准,在所述施加时刻之前获取用户的瞳孔直径数据以确定瞳孔直径基准值,并在所述施加时刻之后获取预设响应时间窗口内的瞳孔动态数据;

24、根据所述瞳孔直径基准值和所述预设响应时间窗口内的瞳孔动态数据,提取所述瞳孔响应特征,所述瞳孔响应特征至少包括瞳孔直径的最大扩张量、瞳孔扩张的起始变化速率以及瞳孔扩张峰值出现时间。

25、根据本发明提供的一种眼动瞳孔自适应交互方法,所述将所述瞳孔响应特征与预先确定的确认阈值以及预设的确认响应特征进行匹配这一步骤,具体包括:

26、根据所述瞳孔响应特征确定瞳孔直径的最大扩张量、瞳孔扩张的起始变化速率以及瞳孔扩张峰值出现时间;

27、将所述瞳孔直径的最大扩张量与所述确认阈值进行比较,并将所述瞳孔扩张的起始变化速率和所述瞳孔扩张峰值出现时间分别与所述确认响应特征进行匹配;

28、当所述瞳孔直径的最大扩张量达到所述确认阈值,且所述瞳孔扩张的起始变化速率和所述瞳孔扩张峰值出现时间均满足所述确认响应特征时,确定所述瞳孔响应特征满足确认条件。

29、根据本发明提供的一种眼动瞳孔自适应交互方法,所述分类阈值和所述确认阈值通过以下步骤确定:

30、根据所述眼动数据和/或所述多维眼动微特征提取多个认知负荷指标,并对所述多个认知负荷指标进行融合,得到认知负荷表征值;

31、根据所述认知负荷表征值确定用户的认知负荷状态;

32、根据所述认知负荷状态确定对应的所述分类阈值和所述确认阈值;

33、其中,所述分类阈值用于确定所述交互意图是否达到选择意图的判定条件,所述确认阈值用于确定所述瞳孔响应特征是否达到确认条件。

34、本发明还提供一种眼动瞳孔自适应交互方法装置,包括:

35、数据获取模块,用于获取用户眼部的眼动数据,并基于所述眼动数据提取用于表征用户眼动行为及瞳孔动态变化的多维眼动微特征;

36、意图确定模块,用于基于所述多维眼动微特征确定用户的交互意图及对应的意图置信度,并基于所述意图置信度与预先确定的分类阈值确定用户是否产生选择意图,在确定产生所述选择意图时,根据用户当前注视位置确定目标ui元素;

37、瞳孔响应模块,用于对所述目标ui元素对应的目标区域施加低于用户意识感知阈值的统一亚感知微调制,获取所述统一亚感知微调制施加后的瞳孔动态数据,并基于所述瞳孔动态数据确定瞳孔响应特征;

38、交互操作模块,用于将所述瞳孔响应特征与预先确定的确认阈值以及预设的确认响应特征进行匹配,当所述瞳孔响应特征满足所述确认阈值和所述确认响应特征时,确定所述目标ui元素被确认并执行所述目标ui元素对应的交互操作;

39、其中,所述分类阈值和所述确认阈值分别根据用户的认知负荷状态确定,所述认知负荷状态根据用户的眼动和/或瞳孔动态变化进行估计。

40、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述眼动瞳孔自适应交互方法。

41、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述眼动瞳孔自适应交互方法。

42、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述眼动瞳孔自适应交互方法。

43、本发明提供的眼动瞳孔自适应交互方法、装置、设备及存储介质,首先从用户眼部的眼动数据中提取用于表征眼动行为及瞳孔动态变化的多维眼动微特征,并基于所述多维眼动微特征确定用户的交互意图及对应的意图置信度,从而不再仅依据单一注视位置判断用户是否需要进行交互,而是利用多维眼动微特征对用户的交互意图进行综合识别,有利于提高有意交互与无意注视之间的区分能力。

44、在确定用户产生选择意图并确定目标ui元素后,本发明进一步针对所述目标ui元素对应的目标区域施加低于用户意识感知阈值的统一亚感知微调制,并获取该微调制作用后的瞳孔动态数据,通过所述瞳孔动态数据确定瞳孔响应特征,再将所述瞳孔响应特征与确认阈值及确认响应特征进行匹配以确定目标ui元素是否被确认。由此,在用户无需执行额外显式操作的情况下,即可利用目标区域受到统一亚感知微调制后产生的瞳孔动态响应完成交互确认,从而在降低用户操作负担的同时,为基于注视的目标选择增加生理响应层面的确认依据,并降低仅依据注视行为进行交互所产生的误触发。

45、进一步地,本发明将分类阈值和确认阈值分别设置为根据用户的认知负荷状态确定,并利用用户眼动和/或瞳孔动态变化对所述认知负荷状态进行估计,使交互意图识别所采用的分类阈值以及目标ui元素确认所采用的确认阈值能够随用户认知状态变化而进行调整。因此,相较于采用固定判定阈值的交互方式,本发明能够针对用户不同认知状态采用相应的交互判定条件,从而提高交互判定对用户状态变化的适应能力。

46、综上,本发明通过将多维眼动微特征的交互意图识别、基于统一亚感知微调制的瞳孔响应隐式确认以及基于认知负荷状态的阈值自适应调节相结合,使用户的“是否具有交互意图”与“是否确认执行交互操作”能够通过不同层次的信息进行判断,并使相关判定条件能够根据用户状态进行调整,从而提高ar眼动交互的准确性、自然性和自适应能力。