一种主动式自适应眼动追踪方法及AR眼镜与流程

一种主动式自适应眼动追踪方法及ar眼镜
1.本发明涉及增强现实技术领域，特别涉及一种主动式自适应眼动追踪方法及ar眼镜。


背景技术：

2.现有ar增强现实技术为近眼显示系统，将显示器上的像素画面，通过一系列的光学成像元件形成远处的虚像并投射到人眼中。
3.ar眼镜需要透视(see-through)，既要看到真实的外部世界，也要看到虚拟信息，所以成像系统不能挡在视线前方。为了实现这一效果，需要多加一个或一组光学元件或设备用叠加的方式将虚拟信息图像与真实世界的场景融合为一体，即为增强现实。
4.ar显示设备中的增强图像为虚像，其虚像距离受光学成像设备决定，是一个预先根据使用场景设计好的值。比如考虑到用户可能更多在室内观测，那么设计可能会将虚像距离设计的较近，这样与景物距离接近，获得更好的观测体验。
5.但是，由于场景经常变换，人眼观察目标也经常不同，针对室内场景设计的虚像距离在目标距离更远的户外会让用户很不舒服。由于观测距离不一致，人眼切换观测虚像和户外远场景时需要不断切换瞳孔和晶状体曲率，带来不适。


技术实现要素：

6.现有技术中，在ar场景中由于场景经常变换，人眼观察目标也经常不同，设定的虚像距离需要人眼不断切换瞳孔和晶状体曲率，带来不适。
7.针对上述问题，提出一种主动式自适应眼动追踪方法及ar眼镜，通过利用眼动追踪模块捕获人眼注视位置并根据人眼注视位置，利用tof模块实时检测人眼实际观察点距离；根据人眼注视位置及实际观察点距离调整图像模块的成像位置及聚焦距离，实现了实时根据人眼注视位置调整虚像，避免了在ar场景中由于场景经常变换，人眼观察目标也经常不同，设定的虚像距离需要人眼不断切换瞳孔和晶状体曲率，带来不适的问题。
8.第一方面，一种主动式自适应眼动追踪方法，包括：
9.步骤100、利用眼动追踪模块捕获人眼注视位置；
10.步骤200、根据所述人眼注视位置，利用tof模块实时检测人眼实际观察点距离；
11.步骤300、根据所述人眼注视位置及实际观察点距离调整图像模块的成像位置及聚焦距离，以适配所述人眼注视位置及人眼聚焦距离。
12.结合本发明所述的主动式自适应眼动追踪方法，第一种可能的实施方式中，所述步骤100包括：
13.步骤110、眼动追踪模块中的红外发射器发射红外光源并将红外光聚焦后发射至第一耦合器；
14.步骤120、所述第一耦合器将接收的红外光耦合进入光波导，并通过所述光波导耦合进入第二耦合器；
15.步骤130、所述第二耦合器将光波导传输而来的红外光耦合出来进入人眼。
16.结合本发明第一种可能的实施方式，第二种可能的实施方式中，所述步骤100还包括：
17.步骤140、眼动追踪模块中的横向探测器阵列捕获对外耦合器从人眼反射回来的横向最强亮度的红外光；
18.步骤150、眼动追踪模块中的竖向探测器阵列对外耦合器从人眼反射回来的纵向最强亮度的红外光；
19.步骤160、根据所述横向探测器阵列和竖向探测器阵列计算所述横向最强亮度的红外光、最强亮度的竖向探测器阵列的交叉坐标；
20.步骤170、根据所述交叉坐标确定人眼注视位置。
21.结合本发明第二种可能的实施方式，第三种可能的实施方式中，所述步骤200包括：
22.步骤210、利用tof模块中的激光光源向实际观察点发射高功率光脉冲并触发计时单元开始计时；
23.步骤220、利用tof模块中的处理单元计算所述高功率光脉冲的飞行时间；
24.步骤230、根据所述飞行时间计算人眼到实际观察点的距离。
25.结合本发明第三种可能的实施方式，第四种可能的实施方式中，所述步骤220包括：
26.步骤221、所述处理单元中的接收单元接收所述高功率光脉冲散射的部分光信号；
27.步骤222、所述处理单元中的光电转换器将接收的部分光信号转换为光电流；
28.步骤223、所述处理单元中的回波信号处理器将所述光电流转换为电压信号；
29.步骤224、对所述电压信号进行放大处理，获取回波光脉冲。
30.结合本发明第四种可能的实施方式，第五种可能的实施方式中，所述步骤220还包括：
31.步骤225、利用所述回波光脉冲触发计时单元停止计时；
32.步骤226、利用所述计时单元计算光脉冲从发射到返回的全程所用的时间t；
33.步骤227、利用光速及所述时间t计算人眼与时间观察点之间的距离值。
34.第二方面，一种ar眼镜，采用第一方面所述的主动式自适应眼动追踪方法，包括：
35.眼动追踪模块；
36.tof模块；
37.图像模块；
38.所述眼动追踪模块用于捕获人眼注视位置；
39.所述tof模块用于根据所述人眼注视位置，实时检测人眼实际观察点距离；
40.所述图像模块用于根据所述人眼注视位置及实际观察点距离调整虚像的成像位置及聚焦距离，以适配所述人眼注视位置及人眼聚焦距离。
41.结合第二方面所述的ar眼镜，第一种可能的实施方式中，所述眼动追踪模块包括：
42.红外发射器；
43.光学聚焦器；
44.第一耦合器；
45.光波导；
46.第二耦合器；
47.所述红外发射器用于发射红外光到所述光学聚焦器；
48.所述光学聚焦器用于对发射的红外光进行光学聚焦，以耦合进入所述光波导；
49.所述光波导用于通过全反射将红外光传输到所述第一耦合器；
50.所述第二耦合器用于将从光波导接收的红外光耦合出来进入人眼或者
51.将从人眼反射回来的红外光反射到探测器阵列。
52.结合第二方面第一种可能的实施方式，第二种可能的实施方式中，所述tof模块包括激光光源、接收器及mcu；所述激光光源用于向实际观察点发射高功率光脉冲；接收单元用于接收高功率光脉冲散射的部分光信号；所述mcu用于对tof模块中的各个模块进行控制，并根据飞行时间计算人眼到实际观察点的距离。
53.结合第二方面第二种可能的实施方式，第三种可能的实施方式中，所述tof模块还包括计时器；所述计时器用于计算高功率光脉冲的飞行时间。
54.结合第二方面第三种可能的实施方式，第四种可能的实施方式中，所述tof模块还包括光电转换器及回波信号处理器；所述光电转换器用于将接收的部分光信号转换为光电流；所述回波信号处理器用于将光电流转换为电压信号。
55.实施本发明中的主动式自适应眼动追踪方法及ar眼镜，通过利用眼动追踪模块捕获人眼注视位置并根据人眼注视位置，利用tof模块实时检测人眼实际观察点距离；根据人眼注视位置及实际观察点距离调整图像模块的成像位置及聚焦距离，实现了实时根据人眼注视位置调整虚像，避免了在ar场景中由于场景经常变换，人眼观察目标也经常不同，设定的虚像距离需要人眼不断切换瞳孔和晶状体曲率，带来不适的问题。
附图说明
56.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1是本发明中主动式自适应眼动追踪方法第一实施例示意图；
58.图2是本发明中主动式自适应眼动追踪方法第二实施例示意图；
59.图3是本发明中主动式自适应眼动追踪方法第三实施例示意图；
60.图4是本发明中主动式自适应眼动追踪方法第四实施例示意图；
61.图5是本发明中主动式自适应眼动追踪方法第五实施例示意图；
62.图6是本发明中主动式自适应眼动追踪方法第六实施例示意图；
63.图7是本发明中ar眼镜实施例示意图；
64.图8是本发明中ar眼镜中的tof模块连接示意图；
65.图9是本发明中ar眼镜中的模块连接第一示意图；
66.图10是本发明中ar眼镜中的模块连接第二示意图；
67.部件符号说明：10——眼动追踪模块、11——红外发射器、12——光学聚焦器、13——第一耦合器、14——光波导、15——第二耦合器、20——图像模块、30——tof模块、31——激光光源、32——接收器、33——mcu、34——光电转换器、35——回波信号处理器。
具体实施方式
68.下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
69.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
70.现有技术中，在ar场景中由于场景经常变换，人眼观察目标也经常不同，设定的虚像距离需要人眼不断切换瞳孔和晶状体曲率，带来不适。
71.针对上述问题，提出一种主动式自适应眼动追踪方法及ar眼镜。
72.第一方面，如图1，图1是本发明中主动式自适应眼动追踪方法第一实施例示意图；一种主动式自适应眼动追踪方法，包括：步骤100、利用眼动追踪模块10捕获人眼注视位置；步骤200、根据人眼注视位置，利用tof模块30实时检测人眼实际观察点距离；步骤300、根据人眼注视位置及实际观察点距离调整图像模块20的成像位置及聚焦距离，以适配人眼注视位置及人眼聚焦距离。如图9和10，图9是本发明中ar眼镜中的模块连接第一示意图；图10是本发明中ar眼镜中的模块连接第二示意图；图9为虚像调整前，虚像与环境实像部不匹配，图10为虚像调整前，虚像与环境实像部匹配。
73.实现了实时根据人眼注视位置调整虚像，避免了在ar场景中由于场景经常变换，人眼观察目标也经常不同，设定的虚像距离需要人眼不断切换瞳孔和晶状体曲率，带来不适的问题。
74.优选地，如图2，图2是本发明中主动式自适应眼动追踪方法第二实施例示意图；步骤100包括：步骤110、眼动追踪模块10中的红外发射器11发射红外光源并将红外光聚焦后发射至第一耦合器13；步骤120、第一耦合器13将接收的红外光耦合进入光波导14，并通过光波导14耦合进入第二耦合器15；步骤130、第二耦合器15将光波导14传输而来的红外光耦合出来进入人眼。
75.优选地，如图3，图3是本发明中主动式自适应眼动追踪方法第三实施例示意图；步骤100还包括：步骤140、眼动追踪模块10中的横向探测器阵列捕获对外耦合器从人眼反射回来的横向最强亮度的红外光；步骤150、眼动追踪模块10中的竖向探测器阵列对外耦合器从人眼反射回来的纵向最强亮度的红外光；步骤160、根据横向探测器阵列和竖向探测器阵列计算横向最强亮度的红外光、最强亮度的竖向探测器阵列的交叉坐标；步骤170、根据交叉坐标确定人眼注视位置。
76.优选地，如图4，图4是本发明中主动式自适应眼动追踪方法第四实施例示意图；步骤200包括：步骤210、利用tof模块30中的激光光源31向实际观察点发射高功率光脉冲并触发计时单元开始计时；步骤220、利用tof模块30中的处理单元计算高功率光脉冲的飞行时间；步骤230、根据飞行时间计算人眼到实际观察点的距离。
77.优选地，如图5，图5是本发明中主动式自适应眼动追踪方法第五实施例示意图；步骤220包括：步骤221、处理单元中的接收单元接收高功率光脉冲散射的部分光信号；步骤
222、处理单元中的光电转换器34将接收的部分光信号转换为光电流；步骤223、处理单元中的回波信号处理器35将光电流转换为电压信号；步骤224、对电压信号进行放大处理，获取回波光脉冲。
78.优选地，如图6，图6是本发明中主动式自适应眼动追踪方法第六实施例示意图；步骤220还包括：步骤225、利用回波光脉冲触发计时单元停止计时；步骤226、利用计时单元计算光脉冲从发射到返回的全程所用的时间t；步骤227、利用光速及时间t计算人眼与时间观察点之间的距离值。
79.第二方面，如图7，图7是本发明中ar眼镜实施例示意图；一种ar眼镜，采用第一方面的主动式自适应眼动追踪方法，包括眼动追踪模块10、tof模块30、图像模块20；眼动追踪模块10用于捕获人眼注视位置；tof模块30用于根据人眼注视位置，实时检测人眼实际观察点距离；图像模块20用于根据人眼注视位置及实际观察点距离调整虚像的成像位置及聚焦距离，以适配人眼注视位置及人眼聚焦距离。
80.优选地，眼动追踪模块10包括红外发射器11、光学聚焦器12、第一耦合器13、光波导14、第二耦合器15；红外发射器11用于发射红外光到光学聚焦器12；光学聚焦器12用于对发射的红外光进行光学聚焦，以耦合进入光波导14；光波导14用于通过全反射将红外光传输到第一耦合器13；第二耦合器15用于将从光波导14接收的红外光耦合出来进入人眼或者将从人眼反射回来的红外光反射到探测器阵列。
81.优选地，如图8，图8是本发明中ar眼镜中的tof模块30连接示意图；tof模块30包括激光光源31、接收器32及mcu33；所述激光光源31用于向实际观察点发射高功率光脉冲；接收单元用于接收高功率光脉冲散射的部分光信号；所述mcu33用于对tof模块30中的各个模块进行控制，并根据飞行时间计算人眼到实际观察点的距离。
82.优选地，tof模块30还包括计时器；所述计时器用于计算高功率光脉冲的飞行时间。
83.优选地，tof模块30还包括光电转换器34及回波信号处理器35；所述光电转换器34用于将接收的部分光信号转换为光电流；所述回波信号处理器35用于将光电流转换为电压信号。
84.激光光源31向实际观察点发射高功率光脉冲触发计时器开始计时，接收器32接收所述高功率光脉冲散射的部分光信号；通过光电转换器34将接收的部分光信号转换为光电流，利用回波信号处理器35将所述光电流转换为电压信号，利用该电压信号触发计时器停止计时。计时器将飞行时间发送给mcu33。mcu33根据三角测量原理计算人眼实际观察点距离。
85.实施本发明中的主动式自适应眼动追踪方法及ar眼镜，通过利用眼动追踪模块10捕获人眼注视位置并根据人眼注视位置，利用tof模块30实时检测人眼实际观察点距离；根据人眼注视位置及实际观察点距离调整图像模块20的成像位置及聚焦距离，实现了实时根据人眼注视位置调整虚像，避免了在ar场景中由于场景经常变换，人眼观察目标也经常不同，设定的虚像距离需要人眼不断切换瞳孔和晶状体曲率，带来不适的问题。
86.以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。