一种基于双向微振扫描投射成像的隐形MR眼镜系统的制作方法

一种基于双向微振扫描投射成像的隐形mr眼镜系统
技术领域
1.本发明涉及混合现实技术领域，特别涉及一种基于双向微振扫描投射成像的隐形mr眼镜系统。


背景技术：

2.混合现实是一种将现实世界信息和虚拟世界信息“无缝”集成的新技术，它将计算机生成的图形叠加到现实世界中，不仅展现了现实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。现有技术中存在以下技术问题：1、传统框式眼镜结构：体积大；2、传统mr眼镜采用平面微显示屏：虚拟成像尺寸小、视角角窄，亮度低、成像畸变大；3、传统光学成像系统：光学系统复杂、体积大、重量大、虚拟成像的视场角小、畸变大、虚实结合精度低、融入感差、眩晕感强；4、一般传统振镜扫描器是采用一整片镜面反射外部照射过来的光线，光源和振镜是分体的，光学系统设计比较复杂，体积较大。


技术实现要素：

3.本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于双向微振扫描投射成像的隐形mr眼镜系统，采用隐形眼镜结构：体积小，重量轻，可以实现视网膜直接成像且视场角大、亮度高、畸变小。基于mems双向微振扫描显示组件是将振镜和光源及其他功能组件集成在一起的一体化部件，取消了镜面结构，只作为一个振动扫描平台，体积小重量轻、降低了光学系统的复杂度，提高了光学成像的显示精度。
4.为达到上述目的，本发明实施例提出了一种基于双向微振扫描投射成像的隐形mr眼镜系统，包括：支架、设置在所述支架上的mems双向微振扫描显示组件及设置在所述支架内侧的视力矫正镜片；其中，
5.所述mems双向微振扫描显示组件用于形成全彩平行点光源，通过x轴与y轴双向微振扫描，并投射至视网膜上，得到投射图像；
6.所述视力矫正镜片，用于实现视力矫正。
7.根据本发明的一些实施例，所述mems双向微振扫描显示组件包括：微振镜平台及设置在所述微振镜平台上的mems双轴微振镜、全彩单像素点、聚光准直微透镜、无线驱动电路；其中，
8.所述无线驱动电路，用于发出控制指令及供电，使得所述微振镜平台产生在x轴和y轴两个方向上的扫描动作；
9.固定于所述微振镜平台中心点上的全彩单像素点发出的光经所述聚光准直微透镜汇聚准直后成为一个全彩平行点光源，在所述微振镜平台的带动下，使得所述全彩平行点光源投射在视网膜上从左到右、从上到下不断循环扫描，结合视觉残留效应实现在视网膜上成像。
10.根据本发明的一些实施例，所述无线驱动电路还用于：
11.接收图像信号端输入的图像信号，根据所述图像信号生成待显示图像；
12.获取所述待显示图像的每个像素点的rgb颜色值；所述rgb颜色值包括r通道值、g通道值、b通道值；
13.将所述rgb颜色值对应的r通道值、g通道值、b通道值的亮度信号分别传送至固定于微振镜平台上的rgb全彩单像素点上，根据所述rgb全彩单像素点在所述视网膜上显示出目标图像。
14.根据本发明的一些实施例，所述x轴的谐振频率与y轴的谐振频率不一致。
15.根据本发明的一些实施例，还包括：
16.无线组件，分别与所述无线驱动电路及所述图像信号端连接，用于实现所述无线驱动电路与所述图像信号端之间的无线信号传输。
17.根据本发明的一些实施例，还包括：
18.视网膜监视摄像模块，用于对眼球底部的视网膜进行摄像采集，获取视网膜图像；
19.传输模块，用于将所述视网膜图像传输至服务器。
20.根据本发明的一些实施例，还包括：监测模块，用于监测所述微振镜平台的位置信息和工作状态信息并进行显示。
21.根据本发明的一些实施例，还包括，确定模块，用于：
22.获取包括眼镜的检测图像；
23.确定所述检测图像中的眼镜区域，并在所述眼镜区域中确定用户的瞳孔区域；
24.计算所述瞳孔区域与所述眼镜区域的比值，并判断是否大于预设比值；
25.在确定所述比值大于预设比值时，获取用户的瞳孔的聚焦点，确定所述聚焦点对应的视角区域，并获取用户对所述视角区域对应的预设区域的聚焦时长；
26.在确定所述聚焦时长大于预设时长时，获取对所述预设区域进行拍摄，获取关注图像；
27.对所述关注图像进行特征提取，确定图像环境参数和/或图像人物参数；
28.将所述图像环境参数和/或图像人物参数输入预选训练好的场景识别模型中，输出目标场景；
29.根据所述目标场景查询预设的场景-解析模型表，确定目标解析模型；
30.根据所述目标解析模型对所述关注图像进行解析，确定兴趣标签；
31.根据所述兴趣标签查询预设兴趣数据库，确定目标数据，并将所述目标数据发送至所述图像信号端。
32.根据本发明的一些实施例，还包括：
33.获取模块，用于获取在得到所述投射图像前预设时间段内设置在用户的各个脑通道的各个通道电极采集的脑电信号；
34.降噪模块，用于：
35.对所述脑电信号进行小波分解，得到若干个小波系数，并分别与预设阈值进行比较；
36.将小于预设阈值的小波系数进行剔除，将大于等于预设阈值的小波系数进行相应的收缩和保留处理；
37.根据处理后的小波系数通过逆小波处理进行信号重构，得到降噪信号；
38.计算模块，用于：
39.对若干个所述降噪信号进行特征提取，得到每个降噪信号对应的能量特征值；
40.将所述能量特征值按照时间顺序进行连接，得到连接轨迹并进行拟合处理，得到拟合曲线；
41.计算所述拟合曲线与预设拟合曲线的匹配度；所述预设拟合曲线为用户对所述投射图像感兴趣时获取的；
42.显示模块，用于：
43.在确定所述匹配度大于预设匹配度时，获取在得到投射图像后预设时间段内的眼动数据；
44.根据所述眼动数据获取各个关注点的关注时长及各个关注点关注视线的视角；
45.将关注时长小于预设关注时长对应的关注点剔除，得到修正关注点序列；
46.计算所述修正关注点序列中相邻两个关注点之间的视角差值，将视角差值小于预设视角差值的相邻两个关注点进行融合处理，并将关注时长进行求和计算，得到关注时长的和值，进而得到若干个和值；
47.将所述和值按照从大到小进行排序，并对进行融合处理的关注点对应的融合区域也进行排序，并将排序结果进行显示。
48.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
49.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
50.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
51.图1是根据本发明一个实施例的一种基于双向微振扫描投射成像的隐形mr眼镜系统的示意图。
52.附图标记：
53.支架1、mems双向微振扫描显示组件2、全彩单像素点21、聚光准直微透镜22、无线驱动电路23、电源及控制器件231、天线24、视力矫正镜片3、视网膜4、视网膜监视摄像模块5。
具体实施方式
54.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
55.如图1所示，本发明实施例提出了一种基于双向微振扫描投射成像的隐形mr眼镜系统，包括：支架1、设置在所述支架1上的mems双向微振扫描显示组件2及设置在所述支架1右侧的视力矫正镜片3；其中，
56.所述mems双向微振扫描显示组件2用于形成全彩平行点光源，通过x轴与y轴双向微振扫描，并投射至视网膜4上，得到投射图像；
57.所述视力矫正镜片3，用于实现视力矫正。
58.根据本发明的一些实施例，所述mems双向微振扫描显示组件2包括：微振镜平台及设置在所述微振镜平台上的mems双轴微振镜、全彩单像素点21、聚光准直微透镜22、无线驱动电路23；其中，
59.所述无线驱动电路23，用于发出控制指令及供电，使得所述微振镜平台产生在x轴和y轴两个方向上的扫描动作；
60.固定于所述微振镜平台中心点上的全彩单像素点21发出的光经所述聚光准直微透镜22汇聚准直后成为一个全彩平行点光源，在所述微振镜平台的带动下，使得所述全彩平行点光源投射在视网膜4上从左到右、从上到下不断循环扫描，结合视觉残留效应实现在视网膜4上成像。无线驱动电路23包括电源及控制器件231用于控制指令及供电。
61.在一实施例中，微振镜平台上设置有天线24。
62.根据本发明的一些实施例，所述无线驱动电路23还用于：
63.接收图像信号端输入的图像信号，根据所述图像信号生成待显示图像；
64.获取所述待显示图像的每个像素点的rgb颜色值；所述rgb颜色值包括r通道值、g通道值、b通道值；
65.将所述rgb颜色值对应的r通道值、g通道值、b通道值的亮度信号分别传送至固定于微振镜平台上的rgb全彩单像素点21上，根据所述rgb全彩单像素点21在所述视网膜4上显示出目标图像。
66.上述技术方案的工作原理：mems双向微振在mems驱动电路的控制下使得中间的微振镜平台产生在x轴(上下扫描)和y轴(左右扫描)两个方向上的扫描动作；固定于微振镜平台中心点上的全彩单像素点21发出的光经聚光准直微透镜22汇聚准直后成为一个全彩平行点光源，在微振镜平台的带动下，使得全彩点光源投射在视网膜4上从左到右、从上到下不断循环扫描，结合视觉残留效应实现在视网膜4上成像。无线驱动电路23一方面控制微振镜扫描显示组件产生x轴和y轴的扫描动作，另一方面将图像信号输入端的图像信号通过无线传输的方式，将需要显示图像的每个像素点的rgb三种颜色的亮度信号分别传送至固定于微振镜平台上的rgb全彩单像素点21上，使得在视网膜4上显示出相应的图像，即目标图像。图1中的小树即为投射图像。
67.上述技术方案的有益效果：采用隐形眼镜结构：体积小，重量轻，可以实现视网膜4直接成像且视场角大、亮度高、畸变小。基于mems双向微振扫描显示组件2是将振镜和光源及其他功能组件集成在一起的一体化部件，取消了镜面结构，只作为一个振动扫描平台，体积小重量轻、降低了光学系统的复杂度，提高了光学成像的显示精度。
68.无线驱动电路23可以作为穿戴设备，戴着人体器官上，如耳朵等方便穿戴及方便控制的部位，也可以设置在眼镜腿上，本发明对无线驱动电路23的设置位置不做具体限定。
69.根据本发明的一些实施例，所述x轴的谐振频率与y轴的谐振频率不一致。
70.根据本发明的一些实施例，还包括：
71.无线组件，分别与所述无线驱动电路及所述图像信号端连接，用于实现所述无线驱动电路与所述图像信号端之间的无线信号传输。
72.上述技术方案的有益效果：便于提高数据传输的方便性。
73.根据本发明的一些实施例，还包括：
74.视网膜监视摄像模块5，用于对眼球底部的视网膜进行摄像采集，获取视网膜图像；
75.传输模块，用于将所述视网膜图像传输至服务器。
76.上述技术方案的有益效果：保证采集到的视网膜图像就是眼睛看到的实际图像，使得虚实图像融合精度高，畸变小。同时基于服务器可以实现监控。
77.根据本发明的一些实施例，还包括：监测模块，用于监测所述微振镜平台的位置信息和工作状态信息并进行显示。
78.上述技术方案的有益效果：实现对微振镜平台的位置信息和工作状态信息监测，在发生异常情况时，便于及时处理。
79.根据本发明的一些实施例，还包括，确定模块，用于：
80.获取包括眼镜的检测图像；
81.确定所述检测图像中的眼镜区域，并在所述眼镜区域中确定用户的瞳孔区域；
82.计算所述瞳孔区域与所述眼镜区域的比值，并判断是否大于预设比值；
83.在确定所述比值大于预设比值时，获取用户的瞳孔的聚焦点，确定所述聚焦点对应的视角区域，并获取用户对所述视角区域对应的预设区域的聚焦时长；
84.在确定所述聚焦时长大于预设时长时，获取对所述预设区域进行拍摄，获取关注图像；
85.对所述关注图像进行特征提取，确定图像环境参数和/或图像人物参数；
86.将所述图像环境参数和/或图像人物参数输入预选训练好的场景识别模型中，输出目标场景；
87.根据所述目标场景查询预设的场景-解析模型表，确定目标解析模型；
88.根据所述目标解析模型对所述关注图像进行解析，确定兴趣标签；
89.根据所述兴趣标签查询预设兴趣数据库，确定目标数据，并将所述目标数据发送至所述图像信号端。
90.上述技术方案的工作原理：确定模块，用于：获取包括眼镜的检测图像；确定所述检测图像中的眼镜区域，并在所述眼镜区域中确定用户的瞳孔区域；计算所述瞳孔区域与所述眼镜区域的比值，并判断是否大于预设比值；在确定所述比值大于预设比值时，表示用户对现实图像及所述虚拟图像的融合图像存在感兴趣区域。获取用户的瞳孔的聚焦点，确定所述聚焦点对应的视角区域，并获取用户对所述视角区域对应的预设区域的聚焦时长；在确定所述聚焦时长大于预设时长时，获取对所述预设区域进行拍摄，获取关注图像；所述预设区域为用户感兴趣的区域。对所述关注图像进行特征提取，确定图像环境参数和/或图像人物参数；将所述图像环境参数和/或图像人物参数输入预选训练好的场景识别模型中，输出目标场景；根据所述目标场景查询预设的场景-解析模型表，确定目标解析模型；根据所述目标解析模型对所述关注图像进行解析，确定兴趣标签；根据所述兴趣标签查询预设兴趣数据库，确定目标数据，并将所述目标数据发送至所述图像信号端。
91.上述技术方案的有益效果：便于准确确定用户的感兴趣的区域，并获取感兴趣的区域的图像，即关注图像。确定所述关注图像包括的目标场景。根据所述目标解析模型对所述关注图像进行解析，确定兴趣标签；实现基于不同的解析模型对不同场景的图像进行解析，便于提高解析的准确性，进而保证得到兴趣标签的准确性。根据所述兴趣标签查询预设
兴趣数据库，确定目标数据，并将所述目标数据发送所述图像信号端。便于播放用户感兴趣的内容，提高用户体验。
92.根据本发明的一些实施例，还包括：
93.获取模块，用于获取在得到所述投射图像前预设时间段内设置在用户的各个脑通道的各个通道电极采集的脑电信号；
94.降噪模块，用于：
95.对所述脑电信号进行小波分解，得到若干个小波系数，并分别与预设阈值进行比较；
96.将小于预设阈值的小波系数进行剔除，将大于等于预设阈值的小波系数进行相应的收缩和保留处理；
97.根据处理后的小波系数通过逆小波处理进行信号重构，得到降噪信号；
98.计算模块，用于：
99.对若干个所述降噪信号进行特征提取，得到每个降噪信号对应的能量特征值；
100.将所述能量特征值按照时间顺序进行连接，得到连接轨迹并进行拟合处理，得到拟合曲线；
101.计算所述拟合曲线与预设拟合曲线的匹配度；所述预设拟合曲线为用户对所述投射图像感兴趣时获取的；
102.显示模块，用于：
103.在确定所述匹配度大于预设匹配度时，获取在得到投射图像后预设时间段内的眼动数据；
104.根据所述眼动数据获取各个关注点的关注时长及各个关注点关注视线的视角；
105.将关注时长小于预设关注时长对应的关注点剔除，得到修正关注点序列；
106.计算所述修正关注点序列中相邻两个关注点之间的视角差值，将视角差值小于预设视角差值的相邻两个关注点进行融合处理，并将关注时长进行求和计算，得到关注时长的和值，进而得到若干个和值；
107.将所述和值按照从大到小进行排序，并对进行融合处理的关注点对应的融合区域也进行排序，并将排序结果进行显示。
108.上述技术方案的工作原理：获取模块，用于获取在得到所述投射图像前预设时间段内设置在用户的各个脑通道的各个通道电极采集的脑电信号；降噪模块，用于：对所述脑电信号进行小波分解，得到若干个小波系数，并分别与预设阈值进行比较；将小于预设阈值的小波系数进行剔除，将大于等于预设阈值的小波系数进行相应的收缩和保留处理；根据处理后的小波系数通过逆小波处理进行信号重构，得到降噪信号；计算模块，用于：对若干个所述降噪信号进行特征提取，得到每个降噪信号对应的能量特征值；将所述能量特征值按照时间顺序进行连接，得到连接轨迹并进行拟合处理，得到拟合曲线；计算所述拟合曲线与预设拟合曲线的匹配度；所述预设拟合曲线为用户对所述投射图像感兴趣时获取的；显示模块，用于：在确定所述匹配度大于预设匹配度时，获取在得到投射图像后预设时间段内的眼动数据；根据所述眼动数据获取各个关注点的关注时长及各个关注点关注视线的视角；将关注时长小于预设关注时长对应的关注点剔除，得到修正关注点序列；计算所述修正关注点序列中相邻两个关注点之间的视角差值，将视角差值小于预设视角差值的相邻两个
关注点进行融合处理，并将关注时长进行求和计算，得到关注时长的和值，进而得到若干个和值；将所述和值按照从大到小进行排序，并对进行融合处理的关注点对应的融合区域也进行排序，并将排序结果进行显示。
109.上述技术方案的有益效果：根据在得到所述投射图像前预设时间段内各个通道电极采集的脑电信号，准确确定脑电特征信息，即能量特征值的拟合曲线，计算所述拟合曲线与预设拟合曲线的匹配度，进而准确判断用户对所述投射图像是否感兴趣。在确定用户对投射图像感兴趣时，获取在得到投射图像后预设时间段内的眼动数据；基于眼动数据准确确定用户对所述投射图像中感兴趣的区域，并对感兴趣的区域基于感兴趣的程度进行排序，并将排序结果进行显示，便于清楚的了解用户的感兴趣的信息，并根据用户的感兴趣的信息设置投射内容，便于提高用户体验。
110.在一实施例中，计算所述拟合曲线与预设拟合曲线的匹配度，包括：
111.对所述拟合曲线进行分割，得到n段子拟合曲线；
112.对所述预设拟合曲线进行分割，得到n段子预设拟合曲线；
113.计算所述拟合曲线与预设拟合曲线的匹配度p：
[0114][0115]
其中，pi为第i段子拟合曲线与第i段子预设拟合曲线的匹配度。
[0116]
上述技术方案的工作原理及有益效果：将拟合曲线及预设拟合曲线分别进行分割，并且分割成相同数量的子拟合曲线及子预设拟合曲线，分别确定各个子拟合曲线与对应的子预设拟合曲线的匹配度，进而准确计算出拟合曲线及预设拟合曲线的匹配度。
[0117]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0118]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0119]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0120]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0121]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。