增强现实系统以及利用增强现实眼镜显示虚拟屏幕的方法与流程

1.本公开涉及一种增强现实系统以及方法，特别涉及一种利用增强现实眼镜来显示虚拟屏幕的增强现实系统以及方法。


背景技术：

2.随着科技的发展，平板电脑、台式电脑或是笔记本电脑都是非常受欢迎的产品。
3.一般而言，笔记本电脑只具有单一个显示屏幕。然而随着笔记本电脑的效能提升，可以执行的程序也越来越多，因此单一显示屏幕已经不敷使用者的需求。然而，实体的扩充屏幕是外挂于笔记本电脑的屏幕，增加了重量而降低了笔记本电脑的移动性，并且也增加了使用者的费用。
4.因此，如何设计出可增加显示屏幕但不会降低移动性的方案，便是现今值得探讨与解决的课题。


技术实现要素：

5.有鉴于此，本公开提出一种增强现实系统，以解决上述的问题。
6.本公开提供了一种增强现实系统，包括一便携式电子装置、一增强现实眼镜、以及一处理电路。便携式电子装置具有一显示模块以及一定位组件，其中定位组件设置于显示模块上。增强现实眼镜包含一影像撷取模块，影像撷取模块配置以撷取显示模块的至少一影像。处理电路配置以根据至少一影像判断影像的一影像中心点相对于定位组件的一位置。当处理电路判断影像中心点的位置由显示模块内移动而超过定位组件时，处理电路控制增强现实眼镜显示一虚拟屏幕，并且虚拟屏幕由显示模块的一第一侧边延伸。
7.本公开提供一种利用增强现实眼镜显示虚拟屏幕的方法，包含：设置一定位组件于一显示模块上；撷取显示模块的至少一影像；根据至少一影像判断至少一影像的一影像中心点相对于定位组件的一位置；以及当影像中心点的位置由显示模块内移动而超出定位组件时，控制增强现实眼镜显示一虚拟屏幕，其中虚拟屏幕由显示模块的一侧边延伸。
8.本公开提供一种增强现实系统，包括便携式电子装置、增强现实眼镜以及扩充装置。使用者可穿戴增强现实眼镜并同时使用便携式电子装置。便携式电子装置上设置有定位组件，处理电路可根据增强现实眼镜上的影像撷取模块所提供的影像判断使用者的视野范围的中心点相对于定位组件的位置，并且进一步控制增强现实眼镜的光学显示模块以显示相对应的虚拟屏幕。
9.因此，基于本公开的设计，使用者不需要购买安装于便携式电子装置上的实体屏幕，因此可以维持便携式电子装置的移动性，并且可以实现增加扩充屏幕的目的。
附图说明
10.本公开可通过之后的详细说明并配合附图而得到清楚的了解。要强调的是，按照业界的标准做法，各种特征并没有按比例绘制，并且仅用于说明的目的。事实上，为了能够
清楚的说明，因此各种特征的尺寸可能会任意地放大或者缩小。
11.图1为根据本公开一实施例的一增强现实系统50的示意图。
12.图1a为根据本公开一实施例的增强现实系统50的方框图。
13.图2为根据本公开一实施例的增强现实眼镜200的影像撷取模块204所拍摄的便携式电子装置100的一影像。
14.图3为根据本公开一实施例的使用者向右转头时影像撷取模块204所拍摄的另一影像。
15.图4为根据本公开一实施例的使用者向左转头时影像撷取模块204所拍摄的另一影像。
16.图5为根据本公开一实施例的使用者抬头时影像撷取模块204所拍摄的另一影像。
17.图6为根据本公开一实施例的增强现实眼镜200的影像撷取模块204所拍摄的便携式电子装置100的另一影像。
18.图7为根据本公开一实施例的影像撷取模块204所拍摄的便携式电子装置100的另一影像。
19.图8为根据本公开另一实施例的显示模块102与定位组件150的示意图。
20.图9为根据本公开一实施例的利用增强现实眼镜200显示虚拟屏幕的方法s400的流程图。
21.其中，附图标记说明如下：
22.50：增强现实系统
23.100：便携式电子装置
24.102：显示模块
25.1020：实体屏幕
26.1021：第一侧边
27.1022：第二侧边
28.1023：第三侧边
29.104：主机模块
30.1041：运算电路
31.150：定位组件
32.151：定位元件
33.152：定位元件
34.153：定位元件
35.154～157：定位元件
36.200：增强现实眼镜
37.202：镜片
38.204：影像撷取模块
39.205：光学显示模块
40.206：光学投影机
41.208：光学导引元件
42.200c：处理电路
43.200m：存储电路
44.200fl：左讯框缓冲器
45.200fr：右讯框缓冲器
46.200s：感测元件
47.300：扩充装置
48.301：连接端
49.ag：锐角
50.cv：中心点
51.fov：视野范围
52.h1：第一高度
53.h2：第二高度
54.hd：手
55.l1：第一长度
56.l2：第二长度
57.l3：第三长度
58.tx：横轴方向
59.vs1：第一虚拟屏幕
60.vs2：第二虚拟屏幕
61.vs3：第三虚拟屏幕
62.s400：方法
63.s402、s404、s406、s408、s410：步骤
64.x：x轴
65.y：y轴
具体实施方式
66.为了让本公开的目的、特征、及优点能更明显易懂，下文特举实施例，并配合所附图示做详细说明。其中，实施例中的各元件的配置是为说明之用，并非用以限制本公开。且实施例中附图标号的部分重复，是为了简化说明，并非意指不同实施例之间的关联性。以下实施例中所提到的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本公开。
67.请参考图1，图1为根据本公开一实施例的一增强现实系统50的示意图。增强现实系统50可包含一便携式电子装置100、一增强现实眼镜200(augmented reality glasses)以及一扩充装置300。便携式电子装置100可为一笔记本电脑，其包含有一显示模块102以及一主机模块104。于此实施例中，便携式电子装置100可还包含一定位组件150，设置于显示模块102上。
68.主机模块104可包含一运算电路1041，例如一中央处理器(central processing unit,cpu)，配置以控制便携式电子装置100的操作。中央处理器提供执行作业系统(operating system，os)、程序、使用者图形界面、软件、模块、应用程序和便携式电子装置100的功能所需的处理能力。
69.于此实施例中，增强现实眼镜200是通过扩充装置300电性连接于主机模块104，并且增强现实眼镜200可包含两个镜片202、一影像撷取模块204、以及一光学显示模块205。镜片202可为透明镜片，而影像撷取模块204是配置以连续地撷取显示模块102的影像，并将影像信号传送给一处理电路200c(图1a)。
70.光学显示模块205可包含二光学投影机206以及二光学导引元件208。于此实施例中，光学投影机206可为微型投影头，配置以接收处理电路200c所提供的投影信号以发出一投影影像至光学导引元件208。光学导引元件208可为一反射棱镜，配置以将前述投影影像投射到使用者的瞳孔。
71.要注意的是，光学显示模块205的实施方式不限于此。举例来说，在本公开其他实施例中，镜片202可为一半反射镜，并且光学导引元件208是将前述投影影像投射到镜片202上。
72.请参考图1与图1a，图1a为根据本公开一实施例的增强现实系统50的方框图。具体而言，增强现实眼镜200可还包含一处理电路200c、一存储电路200m、一左讯框缓冲器200fl以及一右讯框缓冲器200fr。处理电路200c可为微控制器(micro-controller unit，mcu)，微控制器为一整合芯片，其具有中央处理器、存储器、定时/计数器、输入输出接口等整合于其内，并具有输入输出接口简单且体积小等优点。存储电路200m例如可为一随机存取存储器(random access memory，ram)、快闪存储器(flash memory)、只读存储器(read-only memory，rom)等等。左讯框缓冲器200fl与右讯框缓冲器200fr是分别电性连接于图1中左侧以及右侧的光学投影机206，左讯框缓冲器200fl与右讯框缓冲器200fr是用来暂存处理电路200c提供的影像讯框(frame)，接着再提供给光学投影机206。
73.扩充装置300可包含一连接端301，而处理电路200c可根据影像撷取模块204所提供的影像来判断影像的中心点相对于定位组件150的位置，并将相关的位置数据通过扩充装置300的连接端301传送给主机模块104。连接端301可为通用序列总线(usb)或是display port(dp)，但不限于此。在其他实施例中，增强现实眼镜200也可利用无线方式(例如wifi)与主机模块104通信。
74.另外，增强现实眼镜200上可更设置有一或多个感测元件200s，例如运动感测元件或是6自由度(six degrees of freedom，6dof)追踪元件，电性连接于处理电路200c，以使处理电路200c所计算的位置数据更为准确。此外，在其他实施例中，处理电路200c也可整合于运算电路1041中。
75.请参考图1与图2，图2为根据本公开一实施例的增强现实眼镜200的影像撷取模块204所拍摄的便携式电子装置100的一影像。其中，视野范围fov代表使用者穿戴增强现实眼镜200时的视野范围，并且中心点cv为使用者的视野中心点，视野范围fov的尺寸不限于图2中所绘。值得注意的是，如图1所示，本公开的影像撷取模块204是设置于两个镜片202之间的中心位置，因此影像撷取模块204拍摄的影像中心点重叠叠于中心点cv。
76.再者，如图2所示，于此实施例中，显示模块102具有一第一侧边1021、一第二侧边1022以及一第三侧边1023，并且定位组件150包含三个定位元件151、152以及153。定位元件151、152以及153具有条状结构，并且定位元件151、152以及153是分别设置于第一侧边1021、第二侧边1022以及第三侧边1023。此外，这些定位元件具有不同的颜色。举例来说，定位元件151可为橘色、定位元件152可为绿色，而定位元件153可为黄色，但不限于此。
77.影像撷取模块204可撷取便携式电子装置100的彩色影像。于是，处理电路200c便可根据影像撷取模块204拍摄的彩色影像来判断彩色影像的影像中心点(也是使用者的视野范围fov的中心点cv)相对于定位组件150的位置(位置数据)。如图2所示，中心点cv是位于显示模块102的一实体屏幕1020的范围内。接着，处理电路200c会将位置数据传输给主机模块104的运算电路1041。
78.请参考图2与图3，图3为根据本公开一实施例的使用者向右转头时影像撷取模块204所拍摄的另一影像。当使用者向由右转头时，如图3所示，中心点cv由图2的位置移动到图3的位置。此时，处理电路200c判断影像中心点(中心点cv)的位置由显示模块102内移动而超过(跨过)定位组件150中橘色的定位元件151，并且处理电路200c将此位置数据传输给运算电路1041。
79.接着，运算电路1041收到位置数据后计算出投影数据(包含所要投影的画面尺寸跟位置)，然后便将此投影数据传送给处理电路200c。处理电路200c根据投影数据控制光学投影机206以及光学导引元件208将一第一虚拟屏幕vs1投射到使用者的视网膜上，如图3所示。其中，第一虚拟屏幕vs1是由显示模块102的第一侧边1021延伸。
80.具体而言，如图3所示，第一侧边1021以及第三侧边1023是沿着显示模块102的一长轴方向(x轴)排列，并且第一虚拟屏幕vs1是沿着此长轴方向延伸。于此实施例中，第一虚拟屏幕vs1于长轴方向上具有一第一长度l1，显示模块102的实体屏幕1020于长轴方向上具有一第二长度l2，并第一长度l1小于或等于第二长度l2的二分的一，但不限于此。在一些实施例中，第二长度l2也可为显示模块102于长轴方向上的长度。
81.相反地，当中心点cv由图3的位置移动回到图2的位置时，处理电路200c判断中心点cv由显示模块102外移动越过定位元件151至显示模块102内。于是，运算电路1041与处理电路200c便可控制增强现实眼镜200关闭第一虚拟屏幕vs1。
82.请参考图2与图4，图4为根据本公开一实施例的使用者向左转头时影像撷取模块204所拍摄的另一影像。当使用者转头朝向左方观看时，中心点cv由图2的位置移动到图4的位置。此时，处理电路200c判断影像中心点(中心点cv)由显示模块102内移动而超过定位组件150中黄色的定位元件153，并且处理电路200c将此位置数据传输给运算电路1041。
83.接着，运算电路1041收到位置数据后计算出投影数据并将此投影数据传送给处理电路200c。处理电路200c根据投影数据控制光学投影机206以及光学导引元件208将一第二虚拟屏幕vs2投射到使用者的视网膜上，如图4所示。其中，第二虚拟屏幕vs2是由显示模块102的第三侧边1023延伸。
84.如图4所示，第二虚拟屏幕vs2是沿着长轴方向延伸，并且第二虚拟屏幕vs2于长轴方向上的一第三长度l3也小于或等于第二长度l2的二分之一。
85.请参考图2与图5，图5为根据本公开一实施例的使用者抬头时影像撷取模块204所拍摄的另一影像。当使用者抬头朝向上方观看时，中心点cv由图2的位置移动到图5的位置。此时，处理电路200c判断影像中心点(中心点cv)由显示模块102内移动而超过定位组件150中绿色的定位元件152，并且处理电路200c将此位置数据传输给运算电路1041。
86.接着，运算电路1041收到位置数据后计算出投影数据并将此投影数据传送给处理电路200c。处理电路200c根据投影数据控制光学投影机206以及光学导引元件208将一第三虚拟屏幕vs3投射到使用者的视网膜上，如图5所示。其中，第三虚拟屏幕vs3是由第二侧边
1022延伸。
87.如图5所示，第三虚拟屏幕vs3于y轴方向上具有一第一高度h1，显示模块102的实体屏幕1020具有一第二高度h2，并且第一高度h1也小于或等于第二高度h2的二分之一，但不限于此。在一些实施例中，第二高度h2也可为显示模块102于y轴方向上的高度。
88.请参考图6，图6为根据本公开一实施例的增强现实眼镜200的影像撷取模块204所拍摄的便携式电子装置100的另一影像。当使用者的头倾斜时，视野范围fov也会倾斜。于此实施例中，增强现实眼镜200可定义有一横轴方向tx，因此影像撷取模块204所撷取的影像也可具有横轴方向tx。当中心点cv移动超过定位元件151时，处理电路200c控制第一虚拟屏幕vs1沿着横轴方向tx延伸。于此实施例中，第一虚拟屏幕vs1与第一侧边1021之间形成有一锐角ag。
89.请参考图7，图7为根据本公开一实施例的影像撷取模块204所拍摄的便携式电子装置100的另一影像。当使用者的手hd在视野范围fov中做出手势时，处理电路200c会进一步根据此影像来判断手势。举例来说，如图7所示，处理电路200c根据影像判断手势朝上，因此处理电路200c与运算电路1041可根据此手势控制增强现实眼镜200显示第三虚拟屏幕vs3。其余手势与虚拟屏幕的作动以此类推。
90.值得注意的是，第三虚拟屏幕vs3在y轴方向上的高度不会超出视野范围fov。此外，在其他实施例中，处理电路200c与运算电路1041也可根据一鼠标装置(图中未表示)的输入信号或者是主机模块104的键盘的输入信号来控制增强现实眼镜200显示虚拟屏幕。
91.请参考图8，图8为根据本公开另一实施例的显示模块102与定位组件150的示意图。于此实施例中，定位组件150包含四个定位元件154～157，分别设置于显示模块102的四个角落且位于实体屏幕1020外。其中，定位元件154～157可为圆点，而定位元件155具有不同于定位元件154、156与157的标记，例如具有x形标记。在其他实施例中，定位元件155可具有不同于定位元件154、156与157的形状或颜色。
92.基于上述定位元件154～157的设计，运算电路1041与处理电路200c便可根据中心点cv的相对位置来决定是否显示第一虚拟屏幕vs1、第二虚拟屏幕vs2或第三虚拟屏幕vs3。举例来说，当中心点cv由显示模块102内移动超过定位元件154与155的连线时，第一虚拟屏幕vs1便会显示。
93.值得注意的是，在其他实施例中，定位元件154～157也可为显示于实体屏幕1020上的像素点，位于实体屏幕1020的四个角落。
94.此外，在一些实施例中，显示模块102也可设置有一摄像镜头(图中未表示)，配置以拍摄使用者的影像。于是，运算电路1041可比对摄像头以及影像撷取模块204所撷取的影像，以获得更精确的位置数据。
95.接着，请参考图9，图9为根据本公开一实施例的利用增强现实眼镜200显示虚拟屏幕的方法s400的流程图。在步骤s402中，设置定位组件150于显示模块102上。定位组件150可以由图2中的定位元件151～153或图8中的定位元件154～157实施，但不限于此。在步骤s404中，通过影像撷取模块204撷取显示模块102的至少一影像。
96.在步骤s406中，处理电路200c根据此至少一影像判断影像的一影像中心点(中心点cv)相对于定位组件150的一位置。在步骤s408中，当影像中心点的位置由显示模块102的范围内移动超出定位组件150时，控制增强现实眼镜200显示一虚拟屏幕，并且此虚拟屏幕
是由显示模块102的一侧边延伸(例如第一侧边1021)。
97.另外，在步骤s410中，当影像中心点(中心点cv)的位置由显示模块102外移动至显示模块102的范围内时，控制增强现实眼镜200关闭此虚拟屏幕。
98.本公开提供一种增强现实系统50，包括便携式电子装置100、增强现实眼镜200以及扩充装置300。使用者可穿戴增强现实眼镜200并同时使用便携式电子装置100。便携式电子装置100上设置有定位组件150，处理电路200c可根据增强现实眼镜200上的影像撷取模块204所提供的影像判断使用者的视野范围fov的中心点cv相对于定位组件150的位置，并且进一步控制光学显示模块205以显示相对应的虚拟屏幕。
99.因此，基于本公开的设计，使用者不需要购买安装于便携式电子装置100上的实体屏幕，因此可以维持便携式电子装置100的移动性，并且可以实现增加扩充屏幕的目的。
100.虽然本公开的实施例及其优点已公开如上，但应该了解的是，任何所属技术领域中技术人员，在不脱离本公开的精神和范围内，当可作变动、替代与润饰。此外，本公开的保护范围并未局限于说明书内所述特定实施例中的制程、机器、制造、物质组成、装置、方法及步骤，任何所属技术领域中技术人员可从本公开揭示内容中理解现行或未来所发展出的制程、机器、制造、物质组成、装置、方法及步骤，只要可以在此处所述实施例中实施大抵相同功能或获得大抵相同结果皆可根据本公开使用。因此，本公开的保护范围包括上述制程、机器、制造、物质组成、装置、方法及步骤。另外，每一权利要求构成个别的实施例，且本公开的保护范围也包括各个权利要求及实施例的组合。