整合动作感测器的增强现实系统与增强现实显示方法与流程

1.本发明是有关于一种增强现实设备，且特别是有关于一种整合动作感测器的增强现实系统与增强现实显示方法。


背景技术：

2.随着科技的发展，增强现实(augmentedreality，ar)技术的应用越来越多，ar技术将虚拟的信息应用到真实世界。
3.另一方面，随着信息处理量的增加，单一屏幕的笔记本电脑已逐渐无法满足工作者的需求。一般而言，位于办公室内的使用者，可将笔记本电脑连接至另一台台式显示器，以使用多屏幕显示功能来提升工作效率。但是，在外办公的使用者无法随身携带体积庞大的台式显示器，因而较难以享受多屏幕显示功能带来的便利。


技术实现要素：

4.有鉴于此，本发明提出一种整合动作感测器的增强现实系统与增强现实显示方法，其可即时反应于使用者的操作状态通过头戴式显示装置显示位于显示器的显示边框旁边的虚拟物件。
5.本发明实施例提供一种增强现实系统，其包括头戴式显示装置以及计算机装置。头戴式显示装置包括影像撷取装置与动作感测器，并用以显示一虚拟物件。前述虚拟物件叠合显示为锚定于一显示器的显示边框上。计算机装置连接头戴式显示装置，并包括储存装置与处理器。前述处理器耦接储存装置，并经配置以执行下列步骤。通过影像撷取装置撷取第i帧环境影像，并依据第i帧环境影像决定虚拟物件的显示位置，其中i为大于0的整数。获取显示器相对于头戴式显示装置的深度距离。藉由动作感测器产生头戴式显示装置的动作感测信息。在影像撷取装置撷取第(i 1)帧环境影像之前，依据动作感测信息与深度距离调整虚拟物件的显示位置。藉由头戴式显示装置依据调整后的显示位置显示虚拟物件。
6.本发明实施例提供一种增强现实显示方法，包括下列步骤。通过头戴式显示装置上的影像撷取装置撷取第i帧环境影像，并依据第i帧环境影像决定虚拟物件的显示位置，其中i为大于0的整数。获取显示器相对于头戴式显示装置的深度距离。藉由头戴式显示装置上的动作感测器产生头戴式显示装置的动作感测信息。在影像撷取装置撷取第(i 1)帧环境影像之前，依据动作感测信息与深度距离调整虚拟物件的该显示位置。藉由头戴式显示装置依据调整后的显示位置显示虚拟物件。虚拟物件叠合显示为锚定于显示器的显示边框上。
7.基于上述，于本发明的实施例中，可藉由头戴式显示装置显示虚拟物件来实现多屏幕显示功能。并且，在撷取下一帧环境影像定位出虚拟物件的显示位置之前，可通过头戴式显示装置的动作感测信息来动态调整虚拟物件的显示位置，好让使用者可观看到稳定地相连于主显示器之显示边框上的虚拟物件。藉此，虚拟物件的锚定显示不仅可让使用者感受到多屏幕功能的便利，并且可提升使用者观看虚拟物件的观看体验。
8.为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合说明书附图作详细说明如下。
附图说明
9.图1是依照本发明一实施例的增强现实系统的示意图。
10.图2a至图2c是依照本发明一实施例的增强现实系统的应用情境图。
11.图3是依照本发明一实施例的增强现实显示方法的流程图。
12.图4是依照本发明一实施例的调整虚拟物件之显示位置的流程图。
13.其中：
14.10：增强现实系统；
15.110：头戴式显示装置；
16.120：计算机装置；
17.111：影像撷取装置；
18.112：显示器；
19.130：显示器；
20.122：储存装置；
21.123：处理器；
22.e_l：左显示边框；
23.e_t：上显示边框；
24.e_r：右显示边框；
25.v_t、v_r、v_l：虚拟物件；
26.s310～s350、s410～s433：步骤。
具体实施方式
27.本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求书中的方法与系统的范例。
28.图1是依照本发明一实施例的增强现实系统的示意图。请参照图1，增强现实系统10包括头戴式显示装置110以及计算机装置120，其可为单一整合系统或分离式系统。具体而言，增强现实(ar)系统10中的头戴式显示装置110与计算机装置120可以实作成一体式(all-in-one，aio)头戴式显示器。于另一实施例中，计算机装置120可实施为电脑系统，并经由有线传输介面或是无线传输介面与头戴式显示装置110相连。举例而言，增强现实系统10可实施为一体式的ar眼镜，或者实施为经由通信介面相连结的ar眼镜与电脑系统。
29.增强现实系统10用于向使用者提供增强现实内容。需特别说明的是，增强现实系统10中的头戴式显示装置110用以显示虚拟物件，且此虚拟物件会显示为锚定于真实场景中的显示器130的显示边框上。显示器130例如为笔记本电脑、平板电脑或智能手机的显示屏幕或台式显示器，本发明对此不限制。换言之，当使用者配戴头戴式显示装置110观看真实场景中的显示器130时，增强现实系统10所提供的虚拟物件可作为辅助屏幕。
30.头戴式显示装置110包括影像撷取装置111、显示器112以及动作感测器113。影像撷取装置111用以撷取环境影像并且包括具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线强度，进而产生影像。感光元件可以例如是电荷耦合元件(chargecoupled device，ccd)、互补金属氧化物半导体(complementarymetal-oxidesemiconductor，cmos)元件或其他元件，本发明不在此设限。在一实施例中，影像撷取装置111固定设置于头戴式显示装置110上，并用于拍摄位于头戴式显示装置110前方的实际场景。举例而言，当使用者配戴头戴式显示装置110时，影像撷取装置111可位于使用者双眼之间或位于某一眼外侧而朝使用者前方的实际场景进行拍摄动作。
31.显示器112是具有一定程度的光线穿透性的显示装置，使用者观看时能够呈现出相对于观看者另一侧的实际场景。显示器112可以通过液晶、有机发光二极体、电子墨水或是投影方式等显示技术显示虚拟物件，其具有半透明或是透明的光学镜片。因此，使用者通过显示器112所观看到的内容将会是叠加虚拟物件的增强现实场景。在一实施例中，显示器112可实作为增强现实眼镜的镜片。
32.动作感测器113例如是六轴感测器(可进行方向及加速度的感测)，可使用的感测器种类包括重力感测器(g-sensor)、陀螺仪(gyroscope)、加速度计(accelerometer)、电子罗盘(electroniccompass)、测高仪(altitudemeter)或是其他适合的动作感测器或上述感测器的组合搭配。
33.然而，除了影像撷取装置111、显示器112以及动作感测器113之外，头戴式显示装置110更可包括未绘示于图1的元件，像是扬声器、控制器以及各式通信介面等等，本发明对此不限制。
34.另一方面，计算机装置120可包括储存装置122，以及处理器123。储存装置122用以储存信息与供处理器123存取的程序码(例如作业系统、应用程序、驱动程序)等信息，其可以例如是任意型式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)或其组合。
35.处理器123耦接储存装置122，例如是中央处理单元(centralprocessingunit，cpu)、应用处理器(applicationprocessor，ap)，或是其他可程序化之一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor，dsp)、影像信号处理器(image signalprocessor，isp)、图形处理器(graphicsprocessingunit，gpu)或其他类似装置、集成电路及其组合。处理器123可存取并执行记录在储存装置122中的程序码与软件，以实现本发明实施例中的增强现实显示方法。
36.为了方便说明，以下将以计算机装置120实施为包括内建的显示器130且经由熟知通信介面与头戴式显示装置110相连的电脑系统为范例进行说明。具体而言，于一实施例中，计算机装置120可将相关的ar内容提供予头戴式显示装置110，再由头戴式显示装置110呈现予使用者观看。举例而言，计算机装置120实施为笔记本电脑、智能手机、平板电脑、电子书、游戏机等具有显示功能的电子装置，本发明并不对此限制。显示器130可以是液晶显示器(liquidcrystaldisplay，lcd)、发光二极体(lightemittingdiode，led)显示器、有机发光二极体(organiclightemittingdiode，oled)等各类型的显示器，本发明对此不限制。
37.图2a至图2c是依照本发明一实施例的增强现实系统的应用情境图。请参照图2a至图2c，当使用者在配戴头戴式显示装置110的情况下观看真实场景中的显示器130时，影像
撷取装置111会朝显示器130拍摄环境影像。需说明的是，显示器130之屏幕边缘或屏幕角落呈现有辅助标记，而计算机装置120可依据环境影像的辅助标记来定位显示器130的显示边框，并依据定位结果决定虚拟物件的显示参数，像是显示边界、显示尺寸或显示位置等等，致使虚拟物件可呈现为锚定于显示器130的显示边框上。于一实施例中，辅助标记可以实施为贴附于显示器130上的贴纸，或由显示器130自行显示辅助标记。
38.基此，当使用者通过头戴式显示装置110的显示器112观看真实场景中的显示器130时，使用者可看到叠加虚拟物件的实际场景，且虚拟物件显示为锚定于显示器130的显示边框上。更具体而言，虚拟物件会显示为固定连接于显示器130的上侧、左侧或右侧，而不会遮蔽到显示器130的显示内容。
39.如图2a至图2c的范例所示，当使用者通过头戴式显示装置110的显示器112观看显示器130时，使用者可看到自显示器130的上显示边框e_t、左显示边框e_l与右显示边框e_r向外展开的虚拟物件v_t、v_r、v_l。虚拟物件v_t、v_r、v_l可用以提供各种信息给使用者，例如是视窗、文件、影像、桌面或执行应用程序生成的视觉输出等等。因此，当使用者通过头戴式显示装置110观看显示器130时，可享受到多屏幕显示功能带来的便利。然而，图2a至图2c仅为一示范说明，本发明对于虚拟物件的数量与其锚定的显示边框并不限制。
40.此外，参照图2a与图2c可知，用以定位出显示器130之显示边框的辅助标记可包括位于显示器130之屏幕边缘的标记线b1、b2、b3。参照图2b可知，用以定位出显示器130之显示边框的辅助标记可包括位于显示器130之多个屏幕角落的多个标记点c1、c2、c3、c4。亦即，计算机装置120可藉由辨识环境影像中的标记线b1、b2、b3的或标记点c1、c2、c3、c4来定位出显示器130于ar座标系统下的位置信息与深度信息，从而决定虚拟物件v_t、v_r、v_l的显示位置。
41.需说明的是，影像撷取装置111可定时地拍摄环境影像(例如以30hz的撷取帧率来产生环境影像)，而计算机装置120可依据环境影像重复地计算显示器130于ar座标系统下的位置信息与深度信息，而持续更新虚拟物件v_t、v_r、v_l的显示参数。藉此，在满足显示虚拟条件v_t、v_r、v_l之条件的情况下，即便使用者的位置改变或其头部转动，虚拟物件v_t、v_r、v_l依然可显示为锚定于显示器130的显示边框上。
42.值得一提的是，于一实施例中，影像撷取装置111可依序先后撷取第i帧环境影像与第(i 1)帧环境影像，其中i为大于0的整数。计算机装置120依据第i帧环境影像决定虚拟物件的显示位置之后，在依据第(i 1)帧环境影像决定虚拟物件的显示位置之前，计算机装置120可依据动作感测器113所产生的动作感测信息动态调整虚拟物件的显示位置，以避免虚拟物件的显示受限于影像撷取帧率而出现不顺畅的视觉感受。
43.以下即搭配增强现实系统10的各元件列举实施例，以说明增强现实显示方法的详细步骤。
44.图3是依照本发明一实施例的增强现实显示方法的流程图。请参照图1与图3，本实施例的方式适用于上述实施例中的增强现实系统10，以下即搭配增强现实系统10中的各项元件说明本实施例之增强现实显示方法的详细步骤。
45.于步骤s310，处理器123通过头戴式显示装置110上的影像撷取装置111撷取第i帧环境影像，并依据第i帧环境影像决定虚拟物件的显示位置。环境影像为位于使用者周遭的实际场景的影像。详细来说，实际场景的影像关联于影像撷取装置111的视野范围。于一实
施例中，影像撷取装置111可依据一撷取帧率撷取环境影像。于一实施例中，影像撷取装置111可通过有线传输介面或无线传输介面将环境影像传送计算机装置120。基于前述可知，处理器123可依据第i帧环境影像中的辅助标记定位出显示器130于ar座标系统中的位置信息，并据以决定虚拟物件的显示位置。
46.于一实施例中，当处理器123自第i帧环境影像辨识出显示器130上的辅助标记，虚拟物件可便持续显示于显示器130的周围。于一实施例中，反应于第i帧环境影像中辅助标记位于第i帧环境影像中的预定范围内，处理器123依据第i帧环境影像决定虚拟物件的显示位置，并控制头戴式显示装置110基于显示位置显示虚拟物件。反应于第i帧环境影像中辅助标记未位于第i帧环境影像中的预定范围内，处理器123控制头戴式显示装置110不显示虚拟物件。举图2a为例，第i帧环境影像可划分为尺寸相同的左区块与右区块。当据第i帧环境影像中的标记线b3位于第i帧环境影像的左区块(即预定范围)内时，代表使用者往显示器130右侧的方向观看，因而处理器123可控制头戴式显示装置110基于虚拟物件的显示位置显示虚拟物件v_r。换言之，当使用者头部的转动至一定程度时，虚拟物件才会显示于显示器130的一侧。
47.于步骤s320，处理器123获取显示器130相对于头戴式显示装置110的深度距离。于一实施例中，藉由信号发射器(未绘示)主动发出光源、红外线、超音波、雷射等作为信号搭配时差测距技术(time-of-flight，tof)，处理器123可获取显示器130相对于头戴式显示装置110的深度距离。于一实施例中，可通过影像撷取装置111与另一影像感测器以不同视角同时撷取其前方的两张影像，以利用两张影像的视差来计算显示器130相对于头戴式显示装置110的深度距离。
48.值得一提的是，于一实施例中，处理器123可依据第i帧环境影像中辅助标记的成像尺寸，估测显示器130相对于头戴式显示装置110的深度距离。具体而言，当影像撷取装置111与辅助标记相距标准深度并拍摄辅助标记时，辅助标记于此拍摄影像中的尺寸即为标准尺寸。标准尺寸与标准深度可依据事前校正程序而产生，并记录于储存装置122中。因此，藉由比较第i帧环境影像中辅助标记的成像尺寸以及标准尺寸，处理器123可估测出取显示器130相对于头戴式显示装置110的深度距离。
49.举例而言，当辅助标记为位于显示器130之多个屏幕角落的多个标记点(如图2b所示的标记点c1～c4)，则辅助标记的成像尺寸包括标记点的直径。当辅助标记为位于显示器130之屏幕边缘的多个标记线(如图2a所示的标记线b1～b3)，则辅助标记的成像尺寸包括标记线的长度。
50.于一实施例中，处理器123可获取辅助标记的标准尺寸与标准深度之间的比例值。接着，处理器123可依据比例值与第i帧环境影像中辅助标记的成像尺寸，估测显示器130相对于头戴式显示装置110的深度距离。举例而言，处理器123可先获取标记线的标准长度与标准深度之间的比例值，再依据此比例值与第i帧环境影像中标记线的成像长度计算显示器130相对于头戴式显示装置110的深度距离。处理器123可以下列公式(1)计算显示器130相对于头戴式显示装置110的深度距离。
51.d＝(d1/x1)*x公式(1)
52.其中，d为显示器130相对于头戴式显示装置110的深度距离；d1为标准深度；x1为标准长度；x为第i帧环境影像中辅助标记的成像长度。
53.接着，于步骤s330，处理器123可藉由动作感测器113产生头戴式显示装置110的动作感测信息。动作感测信息可包括速度、加速度、角加速度、压力、磁力等等感测信息。于一实施例中，动作感测信息可包括对应于三座标轴向(x轴、y轴与z轴)的加速度与角速度。
54.于步骤s340，在影像撷取装置111撷取第(i 1)帧环境影像之前，处理器123可依据动作感测信息与深度距离调整虚拟物件的显示位置。详细而言，处理器123可依据动作感测器113产生的动作感测信息计算出头戴式显示装置110相对于三座标轴向上的移动量与旋转量。举例而言，处理器123可积分动作感测信息中的角速度而计算出旋转角度，或者处理器123可对动作感测信息中的加速度进行两次积分而获取移动距离。于是，于一实施例中，处理器123可依据头戴式显示装置110的移动量来调整虚拟物件的显示位置。于一实施例中，处理器123可依据头戴式显示装置110的旋转量与显示器130的深度距离来调整虚拟物件的显示位置。基此，反应于使用者的头部转动或移动，处理器123会更新虚拟物件于ar座标系统中的显示位置，而因此一并更新输出画面中虚拟物件的显示位置。
55.于步骤s350，藉由头戴式显示装置110依据调整后的显示位置显示虚拟物件。至少一虚拟物件显示为锚定于显示器130的至少一显示边框上。详细而言，通过利用已知的几何向量投影演算法，处理器123可依据虚拟物件于ar座标系统中的显示位置产生提供给头戴式显示装置110的输出画面。基此，当头戴式显示装置110依据处理器123提供的输出画面进行显示时，使用者可看到锚定于显示器130之显示边框上的虚拟物件。虚拟物件的显示位置会依据动作感测信息而调整，但视觉上虚拟物件不会反应使用者头部的移动或转动而与显示器130的显示边框分离。
56.图4是依照本发明一实施例的调整虚拟物件之显示位置的流程图。请参照图1与图4，图4所示的流程为图3步骤s340的一实施例。本实施例的方式适用于上述实施例中的增强现实系统10，以下即搭配增强现实系统10中的各项元件说明本实施例之增强现实显示方法的详细步骤。
57.于步骤s410，处理器123依据动作感测信息计算头戴式显示装置110的旋转量。旋转量可以是单位时间内的旋转角度。于一实施例中，此旋转量可包括相对于第一座标轴旋转的倾仰(pitch)旋转量以及相对于第二座标轴旋转的偏摆(yaw)旋转量。例如：倾仰旋转量可用以表示使用者上下摆动头部时的旋转角度，而偏摆旋转量可用以表示使用者左右摇动头部时的旋转角度。
58.于步骤s420，处理器123依据旋转量与深度距离计算一位置变化量。详细而言，基于头戴式显示装置110的旋转量以及显示器130的深度距离，处理器123可计算出虚拟物件于一参考座标系统中的绝对位置变化量，例如是ar座标系统中的绝对位置变化量。于一实施例中，处理器123可将旋转量与深度距离代入预设函式而产生绝对位置变化量。于是，于步骤s430，处理器123可依据位置变化量调整虚拟物件的显示位置。
59.于此，步骤s430可实施为子步骤s431～子步骤s433。于子步骤s431，处理器123判断位置变化量是否大于一门槛值。此门槛值可依据实际需求而设置，本发明对此不限制。若位置变化量未大于门槛值，于子步骤s432，处理器123不调整虚拟物件的显示位置。若位置变化量大于门槛值，于子步骤s433，处理器123依据位置变化量调整虚拟物件的显示位置。于一实施例中，处理器123可依据位置变化量将基于第i帧环境影像所计算出来的先前显示位置调整为当前显示位置，以控制头戴式显示装置110基于虚拟物件的当前显示位置进行
显示。此外，藉由判断位置变化量是否大于门槛值的条件设置，可避免动作感测的误差影响虚拟物件的显示稳定度。
60.综上所述，于本发明实施例中，当使用者配戴头戴式显示装置观看主显示器时，即便头戴式显示装置动态移动，但头戴式显示装置所呈现的虚像物件与实际场景中主显示器的显示边框可达到良好的对齐贴合。藉此，使用者可通过虚拟物件获取更多的信息量，并享优良舒适的观看体验。此外，在依据下一帧环境影像定位出虚拟物件的显示位置之前，通过依据动作感测信息调整虚拟物件的显示位置，可加强虚拟物件的显示流畅度。
61.虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求书所界定者为准。