将真实世界资讯撷取入虚拟环境的方法及头戴式装置与流程

1.本发明有关一种头戴式装置的驱动方法，尤指一种将真实世界资讯撷取入虚拟环境的方法。


背景技术：

2.在工业设计领域，常用的设计过程包括绘制草图、制作按比例缩小或放大的实际模型以及原型(prototype)设计和测试。由于草图和实际模型的大小通常不同于最终产品，导致许多的设计缺陷直到原型完成之后才会被发现。
3.虚拟现实(vr)技术使设计人员可以从预先建立的资料库中下载大小可调变的三维(3d)模型。然而，使用实际的工具和材料来修改或改进设计是最直觉的做法，并且因为手动建立3d模型需要大量的时间，通常要等到设计过程的中后期才能建立具有评估价值的3d模型。因此，即使使用传统的虚拟现实技术，仍然有许多的设计缺陷无法在设计过程的早期阶段及早发现。


技术实现要素：

4.本发明提供一种方法，其用于将真实世界资讯撷取入虚拟环境，且适用于位于物理环境中的头戴式装置(head-mounted device)。此方法包含以下流程：提供虚拟环境，其中虚拟环境中的一真实世界内容是撷取自物理环境的一部分，且物理环境的部分对应于头戴式装置的一视角；追踪由一使用者所移动且位于物理环境中的一特征点，以藉由投影特征点的一移动轨迹至真实世界内容而定义出真实世界内容的一指定平面；撷取对应于指定平面的一影像资讯；以及产生具有依据影像资讯所渲染的一外观的一虚拟物件，其中虚拟物件的大小可调整。
5.在上述方法的某些实施例中，头戴式装置包含一光学相机，且指定平面的一边缘的至少部分是依据自光学相机的一焦点至特征点的一直线方向将移动轨迹投影至真实世界内容而定义。
6.在上述方法的某些实施例中，移动轨迹包含一封闭区域，指定平面是依据自光学相机的焦点至特征点的直线方向将封闭区域投影至真实世界内容而定义，以使指定平面与封闭区域具有互相对应的形状。
7.在上述方法的某些实施例中，移动轨迹包含方向不同的一x轴向量与一y轴向量。指定平面的边缘包含互相连接的一第一侧与一第二侧。第一侧与第二侧是依据自光学相机的焦点至特征点的直线方向将x轴向量与y轴向量分别投影至真实世界内容而定义。
8.在上述方法的某些实施例中，移动轨迹包含一z轴向量。实质上垂直于指定平面的一第三侧是依据自光学相机的焦点至特征点的直线方向将z轴向量投影至真实世界内容而定义。撷取对应于指定平面的影像资讯包含以下流程：撷取一真实世界三维物件的一外表的至少部分作为影像资讯，其中真实世界三维物件位于由指定平面与第三侧所定义的一指定空间中，且虚拟物件是三维的。
9.在上述方法的某些实施例中，撷取对应于指定平面的影像资讯包含以下流程：藉由一影像辨识演算法或一深度估测演算法，辨识位于指定平面中的一真实世界三维物件；撷取真实世界三维物件的一外表的至少部分作为影像资讯，其中虚拟物件是三维的。
10.在上述方法的某些实施例中，产生具有依据影像资讯所渲染的外观的虚拟物件包含以下流程：于使用者实质上的前方提供虚拟物件；若虚拟物件是二维的，将虚拟物件的一平面调整为垂直于使用者的一直视方向。
11.在上述方法的某些实施例中，头戴式装置包含一深度相机。产生具有依据影像资讯所渲染的外观的虚拟物件包含以下流程：透过深度相机获得指定平面的一深度资讯；依据深度资讯产生一网格；以及依据影像资讯渲染网格而产生虚拟物件。
12.在上述方法的某些实施例中，特征点是使用者的一手指或一手持控制器的一端点，手持控制器通讯耦接于头戴式装置。
13.在上述方法的某些实施例中，头戴式装置包含一光学相机。指定平面是藉由一中心投影法将移动轨迹投影至真实世界内容而定义，且光学相机的一焦点是一投影中心。
14.本发明提供一种头戴式装置，其位于一物理环境中，且包含显示装置、光学相机与控制电路。控制电路被设置为：透过显示装置提供一虚拟环境，其中虚拟环境中的一真实世界内容是撷取自物理环境的一部分，且物理环境的部分对应于头戴式装置的一视角；透过光学相机追踪由一使用者所移动且位于物理环境中的一特征点，以藉由投影特征点的一移动轨迹至真实世界内容而定义出真实世界内容的一指定平面；透过光学相机撷取对应于指定平面的一影像资讯；以及产生具有依据影像资讯所渲染的一外观的一虚拟物件，其中虚拟物件的大小可调整。
15.在上述头戴式装置的某些实施例中，指定平面的一边缘的至少部分是依据自光学相机的一焦点至特征点的一直线方向将移动轨迹投影至真实世界内容而定义。
16.在上述头戴式装置的某些实施例中，移动轨迹包含一封闭区域。指定平面是依据自光学相机的焦点至特征点的直线方向将封闭区域投影至真实世界内容而定义，以使指定平面与封闭区域具有互相对应的形状。
17.在上述头戴式装置的某些实施例中，移动轨迹包含方向不同的一x轴向量与一y轴向量。指定平面的边缘包含互相连接的一第一侧与一第二侧。第一侧与第二侧是依据自光学相机的焦点至特征点的直线方向将x轴向量与y轴向量分别投影至真实世界内容而定义。
18.在上述头戴式装置的某些实施例中，移动轨迹包含一z轴向量。实质上垂直于指定平面的一第三侧是依据自光学相机的焦点至特征点的直线方向将z轴向量投影至真实世界内容而定义。当控制电路透过光学相机撷取对应于指定平面的影像资讯时，控制电路还被设置为：透过光学相机撷取一真实世界三维物件的一外表的至少部分作为影像资讯，其中真实世界三维物件位于由指定平面与第三侧所定义的一指定空间中，且虚拟物件是三维的。
19.在上述头戴式装置的某些实施例中，当控制电路透过光学相机撷取对应于指定平面的影像资讯时，控制电路还被设置为：藉由一影像辨识演算法或一深度估测演算法，辨识位于指定平面中的一真实世界三维物件；透过光学相机撷取真实世界三维物件的一外表的至少部分作为影像资讯，其中虚拟物件是三维的。
20.在上述头戴式装置的某些实施例中，当控制电路产生具有依据影像资讯所渲染的
外观的虚拟物件时，控制电路还被设置为：透过显示装置于使用者实质上的前方提供虚拟物件；若虚拟物件是二维的，将虚拟物件的一平面调整为垂直于使用者的一直视方向。
21.在上述头戴式装置的某些实施例中，头戴式装置还包含一深度相机。当控制电路产生具有依据影像资讯所渲染的外观的虚拟物件时，控制电路还被设置为：透过深度相机获得指定平面的一深度资讯；依据深度资讯产生一网格；依据影像资讯渲染网格而产生虚拟物件。
22.在上述头戴式装置的某些实施例中，特征点是使用者的一手指或一手持控制器的一端点，手持控制器通讯耦接于头戴式装置。
23.在上述头戴式装置的某些实施例中，指定平面是藉由一中心投影法将移动轨迹投影至真实世界内容而定义，且光学相机的一焦点是一投影中心。
24.上述实施例的优点之一，是能在早期的设计阶段协助找出设计缺陷。
25.上述实施例的另一优点，是让影像撷取变得十分容易。
附图说明
26.为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附图式的说明如下：
27.图1绘示了头戴式装置的使用者所在的示例性物理环境。
28.图2为依据本发明一实施例的头戴式装置简化后的功能方块图。
29.图3为依据本发明一实施例的用于撷取现实世界资讯进入虚拟环境的方法的流程图。
30.图4a为使用者撷取现实世界资讯进入虚拟环境的示例性情境。
31.图4b为依据现实世界资讯产生二维虚拟物件的示例性情境。
32.图4c为使用者放大二维虚拟物件的示例性情境。
33.图5为依据本发明另一实施例的用于撷取现实世界资讯进入虚拟环境的方法的流程图。
34.图6a为使用者撷取现实世界资讯进入虚拟环境的示例性情境。
35.图6b为依据现实世界资讯产生三维虚拟物件的示例性情境。
36.图6c为使用者放大三维虚拟物件的示例性情境。
37.图7用于说明二维虚拟物件于一些实施例中的详细产生过程。
38.图8用于说明三维虚拟物件于一些实施例中的详细产生过程。
39.附图标记：
40.100:物理环境
41.110:使用者
42.120:头戴式装置
43.130:水彩笔
44.140:草图
45.150:书桌
46.160:灯具
47.170:视角
48.210:控制电路
49.220:光学相机
50.222:焦点
51.230:显示装置
52.240:深度相机
53.250:储存电路
54.252:影像资讯
55.254:深度资讯
56.300,500:方法
57.s302～s312,s502～s512:流程
58.400,600:虚拟环境
59.410:真实世界内容
60.420:方块
61.430:特征点
62.440:移动轨迹
63.450:指定平面
64.460:封闭区域
65.470:虚拟壁画
66.610:书柜模型
67.620:移动轨迹
68.630:指定空间
69.640:虚拟书柜
70.650:虚拟物件
71.vx:x轴向量
72.vy:y轴向量
73.vz:z轴向量
74.dn:直线方向
75.s1:第一侧
76.s2:第二侧
77.s3:第三侧
78.gz:直视方向
79.10:光点
80.11:多边形网格
81.20:顶点
82.30:边
83.40:面
具体实施方式
84.以下将配合相关图式来说明本发明的实施例。在图式中，相同的标号表示相同或
类似的元件或方法流程。
85.图1绘示了头戴式装置(head-mounted device)120的使用者110所在的示例性物理环境100(真实世界环境)。物理环境100包含一或多个真实世界物件，例如水彩笔130、一幅壁画的草图140、放置水彩笔130和草图140的书桌150以及灯具160。在一些实施例中，使用者110可利用头戴式装置120体验透过视觉渲染呈现且可以包含声音及/或触觉回馈的虚拟现实(vr)、增强现实(ar)及/或混合现实(mr)。
86.图2为依据本发明一实施例的头戴式装置120简化后的功能方块图。头戴式装置120包含控制电路210、光学相机220、显示装置230、深度相机240以及储存电路250，其中控制电路210耦接于前述的其他功能方块。为使图面简洁而易于说明，头戴式装置120中的其他元件与连接关系并未绘示于图2中。请参考图1与图2，光学相机220是能够撷取对应于光学相机220(或头戴式装置120)的视角170的部分物理环境100的透视相机，因而头戴式装置120能够透过显示装置230渲染出同时包含虚拟物件与真实世界物件的视觉环境(例如，增强现实环境或混合现实环境)。储存电路250用于储存分别由光学相机220和深度相机240所获取的影像资讯252和深度资讯254。影像资讯252和深度资讯254可以用于产生一虚拟物件，其产生流程将于后续段落中描述。
87.实作上，控制电路210可以实现为一或多个单或多晶片通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、其他可编程的逻辑电路或以上一或多者的组合。储存电路250可以用合适的易失性存储器、非易失性存储器或其组合来实现。
88.在一些实施例中，深度相机240可以实作为立体三角量测(stereo triangulation)相机、结构光(structured light)相机或飞行时间(time-of-flight)相机。
89.图3为依据本发明一实施例的方法300的流程图。方法300用于撷取现实世界资讯进入虚拟环境400。头戴式装置120适用于执行方法300，例如透过控制电路210执行储存于储存电路250中的软件。于流程s302，控制电路210利用显示装置230提供如图4a所示的虚拟环境400。虚拟环境400包含利用光学相机220撷取对应于头戴式装置120的视角170的部分物理环境100而得到的真实世界内容410。例如，真实世界内容410可以包含水彩笔130和草图140。某些现实世界物件可以被渲染为具有相似体积或大小的虚拟物件，而另一些的现实世界物件则可以于虚拟环境400中被隐藏不显示。例如，书桌150被渲染为方块420，而灯具160被隐藏不显示。
90.于流程s304，控制电路210判断是否接收到一撷取指令。撷取指令可以是能够透过光学相机220撷取的预设使用者手势，也可以是来自通讯耦接于头戴式装置120的一手持控制器(未绘示)的按键输入。若头戴式装置120接收到撷取指令，则控制电路210可以接着执行流程s306。反之，控制电路210可以再次执行流程s302。
91.于流程s306，控制电路210会透过光学相机220追踪物理环境100中的一特征点430的运动。在本实施例中，特征点430是使用者110的手指，但本发明不以此为限。在一些实施例中，特征点可以是通讯耦接于头戴式装置120的手持控制器(未绘示)的一端点。控制电路210可以撷取特征点430的移动轨迹440，且移动轨迹440可以于流程s308中用于定义至少部分重迭于真实世界内容410的一指定平面450。
92.于流程s308，详细而言，移动轨迹440会依据自光学相机220的焦点222至特征点430的直线方向dn而被投影至真实世界内容410，以定义出指定平面450的边缘。在本实施例中，移动轨迹440形成了封闭区域460，因而指定平面450也可以视为是依据直线方向dn将封闭区域460投影至真实世界内容410而定义出的。
93.换言之，指定平面450是透过中心投影法(透视投影法)将移动轨迹440或封闭区域460投影至真实世界内容410而定义出的，且光学相机220的焦点222为投影中心。在一些实施例中，指定平面450和封闭区域460可以具有互相对应的形状，例如矩形、圆形或任何规则或不规则形状。
94.在一些实施例中，移动轨迹440可仅包含不同方向的x轴向量vx和y轴向量vy。在一些情况下，x轴向量vx的终点连接于y轴向量vy的起点。此时，指定平面450可以是矩形，且x轴向量vx和y轴向量vy会依据直线方向dn(或依据中心投影法)被投影至真实世界内容410以分别形成指定平面450互相连接的两个对应侧边，例如第一侧s1和第二侧s2。控制电路210可以自动于第二侧s2远离第一侧s1的一端点定义出指定平面450的另一侧边。指定平面450的又一侧边也可以由控制电路210自动地定义于第一侧s1远离第二侧s2的一端点。
95.总结来说，指定平面450的至少一部份边缘是依据直线方向dn或中心投影法将移动轨迹440投影至真实世界内容410而定义的。
96.当流程s308结束时，控制电路210可以执行流程s310以撷取位于指定平面450中的一或多个真实世界物件的至少部分外观以产生影像资讯252。例如，有关草图140的形状、纹路及/或颜色会被撷取为影像资讯252。在本实施例中，影像资讯252包含jpeg影像资料，但本发明不以此为限。在一些实施例中，影像资讯252可以包含符合任何合适影像标准的影像资料，例如tiff影像资料或png影像资料。
97.如图4b所示，控制电路210于流程s312中会产生二维(2d)的虚拟壁画470(亦即，虚拟物件)，其中虚拟壁画470具有依据影像资讯252所渲染出的外观。控制电路210可以透过显示装置230将虚拟壁画470提供于使用者110的前方且位于使用者110的直视方向gz上。并且，控制电路210可以将虚拟壁画470的表面调整为垂直于使用者110的直视方向gz。于流程s312中产生的虚拟物件具有可调整的大小(长度与宽度)或表面积，且在一些实施例中此虚拟物件是可旋转且位置可变的。例如，如图4c所示，使用者110可以将虚拟壁画470放大至最终成品的大小，并将虚拟壁画470放置于虚拟环境400的墙壁附近或墙壁上，以于实际大小下评估是否有改进的空间或是否有任何设计瑕疵。
98.图5为依据本发明一实施例的方法500的流程图。方法500用于撷取现实世界资讯进入虚拟环境600。方法500包含流程s502～s512。流程s506、s508以及s510用于撷取指定平面450中的三维(3d)真实世界物件的至少部分外观。方法500的其余流程分别相似于图3的方法300中的对应流程，为简洁起见，将简化描述这些流程或省略其相关内容。
99.请参考图5与图6a，于物理环境100的书桌150上放置有一3d真实世界物件(亦即缩小的书柜模型610)。因此，于虚拟环境600中，书柜模型610会被渲染为放置于方块420上。换言之，本实施例的真实世界内容410包含水彩笔130与书柜模型610。
100.于流程s506，控制电路210会透过光学相机220追踪物理环境100中的特征点430的运动，以撷取特征点430的移动轨迹620。在本实施例中，移动轨迹620除了包含(形成)任何合适形状的封闭区域460之外，还包含z轴向量vz。
101.于流程s508，封闭区域460依据自光学相机220的焦点222至特征点430的直线方向dn被投影至真实世界内容410以形成指定平面450。在一些实施例中，指定平面450的形状可以对应于封闭区域460，例如矩形、圆形或任何规则或不规则形状。另一方面，z轴向量vz也会依据直线方向dn被投影至真实世界内容410以定义实质上垂直于指定平面450的第三侧s3。如此一来，指定平面450与第三侧s3便定义出了用于容置书柜模型610的指定空间630，其中指定平面450与第三侧s3分别为指定空间630的底面与高。
102.换言之，封闭区域460与z轴向量vz透过中心投影法被投影至真实世界内容410以定义指定空间630，且光学相机220的焦点222为投影中心。总而言之，在使用者110藉由画出封闭区域460来定义指定平面450后，使用者110可进一步依据欲撷取的真实世界物件的高度画出z轴向量vz，进而创造出具有合适形状(例如，长方体或圆柱体)的指定空间630。
103.在一些实施例中，移动轨迹620可以仅包含不同方向的x轴向量vx、y轴向量vy与z轴向量vz。z轴向量vz的起点可连接于y轴向量vy的终点，且y轴向量vy的起点可连接于x轴向量vx的终点。控制电路210可以如前述的方式依据x轴向量vx和y轴向量vy自动定义出指定平面450，为简洁起见，在此不再赘述。接着，z轴向量vz被投影至真实世界内容410以定义第三侧s3，进而定义出指定空间630。
104.于流程s510，控制电路210透过深度相机240获取位于指定空间630中的书柜模型610(亦即，3d真实世界物件)的大小(例如，宽度和高度)以及位置。接着，控制电路210透过光学相机220撷取书柜模型610的外观作为影像资讯252。值得注意的是，方法500无需撷取书柜模型610的完整外观。因为于设计流程的非常早期阶段，撷取对应于头戴式装置120的视角170的书柜模型610的部分外观可能便足以对设计进行评估。于影像资讯252中，书柜模型610外观的其余未撷取部分可以设为预设的形状、颜色及/或材质。
105.在一些实施例中，使用者110无需画出z轴向量vz。于流程s510，控制电路210可以与光学相机220执行任何合适的影像辨识演算法，或者与深度相机240执行任何合适的深度估测演算法，以自动获取位于指定空间630中的书柜模型610的大小和位置。
106.请参考图6b和图6c，控制电路210会于流程s512中产生具有依据影像资讯252所渲染出的外观的3d虚拟书柜640(亦即，虚拟物件)。控制电路210可以透过显示装置230于使用者110前方提供虚拟书柜640，且于一些实施例中虚拟书柜640位于使用者110的直视方向gz上。流程s512中产生的虚拟物件的大小(宽度、长度与高度)可调，且于一些实施例中此虚拟物件为可旋转且位置可变的。例如，如图6c所示，使用者110可以将虚拟书柜640放大至最终成品的大小，并将虚拟书柜640放置于虚拟环境600中具有适当距离的位置，以于实际大小下评估是否有改进的空间或是否有任何设计瑕疵。
107.例如，使用者110可以自预先建立的资料库(未绘示)将其他虚拟物件650载入至虚拟环境600中，例如虚拟书本模型和虚拟头戴式装置模型。接着，使用者110可以将这些虚拟物件650放置于虚拟书柜640的不同层中，以评估不同层之间的空间大小是否合适。
108.图7用于说明于一些实施例中方法300的流程s312的细节(亦即，虚拟壁画470的产生过程的细节)。依据影像资讯252渲染图7所示的「多边形网格11」，可产生大小可调的虚拟物件。在一些实施例中，多边形网格11是依据深度资讯254而产生。详细而言，控制电路210可先指示深度相机240以激光或结构光投影多个光点10至指定平面450。在深度相机240为飞行时间相机的实施例中，藉由量测每个光点10的光往返时间可产生深度资讯254。
109.接着，控制电路210可以产生多个顶点(vertices)20，其中每个顶点20具有产生自深度资讯254的对应3d座标。在本实施例中，控制电路210依据深度资讯254判断指定平面450中的草图140(亦即，真实世界物件)为2d物件，因而多个顶点20被设置于同一平面上。控制电路210可以依据草图140(亦即，真实世界物件)的形状决定每个顶点20连接至其他顶点20的方式，以决定欲产生的虚拟物件(例如，虚拟壁画470)的形状。两个互相连接的顶点20可形成一个「边(edge)30」，而由三个边30所形成的一封闭集(closed set)称为「面(face)40」。总而言之，多边形网格11是多个顶点20、多个边30与多个面40的集合，且多边形网格11定义了虚拟物件的形状。接着，藉由将多边形网格11提供至虚拟环境400中，并依据对应于草图140的影像资讯252渲染多边形网格11，便可产生虚拟壁画470。
110.图8用于说明于一些实施例中方法500的流程s512的细节(亦即，虚拟书柜640的产生过程的细节)。控制电路210可以透过深度相机240投影多个光点10至书柜模型610上以获取深度资讯254。在一些实施例中，当深度相机240于流程s510被用于寻找书柜模型610的位置时，控制电路210也可以事先记录深度资讯254。与前述配合图7说明的多个流程相似，依据书柜模型610的深度资讯254，可产生包含多个顶点20、多个边30与多个面40的3d多边形网格11。接着，藉由提供多边形网格11至虚拟环境600，并依据对应于书柜模型610的影像资讯252渲染多边形网格11，便可产生虚拟书柜640。
111.应理解的是，基于本发明提供的教示，上述多个实施例亦可使用各种合适类型的深度相机240。在一些实施例中，头戴式装置120可以包含具有不同视角的多个深度相机以获取更详细的深度资讯254并产生更细致的多边形网格11。图7和图8中光点10与顶点20的数量仅为示例，而非对于实际实施方式的限制。在一些实施例中，光点10与顶点20的数量可依据实际需求而调整，以提升多边形网格11的细致程度。在另一些实施例中，每个面40可以是四个边30所形成的封闭集，其被称为「方形面(quad face)」。
112.综上所述，方法300和500能在非常早期的设计阶段协助找出设计缺陷并协助改进设计概念，因而有助于加快设计时程。并且，藉由以移动轨迹440或620定义出指定平面450，方法300和500让影像撷取变得十分容易，亦即使用者110无需将光学相机220的光路径对准欲撷取的现实世界物件。例如，使用者110无需将头戴式装置120(或其头部)移动至图1的草图140的正上方以撷取草图140的上视图。又例如，使用者110无需蹲下以将头戴式装置120移动至书柜模型610的正前方以撷取书柜模型610的前视图。
113.前述方法300或500的流程图中各流程的执行顺序仅为示例，而非对于实际实施方式的限制。于方法300或500的流程图中，流程308或508可被多次执行以缩减或增加指定平面450的面积。
114.例如，在定义完一个指定平面后，使用者110可以定义与前一个指定平面互相连接或部分重迭的另一个指定平面。控制电路210可以结合这两个指定平面以定义出一个新的指定平面，或者将新的指定平面定义为前一个指定平面减去两个指定平面互相重迭的部分。
115.在一些实施例中，若控制电路210判断影像资讯252包含文字，则头戴式装置120可以提示使用者110是否要将文字转换为可载入至虚拟环境400或600的可编辑文字档案格式。
116.在说明书及申请专利范围中使用了某些词汇来指称特定的元件。然而，本领域技
术人员应可理解，同样的元件可能会用不同的名词来称呼。说明书及申请专利范围并不以名称的差异做为区分元件的方式，而是以元件在功能上的差异来做为区分的基准。在说明书及申请专利范围所提及的「包含」为开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」在此包含任何直接及间接的连接手段。因此，若文中描述第一元件耦接于第二元件，则代表第一元件可通过电性连接或无线传输、光学传输等信号连接方式而直接地连接于第二元件，或者通过其他元件或连接手段间接地电性或信号连接至该第二元件。
117.在此所使用的「及/或」的描述方式，包含所列举的其中之一或多个项目的任意组合。另外，除非说明书中特别指明，否则任何单数格的用语都同时包含复数格的涵义。
118.以上仅为本发明的较佳实施例，凡依本发明请求项所做的均等变化与修饰，皆应属本发明的涵盖范围。