将真实世界资讯撷取入虚拟环境的方法及头戴式装置与流程

技术特征：
1.一种用于将一真实世界资讯撷取入一虚拟环境的方法，其特征在于，适用于位于一物理环境中的一头戴式装置，且该方法包含：提供该虚拟环境，其中该虚拟环境中的一真实世界内容是撷取自该物理环境的一部分，且该物理环境的该部分对应于该头戴式装置的一视角；追踪由一使用者所移动且位于该物理环境中的一特征点，以藉由投影该特征点的一移动轨迹至该真实世界内容而定义出该真实世界内容的一指定平面；撷取对应于该指定平面的一影像资讯；以及产生具有依据该影像资讯所渲染的一外观的一虚拟物件，其中该虚拟物件的大小可调整。2.如权利要求1所述的方法，其特征在于，该头戴式装置包含一光学相机，且该指定平面的一边缘的至少部分是依据自该光学相机的一焦点至该特征点的一直线方向将该移动轨迹投影至该真实世界内容而定义。3.如权利要求2所述的方法，其特征在于，该移动轨迹包含一封闭区域，该指定平面是依据自该光学相机的该焦点至该特征点的该直线方向将该封闭区域投影至该真实世界内容而定义，以使该指定平面与该封闭区域具有互相对应的形状。4.如权利要求2所述的方法，其特征在于，该移动轨迹包含方向不同的一x轴向量与一y轴向量，该指定平面的该边缘包含互相连接的一第一侧与一第二侧，该第一侧与该第二侧是依据自该光学相机的该焦点至该特征点的该直线方向将该x轴向量与该y轴向量分别投影至该真实世界内容而定义。5.如权利要求4所述的方法，其特征在于，该移动轨迹包含一z轴向量，实质上垂直于该指定平面的一第三侧是依据自该光学相机的该焦点至该特征点的该直线方向将该z轴向量投影至该真实世界内容而定义，且撷取对应于该指定平面的该影像资讯包含：撷取一真实世界三维物件的一外表的至少部分作为该影像资讯，其中该真实世界三维物件位于由该指定平面与该第三侧所定义的一指定空间中，且该虚拟物件是三维的。6.如权利要求4所述的方法，其特征在于，撷取对应于该指定平面的该影像资讯包含：藉由一影像辨识演算法或一深度估测演算法，辨识位于该指定平面中的一真实世界三维物件；以及撷取该真实世界三维物件的一外表的至少部分作为该影像资讯，其中该虚拟物件是三维的。7.如权利要求1所述的方法，其特征在于，产生具有依据该影像资讯所渲染的该外观的该虚拟物件包含：于该使用者实质上的前方提供该虚拟物件；以及若该虚拟物件是二维的，将该虚拟物件的一平面调整为垂直于该使用者的一直视方向。8.如权利要求1所述的方法，其特征在于，该头戴式装置包含一深度相机，且产生具有依据该影像资讯所渲染的该外观的该虚拟物件包含：透过该深度相机获得该指定平面的一深度资讯；依据该深度资讯产生一网格；以及
依据该影像资讯渲染该网格而产生该虚拟物件。9.如权利要求1所述的方法，其特征在于，该特征点是该使用者的一手指或一手持控制器的一端点，该手持控制器通讯耦接于该头戴式装置。10.如权利要求1所述的方法，其特征在于，该头戴式装置包含一光学相机，且该指定平面是藉由一中心投影法将该移动轨迹投影至该真实世界内容而定义，其中该光学相机的一焦点是一投影中心。11.一种头戴式装置，其特征在于，位于一物理环境中，且包含：一显示装置；一光学相机；以及一控制电路，被设置为：透过该显示装置提供一虚拟环境，其中该虚拟环境中的一真实世界内容是撷取自该物理环境的一部分，且该物理环境的该部分对应于该头戴式装置的一视角；透过该光学相机追踪由一使用者所移动且位于该物理环境中的一特征点，以藉由投影该特征点的一移动轨迹至该真实世界内容而定义出该真实世界内容的一指定平面；透过该光学相机撷取对应于该指定平面的一影像资讯；以及产生具有依据该影像资讯所渲染的一外观的一虚拟物件，其中该虚拟物件的大小可调整。12.如权利要求11所述的头戴式装置，其特征在于，该指定平面的一边缘的至少部分是依据自该光学相机的一焦点至该特征点的一直线方向将该移动轨迹投影至该真实世界内容而定义。13.如权利要求12所述的头戴式装置，其特征在于，该移动轨迹包含一封闭区域，该指定平面是依据自该光学相机的该焦点至该特征点的该直线方向将该封闭区域投影至该真实世界内容而定义，以使该指定平面与该封闭区域具有互相对应的形状。14.如权利要求12所述的头戴式装置，其特征在于，该移动轨迹包含方向不同的一x轴向量与一y轴向量，该指定平面的该边缘包含互相连接的一第一侧与一第二侧，该第一侧与该第二侧是依据自该光学相机的该焦点至该特征点的该直线方向将该x轴向量与该y轴向量分别投影至该真实世界内容而定义。15.如权利要求14所述的头戴式装置，其特征在于，该移动轨迹包含一z轴向量，实质上垂直于该指定平面的一第三侧是依据自该光学相机的该焦点至该特征点的该直线方向将该z轴向量投影至该真实世界内容而定义，且当该控制电路透过该光学相机撷取对应于该指定平面的该影像资讯时，该控制电路还被设置为：透过该光学相机撷取一真实世界三维物件的一外表的至少部分作为该影像资讯，其中该真实世界三维物件位于由该指定平面与该第三侧所定义的一指定空间中，且该虚拟物件是三维的。16.如权利要求14所述的头戴式装置，其特征在于，当该控制电路透过该光学相机撷取对应于该指定平面的该影像资讯时，该控制电路还被设置为：藉由一影像辨识演算法或一深度估测演算法，辨识位于该指定平面中的一真实世界三维物件；以及
透过该光学相机撷取该真实世界三维物件的一外表的至少部分作为该影像资讯，其中该虚拟物件是三维的。17.如权利要求11所述的头戴式装置，其特征在于，当该控制电路产生具有依据该影像资讯所渲染的该外观的该虚拟物件时，该控制电路还被设置为：透过该显示装置于该使用者实质上的前方提供该虚拟物件；以及若该虚拟物件是二维的，将该虚拟物件的一平面调整为垂直于该使用者的一直视方向。18.如权利要求11所述的头戴式装置，其特征在于，还包含一深度相机，且当该控制电路产生具有依据该影像资讯所渲染的该外观的该虚拟物件时，该控制电路还被设置为：透过该深度相机获得该指定平面的一深度资讯；依据该深度资讯产生一网格；以及依据该影像资讯渲染该网格而产生该虚拟物件。19.如权利要求11所述的头戴式装置，其特征在于，该特征点是该使用者的一手指或一手持控制器的一端点，该手持控制器通讯耦接于该头戴式装置。20.如权利要求11所述的头戴式装置，其特征在于，该指定平面是藉由一中心投影法将该移动轨迹投影至该真实世界内容而定义，且该光学相机的一焦点是一投影中心。

技术总结
一种用于将真实世界资讯撷取入虚拟环境的方法，其适用于位于物理环境中的头戴式装置(head-mounted device)。此方法包含以下流程：提供虚拟环境，其中虚拟环境中的一真实世界内容是撷取自物理环境的一部分，且物理环境的部分对应于头戴式装置的一视角；追踪由一使用者所移动且位于物理环境中的一特征点，以藉由投影特征点的一移动轨迹至真实世界内容而定义出真实世界内容的一指定平面；撷取对应于指定平面的一影像资讯；以及产生具有依据影像资讯所渲染的一外观的一虚拟物件，其中虚拟物件的大小可调整。上述的方法能在早期的设计阶段协助找出设计缺陷。助找出设计缺陷。助找出设计缺陷。


技术研发人员：林圣成 刘建欣 林石隆
受保护的技术使用者：宏达国际电子股份有限公司
技术研发日：2020.10.30
技术公布日：2022/2/23