追踪系统、追踪方法以及非暂态计算机可读取储存介质与流程

1.本公开有关于一种追踪系统、方法及其非暂态计算机可读取存储介质。具体而言，本公开系关于一种可有效追踪手部动作的追踪系统、方法及其非暂态计算机可读取存储介质。


背景技术：

2.虚拟现实(virtual reality；vr)、扩增现实(augmented reality；ar)、替代现实(substitutional reality；sr)以及混合现实(mixed reality；mr)被开发为向使用者提供沉浸式体验。当一使用者戴上头戴显示装置(head-mounted display；hmd)时，该使用者的可视范围将被头戴显示装置显示的沉浸式内容所覆盖。而沉浸式内容显示沉浸式场景中的多个虚拟背景和一些物件。
3.在一些应用中，使用者可手握手持式装置作为输入装置以与沉浸式内容中的项目进行互动。而在一些其他的应用中，追踪系统被配置为基于计算机视觉算法追踪手部动作和手势，使得使用者可直接通过他们的手进行操作。然而，用来追踪手部动作和手势的计算机视觉算法需要大量的计算资源，且可能会导致高功耗。


技术实现要素：

4.本公开提供一种追踪方法，其包含以下步骤。以一追踪相机拍摄一系列多个影像。在所述多个影像中追踪一可追踪装置的一第一位置。在所述多个影像中辨识该第一位置周围的一物件。响应于辨识到该物件，在所述多个影像中追踪该物件的一第二位置。
5.在本公开的一实施方式中，其中该可追踪装置的一表面设有一特征图样，且追踪该可追踪装置的该第一位置的步骤进一步包含基于一计算机视觉算法，搜寻所述多个影像中的该特征图样。
6.在本公开的一实施方式中，其中追踪该可追踪装置的该第一位置的步骤进一步包含响应于在所述多个影像中搜寻到该特征图样，根据该特征图样在所述多个影像中的多个坐标追踪该第一位置；以及响应于未于所述多个影像中搜寻到该特征图样，根据设于该可追踪装置上的一惯性测量单元所产生的一姿势数据，追踪所述多个影像外的该可追踪装置。
7.在本公开的一实施方式中，其中辨识所述多个影像中该第一位置周围的该物件的步骤进一步包含将所述多个影像各者分割为与该第一位置相邻的一物件相关区域及一背景区域；以及基于一计算机视觉算法，在所述多个影像各者中的该物件相关区域搜寻该物件。
8.在本公开的一实施方式中，其中该计算机视觉算法不会在所述多个影像中的该背景区域执行。
9.在本公开的一实施方式中，进一步包含根据所述多个影像中该可追踪装置上的一特征图样，追踪该可追踪装置的一定向，其中该物件相关区域系根据该第一位置、该定向以
及一逆向运动学算法而决定。
10.在本公开的一实施方式中，其中该可追踪装置系穿戴于一使用者的一手腕或一手指上的一穿戴式装置，该物件为该使用者的一只手，辨识该物件的步骤进一步包含根据该物件辨识一手势，其中该手势包含握、捏、指、抓、打字、按或放下。
11.在本公开的一实施方式中，进一步包含响应于丢失该第二位置的追踪且该第一位置不可用，根据设于该可追踪装置上的一惯性测量单元所产生的一姿势数据，追踪该可追踪装置。
12.在本公开的一实施方式中，进一步包含响应于丢失该第二位置的追踪且该第一位置可用，返回至辨识该第一位置周围的该物件。
13.本公开提供一种追踪系统，其包含一追踪系统，包含：一可追踪装置、一追踪相机以及一处理单元。该追踪相机被配置为拍摄多个影像。该处理单元与该追踪相机进行通信。该处理单元被配置为自该追踪相机接收多个影像。该处理单元进一步被配置为追踪所述多个影像内的一可追踪装置的一第一位置。该处理单元还被配置为辨识所述多个影像中该第一位置周围的一物件。响应于辨识到该物件，该处理单元进一步被配置为追踪所述多个影像中该物件的一第二位置。
14.在本公开的一实施方式中，其中该可追踪装置包含该可追踪装置的一表面上的一特征图样，该处理单元基于一计算机视觉算法，搜寻所述多个影像中的该特征图样以追踪该可追踪装置的该第一位置。
15.在本公开的一实施方式中，其中该可追踪装置包含一惯性测量单元，该处理单元被配置为响应于在所述多个影像中搜寻到该特征图样，根据该特征图样在所述多个影像中的多个坐标追踪该第一位置，且该处理单元被配置为响应于未于所述多个影像中搜寻到该特征图样，根据设于该可追踪装置上的一惯性测量单元所产生的一姿势数据，追踪所述多个影像外的该可追踪装置。
16.在本公开的一实施方式中，其中该处理单元被配置为将所述多个影像各者分割为与该第一位置相邻的一物件相关区域及一背景区域，且该处理单元被配置为通过一计算机视觉算法在所述多个影像各者中的该物件相关区域搜寻该物件。
17.在本公开的一实施方式中，其中该计算机视觉算法不会在所述多个影像中的该背景区域执行。
18.在本公开的一实施方式中，其中该处理单元进一步被配置为根据所述多个影像中该可追踪装置上的一特征图样，追踪该可追踪装置的一定向，该处理单元根据该第一位置、该定向以及一逆向运动学算法决定该物件相关区域。
19.在本公开的一实施方式中，其中该可追踪装置系穿戴于一使用者的一手腕或一手指上的一穿戴式装置，该物件为该使用者的一只手，该处理单元被配置为辨识该使用者的一手势，其中该手势包含握、捏、指、抓、打字、按或放下。
20.在本公开的一实施方式中，其中响应于该物件移动至所述多个影像外，该处理单元根据设于该可追踪装置上的一惯性测量单元所产生的一姿势数据，追踪该可追踪装置。
21.在本公开的一实施方式中，其中响应于丢失该第二位置的追踪，该处理单元返回至辨识该第一位置周围的该物件。
22.在本公开的一实施方式中，其中该追踪相机系设于一头戴显示装置上以追踪一手
势。
23.本公开提供一种非暂态计算机可读取储存介质，用以储存至少一程序指令，所述多个程序指令由处理单元执行，以执行上述追踪方法。
24.应该理解的是，前述的一般性描述和下列具体说明仅仅是示例性，旨在提供对本公开文件的进一步解释。
附图说明
25.通过阅读以下实施例的详细描述，并结合附图，可以更全面地理解本公开文件：
26.图1为本公开一实施例的追踪系统的示意图；
27.图2为本公开部分实施例的追踪方法的流程图；
28.图3为本公开部分实施例的追踪相机拍摄的影像中一示例性影像的示意图；
29.图4为本公开一实施例的追踪方法处理图3所示影像的示意图；
30.图5为本公开一实施例的追踪方法以逆向运动学算法处理图3所示影像的示意图；
31.图6为本公开一实施例的追踪方法处理图3所示影像的示意图；
32.图7为本公开一实施例的追踪相机拍摄的影像的示意图；以及
33.图8为本公开一实施例的追踪相机拍摄的另一影像的示意图。
34.符号说明：
35.100:追踪系统
36.120:追踪相机
37.140r,140l:可追踪装置
38.142r,142l:特征图样
39.144r,144l:惯性测量单元
40.160:处理单元
41.200:头戴显示装置
42.img:影像
43.fov:视角
44.pos:姿势数据
45.300:追踪方法
46.s310:步骤
47.s320～s324:步骤
48.s330～s334:步骤
49.s340～s342:步骤
50.s350:步骤
51.img1,img2,img3:影像
52.p1r,p1l:第一位置
53.p2r,p2l:第二位置
54.o1r,o1l:定向
55.oar1,oal1,oar2,oal2:物件相关区域
56.bg:背景区域
57.objr,objl:物件
58.blk:物品
具体实施方式
59.下文将详细描述本公开文件的实施例，其示例示出于附图中。在可能的情况下，相同的标号使用于附图以及描述中，以代表相同或相似的元件。
60.请参照图1，其为本公开一实施例的追踪系统100的示意图。如图1所示，追踪系统100包含一追踪相机120、至少一可追踪装置以及一处理单元160。图1所示的一实施例中，两个可追踪装置140r、140l为一使用者在手腕上穿戴的穿戴式装置(例如：智能手环、智能手表)。可追踪装置140r、140l被配置为帮助追踪系统100追踪该使用者的手部动作或手势。
61.需要注意的是，本公开中的可追踪装置140r、140l并不限制于穿戴于手腕上。在本公开其他实施例中，可追踪装置140r、140l可为穿戴于该使用者手指上的可追踪戒指，亦可为穿戴于该使用者手掌上的可追踪手套。
62.此外，本公开亦未限制包含穿戴于双手的两个可追踪装置140r、140l。在本公开其他实施例中，追踪系统100可具有穿戴于该使用者单手上的一可追踪装置，以追踪特定一手的手部动作和手势。
63.追踪相机120被配置为在一视角fov内拍摄一系列多个影像img。影像img显示该使用者手部(亦包含可追踪装置140r、140l)的动作。处理单元160以通讯方式连接追踪相机120，并且处理单元160被配置为自追踪相机120接收影像img，以及执行一计算机视觉算法以追踪、辨识该使用者手部(亦包含可追踪装置140r、140l)的动作。至于如何追踪、辨识该使用者手部动作的技术细节将于以下段落描述。
64.如图1所示出的实施例，追踪相机120可为集成于一头戴显示装置(head-mounted display；hmd)200的相机。在本范例中，追踪相机120可设于头戴显示装置200的前侧。在本公开部分实施例中，追踪相机120的视角fov可被安排在该使用者的前方，以观测该使用者的手部动作。
65.在本公开部分实施例中，处理单元160可为一处理器、一图形处理器(graphic processing unit；gpu)、一专用集成电路(application specific integrated circuit；asic)或其他任何类型的处理元件。在本公开部分实施例中，处理单元160可集成于头戴显示装置200中。而在本公开其他实施例中，处理单元160可设于一电脑、一笔记本电脑、一服务器、一智能型手机或其他任何类型的运算装置。
66.进一步参考图2，其为本公开部分实施例的一追踪方法300的流程图。追踪方法300可被图1所示的追踪系统100所执行。如图2所示，追踪相机120执行步骤s310以连续拍摄一系列影像img。在本公开部分实施例中，处理单元160被配置为在步骤s310触发追踪相机120以拍摄多个影像img。
67.进一步参考图3，其为本公开部分实施例的追踪相机120拍摄的所述多个影像img中一示例性影像img1的示意图。
68.如图3所示，影像img1显示该使用者的双手以及穿戴于双手上的可追踪装置140r、140l。可追踪装置140r的表面设有一特征图样142r。在本公开部分实施例中，特征图样142r为一发光图样，相对应地，可追踪装置140r包含一发光单元，其被配置为于可追踪装置140r
的表面产生发光图样(即特征图样142r)。
69.在本公开其他实施例中，特征图样142r可为一印于可追踪装置140r表面的彩色图样。举例来说，特征图样142r可为一印于可追踪装置140r黑色外壳表面的黄色闪电图示。
70.相似地，可追踪装置140l的表面亦包含另一特征图样142l。
71.特征图样142r、142l可包含特定图示、图案、图形或颜色，以实现强烈的区别特征，这些特征经过优化以更容易为该计算机视觉算法所识别。
72.如图1、2、3所示，在步骤s320中，处理单元160被配置为于影像img1中追踪可追踪装置140r的一第一位置p1r(以及可追踪装置140l的另一第一位置p1l)。如图2所示，步骤s320进一步包含步骤s321至s324。
73.追踪系统100以及追踪方法300皆以相似的方式追踪可追踪装置140r、140l。为方便说明，在下述实施例中有关可追踪装置140r的详细操作描述将作为示例。追踪系统100以及追踪方法300亦可对可追踪装置140l采取相似的操作步骤，因此有关可追踪装置140l的细节将不再赘述。
74.如前述，可追踪装置140r包含特征图样142r。在步骤s321中，处理单元160被配置为以该计算机视觉算法于影像img1中搜寻特征图样142r。
75.需要注意的是，在步骤s321中，处理单元160系于整张影像img1中搜寻特征图样142r。由于特征图样142r可设计为特殊的形状，或以特殊节奏发出光学信号，使得特征图样142r更容易被识别。因此对该计算机视觉算法而言，相比直接于影像img1中辨识该使用者的手部特征(例如：辨识手指、手掌、手腕、肤色)，辨识特征图样142r是相对容易完成的任务。然而，该使用者的手可能会做出不同的手势(例如：握(holding)、捏(pinching)、指(pointing)、抓(grasping)、打字(typing)、按(pressing)或放下(dropping)手势)，使得出现在影像img1中的手的形状或轮廓可能产生巨大的变化。因此在整张影像img1中直接搜寻该手对处理单元160和该计算机视觉算法而言是相对困难的任务。
76.在步骤s322中，处理单元160判断特征图样142r是否出现于影像img1中。若搜寻到特征图样142r，则如图3所示，执行步骤s323，根据在影像img1中搜寻到的特征图样142r追踪可追踪装置140r的第一位置p1r。随着追踪相机120连续拍摄一系列影像img，追踪方法300则得以通过重复步骤s321至s323，持续于一系列影像img中追踪可追踪装置140r的第一位置p1r。
77.需要注意的是，如图3所示，在本公开部分实施例中，根据在影像img1中搜寻出的特征图样142r的方向和轮廓，追踪方法300进一步侦测可追踪装置140r在空间中的一定向(orientation)o1r。举例来说，追踪方法300可以根据在影像img1中搜寻到的特征图样142r，侦测定向o1r在三维坐标空间中的三个旋转角度。在本公开部分实施例中，在步骤s323中，追踪系统100根据在影像img1中搜寻到的特征图样142r，得以追踪可追踪装置140r的第一位置p1r和定向o1r。相似地，在步骤s323中，当搜寻到特征图样142l，执行步骤s323则如图3所示，根据在影像img1中搜寻到的特征图样142l，追踪可追踪装置140l的第一位置p1l和(或)一定向o1l。
78.另一方面，若在影像中未搜寻到特征图样142r，处理单元160则执行步骤s324，以根据设于可追踪装置142r内的一惯性测量单元(inertial measurement unit；imu)所产生的一姿势数据追踪可追踪装置142r。有关步骤s324的更多细节将于之后的段落中描述。
79.根据在影像img1中取得的第一位置p1r，处理单元160执行步骤s330，以在影像img1中第一位置p1r周围辨识一物件。在本公开部分实施例中，该物件为该使用者的一只手。追踪系统100以及追踪方法300的功能的一为追踪、辨识该使用者的一手势。在步骤s320中追踪到的可追踪装置140r的第一位置p1r，有助于判断该使用者手部的潜在位置。图2中追踪方法300的步骤s330进一步包含步骤s331至s334。
80.在步骤s331中，处理单元160将所述多个影像img各者分割为与第一位置相邻的至少一物件相关区域及一背景区域。进一步参考图4，其为根据本公开一实施例，示出了在步骤s331中处理图3所示影像img1的示意图。如图4所示，影像img1经步骤s331被分割为与第一位置p1r相邻的一物件相关区域oar1、与第一位置p1l相邻的另一物件相关区域oal1以及一背景区域bg。如图4所示，物件相关区域oar1位于与第一位置p1r相邻的区域。举例来说，若第一位置p1r的坐标为(260,40)，物件相关区域oar1可以被设定为(260,40)周围 100像素至-100像素的范围，使得物件相关区域oar1形成一四个角分别位在(160,0)、(320,0)、(320,140)和(160,140)的长方形。
81.如图4所示，物件相关区域oal1位于与第一位置p1l相邻的区域。举例来说，若第一位置p1l的坐标为(30,35)，物件相关区域oal1可以被设定为(30,35)周围 100像素至-100像素的范围，使得物件相关区域oal1形成一四个角分别位在(0,0)、(130,0)、(0,135)和(130,135)的长方形。
82.在步骤s332中，处理单元160被配置为以该计算机视觉算法在影像img1内物件相关区域oar1和物件相关区域oal1中搜寻该物件(例如：右手和左手)。
83.在这种情况下，该计算机视觉算法不会在影像img1中的背景区域bg执行。和在整张影像img1搜寻该物件(例如：该使用者的手)相比，步骤s332中所搜寻的区域缩小至物件相关区域oar1和物件相关区域oal1，如此一来将增加搜寻该物件的效率。
84.如图4所示的实施例，物件相关区域oar1、oal1系分别根据第一位置p1r、p1l所决定的。然而本公开将不限制其于此。在本公开其他实施例中，该物件相关区域系根据第一位置和一逆向运动学(inverse kinematics；ik)算法所决定的。
85.进一步参考图5，其为根据本公开一实施例，示出步骤s331中参考了该逆向运动学算法处理图3所示影像img1的示意图。
86.如前述，在步骤s323中，追踪系统100得以根据于影像img1中搜寻到的特征图样142r追踪可追踪装置140r的第一位置p1r和定向o1r，以及根据于影像img1中搜寻到的特征图样142l追踪可追踪装置140l的第一位置p1l和定向o1l。可追踪装置140r的定向o1r能够指示该使用者右手的方向。如图5所示，根据参考该逆向运动学算法所得的定向o1r，追踪方法300能够辨识出该使用者的右手向内延伸至第一位置p1r的左上侧。
87.如图5所示，影像img1在步骤s331中被分割为一物件相关区域oar2、另一物件相关区域oal2以及一背景区域bg。在本实施例中，物件相关区域oar2系处理单元160根据第一位置p1r、定向o1r以及该逆向运动学算法所决定的。
88.在步骤s332中，处理单元160被配置为在物件相关区域oar2内搜寻该物件(例如：该使用者的右手)。由于可追踪装置140r被穿戴于该使用者的右手腕，且位于第一位置p1r，根据定向o1r以及该逆向运动学算法，物件相关区域oar2的范围可被缩小至第一位置p1r的左上方。如图5所示，物件相关区域oar2形成一四个角分别位在(150,30)、(250,30)、(150,
160)和(250,160)的长方形。需要注意的是图5中参考定向o1r以及该逆向运动学算法所得的物件相关区域oar2的范围小于图4中未参考定向o1r以及该逆向运动学算法的物件相关区域oar1的范围。因此，在物件相关区域oar2中搜寻该物件效率较高。步骤s332中搜寻该物件的任务可在较短的计算时间以及较少的电力消耗下完成。此外，步骤s332中的物件搜寻可以提高物件搜寻的准确度(由于忽略了背景中不相关的信息)。
89.相似地，在步骤s332中，处理单元160被配置为在物件相关区域oal2内搜寻该物件(例如：该使用者的左手)。由于可追踪装置140l被穿戴于该使用者的左手腕，且位于第一位置p1l，根据定向o1l以及该逆向运动学算法，物件相关区域oal2的范围可被缩小至第一位置p1l的右上方。
90.在步骤s333中，处理单元确认该物件是否存在于该物件相关区域(参考图4中的oar1、oal1或图5中的oar2、oal2)。进一步参考图6，其为根据本公开一实施例，示出步骤s333至340中处理图3所示影像img1的示意图。
91.如图6所示，当辨识出一物件objr，执行步骤s334以根据影像img1中的物件objr辨识一手势。有关物件objr的该手势可包含握、捏、指、抓、打字、按或放下手势。
92.根据物件objr辨识出手势后，处理单元160执行步骤s350以执行手势辨识结果的相关功能。举例来说，若手势辨识结果为按下头戴显示装置200显示的沉浸式内容中的一虚拟按钮，处理单元160可启动该虚拟按钮的功能。另一个例子，若手势辨识结果为在头戴显示装置200显示的沉浸式内容中的一虚拟键盘上打字，处理单元160可启动该虚拟键盘的打字功能。
93.另一方面，当执行步骤s333时未辨识出该物件，追踪方法300可返回执行步骤s332再度搜寻该物件相关区域。
94.在步骤s330中，物件objr在影像img1中第一位置p1r周围被辨识出来。其后，如图6所示，处理单元160执行步骤s340以追踪影像img1中物件objr的一第二位置p2r。随着追踪相机120连续拍摄一系列影像img，追踪方法300则得以通过重复步骤s320至s340，持续于一系列影像img中追踪物件objr的第二位置p2r。相似地，追踪方法300得以通过重复步骤s320至s340，持续于一系列影像img中追踪一物件objl的一第二位置p2l。
95.在理想的情况下，追踪系统100和追踪方法300得以持续于追踪相机120拍摄的一系列影像img中追踪物件objr的第二位置p2r。
96.然而在部分的情况下，追踪系统100和追踪方法300可能丢失物件objr的第二位置p2r的追踪。举例来说，物件objr可能被其他物品遮挡(例如：当该使用者将手放在桌下，追踪相机120因桌子遮挡而无法拍摄到该使用者的手)，或物件objr移动到追踪相机120的视角fov外(例如：当该使用者将手移动到头部后侧或耳朵上，其手可能超出如图1所示的视角fov)。
97.如图2所示，处理单元160执行步骤s341以确认追踪方法300是否丢失第二位置p2r的追踪。若物件objr的第二位置p2r仍可以被追踪，追踪方法300则返回至步骤s340且持续追踪物件objr的第二位置p2r。
98.若追踪物件objr的第二位置p2r当前无法被追踪，处理单元160则执行步骤s342以确认可追踪装置140r所在的第一位置是否当前可用。
99.进一步参考图7，其为根据本公开一实施例，由追踪相机120所拍摄的一影像img2，
示出当第二位置无法被追踪且第一位置可用的情况的示意图。
100.如图7所示，该使用者的一右手位于一物品blk的下方。在这种情况下，在影像img2中，该右手被物品blk遮挡，使得使用者的右手当前在追踪相机120的视野中是无法被追踪的。但同时，可追踪装置140r的第一位置p1r仍然可用。于此情况，追踪方法300返回至步骤s330。在步骤s330中，追踪方法300将持续尝试辨识第一位置p1r周围的物件。一旦在接下来的影像中出现或可以追踪到该物件(该右手)，追踪方法300则可以立刻恢复第一位置p1r周围的物件追踪。
101.进一步参考图8，其为根据本公开一实施例，由追踪相机120所拍摄的一影像img3，示出当第二位置无法被追踪且第一位置不可用的情况的示意图。
102.如图8所示，该使用者的一右手位于追踪相机120的视角fov(请参考图1)外。当该物件位于视角fov外，该物件被视为进入了追踪相机120的死角。该右手及对应的可追踪装置140r并没有出现在影像img3中。在这个情况下，追踪相机120无法追踪该右手及对应的可追踪装置140r。因此，追踪方法300则无法在影像img3中追踪可追踪装置140r的第一位置。
103.当追踪方法300丢失该第二位置的追踪，且该第一位置不可用时，追踪方法300则返回至步骤s324，根据设于可追踪装置140r上的一惯性测量单元144r所产生的一姿势数据pos，追踪该可追踪装置。
104.在本公开部分实施例中，如图8所示，可追踪装置140r包含一惯性测量单元144r，可追踪装置140l包含一惯性测量单元144l。可追踪装置140r内的惯性测量单元144r系一量测可追踪装置140r的加速度、角速度和定向的电子元件。惯性测量单元144r可以加速度计(accelerometer)、陀螺仪(gyroscope)和(或)地磁仪(magnetometer)来实现。而可追踪装置140l内的惯性测量单元144l具有相似的功能。
105.如图1和图8所示，当该右手进入了追踪相机120的死角，无法根据影像img3追踪该右手。在这个情况下，惯性测量单元144r可量测加速度、角速度和定向以产生一姿势数据。该姿势数据与该右手的动作相关。该姿势数据可由可追踪装置140r传输至处理单元160。处理单元160则可以根据姿势数据pos追踪可追踪装置140r的一大致位置。一旦该物件(该右手)移动进入追踪相机120的视角fov(请参考图1)内，且在接下来的影像中出现或可以追踪到该物件，追踪方法300则可以立刻恢复该物件追踪。
106.本公开的另一实施例描述一种非暂态计算机可读取储存介质，其储存至少一程序指令，所述多个程序指令由处理单元160执行，所述多个程序指令执行如图2所示的追踪方法300。
107.根据上述实施例，追踪系统100在整张影像中搜寻带有强特征图样142r、142l(较容易区别、辨识)的可追踪装置140r、140l以估算所述多个物件相关区域。接着，追踪系统在所述多个物件相关区域内(而非整张影像)辨识所述多个物件。因此，追踪系统100和追踪方法300得以在更短的计算时间内有效地追踪、辨识手部动作和手势，并且具有更高的准确度并且适用于各种应用。追踪系统100追踪、辨识出的手部动作和手势可用作控制应用程式、触发功能、开启/关闭开关或执行其他后续操作的输入信号。
108.虽然本公开文件已经通过参照实施例进行了相当详细的描述，但是其他实施例亦可实行。因此，本公开文件的权利要求的精神以及范围不应限于本文所包含的实施例的描述。
109.所属技术领域中技术人员应当理解，在不脱离本公开文件的范围或精神的情况下，可以对本公开文件的结构进行各种改进。综上所述，凡在以下权利要求的范围内对于本公开文件所做的改进，皆为本公开文件所涵盖的范围。