控制方法、追踪系统以及非暂态电脑可读取介质与流程

1.本公开有关于一种追踪系统以及控制方法，且特别是有关能够准确地且有效率地追踪相机的追踪系统。


背景技术：

2.近来发展了各种虚拟现实(virtual reality,vr)、扩增现实(augmented reality,ar)、替换现实(substitutional reality,sr)及/或混和现实(mixed reality,mr)装置以提供使用者沉浸式体验。当使用者穿戴了头戴式显示(head-mounted display,hmd)装置时，使用者的视线将被头戴式显示装置上的沉浸式内容所覆盖。这些沉浸式内容显示虚拟背景以及沉浸式场景当中的一些物件。
3.为了创作出生动的沉浸式内容，其中一种方式是拍摄真实的演员、真实的车辆或真实的动物，再将这些真实的物件与虚拟场景当中虚拟物件或虚拟背景融合，为了达到上述融合，必须要精准地追踪真实物件的姿态数据(位置数据与旋转数据)。否则，这些真实物件将会被摆放在沉浸式场景中的错误位置或错误轴向。


技术实现要素：

4.本公开的一实施例公开一种控制方法包含下列步骤。以相机撷取涉及校准图卡的至少一影像，其中第一可追踪装置实体附接至该相机，第二可追踪装置实体附接至该校准图卡；以追踪基站追踪该第一可追踪装置以及该第二可追踪装置，以产生该第一可追踪装置以及该追踪基站之间的第一旋转转换矩阵，并产生该第二可追踪装置以及该追踪基站之间的第二旋转转换矩阵；根据出现在该至少一影像当中的该校准图卡，产生该相机的一相机坐标系统以及该校准图卡之间的一第三旋转转换矩阵；以及根据第一旋转转换矩阵、第二旋转转换矩阵以及第三旋转转换矩阵，计算相机坐标系统与第一可追踪装置之间的第四旋转转换矩阵，其中该第四旋转转换矩阵用于追踪该相机。
5.于一些实施例中，该校准图卡包含一特征图样以及一乘载插座，该第二可追踪装置实体附接至该乘载插座并且相对于该特征图样具有一机构配置关系，由该机构配置关系推导出该校准图卡与该第二可追踪装置实体之间的一第五旋转转换矩阵，该第四旋转转换矩阵的计算进一步根据该第五旋转转换矩阵。
6.于一些实施例中，该第四旋转转换矩阵的计算是根据该第三旋转转换矩阵、该第五旋转转换矩阵、该第二旋转转换矩阵以及该第一旋转转换矩阵的乘积。
7.于一些实施例中，该相机坐标系统的原点位于该相机的一光学中心，该第四旋转转换矩阵用以描述该相机坐标系统与该第一可追踪装置之间的一旋转关系以及一位置关系。
8.于一些实施例中，控制方法更包含：以该相机撷取涉及该校准图卡的n张影像，其中n为大于1的正整数；以及根据出现在该n张影像当中的该校准图卡，执行一相机几何校准以产生多个内部参数以及多个形变参数。
9.于一些实施例中，多个内部参数是有关于该相机坐标系统与该n张影像其中一张影像对应的一二维像素坐标系统之间的坐标系统转换，该多个内部参数受到该相机的一焦距、一光学中心以及一偏斜系数所影响，该多个内部参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个内部参数用以调整该相机的一影像图框。
10.于一些实施例中，该多个形变参数是有关于该相机的多个非线性镜头形变，该多个形变参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个形变参数用以调整该相机的一影像图框。
11.于一些实施例中，控制方法更包含：以该相机撷取涉及该校准图卡的n张影像，其中n为大于1的正整数；根据出现在该n张影像当中的该校准图卡，产生该相机的该相机坐标系统以及该校准图卡之间的n个第三旋转转换矩阵；根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该n个第三旋转转换矩阵，计算该相机坐标系统与该第一可追踪装置之间的n个候选旋转转换矩阵；以统计方式分析该n个候选旋转转换矩阵；以及根据该n个候选旋转转换矩阵的分析结果，计算该第四旋转转换矩阵。
12.本公开的另一实施例公开一种追踪系统，包含相机、第一可追踪装置、第二可追踪装置、追踪基站以及处理单元。相机用以撷取涉及一校准图卡的至少一影像。第一可追踪装置实体附接至该相机。第二可追踪装置实体附接至该校准图卡。追踪基站用以追踪该第一可追踪装置以及该第二可追踪装置，以产生该第一可追踪装置以及该追踪基站之间的一第一旋转转换矩阵，并产生该第二可追踪装置以及该追踪基站之间的一第二旋转转换矩阵。处理单元与该追踪基站以及该相机通讯连接，其中处理单元用以根据出现在该至少一影像当中的该校准图卡，产生该相机的一相机坐标系统以及该校准图卡之间的一第三旋转转换矩阵，处理单元用以根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该第三旋转转换矩阵，计算该相机坐标系统与该第一可追踪装置之间的一第四旋转转换矩阵，处理单元用以根据该第一可追踪装置以及第四旋转转换矩阵追踪该相机。
13.于一些实施例中，该校准图卡包含一特征图样以及一乘载插座，该第二可追踪装置实体附接至该乘载插座并且相对于该特征图样具有一机构配置关系，由该机构配置关系得到该校准图卡与该第二可追踪装置实体之间的一第五旋转转换矩阵，该第四旋转转换矩阵的计算进一步根据该第五旋转转换矩阵。
14.于一些实施例中，该第四旋转转换矩阵的计算是根据该第三旋转转换矩阵、该第五旋转转换矩阵、该第二旋转转换矩阵以及该第一旋转转换矩阵的乘积。
15.于一些实施例中，该相机坐标系统的原点位于该相机的一光学中心，该第四旋转转换矩阵用以描述该相机坐标系统与该第一可追踪装置之间的一旋转关系以及一位置关系。
16.于一些实施例中，该处理单元用以根据该至少一影像当中的该校准图卡执行该相机的一相机几何校准，以产生多个内部参数以及多个形变参数。
17.于一些实施例中，该多个内部参数是有关于该相机坐标系统与该至少一影像对应的一二维像素坐标系统之间的坐标系统转换，该多个内部参数受到该相机的一焦距、一光学中心以及一偏斜系数所影响，该多个内部参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个内部参数用以调整该相机的一影像图框。
18.于一些实施例中，该多个形变参数是有关于该相机的多个非线性镜头形变，该多
个形变参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个形变参数用以调整该相机的一影像图框。
19.于一些实施例中，该相机撷取涉及该校准图卡的n张影像，其中n为大于1的正整数，根据出现在该n张影像当中的该校准图卡，该处理单元产生该相机的该相机坐标系统以及该校准图卡之间的n个第三旋转转换矩阵；根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该n个第三旋转转换矩阵，该处理单元计算该相机坐标系统与该第一可追踪装置之间的n个候选旋转转换矩阵；该处理单元以统计方式分析该n个候选旋转转换矩阵；以及根据该n个候选旋转转换矩阵的分析结果，该处理单元计算该第四旋转转换矩阵。
20.本公开的另一实施例公开一种非暂态电脑可读取介质，其储存至少一程序指令由一处理单元所执行以运行追踪方法。追踪方法包含下列步骤：以相机撷取涉及校准图卡的至少一影像，其中第一可追踪装置实体附接至该相机，第二可追踪装置实体附接至该校准图卡；以追踪基站追踪该第一可追踪装置以及该第二可追踪装置，以产生该第一可追踪装置以及该追踪基站之间的第一旋转转换矩阵，并产生该第二可追踪装置以及该追踪基站之间的第二旋转转换矩阵；根据出现在该至少一影像当中的该校准图卡，产生该相机的一相机坐标系统以及该校准图卡之间的一第三旋转转换矩阵；以及根据第一旋转转换矩阵、第二旋转转换矩阵以及第三旋转转换矩阵，计算相机坐标系统与第一可追踪装置之间的第四旋转转换矩阵，其中该第四旋转转换矩阵用于追踪该相机。
21.于一些实施例中，该多个内部参数是有关于该相机坐标系统与该n张影像其中一张影像对应的一二维像素坐标系统之间的坐标系统转换，该多个内部参数受到该相机的一焦距、一光学中心以及一偏斜系数所影响，该多个内部参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个内部参数用以调整该相机的一影像图框，该多个形变参数是有关于该相机的多个非线性镜头形变，该多个形变参数被储存，当该相机进行拍摄未涉及该校准图卡的另一影像时，储存的该多个形变参数用以调整该相机的一影像图框。
22.于一些实施例中，该追踪方法包含：以该相机撷取涉及该校准图卡的n张影像，其中n为大于1的正整数；根据出现在该n张影像当中的该校准图卡，产生该相机的该相机坐标系统以及该校准图卡之间的n个第三旋转转换矩阵；根据该第一旋转转换矩阵、该第二旋转转换矩阵以及该n个第三旋转转换矩阵，计算该相机坐标系统与该第一可追踪装置之间的n个候选旋转转换矩阵；以统计方式分析该n个候选旋转转换矩阵；以及根据该n个候选旋转转换矩阵的分析结果，计算该第四旋转转换矩阵。
23.藉此，上述追踪系统与控制方法可准确追踪及定位相机，使相机所拍摄的物件与虚拟场景结合时显得更为逼真。
24.须说明的是，上述说明以及后续详细描述是以实施例方式例示性说明本案，并用以辅助本案所请求的发明内容的解释与理解。
附图说明
25.为让本公开内容的上述和其他目的、特征与实施例能更明显易懂，所附附图的说明如下：
26.图1示出根据本公开的一些实施例中一种追踪系统的示意图；
27.图2示出根据本公开文件中一些实施例中在校正过程中具有追踪相机的光学中心的功能的追踪系统的示意图；
28.图3示出图2当中的追踪系统在校正过程中所执行的控制方法的流程图；
29.图4示出本公开文件的一些实施例中追踪系统在校正过程中的示意图；
30.图5其示出图2当中的追踪系统在校正过程中在另一实施例中执行的控制方法的流程图；
31.图6a以及图6b示出根据本公开文件的一实施例在校正过程中相机相对于校正图卡位于不同位置所拍摄的影像的示意图；
32.图7a以及图7b示出追踪系统在校正过程完成后的一般应用中执行相机的光学中心的追踪功能的示意图；以及
33.图8示出在校正过程结束后由图7a或图7b当中所示的追踪系统所执行的控制方法的流程图。
34.符号说明：
35.100:追踪系统
36.120:相机
37.141:第一可追踪装置
38.142:第二可追踪装置
39.160:追踪基站
40.180:校正图卡
41.182:特征图样
42.184:乘载插座
43.190:处理单元
44.300a,300b,300c:控制方法
45.s310～s354:步骤
46.c141,c142,c160,c182:参考中心
47.o141,o142,o160,o182:坐标系统
48.c120:光学中心
49.o120:相机坐标系统
50.dis:偏差距离
51.sa:空间范围
52.obj:物件
53.rt1,rt1a,rt1n:第一旋转转换矩阵
54.rt1x:目前的第一旋转转换矩阵
55.rt1y:目前的第一旋转转换矩阵
56.rt2,rt2a,rt2n:第二旋转转换矩阵
57.rt3,rt3a,rt3n:第三旋转转换矩阵
58.rt4:第四旋转转换矩阵
59.rt4a,rt4n:候选旋转转换矩阵
60.rt5:第五旋转转换矩阵
61.img,imga,imgn:影像
具体实施方式
62.以下公开提供许多不同实施例或例证用以实施本公开文件的不同特征。特殊例证中的元件及配置在以下讨论中被用来简化本公开。所讨论的任何例证只用来作解说的用途，并不会以任何方式限制本公开文件或其例证的范围和意义。在适当的情况下，在附图之间及相应文字说明中采用相同的标号以代表相同或是相似的元件。
63.请参阅图1，其示出根据本公开的一些实施例中一种追踪系统100的示意图。如图1所示，追踪系统100包含位于空间范围sa当中的相机120、第一可追踪装置141以及追踪基站160。举例来说，如图1所示的空间范围sa可以是真实世界当中的拍片片场或是会议室，但本公开文件并不以此为限。于其他一些实施例中，空间范围sa也可以是户外空间(图中未示出)中的特定区域。
64.在一些实施例中，相机120能够拍摄或撷取有关于真实世界中的真实物件obj的影片或相片。举例来说，所谓的真实物件obj可以是格斗动作演员，而相机120能够拍摄关于格斗动作演员的影片，并且将真实物件obj融合至沉浸式场景作为其中的一个角色。沉浸式场景还可以另外包含虚拟背景(例如，外太空)和其他一些虚拟物件(例如，宇宙飞船和外星人)。为了确保沉浸式场景看起来更为逼真，准确追踪相机120的位置和方向是非常重要的，如以一起才可以精确地定位由相机120撷取的影片视角。
65.在一些实施例中，追踪系统100包含第一可跟踪装置141和追踪基站160。如图1所示，第一可追踪装置141实体附接至相机120。追踪基站160设置在空间区域sa中的固定位置。例如，追踪基站160设置在图1所示的靠近房间的天花板的一个角落位置。当相机120移动时，第一可追踪装置141会随着相机120而相应移动。追踪基站160能够追踪第一可追踪装置141，使得追踪基站160能够判断关于相机120的大致位置(根据第一可追踪装置141被追踪到的位置)。在此情况下，追踪基站160仍无法追踪到相机120的准确位置，这是因为第一可追踪装置141与相机120之间仍存在一定的偏差距离。
66.在一些实施例中，追踪基站160可以发送一些光学追踪信号，而第一可追踪装置141可以包含光学传感器(图中未示)用以感测由追踪基站160发出的光学追踪信号，藉此追踪第一可追踪装置141与追踪基站160之间的空间关系。然而本公开文件并不以上述光学感测方式以追踪第一可追踪装置141。在一些其他实施例当中，也可以利用计算机视觉来追踪第一可追踪装置141上面设置的特征图样。
67.基于追踪基站160与第一可追踪装置141的功能，追踪系统100能够追踪第一可追踪装置141的参考中心c141。由于第一可追踪装置141是实体附接在相机120上。在一些例子中，参考中心c141是直接被当作相机120的位置。然而，如图1所示，第一可追踪装置141的参考中心c141与相机120的光学中心c120之间仍存在一定的偏差距离dis。
68.若第一可追踪装置141的参考中心c141被假设为相机120的视角原点，则相机120所拍摄的影片就会被错误地假设在错误视角原点(即参考中心c141)上拍摄，将会稍稍偏离了真正的视角原点(即光学中心c120)。因此，为了校正上述偏差，希望能得知参考中心c141与光学中心c120之间的偏差距离dis。相机120的光学中心c120是位于相机120内部且被相机120本身的镜头、像素传感器及光学构件等影响，由外观非常难精确地判定相机120的光
学中心c120的准确位置。因此，参考中心c141与相机120的光学中心c120之间的偏差距离dis难以直接量测。
69.在一些实施例中，追踪系统100提供了一种测量偏差距离dis的方式，藉以精确地追踪和校准相机120。请进一步参阅图2，其示出根据本公开文件中一些实施例中在校正过程中具有追踪相机120的光学中心c120的功能的追踪系统100的示意图。
70.在一些实施例中，处理单元190通讯连接至相机120、第一可追踪装置141以及第二可追踪装置142。处理单元190可以是中央处理单元、图形处理单元、处理器及/或专用集成电路(application-specific integrated circuit,asic)。在一些实施例中，处理单元190可以由独立运作的电脑或独立运作的服务器加以实现。于另外一些实施例当中，处理单元190可以被整合到相机120或追踪基站160当中。
71.在一些实施例中，追踪基站160可以发送一些光学追踪信号，而第二可追踪装置142可以包含光学传感器(图中未示)用以感测由追踪基站160发出的光学追踪信号，藉此追踪第二可追踪装置142与追踪基站160之间的空间关系。然而本公开文件并不以上述光学感测方式以追踪第二可追踪装置142。在一些其他实施例当中，也可以利用计算机视觉来追踪第二可追踪装置142上面设置的特征图样。
72.校准图卡180包含特征图样182以及乘载插座184。如图2所示，在一些实施例中特征图样182可以是棋盘式的图样，其包含具有预先设定尺寸的多个白色方块以及多个黑色方块并以预先设定的间距排列。棋盘式的图样有助于针对相机120执行相机几何校准(geometric camera calibration)。举例来说，可以基于针孔相机模型(pinhole camera model)的校正方式来进行相机几何校准。
73.第二可追踪装置142附接在乘载插座184并且其位置相对于特征图样具有一定的机构配置关系。如图2所示，当第二可追踪装置142附接在乘载插座184中时，第二可追踪装置142的参考中心c142会受到乘载插座184的限位而保持在一固定位置。于此例子中，相对于校准图卡180上特征图样182的参考中心c182，第二可追踪装置142的参考中心c142将会固定具有预定的相对关系。上述这个机构配置关系是可以直接量测并经由人为设置的。举例来说，通过将乘载插座184形成在设计者想要的位置，可以将参考中心c142精准固定在相对特征图样182的参考中心c182的左方30厘米且下方10厘米的位置。上述第二可追踪装置142与特征图样182之间的空间关系可以用第五旋转转换矩阵(rotation-translation matrix)加以描述。
74.根据一些实施例在校正过程中，相机120被触发以撷取至少一个影像img其涉及校准图卡180。基于影像img、第一可追踪装置141和第二可追踪装置142的追踪结果，处理单元190能够计算出在第一可追踪装置141的参考中心c141与相机120的光学中心c120之间的偏差距离。
75.请一并参阅图3以及图4，图3示出图2当中的追踪系统100在校正过程中所执行的控制方法300a的流程图，图4示出本公开文件的一些实施例中追踪系统100在校正过程中的示意图。
76.如图2、图3以及图4所示，步骤s310被执行，以触发相机210进而使相机210撷取涉及校正图卡180的影像img(如图2所示)。
77.步骤s312被执行，通过追踪基站160追踪第一可追踪装置141的姿态数据，进而根
据第一可追踪装置141的姿态数据产生第一可追踪装置141与追踪基站160之间的第一旋转转换矩阵rt1。第一旋转转换矩阵rt1用以描述第一可追踪装置141的坐标系统o141与追踪基站160的坐标系统o160之间相对的旋转关系与位置关系。于一些实施例中，第一旋转转换矩阵rt1定义为旋转转换矩阵其用来将原本位于坐标系统o141当中的原始向量转换为位于坐标系统o160当中的等效向量。
78.步骤s314被执行，通过追踪基站160追踪第二可追踪装置142的姿态数据，进而根据第二可追踪装置142的姿态数据产生第二可追踪装置142与追踪基站160之间的第二旋转转换矩阵rt2。第二旋转转换矩阵rt2用以描述第二可追踪装置142的坐标系统o142与追踪基站160的坐标系统o160之间相对的旋转关系与位置关系。于一些实施例中，第二旋转转换矩阵rt2定义为旋转转换矩阵其用来将原本位于坐标系统o142当中的原始向量转换为位于坐标系统o160当中的等效向量。
79.步骤s316被执行，以提供校准图卡180与第二可追踪装置142之间的第五旋转转换矩阵rt5。于一些实施例中，第五旋转转换矩阵rt5是根据第二可追踪装置142与特征图像182之间的空间关系推导得到的。由于第二可追踪装置142是安装设置在校正图卡180上的乘载插座184当中，乘载插座184的位置可以被刻意设计藉此使第五旋转转换矩阵rt5具备预想的特定数值。第五旋转转换矩阵rt5的数值是可以直接量测并可由人为设置的(通过调整乘载插座184的位置)。在一些实施例中，第五旋转转换矩阵rt5定义为其用来将原本位于坐标系统o142当中的原始向量转换为位于坐标系统o182当中的等效向量。
80.如图3所示的实施例，步骤s320被执行，根据出现在影像img中的校正图卡180，产生相机120的相机坐标系统o120与校正图卡180上面的特征图样182的坐标系统o182之间的第三旋转转换矩阵rt3。
81.在一些实施例中，在步骤s320中，处理单元190利用计算机视觉(computer vision)演算法根据出现在影像img中的校正图卡180产生相机120的相机坐标系统o120与特征图样182的坐标系统o182之间第三旋转平移矩阵rt3。在一些实施例中，步骤s320中的计算机视觉演算法可以用来感测相机120和校正图卡180之间的相对移动。举例来说，当特征图样182在图像img中显得更小时，处理单元190产生的第三旋转平移矩阵rt3将表示相机坐标系统o120位于较远离坐标系统o182的位置。在另一例子中，当特征图样182在图像img中显得较大时，处理单元190生成的第三旋转平移矩阵rt3将表示相机坐标系统o120位于较接近坐标系统o182的位置。在另一例子中，当特征图样182的其中一侧边在图像img中显得大于相对的另一侧边时，处理单元190生成的第三旋转平移矩阵rt3将表示相机坐标系统o120与坐标系统o182之间的旋转角度。在一些实施例中，第三旋转转换矩阵rt3定义为其用来将原本位于坐标系统o182当中的原始向量转换为位于相机坐标系统o120当中的等效向量。
82.需注意的是，相机坐标系统o120的原点位于相机120内部的光学中心c120，难以用机械方式直接量测光学中心c120的位置，因为光学中心c120是位于相机120内部的理论位置点。在此例子中，相机坐标系统o120与第一可追踪装置141的坐标系统o141之间的第四旋
转转换矩阵rt4难以基于第一可追踪装置141与相机120的物理连接关系进行直接量测。如图3以及图4所示，步骤s320被执行，处理单元190根据前述的多个旋转转换矩阵rt1、rt2、rt3及rt5进而计算相机坐标系统o120与第一可追踪装置141的坐标系统o141之间的第四旋转转换矩阵rt4。
83.在一些实施例中，第四旋转转换矩阵rt4定义为其用来将原本位于相机坐标系统o120当中的原始向量转换为位于(第一可追踪装置141)坐标系统o141当中的等效向量。第四旋转转换矩阵rt4可以通过下列方式计算：
[0084][0085]
如上式所述，处理单元190可以根据第三旋转转换矩阵rt3、第五旋转转换矩阵rt5、第二旋转转换矩阵rt2以及第一旋转转换矩阵rt1的乘积来计算第四旋转转换矩阵rt4。
[0086]
在一些实施例中，追踪系统100以及追踪方法300a可以在校正过程中计算第四旋转转换矩阵rt4。第四旋转转换矩阵rt4是用来描述相机坐标系统o120与第一可追踪装置141之间相对的旋转关系与位置关系。由于第一可追踪装置141是物理性附接在相机120上的固定位置，因此通过步骤s330计算得到的第四旋转转换矩阵rt4能够保持稳定的数据。相机坐标系统o120的原点位于相机120的光学中心c120。
[0087]
如此一来，追踪系统100通过追踪第一可追踪装置141(及其坐标系统o141)并将第四旋转转换矩阵rt4套用到第一可追踪装置141(及其坐标系统o141)的追踪结果上，便能够追踪到相机120的光学中心c120与相机坐标系统o120的准确位置。
[0088]
如图2、图3以及图4所示，在步骤s340中，处理单元190可储存第四旋转转换矩阵rt4。于一些实施例中，第四旋转转换矩阵rt4可被储存在数位数据储存器(图中未示)，例如存储器、硬盘、快取存储器、快闪存储器或其他相似的数据储存器。在校正程序之后，储存的第四旋转转换矩阵rt4可以用在追踪相机120的光学中心c120。
[0089]
如图3所示的实施例中，控制方法300a触发相机120拍摄一张影像img以计算第四旋转转换矩阵rt4，然而本公开文件并不以此为限。
[0090]
在一些实施例中，相机120需要一些校正参数以调整相机120的影像图框，例如多个内部参数(intrinsic parameters)及/或多个形变参数(distortion parameters)。换句话说，基于内部参数及/或形变参数的数据，相机120可将多个像素传感器的感测结果据以转换为影像img的图框。请一并参与图5，其示出图2当中的追踪系统100在校正过程中在另一实施例中执行的控制方法300b的流程图。在图5所示的实施例中，控制方法300b可以产生第四旋转转换矩阵rt4(用以追踪相机120)并且量测相机的内部参数及/或形变参数。
[0091]
图5的实施例中所示的控制方法300b相似于图3中的控制方法300a。控制方法300b
与控制方法300a的其中一个不同点在于，如图2以及图5所示，在步骤s310当中，控制方法300b触发相机120撷取涉及校正图卡180的n张影像imga～imgn，n为大于1的正整数。举例来说，若n＝5，则相机120可以拍摄涉及校正图卡180的五张不同影像。控制方法300b进一步包含步骤s315。
[0092]
请一并参阅图6a以及图6b，其示出根据本公开文件的一实施例在校正过程中相机120相对于校正图卡180位于不同位置所拍摄的影像imga～imgn的示意图。
[0093]
如图6a所示，相机120相对于校正图卡180位于一个特定位置，并且相机120拍摄一张影像imga；如图6b所示，相机120相对于校正图卡180位于另一个位置，并且相机120拍摄另一张影像imgn。图6a以及图6b示出了相机120在两个不同位置拍摄两张影像imga以及imgn的例子。然而本公开文件并不以此为限，相机120可以移动至更多不同位置以拍摄更多影像。
[0094]
在步骤s315当中，根据出现在多张影像imga～imgn内的校正图卡180当中特征图样182，处理单元190可以执行相机120的相机几何校正(geometric camera calibration)，以产生内部参数及形变参数。在一些实施例中，相机几何校正是一种基于相机模型的估算程序，用以估算相机模型对应的内部参数及形变参数，并使相机模型能够近似于拍摄了预定图像(即图2当中的特征图样182)的真实相机120，藉此计算出内部参数及形变参数。需特别注意的是，本公开文件并不仅限于针孔相机模型(pinhole camera model)，其他的相机模型也可以用来产生内部参数及形变参数。关于如何根据相机模型进行相机几何校正的详细作法已经在相关领域中被广泛讨论并为此领域中技术人员所熟知，故在此不再赘述。
[0095]
内部参数是有关于两个坐标系统之间的转换，是由相机坐标系统o120到图像img的二维像素坐标系统(对应于相机120的多个像素传感器，图中未示出)的转换。内部参数受到相机120的内部配置影响，例如相机120的焦距、光学中心c120和偏斜系数。
[0096]
于此例子中，步骤s315所计算的多个内部参数可被储存，当相机120进行拍摄未涉及校准图卡180的另一影像时，储存的这些内部参数可以用来调整相机120的影像图框。举例来说，当校正过程结束后，当相机120在撷取有关物件obj(参阅图1)的影像或是拍摄影片或电影时，储存的内部参数可以用来调整相机120的影像图框。
[0097]
多个形变参数是有关于相机120的多个非线性镜头形变，在一些实施例中，处理单元190在进行相机几何校正时可以一并计算多个形变参数。
[0098]
于此例子中，步骤s315所计算的多个形变参数可被储存，当该相机进行拍摄未涉及校准图卡180的另一影像时，储存的形变参数用以调整相机120的影像图框。举例来说，当校正过程结束后，当相机120在撷取有关物件obj(参阅图1)的影像或是拍摄影片或电影时，储存的形变参数可以用来调整相机120的影像图框。
[0099]
需注意的是，理想情况下，步骤s315对应n张影像imga～imgn所计算的内部参数会是相同的，步骤s315对应n张影像imga～imgn所计算的形变参数也会是相同的，这是因为内部参数与形变参数是相机120的内部因素所决定的。
[0100]
在步骤s320当中，控制方法300b利用计算机视觉根据出现在n张影像imga～imgn中的校正图卡180上面的特征图样182，产生相机120的相机坐标系统o120与校正图卡180之间的n个第三旋转转换矩阵rt3a～rt3n。n个第三旋转转换矩阵rt3a～rt3n每一者的产生方式相似于先前实施例图3中所示的步骤s320(产生一个第三旋转转换矩阵rt3根据单张影
像)。
[0101]
在步骤s331中，处理单元190根据n个第一旋转转换矩阵rt1a～rt1n、n个第二旋转转换矩阵rt2a～rt2n、n个第三旋转转换矩阵rt3a～rt3n以及第五旋转转换矩阵rt5，计算相机坐标系统o120与第一可追踪装置141之间的n个候选旋转转换矩阵rt4a～rt4n。
[0102]
有关图5当中控制方法300b的步骤s310至步骤s331的详细作法，可以通过将控制方法300a的步骤s310至步骤s330执行n次并在过程中分别将相机移动至相异的位置。
[0103]
如图5所示，步骤s332被执行，处理单元190以统计方式分析n个候选旋转转换矩阵rt4a～rt4n，藉此根据n个候选旋转转换矩阵rt4a～rt4n的分析结果计算第四旋转转换矩阵rt4。
[0104]
于一些实施例中，可以根据n个候选旋转转换矩阵rt4a～rt4n的平均值来产生第四旋转转换矩阵rt4。
[0105]
于一些实施例中，可以根据n个候选旋转转换矩阵rt4a～rt4n的中间值来产生第四旋转转换矩阵rt4。
[0106]
于一些实施例中，可以根据n个候选旋转转换矩阵rt4a～rt4n计算标准差，接着，上述标准差可以用来判断上述n个候选旋转转换矩阵rt4a～rt4n各自是否值得信赖。控制方法300b可以删去不值得信赖的候选矩阵，仅依照值得信赖的候选矩阵来计算第四旋转转换矩阵rt4。
[0107]
步骤s340被执行，以储存第四旋转转换矩阵rt4、内部参数以及形变参数。
[0108]
图5所示的控制方法300b在校正过程中能够根据n张不同的影像imga～imgn来计算第四旋转转换矩阵rt4，这有助于消除在步骤s320当中相机几何校正可能发生的潜在错误。
[0109]
请一并参阅图7a以及图7b。图7a以及图7b示出了追踪系统100在校正过程完成后的一般应用中进行相机120其光学中心c120的追踪功能的示意图。如图7a以及图7b所示，在一般应用中(例如以相机120拍摄有关物件obj的影片时)，相机120可能会在空间范围sa中移动至不同的位置。
[0110]
如图7a所示，相机120移动至空间范围sa当中的左侧。于此例子中，追踪系统100的追踪基站160可以感测到第一可追踪装置141以产生目前的第一旋转转换矩阵rt1x。基于目前的第一旋转转换矩阵rt1x以及预先储存的第四旋转转换矩阵rt4，追踪系统100能够精准地追踪相机120。
[0111]
如图7b所示，相机120移动至空间范围sa当中的右侧。于此例子中，追踪系统100的追踪基站160可以感测到第一可追踪装置141以产生目前的第一旋转转换矩阵rt1y。基于目前的第一旋转转换矩阵rt1y以及预先储存的第四旋转转换矩阵rt4，追踪系统100能够精准地追踪相机120。
[0112]
在此情况下，若将相机120拍摄到的物件obj与沉浸式场景的虚拟背景(例如外太空)与虚拟物件(例如太空船与外星人)融合时，拍摄到物件obj的视角可以被精确地追踪并定位，如此一来，出现在沉浸式场景当中的物件obj可以看起来更为逼真。
[0113]
请一并参阅图8，其示出在校正过程结束后由图7a或图7b当中所示的追踪系统100所执行的控制方法300c的流程图。
[0114]
如图7a、图7b以及图8所示，步骤s351被执行，由追踪基站160追踪第一可追踪装置
141以产生目前的第一旋转转换矩阵rt1x/rt1y。步骤s352被执行，根据目前的第一旋转转换矩阵rt1x/rt1y以及先前校正过程所储存的第四旋转转换矩阵rt4以追踪相机120。步骤s353被执行，由相机120拍摄未涉及校正图卡(参阅图2所示的校正图卡180)的影像。举例来说，相机120可以撷取影像、串流影像或影片有关不同的物件(例如演员、建筑、动物或景色等)。步骤s354被执行，根据储存的内部参数以及储存的形变参数，以调整相机120的影像图框。
[0115]
本公开文件的另一实施例为一种非暂态电脑可读取介质，其储存至少一程序指令可由处理单元(参阅先前实施例以及图2所示出的处理单元190)所执行以运行如图3、图5及图8所示的追踪方法300a、300b以及300c。
[0116]
虽然本公开的特定实施例已经公开有关上述实施例，此些实施例不意欲限制本公开。各种替代及改良可通过相关领域中的一般技术人员在本公开中执行而没有从本公开的原理及精神背离。因此，本公开的保护范围由所附权利要求书确定。