基于光学追踪器和AR眼镜的虚实融合标定方法、系统

基于光学追踪器和ar眼镜的虚实融合标定方法、系统
技术领域
1.本发明涉及增强现实技术领域，尤其是涉及一种基于光学追踪器和ar眼镜的虚实融合标定方法、系统。


背景技术：

2.增强现实(augmented reality，ar)技术已经是计算机应用领域的热点之一。增强现实技术也被称为扩增现实，ar增强现实技术是将真实世界信息和虚拟世界信息综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，将虚拟信息内容显示到真实世界中加以有效应用。增强现实技术将计算机生成的虚拟模型叠加到现实场景中实现三维虚实融合显示，增强使用者对现实场景的感知。凭借这一优势，增强现实在教育行业，工业生产，医学领域等具有很大的应用前景。
3.ar眼镜是ar技术领域知名的产品代表，ar眼镜能够做到在空间中投影虚拟物体，同时不影响用户观察真实环境，给用户一种和真实环境交互的体验。ar眼镜是增强现实技术在可穿戴式计算机领域的一种应用产品，作为增强现实的重要媒介，近年来取得了很大的发展，并不断走向用户，例如微软的hololens眼镜等。
4.当用户在使用ar眼镜时，希望将虚拟模型以某种姿态较精确地显示在真实场景的某个位置时就需要一种可靠的虚实标定方法，将虚拟空间与真实场景联系起来。目前，较多的增强现实标定方法都存在操作不方便，耗时长，难度高等问题。这一系列问题都在一定程度上影响了增强现实技术的广泛应用。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于光学追踪器和ar眼镜的虚实融合标定方法、系统，具有操作便利，耗时较短，对用户更友好的特点。
6.本发明的目的可以通过以下技术方案来实现：
7.一种基于光学追踪器和ar眼镜的虚实融合标定方法，该方法包括：
8.在ar眼镜虚拟场景中设计虚拟标记物；
9.在真实场景中放置光学追踪器所探测的真实标记物；
10.采用ar眼镜的相机拍摄同时包含虚拟标记物和真实标记物的标定图像；
11.利用ar眼镜的相机坐标系为转换媒介，基于拍摄的标定图像求解ar眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换关系，完成标定。
12.优选地，所述的虚拟标记物和真实标记物均分别包括若干标定点。
13.优选地，基于拍摄的标定图像进行标定的具体步骤包括：
14.从标定图像中获取虚拟标记物的标定点的像素坐标p
virtual2d
以及真实标记物的标定点的像素坐标p
real2d
；
15.获取虚拟标记物的标定点在ar眼镜构建的虚拟空间坐标系中的虚拟三维坐标
p
virtual3d
，以及光学追踪器所探测的真实标记物的标定点在世界坐标系中的三维坐标p
real3d
；
16.基于p
real3d
和p
real2d
得到ar眼镜的相机坐标系与光学追踪器所在的世界坐标系的转换矩阵
17.基于p
virtual3d
和p
virtual2d
得到ar眼镜的相机坐标系与ar眼镜构建的虚拟空间坐标系的转换矩阵
18.基于转换矩阵和得到ar眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换矩阵
19.优选地，所述的虚拟标记物为构建在ar眼镜虚拟场景中的包含多个标志点的物件，各个标志点的中心为所述的虚拟标记物的标定点。
20.优选地，所述的真实标记物包括光学追踪器能够检测到三维坐标的多个标志球体，各个标志球的中心为所述的真实标记物的标定点。
21.优选地，在采用该方法进行虚实融合标定前，需要对ar眼镜的相机的内部参数进行标定。
22.一种虚实融合标定系统，包括：
23.设置在ar眼镜虚拟场景中设计虚拟标记物；
24.设置在真实场景中用于光学追踪器探测的真实标记物；
25.控制器：用于控制ar眼镜的相机拍摄同时包含虚拟标记物和真实标记物的标定图像；
26.处理器：利用ar眼镜的相机坐标系为转换媒介，基于拍摄的标定图像求解ar眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换关系，完成标定。
27.优选地，所述的处理器用于执行存储在存储介质中的计算机程序，用于实现所述的基于拍摄的标定图像进行标定的具体步骤。
28.与现有技术相比，本发明具有如下优点：
29.(1)本发明利用ar眼镜的相机坐标系为转换媒介，仅需拍摄一张照片后通过算法自动完成虚实融合标定，耗时短，难度低，对用户更友好；
30.(2)本发明虚拟标记物和真实标记物均分别包括若干标定点，从而提高后续坐标转换的精度，进而提高虚实融合标定的精度，保证高精度的虚实融合显示。
附图说明
31.图1为本发明一种基于光学追踪器和ar眼镜的虚实融合标定方法的实施流程框图；
32.图2为本发明坐标系转换示意图。
具体实施方式
33.下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
34.实施例
35.如图1所示，本实施例提供一种基于光学追踪器和ar眼镜的虚实融合标定方法，该方法包括：
36.在ar眼镜虚拟场景中设计虚拟标记物；
37.在真实场景中放置光学追踪器所探测的真实标记物；
38.采用ar眼镜的相机拍摄同时包含虚拟标记物和真实标记物的标定图像；
39.利用ar眼镜的相机坐标系为转换媒介，基于拍摄的标定图像求解ar眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换关系，完成标定。
40.需要说明的是：对ar眼镜的相机的内部参数进行标定，每个设备只需标定一次即可。
41.虚拟标记物和真实标记物均分别包括若干标定点，其中：虚拟标记物为构建在ar眼镜虚拟场景中的包含多个标志点的物件，各个标志点的中心为虚拟标记物的标定点；真实标记物包括光学追踪器能够检测到三维坐标的多个标志球体，各个标志球的中心为真实标记物的标定点。
42.本实施例中，虚拟标记物可以是多个小球，多个标记点，多边形或棋盘格等包含不少于4个标志点的物件，并记录下标志点组在ar眼镜构建的虚拟空间坐标系中的虚拟三维坐标p
virtual3d
。真实标记物上安装的标志球个数需不小于4个，标志球之间相对位置的设计需遵循光学追踪器(optical tracker)官方文档的要求，通过其所提供的算法，可以检测到每个标志球的三维坐标，即光学追踪器探测的真实标记物的标定点在世界坐标系中的三维坐标p
real3d
。
43.ar眼镜所记录的标记图像需要包含完整且清晰的虚拟标记物和真实标记物。通过图像处理可以得到标定图像中真实标记物上标志球组球心的像素坐标，以及虚拟标志物上所用标志点组的像素坐标。已知真实标志球球心的三维坐标和对应的像素坐标，可以利用算法求解出拍摄图像时相机在tracker坐标系下的外参。同理，虚拟标志点在虚拟空间中的三维坐标和对应在图像中的像素坐标均可得到，便可求解出相机在虚拟空间坐标系下的外参。将相机空间坐标系作为转换媒介，可以得到虚实空间二者坐标系的变换。
44.具体地，基于拍摄的标定图像进行标定的具体步骤包括：
45.从标定图像中获取虚拟标记物的标定点的像素坐标p
virtual2d
以及真实标记物的标定点的像素坐标p
real2d
；
46.获取虚拟标记物的标定点在ar眼镜构建的虚拟空间坐标系中的虚拟三维坐标p
virtual3d
，以及光学追踪器所探测的真实标记物的标定点在世界坐标系中的三维坐标p
real3d
；
47.基于p
real3d
和p
real2d
得到ar眼镜的相机坐标系与光学追踪器所在的世界坐标系的转换矩阵
48.基于p
virtual3d
和p
virtual2d
得到ar眼镜的相机坐标系与ar眼镜构建的虚拟空间坐标系的转换矩阵
49.基于转换矩阵和得到ar眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换矩阵
50.上述过程中具体坐标变换关系如图2所示，o
camera
为ar眼镜的相机坐标系，o
virtual
为ar眼镜构建的虚拟空间坐标系，o
tracker
为光学追踪器所在的世界坐标系。
51.基于以上，本实施例还提供一种虚实融合标定系统，包括：
52.设置在ar眼镜虚拟场景中设计虚拟标记物；
53.设置在真实场景中用于光学追踪器探测的真实标记物；
54.控制器：用于控制ar眼镜的相机拍摄同时包含虚拟标记物和真实标记物的标定图像；
55.处理器：利用ar眼镜的相机坐标系为转换媒介，基于拍摄的标定图像求解ar眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换关系，完成标定。
56.其中，虚拟标记物和真实标记物的具体设计在上述过程中已经详细说明，此处不再赘述。另外，该系统中的处理器用于执行存储在存储介质中的计算机程序，进而实现上述所述的基于拍摄的标定图像进行标定的具体步骤。
57.本发明利用ar眼镜的相机坐标系为转换媒介，仅需拍摄一张照片后通过算法自动完成标定，实现虚实融合显示，耗时短，难度低，对用户更友好；虚拟标记物和真实标记物均分别包括若干标定点，从而提高后续坐标转换的精度，进而提高虚实融合标定的精度，保证高精度的虚实融合显示。
58.上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。