一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于校正物体在空间中位置的增强现实系统及方法。


背景技术：

2.增强现实技术，通常通过摄像头捕获到现实场景的图像，需要对捕获到的现实场景图像进行分析处理，并在现实场景的基础上增添附加的信息显示给用户，即对现实的增强。对现实场景的图像进行分析处理的过程，往往包括对场景中物体的定位。在某些特定需求下，对场景中的物体定位的精度要求极高，现有技术对场景中物体定位的准确度不能满足需求。
3.举例来说，增强现实技术应用于手术导航场景，需要非常准确地确定医疗器械与病人、场景之间的位置关系，才能确保向用户提供准确的导航信息。如基于增强现实技术的穿刺导航，可以用最简单方便，易学易用的设备实现快速精准的手术导航。而在整个流程中，精准导航的核心之一：基于可见光图案的精准手术器械空间定位，及虚拟器官与真实人体的注册配准，都依赖于对待定位物体上的可识别图案的准确空间定位。而由于器械设计所限，不同尺寸形状的可识别图案，因其自身图案特征点空间分布的固有规律或其生产过程的特点，所特有的空间定位准确度也不尽相同。如果是反复使用的识别物还可能通过在首次临床使用前的出厂校准事先提高其识别精度，但对于一次性使用且不同产品误差分布也不一致的情况，则很难有类似事先校准机会。如何能在使用现场快速提高其图案识别精度，是实际应用此项技术的一大难点。


技术实现要素：

4.针对上述缺陷或不足，本发明的目的在于提供一种基于校正物体在空间中位置的增强现实的系统及方法。
5.为达到以上目的，本发明的技术方案为：
6.一种基于校正物体在空间中位置的增强现实系统，包括：第一获取单元、第二获取单元、校正单元以及显示单元，其中：
7.所述第一获取单元，用于捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
8.所述第二获取单元，用于当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；
9.所述校正单元包括第一校正单元和/或第二校正单元，其中：
10.所述第一校正单元，用于根据所述第一物体空间位置信息以及所述特定位置，对所述第二物体空间位置信息进行校正；
11.所述第二校正单元，用于根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正；
12.所述显示单元，用于显示与所述第一物体或所述第二物体的位置相关的增强现实信息。
13.所述第一物体识别特性至少包括第一物体本体形态特性和/或第一物体标记识别特性；所述第一物体本体形态特性至少包括第一物体本体的结构、形态或颜色；所述第一物体标记识别特性至少包括第一物体上设置的图案、图形或二维码；
14.所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。
15.所述第一物体空间位置信息至少包括第一物体空间坐标和/或第一物体朝向；所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
16.所述特定位置为所述第二物体与所述第一物体具有特定位置关系时的位置，所述特定位置关系包括第二物体与所述第一物体上预设的点、线或面之间重合或部分重合。
17.所述第一校正单元具体用于：
18.根据所述第一物体空间位置信息以及所述特定位置关系，计算第二物体理论位置信息；根据所述第二物体理论位置信息，对所述第二物体的空间位置信息进行校正。
19.所述第一校正单元用于对所述第二物体的x、y坐标进行校正。
20.所述第二校正单元具体用于：
21.根据所述第二物体空间位置信息以及所述特定位置关系，计算第一物体理论位置信息；根据所述第一物体理论位置信息，对所述第一物体的空间位置信息进行校正。
22.所述第二校正单元用于对第一物体的z坐标进行校正。
23.所述第一物体为手术场景中的固定物；所述第二物体为手术场景中的操作器械。
24.一种基于校正物体在空间中位置的增强现实方法，包括：
25.捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
26.当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；
27.根据所述第一物体空间位置信息以及特定位置，对所述第二物体空间位置信息进行校正；和/或根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正；
28.显示与所述第一物体或所述第二物体的位置相关的增强现实信息。
29.所述第一物体识别特性至少包括第一物体本体形态特性和/或第一物体标记识别特性；所述第一物体本体形态特性至少包括第一物体本体的结构、形态或颜色；所述第一物体标记识别特性至少包括第一物体上设置的图案、图形或二维码；
30.所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。
31.所述第一物体空间位置信息至少包括第一物体空间坐标和/或第一物体朝向；所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
32.所述特定位置为所述第二物体与所述第一物体上的预设的点、线或面具有特定位置关系时的位置，所述特定位置关系包括点、线或面重合、部分重合。
33.所述根据所述第一物体空间位置信息以及特定位置，对所述第二物体空间位置信息进行校正包括：根据所述第一物体空间位置信息以及所述特定位置关系，计算第二物体理论位置信息；根据所述第二物体理论位置信息，对所述第二物体的空间位置信息进行校正。
34.优选地，对所述第二物体的空间位置信息进行校正包括对所述第二物体的x、y坐标进行校正。
35.根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正包括：根据所述第一物体空间位置信息以及所述特定位置关系，计算第二物体理论位置信息；根据所述第二物体理论位置信息，对所述第二物体的空间位置信息进行校正。
36.优选地，所述对所述第二物体的空间位置信息进行校正包括对所述第二物体的x、y坐标进行校正。
37.所述第一物体为手术场景中的固定物；所述第二物体为手术场景中的操作器械。
38.本发明还提供一种计算机可读存储介质，存储有非暂时的计算机可执行程序，所述程序用于指令所述计算机执行本发明记载的方法。
39.与现有技术比较，本发明的有益效果为：
40.本发明提供了一种基于校正物体在空间中位置的增强现实系统及方法，通过在同一场景下使用具有不同误差特性的物体的识别特性，通过二者对应物体的空间关联，对两个不同物体进行图像获取和位置的相互校正，实现单方或双方的光学定位精度提高，该方法和系统能够在多种场合中进行应用，比如手术过程中的医疗器械操作的定位、教学模拟操作中的应用以及游戏活动过程中的应用等，精准的定位和位置的增强现实，能够帮助使用者进行精准和完整的操作。
附图说明
41.图1是本发明基于校正物体在空间中位置的增强现实系统的结构框图；
42.图2是本发明具体实施方式中的实施方案示例图；
43.图3是本发明基于校正物体在空间中位置的增强现实方法流程图
44.图4是本发明基于识别板互校准示意图。
具体实施方式
45.下面将结合附图对本发明做详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
46.在进行精准的操作场景中，很多时候需要准确地获取物体的实际位置与图像中的位置，在某些特定需求下，对场景中的物体定位的精度要求极高，比如医疗过程中，需要非常准确地确定医疗器械与病人、场景之间的位置关系，才能够确保向用户提供准确的导航信息。帮助医疗人员准备的找到操作位置和身体的对应关系。基于该要求，本发明提供了一种基于校正物体在空间中位置的增强现实方法，能够应用于手术实施场景，也可以是应用
于模拟教学过程中的操作场景、也可以应用于游戏过程中的定位。
47.以手术实施场景为例，本发明实施例为用户提供针对对象体内的组织和/或器械位于对象体内的器械定位。其中，用户是整个体内导航过程的观察者，其也是将器械探入对象体内的操作者。对象可以是用户需要对其进行操作的人或其他动物。器械可以是任意可探入对象体内的工具。器械可以例如是穿刺针、活检针、射频或微波消融针、超声探头、硬质内窥镜、内窥镜手术下卵圆钳、电刀或吻合器等医疗器械。优选地，所述第一物体为手术场景中的固定物；所述第二物体为手术场景中操作器械。
48.如图1所示，一种基于校正物体在空间中位置的增强现实系统，能够应用于手术操作、模拟教学操作、或者游戏过程，具体包括：第一获取单元1、第二获取单元2、校正单元3，以及显示单元4，其中：
49.所述第一获取单元1，用于捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
50.所述第二获取单元2，用于当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；
51.所述校正单元3包括第一校正单元31和/或第二校正单元32，其中：
52.所述第一校正单元31，用于根据所述第一物体空间位置信息以及特定位置，对所述第二物体空间位置信息进行校正；
53.所述第二校正单元32，用于根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正；
54.所述显示单元4，用于显示与所述第一物体或所述第二物体的位置相关的增强现实信息。
55.为了能够对第二物体进行定位校准，首先获取一个固定的物体的具有的第一物体空间位置信息，所述第一物体空间位置信息至少包括第一物体空间坐标和/或第一物体朝向，能够对固定的第一物体进行空间位置的具体定位。
56.本发明中，所述第一物体识别特性至少包括第一物体本体形态特性和/或第一物体标记识别特性。所述第一物体本体形态特性至少包括第一物体本体的结构、形态、或颜色，但是具体实施过程中，不局限于此，也可以是物体的其他的能够被识别的特性。示例性的，本发明可以固定设置一个形状固定的物体，在进行校准前，先识别物体的结构的形状，识别过程中，通过不同的显示方式，能够提示用户捕获过程和识别过程是否成功。对该物体进行定位识别，获取物体的准确空间位置信息。
57.另外，本发明中，所述第一物体标记识别特性至少包括第一物体上设置的图案、图形或二维码。所述图案、图形或二维码可以为通过印刷过程设置于第一物体上，可识别图案根据其自身图案的规律以及生产特点，所具备的空间准确度也不尽相同。充分利用不同特性可识别图案的组合，实现对导航器械的快速空间校准。
58.示例性的，本发明中，如图2所示，可以使用印刷有二维码的矩形信息板，用于捕获第一物体图像的设备为能够图像采集的装置，采集角度与用户的观察方向保持一致。当用户使用时，其可以将图像采集装置佩戴于身体上，例如头部。可选地，图像采集装置是头戴式光学摄像头。在用户使用时，无论其采用何种姿势，都可以很好地保持头戴式光学摄像头
的采集角度与其观察方向一致。由此，不仅保证了显示增强现实信息的角度是用户所观看的角度，保证了精准度，而且避免了使用时对用户的各种操作的干扰。从而显著提高了用户体验。根据摄像头采集到的图像对空间中的物体进行定位，得到物体在xyz空间坐标系中的位置，其中，z坐标表示沿延摄像头拍摄的深度方向上的坐标，x、y坐标是垂直于z坐标轴方向的坐标。通过图像采集装置获取第一物体图像，根据第一物体图像寻找数据库内与第一物体对应的第一结构信息，识别第一物体位置与朝向，对第一物体设置当前空间坐标，记为x1、y1、z1。
59.在进行具体的手术场景中，需要使用器械进行操作，本发明中所述第二物体为移动的器械，所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
60.所述特定位置为所述第二物体与所述第一物体上的预设的点、线或面具有特定位置关系时的位置，例如，特定位置关系可以是所述第二物体与所述第一物体上的预设的点、线或面重合或者在预设的范围内部分重合。
61.所述第一校正单元31具体用于：根据所述第一物体空间位置信息以及所述特定位置关系，计算第二物体理论位置信息；根据所述第二物体理论位置信息，对所述第二物体的空间位置信息进行校正；示例性的，所述第一校正单元31用于对所述第二物体的x、y坐标进行校正。
62.显示单元4用于显示所述第二物体图像、第二物体位置相关联的信息内容、或者与第二物体位置相关联的位置提示信息。
63.所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
64.所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。
65.二维码是在平面上分布的黑白相间的平面图形，其上面的点非常易于识别，通过识别其中的至少3个点，可以实现该二维码的定位。因为二维码固定于对象或器械，所以，可以实现固定有该二维码的对象或器械的定位。
66.可选地，第二物体标记识别特性还可以是诸如棋盘格的其他平面图形。利用二维码或棋盘格作为标识，使得定位对象或器械更准确且快速。从而，可以对快速移动器械进行更精准地导航。
67.可选地，在器械表面上所固定的标识还可以是立体图形，例如，在器械设计生产过程中，标识的图形可以是该器械的手柄，或者是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。
68.示例性的，如图2所示，本发明中第二物体为手术中的穿刺针，穿刺针的端部设置有标识结构，并且印刷有二维码。
69.基于上述内容，所述第二获取单元2具体用于：
70.所述第一物体固定设置在空间中，所述第二物体为移动物体，当所述第二物体移
动到所述特定位置，则根据第二物体标记识别特性识别所述第二物体，得到第二物体朝向和/或对第二物体设置当前的第二物体空间坐标。
71.所述第二校正单元32具体用于：根据所述第二物体空间位置信息以及所述特定位置，计算第一物体理论位置信息；根据所述第一物体理论位置信息，对所述第一物体的空间位置信息进行校正；示例性的，所述第二校正32单元用于对所述第一物体的z坐标进行校正。
72.显示单元4用于显示所述第一物体图像、第一物体位置相关联的信息内容、或者与第一物体位置相关联的位置提示信息。
73.本发明中，所述特定位置为所述第二物体与所述第一物体上的预设的点、线、或面具有特定位置关系时的位置，例如，特定位置关系可以是所述第二物体与所述第一物体上的预设的点、线或面重合或者在预设的范围内部分重合。
74.当进行使用时，用户可以在现实手术场景的对应位置三维地显示实际不可见的对象的体内器官、病变以及器械在对象体内的部分。换言之，不可见的体内器官、病变以及器械位于体内的部分与人体及实际器械对准，从而指引用户进行手术操作。
75.本实施例中能够根据第一物体和第二物体进行识别，在同一场景下使用具有不同误差特性的光学识别物，通过二者对应物体的空间关联，实现单方或双方的光学定位精度提高。针对不同误差特征的识别物，将与之有空间关联性的器械通过几何结构的匹配，确定不同识别图案在同一空间中坐标的关联性。通过利用已知的可信数值，实现对不同识别图案空间识别位置的校准。
76.另外，如图3所示，本发明还提供了一种基于校正物体在空间中位置的增强现实方法，包括：
77.s1、捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
78.为了能够对第二物体进行定位校准，首先获取一个固定的物体的具体的空间位置信息，该空间位置信息至少包括第一物体空间坐标和/或第一物体朝向，能够对固定的第一物体进行空间位置的具体定位。
79.本发明中，所述第一物体识别特性至少包括第一物体本体形态特性和/或第一物体标记识别特性。所述第一物体本体形态特性至少包括第一物体本体的结构、形态或颜色，但是具体实施过程中，不局限于此，也可以是物体的其他的能够被识别的特性。示例性的，本发明可以固定设置一个形状固定的物体，在进行校准前，先识别物体的结构的形状，识别过程中，通过不同的显示方式，能够提示用户捕获过程和识别过程是否成功。对该物体进行定位识别，获取物体的准确空间位置信息。
80.另外，所述第一物体标记识别特性至少包括第一物体上设置的图案、图形或二维码。所述图案、图形或二维码可以为通过印刷过程设置于第一物体上，可识别图案根据其自身图案的规律以及生产特点，所具备的空间准确度也不尽相同。充分利用不同特性可识别图案的组合，实现对导航器械的快速空间校准。
81.示例性的，如图2所示，可以使用印刷有二维码的矩形信息板，用于捕获第一物体图像的设备为能够图像采集的装置，采集角度与用户的观察方向保持一致。当用户使用时，其可以将图像采集装置佩戴于身体上，例如头部。可选地，图像采集装置是头戴式光学摄像
头。在用户使用时，无论其采用何种姿势，都可以很好地保持头戴式光学摄像头的采集角度与其观察方向一致。由此，不仅保证了显示的角度是用户所观看的角度，保证了器械显示的精准度，而且避免了使用时对用户的各种操作的干扰。从而显著提高了用户体验。通过图像采集装置获取第一物体图像，识别第一物体标记识别特性，根据第一物体标记识别特性获取第一物体本体形态特性，得到第一物体朝向，对第一物体设置当前第一物体空间坐标，记为x1、y1、z1。
82.s2、当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；
83.在进行具体的手术场景中，需要使用器械进行操作，本发明中所述第二物体为移动的器械，所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
84.所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。
85.二维码是在平面上分布的黑白相间的平面图形，其上面的点非常易于识别，通过识别其中的至少3个点，可以实现该二维码的定位。因为二维码固定于对象或器械，所以，可以实现固定有该二维码的对象或器械的定位。
86.可选地，第二物体标记识别特性还可以是诸如棋盘格的其他平面图形。利用二维码或棋盘格作为标识，使得定位对象或器械更准确且快速。从而，可以对快速移动器械进行更精准地导航。
87.可选地，在器械表面上所固定的标识还可以是立体图形，例如，在器械设计生产过程中，标识的图形可以是该器械的手柄，或者是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。
88.示例性的，如图2所示，本发明中第二物体为手术中的穿刺针，穿刺针的端部设置有标识结构，并且印刷有二维码。
89.当所述第二物体处于特定位置，捕获所述第二物体在空间中的第二物体图像时具体包括：
90.所述第一物体固定设置在空间中，所述第二物体为移动物体，当所述第二物体移动到特定位置，则捕获所述第二物体在空间中的所述第二物体图像。该过程所述特定位置可以设置为第二物体移动到与第一物体的预设重合，或者，根据实际操作的需要，当所述第二物体的某一位置到达固定位置或者完成规定动作，皆可以进行定位。
91.具体包括：所述第一物体固定设置在空间中，所述第二物体为移动物体，当所述第二物体移动到所述特定位置，则根据第二物体标记识别特性识别所述第二物体，根据所述第二物体本体形态特性，得到第二物体朝向，对第二物体设置当前的第二物体空间坐标，记为x2、y2、z2。所述特定位置为所述第二物体与所述第一物体上的预设的相关联的点、线、或面具有特定位置关系时的位置，所述特定位置关系包括点、线或面重合、部分重合。
92.示例性的，将信息板作为第一物体，穿刺针作为第二物体，当用户手持穿刺针使针尖b点与信息板的a点重合时，对两个物体的位置定位，并且相互校准。
93.s3、根据所述第一物体空间位置信息以及特定位置，对所述第二物体空间位置信
息进行校正；和/或根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正。
94.s4、显示与所述第一物体或所述第二物体的位置相关的增强现实信息：
95.该过程可以是两个过程，根据实际的情况，对两个物体进行相对的校正，比如根据第一物体空间位置信息以及特定位置，计算第二物体理论位置信息；
96.根据第二物体理论位置信息，对第二物体的空间位置信息进行校正；和/或根据第二物体空间位置信息以及特定位置，计算第一物体理论位置信息；
97.根据第一物体理论位置信息，对第一物体的空间位置信息进行校正。
98.举例说明，如图2所示，根据拍摄的所述第一物体图像，计算该物体在空间中的位置信息，此时a点的坐标是通过拍摄到的第一物体的特征(主要是面板上的图案特征)计算得到的；
99.当医生手持第二物体(穿刺针)将针尖b点放置在第一物体(识别板)的a点，此时根据识别穿刺针末端设置的易于识别的特征，可以计算穿刺针的针尖b点的坐标；
100.已知此时a、b两点是重合的，但通过步骤1和步骤2分别得到的a、b两点的坐标未必相同。根据两个物体的空间几何特征可知，第一物体上a点的x，y坐标的精确度高但z坐标的精确度相对较低，而第二物体上b点的z坐标精确度相对较高，所以根据第一物体的x1、y1坐标校正第二物体的x2、y2坐标，用第二物体的z2坐标校正第一物体的z1坐标。则两个结构在数据库内的对应位置做如下调整：
101.x2＝x1；y2＝y1；z1＝z2；
102.具体的互校准方法由以下2个部分组成，互校准示意图如图4所示，具体实施中，第一物体为识别板，第二物体为穿刺针：
103.(1)通过人工事先确定出穿刺针的针尖点在针识别物坐标系下的坐标。
104.(2)在识别板上加工一孔洞，使其平行于z轴，垂直于oxy平面，孔洞底部一点为标定点(calibration point)。通过设计识别板模体，要确定出标定点在识别板坐标系下的坐标p
q
。标定时，将穿刺针插入孔洞内，并保证针尖点位于标定点处。根据标定点在摄像机坐标系下的坐标保持不变的特点，通过坐标转换，可知以下关系，此时标定点在针尖坐标系下有以下2个表达式：t
c
←
q
p
q
＝t
c
←
n
p
n
105.此时标定点在针尖坐标系下有以下2个表达式：
106.(a)由针识别物识别出并经人工点标定直接确定的第二物体的坐标系：
[0107][0108]
(b)由识别板识别出并经坐标转换得到的穿刺针的坐标系：
[0109][0110]
上述2个坐标均是标定点在针识别物坐标系下的表示。假设z坐标分量采用表达式(a)更准确，x、y坐标分量采用表达式(b)更准确，那么互校准后的结果为
[0111]
[0112]
其中，c：摄像机坐标系
[0113]
q：识别板坐标系
[0114]
n：穿刺针坐标系
[0115]
t
b
←
a
：表示从坐标系a到坐标系b的坐标转换矩阵
[0116]
p
a
：坐标系a中的点p
[0117]
v
a
：坐标系a中的向量v
[0118]
识别板点标定方法，摄像机识别出定位板和穿刺针，即可得到t
c
←
q
和t
c
←
n
。将穿刺针针尖放置于识别板上一固定点p。从识别板的加工模型可以确定出该固定点在识别板坐标系下的坐标，即p
q
。根据该点在摄像机坐标系下坐标不变的特点，可得下述坐标关系：
[0119]
t
c
←
q
p
q
＝t
c
←
n
p
n
[0120]
因此得到该点在穿刺针坐标系下的坐标，即
[0121][0122]
另外，本发明也可是用过方向标定进行校准，具体包括：
[0123]
(1)通过人工事先确定出穿刺针在针识别物坐标系下的方向向量v
n
。
[0124]
(2)在识别板上加工一孔洞，使其平行于z轴，垂直于oxy平面，孔洞底部一点为标定点(calibration point)，孔洞方向称为标定方向(calibration direction)。通过设计识别板模体，要确定出该孔洞方向在识别板坐标系下的方向向量v
q
。标定时，将识别针插入孔洞内，并保证针尖点位于标定点处。根据标定方向在摄像机坐标系下的方向保持不变的特点，通过坐标转换，可知以下关系：
[0125]
t
c
←
q
v
q
＝t
c
←
n
v
n
[0126]
此时标定方向在针尖坐标系下有2个表达式：
[0127]
(a)由针识别物识别出并经人工方向标定直接确定的穿刺针的方向向量：
[0128][0129]
(b)由识别板识别出并经坐标转换得到的穿刺针的方向向量：
[0130][0131]
上述2个向量均是标定方向在针识别物坐标系下的表示。假设w坐标分量采用表达式(a)更准确，u、v坐标分量采用表达式(b)更准确，那么互校准后的结果为
[0132][0133]
识别板方向标定方法如图4所示。摄像机识别出识别板和穿刺针，即可得到t
c
←
q
和t
c
←
n
。将穿刺针针尖插入识别板上一固定孔洞内。从识别板的加工模型可以确定出该孔洞在识别板坐标系下的方向向量，即v
q
。由该方向向量在摄像机坐标系下方向不变，可得下述转换关系
[0134]
t
c
←
q
v
q
＝t
c
←
n
v
n
[0135]
因此得到该方向向量在穿刺针坐标系下的表示，即
[0136][0137]
经过方向标定后，摄像机实时识别针识别物时，可按下述公式实时计算针尖方向：
[0138]
v
c
＝t
c
←
n
v
n
[0139]
其中，t
c
←
n
由摄像机识别针识别物后给出，v
n
为采用互校准或定位板方向标定计算后的标定结果。
[0140]
当校准完成后，显示校准后的第一物体和/或第二物体空间位置信息，并且显示与位置有关的增强现实信息，可以是信息的内容与物体的位置有关，也可以是信息的显示位置与物体位置有关。
[0141]
对于本领域技术人员而言，显然能了解到上述具体事实例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能作出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。