一种内窥镜合作目标定位方法及系统

1.本发明属于通过计算机对内窥镜测量目标进行定位的技术领域，具体地说，是涉及一种内窥镜合作目标定位方法及系统。


背景技术：

2.内窥镜是一种基于图像传感器（ccd或cmos）的视觉系统，可以从微小的开孔中伸入物体内部，观察内部的细节，既可以用于诊断问题，又可以用于内部操作工具的可视化三维引导。
3.内窥镜在医疗领域有多种不同的应用场景，如关节镜、腹腔镜、胸腔镜、宫腔镜、喉镜、胃镜等。经常需要对一些特征进行定位，以方便手术操作。这些特征包括肿瘤、血管、韧带、神经、器官以及病变部位等。
4.合作目标（cooperative target）是指具有人工干预特点的目标，它有别于自然目标（非合作目标），合作目标可以使图像传感器捕捉到除了纹理之外的额外的信息。产生合作目标的方法有但不限于：使用人工设计的标志物、使用投影器投射人工设计的图案、使用激光器投射随机散斑等等。
5.目标定位通常包括两个步骤，首先是指定目标，可以通过任意方式来指定，比如从图像中手动标记目标的范围和边界，或者从三维模型中标记目标的三维范围和三维边界等。然后是定位目标，即确定前述指定的目标在整个图像视野中的相对位置（目标允许在图像视野内，也允许部分在图像视野内部分在图像视野外，也允许全部在图像视野外）。
6.在内窥镜诊断或者内窥镜手术中，人眼可以准确识别感兴趣的特征点，但是当特征移出了图像的视野范围时，人很难记忆特征的具体位置。


技术实现要素：

7.本发明提供了一种内窥镜合作目标定位方法及系统，解决了现有技术内窥镜诊断或者手术中，通过人眼识别感兴趣的点，但是当特征移出了图像的视野范围时，人很难记忆特征的具体位置的技术问题。
8.为达到上述技术目的，本发明采用以下技术方案实现：一种内窥镜合作目标定位方法，所述方法包括：投影设备对准被观测目标进行已知图案的投影，所述已知图案的特征点集合p_projector={p_projector(i)}；摄像设备对准被观测目标进行拍摄，所述摄像设备拍摄得到的图像的像点坐标集合p_camera={p_camera(i)}；计算得到所述投影设备和所述摄像设备之间的相对关系t_pc；计算得到所述已知图案投影至被观测目标表面对应的三维点集合p_object={p_object(i)}；计算得到所述投影设备和被观测目标之间的相对关系t_po、所述摄像设备和被观测目标之间的相对关系t_co；
保持所述投影设备和被观测目标之间的相对关系t_po不变，移动所述摄像设备，利用图像匹配计算找到所述投影设备和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_po找到p_projector(i)对应的三维点p_object(i)，然后利用p_camera(i)和p_object(i)计算出所述摄像设备和被观测目标之间的新的相对关系t_co；和/或，保持所述投影设备和摄像设备的相对关系t_pc不变，移动所述被观测目标，利用图像匹配计算找到所述投影设备和摄像设备中的同名点p_projector(k)和p_camera(k)，利用不变的t_pc计算出新的三维点集合p_object={p_object(k)}；计算p_object(k)和p_object(i)之间的变换关系，解算出新的t_po和t_co；根据所述t_co得到被观测目标在所述摄像设备中的位置。
9.如上所述的内窥镜合作目标定位方法，保持所述摄像设备和被观测目标的相对关系t_co不变，移动所述投影设备，利用图像匹配计算找到所述投影设备和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_co找到p_camera(i)对应的三维点p_object(i)，然后利用p_projector(i)和p_object(i)计算出所述投影设备和被观测目标之间的新的相对关系t_po。
10.如上所述的内窥镜合作目标定位方法，所述投影设备的移动范围不能使投影范围超出所述摄像设备的视野，解算出t_pc。
11.如上所述的内窥镜合作目标定位方法，所述摄像设备的移动范围不能使所述摄像视野超出所述投影设备的投影范围，解算出t_pc。
12.如上所述的内窥镜合作目标定位方法，所述被观测目标的移动范围不能超出所述摄像设备的视野。
13.一种内窥镜合作目标定位系统，所述系统包括：投影设备，用于对准被观测目标进行已知图案的投影，所述已知图案的特征点集合p_projector={p_projector(i)}；摄像设备用于对准被观测目标进行拍摄，所述摄像设备拍摄得到的图像的像点坐标集合p_camera={p_camera(i)}；控制模块，用于计算得到所述投影设备和所述摄像设备之间的相对关系t_pc；用于计算得到所述已知图案投影至被观测目标表面对应的三维点集合p_object={p_object(i)}；用于计算得到所述投影设备和被观测目标之间的相对关系t_po、所述摄像设备和被观测目标之间的相对关系t_co；所述控制模块用于在保持所述投影设备和被观测目标之间的相对关系t_po不变，移动所述摄像设备后，利用图像匹配计算找到所述投影设备和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_po找到p_projector(i)对应的三维点p_object(i)，然后利用p_camera(i)和p_object(i)计算出所述摄像设备和被观测目标之间的新的相对关系t_co；和/或，所述控制模块用于在保持所述投影设备和摄像设备的相对关系t_pc不变，移动所述被观测目标后，利用图像匹配计算找到所述投影设备和摄像设备中的同名点p_projector(k)和p_camera(k)，利用不变的t_pc计算出新的三维点集合p_object={p_object(k)}；计算p_object(k)和p_object(i)之间的变换关系，解算出新的t_po和t_co；所述控制模块用于根据所述t_co得到被观测目标在所述摄像设备中的位置。
14.如上所述的内窥镜合作目标定位系统，所述控制模块用于保持所述摄像设备和被观测目标的相对关系t_co不变，移动所述投影设备后，利用图像匹配计算找到所述投影设备和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_co找到p_camera(i)对应的三维点p_object(i)，然后利用p_projector(i)和p_object(i)计算出所述投影设备和被观测目标之间的新的相对关系t_po。
15.如上所述的内窥镜合作目标定位系统，所述投影设备的移动范围不能使投影范围超出所述摄像设备的视野，所述控制模块用于解算出t_pc。
16.如上所述的内窥镜合作目标定位系统，所述摄像设备的移动范围不能使所述摄像视野超出所述投影设备的投影范围，所述控制模块用于解算出t_pc。
17.如上所述的内窥镜合作目标定位系统，所述被观测目标的移动范围不能超出所述摄像设备的视野。
18.与现有技术相比，本发明的优点和积极效果是：本发明的内窥镜合作目标定位方法及系统，投影设备对准被观测目标进行已知图案的投影，已知图案的特征点集合p_projector={p_projector(i)}；摄像设备对准被观测目标进行拍摄，摄像设备拍摄得到的图像的像点坐标集合p_camera={p_camera(i)}；计算得到投影设备和摄像设备之间的相对关系t_pc；计算得到已知图案投影至被观测目标表面对应的三维点集合p_object={p_object(i)}；计算得到投影设备和被观测目标之间的相对关系t_po、摄像设备和被观测目标之间的相对关系t_co；保持投影设备和被观测目标之间的相对关系t_po不变，移动摄像设备，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_po找到p_projector(i)对应的三维点p_object(i)，然后利用p_camera(i)和p_object(i)计算出摄像设备和被观测目标之间的新的相对关系t_co；和/或，保持投影设备和摄像设备的相对关系t_pc不变，移动被观测目标，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(k)和p_camera(k)，利用不变的t_pc计算出新的三维点集合p_object={p_object(k)}；计算p_object(k)和p_object(i)之间的变换关系，解算出新的t_po和t_co；根据t_co得到被观测目标在摄像设备中的位置。本发明保持任意两者之间的相对关系不变，移动第三者，通过不变的相对关系计算出新的变换后的相对关系，最终根据t_co得到被观测目标在摄像设备中的位置。本发明利用计算机代替人眼，可以始终对特点目标进行定位，在内窥镜自动手术机器人中，提供了一种新的跟踪定位方法，提高机器人手术的质量（包括效率、准确度、可靠性）。
19.结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明具体实施例的结构示意图。
22.图2是本发明另一具体实施例的结构示意图。
23.图3是本发明投影设备的一种投影示例。
24.图4是本发明投影设备的另一种投影示例。
25.图5是本发明投影设备的再一种投影示例。
26.图6是本发明具体实施例的定位原理示意图。
27.图7为投影设备移动前后，摄像设备拍摄的两帧图像对比图。
28.图8为投影设备不动，摄像设备移动前后拍摄的两帧图像对比图。
29.图9为摄像设备、投影设备同时移动时，摄像设备移动前后拍摄的两帧图像对比图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“竖”、“横”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
32.此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
33.本实施例提出了一种内窥镜合作目标定位方法和系统，解决部分情况下，需要计算机辅助进行目标定位的问题，代替人眼，做出更加准确的定位结果，并可在显示器中以明显的标记进行标注目标。增强计算机对目标判读的能力，提高目标定位的可靠性。应用于自动手术机器人中，提高手术的准确性和可靠性。
34.如图1所示，本实施例包括三个客观主体：摄像设备1、投影设备2、被观测目标3。
35.其中，摄像设备1和投影设备2，可以集成在同一个实体中，也可以分开做成两个不同的实体。
36.如图2所示，本实施例还可以包括一个辅助器械4，辅助器械4是一个用于连接摄像设备1和投影设备2的器械，它的作用是保证两者刚性连接。
37.摄像设备1，自带有用于均匀照明的补光灯，可以关闭和打开补光灯。
38.投影设备2，用于投出已知的图案，可以采用可见光波段或者近红外光波段，波长范围通常在400nm~1100nm之间。该已知的图案，可以是伪随机码、半伪随机码、散斑等，可以通过提前拍照的方式获取其图案的二维图像，作为计算机后续处理的依据。已知的图案如图3-图5所示，但不限于图中所示形式。
39.摄像设备1，用于捕捉被观测目标的像，当投影设备2打开时，捕捉到的是投影设备2的投影图案，当投影设备2关闭时，捕捉到的是均匀照明条件下的自然图像。
40.在内窥镜正常的工作模式下，摄像设备1自带的均匀光源打开，投影设备2光源关闭；在用于定位的工作模式下，摄像设备1自带的均匀光源关闭，投影设备2光源打开。两种不同的工作模式可以快速切换，中间无需间隔太长时间。例如，当摄像设备1的帧率是60帧/秒时，若两种工作模式交替进行，则每秒钟最快可以切换60次工作模型。
41.如图6所示，投影设备的投影图案中的特征点用p_projector(i)表示，组成了特征点集合p_projector={p_projector(i)}，投影图案投射到被观测目标表面对应的三维点用p_object(i)表示，组成了三维点集合p_object={p_object(i)}，摄像设备拍摄被观测目标表面得到对应的图像像点p_camera(i)，组成了像点坐标集合p_camera={p_camera(i)}。
42.其中，p_projector和p_object之间存在相对关系t_po，p_camera和p_object之间存在相对关系t_co，p_projector和p_camera之间存在相对关系t_pc。当相对关系的双方的相对位置不发生改变时，相对关系是稳定不变的。即，若投影设备和被观测目标的相对关系没有变化时，t_po是不变的，若摄像设备和被观测目标的相对关系没有变化时，t_co是不变的，若投影设备和摄像设备的相对关系没有变化时，t_pc是不变的。
43.在内窥镜工作过程中，在图1的示例中，会存在移动投影设备、摄像设备不动的情况（即t_po变化、t_co不变），由于t_co不变，则被观测目标在摄像设备中的位置没有变化，可以直接对被观测目标进行定位，但是，需要计算出变化的t_po，t_po用于以后移动摄像设备的时候计算出变化的t_co，以重新确定被观测目标在摄像设备中的位置；在图1的示例中，还会存在移动摄像设备，投影设备不动的情况（即t_po不变、t_co变化），由于t_co变化，则被观测目标在摄像设备中的位置发生变化，需要重新计算变化后的t_co，以便摄像设备对观测目标进行定位，在图1的示例中，还会存在摄像设备和投影设备不动，被观测目标移动的情况，（即t_pc不变、t_po变化、t_co变化），需要重新计算变化后的t_co，以便摄像设备对观测目标进行定位，同时，计算出变化后的t_po，t_po用于以后移动摄像设备的时候计算出变化的t_co。
44.在图2的示例中，投影设备与摄像设备刚性连接，则二者同步移动，也即相当于在摄像设备和投影设备不动，被观测目标移动的情况，（即t_pc不变、t_po变化、t_co变化），需要重新计算变化后的t_co，以便摄像设备对观测目标进行定位，同时，计算出变化后的t_po，t_po用于以后移动摄像设备的时候计算出变化的t_co。
45.将三维点集合p_object中的一个子集p_aim，标注为本实施例需要定位的目标，它可以是实物中的血管、肿瘤、韧带等任意感兴趣的目标的表面三维点集。
46.本实施例目标定位的目的，是计算出p_aim在摄像设备中的相对位置，由于p_aim是p_object的一个子集，即只要求得p_object在摄像设备中的相对位置，就可以进一步得到p_aim在摄像设备中的相对位置。由于投影设备、摄像设备的视野有限，并不能完全覆盖被观测目标，因此并不能保证p_aim始终在视野范围之内，可能会部分或者全部超出视野。
47.在图1的示例中，目标定位方法为：投影设备对准被观测目标进行已知图案的投影，已知图案的特征点集合p_projector={p_projector(i)}。
48.摄像设备对准被观测目标进行拍摄，摄像设备拍摄得到的图像的像点坐标集合p_
camera={p_camera(i)}。
49.计算得到投影设备和摄像设备之间的相对关系t_pc。
50.计算得到已知图案投影至被观测目标表面对应的三维点集合p_object={p_object(i)}；计算得到投影设备和被观测目标之间的相对关系t_po、摄像设备和被观测目标之间的相对关系t_co；保持投影设备和被观测目标之间的相对关系t_po不变，移动摄像设备，摄像设备的移动范围不能使摄像视野超出投影设备的投影范围，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_po找到p_projector(i)对应的三维点p_object(i)，然后利用p_camera(i)和p_object(i)计算出摄像设备和被观测目标之间的新的相对关系t_co；进一步解算出t_pc；保持投影设备和摄像设备的相对关系t_pc不变，移动被观测目标，被观测目标的移动范围不能超出摄像设备的视野，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(k)和p_camera(k)，利用不变的t_pc计算出新的三维点集合p_object={p_object(k)}；计算p_object(k)和p_object(i)之间的变换关系，解算出新的t_po和t_co。
51.在一些实施例中，还可以移动投影设备，保持摄像设备和被观测目标的相对关系t_co不变，移动投影设备，投影设备的移动范围不能使投影范围超出摄像设备的视野，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_co找到p_camera(i)对应的三维点p_object(i)，然后利用p_projector(i)和p_object(i)计算出投影设备和被观测目标之间的新的相对关系t_po，进一步解算出t_pc。
52.根据t_co得到被观测目标在摄像设备中的位置。
53.因而，本实施例始终能够根据上述方案得到t_co，也即得到被观测目标在摄像设备中的位置，实现目标定位。
54.在图2的示例中，目标定位方法为：投影设备对准被观测目标进行已知图案的投影，已知图案的特征点集合p_projector={p_projector(i)}。
55.摄像设备对准被观测目标进行拍摄，摄像设备拍摄得到的图像的像点坐标集合p_camera={p_camera(i)}。
56.计算得到投影设备和摄像设备之间的相对关系t_pc。
57.计算得到已知图案投影至被观测目标表面对应的三维点集合p_object={p_object(i)}；计算得到投影设备和被观测目标之间的相对关系t_po、摄像设备和被观测目标之间的相对关系t_co。
58.保持投影设备和摄像设备的相对关系t_pc不变，移动被观测目标，被观测目标的移动范围不能超出摄像设备的视野，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(k)和p_camera(k)，利用不变的t_pc计算出新的三维点集合p_object={p_object(k)}；计算p_object(k)和p_object(i)之间的变换关系，解算出新的t_po和t_co。
59.根据t_co得到被观测目标在摄像设备中的位置。
60.因而，本实施例始终能够根据上述方案得到t_co，也即得到被观测目标在摄像设备中的位置，实现目标定位。
61.下面，对定位方法进行具体说明：
（1）在初始位置时，对准目标p_aim进行投影和拍摄，得到在初始位置的p_object、t_po、t_co、t_pc。计算方法是利用图像匹配计算找到投影和摄像设备中的同名点p_projector(i)和p_camera(i)，利用双目视觉方法计算得到t_pc，再利用三角测量法得到p_object，最后再利用单目视觉方法得到t_po和t_co。
62.（2）保持摄像设备和被观测目标的相对关系不变，即t_co不变，移动投影设备到一个新的位置，移动范围不能使投影范围超出摄像设备的视野。利用图像匹配计算找到投影和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_co找到p_camera(i)对应的三维点p_object(i)，然后利用p_projector(i)和p_object(i)计算出投影设备的新的相对关系t_po，进一步解算出t_pc。
63.如图7所示，为投影设备移动前后，摄像设备拍摄的两帧图像对比图。三个物体在图像中是固定不变的位置，也就是说，观察视角没有变（摄像设备不同），但是投影图案（图中接近长方形的高亮位置）的位置发生了变化（向左移动一点）。
64.只移动投影设备，那么被观测目标的表面上的投影图案也随着投影设备的运动而发生变化，但是被观测目标在摄像设备图像中的成像位置是保持不变的。p_camera(i)和p_object(i)在两帧数据之间是维持不变的关系，即t_co不变，可以实现被观测目标在摄像设备中的定位。
65.为了后续工作，还需要解算出变化的t_po和t_pc。
66.（3）保持投影设备和被观测目标的相对关系不变，即t_po不变，移动摄像设备到一个新的位置，移动范围不能使摄像视野超出投影范围。利用图像匹配计算找到投影和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_po找到p_projector(i)对应的三维点p_object(i)，然后利用p_camera(i)和p_object(i)计算出摄像设备的新的相对关系t_co，进一步解算出t_pc。
67.如图8所示，为投影设备不动，摄像设备移动前后拍摄的两帧图像对比图。投影图案（图中接近长方形的高亮位置）在三个物体上的位置是不变的（投影设备不动），三个物体在图像中的位置发生了变化，也就是说，观察视角发生了变化（摄像设备移动）。
68.只移动摄像设备，那么被观测目标的表面上的投影图案保持不变，但是被观测目标在摄像设备图像中的成像位置是随摄像设备的运动而发生变化的。p_projector(i)和对应的三维点p_object(i) 在两帧数据之间是维持不变的关系。利用图像匹配计算找到投影和摄像设备中的同名点p_projector(i)和p_camera(i)，也就进一步找到了具有对应关系的p_camera(i)和p_object(i)。
69.（4）保持投影设备和摄像设备的相对关系不变，即t_pc不变，移动被观测目标，移动距离不能大于摄像设备的视野。利用图像匹配计算找到投影和摄像设备中的同名点p_projector(k)和p_camera(k)，利用不变的t_pc计算出新的三维点集合p_object(k)。由于t_pc是不变的，则p_object(k)和p_object(i)是相同的尺度，即比例尺一致。可以直接利用三维点云拼接算法，得到p_object(k)和p_object(i)之间的变换关系，进一步解算出新的t_po和t_co。
70.如图9所示，为摄像设备、投影设备同时移动时，摄像设备移动前后拍摄的两帧图像对比图。也相当于持投影设备和摄像设备的相对关系不变，移动被观测目标。
71.同时移动投影设备和摄像设备，那么被观测目标的表面上的投影图案也随着投影
设备的运动而发生变化，并且被观测目标在摄像设备图像中的成像位置是随摄像设备的运动而发生变化的。但是，此时两帧数据得到的三维点集合，都是被观测目标表面的一部分，两者之间可以通过三维点云拼接算法进行对齐。
72.（5）上述（2）、（3）、（4）步骤可以任意的排列组合方式进行（也即，根据操作人员需求，有时需移动投影设备，有时需移动摄像设备，有时需移动被观测目标，在每次移动时，均计算出新的相对关系t_co、t_pc和t_po，因而，能够始终得到t_co，也即得到被观测目标在摄像设备中的位置，实现目标定位）。只要遵循上述步骤，就可以始终得到摄像设备和被观测目标的相对关系t_co，也就可以始终得到p_aim在摄像设备中的相对位置，即使其超出了摄像设备的视野范围也可以定位。
73.下面进一步说明：在三维直角坐标系中，任意一个物体的位置和姿态可以用3个位置参数和3个角度参数来表示，不妨记作，而3个角度又可以用一个3*3阶的旋转矩阵来表示，不妨记作，其中旋转矩阵和3个角度参数之间，满足以下公式（1）：以上6个独立参数，通常被称为外参数。而摄像设备、投影设备作为一个透视投影的设备，还具有内参数，主要包括像主点、焦距、畸变参数，其中前两项称为径向畸变，后两项称为切向畸变。对于满足透视投影的设备，不论是摄像设备还是投影设备，其上的任意一个二维点和其对应的物方世界中的三维点之间，存在一种称为“共线方程”的函数关系，如下公式（2）：其中代表畸变量，用以下公式（3）计算，相机的内参数记为，相机的外参数记为。
74.投影仪的内参数记为，相机的外参数记为。
75.摄像设备中的任意一个二维像点，投影设备中的任意一个二维像点，对应的物体上的任意一个三维点可以记为。
76.通常情况下，和是事先获得的，获取方法可以是摄像设备标定、投影设备标定等。
77.通常情况下，假设物体在世界坐标系中的位置和姿态是一个固定值，其含义是以该物体作为三维坐标系的基准。
78.本例中，t_po指的是投影设备和物体之间的相对关系，由和共同决定，在本例中后者是零，则由单独决定。
79.本例中，t_co指的是相机和物体之间的相对关系，由和共同决定，在本例中后者是零，则由单独决定。
80.本例中，t_pc指的是投影设备和摄像设备的相对关系，由和共同决定，是两者的“相减”，即以为基准的，不妨记作。
81.（1）在初始位置时，对准目标p_aim进行投影和拍摄，得到在初始位置的、、。计算方法是利用图像匹配计算找到投影和摄像设备中的同名点和，通过相对定向方法，利用公式（2）计算得到，此时可以假定，得到，通过三角测量方法，利用公式（2）得到。
82.（2）保持摄像设备和被观测目标的相对关系不变，即不变，移动投影设备到一个新的位置，移动范围不能使投影范围超出摄像设备的视野。利用图像匹配计算找到投影和摄像设备中的同名点和，利用不变的和公式（2），找到对应的三维点，然后利用和计算出投影设备的新的相对关系，进一步解算出。
83.（3）保持投影设备和被观测目标的相对关系不变，即不变，移动摄像设备到一个新的位置，移动范围不能使摄像视野超出投影范围。利用图像匹配计算找到投影和摄像设备中的同名点和，利用不变的和公式（2），找到对应的三维点，然后利用和计算出摄像设备的新的相对关系，进一步解算出。
84.（4）保持投影设备和摄像设备的相对关系不变，即不变，移动被观测目标，移动距离不能大于摄像设备的视野。利用图像匹配计算找到投影和摄像设备中的同名点和，利用不变的计算出新的三维点集合。由于是不变的，则和是相同的尺度，即比例尺一致。可以直接利用
三维点云拼接算法，得到和之间的变换关系，进一步解算出新的和。
85.（5）上述2、3、4步骤可以任意的排列组合方式进行。只要遵循上述步骤，就可以始终得到摄像设备和被观测目标的相对关系，也就可以始终得到p_aim在摄像设备中的相对位置，即使其超出了摄像设备的视野范围也可以定位。
86.在图1的示例中，本实施例还提出了一种内窥镜合作目标定位系统，包括：投影设备，用于对准被观测目标进行已知图案的投影，已知图案的特征点集合p_projector={p_projector(i)}。
87.摄像设备用于对准被观测目标进行拍摄，摄像设备拍摄得到的图像的像点坐标集合p_camera={p_camera(i)}。
88.控制模块，用于计算得到投影设备和摄像设备之间的相对关系t_pc；用于计算得到已知图案投影至被观测目标表面对应的三维点集合p_object={p_object(i)}；用于计算得到投影设备和被观测目标之间的相对关系t_po、摄像设备和被观测目标之间的相对关系t_co。
89.控制模块用于在保持投影设备和被观测目标之间的相对关系t_po不变，移动摄像设备后，摄像设备的移动范围不能使摄像视野超出投影设备的投影范围，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_po找到p_projector(i)对应的三维点p_object(i)，然后利用p_camera(i)和p_object(i)计算出摄像设备和被观测目标之间的新的相对关系t_co；进一步解算出t_pc。
90.控制模块用于在保持投影设备和摄像设备的相对关系t_pc不变，移动被观测目标后，被观测目标的移动范围不能超出摄像设备的视野，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(k)和p_camera(k)，利用不变的t_pc计算出新的三维点集合p_object={p_object(k)}；计算p_object(k)和p_object(i)之间的变换关系，解算出新的t_po和t_co。
91.控制模块还用于保持摄像设备和被观测目标的相对关系t_co不变，移动投影设备后，投影设备的移动范围不能使投影范围超出摄像设备的视野，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(i)和p_camera(i)，利用不变的t_co找到p_camera(i)对应的三维点p_object(i)，然后利用p_projector(i)和p_object(i)计算出投影设备和被观测目标之间的新的相对关系t_po，进一步解算出t_pc。
92.控制模块用于根据t_co得到被观测目标在摄像设备中的位置。
93.在图2的示例中，本实施例还提出了一种内窥镜合作目标定位系统，包括：投影设备，用于对准被观测目标进行已知图案的投影，已知图案的特征点集合p_projector={p_projector(i)}。
94.摄像设备用于对准被观测目标进行拍摄，摄像设备拍摄得到的图像的像点坐标集合p_camera={p_camera(i)}。
95.控制模块，用于计算得到投影设备和摄像设备之间的相对关系t_pc；用于计算得到已知图案投影至被观测目标表面对应的三维点集合p_object={p_object(i)}；用于计算得到投影设备和被观测目标之间的相对关系t_po、摄像设备和被观测目标之间的相对关系t_co。
96.控制模块用于在保持投影设备和摄像设备的相对关系t_pc不变，移动被观测目标后，被观测目标的移动范围不能超出摄像设备的视野，利用图像匹配计算找到投影设备和摄像设备中的同名点p_projector(k)和p_camera(k)，利用不变的t_pc计算出新的三维点集合p_object={p_object(k)}；计算p_object(k)和p_object(i)之间的变换关系，解算出新的t_po和t_co。
97.控制模块用于根据t_co得到被观测目标在摄像设备中的位置。
98.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明个实施例技术方案的精神和范围。