用于医疗成像的系统和方法与流程

用于医疗成像的系统和方法
交叉引用
1.本技术要求2019年8月21日提交的美国临时专利申请第62/889,863号、2019年12月26日提交的美国临时专利申请第62/953,724号和2020年1月14日提交的美国临时专利申请第62/960,897号的权益，出于所有目的，这些专利申请中的每一个都通过引用完全并入本文。


背景技术：

2.医疗成像技术(例如，一种诸如内窥镜的观测镜组件)可用于在医疗或外科手术过程中捕获对象或患者的内部解剖特征或特征的图像或视频数据。所捕获的图像或视频数据可被处理和操控以向医疗从业者(例如，外科医生、医疗操作员、技术员等)提供对患者或对象的内部结构或内部处理的可视化。
3.由内窥镜所捕获的内部解剖特征或特征的图像或视频数据可能受到限制，从而经常无法提供组织表面下复杂的解剖结构或关键结构。图像数据或视频数据可以限于组织表面的二维(2d)表示。因此，可能会对目标部位做出不完整或不正确的分析，这样是危险的，可能会在手术过程中导致意外的组织损伤。在一些情况下，至少2％的子宫切除术可能会导致手术并发症和意外伤害，这可能导致美国每年至少10亿美元的医疗保健费用。


技术实现要素：

4.本技术总体上涉及内窥镜装置，并且更具体地，涉及一种具有包括多个传感器的铰接式传感器头的内窥镜装置。该铰接式传感器头可以为医疗操作员提供使用多个传感器或相机对目标区域进行成像的能力，同时最小化将铰接式传感器头插入手术对象身体种所需的开口大小。多个传感器可以被配置为在单个平面上或在多个不同平面上一起操作，以改善目标面积的可视化。多个传感器可以包括相机、成像传感器、深度传感器、飞行时间(tof)传感器或本文所描述的任何其他传感器。多个传感器可以通过为医疗操作员提供目标面积的更宽视野来增强内窥镜可视化能力。多个传感器也可以用于捕获目标面积的一个或多个高分辨率图像。可以基于使用多个传感器获得的测量或成像数据来生成一个或多个高分辨率图像。与使用商业可获得的内窥镜成像系统获得的其他医疗图像相比，此类高分辨率图像可以提供更高水平的细节，并且可以允许医疗操作员可视化和准确量化目标面积内的生物特征或生理现象。
5.本文公开了一种用于医疗成像的内窥镜装置。本公开的内窥镜装置可以包括细长观测镜，该细长观测镜具有可插入患者身体中的远侧端部和可定位在患者身体外部的相对近侧端部。铰接式传感器头可以连接到细长观测镜的远侧端部或可以从细长观测镜的远侧端部延伸。传感器头可以包括设置在传感器头的横向侧面上的多个传感器(例如，相机、成像传感器、tof传感器、深度传感器等)。传感器头可以相对于细长观测镜的远侧端部可在(i)第一位置和(ii)一个或多个另外的位置之间移动，在该第一位置处传感器头与远侧端部对准，即成直线，使得装置可以更容易地插入患者身体或从患者身体取出，在该一个或多
个另外的位置处传感器头相对于远侧端部成角度，使得一个或多个传感器取向成面向并且可视化目标区域。在一些实施方式中，一个或多个另外的位置是传感器头的一组离散空间配置的一部分。在一些替代实施方式中，传感器头可以连续地(即，不是以离散的步骤)移动或枢转到一个或多个期望的另外的位置。
6.本文还公开了一种使用内窥镜装置的方法。该内窥镜装置可以包括：(i)细长观测镜，其具有可插入患者身体中的远侧端部和适于保持在患者身体外部的相对近侧端部；以及(ii)铰接式传感器头，其连接到细长观测镜的远侧端部或从该细长观测镜的远侧端部延伸。传感器头可以包括在传感器头的横向侧面上间隔开的多个相机(或其他传感器)。传感器头可以相对于细长观测镜的远侧端部在(i)第一位置和(ii)一个或多个另外的位置之间枢转，在该第一位置中传感器头与远侧端部对准，在该一个或多个另外的位置中传感器头相对于远侧端部成角度。该方法可以包括以下步骤：(a)当传感器头取向在第一位置时，将细长观测镜的远侧端部和传感器头插入患者身体中；(b)将该传感器头铰接到第二位置，使得该传感器头相对于该远侧端部成角度，使得该传感器被取向成面向患者身体中的目标；(c)当传感器头取向在第二位置时，使用传感器头上的传感器可视化患者身体中的目标区域；(d)将传感器头铰接回到第一位置；以及(e)当传感器头取向在第一位置时，从患者身体缩回细长观测镜的远侧端部和传感器头。在一个或多个另外的实施方式中，可以同时调制插入角度、插入深度和传感器头的角度(例如，当传感器头在患者身体中时)，以便于目标解剖结构的另外的视图。
7.本公开至少解决了传统医疗成像系统的上述缺点。在一个方面，本公开提供一种观测镜组件，该观测镜组件被配置为提供目标组织的深度感知。在一些情况下，观测镜组件可以允许一个或多个目标组织的三维(3d)重建成像。在一些情况下，观测镜组件可以与一种或多种医疗成像技术(例如，观测镜组件，诸如腹腔镜)兼容。
8.在一方面，本公开提供一种观测镜组件，其包括：壳体单元，其被配置为封闭细长观测镜的至少一部分，其中该壳体单元可释放地耦合到细长观测镜的至少一部分；以及成像单元，其可操作地耦合到壳体单元的远侧端部，其中该成像单元包括光学组件，该光学组件被配置为将传输通过细长观测镜的一个或多个光束引导到对象身体内的目标部位上，其中成像单元可经由相对于壳体单元的旋转运动或平移运动来移动以改变视野。
9.在一些实施方式中，光学组件被配置为经由相对于一个或多个光束的光学路径的旋转运动或平移运动来移动。
10.在一些实施方式中，光学组件还被配置为当一个或多个光束传输通过细长观测镜时，相对于一个或多个光束的光学路径移动。在一些实施方式中，光学组件是可移动的，以将一个或多个光束引导到对象身体内的不同目标部位。在一些实施方式中，光学组件被配置为当成像单元基本上平行于细长观测镜的长度取向时移出光学路径，从而允许一个或多个光束在不被光学组件中断的情况下行进通过成像单元并且朝向对象身体。
11.在一些实施方式中，光学组件被配置为相对于成像单元的位置、取向或移动来移动。在一些实施方式中，光学组件被配置为独立于成像单元的位置、取向或移动来移动。
12.在一些实施方式中，光学组件包括一个或多个反射镜。
13.在本文提供的任何观测镜组件的一些实施方式中，观测镜组件还包括处理器，该处理器可操作地耦合到光学组件，其中处理器被配置为引导光学组件的移动。
14.在本文提供的任何观测镜组件的一些实施方式中，成像单元包括相机或深度传感器。
15.在另一方面，本公开提供一种观测镜组件，其包括：壳体单元，其被配置为封闭细长观测镜的至少一部分，其中壳体单元可释放地耦合到细长观测镜的至少一部分；以及成像单元，其可操作地耦合到壳体单元的远侧端部，其中成像单元包括在成像单元的不同侧面上的相机和深度传感器，使得相机和深度传感器具有不同的光学轴线，其中成像单元被配置为相对于壳体单元移动以改变相机或深度传感器的视野。
16.在一些实施方式中，当成像单元相对于壳体单元处于第一配置时，相机的光学轴线基本上平行于细长观测镜的长度取向。在一些实施方式中，当成像单元相对于壳体单元处于第二配置时，深度传感器的光学轴线基本上平行于细长观测镜的长度取向。在一些实施方式中，当成像单元处于第二配置时，细长观测镜的远侧端部通过成像单元的至少一部分光学暴露，使得细长观测镜的远侧端部与对象身体内的目标部位光学通信。在一些实施方式中，成像单元的至少一部分包括(i)开口或(ii)光学透明或半透明窗口。在一些实施方式中，成像单元被配置为在被细长观测镜的远侧端部接触时以第二配置展开。在一些实施方式中，成像单元还包括弹簧机构，该弹簧机构被配置为以第二配置展开成像单元。
17.在本文提供的任何观测镜组件的一些实施方式中，第一配置是成像单元的非铰接配置，并且第二配置是成像单元的多个铰接配置中的一个。
18.在本文提供的任何观测镜组件的一些实施方式中，深度传感器的光学轴线和相机的光学轴线彼此不平行。在一些实施方式中，深度传感器的光学轴线基本上正交于相机的光学轴线。
19.在另一方面，本公开提供一种观测镜组件，其包括：细长观测镜；以及成像单元，其附接到细长观测镜的远侧端部，其中成像单元包括相机和独立的深度传感器，其中成像单元可以经由相对于细长观测镜的旋转运动或平移运动来移动以改变相机或深度传感器的视野。
20.在一些实施方式中，相机包括第一透镜，并且深度传感器包括不同于第一透镜的两个或更多个透镜。
21.在一些实施方式中，相机和深度传感器位于成像单元的不同侧面上，使得相机和深度传感器具有正交的光学轴线。在一些实施方式中，当成像单元相对于细长观测镜处于第一配置时，相机的光学轴线基本上平行于细长观测镜的长度取向。在一些实施方式中，当成像单元相对于细长观测镜处于第二配置时，深度传感器的光学轴线基本上平行于细长观测镜的长度取向。在一些实施方式中，当成像单元处于第二配置时，细长观测镜的远侧端部通过成像单元的至少一部分光学暴露，使得细长观测镜的远侧端部与对象身体内的目标部位光学通信。
22.在本文提供的任何观测镜组件的一些实施方式中，第一配置是成像单元的非铰接配置，并且第二配置是成像单元的多个铰接配置中的一个。
23.在另一方面，本公开提供一种观测镜组件，其包括：细长观测镜；成像单元，其可操作地耦合到细长观测镜的远侧端部，其中成像单元被配置为(1)相对于细长观测镜移动，以及(2)从多个视角获得目标部位的多个成像数据；一个或多个运动传感器，其可操作地耦合到成像单元，其中该一个或多个运动传感器被配置为当成像单元相对于细长观测镜移动时
提供成像单元的空间信息；以及处理器，其可操作地耦合到成像单元和一个或多个传感器，其中处理器被配置为基于多个成像数据和空间信息生成目标部位的三维(3d)重建。
24.在一些实施方式中，一个或多个运动传感器包括惯性测量单元(imu)。
25.在一些实施方式中，一个或多个运动传感器还被配置为提供成像单元的时空信息。
26.在一些实施方式中，成像单元被配置为经由一个或多个接合机构相对于细长观测镜移动，并且一个或多个运动传感器可操作地耦合到一个或多个接合机构。在一些实施方式中，成像单元包括多个接合机构，并且其中该多个接合机构中的单个接合机构包括至少一个运动传感器。
27.在另一方面，本公开提供一种观测镜组件，其包括：光学适配器，其包括：(i)壳体，其包括：第一端，其被配置为可释放地耦合到细长观测镜，以及第二端，其被配置为可释放地耦合到相机；(ii)深度传感器，其耦合到壳体；以及(iii)光学单元，其设置在壳体中，其中该光学单元被配置为(1)接收从对象身体内的目标部位反射并且传输通过细长观测镜的光信号，以及(2)将光信号的第一部分反射到深度传感器或相机中的一者上，同时准许光信号的第二部分穿过到深度传感器或相机中的另一者。
28.在一些实施方式中，图像传感器永久地耦合到壳体或可释放地耦合到壳体。
29.在一些实施方式中，光学单元被配置为将光信号的第一部分反射到深度传感器上，同时准许光信号的第二部分穿过到相机。在一些实施方式中，光学单元包括短通分色镜。
30.在一些实施方式中，光学单元被配置为将光信号的第一部分反射到相机上，同时准许光信号的第二部分穿过到深度传感器。在一些实施方式中，光学单元包括长通分色镜。
31.在一些实施方式中，由光学单元引导到深度传感器的光信号的第一部分或第二部分中的一者包括反射光，该反射光是在用包括相干激光的一个或多个光束照射目标部位时生成的。在一些实施方式中，由光学单元引导到深度传感器的光信号的第一部分或第二部分中的另一者包括反射光，该反射光是在用包括白光的一个或多个光束照射目标部位时生成的。
32.在本文提供的任何观测镜组件的一些实施方式中，成像单元被配置为可释放地耦合到壳体单元。
33.在本文提供的任何观测镜组件的一些实施方式中，壳体单元或成像单元是一次性的，并且被配置为在医疗成像程序中一次性使用。在本文提供的任何观测镜组件的一些实施方式中，壳体单元或成像单元被配置为可重复用于多个医疗成像程序。在本文提供的任何观测镜组件的一些实施方式中，观测镜组件是被消毒的。
34.在本文提供的任何观测镜组件的一些实施方式中，成像单元的至少一部分包括(i)开口或(ii)光学透明或半透明窗口，从而允许该一个或多个光束的至少一部分被引导通过该成像单元的至少一部分。
35.在本文提供的任何观测镜组件的一些实施方式中，成像单元包括端部部分和侧面部分。在一些实施方式中，(i)相机安装在成像单元的端部部分上，并且(ii)深度传感器安装在成像单元的侧面部分上。在一些实施方式中，(i)相机安装在成像单元的侧面部分上，并且(ii)深度传感器安装在该成像单元的端部部分上。在一些实施方式中，成像单元的侧
面部分和端部部分不位于同一平面上。在一些实施方式中，成像单元的侧面部分和端部部分彼此不平行。在一些实施方式中，成像单元的侧面部分和端部部分基本上彼此正交。在一些实施方式中，成像单元的端部部分与细长观测镜的纵向轴线对准。
36.在本文提供的任何观测镜组件的一些实施方式中，深度传感器被配置为接收第一光信号，该第一光信号在暴露于传输通过细长观测镜的一个或多个光束的至少一部分时从目标部位反射。在本文提供的任何观测镜组件的一些实施方式中，深度传感器是立体相机。在一些实施方式中，立体相机包括邻近第二透镜的第一透镜，其中第一透镜和第二透镜分离一段距离，并且其中该距离指示立体相机的可测量深度。在一些实施方式中，该距离最多为10毫米。
37.在本文提供的任何观测镜组件的一些实施方式中，深度传感器是飞行时间(tof)传感器。在一些实施方式中，tof传感器使用外差干涉测量法。
38.在本文提供的任何观测镜组件的一些实施方式中，相机被配置为接收第二光信号，该第二光信号在暴露于传输通过细长观测镜的一个或多个光束的至少一部分时从目标部位反射。在本文提供的任何观测镜组件的一些实施方式中，相机是rgb相机。
39.在本文提供的任何观测镜组件的一些实施方式中，深度传感器被配置为生成第一组成像数据，该第一组成像数据包括包含深度信息的照片或视频图像。在一些实施方式中，第一组成像数据包括目标部位的深度图。
40.在本文提供的任何观测镜组件的一些实施方式中，相机被配置为生成包括二维(2d)照片或视频图像的第二组成像数据。
41.在本文提供的任何观测镜组件的一些实施方式中，成像单元被配置为相对于壳体或细长观测镜以约0度至约360度范围内的角度移动。
42.在本文提供的任何观测镜组件的一些实施方式中，成像单元经由一个或多个接合机构可操作地耦合到壳体单元或细长观测镜，该一个或多个接合机构被配置为准许成像单元在一个或多个自由度上移动。在本文提供的任何观测镜组件的一些实施方式中，一个或多个接合机构被配置为准许成像单元在三个或更多个自由度上移动。在本文提供的任何观测镜组件的一些实施方式中，一个或多个接合机构被配置为准许成像单元在六个自由度上移动。在本文提供的任何观测镜组件的一些实施方式中，一个或多个接合机构包括选自由以下组成的组中的枢轴接合机构：枢轴接合部、铰链接合部、鞍形接合部、髁状接合部和球窝接合部。在本文提供的任何观测镜组件的一些实施方式中，一个或多个接合机构可操作地耦合到一个或多个致动器，该一个或多个致动器被配置为引导成像单元的移动。
43.在本文提供的任何观测镜组件的一些实施方式中，成像单元经由t型接合部耦合到壳体单元或细长观测镜。在本文提供的任何观测镜组件的一些实施方式中，成像单元经由l型接合部耦合到壳体单元或细长观测镜。
44.在本文提供的任何观测镜组件的一些实施方式中，观测镜组件还包括处理器，该处理器可操作地耦合到成像单元，其中处理器被配置为引导成像单元相对于壳体单元或细长观测镜的移动。
45.在本文提供的任何观测镜组件的一些实施方式中，一个或多个光束包括白光或相干激光。在本文提供的任何观测镜组件的一些实施方式中，白光在可见电磁光谱中。在本文提供的任何观测镜组件的一些实施方式中，相干激光在不可见电磁光谱中。在本文提供的
任何观测镜组件的一些实施方式中，相干激光由具有基本上单一波长的单一激光源提供。在本文提供的任何观测镜组件的一些实施方式中，相干激光由具有多个不同波长的多个激光源提供。在本文提供的任何观测镜组件的一些实施方式中，相干激光用于飞行时间(tof)测量。
46.在本文提供的任何观测镜组件的一些实施方式中，观测镜组件还包括处理器，该处理器可操作地耦合到成像单元，其中处理器被配置为引导成像单元相对于壳体或细长观测镜的移动。
47.在本文提供的任何观测镜组件的一些实施方式中，观测镜组件还包括处理器，该处理器可操作地耦合到深度传感器，其中处理器被配置为基于来自深度传感器的成像数据量化对象身体内的一个或多个目标部位的深度信息。
48.在本文提供的任何观测镜组件的一些实施方式中，处理器可由观测镜组件的用户控制。
49.在另一方面，本公开提供一种成像套件，其包括：本文提供的任何观测镜组件；以及照明源，其被配置为将该一个或多个光束传输到细长观测镜并且通过细长观测镜。
50.在另一个方面，本公开提供一种方法，该方法包括：(a)提供观测镜组件，该观测镜组件包括：(i)壳体单元，其被配置为封闭细长观测镜的至少一部分，其中该壳体单元可释放地耦合到细长观测镜的至少一部分；以及(ii)成像单元，其可操作地耦合到壳体单元的远侧端部，其中该成像单元包括光学组件，该光学组件被配置为将传输通过细长观测镜的一个或多个光束引导到对象身体内的目标部位上；(b)由光学组件接收来自细长观测镜的一个或多个光束；以及(c)由光学组件将一个或多个光束引导到对象身体内的目标部位上。
51.在一些实施方式中，该方法还包括经由相对于壳体单元的旋转运动或平移运动来移动成像单元，以将一个或多个光束引导到对象身体内的目标部位上。
52.在一些实施方式中，该方法还包括经由相对于一个或多个光束的光学路径的旋转运动或平移运动来移动光学组件。
53.在一些实施方式中，该方法还包括当一个或多个光束传输通过细长观测镜时，相对于一个或多个光束的光学路径移动光学组件。
54.在一些实施方式中，该方法还包括移动光学组件以将一个或多个光束引导到对象身体内的不同目标部位。
55.在一些实施方式中，该方法还包括相对于成像单元的位置、取向或移动来移动光学组件。
56.在一些实施方式中，该方法还包括独立于成像单元的位置、取向或移动来移动光学组件。
57.在另一方面，本公开提供一种方法，该方法包括：(a)提供观测镜组件，该观测镜组件包括：(i)壳体单元，其被配置为封闭细长观测镜的至少一部分，其中该壳体单元可释放地耦合到细长观测镜的至少一部分；以及(ii)成像单元，其可操作地耦合到壳体单元的远侧端部，其中该成像单元包括在成像单元的不同侧面上的相机和深度传感器；(b)借助于相机，接收来自第一光学轴线的第一光信号；以及(c)借助于深度传感器，接收来自不同于第一光学轴线的第二光学轴线的第二光信号。
58.在一些实施方式中，该方法还包括经由相对于壳体单元的旋转运动或平移运动来
移动成像单元，以改变相机或深度传感器的视野。
59.在一些实施方式中，该方法还包括使成像单元相对于壳体单元处于第一配置中，使得相机的第一光学轴线基本上平行于细长观测镜的长度取向。在一些实施方式中，该方法还包括使成像单元相对于壳体单元处于第二配置中，使得深度传感器的第二光学轴线基本上平行于细长观测镜的长度取向。在一些实施方式中，该方法还包括，当成像单元处于第二配置时，将一个或多个光束从细长观测镜的远侧端部引导通过成像单元的至少一部分的(i)开口或(ii)光学透明或半透明窗口，并且朝向对象身体内的目标部位。在一些实施方式中，该方法还包括在细长观测镜的远侧端部接触成像单元时，以第二配置展开成像单元。
60.在一些实施方式中，深度传感器的第二光学轴线基本上正交于相机的第一光学轴线。
61.在另一方面，本公开提供一种方法，其包括：(a)提供观测镜组件，该观测镜组件包括：(i)细长观测镜；以及(ii)成像单元，其附接到细长观测镜的远侧端部，其中成像单元包括相机和单独的深度传感器；(b)借助于相机，生成包括二维(2d)照片或视频图像的第一组成像数据；以及(c)借助于深度传感器，生成包括深度图的第二组成像数据。
62.在一些实施方式中，该方法还包括经由相对于细长观测镜的旋转运动或平移运动来移动成像单元，以改变相机或深度传感器的视野。
63.在一些实施方式中，相机包括第一透镜，并且深度传感器包括不同于第一透镜的两个或更多个透镜。
64.在一些实施方式中，相机和深度传感器位于成像单元的不同侧面上，使得相机和深度传感器具有正交的光学轴线。在一些实施方式中，该方法还包括使成像单元处于第一配置中，使得相机的光学轴线基本上平行于细长观测镜的长度取向。在一些实施方式中，该方法还包括使成像单元处于第二配置中，使得深度传感器的光学轴线基本上平行于细长观测镜的长度取向。在一些实施方式中，该方法还包括，当成像单元处于第二配置时，将一个或多个光束从细长观测镜的远侧端部引导通过成像单元的至少一部分的(i)开口或(ii)光学透明或半透明窗口，并且朝向对象身体内的目标部位。
65.在另一方面，本公开提供一种方法，其包括：(a)提供观测镜组件，该观测镜组件包括：(i)细长观测镜；(ii)成像单元，其可操作地耦合到细长观测镜的远侧端部；以及(iii)一个或多个运动传感器，其可操作地耦合到成像单元；(b)相对于细长观测镜移动成像单元，以从多个视角获得目标部位的多个成像数据；(c)借助于一个或多个运动传感器，当成像单元相对于细长观测镜移动时，提供成像单元的空间信息；以及(d)借助于处理器，基于多个成像数据和空间信息生成目标部位的三维(3d)重建。
66.在一些实施方式中，一个或多个运动传感器包括惯性测量单元(imu)。
67.在一些实施方式中，该方法还包括，在(c)中，提供成像单元的时空信息。
68.在一些实施方式中，该方法还包括，在(b)中，经由一个或多个接合机构相对于细长观测镜移动成像单元。在一些实施方式中，成像单元包括多个接合机构，并且其中该多个接合机构中的单个接合机构包括至少一个运动传感器。
69.在另一方面，本公开提供一种方法，其包括：(a)提供包括光学适配器的观测镜组件，其中该光学适配器包括：(i)壳体，该壳体包括：第一端，其被配置为可释放地耦合到细长观测镜；以及第二端，其被配置为可释放地耦合到相机；(ii)深度传感器，其耦合到壳体；
以及(iii)光学单元，其设置在壳体中；以及(b)借助于光学单元，(1)接收从对象身体内的目标部位反射并且传输通过细长观测镜的光信号，以及(2)将光信号的第一部分反射到深度传感器或相机中的一者上，同时准许光信号的第二部分穿过到深度传感器或相机中的另一者。
70.在一些实施方式中，图像传感器永久地耦合到壳体或可释放地耦合到壳体。
71.在一些实施方式中，在步骤(b)中，光信号的第一部分被反射到深度传感器上，而光信号的第二部分被准许穿过到相机。
72.在一些实施方式中，在步骤(b)中，光信号的第一部分被反射到相机上，而光信号的第二部分被准许穿过到深度传感器。
73.在一些实施方式中，由光学单元引导到深度传感器的光信号的第一部分或第二部分中的一者包括反射光，该反射光是在用包括相干激光的一个或多个光束照射目标部位时生成的。在一些实施方式中，由光学单元引导到深度传感器的光信号的第一部分或第二部分中的另一者包括反射光，该反射光是在用包括白光的一个或多个光束照射目标部位时生成的。
74.在另一方面，本公开提供一种用于医疗成像的系统，其包括：(a)多个光源，其包括(i)飞行时间(tof)光源，其被配置为生成tof光，以及可选地(ii)白光源、激光散斑光源和荧光激发光源中的至少一者；(b)观测镜，其被配置为将由该多个光源生成的多个光束或光脉冲引导到目标区域，其中该多个光束或光脉冲包括使用该tof光源生成的tof光；(c)tof传感器，其被配置为接收从目标区域反射的多个光束或光脉冲的至少一部分，其中所述部分包括从目标区域反射的一个或多个tof光束或tof光脉冲；以及(d)图像处理单元，其被配置为至少部分地基于使用tof传感器获得的一个或多个tof测量值来生成目标区域的深度图。
75.在一些实施方式中，tof光源包括一个或多个激光器或发光二极管(led)。在一些实施方式中，tof光包括具有从约700纳米(nm)至约1毫米(mm)的波长的红外光或近红外光。在一些实施方式中，tof光包括具有从约400nm至约700nm的波长的可见光。在一些实施方式中，可见光包括具有从约400nm至约500nm的波长的蓝光。在一些实施方式中，tof光包括具有从约400nm至约1mm的多种波长的多个光束或光脉冲。
76.在一些实施方式中，tof光源位于远离观测镜的位置，并且经由光导可操作地耦合到观测镜。在一些实施方式中，tof光源位于观测镜上，并且被配置为经由观测镜集成光导向观测镜提供tof光。在一些实施方式中，tof光源被配置为通过棒状透镜照射目标区域。在一些实施方式中，tof光源位于观测镜的末端。在一些实施方式中，tof光源被附接到手术对象身体的一部分，其中手术对象身体的该部分接近被成像的目标区域。在一些实施方式中，tof光源被配置为经由一个或多个辅助照明观测镜向目标区域提供tof光。
77.在一些实施方式中，该系统还可以包括光学元件，该光学元件被配置为将从目标区域反射的多个光束或光脉冲分离成：(i)对应于tof光的第一组光信号；以及(ii)对应于白光、激光散斑光或荧光激发光的第二组光信号。在一些实施方式中，光学元件包括分束器。在一些实施方式中，光学元件包括分色镜。在一些实施方式中，光学元件被配置为将第一组光信号引导到tof传感器，并且将第二组光信号引导到一个或多个成像装置。在一些实施方式中，一个或多个成像装置包括相机或传感器，该相机或传感器被配置为用于rgb成
像、激光散斑成像或荧光成像。
78.在一些实施方式中，tof传感器沿着从目标区域反射的多个光束或光脉冲的公共光束路径定位，其中公共光束路径设置在目标区域和光学元件之间。在一些实施方式中，tof传感器沿着第一组光信号的离散光束路径定位。在一些实施方式中，tof传感器定位在观测镜的末端。在一些实施方式中，tof传感器被附接到手术对象身体的一部分，其中手术对象身体的该部分接近被成像的目标区域。
79.在一些实施方式中，该系统还可以包括多个深度感测装置，该多个深度感测装置被配置为获得用于生成目标区域的深度图的一个或多个tof测量值。在一些实施方式中，该多个深度感测装置选自由以下组成的组：立体成像装置、结构光成像装置和tof传感器。在一些实施方式中，tof传感器包括成像传感器，该成像传感器被配置为实现外差以使能深度感测并且增强tof分辨率。
80.在一些实施方式中，tof光源被配置为生成多个tof光脉冲。在一些实施方式中，tof光源被配置为生成连续的tof光束。在一些实施方式中，连续的tof光束经历幅度调制，以使能基于发射的tof光和反射的tof光之间的相位差进行tof测量。
81.在一些实施方式中，该系统还可以包括机电快门或门，该机电快门或门被配置为通过将该连续光束斩波成多个tof光脉冲来生成该多个tof光脉冲。
82.在一些实施方式中，该系统还可以包括tof光调制器。在一些实施方式中，tof光调制器包括发散透镜，该发散透镜沿着tof光的光路径定位，并且被配置为调制跨目标区域的tof光的照明强度。在一些实施方式中，tof光调制器包括光扩散元件，该光扩散元件沿着tof光的光路径定位，并且被配置为调制跨目标区域的tof光的照明强度。在一些实施方式中，tof光调制器包括光束转向元件，该光束转向元件被配置为照射该目标区域和接近该目标区域的一个或多个区域。
83.在一些实施方式中，该系统还可以包括tof参数优化器，其被配置为至少部分地基于期望的应用、深度范围、组织类型、观测镜类型或程序类型来调整一个或多个脉冲参数和一个或多个相机参数，以提高tof深度感测的容差或准确性。
84.在一些实施方式中，使用tof传感器获得的一个或多个tof测量值至少部分地基于一个或多个脉冲参数和一个或多个相机参数。在一些实施方式中，该一个或多个脉冲参数选自由以下组成的组：照明强度、脉冲宽度、脉冲形状、脉冲计数、脉冲开/关电平、脉冲占空比、tof光脉冲波长、光脉冲上升时间和光脉冲下降时间。在一些实施方式中，一个或多个相机参数选自由以下组成的组：快门数量、快门定时、快门重叠、快门间隔和快门持续时间。
85.在一些实施方式中，tof参数优化器被配置为实时调整一个或多个脉冲参数和一个或多个相机参数。在一些实施方式中，tof参数优化器被配置为离线调整一个或多个脉冲参数和一个或多个相机参数。在一些实施方式中，tof参数优化器被配置为基于反馈回路来调整一个或多个脉冲参数和一个或多个相机参数。在一些实施方式中，反馈回路包括实时控制回路，该实时控制回路被配置为基于tof光源或tof传感器的温度来调整一个或多个脉冲参数或一个或多个相机参数。
86.在一些实施方式中，该系统还可以包括图像后处理单元，该图像后处理单元被配置为基于使用一个或多个调整后的脉冲参数或相机参数获得的一组更新的tof测量值来更新深度图。在一些实施方式中，该系统还可以包括图像后处理单元，该图像后处理单元被配
置为基于与tof光源或tof传感器的操作相关联的温度波动来更新深度图，从而增强深度感测准确性和手术安全性。
87.在一些实施方式中，该系统还可以包括图像后处理单元，该图像后处理单元被配置为对深度图执行图像后处理以增强深度感测准确性和手术安全性，其中图像后处理包括基于深度图内的特征或像素的测量深度的空间滤波和时间滤波中的至少一者。在一些实施方式中，图像后处理包括调整滤波内核的大小。在一些实施方式中，可基于目标区域中一个或多个特征的测量深度来调整滤波内核的大小，以便在所述测量深度维持期望的成像分辨率。
88.在一些实施方式中，该系统还可以包括校准单元，该校准单元被配置为执行以下中的至少一者：(i)相机校准以校正xy平面中的相机重新投影误差和失真；以及(ii)深度校准以校正沿着z轴线的深度测量失真。在一些实施方式中，校准单元被配置为使用校准目标来执行相机校准或深度校准。
89.在一些实施方式中，校准目标是位于静态装备上的目标。在一些实施方式中，校准目标是位于可移动装备上的目标。
90.在一些实施方式中，校准单元被配置为使用校准目标的视频来执行相机校准或深度校准。在一些实施方式中，校准单元被配置为使用相机重建质量作为反馈来执行相机校准或深度校准。在一些实施方式中，校准单元被配置为至少部分地基于tof光角度进入校正来执行相机校准或深度校准。在一些实施方式中，校准单元被配置为基于ir强度误差校正或rgb强度误差校正来执行相机校准或深度校准。在一些实施方式中，校准单元被配置为至少部分地基于先前的深度感测测量或期望的应用、深度范围、组织类型、观测镜类型或程序类型来执行实时相机校准和实时深度校准。
91.在一些实施方式中，tof传感器包括成像传感器，该成像传感器被配置为用于tof成像以及rgb成像、激光散斑成像和荧光成像中的至少一者。在一些实施方式中，成像传感器被配置为用于tof成像和灌注成像。在一些实施方式中，成像传感器被配置为在交替或不同的时间间隙期间捕获tof深度信号和激光散斑信号。在一些实施方式中，成像传感器被配置为同时捕获tof深度信号和激光散斑信号，以生成包括对应于不同成像模态的多个空间区域的一个或多个医疗图像。
92.在一些实施方式中，该系统还可以包括图像后处理单元，该图像后处理单元被配置为至少部分地基于使用tof传感器获得的一个或多个tof测量值来归一化目标区域的rgb图像、目标区域的荧光图像或与目标区域相关联的基于散斑的流量和灌注信号。在一些实施方式中，图像后处理单元被配置为使用目标区域的照明轮廓和观测镜与被成像的目标区域之间的距离来校正使用观测镜获得的一个或多个rgb或荧光图像的外围的图像强度。在一些实施方式中，图像后处理单元被配置为使用恒定的血细胞比容浓度来估计通过或接近目标区域的血流速度。
93.在一些实施方式中，该系统还可以包括处理器，该处理器被配置为至少部分地基于(i)目标区域的已知位置或已知深度和(ii)观测镜或观测镜组件的已知速度来确定观测镜的平移运动和旋转运动。在一些实施方式中，处理器还被配置为使用观测镜的平移运动和旋转运动来减少散斑运动伪影，执行目标区域的三维(3d)重建，生成与目标区域相关联的小图，或自主控制机器人相机的位置或取向。在一些实施方式中，处理器还被配置为使用
观测镜的平移运动和旋转运动来模拟双目视觉，执行图像缩放，确定物体或特征与观测镜的接近度，或在使用观测镜获得的一个或多个图像上执行网格覆盖。在一些实施方式中，处理器还被配置为至少部分地基于使用运动传感器或惯性测量单元获得的一个或多个运动学测量值来细化观测镜的平移运动和旋转运动的计算。
94.在一些实施方式中，该系统还可以包括处理器，该处理器被配置为至少部分地基于使用tof传感器获得的一个或多个tof测量值来控制机器人相机的运动。
95.在一些实施方式中，该系统还可以包括立体成像装置，该立体成像装置被配置为获得目标区域的一组深度测量值。在一些实施方式中，图像处理单元被配置为至少部分地基于使用立体成像装置获得的一组深度测量值和使用tof传感器获得的一个或多个tof测量值来生成深度图。在一些实施方式中，图像处理单元被配置为使用利用tof深度传感器获得的一个或多个tof测量值来训练立体成像算法或单目深度算法，其中所述立体成像算法或所述单目深度算法被配置为处理使用立体成像装置获得的一组深度测量值。在一些实施方式中，图像处理单元还被配置为至少部分地基于从目标区域反射的多个光束或光脉冲来生成目标区域的一个或多个rgb图像、激光散斑图像或荧光图像。
96.在另一方面，本公开提供一种内窥镜装置，其包括：细长观测镜，其具有可插入患者身体中的远侧端部和适于保持在患者身体外部的相对近侧端部；以及铰接式传感器头，其连接到细长观测镜的远侧端部或从细长观测镜的远侧端部延伸，所述铰接式传感器头包括一个或多个传感器，该一个或多个传感器设置在铰接式传感器头的横向侧面上，其中所述铰接式传感器头可相对于细长观测镜的远侧端部在第一位置和一个或多个另外的位置之间移动，在该第一位置中铰接式传感器头与远侧端部对准，在该一个或多个另外的位置中铰接式传感器头相对于远侧端部成角度，使得一个或多个传感器取向成面向并且可视化患者身体中的目标。
97.在一些实施方式中，一个或多个传感器包括相机、成像传感器、tof深度传感器、立体成像装置或结构光扫描仪。
98.在一些实施方式中，铰接式传感器头的一部分连接到铰接式传感器头的远侧端部或从该铰接式传感器头的远侧端部延伸，使得当铰接式传感器头相对于远侧端部枢转约90
°
时，内窥镜装置具有l形配置。
99.在一些实施方式中，铰接式传感器头的中间部分连接到铰接式传感器头的远侧端部，使得当铰接式传感器头相对于远侧端部枢转约90
°
时，该内窥镜装置具有t形配置。
100.在一些实施方式中，铰接式传感器头包括用于照射目标的一个或多个光源。在一些实施方式中，铰接式传感器头还包括导航相机，该导航相机设置在铰接式传感器头的远侧末端上或附近。在一些实施方式中，铰接式传感器头包括一个或多个相机，该一个或多个相机设置在铰接式传感器头的不同侧面上。
101.在一些实施方式中，该装置还可以包括用于将铰接式传感器头从第一位置枢转到一个或多个另外的位置的机构。在一些实施方式中，一个或多个另外的位置对应于铰接式传感器头的一组离散空间配置。在一些实施方式中，铰接式传感器头可连续地移动到一个或多个另外的位置中的任一个。
102.在另一方面，本公开提供一种使用内窥镜装置的方法，该内窥镜装置包括：(i)细长观测镜，其具有可插入患者身体中的远侧端部和适于保持在患者身体外部的相对的近侧
端部；以及(ii)铰接式传感器头，其连接到细长观测镜的远侧端部或从细长观测镜的远侧端部延伸，所述铰接式传感器头包括一个或多个传感器，该一个或多个传感器设置在铰接式传感器头的横向侧面上，其中所述铰接式传感器头可相对于细长观测镜的远侧端部在第一位置和一个或多个另外的位置之间移动，在该第一位置中铰接式传感器头与远侧端部对准，在该一个或多个另外的位置中铰接式传感器头相对于远侧端部成角度，该方法包括以下步骤：(a)当铰接式传感器头取向在第一位置时，将细长观测镜的远侧端部和铰接式传感器头插入患者身体中；(b)将铰接式传感器头移动到第二位置，在该第二位置中该铰接式传感器头相对于远侧端部成角度，使得一个或多个传感器取向成面向患者身体中的目标；(c)当铰接式传感器头取向在第二位置时，使用铰接式传感器头上的一个或多个传感器可视化患者身体中的目标；(d)将铰接式传感器头移回到第一位置；以及(e)当铰接式传感器头取向在第一位置时，从患者身体缩回细长观测镜的远侧端部和铰接式传感器头。
103.在一些实施方式中，一个或多个传感器包括相机、成像传感器、tof深度传感器、立体成像装置或结构光扫描仪。
104.在一些实施方式中，该方法还可以包括，在步骤(c)之后，旋转细长观测镜的远侧端部以捕获多个图像，并且将所述多个图像全景拼接在一起，以生成患者身体内目标区域的扩展视图。
105.在一些实施方式中，使用一个或多个传感器捕获的多个图像用于生成三维(3-d)点云。
106.在一些实施方式中，当细长观测镜的远侧端部旋转时，铰接式传感器头处于第一位置。在一些实施方式中，当细长观测镜的远侧端部旋转时，铰接式传感器头处于第二位置。
107.本公开的另一方面提供了一种非暂时性计算机可读介质，其包括机器可执行代码，在由一个或多个计算机处理器执行该代码时，实现上述或本文其他地方的任何方法。
108.本公开的另一方面提供了一种系统，其包括一个或多个计算机处理器和与其耦合的计算机存储器。计算机存储器包括机器可执行代码，在由一个或多个计算机处理器执行该代码时，实现上述或本文其他地方的任何方法。
109.根据以下详细描述，本公开的其他方案和优点对于本领域技术人员将变得容易理解，其中仅示出和描述了本公开的说明性实施方式。应当理解，本公开能够有其他不同的实施方式，并且其若干细节能够在各种明显的方面进行修改，所有这些都不背离本公开。因此，附图和描述在本质上被认为是说明性的，而不是限制性的。援引并入
110.本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文，如同每一个这些出版物、专利或专利申请均具体且分别表示通过引用并入本文一样。如果通过引用并入本文的出版物和专利或专利申请与说明书中包含的公开内容相矛盾，则说明书旨在取代和/或优先于任何此类相互矛盾材料。
附图说明
111.本发明的新颖特征会在所附权利要求书中具体阐述。通过参考以下阐述了利用本发明原理的说明性实施方式的详细描述，将更好地理解本发明的特征和优点，且在附图(在
此也称为“示图”和“图”)中：
112.图1a至图1d示意性地图示了根据一些实施方式的用于医疗成像的系统的示例。
113.图2示意性地图示了根据一些实施方式的细长观测镜。
114.图3a至图3d示意性地图示了根据一些实施方式的可操作地耦合到细长观测镜的观测镜组件的示例。
115.图4a至图4f示意性地图示了根据一些实施方式的可操作地耦合到细长观测镜的观测镜组件的示例配置。
116.图5示意性地图示了根据一些实施方式的用于观测镜组件的控制单元。
117.图6a至图6b示意性地图示了包括运动传感器的观测镜组件的示例。
118.图7a至图7d示意性地图示了根据一些实施方式的用于深度感测的示例成像系统。
119.图8示意性地图示了根据一些实施方式的用于医疗成像的方法的示例流程图。
120.图9示意性地图示了根据一些实施方式的用于医疗成像的另一方法的示例流程图。
121.图10示意性地图示了被编程或以其他方式被配置为实现本文提供的方法的计算机系统。
122.图11示意性地图示了根据一些实施方式的被配置为使用tof成像装置来执行一个或多个tof应用的系统。
123.图12示意性地图示了根据一些实施方式的用于捕获和/或记录一个或多个tof脉冲的多个快门。
124.图13a和图13b示意性地图示了根据一些实施方式的快门间隔的各种示例。
125.图14示意性地图示了根据一些实施方式的基于传输通过光缆的tof光的入射角进行深度校正的方法。
126.图15a和图15b示意性地图示了根据一些实施方式的相应地处于直线位置和铰接位置的内窥镜装置的示例性l形铰接式传感器头。
127.图16a和图16b示意性地图示了根据一些实施方式的相应地处于直线位置和铰接位置的示例性t形铰接式传感器头。
128.图17a和图17b示意性地图示了根据一些实施方式的由具有多个相机的内窥镜装置获得的增加的视野。
129.图18a和图18b示意性地图示了根据一些实施方式的示例性t形铰接式传感器头，该示例性t形铰接式传感器头具有相应地处于直线位置和铰接位置的机械初轧(blooming)机构。
130.图19a和图19b示意性地图示了根据一些实施方式的示例性l形铰接式传感器头，该示例性l形铰接式传感器头具有相应地处于直线位置和铰接位置的柔性弯曲连接件。
131.图20示意性地图示了根据一些实施方式的示例性铰接式传感器头，该示例性铰接式传感器头在传感器头的远侧末端具有另外的导航相机。
132.图21示意性地图示了根据一些实施方式的示例性铰接式传感器头，该示例性铰接式传感器头具有多个相机、提供照明的led光源以及位于传感器头远侧末端的另外的导航相机。
133.图22a至图22d示意性地图示了根据一些实施方式的具有多个相机的示例性铰接
式传感器头。
134.图23a和图23b示意性地图示了根据一些实施方式的示例性铰接式传感器头，其中多个相机安装在传感器头的相对侧面上。
具体实施方式
135.尽管这里已经示出和描述了本发明的各种实施方式，但是对于本领域技术人员来说，容易理解地是，这些实施方式是仅作为示例来提供。在不偏离本发明的情况下，本领域技术人员可以想到多种变型例、变化例和替换例。应当理解，可以采用本文中描述的本发明实施方式的各种替代方案。
136.当术语“至少”、“大于”或“大于或等于”在一系列两个或更多个数值中的第一个数值之前时，术语“至少”、“大于”或“大于或等于”适用于该系列数值中的每个数值。例如，大于或等于1、2或3相当于大于或等于1、大于或等于2，或大于或等于3。
137.当术语“不大于”、“小于”或“小于或等于”在一系列两个或更多个数值中的第一个数值之前时，术语“不大于”、“小于”或“小于或等于”适用于该系列数值中的每个数值。例如，小于或等于3、2或1相当于小于或等于3、小于或等于2，或小于或等于1。
138.如本文所用术语“灌注”通常是指液体通过循环系统或淋巴系统到达器官或组织。在示例中，灌注可以指在动脉或毛细血管水平输送血液，其中在血液和组织之间发生氧气和/或营养物质的交换。在一些情况下，灌注参数可以包括液体的流速、存在于或横穿目标组织部位的液体的体积、目标组织部位处液体的流动通道的模式，或其组合。在一些情况下，在一个或多个成像处理过程中，灌注所关注的液体可以是增加液体、减少液体或保持基本不变。在一些情况下，灌注液体的流速或体积的任何变化都可能指示在目标组织部位上游、下游或基本上在目标组织部位处发生的(i)一个或多个生物学事件或(ii)一个或多个手术事件。量化时，灌注可以按照以下参数：血液输送到组织的速率，或每单位组织质量每单位时间(血流量)的血液体积，单位为立方米/秒/千克(m3/s/kg)或毫升/分钟/克(ml/min/g)来被测定。灌注程度可能指示一种或多种健康状况，例如心血管疾病，诸如冠状动脉疾病、脑血管疾病、外周动脉疾病等。
139.在本文中可互换使用的术语“实时”或“即时”通常指的是使用最近获得(例如，收集或接收)数据来执行的事件(例如，操作、处理、方法、技术、计算、推算、分析、可视化、最优化)。在一些情况下，实时事件可以几乎立即执行或在足够短的时间间隔内执行，诸如在至少0.0001毫秒(ms)、0.0005ms、0.001ms、0.005ms、0.01ms、0.05ms、0.1ms、0.5ms、1ms、5ms、0.01s、0.05s、0.1s、0.5s、1s或更长时间内。在一些情况下，实时事件可以几乎立即执行或在足够短的时间间隔内执行，诸如在至多1s、0.5s、0.1s、0.05s、0.01s、5ms、1ms、0.5ms、0.1ms、0.05ms、0.01ms、0.005ms、0.001ms、0.0005ms、0.0001ms或更少时间内。
140.本文中可互换使用的术语“飞行时间(time of flight)”、“飞行时间”(time-of-flight)、“tof”或“tof”通常指行进部分(例如，物体、粒子或波)行进通过介质(例如，诸如液体或气体的流体)一段距离所花费的时间的一个或多个测量值。波的示例可以包括声波和电磁辐射。(一个或多个)时间测量值可以用于建立行进部分的速度或路径长度，以及介质的特性(例如，密度、成分、流速等)。在一些情况下，飞行时间可以指发射的电磁辐射从电子辐射源行进到传感器(例如，相机)所需的时间。飞行时间可以是发射的电磁辐射到达目
标组织所需的时间。替代地，飞行时间可以是发射的电磁辐射到达目标组织并且被引导(例如，反射)到传感器所需的时间。此类传感器可以邻近发射的电磁辐射源，或可在与源不同的位置。在一些情况下，相机可以基于发射和接收到的信号(例如，电磁辐射)的相移来确定飞行时间。飞行时间相机的示例可以包括但不限于具有相位检测器的射频(rf)调制光源(例如，光子混合器装置(pmd)、swiss ranger
tm
、canestavision
tm
)、距离选通成像器(例如，zcam
tm
)和直接飞行时间图像(例如，光检测和测距(lidar))。
141.铰接式传感器头
142.本文公开的各种实施方式涉及具有铰接式传感器头的内窥镜装置，用于提供患者身体内或身体上的目标面积的改善的可视化。
143.目前可获得的内窥镜对于大体上识别和导航是有效的。然而，它们缺乏执行复杂可视化的能力，这要求更大的相机或传感器。增加内窥镜远侧末端的横截面积以包括另外的相机将要求通向患者体腔(例如，在患者的腹壁中)的不期望的大开口来容纳远侧末端增加的大小。
144.本公开的内窥镜装置可以包括多个相机或其他传感器，该多个相机或其他传感器安装在内窥镜的铰接远侧头部的横向侧面上。铰接式远侧头部的横向侧面可以提供更大的面积来在观测镜上安装另外的相机或传感器，这极大地增加了可视化能力，同时最小化了进入体腔的大开口的需要。内窥镜装置的远侧端部可以插入通过手术对象身体中的开口，同时处于直线取向。一旦进入体腔，传感器头可以被铰接到允许传感器头的横向侧面上的多个相机或传感器面向并且可视化目标的位置。此外，可以旋转内窥镜轴，使得传感器头中的相机或传感器可以从多个不同的位置和/或取向捕获目标区域的一系列图像。在一个或多个实施方式中，该系列图像可以全景拼接在一起，以形成比单个相机图像中的任一个都大的图片。在一个或多个实施方式中，该系列图像可以用于在获得图像时即时或实时计算场景的三维(3-d)点云。在一个或多个实施方式中，该系列图像可以用于合成目标解剖结构的3-d点云，包括不是即时可见的部分。
145.应理解，尽管本技术在各种实施方式中提到了在内窥镜装置中使用相机，但是此类内窥镜装置可以替代地包括其他类型的成像和非成像传感器，诸如，例如飞行时间传感器和结构光传感器。
146.图15a和图15b图示了根据一个或多个实施方式的示例性内窥镜装置。该装置包括细长观测镜10，该细长观测镜10具有可插入患者身体中的远侧端部12。相对的近侧端部(未示出)保持在患者身体外部。该装置还包括铰接式传感器头14，其具有枢转地连接到远侧端部12的第一端和相对的第二自由端。传感器头14包括一个或多个相机或传感器16，该一个或多个相机或传感器16在传感器头14的第一端和第二端之间的传感器头14的横向侧面上间隔开。在图15a和图15b中图示的示例性实施方式中，在传感器头14上有两个相机或传感器16。然而，根据所涉及的特定应用，可以使用任意数量的相机或传感器。
147.传感器头14可以相对于细长观测镜10的远侧端部12可在(i)第一直线取向位置(如图15a中示出的)和(ii)一个或多个另外的位置之间枢转，在该第一直线取向位置中传感器头14与远侧端部12对准，在该一个或多个另外的位置中传感器头14相对于远侧端部12成角度，使得相机或传感器16取向成面向并且可视化待成像的目标。尽管图15b的示例示出了传感器头相对于远侧端部12成90
°
角，但是它可以以从-90
°
到90
°
范围内的任何期望角度
枢转。
148.传感器头14上的多个相机或传感器16可以位于患者身体中的同一平面上。相机或传感器16可以被配置为彼此协同操作，使得可以从不同的相机视野将目标空间的详细表示拼接在一起。相机或传感器16可以彼此适当地校准，以使能例如立体深度计算，因为它们相对于彼此的位置是已知的，并且相对于传感器头14固定到相同的刚性平面。在一个或多个替代实施方式中，相机或传感器可以相对于彼此偏移，使得它们被定位和/或取向在不同的平面上。
149.图16a和图16b示出了根据一个或多个实施方式的示例性t形铰接式传感器头20。与围绕传感器头的一端枢转的图15a和图15b的l形铰接式传感器头不同，传感器头20相对于内窥镜轴10围绕传感器头20的中心点21枢转。
150.图19a和图19b示出了根据一个或多个实施方式的示例性l形铰接式传感器头24，该示例性l形铰接式传感器头24通过柔性连接件26柔性连接到内窥镜轴10的远侧部分。柔性连接可以包括接合部。
151.图17a和图17b图示了与仅具有单个相机或传感器的内窥镜装置相比，使用具有位于铰接式传感器头上的多个相机或传感器的内窥镜装置可获得的增加的视野。
152.图20示出了根据一个或多个实施方式的示例性铰接式传感器头，该示例性铰接式传感器头在传感器头的远侧末端具有另外的导航或引导相机32。位于传感器头远侧末端处的另外的导航或引导相机32可以取向在第一方向上，该第一方向不同于位于传感器头的横向侧面上的一个或多个相机或传感器所取向的第二方向。
153.图21示出了根据一个或多个实施方式的示例性铰接式传感器头，该示例性铰接式传感器头具有多个相机或传感器16和led光源30以提供照明，以及位于传感器头的远侧末端的另外的导航相机32。
154.内窥镜装置的传感器头可以使用多种机构枢转。在一个示例中，内窥镜装置中的电缆滑轮系统驱动角度线以枢转传感器头。在另一个示例中，图18a和图18b图示了具有机械初轧机构的t形铰接式传感器头40。传感器头40可以是弹簧加载的，以在从收缩护套42线性驱动出来时铰接。替代地，传感器头可以被线性地向前驱动，使得传感器头底部的滚轮成为枢轴接合部，该枢轴接合部可作为铰接式传感器头的支点。在又一个示例中，传感器头可以附接到45度枢轴块，该45度枢轴块通过对应的从动枢轴块的旋转而铰接。
155.以下示例图示了根据各种实施方式的内窥镜装置的操作：
156.1.插入——在其初始的直线的非铰接取向(例如，图15a)，具有铰接式传感器头14的内窥镜轴10可以插入通过套管针到患者身体中，例如，腹腔中。铰接式传感器头远侧端部上的小型引导相机32(例如，如图20和图21中示出的)可以用于将内窥镜引导到适当深度并且确保观测镜可以安全移动通过套管针开口。
157.2.用于成像的铰接——一旦观测镜处于体腔中的预定位置或期望位置，传感器头14就被铰接，例如相对于轴10成90度，如图15b中所示。包含相机或传感器16的主要集合的传感器头14的横向侧面现在被定位并且朝向目标部位取向。
158.3.可视化——面向目标部位的侧面相机或传感器16可以可视化目标面积，同时相机或传感器16周围的一组led 30照射目标。此外，主内窥镜轴可以旋转，并且由相机或传感器捕获的结果数据可以全景拼接在一起。然后可以将传感器头14铰接到另一个角度，并且
可以再次旋转内窥镜轴以进一步映射目标区域或面积。最后，观测镜可以铰接成面向远离目标部位的侧面相机或传感器。轴可以再次旋转以执行目标区域或面积的全面可视化。以此方式，传感器头可以捕获一系列图像，这些图像可以全景地拼接在一起，以生成完整的3d点云，从而提供目标区域或面积的全面数字表示。
159.如图22a至图22d中所示，通过在传感器头处于各种铰接取向时旋转内窥镜轴，观测镜能够捕获3d空间中目标区域或面积的整个360度视野。图23a和图23b图示了替代实施方式，其中铰接式传感器头具有安装在传感器头的相对侧面上的多个相机或传感器16。通过在传感器头处于各种铰接取向时旋转内窥镜轴，观测镜能够捕获3d空间中目标区域或面积的整个360度视野。在本文所描述的任何实施方式中，当传感器头处于铰接取向时，内窥镜轴可以旋转，以使观测镜能够从基本上每个可能的角度观察目标解剖结构。
160.4.用于移除的铰接——一旦可视化完成，观测镜可以铰接回到其直线起始位置(例如，图15a)，使轴准备好缩回通过其插入点。
161.5.缩回——现在轴回到其中性位置，内窥镜可以从手术现场缩回和/或从患者身体取出。
162.铰接式传感器头的横向侧面可以提供大的空间，立体传感器可以以比使用常规的面向前的传感器设计可实现的基线分离距离更宽的基线分离距离布置在该空间上。铰接式传感器头结构对于深度感测特别有用，因为立体传感器的较宽基线分离距离减少了深度估计误差。
163.根据一个或多个实施方式，由铰接式传感器头的横向侧面提供的另外的空间允许在所述传感器头的横向侧面上结合另外的深度计算改善技术。另外的深度计算改善技术可以包括例如立体深度传感器、结构光成像传感器和/或飞行时间传感器。在一些情况下，图案投影仪可以结合在传感器头中。图案投影仪可以用于有源立体传感器应用，以允许目标(包括例如无特征目标)的深度计算。
164.根据一个或多个实施方式，由铰接式传感器头的横向侧面提供的另外的空间可以容纳其他专用传感器，诸如ir敏感传感器、立体深度传感器、结构光成像传感器或飞行时间传感器。
165.根据各种实施方式的传感器头的铰接还可以允许从单个套管针部位观察比用刚性的、非铰接腹腔镜可能的更多的内部环境。
166.观测镜组件
167.本文认识到目前可用的医疗成像系统存在各种限制。常规医疗成像系统(例如，诸如内窥镜的观测镜)可以使用单一光信号(例如，白光)来可视化对象内的目标部位(例如，内部部分)。然而，这种可视化可能仅限于目标部位(例如，所关注组织)的表面的二维显示。
168.本公开的观测镜组件可以允许具有深度感知(或3d成像)的对象的目标部位(例如，内部组织部位)的结构或特征的可视化。观测镜组件可以协同工作，并且可以与现有的观测镜(例如，腹腔镜)兼容，以提供此类先进的成像能力。观测镜组件可以包括至少一个传感器。在一些实施方式中，观测镜组件可以包括用于朝向对象的目标部位导航的第一传感器(例如，2d相机)，以及用于对一个或多个目标部位进行准确成像的第二传感器(例如，深度传感器)。因此，观测镜组件不需要依赖同一个传感器来执行2d成像和3d成像两者。可以能够同时执行2d成像模式和3d成像模式两者。观测镜组件可以是铰接式的(能够被铰接)，
以便为(一个或多个)传感器提供宽视野。观测镜组件可以包括单独的光学组件以控制(或微调)如何引导一个或多个光束用于成像，例如，(一个或多个)目标部位的深度感测。此外，可以处理(例如，实时或后处理)一个或多个目标部位在各种波长下的图像或视频，以分析(一个或多个)目标部位的一个或多个特征，例如，(一个或多个)目标部位的灌注信息。本文提供的系统和方法能够生成(一个或多个)目标部位(例如，一个或多个目标组织)的基本上准确的3d重建。
169.通过增强现有的医疗成像装备的灵活性和使用，本公开的观测镜组件不需要在医疗保健环境中要求或招致昂贵的资本装备升级。观测镜组件不要求现场的另外的人员(例如，技术人员或医疗从业者)来管理部件和过程，并且可能要求最少的努力来操作。通过替换现有的基于染料的成像系统，本公开的观测镜组件还可以有助于减少手术室占地面积。
170.本公开的观测镜组件可以可用于多种医疗应用，例如普通外科手术、神经外科手术、整形外科手术和脊柱手术。本公开的观测镜组件可以可适用于多种基于内窥镜检查手术，包括但不限于，胆囊切除术(例如，每年1,200,000次手术)、子宫切除术(例如，每年575,000次手术)、甲状腺切除术(例如，每年150,500次手术)和胃切除术(例如，每年225,000次手术)。
171.在一方面，本公开提供一种观测镜组件。观测镜组件可以包括壳体单元，该壳体单元被配置为封闭细长观测镜的至少一部分，其中壳体单元可释放地耦合到细长观测镜的至少一部分。该观测镜组件可以包括成像单元，该成像单元可操作地耦合到壳体单元的远侧端部，其中该成像单元包括光学组件，该光学组件被配置为引导一个或多个光束，该一个或多个光束传输通过细长观测镜到对象身体内的目标部位上。在一些情况下，成像单元可以经由相对于壳体单元的旋转运动或平移运动来移动以改变视野。
172.在一方面，本公开提供一种观测镜组件。观测镜组件可以包括壳体单元，该壳体单元被配置为封闭细长观测镜的至少一部分，其中壳体单元可释放地耦合到细长观测镜的至少一部分。观测镜组件可以包括成像单元，该成像单元可操作地耦合到该壳体单元的远侧端部，其中该成像单元包括在该成像单元的不同侧面上的相机和深度传感器，使得该相机和深度传感器具有不同的光学轴线。在一些情况下，成像单元可以被配置为相对于壳体单元移动，以改变相机或深度传感器的视野。
173.在一方面，本公开提供一种观测镜组件。观测镜组件可以包括细长观测镜。观测镜组件可以包括成像单元，该成像单元附接到细长观测镜的远侧端部，其中成像单元包括相机和单独的深度传感器。在一些情况下，成像单元可以经由相对于细长观测镜的旋转运动或平移运动来移动以改变相机或深度传感器的视野。
174.在一方面，本公开提供一种观测镜组件。观测镜组件可以包括细长观测镜。观测镜组件可以包括成像单元，该成像单元可操作地耦合到细长观测镜的远侧端部，其中成像单元被配置为(1)相对于细长观测镜移动，以及(2)从多个视角获得目标部位的多个成像数据。观测镜组件可以包括一个或多个运动传感器，该一个或多个运动传感器可操作地耦合到成像单元，其中一个或多个运动传感器被配置为当成像单元相对于细长观测镜移动时提供成像单元的空间信息。观测镜组件可以包括处理器，该处理器可操作地耦合到成像单元和一个或多个传感器，其中处理器被配置为基于多个成像数据和空间信息生成目标部位的三维(3d)重建。
175.在一方面，本公开提供一种观测镜组件。观测镜组件可以包括光学适配器。光学适配器可以包括壳体，该壳体包括：第一端，其被配置为可释放地耦合到细长观测镜；以及第二端，其被配置为可释放地耦合到相机。光学适配器可以包括深度传感器，该深度传感器耦合到壳体。光学适配器可以包括光学单元，该光学单元设置在该壳体中，其中该光学单元被配置为(1)接收从对象身体内的目标部位反射并且传输通过该细长观测镜的光信号，以及(2)将该光信号的第一部分反射到该深度传感器或该相机中的一者上，同时准许该光信号的第二部分穿过到该深度传感器或该相机中的另一者。
176.在一些可选实施方式中，观测镜组件可以包括(1)红外敏感单色成像传感器，其容纳在可重复使用的硬件不可知适配器内，该适配器可释放地耦合到(a)标准的10mm 0
°
或30
°
刚性腹腔镜和(b)任何商业可获得的手术相机(例如，stryker 1588)，以及(2)定制光源，其将白光与一个或多个相干激光光源组合以照射手术野。适配器内的定制光学器件可以使能(i)使用成像传感器对手术部位反射的红外光谱和(ii)使用第3方商业相机对反射的可见光谱同时成像。光学元件(例如，分色镜)可以用于将红外光谱的光反射到成像传感器，并且将可见光谱的光引导到第3方商业相机。可以实现专有算法来组合两个图像，以提供实时覆盖，该实时覆盖向用户提供血流和组织灌注的指示。可以使用一个或多个深度测量值来进一步细化、增强或更新图像和/或实时覆盖，该一个或多个深度测量值是使用本文所描述的深度传感器或深度感测装置中的任一者获得的。
177.本文所描述的深度感测内窥镜可视化系统提供了优于用于体内组织灌注和脉管系统的术中可视化的现有的内窥镜成像系统(例如，基于染料的荧光成像系统)的许多优点。例如，本文所描述的深度感测内窥镜可视化系统可以用于(i)执行脉管系统和灌注的激光散斑对比成像(lsci)，以及(ii)利用深度信息增强所述激光散斑对比成像，以帮助检测对组织实质和脉管供应的任何未被识别的和/或无意的损伤。与传统的内窥镜可视化系统相比，本公开的深度感测内窥镜可视化系统还在实时成像能力方面提供实质性的改善。在由猪模型(n＝14)中的肠吻合和随后的肠系膜连续去脉管化组成的体内测试期间，本文公开的内窥镜成像系统能够以约150ms的平均处理延迟检测实时实质灌注和肠系膜血流。相比之下，商业基于染料的荧光系统具有更高约200倍的处理延迟(不包括icg制备时间(p《0.01))。在体内测试期间，内窥镜成像系统检测到的组织灌注信号与使用商业可获得的fda批准的激光多普勒系统测量的灌注数据(血压和血流)显著相关(r＝0.87，p《0.001)。
178.除了提高图像处理效率和实现具有最小延迟的实时显示之外，本文所描述的深度感测内窥镜可视化系统还提供用于准确检测和量化灌注的高效平台，同时最小化假阳性显示的发生。商业可获得的基于染料的内窥镜成像系统只能在断流术后准确使用一次，并且在连续断流术后，由于荧光染料保留在某些缺血节段，将持续显示100％假阳性荧光图像。此外，荧光强度的变化会进一步加重此类商业可获得的系统中的假阳性显示。相比之下，本公开的深度感测内窥镜成像系统没有显示出与基于染料的内窥镜成像相关联的此类假阳性。
179.与其他商业可获得的内窥镜成像系统相比，本文所描述的深度感测内窥镜成像系统进一步增强了可用性。例如，本公开的深度感测内窥镜成像系统可以用于简化临床操作流程并且降低与染料施用相关联的操作成本，因为不要求药物准备或染料注射。
180.在一方面，本公开提供一种成像套件，其包括本文公开的任一观测镜组件和照明
源，该照明源被配置为将一个或多个光束传输到细长观测镜并且通过细长观测镜。
181.在一方面，本公开提供一种使用本文公开的任一观测镜组件的方法。
182.在一方面，本公开提供一种方法，该方法包括提供观测镜组件，该观测镜组件包括：(i)壳体单元，其被配置为封闭细长观测镜的至少一部分，其中该壳体单元可释放地耦合到细长观测镜的至少一部分；以及(ii)成像单元，其可操作地耦合到壳体单元的远侧端部，其中该成像单元包括光学组件，该光学组件被配置为将传输通过细长观测镜的一个或多个光束引导到对象身体内的目标部位上。该方法还可以包括由光学组件接收来自细长观测镜的一个或多个光束。该方法还可以包括由光学组件将一个或多个光束引导到对象身体内的目标部位上。在一些情况下，该方法还可以包括经由相对于壳体单元的旋转运动或平移运动来移动成像单元，以将一个或多个光束引导到对象身体内的目标部位上。
183.在一方面，本公开提供一种方法，该方法包括提供观测镜组件，该观测镜组件包括：(i)壳体单元，其被配置为封闭细长观测镜的至少一部分，其中该壳体单元可释放地耦合到细长观测镜的至少一部分；以及(ii)成像单元，其可操作地耦合到壳体单元的远侧端部，其中该成像单元包括在成像单元的不同侧面上的相机和深度传感器。该方法还可以包括，借助于相机，接收来自第一光学轴线的第一光信号。该方法还可以包括，借助于深度传感器，接收来自不同于第一光学轴线的第二光学轴线的第二光信号。在一些情况下，该方法还可以包括经由相对于壳体单元的旋转运动或平移运动来移动成像单元，以改变相机或深度传感器的视野。
184.在一方面，本公开提供一种方法，其包括提供一种观测镜组件，该观测镜组件包括：(i)细长观测镜；以及(ii)成像单元，其附接到细长观测镜的远侧端部，其中成像单元包括相机和单独的深度传感器。该方法还可以包括，借助于相机，生成包括二维(2d)照片或视频图像的第一组成像数据。该方法还可以包括，借助于深度传感器，生成包括深度图的第二组成像数据。在一些情况下，该方法还可以包括经由相对于细长观测镜的旋转运动或平移运动来移动成像单元，以改变相机或深度传感器的视野。
185.在一方面，本公开提供一种方法，该方法包括提供一种观测镜组件，该观测镜组件包括：(i)细长观测镜；(ii)成像单元，其可操作地耦合到细长观测镜的远侧端部；以及(iii)一个或多个运动传感器，其可操作地耦合到成像单元。该方法还可以包括相对于细长观测镜移动成像单元，以从多个视角获得目标部位的多个成像数据。该方法还可以包括，借助于一个或多个运动传感器，当成像单元相对于细长观测镜移动时，提供成像单元的空间信息。该方法还可以包括借助于处理器，基于多个成像数据和空间信息生成目标部位的三维(3d)重建。
186.在一方面，本公开提供一种方法，该方法包括提供包括光学适配器的观测镜组件，其中该光学适配器包括:(i)壳体，其包括：第一端，其被配置为可释放地耦合到细长观测镜；以及第二端，其被配置为可释放地耦合到相机；(ii)深度传感器，其耦合到壳体；以及(iii)光学单元，其设置在壳体中。该方法还可以包括，借助于光学单元，(1)接收从对象身体内的目标部位反射并且传输通过细长观测镜的光信号，以及(2)将光信号的第一部分反射到深度传感器或相机中的一者上，同时准许光信号的第二部分穿过到深度传感器或相机中的另一者。
187.在一方面，本公开提供一种例如用于医疗成像的观测镜组件。观测镜组件可以包
括壳体单元，该壳体单元被配置为封闭细长观测镜的至少一部分。观测镜组件还可以包括成像单元，该成像单元可操作地耦合到壳体单元。成像单元可以包括光学组件，该光学组件被配置为(i)接收传输通过细长观测镜的一个或多个光束，以及(ii)将一个或多个光束的至少一部分引导到对象身体内的一个或多个位置(例如，两个或更多个位置)上。在一些情况下，两个或更多个位置中的至少一个可以包括目标部位，例如，要成像或经受外科手术的目标组织。
188.细长观测镜可以是观测镜装置的至少一部分，该观测镜装置被配置为可视化对象的组织(例如，皮肤或内部器官)的外表面和/或内表面。观测镜装置可以用于(i)检查(例如，视觉检查)对象的组织，以及(ii)诊断和/或协助医疗介入(例如，治疗，诸如手术)。观测镜装置可以是已经存在的内窥镜。内窥镜的示例可以包括但不限于膀胱镜(膀胱)、肾镜(肾脏)、支气管镜(支气管)、关节镜(关节)和结肠镜(结肠)以及腹腔镜(腹部或骨盆)。
189.观测镜组件(或观测镜组件的至少一部分，例如，壳体单元或成像单元)可以重复使用，并且可以与不同的观测镜装置互换。在一些情况下，观测镜组件可以允许来自任何现有的观测镜装置(例如，第三方腹腔镜)的观测镜可操作地耦合到一个或多个其他的传感器(例如，2d相机和/或深度传感器)，从而进一步使现有的观测镜装置的成像模态多样化。
190.在一些情况下，壳体单元可以是套筒(例如，中空套筒)，该套筒被配置为封闭细长观测镜的至少一部分。壳体单元可以具有圆形、三角形、正方形、矩形、五边形、六边形或任何部分形状或其组合形状的横截面。壳体单元的横截面形状可以与细长观测镜的横截面形状相同。在其他实施方式中，壳体单元的横截面形状可以不与细长观测镜的横截面形状相同或不需要与细长观测镜的横截面形状相同。
191.在一些情况下，壳体单元可以被配置为耦合到细长观测镜的一部分。将壳体单元耦合到细长观测镜的部分的耦合机构的示例可以包括，但是不限于，磁铁(例如，电磁铁或永磁铁)、机械系绳(例如，细绳或纤维系绳)、粘合剂(例如，固体、半固体、凝胶、粘性液体等)、内外螺纹紧固件(例如，配合紧固件或互锁紧固件、钩和孔、诸如velcro
tm
的钩和环、拧到外螺纹螺栓上的内螺纹螺母、插入lego块中内螺纹凹槽的外螺纹凸出物、安装在管道内内螺纹弯头中的外螺纹管、插入内螺纹usb插座的外螺纹通用串行总线(usb)插头等)、旋装式耦合器(例如，带或不带同轴连接器)、弹性耦合器、齿轮耦合器、流体动力耦合器和其他抓握机构，诸如相对于彼此可操作地抓住两个或多个部件的机械臂。
192.在一些情况下，壳体单元可以经由一个或多个快速释放机构(例如，卡扣配合、闩锁等)可释放地耦合到细长观测镜。快速释放机构可以被配置为将壳体单元可释放地耦合到具有不同尺寸的各种类型的细长观测镜。在示例中，壳体单元(例如，壳体单元的端部，其被配置为耦合到细长观测镜)可以包括具有不同尺寸(例如，不同的径向尺寸)的不同部段，该具有不同尺寸的不同部段被配置为可释放地耦合到具有不同尺寸的不同细长观测镜。在另一个示例中，壳体单元可以包括具有可调整孔径的可调整孔径机构，以适应具有不同尺寸的不同细长观测镜。快速释放机构可以被配置为响应于快速释放机构的一次或多次移动，诸如快速释放机构的单次、非重复移动(例如，横向的或旋转的移动)，而在锁定位置(即，耦合位置)和释放位置(即，非耦合位置)之间快速移动。快速释放机构可以被配置为响应于经由开关(例如，设置在外壳单元或细长观测镜上的机械开关)的用户指令而在锁定位置和释放位置之间快速移动。
193.快速释放机构可以被配置为准许用户在不使用工具的情况下将壳体单元可释放地耦合到细长观测镜。替代地，快速释放机构可以被配置为准许用户用一个或多个工具将壳体单元可释放地耦合到观测镜，例如，一个或多个键可操作地耦合到快速释放机构以激活快速释放机构的释放。快速释放机构可以被配置为准许用户在少于60秒的时间内将壳体单元可释放地耦合到细长观测镜。快速释放机构可以被配置为准许用户在少于60秒、55秒、50秒、45秒、40秒、35秒、30秒、25秒、20秒、15秒、10秒、5秒或更短的时间内将壳体单元可释放地耦合到细长观测镜。
194.快速释放机构可以允许两个构件的精确耦合，诸如壳体单元耦合到细长观测镜。精确的耦合可在两个构件之间提供最佳的光学路径。可在小于约20微米(μm)的准确性内实现精确耦合。在一些情况下，可在最多约100μm、90μm、80μm、70μm、60μm、50μm、40μm、30μm、20μm、10μm、9μm、8μm、7μm、6μm、5μm、3μm、2μm、1μm、900纳米(nm)、800nm、700nm、600nm、500nm、400nm、300nm、200nm、100nm、50nm或更小的准确性内实现精确耦合。
195.在一些情况下，壳体单元和细长观测镜之间的耦合可以不利用或不需要利用快速释放机构。在一些情况下，壳体单元可以被拧到细长观测镜，从而防止壳体单元从细长观测镜快速释放。在示例中，壳体单元的耦合表面(例如，内表面)可以基本上模仿细长观测镜的耦合表面的结构。
196.在一些情况下，壳体单元还可以包括一个或多个抓握机构，以减少(例如，防止)在观测镜组件的使用期间细长观测镜在壳体单元内的不期望的移动。在一些情况下，一个或多个抓握机构可以根据需要被激活，使得不禁止将细长观测镜初始插入到壳体单元中。此类抓握机构的示例可以包括但不限于机械手柄、可膨胀球囊、螺钉等。替代地或另外地，壳体单元的内表面可以被纹理化以减少(例如，防止)细长观测镜在壳体单元内的此类不期望的移动。
197.除了细长观测镜之外，观测镜组件的壳体单元可以被配置为封闭(或可释放地耦合到)至少一个另外的装置。在一些情况下，至少一个另外的装置可以包括一个或多个内窥镜手术工具。一个或多个内窥镜手术工具可以手动操作(例如，由诸如外科医生或专家的医疗从业者)。替代地，一个或多个内窥镜手术工具可以自动操作(例如，达芬奇手术器械)。通过耦合到至少一个另外的装置，本公开的观测镜组件的功能模态可以多样化成多种应用，例如，胆囊切除术、阑尾切除术、腹腔镜减肥手术、疝气修复、大肠和小肠、结肠和痔疮手术以及活组织检查(例如，肝活组织检查、乳腺活组织检查、肿瘤或癌症活组织检查等)。一个或多个内窥镜手术工具的示例可以包括但不限于关节镜钳、抓握钳、打孔钳、剪刀、凹凸透镜、半月板刀、锉刀、探针、刮匙、套管针、吸管等。
198.因此，在一些情况下，观测镜组件的壳体单元可以被配置为封闭(或可释放地耦合到)细长观测镜和至少一个内窥镜手术工具，从而允许通过单个器械单元来可视化目标组织和手术执行两者。
199.在一些情况下，成像单元可以经由上述耦合机构中的任一个耦合到壳体单元。在一些情况下，成像单元可以经由上述快速释放机构中的任一者可释放地耦合到壳体单元。
200.在一些情况下，观测镜组件可以是铰接式的，使得成像单元的至少一部分可相对于壳体单元移动。在一些情况下，成像单元可以被配置为经由相对于壳体单元的旋转运动和/或平移运动来移动以在对象身体内成像时改变视野。成像单元可以被配置为经由相对
于壳体单元的旋转运动来移动。替代地，成像单元可以被配置为经由相对于壳体单元的平移运动来移动。在另一个替代方案中，成像单元可以被配置为经由相对于壳体单元的旋转运动和平移运动两者来移动。
201.在一些情况下，成像单元可以经由至少一个接合机构可操作地耦合到壳体单元，该至少一个接合机构被配置为准许成像单元在一个或多个自由度上移动。接合机构可以准许成像单元以至少1个、2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个自由度移动。接合机构可以准许成像单元以最多10个、9个、8个、7个、6个、5个、4个、3个、2个或1个自由度移动。成像单元可以经由至少1个、2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个接合机构可操作地耦合到壳体单元。成像单元可以经由最多10个、9个、8个、7个、6个、5个、4个、3个、2个或1个接合机构可操作地耦合到壳体单元。在一些情况下，成像单元可以可操作地耦合到多个接合机构，并且多个接合机构中的一个或多个单独的接合机构可以彼此耦合。在其他实施方式中，成像单元可以可操作地耦合到多个接合机构，并且多个接合机构中的一个或多个单独的接合机构可以不彼此耦合或不需要彼此耦合。成像单元的此类移动可以是相对移动。因此，移动件可以是成像单元、壳体单元或成像单元和壳体单元两者。
202.本公开的接合机构(例如，准许成像单元相对于壳体单元移动)可以包括例如枢轴接合部、铰链接合部、鞍形接合部、髁状接合部、球窝接合部、其变型或其组合。在一些情况下，接合机构可以可操作地耦合到一个或多个致动器，该致动器被配置为引导成像单元的移动。例如，接合机构可以包括一个或多个致动器。在另一个示例中，接合机构可以直接耦合到一个或多个致动器。在不同的示例中，接合机构可以间接耦合到一个或多个致动器，其中另一个物体(例如，观测镜组件的另一个部件，诸如传动机构)经由一个或多个致动器的移动可以影响成像单元在一个或多个自由度上的移动。一个或多个致动器的示例可以包括但不限于液压致动器、气动致动器、电动致动器(例如，电动马达)、失真和盘绕聚合物(tcp)或超螺旋聚合物(scp)致动器、热致动器、磁性致动器、机械致动器、压电致动器、其变型及其组合。
203.在一些情况下，成像单元可以相对于壳体单元可伸出和可缩回。在一些情况下，成像单元可以是一次性的，并且可以用另一个成像单元替换。
204.在示例中，观测镜组件可以具有一个接合机构，例如，在壳体单元和成像单元之间的接头。在其他示例中，观测镜组件可在壳体单元和成像单元之间的两个或更多个不同位置处具有两个或更多个接合机构，从而允许具有更多个自由度的移动。在此类情况下，两个或更多个接合机构可以一致地操作(例如，手动或自动)(例如，移动一个接合机构可以自动移动另一个接合机构)，或两个或更多个接合机构的每个接合机构可以独立地操作(例如，手动或自动)。
205.替代地，观测镜组件可以不是铰接式的或不需要是铰接式的，并且成像单元可以不被配置为相对于壳体单元移动或不需要被配置为相对于壳体单元移动。
206.在一些情况下，观测镜组件可以包括运动传感器(或位置传感器)。运动传感器可以可操作地耦合到壳体单元、成像单元或壳体单元和成像单元两者。运动传感器可以是壳体单元、成像单元或壳体单元和成像单元两者的一部分。运动传感器可能能够测量(和记录)成像单元和壳体单元之间的相对移动(例如，旋转和/或平移)。在一些情况下，运动传感器可能能够测量(和记录)观测镜组件(或其一个或多个部件，诸如成像单元和/或壳体单
元)相对于细长观测镜的未被壳体单元封闭的部分的相对移动。在一些情况下，测量的移动可以包括在观测镜组件使用期间成像单元的时空移动数据。例如，可以通过计算机处理器将测量的移动与来自成像单元的成像数据(例如，图像或视频)组合，以产生目标部位的3d重建。
207.观测镜组件可以包括至少1个、2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个运动传感器。观测镜组件可以包括最多10个、9个、8个、7个、6个、5个、4个、3个、2个或1个运动传感器。运动传感器的示例可以包括但不限于惯性测量单元(imu)，诸如加速度计(例如，三轴线加速度计)、陀螺仪(例如，三轴线陀螺仪)或磁力计(例如，三轴线磁力计)。imu可以被配置为感测观测镜组件的至少一部分(诸如成像单元)的位置、取向和/或突然加速(横向、竖直、俯仰、滚动和/或偏转等)。
208.传输通过细长观测镜的一个或多个光束可以包括来自单个光源的单个光束。替代地，一个或多个光束可以是包括多个光束的组合光束。可以从单个光源或多个光源引导多个光束。多个光束可以包括至少2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个光束。多个光束可以包括最多10个、9个、8个、7个、6个、5个、4个、3个或2个光束。
209.在一些情况下，多个光束可以包括(i)白光和(ii)一个或多个激光束(例如，一个或多个相干激光)。白光可以包括来自可见电磁光谱的一种或多种波长，范围从约400纳米(nm)(或0.4微米(μm))至约700nm(或0.7μm)。一个或多个激光束可以包括至少1个、2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个激光束。一个或多个激光束可以包括最多10个、9个、8个、7个、6个、5个、4个、3个、2个或1个激光束。一个或多个激光束可以包括来自不可见电磁光谱的一种或多种波长。不可见光谱可以包括(i)大于约700nm和/或(ii)小于约400nm的波长。在一些情况下，不可见光谱可以包括(i)大于约770nm和/或(ii)小于约390nm的波长。
210.在一些情况下，白光可以包括从约400nm至约700nm的一种或多种波长。白光可以包括至少约400nm的一种或多种波长。白光可以包括最多约700nm的一种或多种波长。白光可以包括从约400nm到约450nm、约400nm到约500nm、约400nm到约550nm、约400nm到约600nm、约400nm到约650nm、约400nm到约700nm、约450nm到约500nm、约450nm到约550nm、约450nm到约600nm、约450nm到约650nm、约450nm到约700nm、约500nm到约550nm、约500nm到约600nm、约500nm到约650nm、约500nm到约700nm、约550nm到约600nm、约550nm到约650nm、约550nm到约700nm、约600nm到约650nm、约600nm到约700nm、或约650nm到约700nm的一种或多种波长。白光可以包括约400nm、约450nm、约500nm、约550nm、约600nm、约650nm或约700nm的一种或多种波长。
211.在一些情况下，一个或多个激光束可以包括从约0.7μm至约1,000μm的一种或多种波长。一个或多个激光束可以包括至少约0.7μm的一种或多种波长。一个或多个激光束可以包括最多约1,000μm的一种或多种波长。一个或多个激光束可以包括从约0.7μm至约1μm、约0.7μm至约5μm、约0.7μm至约10μm、约0.7μm至约50μm、约0.7μm至约100μm、约0.7μm至约500μm、约0.7μm至约1,000μm、约1μm至约5μm、约1μm至约10μm、约1μm至约50μm、约1μm至约100μm、约1μm至约500μm、约1μm至约1,000μm、约5μm至约10μm、约5μm至约50μm、约5μm至约100μm、约5μm至约500μm、约5μm至约1,000μm、约10μm至约50μm、约10μm至约100μm、约10μm至约500μm、约10μm至约1,000μm、约50μm至约100μm、约50μm至约500μm、约50μm至约1,000μm、约100μm至
约500μm、约100μm至约1,000μm、或约500μm至约1,000μm的一种或多种波长。一个或多个激光束可以包括从约0.7μm、约1μm、约5μm、约10μm、约50μm、约100μm、约500μm或约1,000μm的一种或多种波长。
212.在一些情况下，白光和一个或多个相干激光可以经由多个光学路径被引导通过细长观测镜并且朝向观测镜组件，例如，用于白光的第一光学路径和用于一个或多个相干激光的一个或多个第二光学路径。在示例中，多个光学路径可以包括多个光纤。替代地，白光和一个或多个相干激光可以通过细长观测镜并且经由单个光学路径朝向观测镜组件被引导。
213.观测镜组件的光学组件可以包括一个或多个反射镜。在一些情况下，(一个或多个)反射镜可以接收来自细长观测镜的一个或多个光束，并且将(一个或多个)光束的至少一部分朝向目标方向反射。因此，一个或多个反射镜可以改变(一个或多个)光束的至少一部分的光学轴线，例如，弯曲(一个或多个)光束的至少一部分。
214.在一些情况下，一个或多个反射镜可以被配置为相对于一个或多个光束的光学路径移动。在一些情况下，一个或多个反射镜可以被配置为移出(例如，向下翻转、折叠、旋转等)光学路径，从而允许一个或多个光束在不被光学组件中断的情况下行进通过成像单元并且朝向对象身体。
215.在一些情况下，光学组件可以包括分束器。分束器的示例可包括但不限于：半反射镜、二向色分束器(例如，短通或长通二向色镜)或多波段分束器。在一个示例中，分束器可以是包括彼此相邻布置的两个棱镜(例如，两个三角形玻璃棱镜)的立方体。分束器可以被配置为接收来自细长观测镜的(一个或多个)光束，并且将(一个或多个)光束的第一部分反射(或准许穿过)到目标部位，同时准许一个或多个光束的第二部分穿过(或反射)到对象身体内两个或更多个位置中的另一个位置。
216.在示例中，分束器(例如，包括短通分色镜)可以被配置为接收来自细长观测镜的(一个或多个)光束，并且(i)将(一个或多个)光束的第一部分(例如，(一个或多个)相干激光束)朝向目标部位反射，以及(ii)准许(一个或多个)光束的第二部分(例如，白光)穿过到对象身体内的两个或更多个位置中的另一个位置。替代地，分束器(例如，包括长通分色镜)可以被配置为接收来自细长观测镜的(一个或多个)光束，并且(i)将(一个或多个)光束的第二部分(例如，白光)朝向目标部位反射，以及(ii)准许(一个或多个)光束的第一部分(例如，(一个或多个)相干激光束)穿过到对象身体内的两个或更多个位置中的另一个位置。
217.在另一个示例中，分束器可以是偏振分束器，例如渥拉斯顿棱观测镜。偏振分束器可以被配置为接收来自目标部位的光信号，并且(i)将处于第一偏振的光信号的第一部分朝向目标部位反射，以及(ii)准许第二偏振的光信号的第二部分穿过，朝向对象身体内的两个或更多个位置中的另一个位置。
218.光学组件在分束器之前(例如，在光信号到达分束器之前)不可以或不需要包括任何聚焦器件(例如，光学孔径，诸如物镜)。替代地，光学组件可以在分束器之前包括一个或多个聚焦器件。光学组件可以包括被布置在分束器之前的至少1、2、3、4、5或更多个聚焦器件。光学组件可以包括被布置在分束器之前至多5、4、3、2或1个聚焦器件。
219.本公开中所用的聚焦器件可以包括任何一种透镜(例如，鱼眼形、椭圆形、圆锥形等)、反射器、光学器件、聚光器，或能够反射或聚焦光的其他器件。在一个示例中，聚焦器件
可以是中继透镜。光学组件可以包括至少一个聚焦器件(例如，至少1、2、3、4、5或更多个聚焦器件)。该至少一个聚焦器件可以设置在(i)分束器和细长观测镜之间和/或(ii)分束器和成像单元的一个或多个位置之间。
220.在一些情况下，成像单元内的光学组件的角度可以是固定的。在此类情况下，光学组件的角度可以是固定的，而不管壳体单元和成像单元之间的任何相对移动。
221.在一些情况下，成像单元内的光学组件的角度可以是可调整的。可以通过倾斜、旋转运动和/或平移运动来调整光学组件。在一些情况下，光学组件可以设置在成像单元的主体(或壳体)内或壳体单元内，使得成像单元和壳体单元之间的相对移动可以相应地调整光学组件的角度。在一些示例中，光学组件可以以固定角度设置在成像单元内，以将(一个或多个)光束的第一部分朝向成像单元的第一部段引导，并且将(一个或多个)光束的第二部分朝向成像单元的第二部段引导。(一个或多个)光束的第一部分可以被引导通过成像单元的第一部段并且朝向对象身体内的第一位置。(一个或多个)光束的第二部分可以被引导通过成像单元的第二部段并且朝向对象身体内的第二位置。因此，成像单元相对于壳体单元的任何铰接(或移动)可以相应地调整光学组件相对于壳体单元的角度，使得(i)光学组件和第一部段之间以及(ii)光学组件和第二部段之间的光学轴线(例如，定位、角度、距离等)可以保持与成像单元和壳体单元之间的相对移动之前基本上相同。
222.替代地，光学组件的角度可以独立于成像单元的移动而调整。例如，光学组件(例如，一个或多个反射镜)的角度可以相对于成像单元(例如，成像单元的第一部段和/或第二部段，成像单元内的任何传感器)和/或壳体单元进行调整(例如，机械地或电子地)。在使用观测镜组件之前、同时和/或之后，可以独立于成像单元(和/或壳体单元)的移动来调整(例如，手动或自动)光学组件的角度。在一些示例中，光学组件的角度可以被独立地调整，用于校准来自和朝向光学组件的(一个或多个)光学路径，例如，(i)在光学组件和成像单元的第一部段之间，以及(ii)在光学组件和成像单元的第二部段之间。
223.成像单元可以包括至少一个传感器，该至少一个传感器被配置为检测对象身体内一个或多个位置的可视化(例如，图像或视频)。该至少一个传感器可以是2d相机。该至少一个传感器可以是深度传感器。成像单元可以包括至少1个、2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个传感器。成像单元可以包括最多10个、9个、8个、7个、6个、5个、4个、3个、2个或1个传感器。成像单元可在成像单元内的同一部段包括多个传感器。替代地，成像单元可以包括在成像单元内不同部段的多个传感器。至少一个传感器可以通信地耦合到处理器(例如，成像处理器)，以生成对象身体内的一个或多个位置的一个或多个成像数据。该至少一个传感器可以通信地耦合到处理器。该至少一个传感器可以有线连接到处理器。替代地，该至少一个传感器可以包括至少一个通信装置(例如，rfid、nfc、蓝牙、wi-fi等)以与处理器通信。
224.在一些情况下，成像单元可以包括在成像单元的第一部段(例如，远侧端部)处的第一传感器(例如，2d相机)。第一传感器可以用于在对象身体内朝向目标部位导航。目标部位可以是用于成像、获得活检样本和/或外科手术的感兴趣部位。一旦(一个或多个)光束的第一部分被光学组件引导通过成像单元的第一部段并且朝向对象身体内的第一位置，第一光信号可以被第一位置反射或发射并且朝向第一传感器用于成像。另外，成像单元可以包括在成像单元的第二部段(例如，不同于远侧端部的侧面)处的第二传感器(例如，深度传感
器)。一旦观测镜组件到达目标部位，第二传感器可以用于可视化目标部位。一旦(一个或多个)光束的第二部分被光学组件引导通过成像单元的第二部段并且朝向对象身体内的第二位置(例如，目标部位)，第二光信号可以被第二位置反射或发射并且朝向第二传感器用于成像。
225.第一传感器可以生成第一组成像数据，并且第二传感器可以生成第二组成像数据。第二组成像数据可以包括比第一组成像数据(例如，2d图像和/或视频)更多的信息(例如，更高的分辨率、深度成像、3d成像、目标部位的重建、激光散斑成像、tof等)。在一些情况下，第一传感器和第二传感器可以同时用于多重成像。在一些情况下，可以组合第一组成像数据和第二组成像数据来分析对象身体内的一个或多个位置。在一些情况下，第一组成像数据和第二组成像数据中的一者或多者可以与运动传感器的时空移动数据组合，以生成对象身体内的一个或多个位置的3d重建。
226.在一些情况下，成像单元还可以包括深度传感器，该深度传感器被配置为接收第一光信号，该第一光信号在暴露于由光学组件引导的一个或多个光束的至少一部分时从目标部位反射。深度传感器可以利用一种或多种成像技术，其包括但不限于立体三角测量(例如，立体成像)、光三角测量片、结构光成像、飞行时间、干涉测量和编码孔径。在示例中，深度传感器可以是具有至少两个透镜的立体相机。立体相机可以包括邻近第二透镜的第一透镜。第一透镜和第二透镜可以分离一段距离。该距离可以指示立体相机的可测量深度。该距离可以是至少0.1μm、0.5μm、1μm、5μm、10μm、50μm、100μm、500μm、1mm、5mm、10mm、50mm或更多。该距离最多可为50mm、10mm、5mm、1mm、500μm、100μm、50μm、10μm、5μm、1μm、0.5μm、0.1μm或更小。
227.在一些情况下，深度传感器可以是tof传感器。放置在成像单元表面上的tof传感器可以被称为片上芯片tof传感器。tof传感器可以通信地耦合到处理器。处理器可以被配置为执行一个或多个功能。处理器可以被配置为将tof传感器可操作地耦合到用于tof光的光源。在示例中，光源可以接受来自第3方手术光源的白光，将白光与tof光组合，并且将所得的组合光束引导通过扩展观测镜并且朝向光学组件(例如，使用扩展观测镜的光纤束的光学光导)。替代地或另外地，处理器可以被配置为从tof传感器接收成像数据，计算对象身体内成像目标部位的深度。替代地或另外地，处理器可以被配置为将深度信息与不同的成像数据集(例如，来自与细长观测镜通信的第三方传感器或来自观测镜组件的成像单元的另一个传感器(例如，2d相机))组合。
228.可以选择tof光的一种或多种波长，使得该(一种或多种)波长不干扰第三方传感器或成像单元的另一个传感器。例如，聚会传感器或另一个传感器的白光照明可以是峰值的而不是均匀的。可以选择(一个或多个)tof光波长以对应于白光光谱中的谷部中的一个。然后，分束器将接收包括白光和(一种或多种)tof光波长的组合光束，并且将tof光波长重新定向(反射或传输)到tof传感器，同时将组合光束的剩余部分朝向第三方摄像机或成像单元的另一个传感器引导。
229.在一些情况下，可以选择(一个或多个)tof波长来穿透对象的目标部位(例如，用于表面下深度测量)或被目标部位的最表面反射(例如，用于高准确性表面深度测量)。
230.在一些情况下，tof成像的准确性可能取决于tof光行进的总距离。tof光的光源可以借助于光导连接到扩展观测镜。替代地，光源可以放置在观测镜组件内，从而减少tof光
行进的距离，提供潜在的更大的深度分辨率。
231.tof传感器可以是低分辨率tof传感器。低分辨率tof传感器在大小上可以小于高分辨率tof传感器。替代地，tof传感器可以是高分辨率tof传感器。
232.在一些情况下，tof传感器可以是使用外差干涉测量法的传统相机传感器(例如，最初不打算用于tof成像)。尽管传统的tof传感器可能能够感测高频(例如，在兆赫(mhz)范围内)的光，但是此类tof传感器可能体积庞大。相比之下，通过感测较慢的干涉波并且反算原始tof光的相位，外差干涉测量法可以允许传统的相机传感器用于tof深度感测。外差干涉测量法的一个或多个方面可以用于tof成像，如a.kadambi等人在ieee access,vol.5,2017年11月和li等人在ieee iccp,2018:1-10中所描述的。
233.在一些情况下，成像单元还可以包括相机，该相机被配置为接收第二光信号，该第二光信号从目标部位或对象身体内两个或更多个位置中的另一个位置反射。该相机可以是2d相机。相机的示例可以是红、绿、蓝(rgb)相机。
234.在一些情况下，深度传感器的光学轴线和相机的光学轴线可以不同。深度传感器的光学轴线可以是目标部位和深度传感器之间的光学轴线。深度传感器的光学轴线可以基本上平行于光学组件和目标部位之间的光学轴线。相机的光学轴线可以是对象身体内的不同位置和相机之间的光学轴线。相机的光学轴线可以基本上平行于光学组件和对象身体内的不同位置之间的光学轴线。在一些情况下，深度传感器的光学轴线和相机的光学轴线可能彼此不平行。深度传感器的光学轴线和相机的光学轴线可以相差至少1度、2度、3度、4度、5度、6度、7度、8度、9度、10度、20度、30度、40度、50度、60度、70度、80度、90度或更多度。深度传感器的光学轴线和相机的光学轴线可以相差最多90度、80度、70度、60度、50度、40度、30度、20度、10度、9度、8度、7度、6度、5度、4度、3度、2度或1度。在示例中，深度传感器的光学轴线可以基本上正交于相机的光学轴线。替代地，深度传感器的光学轴线和相机的光学轴线可以具有平行但不同的纵向光学轴线。
235.深度传感器的光学轴线和相机的光学轴线可以以至少1度、2度、3度、4度、5度、6度、7度、8度、9度、10度、20度、30度、40度、50度、60度、70度、80度、90度或更大的角度相交。深度传感器的光学轴线和相机的光学轴线可以以最多90度、80度、70度、60度、50度、40度、30度、20度、10度、9度、8度、7度、6度、5度、4度、3度、2度、1度或更小的角度相交。
236.在一些情况下，深度传感器可以被配置为从第一光信号生成第一组成像数据，并且相机可以被配置为从第二光信号生成第二组成像数据。第一组成像数据可以包括包含深度信息的照片或视频图像，并且第二组成像数据包括二维照片或视频图像。第一组成像数据可以包括目标部位的深度图。深度图(或视差图)可以是3d视觉场景(例如，对象身体内的目标部位)的2d指示，其中2d指示的每个元素(例如，像素)的值可以指示深度传感器和对象身体内的目标部位的相应位置之间的距离。在一些情况下，第一组成像数据和第二组成像数据可以单独使用或可以组合起来用于分析对象身体内的一个或多个位置。
237.观测镜组件可以是一次性的，并且被配置为在医疗成像程序中一次性使用。替代地，观测镜组件可以被配置为可重复用于多个医疗成像程序。多个医疗成像程序可以针对同一对象(例如，同一患者)或针对多个不同对象。观测镜组件可以可重复用于至少2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个医疗成像程序。观测镜组件可以可重复用于最多10个、9个、8个、7个、6个、5个、4个、3个或2个医疗成像程序。在一些情况下，观测镜组件
可以是可高压灭菌的，以供后续无菌使用。
238.本公开的观测镜组件(例如，壳体单元和/或成像单元)可以根据具体应用和/或医疗从业者的偏好而包括一种或多种适用于医疗应用的生物学上可接受的和/或相容的材料。例如，观测镜组件的部件可以包括以下材料或由以下材料制成：诸如聚氯乙烯、聚偏二氯乙烯、低密度聚乙烯、线性低密度聚乙烯、聚异丁烯、聚(乙烯-醋酸乙烯酯)共聚物、轻质铝箔及其组合、不锈钢合金、商业纯钛、钛合金、银合金、铜合金、5级钛、超弹性钛合金、钴-铬合金、不锈钢合金、超弹性金属合金(例如，镍钛诺、超弹塑性金属，诸如由日本丰田材料公司制造的gum)、陶瓷及其复合材料，诸如磷酸钙(诸如biologix公司制造的)、热塑性塑料(诸如聚芳醚酮(paek)，包括聚醚醚酮(peek)、聚醚酮酮(pekk)和聚醚酮(pek)、碳-peek复合材料，peek-bas04聚合橡胶、聚对苯二甲酸乙二醇酯(pet))、织物、硅酮、聚氨酯、硅酮-聚氨酯共聚物、聚合橡胶、聚烯烃橡胶、水凝胶、半刚性和刚性材料、弹性体、橡胶、热塑性弹性体、热固性弹性体、弹性复合材料、刚性聚合物，包括聚亚苯基、聚酰胺、聚酰亚胺、聚醚酰亚胺、聚乙烯、环氧树脂、玻璃、其变体及其组合。
239.观测镜组件的至少一部分可以是不透明的、半透明的或透明的。在一些情况下，观测镜组件可以是不透明的，并且被配置为阻挡任何外部光(i)通过观测镜组件进入观测镜组件内的一个或多个部件(例如，成像单元)，以及(ii)干扰指向对象的目标部位或从对象的目标部位指向的一个或多个光信号。
240.观测镜组件内部的压力可以与环境压力(例如，大气压力)大致相同。替代地，可以控制(或调节，例如，手动或自动)观测镜组件内部的压力，使得观测镜组件的内部压力低于或高于环境压力。观测镜组件内部的温度可能与环境温度(例如，室温)大致相同。替代地，可以控制(或调节，例如，手动或自动)观测镜组件内部的温度，使得观测镜组件的内部温度低于或高于环境温度。观测镜组件内部的湿度可以与环境湿度大致相同。替代地，可以控制(或调节，例如，手动或自动)观测镜组件内部的湿度，使得观测镜组件的内部湿度低于或高于环境湿度。在一些示例中，可以调节观测镜组件的压力、温度和/或湿度，以实现观测镜组件的最佳功能。
241.在一些情况下，本公开的观测镜组件可以可操作地耦合到光学适配器。
242.本公开的光学适配器可以允许目标部位的表面下方的结构或特征(例如，血流)的可视化，该目标部位的表面下方的结构或特征通常对于人眼或其他观测镜组件是不可见的。本公开的光学适配器可以使其不可见可见。本公开的光学适配器可以帮助可视化不可见物。光学适配器作为带着现有观测镜组件(例如，带着现成相机的内窥镜)的单一配置，可以实现多种不同的成像模态。例如，光学适配器可以在单一配置中具备散斑成像能力以及提供照片和/或视频。在这种情况下，光学适配器可以允许用户在不同的可视化模式之间切换，例如，(i)仅基于白光的视频，(ii)仅激光散斑成像，以及(iii)基于白光的视频和激光散斑成像。
243.光学适配器可以被配置为可操作地耦合到用于医疗成像的细长观测镜和第三方相机。光学适配器可以增强细长观测镜和第三方相机的一个或多个功能(例如，成像功能)。光学适配器可以将一个或多个另外的功能(例如，成像功能)引入细长观测镜和第三方相机。该光学适配器可以允许用户(例如，诸如医生的执业医师、执业护士、护士、成像专家等)以任何传统的观测镜组件单独无法做到的一种或多种方式来可视化和/或分析受检者的目
标部位，例如患者的内部组织。
244.在一些情况下，光学适配器可以包括壳体，该壳体包括：(1)第一端，其被配置为可释放地耦合到观测镜；以及(2)第二端，其被配置为可释放地耦合到相机。光学适配器可以包括壳体中的图像传感器。光学适配器可以包括光学组件，该光学组件设置在壳体中。该光学组件被配置为(1)接收从对象身体内的目标部位反射并且传输通过该观测镜的光信号，以及(2)将光信号的第一部分反射到图像传感器或相机中的一者上，同时准许光信号的第二部分穿过到图像传感器或相机中的另一者。在一些情况下，图像传感器可以是如本公开中所提供的tof传感器。
245.在一些情况下，观测镜组件和光学适配器可以可操作地彼此耦合。观测镜组件和光学适配器可以被配置为从彼此传输成像数据。
246.成像套件
247.本公开的任何对象观测镜组件都可以作为成像套件的一部分并入。在一方面，本公开提供一种成像套件，其包括本公开的任何对象观测镜组件和一个或多个照明源，该照明源被配置为将一个或多个光束传输到细长观测镜并且通过细长观测镜。该套件可以包括至少1个、2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个照明源。该套件可以包括最多10个、9个、8个、7个、6个、5个、4个、3个、2个或1个照明源。在一些情况下，单个照明源可以被配置为将至少1个、2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个光束传输到观测镜。单个照明源可以被配置为将最多10个、9个、8个、7个、6个、5个、4个、3个、2个或1个光束传输到观测镜。在一些情况下，多个照明源可以被配置为将至少2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个光束传输到观测镜。多个照明源可以被配置为将最多10个、9个、8个、7个、6个、5个、4个、3个或2个光束传输到观测镜。在示例中，照明源可以被配置为将组合光束传输到细长观测镜，以将组合光束的至少一部分引导到对象身体内的多个位置上。
248.图1a示意性地图示了用于医疗成像的示例生态系统。生态系统可以包括对象的一个或多个目标部位2100(例如，患者的一个或多个感兴趣的组织部位)。生态系统可以包括观测镜组件2200。观测镜组件2200可以可操作地耦合到细长观测镜2300(或可以封闭细长观测镜2300的至少一部分)。生态系统可以包括与细长观测镜2300光学通信的照明源2400。照明源2400可以被配置为通过细长观测镜2300、通过观测镜组件2200并且朝向(一个或多个)目标部位2100提供一个或多个光束(例如，组合光束)。(一个或多个)目标部位2100可以与观测镜组件2200光学通信，使得(i)(一个或多个)目标部位2100可以被来自观测镜组件2200的一个或多个光束照射，以及(ii)观测镜组件2200的至少一个传感器(例如，2d相机或深度传感器)可以检测由(一个或多个)目标部位2100在此类照射时反射或发射的一个或多个光信号。观测镜组件2200可以被配置为基于来自(一个或多个)目标部位2100的一个或多个光信号的至少一部分来捕获目标部位的至少一个图像或视频。观测镜组件2200、细长观测镜2300和/或照明源2400可以可操作地耦合到成像处理器2500。成像处理器2500可以被配置为调节医疗成像的一个或多个过程。
249.图1b示意性地图示了用于医疗成像的不同的示例生态系统。如图1a中所示，图1b的生态系统可以包括(一个或多个)目标部位2100、观测镜组件2200、细长观测镜2300、照明源2400和成像处理器2500。参考图1b，生态系统还可以包括光学适配器2600，其可操作地耦合到观测镜组件2200的一个或多个部件。光学适配器2600可以与观测镜组件2200和细长观
测镜2300光学通信，使得光学适配器2600可以从观测镜组件2200和/或细长观测镜2300接收一个或多个光信号。光学适配器2600可以被配置为基于接收到的一个或多个光信号生成数据(例如，图像、视频、激光散斑成像等)。成像处理器2500可以被配置为分析或组合由观测镜组件2200和光学适配器2600生成的数据、(一个或多个)图像或(一个或多个)视频。
250.图1c示意性地图示了用于医疗成像的示例生态系统。生态系统可以包括对象的一个或多个目标部位2100(例如，患者的一个或多个感兴趣的组织部位)。生态系统可以包括观测镜组件。观测镜组件可以包括成像单元2220，该成像单元2220包括一个或多个传感器(例如，相机、深度传感器或两者)，该成像单元2220可操作地耦合到(例如，连接到)细长观测镜2300。生态系统可以包括与细长观测镜2300光学通信的照明源2400。照明源2400可以被配置为通过细长观测镜2300、可选地通过成像单元2220并且朝向(一个或多个)目标部位2100提供一个或多个光束(例如，组合光束)。(一个或多个)目标部位2100可以与观测镜组件光学通信，使得(i)(一个或多个)目标部位2100可以被来自观测镜组件的一个或多个光束照射，以及(ii)成像单元2220的至少一个传感器(例如，2d相机或深度传感器)可以检测在此类照射时由(一个或多个)目标部位2100反射或发射的一个或多个光信号。成像单元2220可以被配置为基于来自(一个或多个)目标部位2100的一个或多个光信号的至少一部分来捕获目标部位的至少一个图像或视频。成像单元2220、细长观测镜2300和/或照明源2400可以可操作地耦合到成像处理器2500。成像处理器2500可以被配置为调节医疗成像的一个或多个过程。
251.图1d示意性地图示了用于医疗成像的示例生态系统。生态系统可以包括对象的一个或多个目标部位2100(例如，患者的一个或多个感兴趣的组织部位)。生态系统可以包括细长观测镜2300。观测镜组件可以包括光学适配器2600，该光学适配器2600包括至少一个传感器(例如，深度传感器)。光学适配器2600可以可操作地耦合到(例如，可释放地耦合到)细长观测镜2300。该生态系统可以包括可操作地耦合到(例如，可释放地耦合到)光学适配器2600的第三方相机2310(例如，二维相机)。生态系统可以包括与细长观测镜2300光学通信的照明源2400。照明源2400可以被配置为通过细长观测镜2300并且朝向(一个或多个)目标部位2100提供一个或多个光束(例如，组合光束)。光学适配器2600可以包括光学单元(例如，一个或多个反射镜)，该光学单元被配置为(1)接收从目标部位2100反射并且传输通过细长观测镜2300的光信号，以及(2)将光信号的第一部分反射到光学适配器2600的深度传感器或第三方相机2310中的一者上，同时准许光信号的第二部分穿过光学适配器2600或第三方相机2310中的另一者。光学适配器2600(例如，光学适配器2600的深度传感器)、第三方相机2310和/或照明源2400可以可操作地耦合到成像处理器2500。成像处理器2500可以被配置为调节医疗成像的一个或多个过程。
252.图2示意性地图示了现有的观测镜。现有的观测镜可以包括可操作地耦合到第三方相机2310的细长观测镜2300。细长观测镜2300可以接收来自照明源2400的一个或多个光束2410，并且将(一个或多个)光束2410朝向对象身体内的目标部位引导。在暴露于(一个或多个)光束2410时，目标部位可以反射或发射光信号，该光信号可以经由细长观测镜2300被朝向第三方相机2310引导。第三方相机2310可以基于接收到的光信号生成目标部位的图像或视频。
253.图3a示意性地图示了本公开的观测镜组件2200的示例。观测镜组件2200可以可操
作地耦合到现有的观测镜，例如图2中图示的现有的观测镜。参考图3a，观测镜组件2200可以包括壳体单元2210，该壳体单元2210被配置为封闭(或可释放地耦合到)细长观测镜2300的至少一部分。如本公开本文所描述的，观测镜组件2200可以包括成像单元2220。例如，成像单元2220可以被配置为相对于壳体单元2210平移和/或旋转移动，以增加成像单元2220的视野。在一些情况下，成像单元2220可以包括至少两个单独的传感器，该至少两个单独的传感器设置在成像单元2220的不同侧面上。成像单元2220可以包括一个或多个开口，以允许一个或多个光束传输通过成像单元2220通过细长观测镜2300并且到达对象身体内的一个或多个位置。
254.图3b示意性地图示了本公开的观测镜组件2200的另一个示例。观测镜组件2200可以可操作地耦合到现有的观测镜，例如图2中图示的现有的观测镜。参考图3b，观测镜组件2200可以包括壳体单元2210，该壳体单元2210被配置为封闭(或可释放地耦合到)细长观测镜2300的至少一部分。如本公开本文所描述的，观测镜组件2200可以包括成像单元2220。在一些情况下，成像单元2220可以包括至少两个单独的传感器，该至少两个单独的传感器设置在成像单元2220的不同侧面上。在一些情况下，细长观测镜2300可以耦合到光学适配器2600。光学适配器可以耦合到第三方相机2310。光学适配器2600可以被配置为接收由对象身体内的一个或多个位置反射或发射的一个或多个光信号(经由成像单元2220和/或细长观测镜2300)。光学适配器2600可以将(一个或多个)接收到的光信号的第一部分朝向光学适配器2600内的传感器引导，并且将(一个或多个)接收到的光信号的第二部分朝向第三方相机2310引导。
255.图3c示意性地图示了图3b中图示的医疗成像生态系统的实施方式。参考图3c，白光源2420和激光光源2430可以可操作地(例如，光学地)彼此通信。激光光源2430可以将白光和一个或多个激光波长光束组合成组合光束2410，并且将组合光束2410朝向细长观测镜2300引导。组合光束2410可以被朝向观测镜组件2200的成像单元2220引导，以可视化对象身体内的一个或多个位置。成像单元2220的一个或多个传感器(例如，2d相机、深度传感器)可以接收由一个或多个位置反射或发射的光信号，并且将此类成像数据(例如，无线地)传输到成像处理器2500。此外，来自一个或多个位置的光信号的至少一部分可以经由细长观测镜2300并且朝向光学适配器2600传输。光学适配器2600可以经由耦合器2640耦合到细长观测镜2300。光学适配器2600可以包括壳体2610内的光学组件2630。光学组件2630可以将接收到的光信号的一部分朝向图像传感器2620引导。图像传感器(例如，深度传感器)然后可以生成成像数据，并且将此类成像数据传输到激光源2430。光学组件2630可以将接收到的光信号的不同部分朝向第三方相机(例如，2d相机)2220引导。相机2220然后可以生成成像数据，并且将此类成像数据传输到成像处理器2500。激光源2430和成像处理器2500可以可操作地彼此耦合，以分析和/或组合多个成像数据。任何分析(例如，图像、视频、3d重建)可以例如在医疗成像程序期间实时显示在成像显示器2510上。
256.图3d示意性地图示了相对于细长观测镜2300的观测镜组件2200的示例配置。观测镜组件2200的壳体单元2210可以封闭细长观测镜2300的远侧端部的至少一部分。观测镜组件2200的成像单元2220可以被配置为相对于壳体单元2210平移和/或旋转，而不接触细长观测镜2300的任何部分。在示例中，细长观测镜2300的横截面尺寸可以是约5mm。因此，壳体单元2210的横截面尺寸可以大于约5mm，例如，约10mm，以便能够封闭细长观测镜2300的远
侧端部。壳体单元2210的内表面和细长观测镜2300的外表面可以彼此接触。在其他实施方式中，壳体单元2210的内表面和细长观测镜2300的外表面可以不彼此接触或不需要彼此接触。
257.图4a示意性地图示了本公开的观测镜组件的示例。在图4a中图示了观测镜组件的成像单元的远侧端部。成像单元的远侧端部可以包括相机和单独的深度传感器(例如，立体传感器)。相机可以包括第一透镜，并且深度传感器可以包括与相机的第一透镜不同的多个透镜(例如，左透镜和右透镜)。如图4a中所示，相机的透镜和深度传感器可以设置在成像单元的同一侧面上。在其他实施方式中，相机的第一透镜可以设置在与深度传感器的多个透镜不同的侧面上。在一些情况下，深度传感器的左透镜和右透镜之间的距离可以指示深度传感器和对象身体内的位置之间的可测量深度。
258.图4b至图4f示意性地图示了本公开的观测镜组件的不同示例。参考图4b，观测镜组件可以包括壳体单元，该壳体单元可以是可重复使用的滑动套筒，以封闭细长观测镜的远侧端部。观测镜组件还可以包括成像单元，该成像单元可以是一次性的铰接末端。成像单元可以包括位于远侧端部的面向前方的2d相机，用于导航通过对象身体以找到目标部位。成像单元可以包括深度传感器(例如，立体相机或tof相机)来提供目标部位的深度感知成像。可选地，对象身体内目标部位的灌注数据可以用于深度感知。成像单元可以相对于壳体单元铰接。如图4c中所示，成像单元还可以包括一个或多个运动传感器(例如，imu)，该一个或多个运动传感器被配置为在医疗成像期间感测成像单元的位置、取向和/或突然加速。如图4b至图4c中所示，面向前方的2d相机和深度传感器可以基本上彼此正交。
259.参考图4d，观测镜组件的成像单元可以相对于观测镜组件的壳体单元以不同的配置设置。在示例中，成像单元可以经由l型接头耦合到壳体单元，其中成像单元的一端耦合到壳体单元，并且被配置为过渡地和/或旋转地移动。在另一个示例中，成像单元可以经由t型接头耦合到壳体单元，其中成像单元的中间部分耦合到壳体单元，并且被配置为过渡地和/或旋转地移动。l型成像单元和t型成像单元的示例模型如图4e中示出的。如图4e中所描绘的，细长观测镜的远侧端部可以通过成像单元的至少一部分(例如，l型或t型)光学暴露，使得细长观测镜的远侧端部与对象身体内的目标部位光学通信。当进行此类光学通信时，细长观测镜的远侧端部可以被配置为将一个或多个光束直接引导到目标部位。为了实现这一点，成像单元的至少一部分可以包括(i)开口或(ii)透明或半透明窗口，以光学地暴露细长观测镜的远侧端部。
260.图4f示意性地图示了可操作地耦合到细长观测镜的观测镜组件的详细示意图。控制箱可以被配置为接收来自第三方光源的白光、来自激光光源的一束或多束激光束、第三方相机信号以及来自观测镜组件的成像单元的一个或多个传感器的成像数据。控制箱可以被配置为将白光和一个或多个激光束的组合光递送(例如，通过引导一个或多个光源)到第三方观测镜(例如，细长观测镜)。在成像之后，控制箱(例如，其包括处理器)和监测器可以至少基于来自观测镜组件的成像单元的深度传感器的成像数据来显示对象身体内目标部位的深度(以及可选地灌注)成像。成像单元可以使用片上芯片立体相机(或tof传感器)并且通过将一个或多个光束(例如，激光光束)投影到目标部位来提供目标部位的侧面深度感知(以及可选地目标部位内的灌注)。在示例中，一个或多个光束可以包括5个激光波长和标准的腹腔镜白光。成像单元还可以利用与立体相机基本上正交设置的面向前方的2d相机。
由于成像单元以一个或多个自由度铰接，因此面向前方的2d相机可以便于将观测镜组件插入对象身体中并且在对象身体内导航，同时侧视立体相机可以用作具有更宽视野的主视觉系统。当成像单元(或观测镜组件的远侧头部)的角度改变时，成像单元内的可调整反射镜可以相应地调整，以确保重新定向的(一个或多个)光束(例如，(一个或多个)激光束)相对于立体相机的光学轴线保持在适当的角度(例如，基本上平行于立体相机的光学轴线)。由成像单元的深度传感器的2d相机生成的任何成像数据可以被传输(例如，无线地)到控制箱，用于图像处理和分析。
261.图5示意性地图示了用于观测镜组件的控制单元。观测镜组件2200可以从一个或多个传感器(诸如深度传感器)生成一个或多个空间信号。观测镜组件2200还可以从一个或多个运动传感器生成一个或多个imu信号。空间信号可以用于提供包括深度感知的3d成像。空间信号可以与imu信号(记录的)组合，用于对象身体内目标部位的实时3d重建。图像或视频拼接可以用于实时3d重建。来自第三方相机2310的3d成像、3d重建或任何2d图像/视频可以作为输出2610传输，例如，以显示在监测器上或存储在与观测镜组件的控制单元通信的数据库中。此外，观测镜组件可以可操作地耦合到光学适配器，该光学适配器设置在细长观测镜和第三方相机2310之间。光学适配器可以包括又一个传感器，以检测由目标部位反射或发射的光信号(例如，超光谱信号)的至少一部分，以实时地并且在不使用染料的情况下生成指示目标部位的一个或多个解剖结构的成像数据。此类成像数据也可以是输出2610的一部分。控制单元2650也可以可操作地耦合到照明源2400，以将组合光(例如，白光和一个或多个激光波长)2410朝向细长观测镜引导。
262.图6a至图6b示意性地图示了包括运动传感器的观测镜组件的示例。观测镜组件的一个或多个运动传感器可以允许多个图像(例如，2d图像或3d图像)的实时配准和拼接，以重建目标部位的3d视图。可以使用一个或多个运动传感器在基础空间(例如，相对于对象身体的空间)中配准相机空间中的多个图像。参考图6a，观测镜组件可以包括在成像单元臂2225的第一铰链处的第一运动传感器2700(例如，imu)。第一铰链可以允许成像单元臂2225在3个自由度上移动，并且第一运动传感器2700可以检测和记录成像单元臂2225的位置、取向和/或突然加速。观测镜组件还可以包括在成像单元2220的第二铰链处的第二运动传感器2710(例如，imu)。第二铰链可以允许成像单元2220在3个自由度上移动，并且第二运动传感器2710可以检测和记录成像单元2220的位置、取向和/或突然加速。
263.参考图6b，观测镜组件2200可以生成多个立体图像(例如，通过使用深度传感器，诸如立体相机或tof传感器)和指示观测镜组件的一个或多个部分的移动(例如，成像单元的移动)的多个imu信号。成像处理器2500可以使用一种或多种立体算法(例如，使用一种或多种机器学习算法)来基于多个立体图像生成对象身体内的目标部位的深度图。每个深度图可以是点云(例如，空间中的一组数据点)。成像处理器2500可以使用多个imu信号来将相机空间中的多个图像变换到基础空间，从而允许缝合深度图用于3d重建。一种或多种拼接算法(例如，使用一种或多种机器学习算法)可以用于3d重建。
264.图7a至图7d示意性地图示了用于深度感测的示例成像系统。图7a示意性地图示了立体镜适配器的示例。立体适配器可以被配置为耦合在第三方立体镜和第三方相机(例如，2d单相机)之间。立体适配器可以包括一个或多个传感器，以(i)接收由对象身体内的目标部位反射(或发射)并且经由立体镜传输的光信号的至少一部分，以及(ii)生成包括深度成
像和灌注成像的成像数据。控制单元可以将一个或多个光束引导到立体镜，以将目标部位暴露于一个或多个光束。第三方相机可以被配置为接收光信号的不同部分，以生成例如彩色视频。控制单元可以被配置为覆盖来自立体适配器的(一个或多个)传感器的彩色视频和成像数据，以在医疗成像程序之前、同时或之后校准立体适配器。立体镜适配器可以不接触或不需要接触患者。立体镜适配器可能对任何现有的手术室装备引起最小的干扰。然而，在一些情况下，立体镜适配器可能难以对准，并且要求现有的立体镜。
265.参考图7b，观测镜组件2200的壳体单元2210可以是可展开的、非铰接式套筒，其被配置为适配在(或封闭)5mm厚的细长观测镜2300上方。观测镜组件2200的壳体单元2210的外径可以是10mm，这可在内窥镜手术的可接受大小的范围内。观测镜组件2200的远侧端部(例如，铰接成像单元2220)的顶部和/或侧面上的一个或多个传感器可以收集对象身体内目标部位的深度数据和/或灌注数据。一个或多个传感器可以包括立体传感器或tof传感器。单独地，目标部位的彩色图像和/或视频可由第三方相机2310收集。控制单元可以被配置为覆盖来自观测镜组件2200的(一个或多个)传感器的彩色图像/视频和成像数据，以在医疗成像程序之前、同时或之后校准观测镜组件2200。在一些情况下，观测镜组件可以收集比本公开中提供的立体镜适配器更高分辨率的深度图像。观测镜组件可以与一个或多个现有的细长观测镜(例如，现有的腹腔镜)兼容。然而，在一些情况下，观测镜组件可能会与对象身体接触，并且可能要求手术前校准。此外，观测镜组件可能要求不同的工作流程和针对任何现有的细长观测镜设置的另外的装备。
266.参考图7c，光学适配器2600可以包括tof传感器，以收集对象身体内目标部位的深度数据和/或灌注数据。控制单元可以引导一个或多个光源以引导至少一个tof光(例如，选通调幅tof光)通过细长观测镜并且到目标部位。由目标部位反射和发射的任何光信号可以被细长观测镜重新定向到光学适配器2600。光学适配器2600中的tof传感器可以基于重新定向光的至少一部分来收集目标部位的深度数据。光学适配器2600的tof传感器或不同的传感器可以基于重新定向光的至少一部分来收集目标部位的灌注数据。此外，目标部位的彩色图像和/或视频可由第三方相机2310基于重新定向光的不同部分来收集。控制单元可以被配置为覆盖来自光学适配器2600的(一个或多个)传感器的彩色图像/视频和成像数据(深度数据和/或灌注数据)，以在医疗成像程序之前、同时或之后校准光学适配器2600。光学适配器可以不接触或不需要接触患者。光学适配器可以与一个或多个现有的细长观测镜(例如，现有的腹腔镜)兼容。光学适配器可能不需要或不要求任何不同于现有的细长观测镜的工作流程。
267.参考图7d，观测镜组件2200的壳体单元2210可以是可展开的非、铰接式套筒，其被配置为适配(或封闭)在细长观测镜2300上方。观测镜组件2200的远侧端部(例如，铰接成像单元2220)的顶部和/或侧面上的一个或多个传感器可以收集对象身体内目标部位的深度数据和/或灌注数据。一个或多个传感器可以包括立体传感器或tof传感器。一个或多个传感器还可以包括2d传感器。图7d中示出的医疗成像系统可能不需要或不要求第三方相机。相反，除了深度数据和/或灌注数据之外，观测镜组件2200上的(一个或多个)传感器还可以收集颜色数据。因此，与图7a至图7c中图示的其他成像系统相比，图7d中图示的医疗成像系统可能不需要或不要求第三方数字图像/视频记录器、第三方数字图像/视频处理器和第三方光源(用于白光)。取而代之的是，控制单元可以将多个光束(例如，激光光束)引导到细长
观测镜2300。控制单元还可以被配置为接收由观测镜组件2200收集的成像数据，用于分析和在第三方显示器上显示结果。
268.观测镜组件的使用方法
269.本公开的任何对象观测镜组件可以用于对象的目标部位的医疗成像。在一个方面，本公开提供一种使用观测镜组件进行医疗成像的方法。图8示出了使用观测镜组件进行医疗成像的方法的示例流程图。该方法可以包括提供观测镜组件，该观测镜组件包括：(i)壳体单元，其被配置为封闭细长观测镜的至少一部分；以及(ii)成像单元，其可操作地耦合到壳体单元，其中成像单元包括光学组件(过程2810)。该方法还可以包括由光学组件接收传输通过细长观测镜的一个或多个光束，并且使用光学组件将一个或多个光束的至少一部分引导到对象身体内的两个或更多个位置上，其中两个或更多个位置中的至少一个包括目标部位(过程2820)。该方法还可以包括经由相对于壳体单元的旋转运动和/或平移运动来移动成像单元，以在对象身体内成像时改变视野(过程2830)。
270.图9示出了使用观测镜组件进行医疗成像的方法的另外的示例流程图。该方法可以包括提供观测镜组件，该观测镜组件包括：(i)壳体单元，其被配置为封闭细长观测镜的至少一部分；以及(ii)成像单元，其可操作地耦合到壳体单元，其中成像单元包括光学组件(过程2910)。该方法还可以包括由光学组件接收传输通过细长观测镜的一个或多个光束，并且使用光学组件将(1)一个或多个光束的第一部分引导到对象身体内的目标部位上，以及(2)一个或多个光束的第二部分引导到对象身体内的另一个部位上(过程2920)。该方法还可以包括，借助于至少一个深度传感器，接收从目标部位反射的第一光信号，并且生成包括深度图的第一组成像数据(过程2930)。该方法还可以包括，借助于至少一个深度传感器，接收从另一个部位反射的第二光信号，并且生成包括2d照片或视频图像的第二组成像数据(过程2940)。
271.本公开的对象观测镜组件中的任一个都可以用于成像、测量和/或分析目标部位在目标身体内的深度。本文公开的观测镜组件的深度感测应用的示例可以包括但不限于深度标度、3d测量、3d覆盖(例如，深度和激光散斑信息)、3d重建、已经成像的内容与尚未成像的内容的指示或暗示、当观察(例如，放大)特定特征时给观测镜组件的操作员方向感的小图特征、在第一人称视点和第三人称视点之间的切换等。
272.任何一种本公开的对象光学适配器均可以用于可视化对象体内的目标部位的解剖结构、形态、一个或多个生理特征，和/或一个或多个病理特征。生理和/或病理特征的示例可以包括但不限于：氧合、脱氧、动脉-静脉(a-v)分类、体液(例如，血液、淋巴、组织液、乳汁、唾液、精液、胆汁等)的流速和/或流量，诸如血液灌注或梗塞、血管生成、细胞密度、炎症、组织肿胀(例如脑肿胀)、组织死亡、组织尺寸(例如，直径、面积、体积)、病毒感染、细菌感染、肿瘤尺寸(例如，直径、面积、体积)、肿瘤切除后的肿瘤边缘、转移性生长等。
273.对象体内的目标部位的示例可以包括但不限于：甲状腺、肾上腺、乳腺、前列腺、睾丸、气管、上腔静脉、内腔静脉、肺、肝脏、胆囊、肾脏、输尿管、阑尾、膀胱、尿道、心脏、食道、横膈膜、主动脉、脾脏、胃、胰腺、小肠、大肠、直肠、阴道、卵巢、骨骼、胸腺、皮肤、脂肪、眼睛、大脑、胎儿、动脉、静脉、神经、输尿管、胆管、健康组织和病变组织。
274.在一些情况下，病变组织可能会受到选自以下疾病群中的肿瘤或癌症的影响：棘皮瘤、腺泡细胞癌、听神经瘤、肢端着色斑性黑素瘤、肩螺旋体瘤、急性嗜酸性粒细胞白血
病、急性淋巴细胞白血病、急性巨核细胞白血病、急性单核细胞白血病、成熟型急性髓母细胞白血病、急性髓系树突状细胞白血病、急性髓系白血病、急性早幼粒细胞白血病、釉质瘤、腺癌、囊性腺样癌、腺瘤、腺性成釉细胞瘤、肾上腺皮质癌、成人t细胞白血病、侵袭性nk细胞白血病、艾滋病相关癌症、艾滋病相关淋巴瘤、泡状软部肉瘤、成釉细胞纤维瘤、肛门癌、间变性大细胞淋巴瘤、间变性甲状腺癌、血管免疫母细胞t细胞淋巴瘤,血管肌脂瘤、血管肉瘤、阑尾癌、星形细胞瘤、非典型畸胎样横纹肌肿瘤、基底细胞癌、基底样癌、b细胞白血病、b细胞淋巴瘤,贝里尼导管癌、胆道癌、膀胱癌、母细胞瘤、骨癌、骨肿瘤、脑干胶质瘤、脑肿瘤、乳腺癌、brenner肿瘤、支气管肿瘤、细支气管肺泡癌、布朗肿瘤、伯基特淋巴瘤、原发部位不明的癌症、类癌瘤、恶性肿瘤、原位癌、阴茎癌、原发部位不明的癌瘤、癌肉瘤、castleman病、中枢神经系统胚胎肿瘤、小脑星形细胞瘤、脑星形细胞瘤、宫颈癌、胆管癌、软骨瘤、软骨肉瘤、脊索瘤、绒毛膜癌、脉络丛乳头状瘤、慢性淋巴细胞白血病、慢性单核细胞白血病、慢性粒细胞白血病、慢性骨髓增生性障碍、慢性中性粒细胞白血病、透明细胞肿瘤、结肠癌、结直肠癌、颅咽管瘤、皮肤t细胞淋巴瘤、degos病、隆凸性皮肤纤维肉瘤、皮样囊肿、促结缔组织增生性小圆细胞瘤、弥漫性大b细胞淋巴瘤、胚胎发育不良性神经上皮瘤、胚胎癌、内胚层窦瘤、子宫内膜癌、子宫内膜子宫癌、子宫内膜样肿瘤、肠病相关t细胞淋巴瘤、室管膜母细胞瘤、室管膜瘤、上皮样肉瘤、红白血病、食道癌、神经上皮瘤、尤文氏家族肿瘤、尤文氏家族肉瘤、尤文氏肉瘤、颅外生殖细胞肿瘤、性腺外生殖细胞肿瘤、肝外胆管癌、乳房外佩吉特氏病、输卵管癌、胎内胎畸形儿、纤维瘤、纤维肉瘤、滤泡性淋巴瘤、滤泡性甲状腺癌、胆囊癌、胆癌、神经节神经胶质瘤、神经节神经瘤、胃癌、胃淋巴瘤、胃肠道癌、胃肠道类癌瘤、胃肠道间质瘤、胃肠道间质肿瘤、生殖细胞肿瘤、生殖细胞瘤、妊娠绒毛膜癌、妊娠滋养细胞肿瘤、骨巨细胞瘤、多形性胶质母细胞瘤、神经胶质瘤、脑神经胶质瘤、血管球瘤、胰升血糖素瘤、性腺母细胞瘤、颗粒细胞瘤、毛细胞白血病、毛状细胞白血病、头颈癌、头颈部癌、心脏癌、血管母细胞瘤、血管外皮细胞瘤、血管肉瘤、血液系统恶性肿瘤、肝细胞癌、肝脾t细胞淋巴瘤、遗传性乳腺-卵巢癌综合征、霍奇金淋巴瘤、霍奇金氏淋巴瘤、下咽癌、下丘脑胶质瘤、炎性乳腺癌、眼内黑色素瘤、胰岛细胞癌、胰岛细胞瘤、青少年慢性骨髓单核细胞性白血病、卡波济肉瘤、卡波济氏肉瘤、肾癌、klatskin肿瘤、krukenberg肿瘤、喉癌、喉部癌、恶性痣性黑色素瘤、白血病、血癌、唇和口腔癌、脂肪肉瘤、肺癌、黄体瘤、淋巴管瘤、淋巴管肉瘤、淋巴上皮瘤、淋巴样白血病、淋巴瘤、巨球蛋白血症、恶性纤维组织细胞瘤、恶性纤维性组织细胞瘤、骨恶性纤维组织细胞瘤、恶性胶质瘤、恶性间皮瘤、恶性周围神经鞘瘤、恶性横纹肌样肿瘤、恶性蝾螈瘤、malt淋巴瘤、套细胞淋巴瘤、肥大细胞白血病、纵隔生殖细胞肿瘤、纵隔肿瘤、甲状腺髓样癌、髓母细胞瘤、成神经管细胞瘤、髓质上皮瘤、黑色素瘤、恶性皮肤瘤、脑膜瘤、默克尔细胞癌、间皮瘤、间皮组织恶性肿瘤、转移性鳞状颈癌伴隐匿性原发性、转移性尿路上皮癌、混合多勒氏瘤、单核细胞白血病、口腔癌、黏液性肿瘤、多发性内分泌肿瘤综合征、多发性骨髓瘤、多重骨髓癌、蕈样真菌病、阿利贝尔氏病、骨髓增生异常疾病、骨髓增生异常综合征、髓系白血病、髓系肉瘤、骨髓增生性疾病、粘液瘤、鼻腔癌、鼻咽癌症、鼻咽癌、肿瘤、神经鞘瘤、神经母细胞瘤、成神经细胞瘤、神经纤维瘤、神经瘤、结节性黑色素瘤、非霍奇金淋巴瘤、非霍奇金氏淋巴瘤、非黑色素瘤皮肤癌、非小细胞肺癌、眼部肿瘤学、少突星形细胞瘤、寡枝神经胶质细胞瘤、嗜酸细胞瘤、视神经鞘状脑膜瘤、口腔癌、口腔癌症、口咽癌、骨肉瘤、恶性骨瘤、卵巢癌、卵巢癌症、卵巢上皮细胞癌、卵巢生殖细胞肿瘤、低度恶性潜能卵巢
肿瘤、乳腺佩吉特病、肺上沟瘤、胰腺癌、胰癌、甲状腺乳头状癌、乳头状瘤病、副神经节瘤、鼻窦癌、甲状旁腺癌、阴茎癌、血管周围上皮样细胞瘤、咽癌、嗜铬细胞瘤、中分化松果体实质肿瘤、成松果体细胞瘤、垂体细胞瘤、垂体腺瘤、垂体肿瘤、浆细胞肿瘤、胸膜肺母细胞瘤、多胚胎瘤、前体t淋巴细胞淋巴瘤、原发性中枢神经系统淋巴瘤、原发性渗出性淋巴瘤、原发性肝细胞癌、原发性肝癌、原发性腹膜癌、原始神经外胚层肿瘤、前列腺癌、腹膜假性粘液瘤、直肠癌、肾细胞癌、涉及15号染色体上nut基因的呼吸道癌、视网膜母细胞瘤、横纹肌瘤、横纹肌肉瘤、richter转化、骶尾部畸胎瘤、唾液腺癌、肉瘤、神经鞘瘤病、皮脂腺癌、继发性肿瘤、精原细胞瘤、浆液性肿瘤、卵巢含睾丸母细胞瘤、性索间质肿瘤、sezary综合征、印戒细胞癌、皮肤癌、小蓝圆细胞瘤、小细胞癌、小细胞肺癌症、小细胞淋巴瘤、小肠癌、软组织肉瘤、生长抑素瘤、烟尘疣、脊髓肿瘤、脊柱肿瘤、脾边缘区淋巴瘤、鳞状细胞癌、胃癌、浅表扩散性黑色素瘤、幕上原始神经外胚层肿瘤、表面上皮-间质瘤、滑膜肉瘤、t细胞急性淋巴细胞白血病、t细胞大颗粒淋巴细胞白血病、t细胞白血病、t细胞淋巴瘤、t细胞幼淋巴细胞白血病、畸胎瘤、终末淋巴癌、睾丸癌,卵泡膜细胞瘤,喉癌、胸腺癌、胸腺瘤、甲状腺癌、肾盂和输尿管上皮细胞癌、移行细胞癌、脐尿管癌、尿道癌、泌尿生殖系统肿瘤、子宫肉瘤、葡萄膜黑色素瘤、阴道癌、verner-morrison综合征、疣状癌、视路胶质瘤、外阴癌、waldenstrom巨球蛋白血症、warthin瘤、维尔姆斯氏瘤及其组合。
275.飞行时间
276.在另一方面，本公开提供一种用于医疗成像的系统。该系统可以包括tof适配器单元，该tof适配器单元被配置为用于飞行时间(tof)成像。tof适配器单元可以包括tof深度传感器和/或tof成像单元。在一些情况下，tof适配器单元可以可操作地耦合到远离tof适配器单元定位的tof深度传感器和/或tof成像单元。tof适配器单元、tof深度传感器和/或tof成像单元可以与本文公开的任何医疗成像系统和方法组合使用。tof适配器单元、tof深度传感器和/或tof成像单元可以与上述任何片上芯片tof系统兼容。
277.tof深度传感器可以包括如本文别处所描述的深度传感器。深度传感器可以被配置为基于tof光从第一位置行进到第二位置所花费的时间量来获得一个或多个tof测量值。在一些情况下，第一位置可以对应于tof光源的位置或手术场景内的位置。在一些情况下，第二位置可以对应于tof深度传感器的位置或观测镜的末端。在本文所描述的任何实施方式中，第一位置和/或第二位置可以对应于真实空间中沿着tof光的光学通路的任一个或多个任意位置。tof光的光学通路可以对应于tof光在被tof光源传输之后并且在被tof深度传感器接收或检测之前所行进的距离和方向。在一些情况下，可以基于tof光在真实空间中的多个位置之间行进所花费的时间量来导出一个或多个tof测量值。多个位置可以包括位于沿着tof光的光学通路的真实空间中的三个或更多个位置。在一些情况下，tof测量值可以部分地基于在引导到目标区域的tof光和从目标区域反射的tof光之间观察到的相移来导出。
278.tof成像单元可以包括成像装置或成像传感器，该成像装置或成像传感器被配置为使用传输通过观测镜的tof光来生成目标区域或手术场景的一个或多个深度图或深度图像。
279.tof适配器单元可以定位在观测镜和至少一个成像装置之间，该成像装置被配置为使用传输通过观测镜的至少一部分的光束或光脉冲来生成一个或多个医疗图像。该观测
镜可以是商业可获得的现成观测镜。成像装置可以是商业可获得的现成成像装置。在一些替代实施方式中，tof适配器单元可以可操作地耦合到观测镜和至少一个成像装置。
280.该观测镜可以包括腹腔镜、内窥镜、管道镜、视频镜或纤维镜。该观测镜可以光学耦合到成像装置(例如，tof成像装置)或与成像装置光学通信。成像装置可以被配置为使用传输通过观测镜的中空内部区域的光束或光脉冲来生成一个或多个医疗图像。在一些情况下，成像装置可以是tof成像装置，其被配置为使用传输通过观测镜的tof光来生成目标区域或手术场景的一个或多个深度图或深度图像。
281.在一些情况下，观测镜可以光学耦合到多个成像装置或与多个成像装置进行光学通信。多个成像装置可以包括例如rgb成像装置、激光散斑成像装置、荧光成像装置和/或tof成像装置。在一些情况下，观测镜可以被配置为将组合光束传输到目标区域。组合光束可以包括使用多个光源(例如，白光源、激光散斑光源、tof光源和/或荧光激发光源)生成的多个光束或光脉冲。组合光束可以从目标区域反射，并且通过观测镜传输回来。该多个成像装置可以被配置为(i)接收传输通过观测镜的光束或光脉冲的至少子集，以及(ii)基于传输通过观测镜的光束或光脉冲的所述子集生成一个或多个医疗图像。在一些情况下，多个成像装置可以被配置为用于不同类型的成像模态(例如，rgb成像、激光散斑成像、荧光成像、tof成像等)。如下文更详细描述的，可以使用光学元件(例如，分束器或分色镜)来分裂组合光束，使得组合光束的不同部分或子集被提供给不同的成像装置或传感器。
282.成像装置可以包括任何成像装置，该任何成像装置被配置为使用传输通过观测镜的光束或光脉冲来生成一个或多个医疗图像。例如，成像装置可以包括相机、摄像机、三维(3d)深度相机、立体相机、深度相机、红绿蓝深度(rgb-d)相机、飞行时间(tof)相机、红外相机、电荷耦合器件(ccd)图像传感器和/或互补金属氧化物半导体(cmos)图像传感器。
283.tof适配器单元和/或tof深度传感器可以用于获得目标区域的一个或多个tof测量值。目标区域可以包括一种或多种生物材料(例如，组织)。目标区域可在手术对象身体上或身体内。在一些情况下，目标区域可以不在或不需要在手术对象身体上或身体内。tof测量值可以对应于tof深度传感器接收到传输的tof光脉冲所需的时间量。tof光脉冲可以被朝向目标区域引导并且在到达tof深度传感器之前从目标区域反射。tof测量值可以用于生成目标区域的深度图。深度图可以包括图像或图像通道(即，包括与图像的像素相关联的一个或多个数值的数据集)，该图像或图像通道包含与手术场景内的一个或多个点、特征和/或表面相对于参考视点的距离或深度相关的信息。参考视点可以对应于tof深度传感器相对于手术场景的一个或多个部分的位置。深度图可以包括手术场景内的多个点或位置的深度值。深度值可以对应于(i)tof深度传感器或tof成像装置和(ii)手术场景内的多个点或位置之间的距离。
284.在一些情况下，可以使用飞行时间(tof)传感器来生成深度图。tof传感器可以与tof成像装置集成或可操作地耦合到tof成像装置。tof传感器可以被配置为部分地基于光(例如，光波、光脉冲或光束)在被手术场景中存在或可见的一个或多个特征反射后从手术场景行进到tof传感器的检测器所花费的时间来获得tof深度测量值。tof成像装置可以被配置为使用tof深度测量值来生成一个或多个深度图。在一些情况下，可以使用立体相机对深度图进行细化、更新、校正、修改或验证。该一个或多个深度图可以用于向医疗操作员提供手术场景中工具和特定点或特征之间的距离的更准确的实时可视化。在一些情况下，一
个或多个深度图可以向外科医生提供关于手术场景的空间信息，以相对于手术场景内的一个或多个特征最佳地操纵观测镜、机器人相机、机器人臂或手术工具。
285.该系统可以包括多个光源，该多个光源包括(i)飞行时间(tof)光源，该飞行时间(tof)光源被配置为生成tof光。在一些情况下，该多个光源还可以包括(ii)白光源、激光散斑光源和荧光激发光源中的至少一者。在其他情况下，多个光源可以不包括或不需要包括白光源、激光光源或荧光激发光源。
286.tof光源可以包括激光器或发光二极管(led)。激光器或发光二极管(led)可以被配置为生成tof光。tof光可以包括具有从约700纳米(nm)至约1毫米(mm)的波长的红外光或近红外光。在一些情况下，tof光可以包括具有从约400nm至约700nm的波长的可见光。在一些情况下，可见光可以包括具有从约400nm至约500nm的波长的蓝光。可见光用于tof应用的优点包括组织表面的低穿透性，这可以提高tof测量的可靠性和准确性。相比之下，穿透组织表面更深并且引起多次反射的ir光，可能(a)导致关于哪个内表面或表面下反射ir光的模糊，以及(b)在获得的任何tof测量值中引入误差。在一些情况下，tof光可以包括具有从约400nm至约1mm的多种波长的多个光束和/或光脉冲。
287.在一些实施方式中，tof光源可以用于生成多个tof光脉冲。在此类情况下，tof光源可以是脉冲的(即，以一个或多个预定间隔打开和关闭)。在一些情况下，此类脉冲可以与一个或多个tof相机快门的打开和/或关闭同步。
288.在一些实施方式中，tof光源可以用于生成连续的tof光束。在一些情况下，tof光源可以连续打开，并且tof光的特性可以被调制。例如，连续的tof光束可以经历幅度调制。调幅tof光束可以用于基于发射的tof光和反射的tof光之间的相位差获得一个或多个tof测量值。tof深度测量值可以至少部分地基于在引导到目标区域的tof光和从目标区域反射的tof光之间观察到的相移来计算。在其他情况下，当tof光源用于生成连续的tof光束时，一个或多个可移动机构(例如，光学斩波器或物理快门机构，诸如机电快门或门)可以用于从连续的tof光束生成一系列tof脉冲。可以通过使用机电快门或门的移动来将连续光束斩波、分裂或离散成多个tof光脉冲来生成多个tof光脉冲。使tof光束连续打开的优点是在斜升和斜降中没有延迟(即，没有与打开光束和关闭光束相关联的延迟)。
289.在一些实施方式中，tof光源可以位于远离观测镜的位置，并且经由光导可操作地耦合到观测镜。例如，tof光源可以位于或附接到手术塔。在其他实施方式中，tof光源可以位于观测镜上，并且被配置为经由观测镜集成光导向观测镜提供tof光。观测镜集成的光导可以包括附接到观测镜的结构部件或与观测镜的结构部件集成的光导。光导可以包括透明材料(诸如玻璃或塑料)的细丝，该透明材料的细丝能够通过连续的内部反射传输光信号。替代地，tof光源可以被配置为经由一个或多个辅助照明观测镜向目标区域提供tof光。在此类情况下，系统可以包括主观测镜，该主观测镜被配置为接收和引导由其他光源(例如，白光源、激光散斑光源和/或荧光激发光源)生成的光。一个或多个辅助照明观测镜可以不同于主观测镜。一个或多个辅助照明观测镜可以包括可由医疗操作员或机器人手术系统单独控制或移动的观测镜。一个或多个辅助照明观测镜可以设置在第一组位置或取向，该第一组位置或取向不同于设置主观测镜的第二组位置或取向。在一些情况下，tof光源可以位于观测镜的末端。在其他情况下，tof光源可以附接到手术对象身体的一部分。手术对象身体的该部分可以接近使用本公开的医疗成像系统成像的目标区域。在本文所描述的任何实
施方式中，tof光源可以被配置为通过棒状透镜照射目标区域。棒状透镜可以包括柱面透镜，该柱面透镜被配置为使能光束准直、聚焦和/或成像。在一些情况下，tof光源可以被配置为通过一系列透镜或透镜组合(例如，一系列中继透镜)来照射目标区域。
290.白光源可以被配置为生成一个或多个光束或光脉冲，该一个或多个光束或光脉冲具有位于可见光谱内的一种或多种波长。白光源可以包括灯(例如，白炽灯、荧光灯、紧凑型荧光灯、卤素灯、金属卤化物灯、荧光管、氖灯、高强度放电灯或低压钠灯)、灯泡(例如，白炽灯泡、荧光灯泡、紧凑型荧光灯泡或卤素灯泡)、和/或发光二极管(led)。白光源可以被配置为生成白光束。白光束可以是包括一种或多种可见光波长的多色发射光。一种或多种波长的光可以对应于可见光谱。一种或多种波长的光可以具有在约400纳米(nm)和约700纳米(nm)之间的波长。在一些情况下，白光束可以用于生成目标区域的rgb图像。
291.激光散斑光源可以包括一个或多个激光光源。激光散斑光源可以包括一个或多个发光二极管(led)或激光光源，该一个或多个发光二极管(led)或激光光源被配置为生成波长在约700纳米(nm)和约1毫米(mm)之间的一个或多个激光光束。在一些情况下，一个或多个激光光源可以包括两个或更多个激光光源，该两个或更多个激光光源被配置为生成具有不同波长的两个或更多个激光光束。两个或更多个激光光束可以具有在约700纳米(nm)和约1毫米(mm)之间的波长。激光散斑光源可以包括红外(ir)激光器、近红外激光器、短波长红外激光器、中波长红外激光器、长波长红外激光器和/或远红外激光器。激光散斑光源可以被配置为生成一个或多个光束或光脉冲，该一个或多个光束或光脉冲具有位于不可见光谱内的一种或多种波长。激光散斑光源可以用于目标区域的激光散斑成像。
292.在一些情况下，多个光源可以包括荧光激发光源。荧光激发光源可以用于荧光成像。如本文所用，荧光成像可以指任何荧光或发荧光材料(例如，包括荧光物质如荧光素、香豆素、花青、罗丹明或其任何化学类似物或衍生物的染料)的成像。荧光激发光源可以被配置为生成荧光激发光束。荧光激发光束可以使得荧光染料(例如，吲哚菁绿)发出荧光(即，发光)。荧光激发光束可以具有在约600纳米(nm)至约900纳米(nm)之间的波长。可以将荧光激发光束发射到目标区域上。在一些情况下，目标区域可以包括一种或多种荧光染料，该一种或多种荧光染料被配置为吸收荧光激发光束并且重新发射波长在约750纳米(nm)和950纳米(nm)之间的荧光。在一些情况下，一种或多种荧光染料可以被配置为吸收荧光激发光束并且重新发射波长在约700纳米(nm)和约2.5微米(μm)之间的荧光。
293.在本文所描述的任何实施方式中，多个光源可以被配置为生成一个或多个光束。在此类情况下，多个光源可以被配置为作为连续波光源操作。连续波光源可以是被配置为产生具有稳定输出功率的连续不间断光束的光源。
294.在一些情况下，多个光源可以被配置为以预定间隔连续发射光脉冲和/或能量脉冲。在此类情况下，光源可以仅在有限的时间间隔内打开，并且可在第一功率状态和第二功率状态之间交替。第一功率状态可以是低功率状态或关闭状态。第二功率状态可以是高功率状态或打开状态。
295.替代地，多个光源可以以连续波模式操作，并且由多个光源生成的一个或多个光束可以使用以预定间隔阻挡光传输的机械部件(例如，物理物体)被斩波(即，分离或离散化)成多个光脉冲。机械部件可以包括可移动板，该可移动板被配置为在一个或多个预定时间段阻挡由多个光源生成的一个或多个光束的光学路径。
296.该系统可以包括观测镜。该观测镜可以包括光端口，该光端口被配置为接收由多个光源生成的一个或多个光束或光脉冲。该观测镜可以经由一个或多个光导与多个光源进行光学通信。该观测镜可以附接或可释放地耦合到上述tof适配器单元。
297.该观测镜可以被配置为将由多个光源生成的多个光束或光脉冲引导到目标区域。多个光束或光脉冲可以包括使用tof光源生成的tof光。
298.由多个光源生成的多个光束或光脉冲可以从目标区域反射。反射的光束或光脉冲可以经由观测镜的末端通过观测镜传输回来。该观测镜可以被配置为接收反射光束或光脉冲，并且将反射光束或光脉冲引导到一个或多个成像装置。多个反射光束或光脉冲可以包括从目标区域反射的tof光束或tof光脉冲。
299.该系统可以包括tof传感器，该tof传感器被配置为接收从目标区域反射的多个光束或光脉冲的至少一部分。该部分可以包括从目标区域反射的一个或多个tof光束或tof光脉冲。
300.tof传感器可以用于获得目标区域的一个或多个tof测量值。可以至少部分地基于行进部分(例如，物体、粒子或波)行进通过介质(例如，诸如液体或气体的流体)一段距离所花费的时间量来计算一个或多个tof测量值。(一个或多个)时间测量值可以用于建立行进部分的速度或路径长度，以及介质的特性(例如，密度、成分、流速等)。在一些情况下，飞行时间测量值可以对应于发射的电磁辐射从电子辐射源行进到传感器(例如，相机)所需的时间。在其他情况下，飞行时间测量值可以对应于发射的电磁辐射到达目标组织所需的时间。替代地，飞行时间测量值可以对应于发射的电磁辐射到达目标组织并且被引导(例如，反射回)到tof传感器所需的时间。
301.在一些情况下，tof传感器可以沿着从目标区域反射的多个光束或光脉冲的公共光束路径定位。公共光束路径可以设置在目标区域和光学元件之间，该光学元件可以用于将多个光束或光脉冲分裂成不同组的光信号。在一些情况下，从目标区域反射的多个光束或光脉冲可以被分裂成：(i)对应于tof光的第一组光信号；以及(ii)对应于白光、激光散斑光或荧光激发光的第二组光信号。在此类情况下，tof传感器可以沿着第一组光信号的离散光束路径定位(即，光学元件的下游)。
302.在一些情况下，tof传感器可以定位在观测镜的末端。在其他情况下，tof传感器可以附接到手术对象身体的一部分。手术对象身体的该部分可以接近被成像的目标区域。
303.在一些实施方式中，该系统可以包括多个深度感测装置。多个深度感测装置中的每一个可以被配置为获得用于生成目标区域的深度图的一个或多个tof测量值。多个深度感测装置可以选自由以下组成的组：立体成像装置(例如，立体相机)、结构光成像装置和tof深度传感器。
304.在一些实施方式中，tof传感器可以包括成像传感器，该成像传感器被配置为实现外差以使能深度感测并且增强tof分辨率。外差可以使较慢的传感器能够感测深度，并且可以准许使用常规相机传感器而不是专用的tof硬件传感器来进行tof感测。
305.该系统可以包括图像处理单元，该图像处理单元被配置为至少部分地基于使用tof传感器获得的一个或多个tof测量值来生成目标区域的深度图。图像处理单元可以包括本文所描述的任何成像装置或成像传感器。在一些情况下，图像处理单元可以与一个或多个成像装置或成像传感器集成。如上所描述的，深度图可以包括图像或图像通道，该图像或
图像通道包含与目标区域内的一个或多个表面相对于参考视点的距离或深度相关的信息。参考视点可以对应于tof深度传感器相对于目标区域的一个或多个部分的位置。深度图可以包括目标区域内的多个点或位置的深度值。深度值可以对应于(i)tof深度传感器或tof成像装置和(ii)目标区域内的多个点或位置之间的距离。
306.在一些实施方式中，该系统还可以包括光学元件，该光学元件被配置为将从目标区域反射的多个光束或光脉冲分离成：(i)对应于tof光的第一组光信号；以及(ii)对应于白光、激光散斑光或荧光激发光的第二组光信号。光学元件可以被配置为将第一组光信号引导到tof传感器，并且将第二组光信号引导到一个或多个成像装置或传感器(例如，rgb成像传感器、激光散斑成像传感器和/或荧光成像传感器)。在一些情况下，一个或多个成像装置可以包括相机或传感器，该相机或传感器被配置为用于tof成像、rgb成像、激光散斑成像和/或荧光成像。在一些情况下，光学元件可以包括分束器。在其他情况下，光学元件可以包括分色镜。
307.在一些实施方式中，该系统还可以包括tof光调制器。tof光调制器可以被配置为调整使用tof光源生成的tof光的一个或多个特性(例如，照明强度、行进方向、行进路径等)。在一些情况下，tof光调制器可以包括沿着tof光的光路径定位的发散透镜。发散透镜可以被配置为调制跨目标区域的tof光的照明强度。在其他情况下，tof光调制器可以包括沿着tof光的光路径定位的光扩散元件。光扩散元件同样可以被配置为调制跨目标区域的tof光的照明强度。替代地，tof光调制器可以包括光束转向元件，该光束转向元件被配置为照射目标区域和接近目标区域的一个或多个区域。波束转向元件可以用于照射包括目标区域的场景的更大比例。在一些情况下，光束转向元件可以包括透镜或反射镜(例如，快速转向反射镜)。
308.在一些实施方式中，该系统还可以包括tof参数优化器，其被配置为至少部分地基于期望的应用、深度范围、组织类型、观测镜类型或程序类型来调整一个或多个脉冲参数和一个或多个相机参数。使用tof传感器获得的一个或多个tof测量值可以至少部分地基于一个或多个脉冲参数和一个或多个相机参数。例如，tof参数优化器可以用于实现第一程序的第一组脉冲参数和相机参数，以及实现第二程序的第二组脉冲参数和相机参数。在一些情况下，第一程序和第二程序可以具有不同的感兴趣深度范围。tof参数优化器可以被配置为调整一个或多个脉冲参数和/或一个或多个相机参数，以提高tof深度感测的分辨率、准确性或容差，并且增加tof应用的tof信噪比。在一些情况下，tof参数优化器可以被配置为基于一个或多个脉冲参数或相机参数的期望选择或调整来确定tof深度感测系统的实际性能特征或预期性能特征。替代地，tof参数优化器可以被配置为确定一组脉冲参数和相机参数，该一组脉冲参数和相机参数是为实现期望的深度范围或外科手术所期望的分辨率、准确性或容差所要求的。
309.在一些情况下，tof参数优化器可以被配置为实时调整一个或多个脉冲参数和一个或多个相机参数。在其他情况下，tof参数优化器可以被配置为离线调整一个或多个脉冲参数和一个或多个相机参数。在一些情况下，tof参数优化器可以被配置为基于反馈回路来调整一个或多个脉冲参数和/或相机参数。可以使用控制器(例如，可编程逻辑控制器、比例控制器、比例积分控制器、比例微分控制器、比例积分微分控制器或模糊逻辑控制器)来实现反馈回路。在一些情况下，反馈回路可以包括实时控制回路，该实时控制回路被配置为基
于tof光源或tof传感器的温度来调整一个或多个脉冲参数和/或一个或多个相机参数。在一些实施方式中，该系统可以包括图像后处理单元，该图像后处理单元被配置为基于使用一个或多个调整后的脉冲参数或相机参数获得的一组更新的tof测量值来更新深度图。
310.tof参数优化器可以被配置为调整一个或多个脉冲参数。一个或多个脉冲参数可以包括例如照明强度、脉冲宽度、脉冲形状、脉冲计数、脉冲开/关电平、脉冲占空比、tof光脉冲波长、光脉冲上升时间和光脉冲下降时间。照明强度可以对应于在腹腔镜检查期间提供足够的可检测tof光信号所需的激光功率量。脉冲宽度可以对应于脉冲的持续时间。tof系统可能要求某个最小或最大持续时间的飞行时间激光脉冲，以保证某个可接受的深度分辨率。脉冲形状可以对应于脉冲的相位、幅度或周期。脉冲计数可以对应于在预定时间段内提供的脉冲数量。脉冲中的每一个可以具有至少预定量的功率(以瓦特为单位)，以便使能以降低的噪声进行单脉冲飞行时间测量。脉冲开/关电平可以对应于脉冲占空比。脉冲占空比可以是脉冲持续时间或脉冲宽度(pw)与脉冲波形的总周期(t)之比的函数。tof脉冲波长可以对应于tof光的波长，该tof光脉冲是从tof光导出的。tof脉冲波长可以预先确定，或针对每个期望的tof应用进行相应的调整。脉冲上升时间可以对应于脉冲幅度上升到期望的或预定的峰值脉冲幅度的时间量。脉冲下降时间可以对应于峰值脉冲幅度下降到期望值或预定值的时间量。脉冲上升时间和/或脉冲下降时间可以被调制以满足某个阈值。在一些情况下，tof光源可以从较低功率模式(例如，50％)脉冲到较高功率模式(例如，90％)以最小化上升时间。在一些情况下，可移动板可以用于将连续的tof光束斩波成多个tof光脉冲，这也可以最小化或减少脉冲上升时间。
311.tof参数优化器可以被配置为调整一个或多个相机参数。相机参数可以包括例如快门数量、快门定时、快门重叠、快门间隔和快门持续时间。如本文所用，快门可以指物理快门和/或电子快门。物理快门可以包括快门机构(例如，成像装置或成像传感器的叶片快门或焦平面快门)的移动，以便控制光对成像装置或成像传感器的曝光。电子快门可以包括打开和/或关闭成像装置或成像传感器的一个或多个像素以控制曝光。快门的数量可以对应于在预定时间段期间tof相机被快门打开以接收tof光脉冲的次数。在一些情况下，两个或更多个快门可以用于tof光脉冲。时间间隔的快门可以用于推断目标区域中特征的深度。在一些情况下，第一快门可以用于第一脉冲(例如，输出脉冲)，并且第二快门可以用于第二脉冲(例如，输入脉冲)。快门定时可以对应于基于何时传输和/或接收脉冲的定时的快门打开和/或快门关闭的定时。可以调整快门的打开和/或关闭以捕获一个或多个tof脉冲或其一部分。在一些情况下，可以基于tof脉冲的路径长度或感兴趣的深度范围来调整快门定时。可以实现快门定时调制，以最小化tof光源脉冲和/或相机快门打开和关闭的占空比，这可以增强tof光源的操作条件并且提高硬件寿命(例如，通过限制或控制操作温度)。快门重叠可以对应于两个或更多个快门的时间重叠。快门重叠可能会增加短脉冲宽度下的峰值rx功率，在该短脉冲宽度下不会立即达到峰值功率。快门间隔可以对应于两个或更多个快门之间的时间间隔或时间间隙。可以调整快门间隔以定时tof相机快门以接收脉冲的开始和/或结束。可以优化快门间隔，以在降低的rx功率下提高tof测量的准确性。快门持续时间可以对应于tof相机快门打开以接收tof光脉冲的时间长度。可以调制快门持续时间以最小化与接收到的tof光信号相关联的噪声，并且确保tof相机接收tof深度感测应用所需的最小量的光。
312.在一些情况下，除了或代替对脉冲参数和相机参数的基于软件的改变，可以互换或调整硬件，以便实现特定深度感测应用的期望深度感测能力。
313.在一些情况下，该系统还可以包括图像后处理单元，该图像后处理单元被配置为基于与tof光源或tof传感器的操作相关联的温度波动来更新深度图，从而增强深度感测准确性和手术安全性。此类温度波动可能在深度图中形成视觉像差、误差、失真或不规则性。补偿深度图中由温度引起的误差也可以增强外科手术期间的安全性(例如，通过提供对外科手术工具和目标区域中的一个或多个关键结构之间的距离的更准确的评估，使得外科医生可以限制外科手术工具在z方向上的移动，并且最小化对关键结构的伤害)。
314.在一些情况下，图像后处理单元被配置为对深度图执行图像后处理，以增强深度感测准确性和手术安全性。图像后处理可以包括基于深度图内的特征或像素的测量深度的空间滤波和时间滤波中的至少一者。在一些情况下，图像后处理可以包括调整滤波内核的大小。可以基于目标区域中一个或多个特征的测量深度来调整滤波内核的大小，以便在所述测量深度维持期望的成像分辨率。改变滤波内核的大小可以允许图像处理算法基于(i)相邻像素的深度图值和(ii)与每个像素及其相邻像素相关联的深度图值的加权函数来细化深度图中的一个或多个像素的深度图值。这可以准许在维持亚毫米分辨率的同时对更近的深度进行更强的滤波。
315.在一些实施方式中，该系统还可以包括校准单元，该校准单元被配置为执行以下中的至少一者：(i)相机校准以校正xy平面中的相机重新投影误差和失真；以及(ii)深度校准以校正沿着z轴线的深度测量失真。可以对tof相机执行相机校准。可以对tof深度传感器执行深度校准。
316.校准单元可以被配置为使用校准目标来执行相机校准和/或深度校准。在一些情况下，校准目标可以是位于静态装备上的固定目标。在其他情况下，校准目标可以是位于可移动装备上的目标。在一些情况下，校准单元可以被配置为使用校准目标的视频来执行相机校准或深度校准。校准目标可以是移动的或静止的。该视频可以用于确定校准目标的位置和/或取向随时间的变化。
317.在一些情况下，校准单元可以被配置为使用相机重建质量作为反馈来执行相机校准或深度校准。在此类情况下，深度相机可在三维(3d)空间中重建校准目标(例如，具有已知大小/形状的物体)，并且校准单元可以将3d重建与真实空间中校准目标的大小、形状和/或尺寸进行比较。3d重建与真实空间中的校准目标的比较可以为相机和深度校准两者提供反馈。
318.在一些情况下，校准单元可以被配置为至少部分地基于tof光角度进入校正来执行相机校准或深度校准。在使用光导(诸如光缆)的情况下，由于成角度的光从光缆的内表面反射回来，因此成角度的光进入可能导致tof光沿着光缆传输的延迟。校准单元可以被配置为校正深度图中由于成角度的光进入导致的此类延迟而导致的失真。
319.在一些情况下，校准单元可以被配置为基于ir强度误差校正或rgb强度误差校正来执行相机校准或深度校准。
320.本文所描述的医疗成像系统可以被配置为基于先前的实验和/或实时优化来调整不同组织/器官的tof图像采集参数。tof图像采集参数可以包括上述脉冲参数和/或相机参数。可以使用在较早时间获得的单独的rgb图像和/或单独的tof深度图像来识别不同的组
织/器官。在一些情况下，可以使用实时rgb图像和/或实时tof深度图像来识别不同的组织/器官。
321.本文所描述的医疗成像系统可以被配置为基于先前的实验和/或实时优化来执行不同组织/器官的实时相机校准和实时深度校准。本文所描述的医疗成像系统可以被配置为基于对在目标区域内可见的校准目标的一个或多个图像的实时采集来执行现场相机或深度校准。
322.在一些情况下，本文所描述的医疗成像系统可以被配置为基于期望的应用、深度范围、组织类型、观测镜类型、工具选择或程序类型来执行脉冲参数优化、相机参数优化、相机校准和/或深度校准。
323.在一些情况下，单个成像传感器可以用于深度成像和激光散斑成像两者。在一些情况下，本文所描述的tof传感器可以包括成像传感器，该成像传感器被配置为用于tof成像以及rgb成像、激光散斑成像和荧光成像中的至少一者。在一些情况下，成像传感器可以被配置为用于tof成像和灌注成像。在本文所描述的任何实施方式中，tof传感器可以被配置为查看并且记录非tof光。
324.在一些情况下，成像传感器可以被配置为在交替或不同的时间间隙期间捕获tof深度信号和激光散斑信号。例如，成像传感器可在第一时间实例捕获tof深度信号，在第二时间实例捕获激光散斑信号，在第三时间实例捕获tof深度信号，在第四时间实例捕获激光散斑信号，等等。成像传感器可以被配置为在不同时间捕获多个光学信号。光学信号可以包括tof深度信号、rgb信号、荧光学信号和/或激光散斑信号。
325.在其他情况下，成像传感器可以被配置为同时捕获tof深度信号和激光散斑信号，以生成包括多个空间区域的一个或多个医疗图像。多个空间区域可以对应于不同的成像模态。例如，一个或多个医疗图像的第一空间区域可以包括基于tof测量的tof深度图像，并且一个或多个医疗图像的第二空间区域可以包括基于激光散斑信号的激光散斑图像。
326.在一些实施方式中，该系统还可以包括图像后处理单元，该图像后处理单元被配置为至少部分地基于使用tof传感器获得的一个或多个tof深度测量值来归一化目标区域的rgb图像、目标区域的荧光图像或与目标区域相关联的基于散斑的流量和灌注信号。
327.在一些情况下，目标区域的图像可能表现出在视觉上不能表示实际目标区域的阴影效果。当手术场景的图像是通过用通过观测镜(例如，腹腔镜、内窥镜、管道镜、视频镜或纤维镜)引导的光照射手术场景而获得时，该图像可以包括径向阴影梯度。径向阴影梯度可以对应于光强度衰减模式，该光强度衰减模式作为距照明中心点距离的平方反比的函数而变化。光强度衰减模式也可以作为从观测镜的末端到照明中心点的距离的函数而变化。光强度衰减模式可以是(i)从观测镜的末端到手术场景内照明中心点的竖直距离和(ii)从照明中心点到初始图像的一个或多个像素的水平距离的函数。使用tof传感器获得的一个或多个tof深度测量值可以用于减少或消除使用rgb数据、激光散斑信号和/或荧光特性生成的图像中存在的误导、欺骗或误差的阴影效应。
328.在一些情况下，图像后处理单元可以被配置为使用目标区域的照明轮廓和观测镜与被成像的目标区域之间的距离来校正在使用传输通过观测镜的光脉冲或光束获得的一个或多个rgb或荧光图像的外围的图像强度。在一些情况下，图像后处理单元可以被配置为使用恒定的血细胞比容浓度(即，由红细胞组成的血液的体积比例)来估计通过目标区域或
接近目标区域的血流速度。
329.在一些实施方式中，该系统还可以包括处理器，该处理器被配置为至少部分地基于(i)目标区域的已知位置或已知深度和(ii)观测镜或观测镜组件的已知速度来确定观测镜的平移运动和旋转运动。在一些情况下，处理器可以被配置为至少部分地基于使用运动传感器或惯性测量单元获得的一个或多个运动学测量值来细化观测镜的平移运动和旋转运动的计算。
330.处理器可以被配置为使用观测镜的平移运动和旋转运动来减少散斑运动伪影。散斑运动伪影可以包括由于观测镜或tof传感器相对于目标组织表面的外部运动而导致的散斑图像中的视觉伪影。
331.处理器可以被配置为使用观测镜的平移运动和旋转运动来执行目标区域的三维(3d)重建。3d重建可以包括将手术场景的不同部分的多个图像拼接在一起，以形成手术场景的更大的组合图像。
332.处理器可以被配置为使用观测镜的平移运动和旋转运动来生成小图。小图可以包括当前正在使用观测镜组件显示/成像/可视化全局图的哪个部分的视觉表示。
333.在一些实施方式中，处理器还可以被配置为使用观测镜的平移和/或旋转运动来模拟双目视觉。在一些情况下，处理器可以被配置为执行图像缩放，确定物体或特征相对于观测镜的接近度，或在使用观测镜获得的一个或多个图像上执行网格覆盖。
334.处理器可以被配置为使用观测镜的平移运动和旋转运动来自主控制机器人臂、机器人相机或手术工具的位置或取向。例如，处理器可以被配置为相对于观测镜重新定位机器人臂、相机或工具，以向外科医生、观测镜、机器人臂、相机和/或工具提供触及目标区域或其一部分的视线。在一些情况下，处理器可以被配置为使用观测镜相对于手术场景的位置、取向或运动来相对于观测镜和/或手术场景重新定位机器人臂、相机或工具。
335.在一些情况下，处理器可以被配置为至少部分地基于使用tof传感器获得的一个或多个tof深度测量值来控制机器人的运动。机器人可以包括机器人相机、机器人工具或被配置为操纵一个或多个手术工具的机器人臂。处理器可以被配置为定位或移动机器人臂、相机或工具，以向外科医生、操作员、机器人臂、机器人相机、机器人工具和/或观测镜提供触及目标区域的视线。在一些情况下，处理器可以被配置为部分地基于观测镜相对于目标区域或手术场景内的一个或多个特征的位置、取向和/或运动来控制机器人相机、工具或臂的运动。如上所描述的，可以使用一个或多个tof深度测量值来确定观测镜的位置、取向和/或运动。
336.在一些情况下，处理器可以被配置为基于外科医生的偏好或外科手术的步骤来控制机器人。例如，外科医生可能更喜欢在某个深度进行操作，或外科手术的某个步骤可能要求在某个深度进行医疗操作或图像采集。
337.在一些实施方式中，该系统还可以包括立体成像装置，该立体成像装置被配置为获得目标区域的一组深度测量值。在此类实施方式中，图像处理单元可以被配置为至少部分地基于使用立体成像装置获得的一组深度测量值和使用tof传感器获得的一个或多个tof深度测量值来生成深度图。在一些实施方式中，图像处理单元可以被配置为使用利用tof深度传感器获得的一个或多个tof深度测量值来训练立体成像算法或单目深度算法。立体成像算法和/或单目深度算法可以被配置为处理使用立体成像装置获得的该组深度测
量。在一些情况下，立体成像和tof成像的组合可以用于(1)减轻立体图像处理的复杂性和(2)细化tof测量。
338.在本文所描述的任何实施方式中，图像处理单元可以被配置为至少部分地基于从目标区域反射的多个光束或光脉冲来生成目标区域的一个或多个rgb图像、激光散斑图像或荧光图像。
339.在本文所描述的任何实施方式中，tof深度传感器可以包括单光子雪崩光电二极管(spad)传感器。spad传感器可以包括固态光电检测器，其中二极管放置在spad传感器的每个像素内。每个二极管可以被配置为接收单个入射光子，并且将该单个入射光子转换成电子的“雪崩”，从而生成对应于由二极管接收到的入射光子的大电脉冲信号。如上所描述的，入射光子可以与传输到目标区域和从目标区域反射的一个或多个tof光脉冲相关联。
340.spad传感器可以基于一个或多个p-n结。一个或多个p-n结可以是反向偏置的。反向偏置的p-n结可以对应于具有连接到电池负极端子的p型区域和连接到电池正极端子的n型区域的p-n结。在反向偏置的p-n结中，阴极的电压可能相对高于阳极的电压，并且在二极管击穿之前可能有最小的电流流过。一旦p-n结的电场强度增加超过临界水平，p-n结耗尽区可能击穿并且引起电流流动，通常是通过雪崩击穿过程。
341.一个或多个p-n结可在超过一个或多个p-n结的击穿电压vb的电压va下被反向偏置。spad传感器的p-n结的反向偏置可以产生足够高的电场，使得注入耗尽层的单个电荷载流子(例如，tof光子)可以触发自持电子雪崩，使得生成电流。如果主电荷载流子是光生的，雪崩脉冲的前沿也可以标记检测到的光子的到达时间。
342.与具有低反向偏置电压并且产生随着光子吸收而线性变化的漏电流的传统光电二极管相比，spad传感器具有足够高的反向偏置以使能碰撞电离。当具有足够动能的第一电子(或空穴)克服块体材料的电离能，将束缚的第二电子撞出其束缚态(在价带中)，并且将第二电子提升到导带中的状态时，会发生碰撞电离。碰撞电离可以用来产生雪崩电流。大量的载流子雪崩会呈指数增长，并且仅由单个光子引发的载流子就能触发。
343.在一些实施方式中，spad传感器可以基于其计数的生成的脉冲的数量输出电信号。在一些实施方式中，spad传感器可以被配置为执行光子计数，这是一种技术，通过该技术spad传感器量化接收到的光子粒子的数量，并且基于接收到的光子粒子确定信号光的一个或多个参数(例如，强度和/或时间分布)。光子计数将光视为数字信号，可以消除电子噪声的干扰，并且使能对微弱信号的高准确性检测。此外，当与处理电路一起利用时，光子计数可以用于准确检测接收到的光量以及检测到一个或多个光子的精确时间。
344.如上所描述的，spad传感器可以被配置为检测单光子，该单光子提供可以被计数的短持续时间触发脉冲。在一些情况下，spad传感器还可以用于准确检测入射光子的到达时间，部分原因是雪崩积累的高速，以及与spad传感器相关联的低定时抖动。spad传感器将单个光子转换成多个电子的能力可以增强成像敏感度并且提高使用spad传感器获得的任何距离测量的准确性。spad传感器还可以提供足够的时间分辨率来确定一个或多个光子到达spad传感器的像素的确切时间。利用此功能，spad传感器可以被配置为用于本文所描述的任何tof测量，包括3d距离测量。
345.图11图示了用于tof成像的示例性系统。该系统可以被配置为使用tof成像装置来执行一个或多个tof应用。该系统可以包括第一成像单元1101和第二成像单元1102。第一成
像单元1101可以包括用于rgb成像、激光散斑对比成像和/或荧光成像的成像传感器。第二成像单元1102可以包括如本文所描述的任何tof传感器或深度传感器。第一成像单元1101和第二成像单元1102可以可操作地耦合到采集参数优化器1103。采集参数优化器1103可以被配置为至少部分地基于期望的应用、深度范围、组织类型、观测镜类型和/或程序类型来调整、修改和/或优化与第一成像单元1101和第二成像单元1102相关联的一个或多个成像参数。成像参数可以包括诸如相机参数，诸如快门数量、快门定时、快门重叠、快门间隔和快门持续时间。基于先前的实验和/或实时优化，可以针对不同的组织/器官调整、修改或优化成像参数。
346.在一些实施方式中，采集参数优化器1103可以被配置为调整、修改和/或优化与用于生成可由第一成像单元1101和第二成像单元1102检测到的光脉冲或光束的光源相关联的一个或多个脉冲参数。脉冲参数可以包括例如照明强度、脉冲宽度、脉冲形状、脉冲计数、脉冲开/关电平、脉冲占空比、tof光脉冲波长、光脉冲上升时间和/或光脉冲下降时间。基于先前的实验和/或实时优化，可以针对不同的组织/器官调整、修改或优化脉冲参数。可以至少部分地基于期望的应用、深度范围、组织类型、观测镜类型和/或手术类型来更新脉冲参数。
347.第一成像单元1101可以被配置为捕获原始ir图像并且将其提供给相机校准单元1104。相机校准单元1104可以被配置为至少部分地基于原始ir图像来生成一组抗失真参数和/或一组固有相机校准参数。在一些情况下，第一成像单元1101可以被配置为将原始ir图像提供给失真补偿单元1105。
348.第二成像单元1102可以被配置为捕获原始深度图像并且将其提供给失真补偿单元1105。失真补偿单元1105可以被配置为接收由相机校准单元1104生成的抗失真参数和使用第一成像单元1101捕获的原始ir图像。在一些情况下，失真补偿单元1105可以被配置为至少部分地基于从相机校准单元1104接收到的原始深度图像、原始ir图像和/或抗失真参数来生成未失真的深度和ir图像。
349.可以将使用失真补偿单元1105生成的未失真的深度和ir图像提供给深度校准单元1106。深度校准单元1106可以被配置为至少部分地基于校准目标和/或从失真补偿单元1105接收到的未失真的深度和ir图像来生成一组深度校准参数。深度校准单元1106可以被配置为将深度校准参数提供给深度校正单元1107。深度校正单元1107可以被配置为使用深度校准参数来对由失真补偿单元1105提供的未失真的深度和ir图像执行深度校正。在一些情况下，失真补偿单元1105可以被配置为将未失真的深度和ir图像直接提供给深度校正单元1107。在本文所描述的任一实施方式中，深度校正单元1107可以被配置为使用深度校准参数来计算在未失真的深度和ir图像中存在的一个或多个特征的估计深度，或更新在未失真的深度和ir图像中存在的此类特征的估计深度的计算。
350.在一些实施方式中，该系统可以包括图像处理单元1108。图像处理单元1108可以被配置为接收来自深度校正单元1107的估计深度计算和来自相机校准单元1104的固有相机参数。图像处理单元1108可以被配置为至少部分地基于估计的深度计算和固有相机参数来生成点云。点云可以对应于使用第一成像单元1101和第二成像单元1102获得的图像内存在的一个或多个特征。可以使用去投影来生成点云。去投影可以涉及使用(i)图像中的2d像素位置和(ii)与图像相关联的深度信息来(iii)将2d像素位置映射到3d坐标空间内的3d点
位置。3d坐标空间可以对应于真实空间。图像处理单元1108和/或使用图像处理单元1108生成的点云可以用于执行多个tof成像应用1109。多个tof成像应用1109可以包括例如3d重建、特征跟踪、特征识别、特征接近度的定性和/或定量评估、图像分割、第三方图像融合、特征测量、荧光和/或散斑图像归一化、运动估计和/或机器人控制。
351.图12图示了用于捕获和/或记录一个或多个tof脉冲的多个相机快门。如图12中所示，当一个或多个tof脉冲被传输到目标区域时，根据tof脉冲被反射的相应表面的深度，一个或多个tof脉冲可在不同的时间被反射回来。例如，当第一组脉冲(tx脉冲)被传输到目标区域时，第二脉冲(最早的rx脉冲)和第三脉冲(最晚的rx脉冲)可以从目标区域反射回来。最早的rx脉冲可以被具有第一深度的目标区域的一部分反射，并且最晚的rx脉冲可以被具有第二深度的目标区域的一部分反射。第二深度可以大于第一深度。第一深度可以对应于路径长度p
最小
，并且第二深度可以对应于路径长度p
最大
。因此，最早的rx脉冲可在t
最小
＝p
最小
/c处被接收，并且最晚的rx脉冲可在t
最大
＝p
最大
/c处被接收，其中c等于光速。如图12中所示，多个快门(例如，快门0和快门1)可以用于捕获最早接收到的tof脉冲和最晚接收到的tof脉冲的至少一部分。可以调整快门定时、快门间隔和/或快门宽度来捕获接收到的tof脉冲或其一部分。在一些情况下，目标区域中特征的深度可以部分地基于以下函数来计算：如本文所用，快门0和快门1可以对应于帧内每个快门处的总积分光子计数。
352.图13a图示了在时间上彼此邻近的多个快门的示例。在一些情况下，多个快门s0和s1可以彼此邻近，以捕获在预定时间段内表现出峰值rx功率的信号。图13b图示了在时间上相对于彼此间隔开的多个快门的示例。在一些情况下，多个快门s0和s1可在时间上间隔开，以捕获脉冲的开始部分和结束部分。在一些替代实施方式中，多个快门s0和s1可在时间上重叠。
353.图14图示了基于tof光进入光缆或光导的角度的深度校正方法。在一些情况下，当tof光被提供给光缆或光导时，tof光可以以角度a进入光导。以角度a发射的光可以行进额外的距离p(a)。校正后的行驶距离d
校正
可以作为原始行驶距离d
原始
和额外距离p(a)的函数来计算：d
校正
＝d
原始
–
p(a)
354.角度a、额外距离p(a)、传输光的光缆的长度l和光缆的折射率n之间的关系可以表示如下：sin(pi/2
–
a)/(l*n)＝sin(90)/(l*n p(a))
355.此数学关系可以简化为以下表达式：p(a)＝l*n(sec(a)
–
1)
356.因此，校正后的行进距离d
校正
、原始行进距离d
原始
、光缆的长度l、和光入射角a之间的关系可以表示如下：d
校正
＝d
原始-l*(sec(a)
–
1)。
357.校正后的行进距离d
校正
可以用于执行图像校准并且校正深度图中由tof光成角度进入光缆导致的失真。
358.计算机系统
359.在一个方面，本公开提供计算机系统，其被编程或以其他方式被配置为实现本公开的方法，例如用于医疗成像的任何主题方法。图10示出了计算机系统1701，其被编程或以其他方式被配置为实现用于医疗成像的方法。计算机系统1701可以被配置为例如(i)引导照明源以将白光与相干激光组合以生成组合光束，(ii)引导照明源以提供组合光束以通过细长观测镜并且朝向观测镜组件，以及(iii)引导观测镜组件的成像单元的至少一个传感器接收光信号的至少一部分，该光信号的至少一部分是在被组合光束的至少一部分照射时由对象身体内的一个或多个位置反射或发射的。计算机系统1701可以是用户的电子器件或相对于电子器件被远程定位的计算机系统。电子器件可以是移动电子器件。
360.计算机系统1701可以包括中央处理单元1705(cpu，也是本文的“处理器”和“计算机处理器”)，其可以是一种单核或多核处理器，或可以是用于并行处理的多个处理器。计算机系统1701还包括存储器或存储器位置1710(例如，随机存取存储器、只读存储器、闪存)、电子储存单元1715(例如，硬盘)、用于与一个或多个其他系统进行通信的通信接口1720(例如，网络适配器)，以及诸如高速缓存、其他存储器、数据储存器和/或电子显示适配器的外围器件1725。存储器1710、储存单元1715、接口1720和外围器件1725通过诸如母板的通信总线(实线)与cpu 1705进行通信。储存单元1715可以是用于储存数据的数据储存单元(或数据仓库)。计算机系统1701可以在通信接口1720的帮助下可操作地耦合到计算机网络1730(“网络”)上。网络1730可以是因特网、互联网和/或外联网，或与因特网通信的内联网和/或外联网。在一些情况下，网络1730是电信和/或数据网络。网络1730可以包括一个或多个计算机服务器，其可以启用分布式计算，例如云计算。在一些情况下，在计算机系统1701的帮助下，网络1730可以实现对等网络，其可以使耦合到计算机系统1701上的器件能够充当客户端部或服务器。
361.cpu 1705可以执行一系列机器可读指令，其可以体现在程序或软件中。这些指令可以储存在诸如存储器1710的存储器位置上。这些指令可以针对cpu 1705，其随后可以编程或以其他方式配置cpu 1705以实现本公开的方法。由cpu 1705进行的操作的示例可以包括取出指令、解码、执行和回写。
362.cpu 1705可以是电路的一部分，诸如集成电路。系统1701的一个或多个其他部件可以包括在电路中。在一些情况下，电路是专用集成电路(asic)。
363.储存单元1715可以储存文件，例如驱动程序、程序库和已保存的程序。储存单元1715可以储存用户数据，例如用户偏好和用户程序。在一些情况下，计算机系统1701可以包括一个或多个附加数据储存单元，其位于计算机系统1701的外部(例如，在通过内联网或因特网与计算机系统1701通信的远程服务器上)。
364.计算机系统1701可以通过网络1730与一个或多个远程计算机系统通信。举例来说，计算机系统1701可以与用户(例如，对象、最终用户、消费者、医疗保健提供者、成像技术人员等)的远程计算机系统通信。远程计算机系统的示例包括个人计算机(例如，便携式pc)、平板计算机或平板型计算机(例如，ipad、galaxy tab)、电话、智能电话(例如，iphone、启用android的器件、)，或掌上计算机。用户可以经由网络1730访问计算机系统1701。
365.本文所述的方法可以借助于储存在计算机系统1701的电子储存位置上(例如，诸
如在存储器1710或电子储存单元1715上)的机器(例如，计算机处理器)可执行代码来实现。机器可执行代码或机器可读代码可以以软件的形式提供。在使用时，该代码可以由处理器1705执行。在一些情况下，该代码可以从储存单元1715中取回并储存在存储器1710上以供处理器1705随时访问。在一些情形下，电子储存单元1715可以排除在外，而将机器可执行指令储存在存储器1710上。
366.代码可以被预编译和配置为与具有适于执行代码的处理器的机器一起使用，或者可以在运行时编译。代码可以以编程语言来提供，该语言可以被选择以使代码能够以预编译或编译后的方式执行。
367.本文提供的系统和方法的方案，诸如计算机系统1701，可以体现在编程中。该技术的各个方案可以被视为典型地以机器(或处理器)可执行代码和/或相关数据的形式存在的“产品”或“制造品”，这些可执行代码和/或相关数据被携带或体现在一种机器可读介质中。机器可执行代码可以储存在电子储存单元上，诸如存储器(例如，只读存储器、随机存取存储器、闪存)或硬盘。“储存”型介质可以包括计算机、处理器等，或其相关模块中的任何一个或全部的有形存储器，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可以为软件编程随时提供非暂时性储存。所有或部分软件有时可以通过因特网或各种其他电信网络进行通信。例如，这样的通信可以使软件能够从一台计算机或处理器加载到另一台计算机或处理器中，例如，从管理服务器或主机加载到应用服务器的计算机平台中。因此，另一种可能承载软件元件的介质包括光波、电波和电磁波，诸如跨越本地器件之间的物理接口、通过有线网络和光陆线网络且经由各种空中链路而使用。携带这种波的物理元件，诸如有线链路或无线链路、光链路等，还可以被认为是承载软件的介质。如本文所用，除非限于非暂时性、有形的“储存”介质，否则诸如计算机或机器“可读介质”的术语指的是任何一种参与提供指令给处理器以供其执行的介质。
368.因此，机器可读介质，诸如计算机可执行代码，可以采取多种形式，包括但不限于：有形储存介质、载波介质或物理传输介质。非易失性储存介质(例如，包括光盘或磁盘，或任何一台计算机中的任何一种储存器等)均可以用于实现附图中所示的数据库等。易失性储存介质包括动态存储器，诸如这种计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括构成计算机系统内总线的电线。载波传输介质可以采取电信号或电磁信号，或诸如在射频(rf)和红外(ir)数据通信时生成的声波或光波的形式。因此，计算机可读介质的常见形式包括例如：软盘、磁盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd或dvd-rom、任何其他光学介质、穿孔卡片纸带、任何其他带有孔图案的物理储存介质、ram、rom、prom和eprom、flash-eprom、任何其他存储器芯片或盒式磁带、传输数据或指令的载波、传输这种载波的电缆或链路，或计算机可以从中读取编程代码和/或数据的任何其他介质。许多这些形式的计算机可读介质可以涉及将一个或多个序列的一个或多个指令携带给处理器以供其执行。
369.计算机系统1701可以包括电子显示器1735或与电子显示器1735进行通信，该电子显示器1735包括用户接口(ui)1740，例如，其用于给医疗保健提供者或成像技术人员提供门户以监测或跟踪光学适配器(例如，耦合到观测镜上、耦合到相机上、图像传感器、光学组件等)的一个或多个特征。门户可以通过应用程序编程接口(api)来提供。用户或实体还可以经由ui与门户中的各种元件进行交互。ui的示例包括但不限于：图形用户接口(gui)和基
于web的用户接口。
370.本公开的方法和系统可以借助于一种或多种算法来实现。算法可以在中央处理单元1705执行时借助于软件来实现。
371.虽然本文已经示出和描述了本发明的优选实施方式，但是对于本领域技术人员来说，容易理解地是这些实施方式仅作为示例而被提供。本发明并不旨在受限于说明书中提供的具体实施方式。虽然已经参考前述说明书描述了本发明，但是本文的实施方式的描述和说明并不意味着被解释为限制性的。在不脱离本发明的情况下，本领域技术人员现在将会想到许多变型、改变和替换。此外，应当理解地是，本发明的所有方案都不受限于本文阐述的取决于各种条件和变量的具体描述、配置或相对比例。应当理解地是，在实践本发明时可以采用本文所述的本发明的实施方式的各种替代例。因此，可以预期本发明还应涵盖任何这样的替代例、改进例、变型例或等同例。以下的权利要求旨在限定本发明的范围，则在这些权利要求及其等同物范围内的方法和结构都由此被涵盖。