使用用于超光谱和荧光成像和形貌激光标测的单色图像传感器的宽动态范围的制作方法

1.本技术涉及数字成像，并且具体地涉及缺光环境中的超光谱成像、荧光成像和/或形貌激光标测。


背景技术：

2.科技的进步已提供了医用成像能力的进步。内窥镜可用于观察身体内部并检查身体的器官或腔体的内部。内窥镜用于调查患者的症状、确认诊断或提供医学治疗。医学内窥镜可用于观察多种身体系统和部分，诸如胃肠道、呼吸道、尿道、腹腔等。内窥镜还可用于外科手术，诸如整形外科手术、在关节或骨上进行的手术、在神经系统上进行的手术、在腹腔内进行的手术等。
3.在内窥镜成像的一些情况下，观察彩色空间可能是有利的或有必要的。数字彩色图像包括累积形成具有一系列色调的图像的至少三个层或“颜色通道”。颜色通道中的每个测量光谱带的光的强度和色度。通常，数字彩色图像包括红色光谱带、绿色光谱带和蓝色光谱带的颜色通道(这可称为红绿蓝或rgb图像)。红色、绿色和蓝色颜色通道中的每个包括红色、绿色或蓝色光谱带的亮度信息。单独的红色层、绿色层和蓝色层的亮度信息被组合以生成彩色图像。因为彩色图像由单独层构成，所以常规数字相机图像传感器包括颜色滤光器阵列，该颜色滤光器允许红色可见光波长、绿色可见光波长和蓝色可见光波长击中所选择的像素传感器。每个单独的像素传感器元件对红色、绿色或蓝色波长敏感，并且将仅返回该波长的图像数据。将来自像素传感器的总阵列的图像数据组合以生成rgb图像。至少三种不同类型的像素传感器占用大量物理空间，使得完整的像素阵列不能装配在内窥镜的较小远侧端部中。
4.因为传统图像传感器不能装配在内窥镜的远侧端部中，所以图像传感器传统上位于内窥镜的手持件单元中，手持件单元由内窥镜操作者握持并且不放置在体腔内。在此类内窥镜中，光沿内窥镜的长度从手持件单元传输到内窥镜的远侧端部。该配置具有显著限制。具有该配置的内窥镜是精密的，并且当其在常规使用期间发生碰撞或冲击时可容易地不对准或损坏。这可显著降低图像的质量并且需要频繁修理或更换内窥镜。
5.具有放置在手持件单元中的图像传感器的传统内窥镜进一步被限制为仅捕获彩色图像。然而，在一些具体实施中，除了彩色图像数据之外，还可能希望利用荧光数据、超光谱数据和/或激光标测数据来捕获图像。荧光成像捕获已吸收电磁辐射的物质对光的发射并随着其发射弛豫波长而“发光”。超光谱成像可用于通过发射电磁辐射的不同分区并评估材料的光谱响应来识别不同的材料、生物过程和化学过程。激光标测成像可捕获对象和景观的表面形状并测量场景内的对象之间的距离。激光标测成像还可涵盖工具跟踪，其中可相对于彼此、相对于成像装置和/或相对于场景内的结构来跟踪场景内工具的距离和/或尺寸。在一些具体实施中，可能希望在对场景成像时组合使用荧光成像、超光谱成像和/或激光标测成像中的一者或多者。
6.然而，本领域已知的荧光成像技术、超光谱成像技术和激光标测技术的应用通常需要高度专业化的设备，这些设备对于多种应用可能是不可用的。此外，此类技术提供了有限的环境视图，并且通常必须与多个单独系统和多个单独图像传感器结合使用，该多个单独系统和该多个单独图像传感器被制成对特定电磁辐射频带敏感。因此希望开发一种可用于空间受限的环境中以生成荧光成像数据、超光谱成像数据和/或激光标测成像数据的成像系统。
7.鉴于上述情况，本文描述了用于在缺光环境中进行荧光成像、超光谱成像和激光标测成像的系统、方法和装置。此类系统、方法和装置可提供多个数据集，用于识别身体内的关键结构并提供关于体腔的精确且有价值的信息。
附图说明
8.参考以下附图描述了本公开的非限制性和非完全性的具体实施，其中除非另外指明，否则在各个视图中类似的附图标号指示类似的部分。
9.参照以下说明和附图将更好地理解本公开的优点，其中：
10.图1是具有成对发射器和像素阵列的用于在缺光环境中进行数字成像的系统的示意图；
11.图2是用于向缺光环境提供照明以进行内窥镜成像的系统；
12.图2a是互补系统硬件的示意图；
13.图3a至图3d是用于构造曝光帧的传感器的操作循环的图示；
14.图4a是电磁发射器的一个实施方案的操作的图形表示；
15.图4b是改变所发射电磁脉冲的持续时间和量值以提供曝光控制的图形表示；
16.图5是将图3a至图4a的传感器的操作循环、电磁发射器和所发射电磁脉冲组合的本公开的一个实施方案的图形表示，示出了操作期间的成像系统；
17.图6a是用于在从t(0)至t(1)的时间段内用全光谱光记录视频的过程的示意图；
18.图6b是通过在从t(0)至t(1)的时间段内用脉冲调制分区光谱光来记录视频的过程的示意图；
19.图7a至图7e示出了在一定时间间隔内用于记录全光谱光和分区光谱光两者的视频帧的过程的示意图；
20.图8是像素阵列的图形表示，该像素阵列包括不同取向的多个像素，所述多个像素用于随时间推移捕获独立曝光帧以生成rgb图像帧；
21.图9是像素阵列的图形表示，该像素阵列包括不同取向的多个像素，所述多个像素用于随时间推移捕获独立曝光帧以生成ycbcr图像帧；
22.图10是像素阵列的图形表示，该像素阵列包括不同取向的多个像素，所述多个像素用于随时间推移捕获独立曝光帧以生成rgb图像帧；
23.图11是像素阵列的图形表示，该像素阵列包括不同取向的多个像素，所述多个像素用于随时间推移捕获独立曝光帧以生成ycbcr图像帧；
24.图12是采用常规非共享像素的像素阵列的电路图；
25.图13是采用常规双向竖直共享的像素阵列的单元格；
26.图14是像素阵列的电路图，其中像素水平而不是竖直配对；
27.图15是可用于像素的竖直双向共享的像素阵列的单列电路的图形表示；
28.图16a是像素阵列的时序图，其中当globaltx1、globaltx2和globalrst高时，所有像素都保持在复位模式中；
29.图16b是双照明环境中的像素阵列的时序图；
30.图17是可在受控脉冲照明的存在下针对内窥镜成像实现的最小面积定制图像传感器的内部时序图；
31.图18是图像传感器的帧序列的时序图，该图像传感器可应用于图9所示的曝光帧序列以生成ycbcr图像帧；
32.图19是示出结合模拟增益、数字增益和快门时间确定自动曝光以调节到照明场景的示例性系统的线图；
33.图20是示出可如何针对短曝光像素和长曝光像素独立地收集宽动态范围的统计值的示意图；
34.图21是待由控制器或图像信号处理器实现以生成具有rgb图像帧和叠层在rgb图像帧上的激光标测数据的视频流的处理流程的示意图；
35.图22是示出对于曝光比为四的亮度信号关系的线图，该曝光比产生更大的动态范围；
36.图23是示出融合加权对图像传感器的长曝光信号的依赖性的线图；
37.图24是示出用于分段线性传递函数的数据压缩的传递函数的线图；
38.图25是示出简单拼接方法的线图，其中各部分被映射到长曝光样品和短曝光样品，并且交叉发生在x
l
的最大值处；
39.图26是用于生成其上叠层有激光标测图像数据的rgb图像帧的图案重建过程的示意图；
40.图27a至图27c示出了具有多个发射器的光源；
41.图28示出了在输出处经由漫射器输出以照明缺光环境中的场景的单根光纤；
42.图29示出了根据本公开的原理和教导内容的被分成可由光源的发射器发射的多个不同子光谱的电磁光谱的一部分；
43.图30是示出用于生成包括由脉冲光的不同分区产生的多个曝光帧的图像帧的发射和读出时序的示意图；
44.图31示出了包括用于过滤电磁辐射的波长的单个截止滤光器的成像系统；
45.图32示出了包括用于过滤电磁辐射波长的多个截止滤光器的成像系统；
46.图33示出了可被成像系统用脉冲调制的示例性激光标测图案；
47.图34a和图34b分别示出了构建在多个基板上的成像传感器的具体实施的透视图和侧视图，其中形成像素阵列的多个像素列位于第一基板上，并且多个电路列位于第二基板上，并且示出了一列像素与其相关联的或对应的电路系统列之间的电连接和通信；
48.图35a和图35b分别示出了具有用于产生三维图像的多个像素阵列的成像传感器的具体实施的透视图和侧视图，其中多个像素阵列和图像传感器构建在多个基板上；并且
49.图36a和图36b示出了根据本公开的原理和教导内容的具有用于产生三维图像的多个像素阵列的具体实施。
具体实施方式
50.本文公开了用于可能主要适于医学应用诸如医学内窥镜成像的数字成像的系统、方法和装置。本公开的实施方案是用于缺光环境的荧光成像、超光谱成像和/或激光标测成像的内窥镜系统。
51.本文所公开的成像系统在图像传感器的尺寸上具有积极的约束。这使得图像传感器能够被放置在内窥镜的远侧端部中，从而实现内窥镜的改进的光学简单性和增加的机械稳健性的对应有益效果。然而，对图像传感器区域施加这些积极约束产生较少和/或较小的像素，并且可能会降低图像质量。本公开的实施方案通过结合具有最小外围电路系统、连接焊盘和逻辑的单色图像传感器来克服此挑战。本文所公开的成像系统提供了用于扩展所得图像的动态范围、传感器灵敏度和空间分辨率同时仍然减小图像传感器的总体尺寸的装置。
52.在一个实施方案中，一种系统包括图像传感器，该图像传感器包括像素阵列。通过以棋盘状图案分割像素阵列中的像素来改进图像传感器的动态范围和空间分辨率。像素阵列仅具有“颜色不定的”单色像素，并且可以感测具有宽波长范围的反射的电磁辐射。像素的棋盘状图案可被配置成包括相对于彼此以棋盘状图案布置的长曝光像素和短曝光像素。然后，像素阵列可针对像素阵列的每个读数返回两个曝光帧，包括短曝光帧和长曝光帧。短曝光帧和长曝光帧可以组合，以生成具有增加的动态范围的组合曝光帧。像素的棋盘状图案能够实现粒度空间分割，以为像素阵列的每个读数生成多个曝光帧。
53.常规内窥镜被设计成使得图像传感器被放置在手持件单元内的装置的近侧端部处。该配置要求入射光通过精确耦合的光学元件行进内窥镜的长度。精确光学元件在正常使用期间容易不对准，并且这可导致图像失真或图像损失。本公开的实施方案将图像传感器放置在内窥镜本身的远侧端部内。与本领域中已知的具体实施相比，这提供了更大的光学简单性。然而，该方法的可接受的解决方案非常重要，并且引入了其自身的一套工程挑战，尤其是图像传感器必须适配在高度约束的区域内。本文公开了用于在缺光环境中进行数字成像的系统、方法和装置，这些系统、方法和装置采用最小面积的图像传感器并且可被配置用于激光标测和彩色成像。
54.在一些情况下，希望生成具有彼此叠层的多种数据类型或多个图像的内窥镜成像。例如，可能希望生成彩色(“rgb”)图像，该图像还包括叠层在rgb图像上的超光谱成像数据、荧光成像数据和/或激光标测成像数据。这种性质的叠层图像可使得执业医生或计算机程序能够识别关键身体结构的高准确度尺寸和三维形貌结构，并且基于激光标测数据在缺光环境内进一步识别工具与其它结构之间的距离。历史上，这将需要使用多个传感器系统，包括用于彩色成像的图像传感器和用于激光标测成像的一个或多个附加的图像传感器。在此类系统中，多个图像传感器将具有各自对不同范围的电磁辐射敏感的多种类型的像素传感器。在本领域已知的系统中，这包括用于生成rgb彩色图像的三种单独类型的像素传感器，以及用于生成激光标测数据的附加传感器和系统。这些多个不同的传感器占用过大物理空间，并且不能位于内窥镜的远侧末端处。在本领域已知的系统中，一个或多个相机不放置在内窥镜的远侧末端处，而是放置在内窥镜手持件或机器人单元中。这引发了许多缺点并且导致内窥镜非常脆弱。当脆弱的内窥镜在使用期间受到碰撞或冲击时，可能损坏内窥镜并降低图像质量。考虑到上述情况，本文公开了用于在缺光环境中进行内窥镜成像的系
统、方法和装置。本文所公开的系统、方法和装置提供了在单个成像会话中采用多种成像技术同时允许一个或多个图像传感器设置在内窥镜的远侧末端中的方式。
55.本文所讨论的荧光成像技术可与一种或多种荧光试剂或荧光染料组合使用。试剂的位置可通过发射使试剂发荧光的激发波长的电磁辐射来识别。试剂发射的弛豫波长可由图像传感器读取，以识别试剂在场景内的位置。根据所用试剂的类型，试剂的位置可进一步指示关键结构诸如某些类型的组织、癌细胞与非癌细胞等的位置。
56.本文所讨论的超光谱成像技术可用于“透视”场景的前景中的组织层，以识别特定类型的组织和/或特定的生物过程或化学过程。超光谱成像可用于医疗环境中，以定量地跟踪疾病的过程并确定组织病理。另外，超光谱成像可用于识别关键结构，诸如神经组织、肌肉组织、癌细胞等。在一个实施方案中，电磁辐射的分区被用脉冲调制，并且响应于电磁辐射的分区，收集关于不同类型组织的光谱响应的数据。可生成并分析光谱响应的数据存储，以评估场景并基于感测到的光谱响应来预测场景内存在哪些组织。
57.可评估本文所讨论的激光标测成像技术，以生成场景的三维景观地图并计算场景内对象之间的距离。激光标测数据可与荧光成像和/或超光谱成像结合使用，以计算关键结构的精确位置和尺寸。例如，可用荧光成像和/或超光谱成像来识别关键结构的位置和边界。可随后基于激光标测数据来计算关键结构的位置、关键结构的尺寸以及从关键结构到其它对象的距离的精确测量。
58.超光谱成像
59.在一个实施方案中，本文所公开的系统、方法和装置提供了用于在缺光环境中生成超光谱成像数据的方式。光谱成像使用跨电磁光谱的多个频带。这不同于仅捕获跨越基于人眼可分辨的可见光谱的三个波长(包括红色、绿色和蓝色波长)的光以生成rgb图像的常规相机。光谱成像可使用电磁光谱中的任何波长带，包括红外波长、可见光谱、紫外光谱、x射线波长或各种波长带的任何合适的组合。
60.超光谱成像最初开发用于采矿和地质中的应用。不同于向人眼提供有限信息的正常相机图像，超光谱成像可基于不同矿物质的光谱特征来识别特定矿物质。高光谱成像即便在捕获于航拍图像中时也很有用，并且可提供关于例如来自管道或天然井的油或气泄漏以及它们对附近植被的影响的信息。基于可通过超光谱成像识别的某些材料、对象或过程的光谱特征来收集该信息。
61.超光谱成像包括光谱和数字摄影。在超光谱成像的一个实施方案中，在图像平面中的每个像素处收集完整光谱或一些光谱信息。超光谱成像的目标可针对不同的应用而变化。在一个应用中，超光谱成像的目标是获得图像场景中每个像素的整个电磁光谱。这可使得能够找到原本在可见光波长带下可能不可识别的某些对象。这可使得能够精确地识别某些物质或组织，虽然这些物质或组织在可见光波长带下可能不可识别。此外，这可使得能够通过跨电磁光谱的所有波长捕获图像来检测某些过程。
62.在本公开的一个实施方案中，内窥镜系统照明源并用脉冲调制用于光谱或超光谱成像的电磁辐射。光谱成像使用跨电磁光谱的多个频带。这不同于仅捕获跨越基于人眼可分辨的可见光谱的三个波长(包括红色、绿色和蓝色波长)的光以生成rgb图像的常规相机。光谱成像可使用电磁光谱中的任何波长带，包括红外波长、可见光谱、紫外光谱、x射线波长或各种波长带的任何合适的组合。光谱成像可将基于不可见频带(例如红外)生成的成像叠
层在基于可见频带(例如标准rgb图像)的成像顶部，以提供可易于由人或计算机算法分辨的附加信息。
63.超光谱成像具有许多优于常规成像的优势。通过超光谱成像获得的信息使得执业医生和/或计算机实现的程序能够精确地识别在使用rgb成像的情况下可能不可识别的某些组织或病症。另外，在医学规程期间可使用超光谱成像来提供图像引导的外科手术，使得执业医生能够例如查看位于某些组织或流体后面的组织，识别与典型健康细胞形成对比的非典型癌细胞，识别某些组织或病症，识别关键结构等。超光谱成像提供不能用常规成像生成的关于组织生理、形态和组成的专用诊断信息。
64.在医学应用中，超光谱成像可提供优于常规成像的特定优点。通过超光谱成像获得的信息可使得执业医生和/或计算机实现的程序能够精确地识别可能导致在使用常规成像诸如rgb成像的情况下可能不可诊断或可能诊断不太准确的某些组织或病症。另外，在医学规程期间可使用超光谱成像来提供图像引导的外科手术，可使得执业医生能够例如查看位于某些组织或流体后面的组织，识别与典型健康细胞形成对比的非典型癌细胞，识别某些组织或病症，识别关键结构等。超光谱成像可提供不能用常规成像生成的关于组织生理、形态和组成的专用诊断信息。
65.在本公开的各种应用和具体实施中，内窥镜超光谱成像可呈现优于常规成像的优点。在医学具体实施中，内窥镜超光谱成像可允许执业医生或计算机实现的程序分辨例如神经组织、肌肉组织、各种血管、血流方向等。超光谱成像可使得非典型癌组织能够与典型健康组织精确区分，并且因此可使得执业医生或计算机实施的程序能够在手术或研究成像期间分辨癌性肿瘤的边界。另外，如本文所公开的缺光环境中的超光谱成像可与试剂或染料的使用相结合，以允许进一步区分某些组织或物质。在此类实施方案中，试剂或染料可以电磁光谱中的特定波长带发荧光，从而提供特定于该试剂或染料的目的的信息。本文所公开的系统、方法和装置可使得能够用脉冲调制任何数量的波长带，使得一种或多种试剂或染料可在不同时间发荧光，并且进一步使得可用脉冲调制电磁辐射的一个或多个分区，以用于同一成像会话中的超光谱成像。在某些具体实施中，这使得能够在单个成像规程期间识别或研究多种医学病症。
66.荧光成像
67.本文所公开的系统、方法和装置提供了用于在缺光环境中生成荧光成像数据的方式。荧光成像数据可用于识别体腔或其它缺光环境内的某些材料、组织、组分或过程。在某些实施方案中，可将荧光成像提供给执业医生或计算机实施的程序以使得能够识别体内的某些结构或组织。此类荧光成像数据可叠层在黑白或rgb图像上以提供附加信息和上下文。
68.荧光是已吸收光或其它电磁辐射的物质发射的光。当荧光物质经受紫外光或其它波长的电磁辐射时，某些荧光物质可“发光”或发出人眼可见的不同颜色。当辐射源停止时，某些荧光材料将几乎立即停止发光。
69.当分子、原子或纳米结构的轨道电子被光或其它电磁辐射激发，然后通过从激发态发射光子而弛豫至其基态时，出现荧光。激发轨道电子或在弛豫期间由光子发射的电磁辐射的具体频率取决于具体的原子、分子或纳米结构。在大多数情况下，由该物质发射的光具有比被该物质吸收的辐射更长的波长，并因此具有更低的能量。然而，当所吸收的电磁辐射强烈时，一个电子可以吸收两个光子。这种双光子吸收可导致具有比所吸收的辐射更短
的波长并因此具有更高的能量的辐射的发射。另外，所发射的辐射也可具有与所吸收的辐射相同的波长。
70.荧光成像具有许多实际应用，包括矿物学、地质学、医学、化学传感器的光谱学、检测生物过程或信号等。荧光尤其可用于生物化学和医学中作为用于跟踪或分析生物分子的非破坏性手段。生物分子，包括某些组织或结构，可通过分析生物分子在被某些波长的电磁辐射激发后的荧光发射来跟踪。然而，相对较少的细胞组分是天然荧光的。在某些具体实施中，可视化本质上不发荧光的某些组织、结构、化学过程或生物过程可能是有利的。在此类具体实施中，可向身体施用染料或试剂，该染料或试剂可包括具有荧光特性的分子、蛋白质或量子点。然后，试剂或染料可在被某些波长的电磁辐射激发之后发荧光。不同的试剂或染料可包括将在特定波长的电磁辐射下发荧光的不同的分子、蛋白质和/或量子点。因此，可能需要用特定频带的电磁辐射激发试剂或染料以实现荧光并在体内识别期望的组织、结构或过程。
71.荧光成像可在医学领域中提供可用于诊断目的和/或可在医学规程期间实时可视化的有价值的信息。可向身体施用特定试剂或染料以使某些组织、结构、化学过程或生物过程发荧光。试剂或染料的荧光可突出显示身体结构，诸如血管、神经、特定器官等。另外，试剂或染料的荧光可突出显示病症或疾病，诸如癌细胞或经历可能与病症或疾病相关联的某些生物或化学过程的细胞。荧光成像可由执业医生或计算机程序实时使用，以用于在外科肿瘤提取期间区分例如癌细胞和非癌细胞。荧光成像还可用作非破坏性手段，以用于随时间推移跟踪和可视化体内原本人眼不可见或在rgb图像中不可辨别的病症。
72.用于生成荧光成像数据的系统、方法和装置可与试剂或染料配合使用。已知一些试剂或染料附着于某些类型的组织并在电磁光谱的特定波长下发荧光。在一个具体实施中，向患者施用被配置成在被某些波长的光激活时发荧光的试剂或染料。使用本文所公开的内窥镜成像系统激发试剂或染料并使其发荧光。通过内窥镜成像系统捕获试剂或染料的荧光以帮助识别体腔中的组织或结构。在一个具体实施中，向患者施用多种试剂或染料，每种试剂或染料被配置成发出不同波长的荧光和/或提供不同结构、组织、化学反应、生物过程等的指示。在此类具体实施中，内窥镜成像系统发射适用波长中的每个适用波长，以使适用试剂或染料中的每一者发荧光。这可消除针对多种试剂或染料中的每一者执行单个成像规程的需要。
73.成像试剂可增强制药、医学、生物技术、诊断和医学规程行业中的成像能力。许多成像技术诸如x射线、计算机断层摄影术(ct)、超声、磁共振成像(mri)和核医学主要分析解剖结构和形态，而不能检测到分子水平的变化。荧光试剂、染料和探针(包括量子点纳米粒子和荧光蛋白)通过提供关于成像区域内存在的某些组织、结构、化学过程和/或生物过程的附加信息来辅助医学成像技术。使用荧光试剂成像能够实现细胞跟踪和/或某些分子生物标志物的跟踪。荧光试剂可用于对癌症、感染、炎症、干细胞生物学等进行成像。许多荧光试剂和染料正在被开发并且应用于以非破坏性方式可视化和跟踪生物过程。此类荧光试剂可由某些波长或波长带的电磁辐射激发。类似地，这些荧光试剂在发荧光时可发出某些波长或波长带的弛豫能量，并且所发出的弛豫能量可由传感器读取以确定试剂或染料的位置和/或边界。
74.在本公开的一个实施方案中，内窥镜成像系统用脉冲调制电磁辐射以激发荧光试
剂或染料中的电子。内窥镜成像系统可在单个成像会话期间用脉冲调制多个不同波长的电磁辐射以使多种不同试剂或染料发荧光。内窥镜包括对一种或多种试剂或染料的弛豫波长敏感的图像传感器。图像传感器生成的成像数据可用于识别一种或多种试剂或染料的位置和边界。内窥镜系统还可用脉冲调制可见光的红色波段、绿色波段和蓝色波段中的电磁辐射，使得荧光成像可叠层在rgb视频流上。
75.激光标测成像
76.在一个实施方案中，本文所公开的系统、方法和装置提供了用于利用内窥镜成像系统来生成激光标测数据的方式。激光标测数据可用于确定场景的精确测量和形貌轮廓。在一个具体实施中，激光标测数据用于确定例如体腔中的结构或器官、体腔中的装置或工具和/或体腔中的关键结构之间的精确测量。如本文所述，术语“激光标测”可涵盖被称为激光标测、激光扫描、形貌扫描、三维扫描、激光跟踪、工具跟踪等的技术。
77.激光标测通常包括激光束的受控偏转。在三维对象扫描领域，激光标测将激光束的受控转向与激光测距仪组合。通过在每个方向上进行距离测量，激光测距仪可快速捕获对象、工具和景观的表面形状。全三维形貌的构造可包括组合从不同视角获得的多个表面模型。存在于本领域的各种测量系统和方法用于考古学、地理学、大气物理学、自动驾驶车辆等中的应用。一种此类系统包括光检测和测距(lidar)，其为三维激光标测系统。lidar已应用于导航系统诸如飞机或卫星中，以确定与其他系统和传感器结合的传感器的位置和取向。lidar使用有源传感器来照明对象并且检测从对象反射并回到传感器的能量。
78.如本文所述，术语“激光标测”包括激光跟踪。激光跟踪或激光用于工具跟踪的用途通过确定相对于对象保持的光学目标的位置来测量那些对象。激光跟踪器可在几米的距离内准确到0.025mm的量级。在一个实施方案中，内窥镜成像系统用脉冲调制光以与激光跟踪系统结合使用，使得可跟踪并测量场景内的位置或工具。在此类实施方案中，内窥镜成像系统可用脉冲调制由内窥镜成像系统成像的场景内的工具、对象或其它结构上的激光跟踪图案。可将目标放置在场景内的工具、对象或其它结构上。可在选定点处触发并获取内窥镜成像系统与目标之间的测量，使得内窥镜成像系统可跟踪目标(以及附连到目标的工具、对象或其它结构)的位置。
79.脉冲成像
80.本公开的一些具体实施包括传感器和系统组合设计的各个方面，该设计能够在受限的照明环境中以减少的像素数生成高清晰度图像。这是通过以下来实现的：逐帧地用脉冲调制单色波长，并且使用受控光源结合高帧捕获速率和特别设计的对应单色传感器在单个不同颜色波长之间切换或交替每个帧。另外，可用脉冲调制可见光谱外的电磁辐射以使得能够生成超光谱或荧光图像。像素可以是颜色不定的，使得每个像素生成针对每个电磁辐射脉冲的数据，该每个电磁辐射脉冲包括红色、绿色和蓝色可见光波长以及用于超光谱成像、荧光成像和激光标测成像的其他波长的脉冲。
81.为了促进对根据本公开的原理的理解的目的，现在将参考附图中所示的实施方案，并且将使用特定的语言来描述这些实施方案。然而，应当理解，因此并不旨在限制本公开的范围。本文所示的本发明特征的任何改变和进一步修改，以及如本文所示的本公开的原理的任何附加的应用(其对于相关领域的技术人员和了解本公开内容的人通常将会发生)将被认为在受权利要求书保护的公开的范围内。
82.在公开和描述用于在缺光环境中产生图像的结构、系统和方法之前，应当理解，本公开不限于本文所公开的特定结构、配置、工艺步骤和材料，因为此类结构、配置、工艺步骤和材料可一定程度地变化。另外应当理解，本文所用的术语只是为了描述具体实施方案的目的，并不旨在进行限制，因为本发明的范围将仅由所附权利要求书及其等同形式来限定。
83.在描述及对本公开的主题提出权利要求时，将根据下列定义使用以下术语。
84.应当指出的是，如本说明书和所附权利要求书中使用的单数形式“一种”、“一个”和“该”包括多个指代物，除非上下文中明确表示其它含义。
85.如本文所用，术语“包括”、“包含”、“其特征在于”以及它们的语法同等成分是非遍举的或开放式的术语，不排除额外的、未述及的要素或方法步骤。
86.如本文所用，短语“由
……
组成”及其语法同等成分排除未载入权利要求书的任何要素或步骤。
87.如本文所用，短语“主要由
……
组成”及其语法同等成分将权利要求的范围限制于规定的材料或步骤以及本质上不影响被要求保护的本公开的之一种或多种基本及新颖特征的材料或步骤。
88.如本文所用，术语“近侧”广义上是指靠近起始点的部分的概念。
89.如本文所用，术语“远侧”一般是指与近侧相反，因此根据上下文其是指距离起始点较远的部分或最远的部分的概念。
90.如本文所用，颜色传感器或多光谱传感器是那些已知具有颜色滤光器阵列(cfa)的传感器，在其上以便将入射电磁辐射过滤为其单个分量。在电磁光谱的可见范围中，此类cfa可以基于拜尔模板或其修改形式，以便分离光线中的绿色、红色和蓝色光谱分量。
91.如本文所用，单色传感器是指无过滤功能的成像传感器。因为像素是颜色不定的，所以其有效空间分辨率明显高于传统单传感器相机中的像素颜色(通常采用拜耳图案过滤)对等物。由于单个像素之间浪费的入射光子较少，因此单色传感器也可具有更高的量子效率。
92.如本文所用，发射器是能够生成和发射电磁脉冲的装置。发射器的各种实施方案可被配置成发射脉冲并且具有来自整个电磁光谱内的非常特定的频率或频率范围。脉冲可包括来自可见范围和不可见范围的波长。发射器可循环打开和关闭以产生脉冲，或者可利用快门机构产生脉冲。发射器可具有可变功率输出电平，或者可利用辅助装置诸如光圈或滤光器进行控制。发射器可发射可通过颜色滤光或快门开闭产生脉冲的宽光谱或全光谱电磁辐射。发射器可包括单独或协同起作用的多个电磁源。
93.应当指出，如本文所用，术语“光”既是粒子又是波长，并且旨在表示可被像素阵列检测的电磁辐射，并且可包括来自电磁辐射的可见光谱和不可见光谱的波长。本文所用的术语“分区”是指电磁光谱的预定波长范围，其小于整个光谱，或者换句话讲，构成电磁光谱的某一部分的波长。如本文所用，发射器是关于所发射的电磁光谱的一部分可控制的光源，或是可操作其部件的物理性质、发射强度或发射持续时间或以上所有的光源。发射器可发射任何抖动的、漫射的或准直的发射中的光，并且可通过数字方式或通过模拟方法或系统来进行控制。如本文所用，电磁发射器是电磁能量爆发源，并且其包括光源，诸如激光、led、白炽光、或可进行数字控制的任何光源。
94.现在参见附图，图1示出了用于在缺光环境中进行序列脉冲成像的系统100的示意
图。系统100可被部署为生成rgb图像，其中激光标测数据叠加在rgb图像上。系统100包括发射器102和像素阵列122。发射器102在缺光环境112中用脉冲调制电磁辐射的分区，并且像素阵列122感测反射的电磁辐射的实例。发射器102和像素阵列122依次工作，使得电磁辐射的分区的一个或多个脉冲使得像素阵列122感测到图像数据。
95.应当指出，如本文所用，术语“光”既是粒子又是波长，并且旨在表示可被像素阵列122检测的电磁辐射，并且可包括来自可见光谱和不可见光谱的电磁辐射的波长。本文所用的术语“分区”是指电磁光谱的预定波长范围，其小于整个光谱，或者换句话讲，构成电磁光谱的某一部分的波长。如本文所用，发射器是关于所发射的电磁光谱的一部分可控制的光源，或是可操作其部件的物理性质、发射强度或发射持续时间或以上所有的光源。发射器可发射任何抖动的、漫射的或准直的发射中的光，并且可通过数字方式或通过模拟方法或系统来进行控制。如本文所用，电磁发射器是电磁能量爆发源，并且其包括光源，诸如激光、led、白炽光、或可进行数字控制的任何光源。
96.图像传感器的像素阵列122可与发射器102以电子方式配对，使得发射器102和像素阵列122在操作期间同步，以用于接收发射和用于系统内所进行的调节两者。发射器102可被调谐成发射激光形式的电磁辐射，该电磁辐射可被用脉冲调制以照明缺光环境112。发射器102可以对应于像素阵列122的操作和功能的间隔脉冲。发射器102可用脉冲调制多个电磁分区中的光，使得像素阵列接收电磁能量并产生与每个特定电磁分区在时间上对应的数据集。例如，图1示出了一个具体实施，其中发射器102发射电磁辐射的四个不同分区，包括红色104波长、绿色106波长、蓝色108波长和专用110发射。专用110发射可包括用于使试剂发荧光的激发波长、电磁辐射的超光谱分区和/或激光标测图案。专用110发射可包括彼此分开且彼此独立的多个单独发射。专用110发射可包括用于使试剂发荧光的激发波长和激光标测图案的组合，其中发射彼此分开且彼此独立。可一前一后地分析由单独发射产生的数据，以基于荧光成像数据来识别场景内的关键结构，并且还基于激光标测数据与荧光成像数据的组合来识别关键结构的尺寸或定位。专用110发射可包括超光谱带的电磁辐射和激光标测图案的组合，其中发射彼此分开且彼此独立。可一前一后地分析由单独发射产生的数据，以基于超光谱成像数据来识别场景内的关键结构，并且还基于激光标测数据与超光谱成像数据的组合来识别关键结构的尺寸或定位。在一个实施方案中，专用110发射包括发射的任何期望的组合，发射可与由脉冲红色104发射、脉冲绿色106发射和脉冲蓝色108发射所得的数据组合。专用110发射可分散在脉冲图案内，使得不同类型的专用110发射的脉冲不如脉冲红色104发射、脉冲绿色106发射和脉冲蓝色108发射的脉冲频繁。
97.缺光环境112包括反射红色114光、绿色116光和/或蓝色118光的组合的结构、组织和其它元件。被感知为红色114的结构将反射脉冲红色104光。来自红色结构的反射产生在脉冲红色104发射之后，像素阵列122感测到红色105。由像素阵列122感测到的数据产生红色曝光帧。被感知为绿色116的结构将反射脉冲绿色106光。来自绿色结构的反射产生在脉冲绿色106发射之后，像素阵列122感测到绿色107。由像素阵列122感测到的数据产生绿色曝光帧。被感知为蓝色118的结构将反射脉冲蓝色108光。来自蓝色结构的反射产生在脉冲蓝色108发射之后，像素阵列122感测到蓝色109。由像素阵列122感测到的数据产生蓝色曝光帧。
98.当结构为颜色的组合时，结构将反射脉冲红色104发射、脉冲绿色106发射和/或脉
冲蓝色108发射的组合。例如，被感知为紫色的结构将反射来自脉冲红色104发射和脉冲蓝色108发射的光。由像素阵列122感测到的所得数据将指示光在脉冲红色104发射和脉冲蓝色108发射之后的相同区域中被反射。当所得红色曝光帧和蓝色曝光帧组合形成rgb图像帧时，rgb图像帧将指示结构是紫色的。
99.在其中缺光环境112包括荧光试剂或荧光染料或者包括一个或多个荧光结构、组织或其它元件的实施方案中，脉冲方案可包括某些荧光激发波长的发射。可选择某些荧光激发波长以使已知的荧光试剂、荧光染料或其它结构发荧光。荧光结构将对荧光激发波长敏感并且将发射荧光弛豫波长。在发射荧光激发波长之后，荧光弛豫波长将由像素阵列122感测到。由像素阵列122感测到的数据产生荧光曝光帧。荧光曝光帧可与多个其它曝光帧组合以形成图像帧。荧光曝光帧中的数据可叠层在包括来自红色曝光帧、绿色曝光帧和蓝色曝光帧的数据的rgb图像帧上。
100.在其中缺光环境112包括对电磁光谱的某些分区发射光谱响应的结构、组织或其它材料的实施方案中，脉冲方案可包括电磁辐射的超光谱分区的发射，用于引发来自存在于缺光环境112中的结构、组织或其它材料的光谱响应。光谱响应包括某些波长的电磁辐射的发射或反射。光谱响应可由像素阵列122感测并产生超光谱曝光帧。超光谱曝光帧可与多个其它曝光帧组合以形成图像帧。超光谱曝光帧中的数据可叠层在包括来自红色曝光帧、绿色曝光帧和蓝色曝光帧的数据的rgb图像帧上。
101.在一个实施方案中，脉冲方案包括激光标测图案或工具跟踪图案的发射。在发射激光标测图案或工具跟踪图案之后，由像素阵列122感测到的反射电磁辐射产生形貌曝光帧。可将形貌曝光帧中的数据提供给对应的系统，以识别例如在缺光环境112中存在的工具之间的距离、缺光环境112中场景的三维表面形貌、场景内结构或对象的距离、尺寸或位置等。该数据可叠层在rgb图像帧上或以其它方式提供给系统的用户。
102.发射器102可以是能够发射脉冲红色104光的激光发射器，以用于生成感测到的红色105数据，从而识别缺光环境112内的红色114元件。发射器102还能够发射脉冲绿色106光，以用于生成感测到的绿色107数据，从而识别缺光环境内的绿色116元件。发射器102还能够发射脉冲蓝色108光，以用于生成感测到的蓝色109数据，从而识别缺光环境内的蓝色118元件。发射器102还能够发射专用110发射，以用于标测缺光环境112内的场景的形貌120。发射器102能够以任何期望的顺序来发射脉冲红色104发射、脉冲绿色106发射、脉冲蓝色108发射和脉冲专用110发射。
103.像素阵列122感测反射的电磁辐射。感测到的红色105数据、感测到的绿色107数据、感测到的蓝色109数据和感测到的专用111数据中的每一者可被称为“曝光帧”。感测到的专用111可产生彼此分开且彼此独立的多个单独曝光帧。例如，感测到的专用111可产生荧光曝光帧、超光谱曝光帧和/或包括激光标测数据的形貌曝光帧。为每个曝光帧分配特定颜色分区或波长分区，其中分配基于来自发射器102的脉冲颜色或波长分区的定时。曝光帧与所分配的特定颜色或波长分区的组合可被称为数据集。即使像素122不是颜色专用的，也可基于关于发射器的先验信息为任何给定数据集分配颜色。
104.例如，在操作期间，在脉冲红色104光在缺光环境112中被用脉冲调制后，像素阵列122感测反射的电磁辐射。反射电磁辐射产生曝光帧，并且该曝光帧被归类为感测到的红色105数据，因为它在时间上与脉冲红色104光对应。曝光帧与其在时间上与脉冲红色104光对
应的指示的组合是“数据集”。针对由发射器102发射的电磁辐射的每个分区重复该过程。像素阵列122形成的数据包括感测到的红色105曝光帧，其用于识别缺光环境中的红色114分量并且在时间上与脉冲红色104光对应。该数据还包括感测到的绿色107曝光帧，其用于识别缺光环境中的绿色116分量并且在时间上与脉冲绿色106光对应。该数据还包括感测到的蓝色109曝光帧，其用于识别缺光环境中的蓝色118分量并且在时间上与脉冲蓝色108光对应。该数据还包括感测到的专用111曝光帧，其用于识别形貌120并且在时间上与专用110发射对应。
105.在一个实施方案中，将代表red电磁脉冲、green电磁脉冲和blue电磁脉冲的三个数据集组合以形成单个图像帧。因此，将红色曝光帧、绿色曝光帧和蓝色曝光帧中的信息组合以形成单个rgb图像帧。表示其它波长分区的一个或多个附加数据集可叠层在单个rgb图像帧上。一个或多个附加数据集可表示例如激光标测数据、荧光成像数据和/或超光谱成像数据。
106.应当理解，在不脱离本公开的范围的情况下，本公开不限于任何特定的颜色组合或任何特定的电磁分区，并且任何颜色组合或任何电磁分区均可用于代替red、green和blue，诸如青色、洋红色和黄色；紫外线；红外线；前述的任何组合或任何其它颜色组合，包括所有可见波长和不可见波长。在图中，待成像的缺光环境112包括红色114部分、绿色116部分和蓝色118部分，并且还包括可被感测并标测到三维渲染中的形貌120。如图所示，来自电磁脉冲的反射光仅包含对象的具有对应于脉冲颜色分区的特定颜色的部分的数据。这些单独的颜色(或颜色间隔)数据集可随后用于通过在126处组合数据集来重建图像。多个曝光帧(即，多个数据集)中的每一者中的信息可由控制器124、控制单元、相机控制单元、图像传感器、图像信号处理流水线或能够被配置成在126处处理多个曝光帧并组合数据集的一些其他计算资源组合。数据集可被组合以在内窥镜单元自身内或由一些其它处理资源在异地生成单个图像帧。
107.图2是用于向缺光环境提供照明诸如以进行内窥镜成像的系统200。系统200可与本文所公开的系统、方法或装置中的任一者结合使用。系统200包括发射器202、控制器204、跳线波导206、波导连接器208、内腔波导210、内腔212和具有附带的光学部件(诸如透镜)的图像传感器214。发射器202(通常可被称为“光源”)生成行进穿过跳线波导206和内腔波导210的光，以照明内腔212的远侧端部处的场景。发射器202可用于发射任何波长的电磁能量，包括可见波长、红外波长、紫外波长、超光谱波长、荧光激励波长或其它波长。可将内腔212插入患者体内以进行成像，诸如在手术或检查期间。如虚线216所示输出光。可使用图像传感器214捕获由光照明的场景并且向医生或一些其它医学人员显示该场景。控制器204可向发射器202提供控制信号以控制何时向一个场景提供照明。在一个实施方案中，发射器202和控制器204位于内窥镜所连接的相机控制单元(ccu)或外部控制台内。如果图像传感器214包括cmos传感器，则可在所谓的消隐期间以图像传感器214的读出周期之间的一系列照明脉冲周期性地向场景提供光。因此，光可以受控方式被用脉冲调制，以避免叠层到图像传感器214的像素阵列中的图像像素的读出周期中。
108.在一个实施方案中，内腔波导210包括一根或多根光纤。考虑到内腔波导210和/或内窥镜的其它部分的弃置，这些光纤可由低成本材料(诸如塑料)制成。在一个实施方案中，内腔波导210是直径为500微米的单根玻璃纤维。跳线波导206可永久性地附接到发射器
202。例如，跳线波导206可从发射器202内的发射器接收光，并且在连接器208的位置处向内腔波导210提供光。在一个实施方案中，跳线波导106包括一根或多根玻璃光纤。跳线波导可包括用于将光引导至内腔波导210的任何其它类型的波导。连接器208可将跳线波导206选择性地耦合到内腔波导210，并且允许跳线波导206内的光通过内腔波导210。在一个实施方案中，内腔波导210直接被耦合到光源，而无需任何居间跳线波导206。
109.图像传感器214包括像素阵列。在一个实施方案中，图像传感器214包括用于生成三维图像的两个或更多个像素阵列。图像传感器214可构成两个以上的图像传感器，每个图像传感器具有独立的像素阵列并且可彼此独立地操作。图像传感器214的像素阵列包括有效像素和光学黑色(“ob”)像素或光学盲像素。有效像素可以是能够针对任何波长的电磁辐射感测成像数据的透明的“颜色不定”像素。当“重置”或校准像素阵列时，在像素阵列的消隐周期期间读取光学黑色像素。在一个实施方案中，当读取光学黑色像素时，光在像素阵列的消隐周期期间用脉冲调制。在读取了光学黑色像素之后，在像素阵列的读出周期期间读取有效像素。有效像素可由在消隐周期期间用脉冲调制的电磁辐射充电，使得有效像素准备好在像素阵列的读出周期期间由图像传感器读取。
110.图2a是互补系统硬件诸如专用或通用计算机的示意图。处于本公开的范围内的具体实施也可包括用于承载或存储计算机可执行指令和/或数据结构的物理介质及其它非暂态计算机可读介质。此类计算机可读介质可为可通过通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质为传输介质。因此，以举例而非限制性的方式，本公开的具体实施可包括至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
111.计算机存储介质(装置)包括ram、rom、eeprom、cd-rom、固态硬盘(“ssd”)(例如，基于ram)、闪存存储器、相变存储器(“pcm”)、其它类型的存储器、其它光盘存储器、磁盘存储器或其它磁存储器装置、或任何其它可用于存储所需的呈计算机可执行指令或数据结构的形式的程序代码工具并可通过通用或专用计算机来访问的介质。
[0112]“网络”是指一个或多个数据链路，其能够使电子数据在计算机系统和/或模块和/或其它电子装置之间进行传输。在一个具体实施中，传感器与相机控制单元可网络化，以便彼此通信，以及与通过它们所连接网络进行连接的其它部件进行通信。当信息通过网络或另外的通信连接(硬连接、无线或者硬连接或无线的组合)传送或提供至计算机时，计算机合理地将该连接视作传输介质。传输介质可包括网络和/或数据链路，该网络和/或数据链路可用于承载期望的呈计算机可执行指令或数据结构的形式的程序代码工具并可通过通用或专用计算机来访问。上述组合也应涵盖在计算机可读介质的范围内。
[0113]
另外，在到达各种计算机系统部件时，呈计算机可执行指令或数据结构的形式的程序代码工具，其可由传输介质自动传送至计算机存储介质(装置)(反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可缓存于网络接口模块(例如，“nic”)内的ram中，然后最终传送至计算机系统ram和/或计算机系统的非易失性计算机存储介质(装置)中。ram还可包括固态硬盘(ssd或基于pcix的实时存储器分层存储装置，诸如fusionio)。因此，应当理解，计算机存储介质(装置)可包括在计算机系统部件中，该计算机系统部件还(或甚至主要)利用了传输介质。
[0114]
计算机可执行指令包括例如在由一个或多个处理器执行时致使通用计算机、专用计算机或专用处理装置执行某些功能或功能群的指令和数据。计算机可执行指令可为(例如)二进制、中间格式指令(诸如汇编语言)、或者甚至为源代码。尽管在语言上针对结构特征和/或方法步骤阐述了本发明的主题，然而应当理解，随附权利要求书中所限定的主题未必仅限于上文所述的特征或步骤。更确切地说，上文所述的特征和步骤是作为实施权利要求书的例子形式而公开的。
[0115]
本领域的技术人员应当理解，本公开可在网络计算环境中实现，该网络计算环境具有多种类型的计算机系统配置，包括个人电脑、台式计算机、笔记本电脑、信息处理器、控制单元、相机控制单元、手持设备、手持件、多处理器系统、基于微处理器的或可编程的电子消费品、网络pc、小型计算机、大型计算机、移动电话、pda、平板电脑、传呼机、路由器、交换机、各种存储设备等等。应当指出的是，任意上述计算设备都可由实体机构提供或位于实体机构内。本公开也可在分布式系统环境中实现，其中本地和远程计算机系统通过网络连接起来(通过硬连接数据链路、无线数据链路或硬连接数据链路与无线数据链路的组合)，两者均可执行任务。在分布式系统环境中，程序模块可位于本地和远程存储器存储装置二者中。
[0116]
另外，在适当的情况下，本文所述的功能可通过硬件、软件、固件、数字部件或模拟部件中的一种或多种来执行。例如，可对一种或多种专用集成电路(asic)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的系统部件。本领域的技术人员应当理解，部件可具有不同的名称。本文并非旨在在名称上而非功能上不同的部件之间进行辨别。
[0117]
图2a是示出了示例性计算装置250的框图。计算装置250可用于执行各种程序，诸如本文所讨论的那些程序。计算装置250可用作服务器、客户端或任意其它计算实体。计算装置250可执行本文所讨论的各种监控功能，并且可执行一种或多种应用程序，诸如本文所述的应用程序。计算装置250可为各种计算装置中的任意一种，诸如台式计算机、笔记本电脑、服务器电脑、掌上电脑、相机控制单元、平板电脑等等。
[0118]
计算装置250包括一个或多个处理器252、一个或多个存储器装置254、一个或多个接口256、一个或多个大容量存储装置258、一个或多个输入/输出(i/o)装置260以及显示装置280，所有器件均耦接到总线262。处理器252包括一个或多个处理器或控制器，其执行存储于存储器装置254和/或大容量存储装置258中的指令。处理器252还可以包括各种类型的计算机可读介质，诸如高速缓存存储器。
[0119]
存储器装置254包括各种计算机可读介质，诸如易失性存储器(例如，随机存取存储器(ram)264)和/或非易失性存储器(例如，只读存储器(rom)266)。存储器装置254还可包括可重写rom，诸如闪存存储器。
[0120]
大容量存储装置258包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，闪存存储器)等。如图2中所示，特定的大容量存储装置为硬盘驱动器274。各种驱动器也可包括于大容量存储装置258中以能够从各种计算机可读介质中进行读取和/或写入。大容量存储装置258包括可移动介质276和/或不可移动介质。
[0121]
i/o装置260包括能够向计算装置250输入或从计算装置检索数据和/或其它信息的各种装置。示例性i/o装置260包括数字成像装置、电磁传感器和发射器、光标控制装置、
键盘、小键盘、麦克风、监视器或其它显示装置、扬声器、打印机、网络接口卡、调制解调器、透镜、ccd或其它图像捕获装置等等。
[0122]
显示装置280包括能够向计算装置250的一个或多个用户显示信息的任何类型的装置。显示装置280的示例包括监视器、显示终端、视频投影装置等等。
[0123]
接口256包括能够使计算装置250与其它系统、装置或计算环境进行交互的各种接口。示例性接口256可包括任何数量的不同网络接口270，诸如连接局域网(lan)、广域网(wan)、无线网和因特网的接口。其它接口包括用户接口268和外围装置接口272。接口256还可包括一个或多个用户接口元件268。接口256还可包括一个或多个外围接口，诸如用于打印机、指示装置(鼠标、触控板等)、键盘等的接口。
[0124]
总线262使处理器252、存储器装置254、接口256、大容量存储装置258和i/o装置260能够彼此通信，并与耦接到总线262的其它装置或部件进行通信。总线262表示若干类型的总线结构(诸如系统总线、pci总线、ieee 1394总线、usb总线等等)中的一种或多种。
[0125]
出于示例性目的，本文所示的程序和其它可执行程序器件为分立块体，但应当理解，此类程序和器件可驻留在计算装置250的不同存储器件中的各个时间，并由处理器252执行。另选地，本文所述的系统和程序可通过硬件来实现，或通过硬件、软件和/或固件的组合来实现。例如，可对一种或多种专用集成电路(asic)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。
[0126]
图3a示出了在滚动读出模式或在传感器读出300期间使用的传感器的操作循环。帧读出可在竖直线310处开始并且可由该竖直线表示。读出周期由对角线或斜线302表示。图像传感器的像素阵列的有效像素可逐行读出，向下倾斜边缘的顶部为传感器顶行312，向下倾斜边缘的底部为传感器底行314。在最后一行读出和下一读出循环之间的时间可被称为消隐周期316。应当指出，传感器像素行中的一些可覆盖有光屏蔽件(例如，金属涂层或另一种材料类型的任何其它大体上黑色的层)。这些被覆盖的像素行可被称为光学黑色行318和320。光学黑色行318和320可用作校正算法的输入。如图3a所示，这些光学黑色行318和320可位于像素阵列的顶部上或像素阵列的底部或像素阵列的顶部和底部。
[0127]
图3b示出了控制曝光至像素从而被像素集成或聚积的电磁辐射(例如，光)的量的方法。应当理解，光子是电磁辐射的基本粒子。光子被每个像素集成、吸收或累积并转换为电荷或电流。电子快门或卷帘式快门(点划线322所示)可用于通过复位像素来开始集成时间。然后光将集成直到下一读出阶段为止。电子快门322的位置可在两个读出循环302之间移动，以控制给定量的光的像素饱和度。应当指出，该技术允许在两个不同行之间的集成时间恒定，但在从顶行移动到底行时引入延迟。
[0128]
图3c示出了电子快门322已被移除的情况。在该配置中，入射光的集成可在读出302期间开始，并且可在下一读出循环302处结束，该下一读出循环也限定下一集成的开始。
[0129]
图3d示出了没有电子快门322但在消隐周期316期间具有受控和脉冲光330的配置。这确保所有行看到的光与从相同光脉冲330发出的光相同。换句话讲，每行将在黑暗环境中开始其集成，这可位于读出帧(m)的光学黑色后行320以获得最大的光脉冲宽度，并且然后将接收光通并且将在黑暗环境中结束其集成，这可位于下一后续读出帧(m 1)的光学黑色前行318以获得最大的光脉冲宽度。在例如图3d中，由光脉冲生成的图像将仅在帧(m 1)读出期间可用，而不会干扰帧(m)和帧(m 2)。应当指出，使光脉冲仅在一个帧中读出并且
不干扰相邻帧的条件是在消隐周期316期间击发给定的光脉冲。因为光学黑色行318、320对光不敏感，所以可将帧(m)的光学黑色后行320时间和帧(m 1)的光学黑色前行318时间添加至消隐周期316，以确定光脉冲330的击发时间的最大范围。
[0130]
如图3a所示，传感器可循环多次以接收每种脉冲颜色或波长(例如，电磁光谱上的红色、绿色、蓝色或其它波长)的数据。每个循环可以是定时的。在一个实施方案中，循环可定时以在16.67ms的间隔内操作。在另一个实施方案中，循环可定时以在8.3ms的间隔内操作。应当理解，本公开设想了其它的定时间隔，并且旨在落入本公开的范围内。
[0131]
图4a以图形方式示出了电磁发射器的实施方案的操作。发射器可定时以对应于传感器的循环，使得电磁辐射在传感器操作循环内和/或传感器操作循环的一部分期间发射。图4a示出了402处的脉冲1、404处的脉冲2和406处的脉冲3。在一个实施方案中，发射器可在传感器操作循环的读出周期302期间脉冲。在一个实施方案中，发射器可在传感器操作循环的消隐部分316期间用脉冲调制。在一个实施方案中，发射器可用脉冲调制持续时间，该持续时间在两个或更多个传感器操作循环的部分期间。在一个实施方案中，发射器可在消隐部分316期间或在读出周期302的光学黑色部分320期间开始用脉冲调制，并且在读出周期302期间或下一后续循环的读出周期302的光学黑色部分318期间结束用脉冲调制。应当理解，只要发射器的脉冲和传感器的循环相对应，上述的任何组合旨在落入本公开的范围内。
[0132]
图4b以图形方式表示改变发射的电磁脉冲(例如，在412处的脉冲1、在414处的脉冲2、在416处的脉冲3)的持续时间和量值以控制曝光。具有固定输出量值的发射器可在上文结合图3d和图4a所述的任何循环期间用脉冲调制一定间隔，以向像素阵列提供所需的电磁能量。具有固定输出量值的发射器可在较长的时间间隔内用脉冲调制，从而为像素提供更多的电磁能量，或者发射器可在较短的时间间隔用脉冲调制，从而提供较少的电磁能量。是否需要较长或较短的时间间隔取决于操作条件。
[0133]
与调节发射器用脉冲调制固定输出量值的时间间隔相比，可增大发射量值本身以便向像素提供更多的电磁能量。类似地，减小脉冲的量值可为像素提供较少的电磁能量。应当指出，如果需要的话，系统的实施方案可具有同时调节量值和持续时间的能力。另外，可调节传感器以根据最佳图像质量的需要来增加其灵敏度和持续时间。图4b示出了改变脉冲的量值和持续时间。在图示中，412处的脉冲1具有比414处的脉冲2或416处的脉冲3更高的量值或强度。另外，412处的脉冲1具有比在414处的脉冲2或416处的脉冲3更短的持续时间，使得由该脉冲提供的电磁能量由图示中所示脉冲下的面积示出。在图示中，当与412处的脉冲1或416处的脉冲3相比时，414处的脉冲2具有相对低的量值或强度和较长的持续时间。最后，在图示中，当与412处的脉冲1和414处的脉冲2相比时，416处的脉冲3具有中间量值或强度和持续时间。
[0134]
图5是根据本公开的原理和教导内容的组合图3a至图3d以及图4的操作循环、电磁发射器和发射电磁脉冲以在操作期间显示成像系统的本公开的实施方案的图形表示。如在图中可见，电磁发射器主要在图像传感器的消隐周期316期间用脉冲调制发射，使得像素将被充电并且准备好在图像传感器循环的读出周期302期间被读取。图5中的点划线表示电磁辐射脉冲(来自图4a)。电磁辐射脉冲主要在图像传感器的消隐周期316期间发射，但可与图像传感器的读出周期302叠层。
[0135]
曝光帧包括在读出周期302期间由图像传感器的像素阵列读取的数据。曝光帧可
与在读出周期302之前由发射器发射何种类型的脉冲的指示相组合。曝光帧与脉冲类型的指示的组合可被称为数据集。可组合多个曝光帧以生成黑白或rgb彩色图像。另外，超光谱成像数据、荧光成像数据和/或激光标测成像数据可叠层在黑白或rgb图像上。
[0136]
在一个实施方案中，rgb图像帧基于三个曝光帧生成，包括由图像传感器在红色发射之后生成的红色曝光帧、由图像传感器在绿色发射之后生成的绿色曝光帧以及由图像传感器在蓝色发射之后生成的蓝色曝光帧。荧光成像数据可叠层在rgb图像帧上。荧光成像数据可提取自一个或多个荧光曝光帧。荧光曝光帧包括在发射用于激发荧光试剂的激发波长的电磁辐射之后的读出周期302期间由图像传感器生成的数据。在激发荧光试剂之后由像素阵列感测到的数据可为由荧光试剂发射的弛豫波长。荧光曝光帧可包括多个荧光曝光帧，每个荧光曝光帧在不同类型的荧光激发发射之后由图像传感器生成。在一个实施方案中，荧光曝光帧包括多个荧光曝光帧，包括在发射具有约770nm至约790nm的波长的电磁辐射之后由图像传感器生成的第一荧光曝光帧，以及在发射具有约795nm至约815nm的波长的电磁辐射之后由图像传感器生成的第二荧光曝光帧。荧光曝光帧可包括由图像传感器基于成像应用根据需要在光的其它荧光激发发射之后生成的另外的附加荧光曝光帧。
[0137]
在一个实施方案中，曝光帧是在消隐周期316之后发生的读出周期302期间由像素阵列感测到的数据。电磁辐射的发射在消隐周期316期间发射。在一个实施方案中，电磁辐射的发射的一部分与读出周期316叠层。消隐周期316在像素阵列的光学黑色像素被读取时发生，并且读出周期302在像素阵列的有效像素被读取时发生。消隐周期316可与读出周期302叠层。
[0138]
图6a和图6b示出了用于记录图像帧的过程。可将多个图像帧串在一起以生成视频流。单个图像帧可包括来自多个曝光帧的数据，其中曝光帧是在发射电磁辐射之后由像素阵列感测到的数据。图6a示出了通常用彩色图像传感器实现的常规过程，该彩色图像传感器具有颜色滤光器阵列(cfa)以用于每个像素滤除某些波长的光。图6b是本文所公开的过程，并且可利用能够接收所有波长的电磁辐射的单色“颜色不定”图像传感器来实现。
[0139]
图6a所示的过程从时间t(0)到时间t(1)发生。该过程首先发射白光602并感测白光604。在606处，基于在604处的感测来处理并显示图像。
[0140]
图6b所示的过程从时间t(0)到时间t(1)发生。该过程首先发射绿光612并在发射绿光612之后感测反射的电磁辐射614。该过程继续发射红光616并在发射红光616之后感测反射的电磁辐射618。该过程继续发射蓝光620并在发射蓝光620之后感测反射的电磁辐射622。该过程继续进行专用624发射的一个或多个发射并在专用624发射的一个或多个发射中的每一个发射之后感测反射电磁能量626。专用发射可包括一个或多个单独的发射，诸如荧光试剂的激发波长、超光谱发射和/或激光标测发射。单独的多个专用发射中的每一个发射可由图像传感器独立地感测，以生成单独且独立的曝光帧。在628处，基于感测到的反射电磁能量实例614、618、622和626中的每一者来处理并显示图像。
[0141]
图6b所示的过程提供了较高分辨率的图像并且提供了用于生成还包括激光标测数据的rgb图像的装置。当使用分区光谱光时(如图6b所示)，可使传感器对所有波长的电磁能量敏感。在图6b所示的过程中，指示单色像素阵列在每个循环中感测来自全光谱电磁能量的预定分区的电磁能量。因此，为了形成图像，传感器只需要循环全光谱光内的多个不同分区。基于多个循环来组合最终图像。因为来自每个颜色分区帧循环的图像具有更高分辨
率(与cfa像素阵列相比)，所以当分区光帧被组合时所形成的所得图像也具有更高分辨率。换句话讲，因为阵列内的每个像素(而不是至多，具有cfa的传感器中的每隔一个像素)正感测给定脉冲和给定场景的能量量值，所以仅相隔一段时间，针对每个场景形成较高分辨率图像。
[0142]
如在图6a和图6b中所示的实施方案中在时间t(0)和t(1)之间可图形方式看出，用于图6b中的分区光谱系统的传感器对图6a中的全光谱系统中的每个系统循环至少四次。在一个实施方案中，显示装置(lcd面板)以每秒50帧至60帧的速度操作。在此类实施方案中，图6b中的分区光系统可以200帧/秒至240帧/秒的速率操作，以保持所显示视频的连续性和平滑性。在其它实施方案中，可存在不同的捕获和显示帧速率。此外，平均捕获速率可以是显示速率的任何倍数。
[0143]
在一个实施方案中，可能期望并非所有分区在系统帧速率内均相等地表示。换句话讲，并非所有光源都必须以相同的规律性用脉冲调制，以便根据用户的需要来强调和取消强调所记录场景的各个方面。还应当理解，电磁频谱的不可见分区和可见分区可在系统内用脉冲调制到一起，其中它们的相应数据值被接合(stitch)到视频输出中，以用于向用户显示。
[0144]
一个示例性实施方案可包括如下脉冲循环图案：
[0145]
i.绿色脉冲；
[0146]
ii.红色脉冲；
[0147]
iii.蓝色脉冲；
[0148]
iv.绿色脉冲；
[0149]
v.红色脉冲；
[0150]
vi.蓝色脉冲；
[0151]
vii.激光标测脉冲方案；
[0152]
viii.荧光激发脉冲；
[0153]
ix.超光谱脉冲；
[0154]
x.(重复)
[0155]
另一个示例性实施方案可包括如下脉冲循环图案：
[0156]
i.绿色脉冲；
[0157]
ii.红色脉冲；
[0158]
iii.蓝色脉冲；
[0159]
iv.荧光激发脉冲；
[0160]
v.超光谱脉冲；
[0161]
vi.绿色脉冲；
[0162]
vii.红色脉冲；
[0163]
viii.蓝色脉冲；
[0164]
ix.荧光激发脉冲；
[0165]
x.超光谱脉冲；
[0166]
xi.激光标测脉冲方案；
[0167]
xii.(重复)
[0168]
可改变脉冲图案以适应特定具体实施的成像目标。一个示例性成像目标是获得超光谱成像数据和荧光成像数据，并且还获得基于对超光谱成像数据和/或荧光成像数据的分析的激光标测数据和/或工具跟踪数据。在此类示例中，可针对场景的已被超光谱成像数据和/或荧光成像数据突出显示的某些区域来分析激光标测数据和/或工具跟踪数据。另一个示例性成像目标是获得超光谱成像数据或荧光成像数据，并且还获得激光标测数据和/或工具跟踪数据。另一个示例性成像目标是获得激光标测数据和/或工具跟踪数据。另一个示例性成像目标是获得超光谱成像数据。另一个示例性成像目标是获得荧光成像数据。应当理解，成像目标可以是专门的，具体取决于部署成像系统的原因。另外，成像目标可在单个成像会话期间改变，并且可改变脉冲图案以匹配变化的成像目标。
[0169]
如在该示例中可见，激光标测分区可以与其它分区脉冲的速率不同的速率用脉冲调制。这样做可强调场景的某个方面，其中激光标测数据仅与视频输出中的其它数据叠层以做出希望的强调。应当指出，在红色分区、绿色分区和蓝色分区的顶部上方添加激光标测分区并不一定要求序列化的系统以全光谱非串行系统的速率的四倍操作，因为每个分区不必在脉冲图案中相等地表示。如在该实施方案中所见，添加在脉冲图案(上述示例中的激光标测)中表示较少的分区脉冲将产生小于传感器的循环速度的20％的增加，以适应不规则的分区取样。
[0170]
在各种实施方案中，脉冲循环图案还可以任何合适的顺序包括以下波长中的任一个波长。此类波长可特别适用于激发荧光试剂，以通过基于荧光试剂弛豫发射感测荧光试剂的弛豫发射来产生荧光成像数据：
[0171]
i.770
±
20nm；
[0172]
ii.770
±
10nm；
[0173]
iii.770
±
5nm；
[0174]
iv.790
±
20nm；
[0175]
v.790
±
10nm；
[0176]
vi.790
±
5nm；
[0177]
vii.795
±
20nm；
[0178]
viii.795
±
10nm；
[0179]
ix.795
±
5nm；
[0180]
x.815
±
20nm；
[0181]
xi.815
±
10nm；
[0182]
xii.815
±
5nm；
[0183]
xiii.770nm至790nm；和/或
[0184]
xiv.795nm至815nm。
[0185]
在各种实施方案中，脉冲循环还可以任何合适的顺序包括以下波长中的任一个波长。此类波长可特别适用于生成超光谱成像数据：
[0186]
i.513nm至545nm；
[0187]
ii.565nm至585nm；
[0188]
iii.900nm至1000nm；
[0189]
iv.513
±
5nm；
[0190]
v.513
±
10nm；
[0191]
vi.513
±
20nm；
[0192]
vii.513
±
30nm；
[0193]
viii.513
±
35nm；
[0194]
ix.545
±
5nm；
[0195]
x.545
±
10nm；
[0196]
xi.545
±
20nm；
[0197]
xii.545
±
30nm；
[0198]
xiii.545
±
35nm；
[0199]
xiv.565
±
5nm；
[0200]
xv.565
±
10nm；
[0201]
xvi.565
±
20nm；
[0202]
xvii.565
±
30nm；
[0203]
xviii.565
±
35nm；
[0204]
xix.585
±
5nm；
[0205]
xx.585
±
10nm；
[0206]
xxi.585
±
20nm；
[0207]
xxii.585
±
30nm；
[0208]
xxiii.585
±
35nm；
[0209]
xxiv.900
±
5nm；
[0210]
xxv.900
±
10nm；
[0211]
xxvi.900
±
20nm；
[0212]
xxvii.900
±
30nm；
[0213]
xxviii.900
±
35nm；
[0214]
xxix.1000
±
5nm；
[0215]
xxx.1000
±
10nm；
[0216]
xxxi.1000
±
20nm；
[0217]
xxxii.1000
±
30nm；或者
[0218]
xxxiii.1000
±
35nm。
[0219]
可将分区循环划分为适应或近似各种成像和视频标准。在一个实施方案中，分区循环可包括如下如图7a至图7d中最佳地示出的红色、绿色和蓝色光谱中的电磁能量的脉冲。在图7a中，已通过在由竖直灰色虚线所示的工作范围内调制光脉冲宽度或持续时间来实现不同的光强度。在图7b中，已通过调制光功率或电磁发射器(其可为激光器或led发射器)的功率，但保持脉冲宽度或持续时间恒定来实现不同的光强度。图7c示出了光功率和光脉冲宽度均被调制从而得到更大灵活性的情况。分区循环可使用青色洋红色黄色(cmy)、红外线、紫外线、超光谱和荧光，其使用与可见脉冲源混合的不可见脉冲源以及产生图像所需的任何其它色彩空间或近似于当前已知或尚未开发的所需视频标准。还应当理解，系统能够在运行中的色彩空间之间切换以提供所需图像输出质量。
[0220]
在使用色彩空间绿色-蓝色-绿色-红色(如图7d中所示)的实施方案中，可能期望
比色度分量更频繁地脉冲亮度分量，因为用户通常对光量值差异比对光色差更敏感。可使用如图7d中所示的单色传感器来利用该原理。在图7d中，包含最多亮度信息的绿色可在(g-b-g-r-g-b-g-r
……
)方案中更频繁地脉冲或具有更大强度以获得亮度数据。此类配置将创建具有可察觉的更多细节的视频流，而不创建和传输不可察觉的数据。
[0221]
在一个实施方案中，复制较弱分区的脉冲可用于产生已针对较弱脉冲进行调节的输出。例如，认为蓝色激光相对于硅基像素的灵敏度弱，并且与红光或绿光相比，蓝色激光难以产生，因此可在帧循环期间更频繁地脉冲以补偿光的弱性。这些附加脉冲可随时间推移连续地完成，或者通过使用多个激光器同时用脉冲调制以产生所需补偿效果。应当注意，通过在消隐周期(在此期间传感器不读出像素阵列的时间)期间用脉冲调制，传感器对同一种类的激光器之间的差异/失配不敏感，并且简单地聚积光以用于期望的输出。在另一个实施方案中，最大光脉冲范围可能从帧到帧是不同的。这在图7e中示出，其中光脉冲从帧到帧是不同的。传感器可被构建成能够以2帧或3帧或4帧或n帧的重复图案对不同消隐周期进行编程。在图7e中，示出了四个不同的光脉冲，并且脉冲1可例如在脉冲4之后重复并且可具有不同消隐周期的四个帧的图案。该技术可用于将最大功率的分区放置于最小消隐周期上，并且因此允许最弱的分区在后续帧中的一帧上具有更宽的脉冲而无需增加读出速度。重建帧仍可具有帧到帧的规则图案，因为其由许多脉冲帧构成。
[0222]
图8至图11示出了包括多个像素的像素阵列的示例性实施方案，其中像素在帧与帧之间交替。
[0223]
图8示出了包括多个像素的像素阵列800。像素阵列800中的像素被描绘为离散正方形。像素阵列800被配置用于感测反射的电磁辐射，以用于基于多个独立曝光帧来生成rgb图像帧。像素阵列800被示出为随时间推移具有四种不同配置，包括用于第一曝光帧802、第二曝光帧804、第三曝光帧806和第四曝光帧808的配置。第一曝光帧802、第二曝光帧804、第三曝光帧806和第四曝光帧808可组合以生成单个rgb图像帧。一个或多个附加曝光帧可与rgb图像帧组合或叠层在其上，包括例如超光谱曝光帧、荧光曝光帧和/或激光标测曝光帧。
[0224]
当像素阵列800被配置用于第一曝光帧802时，像素被配置为以棋盘状图案布置的绿色短曝光像素810(标注有gs)和绿色长曝光像素812(标注有g
l
)。用于第二曝光帧804的像素阵列800配置包括红色像素806(标注有r)。用于第三曝光帧806的配置包括被配置为以相对于第一曝光帧802相反的配置以棋盘状图案布置的绿色短曝光像素810和绿色长曝光像素812的像素。用于第四曝光帧808的配置包括蓝色曝光帧818(标注有b)。这种包括长曝光像素和短曝光像素的方法增大了所得图像的感知分辨率。长曝光像素和短曝光像素的内插位置可以在曝光帧之间交换，例如如第一曝光帧802和第三曝光帧806所示。
[0225]
图9示出了包括多个像素的像素阵列900。像素阵列900被配置用于感测反射的电磁辐射，以基于多个独立曝光帧来生成ycbcr图像帧。像素阵列900被示出为随时间推移具有四种不同配置，包括用于第一曝光帧902、第二曝光帧904、第三曝光帧906和第四曝光帧908的配置。由像素阵列900感测到的用于多个曝光帧902、904、906、908的数据可组合以生成单个ycbcr图像帧。用于第一曝光帧902的像素配置包括以棋盘状图案布置的亮度短曝光像素910(标注有ys)和亮度长曝光像素912(标注有y
l
)。用于第二曝光帧904的配置包括色度蓝色像素914(标注有cb)。用于第三曝光帧906的配置包括以相对于第一曝光帧902相反的
配置以棋盘状图案布置的亮度短曝光像素910和亮度长曝光像素912。用于第四曝光帧908的配置包括色度红色像素916(标注有cr)。
[0226]
图10示出了包括多个像素的像素阵列1000。像素阵列1000被配置用于感测反射的电磁辐射，以用于基于多个独立曝光帧来生成rgb图像。像素阵列1000被示出为随时间推移具有四种不同配置，包括用于第一曝光帧1002、第二曝光帧1004、第三曝光帧1006和第四曝光帧1008的配置。由像素阵列1000感测到的用于多个曝光帧1002、1004、1006、1008的数据可组合以生成单个rgb图像帧。用于第一曝光帧1002的像素配置包括以棋盘状图案布置的绿色短曝光像素1010(标注有gs)和绿色长曝光像素1012(标注有g
l
)。用于第二曝光帧1004的配置包括红色短曝光像素1014(标注有rs)和红色长曝光像素1016(标注有r
l
)。用于第三曝光帧1006的配置包括以具有相对于第一曝光帧1002的布置的相反配置的棋盘状图案布置的绿色短曝光像素1010和绿色长曝光像素1012。用于第四曝光帧1008的配置包括以棋盘状图案布置的蓝色短曝光像素1018(标注有bs)和蓝色长曝光像素1020(标注有b
l
)。
[0227]
图11示出了包括多个像素的像素阵列1100。像素阵列900被配置用于感测反射的电磁辐射，以基于多个独立曝光帧来生成ycbcr图像帧。像素阵列1100被示出为随时间推移具有四种不同配置，包括用于第一曝光帧1102、第二曝光帧1104、第三曝光帧1106和第四曝光帧1108的配置。由像素阵列1100感测到的用于多个曝光帧1102、1104、1106、1108的数据可组合以生成单个ycbcr图像帧。用于第一曝光帧1102的像素配置包括以棋盘状图案布置的亮度短曝光像素1110(标注有ys)和亮度长曝光像素1112(标注有y
l
)。用于第二曝光帧1104的配置包括以棋盘状图案布置的色度蓝色短曝光像素1114(标注有cbs)和色度蓝色长曝光像素1116(标注有cb
l
)。用于第三曝光帧1106的配置包括以相对于第一曝光帧1102相反的配置以棋盘状图案布置的亮度短曝光像素1110和亮度长曝光像素1112。用于第四曝光帧1108的配置包括以棋盘状图案布置的色度红色短曝光像素1118(标注有crs)和色度红色长曝光像素1120(标注有cr
l
)。
[0228]
如图10和图11所示，双重曝光示例的应用不限于绿色曝光帧或亮度曝光帧。在一个实施方案中，像素具有适用于红色曝光帧、蓝色曝光帧、色度红色曝光帧和/或色调蓝色曝光帧的独立双重曝光比。
[0229]
图12至图15示出了像素阵列电路布置的不同实施方案。在一些实施方案中，通过来自像素阵列内的像素的空间合并信号增强所得曝光帧的动态范围。像素阵列可以双向共享架构配置，该双向共享架构提供用于像素的双向合并的手段。这可以与tx1和tx2信号的同时脉冲结合部署，并且同时使得光信号被传送到共享浮动扩散。当随后读出每行时，行是与未合并的情况相比具有相同噪声的电荷范围的两倍，并且因此具有附加的6db的动态范围。
[0230]
单色图像传感器的优点是像素阵列内的相邻像素可被合并在一起。合并实现更大的信号范围，并因此实现更大的动态范围。像素合并的位置指示用于增加所得曝光帧的动态范围的有效性。例如，可在数字域中完成两个相邻像素的合并(可称为双向合并)，使得实现信号的另外的因子二(6db)。然而，可存在两个模拟样品，每个模拟样品产生相等量的读取噪声，总计噪声增强因子√2(3db)。因此，在链中与读取噪声源不同的稍后点处，来自两个像素的数据合并总计为3db的附加动态范围。然而，如果在电荷域中进行合并，即，在像素水平下进行合并，则附加动态范围可为6db，因为在信号的总和之后发生读出噪声的增加。
[0231]
图12是采用常规非共享像素的像素阵列1200的电路图。像素阵列1200包括四个晶体管以促进低噪声并且使双采样相关。像素阵列1200可包括如电路图所示的五条服务线。四个晶体管中的三个晶体管可以在常规非共享像素阵列1200内的两个或更多个相邻像素之间共享，并且这增加了光电二极管的可用区域。随着像素大小减小，维持量子效率变得更具挑战性，因为光电二极管占据较小比例的区域。
[0232]
图13是具有常规双向竖直共享的像素阵列1300的单元格。像素阵列1300中每两个像素包括五个晶体管，使得每像素存在2.5个晶体管。像素阵列1300中每个像素对包括六条线，使得其中的四条线可以水平布线，并且其中的两条线可以竖直布线，如图13所示。这使得每个维度中每个像素边缘具有两条线，并且这与每个像素边缘具有三条水平线和两条竖直线的非共享像素形成对比。
[0233]
图14是像素阵列1400的电路图，其中像素水平而不是竖直配对。图14所示的实施方案在线的布线简单性方面可能不太有利，因为四条水平线现在必须适合单个像素边缘。然而，在一些实施方案中，像素阵列1400可提供掩盖此缺点的有益效果。像素阵列1400的一个有益效果是仅需要一半的净电路来服务每列像素。这减少了像素阵列的总体芯片面积，因为列电路可以消耗显著的物理芯片空间。
[0234]
图14所示的像素阵列1400的另一有益效果是共享为每行提供了两个独立的传输门晶体管(tx)信号。这打开了在单行内具有两个独立曝光的可能性。每单行的两个独立曝光可在奇数列与偶数列之间交替(例如，如图8至图11和图15所示)。可通过在交替行上切换传输门晶体管一(tx1)和传输门晶体管二(tx2)奇数/偶数列关联性(参见图15)来进行双重曝光棋盘状布置。
[0235]
图15示出了可服务四列像素而不是两列像素的单列电路。单列电路可用于像素的竖直双向共享。图15所示的实施方案通过在交替行上切换tx1和tx2奇数/偶数列关联性来实现双重曝光棋盘状布置。这通过在针对每两行的tx1/tx2布线中包括“扭转”来实现。这种奇数-偶数曝光图案可特别适用于如本文所讨论的单色图像传感器。
[0236]
在其他实施方案中，从行到行的tx1/tx2分配的切换可借助于阵列侧面处的行驱动器电路的两种交替方式来实现，或者通过在奇数行和偶数行内进行不同地构造tx1/tx2布线来实现。
[0237]
图16a和图16b示出了两种另选方式的时序，其中阵列中的多个像素组可以集成不同程度的光。曝光调制可受到两个全局tx脉冲globaltx1和globaltx2的影响。当与光脉冲边缘组合时，两个全局tx脉冲有效地创建两个全局快门。在集成周期结束时，滚动指针提供另一tx脉冲以便传送信号以进行读出。出于描述性目的，将主要强调棋盘状图案中两组不同曝光的像素的情况(参见例如图8至图11和图15)。然而，应当注意，本公开的范围旨在覆盖具有更高数量的像素类型(即，曝光)和具有另选物理像素类型布置的情况。空间图案取决于像素组的数量、像素布局、像素阵列布置以及与外围电路的像素阵列连接。
[0238]
为了避免混淆，滚动tx信号在本文中可称为tx1和tx2，而全局tx信号可称为globaltx1和globaltx2。全局脉冲同时影响阵列中的所有附加像素。可经由滚动指针应用非全局脉冲。
[0239]
现在参见图16a，当globaltx1、globaltx2和globalrst高时，所有像素可保持在复位模式中(并且因此可被刷新)。当globaltx2低时，附接到tx2的阵列中的所有像素开始集
成。当p2光脉冲发生时，对应的光电荷由tx2像素集成。然而，由于globalrst和globaltx1信号仍可能很高，因此由tx1像素中的p2脉冲产生的任何光电荷可被排出。当globaltx1低时，tx1像素开始集成。此时，tx2像素将完全集成p2脉冲，并且tx1像素将不会集成。当p1光脉冲发生时，它可以由tx1和tx2像素两者集成。因此，在序列结束时，tx1像素将具有仅由p1光脉冲产生的净光电电荷，而tx2像素将集成两个光脉冲。
[0240]
图16b是另选双照明实施方案的类似时序图。在图16b所示的实施方案中，在两个tx晶体管被关闭的周期期间发射单个光脉冲。集成光可以与tx下降沿与光脉冲下降沿之间的时间成比例。因此，可通过使globaltx1下降沿和globaltx2下降沿交错来实现不同的像素响应。在图16b所示的示例中，tx1像素集成约1/3的由光脉冲产生的光，并且tx2像素集成约2/3的总脉冲能量。
[0241]
在另一个实施方案中，可通过采用图16a和图16b所示的时序实施方案的混合物来实现双照明。globaltx2信号将在单光脉冲的上升沿之前返回到其低状态。这使得tx2像素集成光脉冲的整个能量。
[0242]
图17示出了最小面积定制图像传感器的实施方案的内部时序。可在受控脉冲照明的存在下实现时序，以用于内窥镜成像的目的。每个帧周期可包括四个不同的相位，所述相位可被优化以用于单色光脉冲和多像素照明。
[0243]
在阶段1和阶段3期间，可从图像传感器发出数据。从图像传感器发出的数据可能不是来自物理像素的信号样本，而是可以是与芯片与相机系统的同步相关并且用于数据锁定的数据。这些“服务线”周期也可用于内部监测和外部监测，并且进一步用于编码线内的某些类型的非像素数据。内部监测可包括传感器温度、某些电压、电流等。外部监测可包括手持按钮活动或例如来自内窥镜角度的测量值的数据。阶段2可涉及传感器滚动读出(内部时序和同步)，而阶段4可用于传感器配置的目的。在配置阶段期间，传感器输出数据线可被反转以接受输入配置命令。因此，相机控制器可以与阶段4周期同步。阶段4也兼作全局快门阶段。出于此原因，阶段4也可以与光脉冲系统同步。
[0244]
需注意，全局信号(globaltx1、globaltx2和globalrst)的脉冲宽度和时序可以完全编程，使得阶段4是唯一具有可变长度的阶段。考虑到帧的类型，这使得能够调谐可用脉冲时间以便匹配可用的光功率。相对于最大可用光功率、量子效率、响应时间等，单独的波长源可显著变化。
[0245]
图18示出了帧序列的时序图。时序图可以应用于图9所示的曝光帧序列，并且基于y-cb-y-cr(亮度、色度蓝色、亮度、色度红色)脉冲图案。y为亮度分量，cb为蓝色差异色度分量，并且cr为红色差异色度分量。在一个实施方案中，所有光源可以在亮度帧(第一曝光帧902和第三曝光帧906)期间脉冲。响应于亮度的关键调谐混合物的单个波长脉冲，感测到第二曝光帧904和第四曝光帧908。
[0246]
帧序列还可包括对超光谱曝光帧、荧光曝光帧和/或激光标测曝光帧中的一者或多者进行脉冲。在一个实施方案中，基于图18所示的脉冲方案生成ycbcr图像帧，并且超光谱曝光帧、荧光曝光帧和/或激光标测数据中的一者或多者叠层在ycbcr图像帧上。应当理解，附加曝光帧数据可另选地叠层在rgb图像帧上。另选地，ycbcr图像帧可以与超光谱曝光帧或荧光曝光帧中的一者或多者组合，使得单个图像帧包括亮度数据，色度数据，以及超光谱数据和荧光数据中的一者或多者。
[0247]
图19是示出结合模拟增益、数字增益和快门时间确定自动曝光以调节到照明场景的示例性系统的线图。一般来讲，经历随机变化的照明场景的数字相机包括连续调节图像传感器配置的装置，以确保可用动态范围的最佳使用。该过程被称为自动曝光，并且图19所示的示例性系统基于模拟增益、数字增益和快门速度确定自动曝光配置。
[0248]
图19所示的自动曝光线图可以应用于部署在不同照明环境中的摄像机和静物相机。另选地，本文所公开的系统可部署在缺光环境中，其中成像系统对场景的照明具有完全控制。成像系统可以对脉冲红色、脉冲绿色、脉冲蓝色和脉冲激光标测照明的量具有完全控制。对于每个曝光帧，可改变脉冲照射以用于连续视频捕获。由成像系统发射的总光脉冲能量可根据确定图像传感器感测到多少光能来代替快门速度。
[0249]
因为更多的光信号产生更高的信噪比，所以可增加光能，直到在图像信号处理器(isp)内达到期望的数字信号电平。模拟增益可被保持在其最小设置，这可被认为是像素信号容量的分布的底部在模数转换器的上轨道上方时的增益。最大光脉冲能量可受到曝光帧的可用部分的持续时间和所提供的最大电磁能的限制。对于r-g-b-g脉冲序列情况，可通过独立地监测和控制三个帧类型并在isp中将颜色在数字上减小二以用于白平衡目的来获得最佳总体信噪比。
[0250]
图20是示出可如何针对像素阵列的短曝光像素和长曝光像素独立地收集宽动态范围(wdr)的统计值的示意图。可针对红色、绿色、蓝色和激光标测曝光帧独立地捕获和分析wdr统计值。
[0251]
图20示出了针对曝光帧的一个区域的黑校正信号的两个对应直方图。如前所述，直方图中的一个直方图可用于通过将分布的选定百分位数(p
l
)与目标信号电平(s
l
，例如数字动态范围的50％)进行比较来控制脉冲能级。这些类型1像素的曝光时间t
l
可保持最大。此处的下标l表示长曝光。另一个直方图可用于通过比较分布ps的另一选定百分位数(其中ps》p
l
)并将其与不同信号电平ss(其中ss》s
l
)进行比较来监测场景的动态范围。下标s表示短曝光。ss通常可被调谐成接近数字动态范围的上限。如果ps≤ss，则这些类型2像素的曝光时间ts也可保持最大。如果ps》ss，则可减小ts，直到ps＝ss。可存在关于可允许曝光时间比增加多少的预定义限值(e)，以确保由于动态范围增强而引起的图像质量劣化超过增强动态范围的益处。p
l
、ps、s
l
、ss和e的值可根据不同的应用进行不同的调谐并且存储为工厂预设。可针对每个曝光帧类型记录曝光时间t
l
和ts，以供宽动态范围融合过程和颜色融合isp阶段使用。在为白平衡的目的调制红色、绿色、蓝色、激光标测脉冲能量的情况下，红色帧和蓝色帧上的曝光时间可以由绿色帧控制，这些绿色帧可专门用于收集宽动态范围统计值。
[0252]
在成像系统正在脉冲亮度照明和色度照明以生成ycbcr图像帧的具体实施中，对于特定类型的曝光帧，相对脉冲能量可保持恒定。可将宽动态范围控制应用于亮度帧作为基线，其中可选择还独立于色度帧应用宽动态范围。关于r-g-b-g方案，在原始黑色校正的帧数据上构建直方图。同样，对于宽动态范围融合和颜色融合，可记录每个帧类型的曝光时间。
[0253]
图21是待由控制器和/或单色图像信号处理器(isp)实现以生成具有其上叠层有激光标测数据的rgb图像的视频流的处理流程2100的示意图。处理流程2100产生具有增大的动态范围的图像。图像信号处理器(isp)链可被组装以用于从在g-r-g-b-激光标测光脉冲方案的存在下产生的原始传感器数据生成srgb图像序列的目的。在处理流程2100中，第
一阶段涉及进行校正以解决传感器技术中最适合在原始数据域中工作的任何非理想因素。在下一阶段，缓冲多个帧(例如，绿色帧2112a、红色-蓝色帧2112b和专用帧2112c)，因为每个最终帧从多个原始帧导出数据。专用帧2112c可包括一个或多个专用曝光帧，诸如超光谱曝光帧、荧光曝光帧和/或形貌或激光标测曝光帧。在2114处，通过对来自当前帧和缓冲帧(参见2112a、2112b和/或2112c)的数据进行取样来继续帧重建。重建过程在线性rgb色彩空间中产生包括激光标测图像数据的全彩帧。
[0254]
在一个实施方案中，处理流程2100被应用于来自像素阵列的棋盘读数(参见图8至图11)。可响应于r-g-b-g-专用或y-cb-y-cr-专用脉冲方案来感测棋盘读数。处理流程2100包括在2102处从图像传感器接收数据。在2104处执行传感器校正计算。这些传感器校正计算可用于在2106处确定统计值，诸如自动曝光设置和宽动态范围设置。处理流程2100继续并在2108处处理宽动态范围融合。在2110处处理宽动态范围压缩。可以馈送来自2110的宽动态范围压缩以生成绿色帧2112a、红色-蓝色帧2112和/或激光标测帧2112c。处理流程2100继续并在2114处处理帧重建，然后在2116处处理颜色校正。处理流程2100继续，并在2118处将rgb(红-绿-蓝)图像转换成ycbcr图像。在2120处处理边缘增强，然后在2122处将ycbcr图像转换回rgb图像。在2124处处理标量并在2126处处理γ。然后在2128处导出视频。
[0255]
在一个实施方案中，在暗帧减法之后，在2108处执行宽动态范围融合，使得平均黑色偏移被调整为零。在一个实施方案中，宽动态范围融合2108的目的是在颜色融合之前，将来自两个或更多个单独曝光帧的数据组合到单个图像帧中。通过将棋盘状图案的短曝光分量和长曝光分量分成单独的缓冲器并通过插值来填充间隙，可实现这一点。可能仅需要一个通用内核，因为除了靠近图像边缘的像素之外，每个空像素都看到相同的局部环境。一种用于通过简单线性插值来填充棋盘状图案的合适卷积内核是：
[0256][0257]
在插值之后，每个像素位置可存在两个样本。图22是示出对于曝光比为四的亮度信号关系的线图，该曝光比产生12db的附加动态范围。可对短曝光样本应用增益，该增益可等于曝光时间比t
l
/ts。这要求为比率的每个因子2增加一个额外的位。融合本身涉及如下对两个样本取加权和：
[0258][0259]
其中xs和x
l
可分别为短曝光信号和长曝光信号。γ因子可为长曝光信号x
l
的函数，并且可根据两个阈值τ1和τ2来设置。小于x
l
＝τ1时，γ＝0.0，大于γ＝τ2时，γ＝1.0。在阈值之间，可采用各种函数形式。参见图23，其中可绘制γ在τ1和τ2之间的示例性线性和三次行为。τ2的值可被设定为x
l
的最大可能值，或者恰好小于它的某个值。较低阈值τ1的目的是限制来自已应用增益因数t
l
/ts的短样本的读取噪声的影响。可将其设定为保守的高常数，以适应最大比率e，但可能更有利的是使其如下随t
l
/ts线性变化；
[0260][0261]
在拼接过程之后，图像数据占据比初始长曝光和短曝光样本更大数量的数字动态范围的位。因此，图像传感器的位计数需要在下一阶段之前减少回到isp管道宽度。如果isp管道宽度为n位，则融合图像具有m位，其中(m-n)为曝光时间比的以2为底的对数，四舍五入为下一个整数。首先可线性比例缩放数据，使得最大可能值映射到恰好2
m-1。这可以通过为介于一和二之间的允许曝光时间比的集合提供倍增器查找表来实现，以得到二的下一个确切幂。这种方法假定在2间隔的每个幂内的允许曝光时间比的进展是一致的。为了返回n位，可应用分段线性传递函数，其强调低端处的数据。这在图24中示出。这防止了在低端的有趣信息在压缩过程中损失。另选地，可以使用预定义查找表将平滑对数传递函数应用于数据。在该实施方案中，查找表需要具有足够的条目以覆盖最大融合线性位计数(m
max
)。在应用lut之前，已比例缩放到两个确切幂的融合数据进一步上移到m
max
位。
[0262]
用于融合和压缩的更简单的实施方案是将最终动态范围划分为两个部分。示例性部分可包括底部60％和顶部40％。两个部分分别映射到长曝光样本和短曝光样本。在输入域中，交叉发生在x
l
的最大值处。这在图25中示出。
[0263]
可在脉冲照明内窥镜系统内的同一帧内提供两个或更多个曝光周期，用于将每个最终全色图像捕获的帧的数量从三减少到二。这实现了抑制与成像系统相关联的颜色运动伪影的有益效果。
[0264]
单色宽动态范围像素阵列的一个特性是具有长集成时间的像素可集成由短集成时间像素所见的光的超集。对于亮度帧中的常规宽动态范围操作，这可能是期望的。对于色度帧，这意味着可结合曝光周期来控制脉冲，以便从长曝光开始提供λy cb，并且在短像素可接通的点处切换为δy cr。λ和δ可以是可用于使所有脉冲能量成为正值的两个可调因子。
[0265]
在isp中的颜色重建期间，短曝光像素和长曝光像素可以分成两个缓冲器。可使用线性插值来填充空像素。此时，一个缓冲器包含δy cr数据的完整图像，并且另一个缓冲器包含δy cr λy cb。可从δy cr λy cb缓冲器减去δy cr缓冲器以得到λy cb。可针对每一者减去来自y帧的亮度数据的适当比例。
[0266]
图26是图案重建过程的示意图。图26所示的示例性图案包括光的各自持续t1的持续时间的红色脉冲、绿色脉冲、蓝色脉冲和专用脉冲。专用光脉冲可包括超光谱发射、荧光激发发射或激光标测图案中的一者或多者。在各种实施方案中，光的脉冲可具有相同的持续时间或不同的持续时间。将红色曝光帧、绿色曝光帧、蓝色曝光帧和专用曝光帧组合以生成其上叠层有超光谱数据、荧光数据和/或激光标测数据的rgb图像。包括红色曝光帧、绿色曝光帧、蓝色曝光帧和专用曝光帧的单个图像帧需要生成4*t1的时间段。图26所示的持续时间仅为示例性的并且可针对不同具体实施而变化。在其它实施方案中，可采用不同的脉冲方案。例如，实施方案可以基于每个颜色分量或帧(t1)的定时，并且重建帧具有的周期是输入彩色帧的周期的两倍(2
×
t1)。序列内的不同帧可具有不同帧周期，并且平均捕获速率可为最终帧速率的任何倍数。
[0267]
在一个实施方案中，通过改变图像传感器的像素阵列内的像素的像素灵敏度来增大系统的动态范围。一些像素可感测第一灵敏度水平的反射电磁辐射，其它像素可感测第二灵敏度水平的反射电磁辐射，以此类推。可组合不同像素灵敏度以增大由图像传感器的
像素配置提供的动态范围。在一个实施方案中，相邻像素被设置成不同灵敏度，使得每个循环包括由相对于彼此更敏感和更不敏感的像素产生的数据。当在像素阵列的单个循环中记录多个灵敏度时，动态范围增大。在一个实施方案中，宽动态范围可通过具有多个全局tx来实现，每个tx仅在不同的像素组上击发。例如，在全局模式下，全局tx1信号正在击发像素组1，全局tx2信号正在激发像素组2，全局txn信号正在激发像素组n，以此类推。
[0268]
图27a至图27c各自示出了具有多个发射器的光源2700。发射器包括第一发射器2702、第二反射器2704和第三发射器2706。可包括附加的发射器，如下文进一步讨论。发射器2702、2704和2706可包括发射具有不同波长的光的一个或多个激光发生器。例如，第一发射器2702可发射与蓝色激光一致的波长，第三发射器2704可发射与绿色激光一致的波长，并且第三发射器2706可发射与红色激光一致的波长。例如，第一发射器2702可包括一个或多个蓝色激光器，第二发射器2704可包括一个或多个绿色激光器，并且第三发射器2706可包括一个或多个红色激光器。激光器2702、2704、2706朝收集区域2708发射激光束，该收集区域可以是波导、镜片或用于收集光和/或向波导(诸如图2的跳线波导206或内腔波导210)提供光的其他光学部件的位置。
[0269]
在一个具体实施中，发射器2702、2704和2706发射超光谱波长的电磁辐射。某些超光谱波长可穿透组织并且使执业医生能够“透视”前景中的组织，以识别位于前景中的组织的后面的化学过程、结构、化合物、生物过程等。可专门选择超光谱波长以识别已知具有某些光谱响应的特定疾病、组织状况、生物过程、化学过程、组织类型等。
[0270]
在已向患者施用有助于识别某些组织、结构、化学反应、生物过程等的试剂或染料的具体实施中，发射器2702、2704和2706可发射用于使试剂或染料发荧光的波长。此类波长可基于施用给患者的试剂或染料来确定。在此类实施方案中，发射器可能需要是高度精确的，以便发射所需波长以使某些试剂或染料发荧光或活化。
[0271]
在一个具体实施中，发射器2702、2704和2706发射激光标测模式，用于标测场景的形貌和/或用于计算场景中对象之间的尺寸和距离。在一个实施方案中，结合多个工具(诸如手术刀、牵开器、夹钳等)使用内窥镜成像系统。在此类实施方案中，发射器2702、2704和2706中的每一者可发射激光标测图案，使得激光标测图案单独地投影到每个工具上。在此类实施方案中，可分析工具中的每一者的激光标测数据以识别场景中工具与其它对象之间的距离。
[0272]
在图27b的实施方案中，发射器2702、2704、2706各自以不同的角度向收集区域2708递送激光。角度的变化可导致电磁能量在输出波导中的位置的变化。例如，如果光在收集区域2708处立即进入纤维束(玻璃或塑料)中，则变化的角度可导致不同量的光进入不同的纤维。例如，角度可产生横跨收集区域2708的强度变化。此外，来自不同发射器的光可不会被均匀地混合，因此一些纤维可接收不同量的不同颜色的光。不同纤维中的光的颜色或强度的变化可导致场景的非最佳照明。例如，递送光或光强度的变化可在场景和所捕获图像处导致。
[0273]
在一个实施方案中，居间光学元件可放置在纤维束和发射器2702、2704、2706之间，以在进入纤维或其他波导中之前混合不同颜色(波长)的光。示例性居间光学元件包括漫射器、混合棒、一个或多个镜片，或用于混合光使得给定纤维接收每种颜色(波长)的相同量的其它光学部件。例如，纤维束中的每根纤维可具有相同的颜色。该混合可导致每根纤维
中的相同的颜色，但是，在一些实施方案中，仍可产生递送到不同纤维的不同的总亮度。在一个实施方案中，居间光学元件也可在收集区域上传播或均匀地传播光，使得每根纤维携带相同总量的光(例如，光可能在顶帽式轮廓中散开)。漫射器或混合棒可导致光损失。
[0274]
尽管收集区域2708在图27a中表示为物理部件，但收集区域2708可以只是如下区域，在该区域处递送来自发射器2702、2704和2706的光。在一些情况下，收集区域2708可包括光学部件，诸如漫射器、混合棒、透镜，或处于发射器2702、2704、2706和输出波导之间的任何其他居间光学部件。
[0275]
图27c示出了具有以相同或基本上相同的角度向收集区域2708提供光的发射器2702、2704、2706的光源2700的实施方案。光以大致垂直于收集区域2708的角度提供。光源2700包括多个二向色镜，包括第一二向色镜2710、第二二向色镜2712和第三二向色镜2714。二向色镜2710、2712、2714包括反射第一波长的光但透射第二波长(或对其透明)的光的镜。例如，第三二向色镜2714可反射由第三发射器提供的蓝色激光，而对第一发射器2702和第二发射器2704各自提供的红光和绿光透明。第二二向色镜2712可对来自第一发射器2702的光透明，但对来自第二发射器2704的光是反射的。如果包括其它颜色或波长，则可选择二向色镜以反射对应于至少一个发射器的光并且对其它发射器透明。例如，第三二向色镜2714反射来自第三发射器2706的光，但对其“后面”的发射器诸如第一发射器2702和第二发射器2704透明。在其中存在数十或数百个发射器的实施方案中，每个二向色镜可反射对应发射器和其前面的发射器，同时对其后面的发射器透明。这可允许数十或数百个发射器以基本上相同的角度将电磁能量发射到收集区域2708。
[0276]
因为这些二向色镜允许其他波长透射或穿过，这些波长中的每个可从相同的角度和/或以相同的中心点或焦点到达收集区域2708。从相同的角度和/或相同的焦点/中心点提供光可显著改善在收集区域2708处的接收和颜色混合。例如，特定纤维可以接收不同的颜色，这些颜色的比例与它们由发射器2702、2704、2706和镜2710、2712、2714透射/反射的比例相同。与图27b的实施方案相比，可在收集区域处显著改善光混合。在一个实施方案中，本文所讨论的任何光学部件可在收集区域2708处使用，以在向纤维或纤维束提供光之前收集光。
[0277]
图27c示出了具有也以相同或基本上相同的角度向收集区域2708提供光的发射器2702、2704、2706的光源2700的实施方案。例如，入射在收集区域2708上的光从垂直偏移。角度2716指示从垂直偏移的角度。在一个实施方案中，激光发射器2702、2704、2706可具有高斯横截面强度轮廓。如前所述，纤维之间的光能量的改善的分布可通过形成更平坦或顶帽形的强度轮廓来实现。在一个实施方案中，随着角度2716的增大，横跨收集区域2708的强度接近顶帽式轮廓。例如，通过增大角度2716直到轮廓足够平坦，顶帽式轮廓甚至可近似为非平坦输出光束。顶帽式轮廓也可使用一个或多个透镜、漫射器、混合棒，或处于发射器2702、2704、2706和输出波导、纤维或光纤束之间的任何其他居间光学部件来实现。
[0278]
图28是示出了在输出处经由漫射器2804输出的单根光纤2802的示意图。在一个实施方案中，光纤2802具有500微米的直径、0.65的数值孔径，并且在没有漫射器2804的情况下发射约70度或80度的光锥2806。在有漫射器2804的情况下，光锥2806可具有约110度或120度的角度。光锥2806可以是所有光所到达并且均匀分布的地方的大部分。漫射器2804可允许由图像传感器观察到的场景的电磁能量的更均匀分布。
[0279]
在一个实施方案中，内腔波导210包括约500微米的单根塑料或玻璃光纤。塑料纤维的成本较低，其宽度可允许纤维将足够量的光传携带到场景，但具有耦合、漫射或其它损耗。例如，较小的纤维可能不能携带与较大纤维一样多的光或功率。内腔波导210可包括单根或多根光纤。内腔波导210可直接从光源或经由跳线波导接收光。漫射器可用于加宽光输出206以获得图像传感器214或其它光学部件的所需视场。
[0280]
虽然在图27a至图27c中示出了三个发射器，但在一些实施方案中可使用数量从一个到数百个或更多个不等的发射器。发射器可具有它们发射的不同波长或光谱的光，并且这些光可用于连续覆盖电磁光谱的所需部分(例如，可见光谱以及红外光谱和紫外光谱)。发射器可被配置成发射可见光诸如红光、绿光和蓝光，并且还可被配置成发射电磁辐射的超光谱发射、用于使试剂发荧光的荧光激发波长和/或用于计算参数和场景中对象之间的距离的激光标测图案。
[0281]
图29示出了被分成二十个不同子光谱的电磁光谱2900的一部分。子光谱的数量仅为示例性的。在至少一个实施方案中，光谱2900可被分成数百个子光谱，每个子光谱具有小波带。光谱可从红外光谱2902延伸，穿过可见光谱2904，并且进入紫外光谱2906。子光谱各自具有覆盖光谱2900的一部分的波带2908。每个波带可由上波长和下波长限定。
[0282]
超光谱成像包括来自横跨电磁光谱2900的成像信息。电磁辐射的超光谱脉冲可包括跨越电磁光谱2900的一个或多个部分或整个电磁光谱2900的多个子脉冲。电磁辐射的超光谱脉冲可包括电磁辐射的单个波长分区。所得超光谱曝光帧包括在电磁辐射的超光谱脉冲之后由像素阵列感测到的信息。因此，超光谱曝光帧可包括电磁光谱2900的任何合适分区的数据，并且可包括电磁光谱2900的多个分区的多个曝光帧。在一个实施方案中，超光谱曝光帧包括多个超光谱曝光帧，使得组合的超光谱曝光帧包括整个电磁光谱2900的数据。
[0283]
在一个实施方案中，针对每个子光谱，至少一个发射器(诸如激光发射器)包括在光源(诸如光源202、3000)中以提供对整个光谱2900的完整且连续的覆盖。例如，用于提供对所示子光谱的覆盖的光源可包括至少20个不同的发射器，每个子光谱至少有一个发射器。在一个实施方案中，每个发射器覆盖覆盖40纳米的光谱。例如，一个发射器可发射500nm至540nm的波带内的光，而另一个发射器可发射540nm至580nm的波带内的光。在另一个实施方案中，发射器可覆盖其它尺寸的波带，这取决于可用发射器的类型或成像需要。例如，多个发射器可包括覆盖500nm至540nm的波带的第一发射器、覆盖540nm至640nm的波带的第二发射器，以及覆盖640nm至650nm的波带的第三发射器。每个发射器可覆盖范围从远红外、中红外、近红外、可见光、近紫外和/或远紫外的电磁光谱的不同片段。在一些情况下，可包括相同类型或波长的多个发射器以提供用于成像的足够输出功率。特定波带所需的发射器数量可取决于单色传感器对波带的灵敏度和/或该波带中发射器的功率输出能力。
[0284]
可选择由发射器提供的波带宽度和覆盖率以提供光谱的任何所需组合。例如，使用非常小的波带宽度(例如，10nm或更小)的光谱的连续覆盖可允许高度选择性的超光谱成像和/或荧光成像。该波带宽度可允许针对一种或多种特定荧光试剂选择性地发射激发波长。另外，该波带宽度可允许选择性地发射超光谱电磁辐射的某些分区，以用于识别特定结构、化学过程、组织、生物过程等。因为波长来自可选择性激活的发射器，所以可实现在检查期间使一种或多种特定荧光试剂发荧光的极致灵活性。另外，可实现通过超光谱成像来识别一个或多个对象或过程的极致灵活性。因此，更多荧光信息和/或超光谱信息可在更少时
间内并且在单次检查内实现，这原本需要多次检查、由于施用染料或染色剂而延迟等。
[0285]
图30是示出用于生成图像的发射和读出的时序图3000的示意图。实线表示用于捕获一系列曝光帧3004至3014的读出(峰3002)和消隐周期(谷)。一系列曝光帧3004至3014可包括可用于生成可叠加在rgb视频流上的激光标测、超光谱和/或荧光数据的一系列重复的曝光帧。在一个实施方案中，单个图像帧包括来自多个曝光帧的信息，其中一个曝光帧包括红色图像数据，另一个曝光帧包括绿色图像数据，并且另一个曝光帧包括蓝色图像数据。另外，单个图像帧可包括超光谱图像数据、荧光图像数据和激光标测数据中的一者或多者。多个曝光帧被组合以产生单个图像帧。单个图像帧是具有超光谱成像数据的rgb图像。曝光帧系列包括第一曝光帧3004、第二曝光帧3006、第三曝光帧3008、第四曝光帧3010、第五曝光帧3012和第n曝光帧3026。
[0286]
另外，可组合使用超光谱图像数据、荧光图像数据和激光标测数据以识别关键组织或结构并进一步测量那些关键组织或结构的尺寸。例如，可将超光谱图像数据提供给对应的系统以识别身体中的某些关键结构，诸如神经、输尿管、血管、癌组织等。关键结构的位置和识别可从对应的系统接收，并且还可用于使用激光标测数据来生成关键结构的形貌。例如，对应的系统基于超光谱成像数据确定癌性肿瘤的位置。由于基于超光谱成像数据知晓癌性肿瘤的位置，因此可随后基于激光标测数据来计算癌性肿瘤的形貌和距离。当基于荧光成像数据来识别癌性肿瘤或其它结构时，此示例也可适用。
[0287]
在一个实施方案中，基于电磁能量的至少一个脉冲生成每个曝光帧。电磁能量脉冲被图像传感器反射并检测，并且随后在后续读出(3002)中读出。因此，每个消隐周期和读出产生用于特定光谱的电磁能量的图像帧。例如，第一曝光帧3004可基于第一一个或多个脉冲3016的光谱生成，第二曝光帧3006可基于第二一个或多个脉冲3018的光谱生成，第三曝光帧3008可基于第三一个或多个脉冲3020的光谱生成，第四曝光帧3010可基于第四一个或多个脉冲3022的光谱生成，第五曝光帧3012可基于第五一个或多个脉冲3024的光谱生成，并且第n曝光帧3026可基于第n一个或多个脉冲3026的光谱生成。
[0288]
脉冲3016-3026可包括来自单个发射器或来自两个或更多个发射器的组合的能量。例如，可选择包括在单个读出周期中或多个曝光帧3004至3014内的光谱以用于对特定组织或状况的所需检查或检测。根据一个实施方案，一个或多个脉冲可包括用于生成rgb或黑白图像的可见光谱光，而一个或多个附加脉冲被发射以感测针对超光谱波长的电磁辐射的光谱响应。例如，脉冲3016可包括红光，脉冲3018可包括蓝光，并且脉冲3020可包括绿光，而其余脉冲3022至3026可包括用于检测特定组织类型、使试剂发荧光和/或标测场景的形貌的波长和光谱。又如，单个读出周期的脉冲包括由可用于检测特定组织类型的多个不同发射器生成的光谱(例如，电磁光谱的不同片段)。例如，如果波长的组合使得像素具有超过或低于阈值的值，则该像素可被分类为对应于特定类型的组织。每个帧可用于进一步缩小存在于该像素(例如，以及图像中的每个像素)处的组织的类型，以基于组织的光谱响应和/或组织中是否存在荧光试剂来提供组织的非常特化的分类和/或组织的状态(患病/健康)。
[0289]
多个帧3004至3014被示出为具有不同长度的读出周期并且具有不同长度或强度的脉冲。消隐周期、脉冲长度或强度等可基于单色传感器对特定波长的灵敏度、发射器的功率输出能力和/或波导的携带能力来选择。
[0290]
在一个实施方案中，双图像传感器可用于获得三维图像或视频馈送。三维检查可
允许对检查区域的三维结构的改善的理解以及对该区域内的不同组织或物质类型的标测。
[0291]
在一个示例性具体实施中，向患者提供荧光试剂，并且该荧光试剂被配置成附着到癌细胞。已知该荧光试剂在被特定分区的电磁辐射辐射时发荧光。该荧光试剂的弛豫波长也是已知的。在该示例性具体实施中，如本文所述使用内窥镜成像系统对患者成像。内窥镜成像系统脉冲光的红色波长、绿色波长和蓝色波长的分区，以生成患者身体内部的rgb视频流。另外，内窥镜成像系统针对施用给患者的荧光试剂脉冲激发波长的电磁辐射。在示例中，患者具有癌细胞并且荧光试剂已粘附到癌细胞。当内窥镜成像系统针对荧光试剂脉冲激发波长时，荧光试剂将发荧光并发射弛豫波长。如果癌细胞存在于由内窥镜成像系统成像的场景中，则荧光试剂也将存在于该场景中并且由于激发波长的发射而在发荧光之后发射其弛豫波长。内窥镜成像系统感测荧光试剂的弛豫波长，并由此感测场景中荧光试剂的存在。因为已知荧光试剂附着于癌细胞，所以荧光试剂的存在进一步指示场景内癌细胞的存在。内窥镜成像系统由此识别场景内癌细胞的位置。内窥镜成像系统还可发射用于生成场景的形貌并计算场景内对象的尺寸的激光标测脉冲方案。癌细胞的位置(如由荧光成像数据所识别)可与基于激光标测数据计算出的形貌和尺寸信息组合。因此，可识别癌细胞的精确位置、大小、尺寸和形貌。可将该信息提供给执业医生以帮助切除癌细胞。另外，可将该信息提供给机器人外科系统以使外科系统能够切除癌细胞。
[0292]
在另一个示例性具体实施中，使用内窥镜成像系统对患者成像以识别关于患者组织病理的定量诊断信息。在示例中，患者疑似或已知患有疾病，该疾病可利用超光谱成像跟踪以观察疾病在患者组织中的进展。内窥镜成像系统脉冲光的红色波长、绿色波长和蓝色波长的分区，以生成患者身体内部的rgb视频流。另外，内窥镜成像系统脉冲光的一个或多个超光谱波长，这些波长允许系统“透视”一些组织并生成受疾病影响的组织的成像。内窥镜成像系统感测反射超光谱电磁辐射以生成患病组织的超光谱成像数据，并由此识别患病组织在患者体内的位置。内窥镜成像系统还可发射用于生成场景的形貌并计算场景内对象的尺寸的激光标测脉冲方案。患病组织的位置(如由超光谱成像数据所识别)可与用激光标测数据计算出的形貌和尺寸信息组合。因此，可识别患病组织的精确位置、大小、尺寸和形貌。可将该信息提供给执业医生以帮助切除、成像或研究患病组织。另外，可将该信息提供给机器人外科系统以使外科系统能够切除患病组织。
[0293]
图31是具有单个截止滤光器的成像系统3100的示意图。系统3100包括内窥镜3106或具有用于缺光环境的光源3108的其他合适的成像装置。内窥镜3106包括图像传感器3104和滤光器3102，该滤光器用于在到达图像传感器3104之前滤除不需要的波长的光或其他电磁辐射。光源3108传输可在缺光环境诸如体腔中照明表面3112的光。光3110从表面3112反射并在击中图像传感器3104之前穿过滤光器3102。
[0294]
滤光器3102可用于已施用荧光试剂或染料的具体实施中。在此类实施方案中，光源3108发射激发波长以用于使荧光试剂或染料发荧光。通常，由荧光试剂或染料发射的弛豫波长将具有与激发波长不同的波长。可选择滤光器3102来滤除激发波长，并且仅允许弛豫波长穿过滤光器并被图像传感器3104感测。
[0295]
在一个实施方案中，滤光器3102被配置成滤除电磁辐射的引起试剂或染料发荧光的激发波长，使得仅允许发荧光的试剂或染料的预期弛豫波长穿过滤光器3102并到达图像传感器3104。在一个实施方案中，滤光器3102滤除至少介于770nm和790nm之间的荧光试剂
激发波长。在一个实施方案中，滤光器3102滤除至少介于795nm和815nm之间的荧光试剂激发波长。在一个实施方案中，滤光器3102滤除至少介于770nm和790nm之间以及介于795nm和815nm之间的荧光试剂激发波长。在这些实施方案中，滤光器3102滤除试剂的激发波长，并且允许由图像传感器3104读取荧光试剂的仅弛豫波长。图像传感器3104可以是波长不定图像传感器，并且滤光器3102可被配置成允许图像传感器3104仅接收荧光试剂的弛豫波长而不接收试剂的发射激发波长。然后由图像传感器3104确定的数据可指示由试剂或染料的位置确定的关键身体结构、组织、生物过程或化学过程的存在。
[0296]
滤光器3102还可用于尚未施用荧光试剂或染料的具体实施中。可选择滤光器3102以允许对应于所需光谱响应的波长穿过图像传感器3104并由该图像传感器读取。图像传感器3104可为单色图像传感器，使得可将所捕获图像的超过阈值或低于阈值的像素表征为对应于某些光谱响应或荧光发射。由图像传感器3104捕获的像素确定的光谱响应或荧光发射可指示某些身体组织或结构、某些病症、某些化学过程等的存在。
[0297]
图32是具有多个截止滤光器的成像系统3200的示意图。系统3200包括内窥镜3206或具有用于缺光环境的光源3208的其他合适的成像装置。内窥镜3206包括图像传感器3204和两个滤光器3202a、3202b。应当理解，在另选的实施方案中，系统3200可包括任何数量的滤光器，并且可针对某些目的选择滤光器的数量和滤光器的类型，例如，用于采集特定身体组织、身体病症、化学过程等的成像信息。滤光器3202a、3202b被配置用于防止图像传感器3204感测到不需要的波长的光或其他电磁辐射。滤光器3202a、3202b可被配置成从可由光源3208发射的白光或其他电磁辐射中滤除不需要的波长。
[0298]
相对于图31进一步描述本公开，滤光器3202a、3202b可用于已施用荧光试剂或染料的具体实施中。滤光器3202a、3202b可被配置用于阻挡试剂或染料的发射激发波长并允许图像传感器3204仅读取试剂或染料的弛豫波长。此外，滤光器3202a、3202b可用于尚未施用荧光试剂或染料的具体实施中。在此类具体实施中，可选择滤光器3202a、3202b以允许对应于所需光谱响应的波长穿过图像传感器3204并被该图像传感器读取。
[0299]
多个滤光器3202a、3202b可各自被配置用于滤除电磁光谱的不同范围的波长。例如，一个滤光器可被配置用于滤除长于所需波长范围的波长，并且附加滤光器可被配置用于滤除短于所需波长范围的波长。两个或更多个滤光器的组合可产生仅由图像传感器3204读取的某些波长或波长带。
[0300]
在一个实施方案中，滤光器3202a、3202b被定制为使得介于513nm和545nm之间的电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被定制为使得介于565nm和585nm之间的电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被定制为使得介于900nm和1000nm之间的电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被定制为使得介于425nm和475nm之间的电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被定制为使得介于520nm和545nm之间的电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被定制为使得介于625nm和645nm之间的电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被定制为使得介于760nm和795nm之间的电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被定制为使得介于795nm和815nm之间的电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被定制为使得介于370nm和420nm之间的
电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被定制为使得介于600nm和670nm之间的电磁辐射接触图像传感器3204。在一个实施方案中，滤光器3202a、3202b被配置用于允许仅某些荧光弛豫发射穿过滤光器3202a、3202b并接触图像传感器3204。
[0301]
在一个实施方案中，系统3200包括多个图像传感器3204，并且可具体地包括用于生成三维图像的两个图像传感器。图像传感器3204可以是颜色/波长不定的，并且被配置用于读取从表面3212反射的任何波长的电磁辐射。在一个实施方案中，图像传感器3204各自是颜色相关的或波长相关的，并且被配置用于读取从表面3212反射并返回到图像传感器3204的特定波长的电磁辐射。另选地，图像传感器3204可包括具有多个不同像素传感器的单个图像传感器，该多个不同像素传感器被配置用于读取不同波长或颜色的光，诸如拜耳滤光器滤色器阵列。另选地，图像传感器3204可包括一个或多个颜色不定图像传感器，这些图像传感器可被配置用于根据脉冲调度(诸如图5至图7e和图15至图16中所示的那些)读取不同波长的电磁辐射。
[0302]
图33是示出用于在缺光环境中通过激光标测成像来标测表面和/或跟踪对象的系统3300的示意图。在一个实施方案中，内窥镜3302在缺光环境中脉冲网格阵列3306(可称为激光标测图图案)到表面3304上。在如图33中所示的一个实施方案中，网格阵列3306包括竖直散列3308和水平散列3310。应当理解，网格阵列3306可包括用于标测表面3304的任何合适的阵列，包括例如离散点的光栅网格、占用网格标测图、点阵列等。另外，内窥镜3302可用脉冲调制多个网格阵列3306，并且可例如在缺光环境内在多个对象或结构中的每一者上用脉冲调制一个或多个单独的网格阵列。
[0303]
在一个实施方案中，系统3300用脉冲调制网格阵列3306，该网格阵列可用于在缺光环境中标测表面的三维形貌和/或跟踪对象诸如工具或另一装置的位置。在一个实施方案中，系统3300向第三方系统或计算机算法提供数据，以用于通过光检测和测距(lidar)标测的方式来确定表面尺寸和配置。系统3300可用脉冲调制网格阵列3306中的任何合适波长的光或电磁辐射，包括例如紫外光、可见光、光、和/或红外光或近红外光。可以非常高的分辨率并且以非常高的准确度和精度映射和跟踪环境内的表面3304和/或对象。
[0304]
在一个实施方案中，系统3300包括成像装置，该成像装置具有管、一个或多个图像传感器和透镜组件，该透镜组件具有对应于该一个或多个图像传感器的光学元件。系统3300可包括具有发射器和内腔的光引擎，该发射器生成一个或多个电磁辐射脉冲，该内腔将一个或多个电磁辐射脉冲传输到缺光环境诸如体腔内的内窥镜的远侧末端。在一个实施方案中，该一个或多个电磁辐射脉冲的至少一部分包括发射到缺光环境内的表面(诸如，体腔内的身体组织的表面和/或工具或其它装置的表面)上的激光标测图图案。内窥镜3302可包括二维、三维或n维相机，用于标测和/或跟踪缺光环境内的表面、尺寸和配置。
[0305]
在一个实施方案中，系统3300包括处理器，该处理器用于确定内窥镜或工具与对象诸如表面3304的距离。处理器还可确定内窥镜或工具与对象之间的角度。处理器还可确定关于对象的表面积信息，包括例如外科工具的尺寸、结构的尺寸、解剖结构的尺寸、位置信息以及其它位置数据和度量。系统3300可包括一个或多个图像传感器，该一个或多个图像传感器提供输出到控制系统的图像数据，以用于确定内窥镜或工具与对象诸如表面3304的距离。图像传感器可将信息输出到控制系统以用于确定内窥镜或工具与对象之间的角
度。另外，图像传感器可将信息输出到控制系统，以用于确定关于对象的表面积信息、外科工具的尺寸、结构的尺寸、解剖结构的尺寸、位置信息以及其它位置数据和度量。
[0306]
在一个实施方案中，网格阵列3306由内窥镜3302的发射器以足够的速度用脉冲调制，使得网格阵列3306对于用户不可见。在各种具体实施中，在内窥镜成像规程和/或内窥镜外科手术期间看到网格阵列3306可能使用户分心。可以足够短的周期用脉冲调制网格阵列3306，使得网格阵列3306不能被人眼检测到。在另选的实施方案中，内窥镜3302以足够的复现频率用脉冲调制网格阵列3306，使得网格阵列3306可由用户查看。在此类实施方案中，网格阵列3306可叠层在显示器上的表面3304的图像上。网格阵列3306可叠层在表面3304的黑白或rgb图像上，使得网格阵列3306在系统3300的使用期间可对用户可见。系统3300的用户可指示网格阵列3306是否应叠层在表面3304的图像上和/或网格阵列3306是否应对用户可见。系统3300可包括显示器，该显示器提供从内窥镜3302到缺光环境内的表面3304或另一个对象的距离的实时测量。显示器还可提供关于缺光环境内的表面3304和/或任何对象、结构或工具的实时表面积信息。测量的准确度可精确到小于一毫米。
[0307]
在一个实施方案中，系统3300用脉冲调制多个网格阵列3306。在一个实施方案中，多个网格阵列3306中的每一个对应于存在于缺光环境内的工具或其他装置。可通过用脉冲调制和感测多个网格阵列3306来跟踪工具和其他装置中的每一者的精确位置和参数。可评估通过感测反射网格阵列3306而生成的信息，以识别缺光环境内的工具和其他装置的相对位置。
[0308]
内窥镜3302可根据脉冲调度(诸如本文所示的那些)用脉冲调制电磁辐射，例如，这还可包括用脉冲调制网格阵列3306并且用脉冲调制用于生成rgb图像并还生成可叠层在rgb图像上并且/或者用于标测并跟踪缺光环境内的表面3304和对象的网格阵列3306的红光、绿光和蓝光。可另外结合超光谱或荧光激发波长的电磁辐射来用脉冲调制网格阵列3306。可组合来自rgb成像、激光标测成像、超光谱成像和荧光成像中的每一者的数据，以识别体内关键结构的位置、尺寸和表面形貌。
[0309]
在一个实施方案中，内窥镜3302包括一个或多个颜色不定图像传感器。在一个实施方案中，内窥镜3302包括用于生成缺光环境的三维图像或标测图的两个颜色不定图像传感器。图像传感器可根据如本文所公开的脉冲调度生成缺光环境的rgb图像。另外，图像传感器可基于在用脉冲调制网格阵列3306时确定的数据来确定用于映射缺光环境并跟踪缺光环境内的一个或多个对象的数据。另外，图像传感器可根据脉冲调度来确定光谱或超光谱数据以及荧光成像数据，该脉冲调度可由用户修改以适应成像规程的特定需要。在一个实施方案中，脉冲调度包括红色、绿色和蓝色脉冲以及网格阵列3306的脉冲和/或用于生成超光谱图像数据和/或荧光图像数据的脉冲。在各种具体实施中，脉冲调度可包括根据用户需要的电磁辐射脉冲的任何合适的组合。不同波长的电磁辐射的复现频率可基于例如某些脉冲的能量、用户的需要、某些数据(例如，超光谱数据和/或荧光成像数据)需要连续更新还是可更新较不频繁等来确定。
[0310]
根据用户或用于某些成像规程的计算机实现的程序的需要，脉冲调度可以任何合适的方式修改，并且某些电磁辐射脉冲可以任何合适的频率重复。例如，在将基于网格阵列3306生成的表面跟踪数据提供给计算机实现的程序以用于例如机器人外科手术的实施方案中，网格阵列3306可比在将表面跟踪数据提供给在成像规程期间可视化场景的用户的情
况下更频繁地用脉冲调制。在表面跟踪数据用于机器人外科手术的此类实施方案中，表面跟踪数据可能需要更频繁地更新或者可能需要极为准确，使得计算机实现的程序可精密而准确地执行机器人外科手术。
[0311]
在一个实施方案中，系统3300被配置成生成占用网格标测图，该占用网格标测图包括被划分为网格的单元阵列。系统3300被配置成存储相应网格单元中的每个网格单元的高度值以确定缺光环境中的三维环境的表面映射。
[0312]
图34a和图34b分别示出了构建在多个基板上的成像传感器3400的具体实施的透视图和侧视图。如图所示，形成该像素阵列的多个像素列3404位于第一基板3402上并且多个电路列3408位于第二基板3406上。图中还示出了一个像素列与其相关联的或对应的电路列之间的电连接和通信。在一个具体实施中，图像传感器可具有与全部或大部分支撑电路分开的像素阵列，而其可能以其它方式被制造成它的像素阵列和支撑电路处于单个、单片基板/芯片上。本公开可使用至少两个基板/芯片，这些基板/芯片将使用三维堆叠技术被堆叠在一起。两个基板/芯片中的第一个3402可使用图像cmos工艺加工。第一基板/芯片3402可仅仅由像素阵列构成，或可由被有限电路围绕的像素阵列构成。第二或后续基板/芯片3406可使用任何工艺加工，而不是必须来自图像cmos工艺。第二基板/芯片3406可以是但不限于，为了将各种和多个功能集成到基板/芯片上非常有限空间或面积中的高密度数字工艺、或为了集成例如精确模拟功能的混合模式或模拟工艺、或为了实现无线能力的rf工艺、或为了集成mems器件的mems(微电子机械系统)。图像cmos基板/芯片3402可使用任何三维技术与第二或后续基板/芯片3406堆叠。第二基板/芯片3406可支撑将可能另外在第一图像cmos芯片3402中实现(如果在单片基板/芯片上实现)为外围电路的电路的绝大部分或大部分，并且因此当保持像素阵列大小恒定并尽最大可能优化时增加了整个系统面积。两个基板/芯片之间的电连接可通过互联器完成，这些互联器可为接合引线、凸耳和/或tsv(硅通孔)。
[0313]
图35a和图35b分别示出了具有多个像素阵列用于产生三维图像的成像传感器3500的具体实施的透视图和侧视图。三维图像传感器可被构建在多个基板上并且可包括多个像素阵列和其他相关联的电路系统，其中形成第一像素阵列的多个素列3504a和形成第二像素阵列的多个像素列3504b分别位于相应的基板3502a和3502b上，并且多个电路列3508a和3508b位于单独的基板3506上。还示出了像素列与相关联的或对应的电路列之间的电连接和通信。
[0314]
多个像素阵列可同时感测信息，并且可组合来自多个像素阵列的信息以生成三维图像。在一个实施方案中，内窥镜成像系统包括可被部署成生成三维成像的两个或更多个像素阵列。内窥镜成像系统可包括用于在像素阵列的消隐周期期间发射电磁辐射脉冲的发射器。像素阵列可被同步，使得针对两个或更多个像素阵列同时读取光学黑色像素(即，发生消隐周期)。发射器可发射用于对两个或更多个像素阵列中的每个像素阵列充电的电磁辐射脉冲。两个或更多个像素阵列可同时读取其相应的带电像素，使得两个或更多个像素阵列的读出周期同时或大致同时发生。在一个实施方案中，内窥镜成像系统包括多个发射器，每个发射器与多个像素阵列中的一个或多个像素阵列单独同步。可组合来自多个像素阵列的信息以生成三维图像帧和视频流。
[0315]
图36a和图36b分别示出根据本公开的教导和原理的单片传感器3600的具体实施
的透视图和侧视图，该单片传感器具有多个像素阵列用于产生三维图像。此类具体实施可能是三维图像捕获所希望的，其中在使用期间两个像素阵列3602和3604可被偏移。在另一个具体实施中，第一像素阵列3602和第二像素阵列3604可专用于接收预先确定的波长范围的电磁辐射，其中第一像素阵列专用于与第二像素阵列不同波长范围的电磁辐射。
[0316]
应当理解，本公开的教导内容和原理可用于可重复使用的装置平台、有限使用的装置平台、可重新设置使用的装置平台或单次使用/一次性的装置平台，而不脱离本公开的范围。应当理解，在可重复使用的装置平台中，最终使用人负责该装置的清洁和消毒。在有限使用的装置平台中，在变得不能操作之前，装置可被使用一些规定量的次数。典型的新装置在交付前已经过无菌处理，如果要用作其它用途，应在其它使用之前由最终用户进行清洗和消毒。在可重新设置使用的装置平台中，第三方可重新处理装置(例如，清洁、包装和消毒)单次使用的装置，以比新单元更低的成本用于另外使用。在单次使用/一次性的装置平台中，装置以无菌方式提供至手术室并且在被弃置掉之前只能使用一次。
[0317]
实施例
[0318]
以下实施例涉及另外的实施方案的优选特征：
[0319]
实施例1是一种用于在缺光环境中进行成像的系统。所述系统包括用于发射电磁辐射脉冲的发射器和包括用于感测反射的电磁辐射的像素阵列的图像传感器，其中所述像素阵列包括多个像素，每个像素能够被配置成短曝光像素或长曝光像素。所述系统包括控制器，所述控制器包括与所述图像传感器和所述发射器电通信的处理器。所述系统使得由所述发射器发射的所述电磁辐射脉冲的至少一部分包括以下中的一者或多者：具有约513nm至约545nm的波长的电磁辐射；具有约565nm至约585nm的波长的电磁辐射；具有约900nm至约1000nm的波长的电磁辐射；引起试剂发荧光的电磁辐射激发波长；或激光标测图案。
[0320]
实施例2是根据实施例1所述的系统，其中，所述像素阵列包括以棋盘状图案布置的多个短曝光像素和多个长曝光像素，使得短曝光像素与长曝光像素相邻定位。
[0321]
实施例3是根据实施例1至2中任一项所述的系统，其中：所述像素阵列中的所述多个像素中的每个像素包括传输门晶体管；每个传输门晶体管与tx信号电通信；并且所述tx信号为所述像素阵列中的所述多个像素的所述传输门晶体管提供全局操作。
[0322]
实施例4是根据实施例1至3中任一项所述的系统，其中：所述tx信号包括tx1信号和tx2信号；所述像素阵列中的所述多个像素中的至少两个像素以双向像素共享在水平方向上共享浮动扩散；所述tx1信号与位于奇数行上的所述双向像素共享的第一侧上的像素的传输门晶体管以及与位于偶数行上的所述双向像素共享的第二侧上的像素的传输门晶体管通信；并且所述tx2信号与位于奇数行上的所述双向像素共享的所述第二侧上的像素的传输门晶体管以及与位于偶数行上的所述双向像素共享的所述第一侧上的像素的传输门晶体管通信。
[0323]
实施例5是根据实施例1至4中任一项所述的系统，其中，所述图像传感器在所述像素阵列的充电周期期间执行水平合并。
[0324]
实施例6是根据实施例1至5中任一项所述的系统，其中，所述像素阵列的像素分组共享浮动扩散，其中所述像素分组包括两个像素或四个像素。
[0325]
实施例7是根据实施例1至6中任一项所述的系统，其中，所述像素阵列设置在所述
图像传感器的第一基板上，并且用于所述像素阵列的支撑电路远程设置在所述图像传感器的第二基板上。
[0326]
实施例8是根据实施例1至7中任一项所述的系统，其中，所述图像传感器被配置成生成多个曝光帧，其中所述多个曝光帧中的每个曝光帧对应于由所述发射器发射的电磁辐射脉冲。
[0327]
实施例9为根据实施例1至8中任一项所述的系统，其中，所述图像传感器的所述像素阵列在所述像素阵列的读出周期期间感测反射的电磁辐射以生成所述多个曝光帧，其中所述读出周期是所述像素阵列中的有效像素被读取时的持续时间。
[0328]
实施例10是根据实施例1至9中任一项所述的系统，其中，将所述多个曝光帧的至少一部分组合以形成图像帧。
[0329]
实施例11是根据实施例1至10中任一项所述的系统，其中，所述发射器以一定的持续时间和频率用脉冲调制所述激光标测图案，使得所述激光标测图案对于所述系统的用户不可见。
[0330]
实施例12是根据实施例1至11中任一项所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲的至少一部分包括绿色波长的电磁辐射、红色波长的电磁辐射和蓝色波长的电磁辐射。
[0331]
实施例13是根据实施例1至12中任一项所述的系统，其中，发射器被配置成在脉冲持续时间期间发射电磁辐射的多个子脉冲，多个子脉冲具有短于脉冲持续时间的子持续时间。
[0332]
实施例14是根据实施例1至13中任一项所述的系统，其中，由发射器发射的电磁辐射脉冲中的一个或多个电磁辐射脉冲包括作为单个脉冲或单个子脉冲以两个或更多个波长同时发射的电磁辐射。
[0333]
实施例15是根据实施例1至14中任一项所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲中的至少一个电磁辐射脉冲使得所述图像传感器产生曝光帧，其中所述系统还包括用于将两个或更多个曝光帧显示为图像帧的显示器。
[0334]
实施例16是根据实施例1至15中任一项所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲的至少一部分是用于使试剂发荧光的激发波长，并且其中用脉冲调制所述激发波长使得所述图像传感器生成指示场景内所述试剂的位置的荧光曝光帧。
[0335]
实施例17是根据实施例1至16中任一项所述的系统，其中，所述控制器被配置成向对应的荧光系统提供所述荧光曝光帧，所述对应的荧光系统基于所述荧光曝光帧来确定关键组织结构的位置。
[0336]
实施例18是根据实施例1至17中任一项所述的系统，其中，所述控制器被进一步配置成：从所述对应的荧光系统接收所述关键组织结构的位置；生成包括所述关键组织结构的位置的叠层帧；以及将所述叠层帧与描绘所述场景的彩色图像帧组合，以指示所述场景内所述关键组织结构的位置。
[0337]
实施例19是根据实施例1至18中任一项所述的系统，其中，所述图像传感器被配置成感测由所述激光标测图案产生的反射的电磁辐射以生成形貌曝光帧，并且其中所述控制器被进一步配置成：向对应的激光标测系统提供所述形貌曝光帧，所述对应的激光标测系统确定所述场景的形貌以及/或者所述场景内的一个或多个对象的尺寸；将所述关键组织
结构的位置提供给所述对应的激光标测系统；以及从所述对应的激光标测系统接收所述关键组织结构的形貌和/或尺寸。
[0338]
实施例20是根据实施例1至19中任一项所述的系统，其中，所述关键组织结构是神经、输尿管、血管、动脉、血流、癌组织或肿瘤中的一者或多者。
[0339]
实施例21是根据实施例1至20中任一项所述的系统，其中，所述控制器被配置成在所述图像传感器的消隐周期期间同步所述电磁辐射脉冲的定时，其中所述消隐周期对应于所述像素阵列中的最后一行有效像素的读出与所述像素阵列中的有效像素的下一个后续读出开始之间的时间。
[0340]
实施例22是根据实施例1至21中任一项所述的系统，其中，所述控制器被配置成基于阈值来调节由所述发射器发射的所述电磁辐射脉冲的序列，其中所述阈值确定缺光环境中场景的适当照明。
[0341]
实施例23是根据实施例1至22中任一项所述的系统，其中，由所述发射器发射的两个或更多个电磁辐射脉冲产生反射的电磁辐射的两个或更多个实例，所述两个或更多个实例由所述像素阵列感测以生成两个或更多个曝光帧，所述两个或更多个曝光帧被组合以形成图像帧。
[0342]
实施例24是根据实施例1至23中任一项所述的系统，其中，所述图像传感器被配置成通过感测由所述发射器用脉冲调制所述激光标测图案而产生的反射的电磁辐射来生成形貌曝光帧，其中所述形貌曝光帧包括用于确定实时测量的信息，所述信息包括以下中的一者或多者：从内窥镜到对象的距离；内窥镜与所述对象之间的角度；或者关于所述对象的表面形貌信息。
[0343]
实施例25是根据实施例1至24中任一项所述的系统，其中，所述电磁辐射脉冲的至少一部分包括超光谱发射，所述超光谱发射包括以下中的一者：具有约513nm至约545nm的波长的电磁辐射和具有约900nm至约1000nm的波长的电磁辐射；或者具有约565nm至约585nm的波长的电磁辐射和具有约900nm至约1000nm的波长的电磁辐射；其中所述图像传感器被配置成感测由所述超光谱发射产生的反射的电磁辐射以生成超光谱曝光帧。
[0344]
实施例26是根据实施例1至25中任一项所述的系统，其中，所述控制器被配置成：向对应的超光谱系统提供所述超光谱曝光帧，所述对应的超光谱系统基于所述超光谱曝光帧来确定关键组织结构的位置；从所述对应的超光谱系统接收所述关键组织结构的位置；生成包括所述关键组织结构的位置的叠层帧；以及将所述叠层帧与描绘所述场景的彩色图像帧组合，以指示所述场景内所述关键组织结构的位置。
[0345]
实施例27是根据实施例1至26中任一项所述的系统，其中，所述图像传感器被配置成感测由所述激光标测图案产生的反射的电磁辐射以生成形貌曝光帧，并且其中所述控制器被进一步配置成：向对应的激光标测系统提供所述形貌曝光帧，所述对应的激光标测系统确定所述场景的形貌以及/或者所述场景内的一个或多个对象的尺寸；将所述关键组织结构的位置提供给所述对应的激光标测系统；以及从所述对应的激光标测系统接收所述关键组织结构的形貌和/或尺寸。
[0346]
实施例28是根据实施例1至27中任一项所述的系统，其中，所述关键组织结构是神经、输尿管、血管、动脉、血流、癌组织或肿瘤中的一者或多者。
[0347]
实施例29是根据实施例1至28中任一项所述的系统，还包括多个工具，其中由所述
发射器发射的所述电磁辐射脉冲的至少一部分包括用于所述多个工具中的每个工具的特定于工具的激光标测图案。
[0348]
实施例30是根据实施例1至29中任一项所述的系统，其中，由发射器发射的激光标测图案包括彼此独立的第一输出和第二输出，其中第一输出用于光照明并且第二输出用于工具跟踪。
[0349]
实施例31是一种用于执行实施例1至30中任一项所述的功能的装置。
[0350]
实施例32是一种执行实施例1至30所述的系统的任何功能的方法。
[0351]
应当理解，本文所公开的各种特征在本领域中提供了显著优势和进步。下列权利要求为那些特征中的一些的示例。
[0352]
在上述本公开具体实施方式中，出于简化本公开的目的，将本公开的各个特征集中于单个实施方案中。本公开的方法不应理解为体现了这样的意图：受权利要求书保护的公开内容要求比每项权利要求中所明确列举的更多的特征。相反，创新方面未能体现上文公开的单个实施例的所有特征。
[0353]
应当理解，上述布置方式、实施例和实施方案的任何特征可在包括从任何所公开的布置方式、实施例和实施方案中获得的特征的组合的单个实施方案中组合。
[0354]
应当理解，上述设置只是本公开原理的示例性应用。在不脱离本公开精神和范围的前提下，本领域的技术人员可以设计许多修改和另选设置，并且所附权利要求书旨在涵盖这些修改和设置。
[0355]
因此，当本公开以图示显示并且以特殊性和细节进行上述描述时，对于本领域的普通技术人员而言，在不脱离本文所述原则和理念的前提下，显而易见可进行大量修改，这些修改包括但不限于尺寸、材料、形状、形式、功能和操作方式、组装和使用方式的变化。
[0356]
为了举例说明和描述的目的，已经提供了上述具体实施方式。这些具体实施方式并非意图为详尽的或将本公开限制为所公开的具体形式。根据上述教导内容可以对本公开进行许多修改和改变。另外，应当指出的是，任何或所有前述另选的具体实施可以任何期望的组合使用，以形成本公开的另外的混合的具体实施。
[0357]
另外，虽然已描述和说明了本公开的特定具体实施，但是本公开并不限于如描述和说明的特定形式或部件布置。本公开的范围将由此处所附的权利要求、此处和不同申请中提交的任何未来的权利要求以及它们的等效物来限定。