使用用于超光谱和荧光成像和形貌激光标测的单色图像传感器的宽动态范围的制作方法

技术特征：
1.一种系统，包括：发射器，所述发射器用于发射电磁辐射脉冲；图像传感器，所述图像传感器包括用于感测反射的电磁辐射的像素阵列，其中所述像素阵列包括多个像素，每个像素能够被配置成短曝光像素或长曝光像素；以及控制器，所述控制器包括与所述图像传感器和所述发射器电通信的处理器；其中由所述发射器发射的所述电磁辐射脉冲的至少一部分包括以下中的一者或多者：具有约513nm至约545nm的波长的电磁辐射；具有约565nm至约585nm的波长的电磁辐射；具有约900nm至约1000nm的波长的电磁辐射；引起试剂发荧光的电磁辐射激发波长；或激光标测图案。2.根据权利要求1所述的系统，其中，所述像素阵列包括以棋盘状图案布置的多个短曝光像素和多个长曝光像素，使得短曝光像素与长曝光像素相邻定位。3.根据权利要求1所述的系统，其中：所述像素阵列中的所述多个像素中的每个像素包括传输门晶体管；每个传输门晶体管与tx信号电通信；并且所述tx信号为所述像素阵列中的所述多个像素的所述传输门晶体管提供全局操作。4.根据权利要求3所述的系统，其中：所述tx信号包括tx1信号和tx2信号；所述像素阵列中的所述多个像素中的至少两个像素以双向像素共享在水平方向上共享浮动扩散；所述tx1信号与位于奇数行上的所述双向像素共享的第一侧上的像素的传输门晶体管以及与位于偶数行上的所述双向像素共享的第二侧上的像素的传输门晶体管通信；并且所述tx2信号与位于奇数行上的所述双向像素共享的所述第二侧上的像素的传输门晶体管以及与位于偶数行上的所述双向像素共享的所述第一侧上的像素的传输门晶体管通信。5.根据权利要求1所述的系统，其中，所述图像传感器在所述像素阵列的充电周期期间执行水平合并。6.根据权利要求1所述的系统，其中，所述像素阵列的像素分组共享浮动扩散，其中所述像素分组包括两个像素或四个像素。7.根据权利要求1所述的系统，其中，所述像素阵列设置在所述图像传感器的第一基板上，并且用于所述像素阵列的支撑电路远程设置在所述图像传感器的第二基板上。8.根据权利要求1所述的系统，其中，所述图像传感器被配置成生成多个曝光帧，其中所述多个曝光帧中的每个曝光帧对应于由所述发射器发射的电磁辐射脉冲。9.根据权利要求8所述的系统，其中，在所述图像传感器的所述像素阵列的读出周期期间所述像素阵列感测反射的电磁辐射以生成所述多个曝光帧，其中所述读出周期是所述像素阵列中的有效像素被读取时的持续时间。10.根据权利要求8所述的系统，其中，将所述多个曝光帧的至少一部分组合以形成图像帧。
11.根据权利要求1所述的系统，其中，所述发射器以一定的持续时间和频率用脉冲调制所述激光标测图案，使得所述激光标测图案对于所述系统的用户不可见。12.根据权利要求1所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲的至少一部分包括绿色波长的电磁辐射、红色波长的电磁辐射和蓝色波长的电磁辐射。13.根据权利要求1所述的系统，其中，所述发射器被配置成在脉冲持续时间期间发射电磁辐射的多个子脉冲，所述多个子脉冲具有短于所述脉冲持续时间的子持续时间。14.根据权利要求1所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲中的一个或多个电磁辐射脉冲包括作为单个脉冲或单个子脉冲以两个或更多个波长同时发射的电磁辐射。15.根据权利要求1所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲中的至少一个电磁辐射脉冲使得所述图像传感器产生曝光帧，其中所述系统还包括用于将两个或更多个曝光帧显示为图像帧的显示器。16.根据权利要求1所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲的至少一部分是用于使试剂发荧光的激发波长，并且其中用脉冲调制所述激发波长使得所述图像传感器生成指示场景内所述试剂的位置的荧光曝光帧。17.根据权利要求16所述的系统，其中，所述控制器被配置成向对应的荧光系统提供所述荧光曝光帧，所述对应的荧光系统基于所述荧光曝光帧来确定关键组织结构的位置。18.根据权利要求17所述的系统，其中，所述控制器被进一步配置成：从所述对应的荧光系统接收所述关键组织结构的位置；生成包括所述关键组织结构的位置的叠层帧；以及将所述叠层帧与描绘所述场景的彩色图像帧组合，以指示所述场景内所述关键组织结构的位置。19.根据权利要求18所述的系统，其中，所述图像传感器被配置成感测由所述激光标测图案产生的反射的电磁辐射以生成形貌曝光帧，并且其中所述控制器被进一步配置成：向对应的激光标测系统提供所述形貌曝光帧，所述对应的激光标测系统确定所述场景的形貌以及/或者所述场景内的一个或多个对象的尺寸；将所述关键组织结构的位置提供给所述对应的激光标测系统；以及从所述对应的激光标测系统接收所述关键组织结构的形貌和/或尺寸。20.根据权利要求19所述的系统，其中，所述关键组织结构是神经、输尿管、血管、动脉、血流、癌组织或肿瘤中的一者或多者。21.根据权利要求1所述的系统，其中，所述控制器被配置成在所述图像传感器的消隐周期期间同步所述电磁辐射脉冲的定时，其中所述消隐周期对应于所述像素阵列中的最后一行有效像素的读出与所述像素阵列中有效像素的下一次后续读出开始之间的时间。22.根据权利要求1所述的系统，其中，所述控制器被配置成基于阈值来调节由所述发射器发射的所述电磁辐射脉冲的序列，其中所述阈值确定缺光环境中场景的适当照明。23.根据权利要求1所述的系统，其中，由所述发射器发射的两个或更多个电磁辐射脉冲产生反射的电磁辐射的两个或更多个实例，所述两个或更多个实例由所述像素阵列感测以生成被组合以形成图像帧的两个或更多个曝光帧。24.根据权利要求1所述的系统，其中，所述图像传感器被配置成通过感测由所述发射
器用脉冲调制所述激光标测图案而产生的反射的电磁辐射来生成形貌曝光帧，其中所述形貌曝光帧包括用于确定实时测量的信息，所述信息包括以下中的一者或多者：从内窥镜到对象的距离；内窥镜与所述对象之间的角度；或者关于所述对象的表面形貌信息。25.根据权利要求1所述的系统，其中，所述电磁辐射脉冲的至少一部分包括超光谱发射，所述超光谱发射包括以下中的一者：具有约513nm至约545nm的波长的电磁辐射和具有约900nm至约1000nm的波长的电磁辐射；或者具有约565nm至约585nm的波长的电磁辐射和具有约900nm至约1000nm的波长的电磁辐射；其中所述图像传感器被配置成感测由所述超光谱发射产生的反射的电磁辐射以生成超光谱曝光帧。26.根据权利要求25所述的系统，其中，所述控制器被配置成：向对应的超光谱系统提供所述超光谱曝光帧，所述对应的超光谱系统基于所述超光谱曝光帧来确定关键组织结构的位置；从所述对应的超光谱系统接收所述关键组织结构的位置；生成包括所述关键组织结构的位置的叠层帧；以及将所述叠层帧与描绘所述场景的彩色图像帧组合，以指示所述场景内所述关键组织结构的位置。27.根据权利要求26所述的系统，其中，所述图像传感器被配置成感测由所述激光标测图案产生的反射的电磁辐射以生成形貌曝光帧，并且其中所述控制器被进一步配置成：向对应的激光标测系统提供所述形貌曝光帧，所述对应的激光标测系统确定所述场景的形貌以及/或者所述场景内的一个或多个对象的尺寸；将所述关键组织结构的位置提供给所述对应的激光标测系统；以及从所述对应的激光标测系统接收所述关键组织结构的形貌和/或尺寸。28.根据权利要求27所述的系统，其中，所述关键组织结构是神经、输尿管、血管、动脉、血流、癌组织或肿瘤中的一者或多者。29.根据权利要求1所述的系统，还包括多个工具，其中由所述发射器发射的所述电磁辐射脉冲的至少一部分包括用于所述多个工具中的每个工具的特定于工具的激光标测图案。30.根据权利要求1所述的系统，其中，由所述发射器发射的所述激光标测图案包括彼此独立的第一输出和第二输出，其中所述第一输出用于光照明并且所述第二输出用于工具跟踪。

技术总结
本发明公开了用于激光标测和具有增加的动态范围的彩色成像的系统、方法和装置。系统包括用于发射电磁辐射脉冲的发射器和包括用于感测反射的电磁辐射的像素阵列的图像传感器，其中该像素阵列包括多个像素，每个像素能够被配置成短曝光像素或长曝光像素。该系统包括控制器，该控制器包括与图像传感器和发射器电通信的处理器。该系统使得由发射器发射的电磁辐射脉冲的至少一部分包括以下中的一者或多者：具有约513nm至约545nm的波长的电磁辐射；具有约565nm至约585nm的波长的电磁辐射；具有约900nm至约1000nm的波长的电磁辐射；引起试剂发荧光的电磁辐射激发波长；或激光标测图案。图案。图案。


技术研发人员：J
受保护的技术使用者：西拉格国际有限公司
技术研发日：2020.06.03
技术公布日：2022/3/25