用于显微镜系统和用于确定变换函数的系统、方法和计算机程序与流程

1.示例涉及用于显微镜系统和用于确定变换函数的系统、方法和计算机程序，以及相应的显微镜系统。


背景技术：

2.外科医生经常用组织(例如脑组织)的颜色来区分可疑组织(例如病变)。然而，在很多情况下，细微的组织颜色差异只有具有长期经验和经训练的视敏度的外科医生才能看到，这是很难学习的。多光谱反射成像可以通过测量非常小的光谱差异来捕捉非常小甚至不可见的色差。然而，对于已知的多光谱成像的概念，除了现代显微镜的多个传感器之外，可能还需要附加的硬件。


技术实现要素：

3.期望用于提供彩色图像的改进的概念，使不同类型的组织之间的细微差别可见。
4.此期望通过独立权利要求的主题解决。
5.本发明的实施例基于以下发现，即通过将来自主要用于执行荧光成像的成像传感器的成像传感器数据与来自主要用于反射成像的成像传感器的成像传感器数据相结合，可以执行多光谱成像。因此，本发明的实施例提供了用于显微镜系统的系统。系统包括一个或多个处理器和一个或多个存储设备。系统被配置为从显微镜系统的显微镜的第一成像传感器获取第一成像传感器数据和从显微镜的第二成像传感器获取第二成像传感器数据。第一成像传感器数据包括关于在第一多个相互分离的波长波段中感知的光的传感器数据。第二成像传感器数据包括关于在第二多个相互分离的波长波段中感知的光的传感器数据。第一个多个相互分离的波长波段或第二个多个相互分离的波长波段的波长波段是用于荧光成像的波长波段。系统被配置为基于第一成像传感器数据和基于第二成像传感器数据生成复合彩色图像。复合彩色图像基于多个颜色通道。使用变换函数生成复合彩色图像，变换函数定义在成像传感器数据和复合彩色图像之间执行的变换，从而使用在第一和第二多个相互分离的波长波段的每个波长波段上感知的光的传感器数据生成复合彩色图像。
6.本发明的实施例进一步提供了显微镜系统，包括系统和具有第一和第二成像传感器的显微镜。第一和第二成像传感器中的一个是适于提供显微镜系统的荧光成像功能的成像传感器。
7.通过使用两组成像传感器数据，可以使用更精确的变换函数来构建彩色图像，从而示出不同类型组织之间的细微差异。同时，重用荧光成像传感器进行反射成像可以使能使用该方法而无需在显微镜系统中包括附加的传感器。
8.在各种实施例中，变换基于变换因子集，变换因子集分别定义在波长波段中感知的光的成像传感器数据和复合彩色图像的颜色通道之间执行的变换。例如，变换因子集可提供在一个波长波段测量的光的强度与颜色通道之间的一对一变换。
9.例如，变换因子集可包括针对波长波段和颜色通道的每个组合的一个变换因子。因此，可以应用一对一变换，例如使用矩阵乘法。换句话说，变换因子集可提供第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据与复合彩色图像的每个颜色通道之间的变换。
10.例如，复合彩色图像可以包括三个颜色通道(例如红、绿、蓝)。每个颜色通道可基于第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据的变换而生成。可以使用变换函数来执行变换。通过使用每个波长波段的成像传感器数据用于每个颜色通道，即使是细微的颜色差异也可以包括在复合彩色图像中。
11.在各种实施例中，变换函数可以通过变换矩阵来实现。系统可被配置为使用变换矩阵变换第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据。变换矩阵提供变换函数在计算上的高效实现。
12.在各种实施例中，系统被配置为使用系统的接口向显微镜系统的显示器提供显示信号，以使显示器示出复合彩色图像。因此，复合彩色图像可以示出给显微镜系统的用户，例如外科医生。
13.本发明的实施例进一步提供了用于确定变换函数的系统。系统包括一个或多个处理器和一个或多个存储设备。系统被配置为从显微镜的第一成像传感器获取参考对象的第一成像传感器数据，以及从显微镜的第二成像传感器获取参考对象的第二成像传感器数据。第一成像传感器数据包括在第一多个相互分离的波长波段中感知的光的传感器数据。第二成像传感器数据包括在第二多个相互分离的波长波段中感知的光的传感器数据。第一多个相互分离的波长波段或第二多个相互分离的波长波段的波长波段是用于荧光成像的波长波段。系统被配置为获取参考对象的复合参考图像。复合参考图像包括多个颜色通道。系统被配置为通过确定变换因子集来确定变换函数，该变换因子集提供第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据与复合参考图像的每个颜色通道之间的近似变换。变换函数基于变换因子集。通过使用两组成像传感器数据，可以使用更精确的变换函数来构建彩色图像，从而示出不同类型组织之间的细微差异。
14.在一些实施例中，系统被配置为识别变换因子集，该变换因子集在复合参考图像和基于该变换因子集生成的变换图像之间产生的不匹配低于至少一个其他变换因子集。换句话说，系统可被配置为迭代搜索减少复合参考图像与变换图像之间的不匹配的变换因子。
15.例如，参考图像的复合参考图像可定义参考对象的多个部分的多个颜色。多个颜色可包括预定义的第一颜色子集和第二颜色子集。系统可被配置为识别变换因子集，对于预定义的第一颜色子集，在复合参考图像和基于变换因子集生成的变换图像之间产生的不匹配低于至少一个其他变换因子集。换句话说，可以识别出减少第一颜色子集的不匹配的变换因子，这可以是特别有益的。例如，预定义的第一颜色子集可以是在外科场合中作为有机组织颜色出现的颜色。在第一子集的颜色中提高敏锐度可能比在其他颜色中更有益。
16.在各种实施例中，系统被配置为识别变换因子集，该变换因子集相比于至少一个其他变换因子集减少表示与复合参考图像之间的不匹配的不匹配值。可以为多个颜色的颜色计算不匹配值。预定义的第一颜色子集的颜色的不匹配可能比第二颜色子集的颜色的不匹配对不匹配值的影响更大。因此，在确定变换因子时，第一子集的颜色可能比其他颜色接
受更高的权重。
17.本发明的实施例进一步提供用于显微镜系统的方法。方法包括从显微镜系统的显微镜的第一成像传感器获取第一成像传感器数据和从显微镜的第二成像传感器获取第二成像传感器数据。第一成像传感器数据包括在第一多个相互分离的波长波段中感知的光的传感器数据。第二成像传感器数据包括在第二多个相互分离的波长波段中感知的光的传感器数据。第一多个相互分离的波长波段或第二多个相互分离的波长波段的波长波段是用于荧光成像的波长波段。方法包括基于第一成像传感器数据和基于第二成像传感器数据生成复合彩色图像。复合彩色图像基于多个颜色通道。使用变换函数生成复合彩色图像，变换函数定义在成像传感器数据和复合彩色图像之间执行的变换，从而使用在第一和第二多个相互分离的波长波段的每个波长波段上感知的光的传感器数据生成复合彩色图像。
18.本发明的实施例进一步提供用于确定变换函数的方法。方法包括从显微镜的第一成像传感器获取参考对象的第一成像传感器数据和从显微镜的第二成像传感器获取参考对象的第二成像传感器数据。第一成像传感器数据包括在第一多个相互分离的波长波段中感知的光的传感器数据。第二成像传感器数据包括在第二多个相互分离的波长波段中感知的光的传感器数据。第一多个相互分离的波长波段或第二多个相互分离的波长波段的波长波段是用于荧光成像的波长波段。方法包括获取参考对象的复合参考图像。复合参考图像包括多个颜色通道。方法包括通过确定变换因子集来确定变换函数，变换因子集提供在第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据与复合参考图像的每个颜色通道之间的近似变换。变换函数基于变换因子集。
19.本发明的实施例进一步提供计算机程序，该计算机程序具有当计算机程序在处理器上运行时用于执行至少一种方法的程序代码。
附图说明
20.以下将仅举例说明一些装置和/或方法的示例，并参考附图，其中
21.图1a和1b示出了用于显微镜系统的系统的示意图，以及包括系统的显微镜系统的示意图；
22.图2示出了用于显微镜系统的方法的流程图；
23.图3示出了用于确定变换函数的系统的示意图；
24.图4示出了用于确定变换函数的方法的流程图；
25.图5a示出了图像帧中存在的不同颜色的示意图；
26.图5b和5c示出了在不同频段中感知到的不同颜色的强度的示意图；
27.图5d示出了示例性变换矩阵；
28.图6示出了显微镜和照明系统的示意图；
29.图7a示出了示例性颜色表的示意图；
30.图7b示出了示例性方程组的图表；以及
31.图8示出了包括显微镜和计算机系统的显微镜系统的示意图。
具体实施方式
32.现在，将参照附图更全面地描述各种示例，其中一些示例是在附图中说明的。在附
图中，线条、层和/或区域的厚度可能被夸大，以达到清晰的效果。
33.图1a和1b示出了用于显微镜系统100的系统110的示意图，以及包括系统100的显微镜系统100的示意图。系统110包括一个或多个处理器114和一个或多个存储设备116。可选地，系统进一步包括接口112。一个或多个处理器耦接到接口和一个或多个存储设备。通常，系统的功能由一个或多个处理器提供，例如与可选的接口或与一个或多个存储设备相结合。例如，系统可被配置为经由接口获取成像传感器数据，和/或使用一个或多个存储设备存储变换函数的变换因子。
34.系统被配置为从显微镜系统的显微镜120的第一成像传感器122获取第一成像传感器数据，并从显微镜的第二成像传感器124获取第二成像传感器数据。第一成像传感器数据包括在第一多个相互分离的波长波段中感知的光的传感器数据。第二成像传感器数据包括在第二多个相互分离的波长波段中感知的光的传感器数据。第一多个相互分离的波长波段或第二多个相互分离的波长波段的波长波段是用于荧光成像的波长波段。系统被配置为基于第一成像传感器数据和基于第二成像传感器数据生成复合彩色图像。复合彩色图像基于多个颜色通道。使用变换函数生成复合彩色图像，变换函数定义在成像传感器数据和复合彩色图像之间执行的变换，从而使用在第一和第二多个相互分离的波长波段的每个波长波段上感知的光的传感器数据生成复合彩色图像。
35.图1b示出了包括显微镜120和系统110的显微镜系统的框图。图1b中所示的显微镜系统是外科医生可在手术部位使用的外科显微镜系统。图1b中所示的外科显微镜系统包括许多可选组件，诸如带有(滚动)支架的基础单元105(包括系统110)、辅助显示器140a、照明系统130、固定显微镜120并与基础单元105和显微镜120耦接的(机器人或手动)臂160，以及附接到显微镜120的转向手柄150。除了第一和第二成像传感器122；124，显微镜120可包括可选的眼部显示器140b和可选的辅助显示器。在本应用的上下文中，使用术语“(外科)显微镜系统”，以涵盖不是实际显微镜(包括光学组件)的一部分但与显微镜一起使用的系统的部分，诸如显示器或照明系统。第一和第二成像传感器中的一个是适于提供显微镜系统的荧光成像功能的成像传感器。
36.本公开的各种实施例涉及用于显微镜系统的系统、方法和计算机程序。一般来说，显微镜是光学仪器，适用于检查小到无法用肉眼(单独)检查的对象。例如，显微镜可以提供对象的光学放大。在现代显微镜中，光学放大常常被提供给相机或成像传感器，诸如图1a的显微镜120的第一和第二成像传感器122；124。显微镜120进一步可以包括一个或多个光学放大组件，用于放大样本上的视图。
37.有各种不同类型的显微镜。如果显微镜系统用于医学或生物领域，通过显微镜观察的对象可以是有机组织的样本，例如排列在培养皿内或存在于病人身体的某一部分。例如，显微镜系统100可以是用于实验室的显微镜系统，例如，可用于检查培养皿中有机组织样本的显微镜。可替代地，显微镜120可以是手术显微镜系统100的一部分，例如，在手术过程中使用的显微镜。例如，这样的系统如图1b中所示。尽管实施例是结合显微镜系统描述的，但它们也可以以更一般的方式应用到任何光学设备。
38.系统被配置为从显微镜的第一和第二成像传感器122；124获取第一和第二成像传感器数据。例如，第一和第二成像传感器122；124可以包括或是基于aps(有源像素传感器)或ccd(电荷耦合器件)的成像传感器。例如，在基于aps的成像传感器中，使用像素的光电探
测器和有源放大器在每个像素处记录光。基于aps的成像传感器通常基于cmos(互补金属氧化物半导体)或s-cmos(科学级cmos)技术。在基于ccd的成像传感器中，进入的光子在半导体-氧化物接口处被变换为电子电荷，随后通过传感器成像模块的控制电路在成像传感器模块中的电容盒之间移动以执行成像。第一和第二成像传感器数据可通过以下方式获取：从成像传感器接收相应的成像传感器数据(例如经由接口112)，从相应成像传感器的存储器中读取相应的成像传感器数据(例如经由接口112)，或从系统110的存储设备116中读取相应的成像传感器数据，例如，在相应的成像传感器或另一个系统或处理器将成像传感器数据写入存储设备116后。
39.第一成像传感器数据从第一成像传感器获取，以及第二成像传感器数据从第二成像传感器获取。换句话说，第一成像传感器数据和第二成像传感器数据是从不同的传感器获取的。因此，第一成像传感器不同于第二成像传感器。
40.在各种实施例中，正如前面所指出的，成像传感器中的一个可以是通常用于荧光成像的传感器。例如，当不使用荧光成像时，可使用相应的成像传感器提供附加的传感器数据，例如以提高复合彩色图像的颜色精度。实施例可以利用以下事实：配备用于荧光显微镜的外科显微镜具有两个成像系统，一个具有已知的响应波段(例如，第一多个相互分离的波长波段)，用于生成视觉材料(反射图像(这可以是常规的rgb相机)，另一个是具有特定定义的波长波段的荧光成像系统(例如，分别用于荧光素、ppix(原卟啉ix)、icg(吲哚菁绿)的约560nm、630nm、800nm，第二多个相互分离的波长波段)。例如，第二成像传感器可适于提供显微镜系统的荧光成像功能。例如，在显微镜120的第一操作状态下，系统可被配置为使用第一光学成像传感器进行反射成像，并使用第二光学成像传感器进行荧光成像，以及在显微镜120的第二操作状态下系统可被配置为使用第一和第二成像传感器执行反射成像，从而生成复合彩色图像。换句话说，复合彩色图像可以是反射图像，即可以不是基于荧光成像。因此，第二多个相互分离的波长波段的波长波段可以是用于荧光成像的波长波段(即用于荧光成像的发射波长波段)。因此，第一多个相互分离的波长波段的波长波段可以是用于反射成像的波长波段，例如跨可见的彩色光谱。然而，在一些实施例中，第一多个相互分离的波长波段可排除用于荧光成像的波长波段。因此，第一个多个和第二个多个相互分离的波长波段的波长波段可以不相互重叠。换句话说，波长波段可以被第一或第二多个相互分离的波长波段所覆盖。在各种实施例中，第一和第二多个相互分离的波长波段均正好包括三个(连续的)波长波段。
41.一般来说，显微镜系统可以包括照明系统(即灯光系统)，照明系统被配置为照射通过显微镜观察的样本。在实施例中，照明系统可用于支持使用照明系统执行的反射成像和荧光成像。为了生成作为反射图像的复合彩色图像，样本可以在第一和第二多个相互独立的波长波段中的每一个中被照明。因此，系统可被配置为控制照明系统，使样本在第一和第二多个相互独立的波长波段中的每个中被照明(例如在第二操作状态中)。如果执行荧光成像(除反射成像外)，则系统可被配置为控制照明系统，使样本在第一多个相互分离的波长波段中的每个中被照明(而不是在第二多个相互分离的波长波段的波长波段中)，并且(如果尚未包含在第一多个相互分离的波长波段中)，在用于样本的荧光材料的一个或多个激发波长波段中。在显微镜系统中，来自发射波长波段的光可能(逻辑上)被从照明光移除，并且也可以单独地进入到荧光相机。当系统不用于显微镜时，来自反射成像或每个荧光发
射波段的附加信息(包括nir icg(近红外吲哚菁绿)波段)可用于提供更精确的重建彩色图像。因此，照明系统可由系统110操作，以发射波长波段照明现场/样本。
42.一般地，照明系统的照明的发射和由成像传感器感知到的波长波段可以由安装在传感器或照明系统的光路中的滤波器限定(参见，例如图6的滤波器620-640)。例如，安装在第一成像传感器的光路中的滤波器可以是带通滤波器，其适于滤除第一多个相互分离的波长波段外的波长波段中的光，例如，使得(只有)具有在第一多个相互分离的波长波段内的波长的光被允许进入第一成像传感器。相应地，安装在第二成像传感器的光路中的滤波器可以是适用于滤除第二多个相互分离的波长波段以外的波长波段中的光的带通滤波器，例如，使得(只有)具有在第二多个相互分离的波长波段内的波长的光被允许进入第二成像传感器。安装在照明系统的光路中的滤波器可适于通过所有第一和第二多个相互分离的波长波段中的光。
43.在各种实施例中，如图1a和/或1b中所示，使用分束器126将样本反射或发射的光定向到第一和第二成像传感器。例如，分束器可以是多色镜，该多色镜被配置为对光进行分割，使给定波长的光定向于第一成像传感器或第二成像传感器。例如，多色镜可适于将具有在第一多个相互分离的波长波段(仅)内的波长的光定向到第一成像传感器，并将具有在第二多个相互分离的波长波段(仅)内的波长的光定向到第二成像传感器。
44.系统被配置为基于第一和第二成像传感器数据生成复合彩色图像。换句话说，系统被配置为基于由两个成像传感器提供的成像传感器数据生成彩色图像。因此，复合彩色图像是基于由两个不同的成像传感器提供的成像传感器数据生成的彩色图像。例如，复合彩色图像可以是通过使用来自两个成像传感器的成像传感器数据生成的多光谱彩色图像，成像传感器数据表示多个相互分离的波长波段中的光。因此，复合彩色图像是基于在多个相互分离的波长波段中感知的光而生成的多光谱彩色图像，由两个不同的成像传感器(例如，一个用于反射成像，以及另一个用于反射和荧光成像)感知多个相互分离的波长波段。例如，可以基于第一和第二成像传感器数据生成复合彩色图像，以提高复合彩色图像的颜色精度。
45.使用变换函数生成复合彩色图像，变换函数定义了在成像传感器数据和复合彩色图像之间执行的变换。与其他方法相对，变换函数被配置为使得，使用在第一和第二多个相互分离的波长波段的每个波长波段上感知的光的传感器数据生成复合彩色图像。换句话说，在第一和第二多个的所有相互分离的波长波段中感知的光可以被组合以生成复合彩色图像，例如，获取具有改进的颜色精度的复合彩色图像。通常，变换函数可被视为一组指令，用于第一和第二成像传感器数据(一侧)和复合彩色图像(另一侧)之间进行转换。
46.一般地，第一和第二成像传感器数据可各自包括由相应的成像传感器的多个传感器像素所生成的多个像素(例如，在去马赛克之后)。对于多个像素中的每个像素，相应的成像传感器数据可包括多个数值，以波长波段表示在多个调制波长波段中感知的光。例如，如果由第一和/或第二成像传感器在三个相互分离的波长波段中感知到光，那么第一和/或第二成像传感器数据可以(各自)包括每个像素的三个数值，表示在三个相互分离的波长波段中感知到的光。第一和第二成像传感器数据的多个像素可以处于预先定义的关系中。理想情况下，两个成像传感器的多个像素可以这样生成，使第一成像传感器数据的每个像素表示样本上与第二成像传感器数据的对应像素相同的点。
47.对于多个像素的每个像素，系统可被配置为将第一成像传感器数据的像素的数值和第二成像传感器数据的对应像素的数值输入到变换函数中，并计算表示复合彩色图像的多个颜色通道中的像素的数值。例如，如果第一和第二多个相互分离的波长波段都包括三个波长波段(总共六个波长波段，因此总共有六个数值表示六个波长波段中的光)，并且如果复合彩色图像基于三个颜色通道(例如红、绿和蓝)，变换函数可以指定在成像传感器数据和复合彩色图像的通道之间执行总共18个(6乘3)变换。这些变换可以被定义为可与第一和第二成像传感器数据的单个像素的数值相乘的乘法因子。因此，变换函数可以基于变换因子集，每个变换因子定义在波长波段中感知到的光的成像传感器数据(即像素的多个数值中的一个)与复合彩色图像的颜色通道(例如，三个颜色通道之一)之间执行的变换。在上面的示例中，变换因子集可以包括18个变换因子。换句话说，变换因子集可包括波长波段(即表示在波长波段中感知到的光的像素的数值)和颜色通道(即用于像素的颜色通道的数值)的每个组合的一个变换因子。例如，变换因子集可提供第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据与复合彩色图像的每个颜色通道之间的变换。变换函数，以及因此变换因子集，可以被(分别)应用于第一和第二成像传感器数据的每个像素。
48.为了改进性能，可以将变换函数定义为矩阵，该矩阵可以与包括第一和第二成像传感器数据的向量相乘。换句话说，变换函数可以由变换矩阵来实现。变换矩阵的项可以由变换因子集定义。系统可被配置为使用变换矩阵变换第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据。例如，在图5d中给出了变换矩阵的示例。
49.如前所述，复合彩色图像可以包括三个颜色通道，例如红色通道、蓝色通道和绿色通道(rgb)。rgb是通道模型，通常用于表示彩色图像，例如，待在显示器上示出的彩色图像。复合彩色图像的每个颜色通道可基于第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据的变换而生成。换句话说，第一和第二多个相互分离的波长波段的每个的数值可用于计算每个颜色通道的数值。变换可以使用变换函数来执行，例如，如上所示。
50.在各种实施例中，系统被配置为使用系统110的接口112向显微镜系统的显示器140提供显示信号，以使显示器示出复合彩色图像。换句话说，复合彩色图像可以示出在显微镜系统的显示器上，例如，在显微镜系统的眼部显示器上或在显微镜系统的辅助显示器上。
51.接口112可以对应于用于接收和/或发送信息的一个或多个输入和/或输出，信息可以根据指定的代码以数字(位)值在模块内、模块之间或不同实体的模块之间接收和/或发送。例如，接口112可包括被配置为接收和/或发送信息的接口电路。在实施例中，一个或多个处理器114可以使用一个或多个处理单元、一个或多个处理设备、任何处理装置来实现，诸如处理器、计算机或可通过相应适配的软件操作的可编程硬件组件。换句话说，描述的一个或多个处理器114的功能也可以在软件中实现，然后在一个或多个可编程硬件组件上执行。这种硬件组件可以包括通用处理器、数字信号处理器(dsp)、微控制器等。在至少一些实施例中，一个或多个存储设备116可包括以下的组中的至少一个元件：计算机可读存储介质，诸如磁或光存储介质，例如硬盘驱动器、闪存、软盘、随机存取存储器(ram)、可编程只读存储器(prom)、可擦可编程只读存储器(eprom)、电子可擦可编程只读存储器(eeprom)，或网络存储器。
52.系统和显微镜系统的更多细节和方面与所提议的概念或上文或下文描述的一个或多个示例相结合被描述(例如图2至图8)。系统和显微镜系统的可包括一个或多个附加可选特征，对应于所提出的概念的一个或多个方面，或上文或下文所描述的一个或多个示例。
53.图2示出了用于显微镜系统的相应方法的实施例的流程图。方法包括获取210来自显微镜系统的显微镜的第一成像传感器的第一成像传感器数据和来自显微镜的第二成像传感器的第二成像传感器数据。第一成像传感器数据包括在第一多个相互分离的波长波段中感知的光的传感器数据。第二成像传感器数据包括在第二多个相互分离的波长波段中感知的光的传感器数据。第一多个相互分离的波长波段或第二多个相互分离的波长波段的波长波段是用于荧光成像的波长波段。方法包括基于第一成像传感器数据和基于第二成像传感器数据生成220复合彩色图像。复合彩色图像基于多个颜色通道。使用变换函数生成复合彩色图像，变换函数定义在成像传感器数据和复合彩色图像之间执行的变换，从而使用在第一和第二多个相互分离的波长波段的每个波长波段上感知的光的传感器数据生成复合彩色图像。
54.如上所述，关于图la和/或1b的系统110和显微镜系统10描述的特征也可同样应用于图2的方法。
55.关于提出的概念或上文或下文所描述的一个或多个示例提出了方法的更多细节和方面(例如图1a至1b，图3至8)。方法可包括一个或多个附加的可选特征，对应于提出的概念的一个或多个方面或上文或下文所描述的一个或多个示例。
56.图la至2涉及变换函数在复合彩色图像的生成中的应用，下面的图3和图4涉及变换函数的生成。因此，图la至2中使用的变换函数可以使用图3或图4中所示的系统、方法和/或计算机程序生成。
57.图3示出了用于确定变换函数的系统的示意图。系统310包括一个或多个处理器314和一个或多个存储设备316。可选地，系统进一步包括接口312。一个或多个处理器耦接到接口和一个或多个存储设备。一般地，系统的功能由一个或多个处理器提供，例如与可选的接口或与一个或多个存储设备相结合。例如，系统可被配置为经由接口获取成像传感器数据，和/或使用一个或多个存储设备存储变换函数的变换因子和/或复合参考图像。
58.系统被配置为从显微镜120的第一成像传感器122获取参考对象300的第一成像传感器数据，以及从显微镜的第二成像传感器124获取参考对象的第二成像传感器数据。第一成像传感器数据包括在第一多个相互分离的波长波段上感知到的光的传感器数据，第二成像传感器数据包括在第二多个相互分离的波长波段上感知到的光的传感器数据。第一多个相互分离的波长波段或第二多个相互分离的波长波段的波长波段是用于荧光成像的波长波段。系统被配置为获取参考对象的复合参考图像。复合参考图像包括多个颜色通道。系统被配置为通过确定变换因子集来确定变换函数，变换因子集提供第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据与复合参考图像的每个颜色通道之间的近似变换(即在生成的复合彩色图像和复合参考图像之间产生不匹配小于使用另一变换因子集产生的不匹配或小于阈值的变换)。变换函数基于变换因子集。
59.例如，图3的系统可以被实现为类似于图1a和/或1b的系统110，例如通过相同的系统。相应地，系统110和/或系统310可被配置为提供相应的其他系统310；110的功能。因此，显微镜120可以是图1a和/或1b的显微镜系统100的显微镜120。因此，第一和第二成像传感
器数据也可以被实现为类似图1a和/或1b的第一和第二成像传感器数据。此外，变换函数可以被实现为类似于图1a至2的变换函数。
60.本公开的一些实施例涉及用于确定变换函数的系统、方法和计算机程序。正如之前在图1a至2中所指出的那样，变换函数定义在成像传感器数据和基于成像传感器数据的复合彩色图像之间执行的变换。一般地，变换函数可被视为一组指令，用于在第一和第二成像传感器数据(一侧)和复合彩色图像(另一侧)之间进行转换。结合图3和图4示出的实施例提供了使用复合参考图像和使用由两个成像传感器提供的成像传感器数据来生成这种变换函数的方法。
61.一般地，复合参考图像可以被实现为类似于结合图1a和/或图1b介绍的复合彩色图像——它是彩色图像，它基于多个颜色通道(例如三个颜色通道——红、绿、蓝)。复合参考图像可以不同于复合彩色图像，不同之处在于表示各个像素的颜色通道的数值为参考值，即定义当被应用于显示参考对象的第一和第二成像传感器数据时要提供的正在确定的变换函数的数值的值。换句话说——第一和第二成像传感器数据示出参考对象，而参考复合图像示出复合彩色图像，该复合彩色图像是应用于第一和第二成像传感器数据的变换函数的期望结果。优选地，复合参考图像包括多个预定义颜色，其对应的预定义数值表示各个像素的颜色通道。例如，参考对象可以是颜色图表或颜色表，即示出多个颜色的表格，每个颜色在复合参考图像的多个通道中具有预定义的表示。由于参考对象的颜色从复合参考图像中已知，系统可以使用复合参考图像作为变换函数应用于成像传感器数据的期望结果。因此，系统可被配置为识别变换因子集，变换因子集定义在成像传感器数据和复合彩色图像之间执行的变换，从而减少复合彩色图像和复合参考图像之间的差异。与其他系统相反，为两个成像传感器的成像传感器数据识别变换因子集，从而潜在地产生两倍多的变换因子，例如，提供第一成像传感器数据和复合彩色图像之间的变换的第一变换因子子集和提供第一成像传感器数据和复合彩色图像之间的变换的第二变换因子子集，例如，使复合彩色图像和复合参考图像之间的差异与其他变换因子集相比减小。换句话说，系统可被配置为识别变换因子集，变换因子集在复合参考图像与基于变换因子集生成的变换图像(即复合彩色图像)之间产生的不匹配(即差异)比至少一个其他变换因子集更低。例如，系统可以被配置为通过定义使用第一和第二成像传感器数据和复合参考图像的一组方程，并求解该组方程得到提供第一和第二成像传感器数据和复合参考图像之间的变换的一组潜在变换因子来确定变换因子集。这可以针对多个不同的颜色执行，例如针对参考对象的多个颜色。
62.例如，参考对象可以包括多个预定义颜色(例如颜色表)，复合颜色图像可以包括表示多个预定义颜色的多个部分。换句话说，参考图像的复合参考图像可以定义参考对象的多个部分的多个颜色，例如颜色表的多个预定义的颜色。系统可被配置为确定用于多个(预定义)颜色的变换因子集，即通过识别为多个颜色中的每一个提供表示(预定义颜色)的部分的第一和第二成像传感器数据与由复合参考图像的多个通道表示的预定义颜色之间的近似变换的变换因子集。
63.在外科显微镜等应用中，有些颜色可能对外科医生更有用。例如，有些颜色可以是病理组织的标志，但病理组织的颜色和健康组织的颜色之间的差异可能很小。在一些实施例中，在确定变换因子集时，可以优先处理这些颜色。例如，多个(预定义的)颜色可以包括预定义的第一颜色子集和第二颜色子集。例如，预定义的第一颜色子集可以是预定义的对
显微镜的特定应用非常重要的颜色。第二颜色子集可以是其他颜色，即对显微镜的特定应用不重要的颜色。例如，预定义的第一颜色子集可以是在外科场合中作为有机组织的颜色出现的颜色，例如，指示健康组织或病理组织的颜色。第二颜色子集的颜色可以是与识别健康或病理组织不太相关的颜色。相应地，系统可被配置为识别变换因子集，对于预定义的第一颜色子集，变换因子集在复合参考图像和基于该变换因子集生成的变换图像之间产生的不匹配低于至少一个其他变换因子集。在一些实施例中，在识别变换因子集时可能不考虑第二颜色子集。然而，在一些其他实施例中，可以考虑第二颜色子集，尽管其优先级或权重低于预定义的第一颜色子集。换句话说，系统可被配置为识别变换因子集，变换因子集与至少一个其他变换因子集相比减少表示与复合参考图像之间的不匹配的不匹配值。可以为多个颜色的颜色计算不匹配值。预定义的第一颜色子集的颜色的不匹配可能比第二颜色子集的颜色的不匹配对不匹配值的影响更大。换句话说，在识别变换因子集时，预定义的第一颜色子集的颜色的不匹配可能比预定义的第二子集的颜色的不匹配接受更高的权重。
64.本发明的实施例进一步提供了显微镜系统100(可被实现为类似于图1a和/或1b的显微镜系统)，包括系统310(以及如果系统被单独实现，可选地，系统110)和具有第一成像传感器122和第二成像传感器124的显微镜120。第一和第二成像传感器中的一个可以是适于提供显微镜系统的荧光成像功能的成像传感器。
65.接口312可以对应于用于接收和/或发送信息的一个或多个输入和/或输出，信息可以根据指定的代码以数字(位)值在模块内、模块之间或不同实体的模块之间接收和/或发送。例如，接口312可包括被配置为接收和/或发送信息的接口电路。在实施例中，一个或多个处理器314可以使用一个或多个处理单元、一个或多个处理设备、任何处理装置来实现，诸如处理器、计算机或可通过相应适配的软件操作的可编程硬件组件。换句话说，一个或多个处理器314的所描述的功能也可以在软件中实现，然后在一个或多个可编程硬件组件上执行。这种硬件组件可以包括通用处理器、数字信号处理器(dsp)、微控制器等。在至少一些实施例中，一个或多个存储设备316可包括以下的组中的至少一个元件：计算机可读存储介质，诸如磁或光存储介质，例如硬盘驱动器、闪存、软盘、随机存取存储器(ram)、可编程只读存储器(prom)、可擦可编程只读存储器(eprom)、电子可擦可编程只读存储器(eeprom)或网络存储器。
66.与所提出的概念或上文或下文描述的一个或多个示例(例如图la至2、4至8)相结合阐述了系统和显微镜系统的更多细节和方面。系统和显微镜系统可包括一个或多个附加可选特征，对应于所提出的概念的一个或多个方面，或上文或下文所描述的一个或多个示例。
67.图4示出用于确定变换函数的方法的实施例的流程图。方法包括获取410来自显微镜的第一成像传感器的参考对象的第一成像传感器数据和来自显微镜的第二成像传感器的参考对象的第二成像传感器数据。第一成像传感器数据包括在第一多个相互分离的波长波段中感知的光的传感器数据。第二成像传感器数据包括在第二多个相互分离的波长波段的中感知的光的传感器数据。第一多个相互分离的波长波段或第二多个相互分离的波长波段的波长波段是用于荧光成像的波长波段。方法包括获取420参考对象的复合参考图像，复合参考图像包括多个颜色通道。方法包括通过确定变换因子集来确定430变换函数，变换因子集提供在第一和第二多个相互分离的波长波段的每个波长波段的成像传感器数据和复
合参考图像的每个颜色通道之间的近似变换。变换函数基于变换因子集。
68.如上所述，与图3的系统310有关的特征也可同样应用于图4的方法。
69.与提出的概念或上文或下文所描述的一个或多个示例(例如图1a至3，图5a至8)相结合阐述了方法的更多细节和方面。方法可包括一个或多个附加的可选特征，对应于提出的概念的一个或多个方面或上文或下文所描述的一个或多个示例。
70.本发明的各种实施例基于使用用于多光谱反射成像的显微镜系统的荧光相机。
71.正如前面所指出的，外科医生经常使用组织(大脑)的颜色来区分怀疑与病变有关的组织。然而，细微的组织颜色差异可能只有具有长期经验和经训练的视敏度的外科医生才能看到，这是很难学习的。
72.多光谱反射成像可以通过测量非常小的光谱差异来捕捉非常小甚至不可见的颜色差异。然而，对于传统的多光谱成像，除了通常配备3d和荧光相机的现代显微镜的多个传感器外，可能还需要额外的硬件。
73.本发明的实施例可在荧光模式不起作用时使用手术显微镜系统的现有荧光传感器进行多光谱反射成像。这可以通过软件在不增加成本、规模和复杂性的情况下使能功能的使用。
74.各种实施例可以使用多光谱成像来产生精确的彩色组织成像。这可以通过以下来完成：测量三个以上的光谱波段，例如六个光谱波段(例如分别来自第一和第二成像传感器数据的三个光谱波段)，然后数字地重组光谱信息来计算rgb值(即组合的彩色图像)。因此，颜色捕捉可能更准确。
75.对于使用多传感器进行反射和荧光成像的成像系统，可以利用反射模式下的荧光波段实现多光谱反射成像。这可以通过在荧光波段提供照明来实现。
76.具有诊断重要性的细微颜色差异可以通过数字技术增强，因此即使是未经训练的外科医生也很容易看到。
77.图5a示出了图像帧中存在的不同颜色的示意图。在图5a中，有机组织(例如示出的脑组织)的三个区域510-530，每个区域都有特定的颜色，区域510呈蓝色，区域520呈绿色，以及区域530呈红色。
78.图5b和5c示出了不同区域510-530的不同颜色的强度的示意图，如分别由两个传感器(索引1和2)在不同频段1-6中感知的，每个传感器感知三个波长波段(a-c)中的光，从而生成成像传感器数据s
a1
，s
a2
，s
b1
，s
b2
，s
c1
和s
c2
。如图5c中所示的，传感器可以感知到比图5b中所示出的更窄的频段中的光，使频段是相互分离的频段。不同的传感器用不同的背景图案突出显示。
79.在相互分离的频段中生成的传感器数据可用于生成rgb图像，例如，经由包括变换因子集的变换矩阵。图5d示出了示例性变换矩阵，大小为3
×
6，包括18个变换因子f
11-f
36
(索引示出行和列)。将此变换矩阵与包括传感器数据s
a1
，s
a2
，s
b1
，s
b2
，s
c1
和s
c2
的(6
×
1)矩阵相乘，以得到复合彩色图像的rgb值(作为3
×
1矩阵)。
80.图6示出了显微镜和照明系统的示意图。如前所述，使用两个成像传感器的传感器数据，来自用于反射成像的第一成像传感器(例如ccd传感器)122和主要用于荧光成像的第二成像传感器(例如ccd传感器)124。第一成像传感器可被配置为提供彩色反射图像，并且第二成像传感器提供荧光图像(在第一操作模式中)和反射图像(例如在三个波段中，在第
二操作模式中)。两个成像传感器与镜630；640组合，其可滤除相应成像传感器所能感知的频段以外的光。多色镜650用于将不同波长波段的光进行划分，并将相应的波长波段定向到传感器。使用照明系统610(与滤波器620组合使用，滤波器620过滤由照明系统发射出的光)来照明由成像传感器成像的对象。图6进一步示出了不同波长波段的光(以不同的线形式)，其中可见光660被允许进入第一成像传感器，并且发射波长波段的光被允许进入第二成像传感器，发射波长波段的光要么由照明系统发射670，要么由在荧光激发波长波段中被激发的对象的荧光材料680发射(例如由可见光660)。
81.在图7a和图7b中，示出了生成变换函数的概念。正如结合图3和图4所介绍的，变换函数可以通过使用具有颜色表中颜色样本的“已知”rgb值的参考颜色表来确定。图7a示出示例性颜色表的示意图，包括颜色字段1至20。颜色表可由两个成像传感器记录，并可为单个相互分离的波长波段确定相应的传感器数据。可以将已知的rgb值和各个波长波段的传感器数据输入到方程组中，并对方程组进行求解，使得对于不同颜色样本，获得的颜色与已知rgb值之间的差异减小或最小化。图7b示出了示例性方程组的示意图，具有表示样本的数量的列，表示不同波长波段的传感器数据的列，以及表示已知的rgb值的列。
82.与提出的概念或上文或下文所描述的一个或多个示例(例如图la至图4，8)相结合阐述了概念的更多细节和方面。概念可包括一个或多个附加的可选特征，对应于提出的概念的一个或多个方面或上文或下文所描述的一个或多个示例。
83.一些实施例涉及显微镜，包括结合图1至7b中的一个或多个所描述的系统。可替代地，显微镜也可以是结合图1至7b中的一个或多个所描述系统的一部分或连接到系统。图8示出了包括显微镜和计算机系统的显微镜系统的示意图。图8示出了配置为执行本文所描述方法的系统800的示意图。系统包括显微镜810和计算机系统820。显微镜810被配置为拍摄图像，并连接到计算机系统820。计算机系统820被配置为至少执行本文所描述方法的一部分。计算机系统820可以被配置为执行机器学习算法。计算机系统820和显微镜810可以是独立的实体，但也可以一起集成在一个共同的外壳中。计算机系统820可以是显微镜810的中央处理系统的一部分，和/或计算机系统820可以是显微镜810的子组件的一部分，诸如显微镜810的传感器、致动器、相机或照明单元等。
84.计算机系统820可以是具有一个或多个处理器和一个或多个存储设备的本地计算机设备(例如个人计算机、笔记本电脑、平板电脑或移动电话)，或者也可以是分布式计算机系统(例如具有分布在各个位置的一个或多个处理器和一个或多个存储设备的云计算系统，例如，在本地客户端和/或一个或多个远程服务器场和/或数据中心)。计算机系统820可包括任何电路或电路的组合。在一个实施例中，计算机系统820可包括一个或多个可以是任何类型的处理器。如本文中使用的，处理器可指任何类型的计算电路，诸如例如显微镜或显微镜组件(例如相机)或任何其他类型的处理器或处理电路的但不限于微处理器、微控制器、复杂指令集计算(cisc)微处理器、简化指令集计算(risc)微处理器、超长指令字(vliw)微处理器、图形处理器、数字信号处理器(dsp)、多核处理器、现场可编程门阵列(fpga)。其他可以包括在计算机系统820中的电路类型可以是定制电路、特定于应用的集成电路(asic)或类似的电路，诸如例如，用于移动电话、平板电脑、笔记本电脑、双向无线电和类似电子系统等无线设备的一个或多个电路(诸如通信电路)。计算机系统820可包括一个或多个存储设备，其中可包括一个或多个适合于特定应用的存储元件，诸如随机存取存储器
(ram)形式的主存储器，一个或多个硬盘驱动器，和/或一个或多个处理可移动介质的驱动器，诸如光盘(cd)、闪存存储卡、数字视频磁盘(dvd)等。计算机系统820还可以包括显示设备、一个或多个扬声器以及键盘和/或控制器，该键盘和/或控制器可以包括鼠标、轨迹球、触摸屏、语音识别设备或允许系统用户向该计算机系统820输入信息并从该计算机系统820接收信息的任何其他设备。
85.一些或所有的方法步骤可以由(或使用)硬件装置执行，例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，可以通过这样的装置执行一些一个或多个最重要的方法步骤。
86.根据一定的实现需求，本发明的实施例可以在硬件中实现，也可以在软件中实现。可以使用非暂时性存储介质执行实现，诸如数字存储介质，例如软盘、dvd、蓝光、cd、rom、prom和eprom、eeprom或flash存储器，其上存储有电子可读控制信号，它们与可编程计算机系统合作(或能够合作)，以便执行相应的方法。因此，数字存储介质可能是计算机可读的。
87.根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该数据载体能够与可编程计算机系统协作，以便执行本发明所述的方法之一。
88.一般的，本发明的实施例可以实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可用于执行其中一种方法。例如，程序代码可以存储在机器可读的载体上。
89.其他实施例包括用于执行本文所描述的方法之一的计算机程序，存储在机器可读载体上。
90.换句话说，因此，当计算机程序在计算机上运行时，本发明的实施例是具有用于执行本发明所述方法之一的程序代码的计算机程序。
91.因此，本发明的进一步实施例是存储介质(或数据载体，或计算机可读介质)，包括存储在其上的计算机程序，该程序由处理器执行时，用于执行本文所述的方法之一。数据载体、数字存储介质或记录的介质通常是有形的和/或非暂时性的。本发明的进一步实施例是本发明中所描述的包括处理器和存储介质的装置。
92.因此，本发明的进一步实施例是表示用于执行本发明所述方法之一的计算机程序的数据流或信号序列。例如，数据流或信号序列可被配置为经由数据通信连接，例如经由互联网进行传送。
93.进一步的实施例包括处理手段，例如，配置为或适应于执行本文所述方法之一的计算机或可编程逻辑器件。
94.进一步的实施例包括在其上安装了用于执行本文所述方法之一的计算机程序的计算机。
95.根据本发明的进一步实施例包括被配置为向接收器(例如，电子地或光学地)传送用于执行本发明所述方法之一的计算机程序的装置或系统。例如，接收器可以是计算机、移动设备、存储设备或类似设备。例如，装置或系统可包括用于将计算机程序传送到接收器的文件服务器。
96.在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可用于执行本文所述方法的一些或全部功能。在一些实施例中，现场可编程门阵列可与微处理器合作以执行本文所述的方法之一。一般的，这些方法最好由任何硬件装置来执行。
97.本文使用的术语“和/或”包括一个或多个相关列出项目的任何和所有组合，可以缩写为“/”。
98.虽然在装置的上下文中已经描述了一些方面，但很明显，这些方面也表示了相应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对相应装置的相应块或项目或特征的描述。
99.附图标记列表
100.100显微镜系统
101.105基础单元
102.110系统
103.112接口
104.114一个或多个处理器
105.116一个或多个存储设备
106.120显微镜
107.122第一成像传感器
108.124第二成像传感器
109.126分束器/多色镜
110.130照明系统
111.140a/b显示器
112.150转向手柄
113.160臂
114.210获取第一和第二成像传感器数据
115.220生成复合彩色图像
116.300参考对象
117.310系统
118.312接口
119.314一个或多个处理器
120.316一个或多个存储设备
121.410获取第一和第二成像传感器数据
122.420获取复合参考图像
123.430确定变换函数
124.510-530具有不同颜色的区域
125.610照明系统
126.620-640滤波器
127.650多色镜
128.660可见光
129.670由照明系统发射出的和由对象反射的光
130.680由对象反射的光
131.800系统
132.810显微镜
133.820计算机系统