分子化学成像与RGB成像的融合的制作方法

分子化学成像与rgb成像的融合
1.相关申请的交叉引用
2.本技术要求于2019年10月02日提交的美国临时申请序列号62/909525的优先权，其内容通过引用以其整体并入于此。


背景技术：

3.尽管分子化学成像(mci)是一种用于分析感兴趣的有机、无机和生物样品的强大技术，但它具有缺点。一个缺点是由于成像硬件的限制，许多实现不能达成实时或接近实时的成像。另一缺点是生成的mci图像在单独使用时可能难以解释。这对于生物或医学应用尤其重要。持续需要将来自多个图像的信息融合成包括更多信息和对比度的单个图像。


技术实现要素：

4.本公开考虑了融合从感兴趣的样品生成的两个或更多个图像的成像技术的各种实施例。
5.在一个实施例中，存在一种融合图像的方法，该方法包括：利用照射光子照射样品；从已经与样品相互作用并且已传播到第一相机芯片的相互作用光子获取第一样品图像；从已经与样品相互作用并且已传播到第二相机芯片的相互作用光子获取第二样品图像；以及通过对第一样品图像和第二样品图像进行加权来融合第一样品图像和第二样品图像，以由此生成融合得分图像，其中第一样品图像和第二样品图像的加权通过以下一项或多项而被执行：图像加权贝叶斯融合(iwbf)、偏最小二乘判别分析(pls-da)、线性回归、逻辑回归、支持向量机(svm)、相对向量机(rvm)、朴素贝叶斯、神经网络、或者线性判别分析(lda)。
6.在另一实施例中，该方法还包括：检测第一样品图像和第二样品图像中的每个样品图像中的眩光，并且不对第一样品图像和第二样品图像中被标识为眩光的部分进行分类。
7.在另一实施例中，该方法还包括：对第一样品图像和第二样品图像的强度进行归一化。
8.在另一实施例中，第一样品图像选自由以下项组成的组：uv、rgb、vis-nir、swir、拉曼、nir-eswir、以及eswir；并且第二样品图像选自由以下项组成的组：uv、rgb、vis-nir、swir、拉曼、nir-eswir、以及eswir。
9.在另一实施例中，第一样品图像是rgb，并且第二样品图像是vis-nir。
10.在另一实施例中，第一样品图像是被转换为色相、饱和度、值(hsv)的rgb，并且第一样品图像的值维度被省略。
11.在另一实施例中，第二样品图像是vis-nir。
12.在一个实施例中，存在一种用于融合图像的系统，该系统包括：照射源，被配置成利用照射光子照射样品；第一相机芯片，被配置成从已经与样品相互作用的相互作用光子获取第一样品图像；第二相机芯片，被配置成从已经与样品相互作用的相互作用光子获取
第二样品图像；以及处理器，在操作期间通过对第一样品图像和第二样品图像进行加权来融合第一样品图像和第二样品图像，以由此生成融合得分图像，其中第一样品图像和第二样品图像的加权通过以下一个或多个而被执行：图像加权贝叶斯融合(iwbf)、偏最小二乘判别分析(pls-da)、线性回归、逻辑回归、支持向量机(svm)、相对向量机(rvm)、朴素贝叶斯、神经网络、或者线性判别分析(lda)。
13.在另一实施例中，处理器检测第一样品图像和第二样品图像中的每个样品图像中的眩光，并且不对第一样品图像和第二样品图像中被标识为眩光的部分进行分类。
14.在另一实施例中，处理器对第一样品图像和第二样品图像的强度进行归一化。
15.在另一实施例中，第一样品图像选自由以下项组成的组：uv、rgb、vis-nir、swir、拉曼、nir-eswir、以及eswir；并且第二样品图像选自由以下项组成的组：uv、rgb、vis-nir、swir、拉曼、nir-eswir、以及eswir。
16.在另一实施例中，第一样品图像是rgb，并且第二样品图像是vis-nir。
17.在另一实施例中，第一样品图像是rgb，并且处理器将第一样品图像从rgb转换为色调、饱和度、值(hsv)，并且处理器省略第一样品图像的值维度。
18.在另一实施例中，第二样品图像是vis-nir。
19.在一个实施例中，存在一种用于融合图像的计算机程序产品，该计算机程序产品由非瞬态计算机可读存储介质上的指令体现，当指令由处理器执行时，使：照射源利用照射光子照射样品；第一相机芯片从已经与样品相互作用的相互作用光子获取第一样品图像；第二相机芯片从已经与样品相互作用的相互作用光子获取第二样品图像；以及处理器通过对第一样品图像和第二样品图像进行加权来融合第一样品图像和第二样品图像，以由此生成融合得分图像，其中第一样品图像和第二样品图像的加权通过以下一项或多项而被执行：图像加权贝叶斯融合(iwbf)、偏最小二乘判别分析(pls-da)、线性回归、逻辑回归、支持向量机(svm)、相对向量机(rvm)、朴素贝叶斯、神经网络、或者线性判别分析(lda)。
20.在另一实施例中，指令使处理器：检测第一样品图像和第二样品图像中的每个中的眩光，并且不对第一样品图像和第二样品图像的被标识为眩光的部分进行分类。
21.在另一实施例中，指令使处理器对第一样品图像和第二样品图像的强度进行归一化。
22.在另一实施例中，第一样品图像选自由以下项组成的组：uv、rgb、vis-nir、swir、拉曼、nir-eswir、以及eswir；并且第二样品图像选自由以下项组成的组：uv、rgb、vis-nir、swir、拉曼、nir-eswir、以及eswir。
23.在另一实施例中，第一样品图像是rgb，并且第二样品图像是vis-nir。
24.在另一实施例中，第一样品图像是rgb，并且处理器将第一样品图像从rgb转换为色调、饱和度、值(hsv)，并且处理器省略第一样品图像的值维度。
25.在另一实施例中，第二样品图像是vis-nir。
附图说明
26.包含在说明书中并且形成说明书一部分的附图说明了本发明的实施例并且与书面描述一起用于解释本发明的原理、特性和特征。
27.在附图中：
28.图1图示了通过将rgb图像与mci图像配准来实时检测的一个实施例。
29.图2图示了通过将rgb图像与mci图像融合来实时检测的另一个实施例。
具体实施方式
30.本公开不限于所描述的特定系统、方法和计算机程序产品，因为这些可能变化。描述中使用的术语仅用于描述特定版本或实施例的目的，并不旨在限制范围。
31.如在本文档中使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另有明确规定。除非另有定义，否则本文使用的所有技术和科学术语具有与本领域技术人员通常理解的相同含义。本公开中的任何内容都不应当被解释为承认本公开中描述的实施例由于在先发明而无权先于这种公开。如本文档中所使用的，术语“包括”意指“包括但不限于”。
32.下面描述的实施例不旨在穷举或将教导限制为在以下详细描述中公开的精确形式。相反，实施例被选择和描述为使得本领域技术人员可以领会和理解本教导的原理和实践。
33.本公开预期了系统、方法和计算机程序产品，这些系统、方法和计算机程序产品被设计成：利用照射光子照射样品，通过相机芯片从样品收集相互作用的光子，从已被相机芯片收集和成像的相互作用的光子生成两个或更多个样品图像，以及将两个或更多个样品图像融合，以便生成目标得分图像。通过对两个或更多个样品图像应用数学运算以便融合两个或更多个样品图像来生成目标得分图像。与利用从相互作用的光子形成的两个或更多个样品图像中的任何一个样本图像而可能的相比，目标得分图像具有更大的对比度和信息。下面提供了本公开的进一步的细节。
34.照射源
35.照射源不受限制并且可以是有用于提供必要照射同时满足其他辅助要求(诸如功耗、发射光谱、封装、热输出等)的任何源。在一些实施例中，照射源是白炽灯、卤素灯、发光二极管(led)、量子级联激光器、量子点激光器、外腔激光器、化学激光器、固态激光器、有机发光二极管(oled)、电致发光器件、荧光灯、气体放电灯、金属卤化物灯、氙弧灯、感应灯或这些照射源的任何组合。在一些实施例中，照射源是可调谐照射源，这意指照射源是单色的并且可以被选择为在任何期望的波长范围内。可调谐照射源的所选择波长不受限制，并且可以是紫外(uv)、可见光(vis)、近红外(nir)、可见-近红外(vis-nir)、短波红外(swir)、扩展短波红外(eswir)、近红外扩展短波红外(nir-eswir)、中波红外(mir)、以及长波红外(lwir)范围内的任何通带。
36.上述光范围对应于约180nm至约380nm(uv)、约380nm至约720nm(vis)、约400nm至约1100nm(vis-nir)、约850nm至约1800nm(swir)、约1200nm至约2450nm(eswir)、约720nm至约2500nm(nir-eswir)、约3000nm至约5000nm(mir)，或约8000nm至约14000纳米(lwir)的波长。上述范围可以被单独使用或与所列范围中的任何范围组合使用。这样的组合包括相邻(连续)范围、重叠范围和不重叠的范围。范围的组合可以通过包括多个光源、通过对光源滤波，或者通过添加至少一个组分来达成，组分诸如是磷光体和/或量子点，它们将诸如uv或蓝光的高能发射转化为具有更长波长的较低能量光。
37.样品
38.在照射光子从照射源被发出之后，它们与样品相互作用。样品不受限制并且可以是任何化学或生物样品，其中相对于大样品，需要知道感兴趣区域的位置。在一些实施例中，样品是生物样品，并且照射光子用于确定肿瘤和周围非肿瘤细胞之间的边界。在一些实施例中，样品是生物样品，并且光子用于确定经受血液限制的组织和经受血液灌注的组织之间的边界。在一些实施例中，样品是生物结构，并且照射光子用于确定一个生物样品和另一生物样品之间的边界。
39.生物样品的示例包括输尿管、神经、血管、淋巴结、健康器官、经受血液限制的器官、经受血液灌注的器官、以及肿瘤。在一些实施例中，生物样品位于活生物体内，即，它是“体内”生物样品。在一些实施例中，样品不位于活生物体内，即，它是“体外”生物样品。在一些实施例中，照射光子用于将生物样品与其他结构区分开。在一些实施例中，照射光子用于将一个生物样品与另一个生物样品区分开。
40.相机芯片
41.本公开预期存在至少一个收集相互作用光子并对其进行成像的相机芯片。在一些实施例中，至少一个相机芯片由它能够成像的光的波长表征。相机芯片可以成像的光的波长不受限制，并且包括紫外(uv)、可见光(vis)、近红外(nir)、可见-近红外(vis-nir)、短波红外(swir)、扩展短波红外(eswir)、近红外扩展短波红外(nir-eswir)。这些分类对应于约180nm至约380nm(uv)、约380nm至约720nm(vis)、约400nm至约1100nm(vis-nir)、约850nm至约1800nm(swir)、约1200nm至约2450nm(eswir)、以及约720nm至约2500nm(nir-eswir)的波长。上述范围可以被单独使用或者与所列范围中的任何范围组合使用。这样的组合包括相邻(连续)范围、重叠范围和不重叠的范围。范围的组合可以通过包括多个相机芯片来达成，每个相机芯片对特定范围敏感，或者通过包括色彩滤波器阵列可以感测多个不同范围的单个相机芯片来实现。
42.在一些实施例中，至少一个相机芯片由其制造材料表征。相机芯片的材料不受限制，并且可以基于相机芯片预期检测的波长范围而被选择。在这样的实施例中，相机芯片包括硅(si)、锗(ge)、砷化铟镓(ingaas)、硅化铂(ptsi)、碲化镉汞(hgcdte)、锑化铟(insb)、胶体量子点(cqd)，或者这些项中的任何项的组合。
43.在一些实施例中，相机芯片被提供有色彩滤波器阵列以产生图像。滤波器阵列的设计不受限制。应当理解，术语“滤波器”在相机芯片的上下文中使用时意指允许参考光通过滤波器。例如，“绿色滤波器”是通过仅允许具有约520nm至约560nm波长的光通过滤波器而对人眼呈现绿色的滤波器，对应于可见色彩绿色。类似的“nir滤波器”仅允许近红外光(nir)通过。在一些实施例中，滤波器是被定位在相机芯片之上的色彩滤波器阵列。这样的色彩滤波器阵列的设计多种多样，但都与原始的“拜耳”滤波器色彩马赛克滤波器有关。色彩滤波器阵列包括bggr、rgbg、grgb、rggb、rgbe、cyym、cygm、rgbw(2
×
2)、rgbw(2
×
2对角线颜色)、rgbw(2
×
2成对颜色)、rgbw(2
×
2垂直w)和x-trans(由日本东京的富士胶片公司出售)。x-trans传感器具有大的6
×
6像素图案，其通过在所有水平线和垂直线中包括rgb区块(tile)来减少莫尔效应伪影。在列表中，b对应于蓝色，g对应于绿色，r对应于红色，e对应于祖母绿，c对应于青色，y对应于黄色，m对应于洋红色。w对应于“白色”或单色区块，这将在下面进一步描述。
44.w或“白色”区块本身包括若干配置。在一些实施例中，w区块不过滤任何光，并且因
此所有光到达相机芯片。在那些实施例中，相机芯片将检测给定波长范围内的所有光。取决于相机芯片，这可以是uv、vis、nir、vis-nir、vis-nir、vis-swir、或vis-eswir。在一些实施例中，w区块是针对vis、vis-nir、nir、或eswir的滤波器，分别仅允许vis、vis-nir、nir、或eswir到达相机芯片。这可以有利地与上面列出的相机芯片材料或电结构中的任何相机芯片材料或电结构组合。这样的滤波器阵列可以是有用的，因为它使得单个相机芯片能够检测可见光和近红外光两者，并且有时也被称为四波段滤波器阵列。
45.在更进一步的实施例中，色彩滤波器阵列被省略并且不与产生单色图像的相机芯片一起被提供。在这样的实施例中，所生成的图像仅基于构成相机芯片的材料的带隙。在其他一些实施例中，滤波器仍然被应用于相机芯片，但仅作为单片的单个滤波器。例如，红色滤波器的应用意指相机芯片生成表示红色光谱的单色图像。在一些实施例中，采用多个相机芯片，每个相机芯片具有不同的单片的单个滤波器相机芯片。作为示例，可以通过组合分别具有r、g和b滤波器的三个相机芯片来生成vis图像。在另一示例中，可以通过组合分别具有r、g、b和nir滤波器的四个相机芯片来产生vis-nir图像。在另一示例中，可以通过组合分别具有r、g、b和eswir色彩滤波器的四个相机芯片来产生vis-eswir图像。
46.在一些实施例中，色彩阵列被省略，并且相机芯片利用被组织成像素网格的垂直堆叠光电二极管。堆叠光电二极管中的每个堆叠光电二极管响应于期望的光波长。例如，堆叠光电二极管相机芯片包括r、g和b层以形成vis图像。在另一实施例中，堆叠光电二极管相机芯片包括r、g、b和nir层以形成vis-nir图像。在另一实施例中，堆叠光电二极管相机芯片包括r、g、b和eswir层以形成vis-eswir图像。
47.图像生成步骤
48.本公开预期，在第一图像生成步骤中通过各种成像技术生成第一图像。在第一图像生成步骤中，光子由上述一个或多个照射源生成，并且光子传播到样品。当光子到达样品时，光子与样品相互作用。由此产生的第一相互作用光子从样品被发射并且传播到至少一个相机芯片。相机芯片由此生成第一图像，该第一图像被传递给处理器。
49.类似地，本公开还预期，在第二图像生成步骤中通过各种成像技术生成第二图像。在第二图像生成步骤中，光子由上述一个或多个照射源生成，并且光子传播到样品。当光子到达样品时，光子与样品相互作用。由此产生的第二相互作用光子从样品中被发射并且传播到至少一个相机芯片。该至少一个相机芯片由此生成第二图像，该第二图像被传递给图像处理器。
50.生成的图像不受限制，并且可以表示uv、rgb、vis-nir、swir、拉曼、nir-eswir或eswir波长的至少一个图像。如本文所使用的，上述光范围对应于约180nm至约380nm(uv)、约380nm至约720nm(vis)、约400nm至约1100nm(vis-nir)、约850nm至约1800nm(swir)、约1200nm至约2450nm(eswir)、以及约720nm至约2500nm(nir-eswir)的波长。在一个实施例中，第一图像是rgb图像并且第二图像是vis-nir图像。
51.图像生成技术不受限制，并且除了上述讨论之外，图像生成包括以下一项或多项：激光诱导击穿光谱(libs)、受激拉曼光谱、相干反斯托克斯拉曼光谱(cars)、弹性散射、光声成像、本征荧光成像、标记荧光成像和超声成像。
52.图像融合
53.由图像处理器融合两个或更多个图像，该两个或更多个图像包括由上述光子与样
品的相互作用生成的至少第一图像和第二图像。如上所述，图像不受限制，并且可以存在多于两个生成的图像。在一个实施例中，第一图像是rgb图像并且第二图像是vis-nir比率图像。然而，这些不是仅有的可能性，并且可以利用波长范围uv、rgb、vis-nir、swir、拉曼、nir-eswir、或eswir的任何两个图像来执行图像融合，在整个本公开中描述了它们的波长。这样的组合可以用于基于上述波长来生成比率图像。
54.在图像融合的一个实施例中，首先得分图像被创建，然后进行检测或分割。为了创建得分图像，使用数学算法来组合rgb和vis-nir图像，以创建得分图像。得分图像显示目标的对比度。例如，在一些实施例中，目标将显示为明亮的“高光”，而背景将显示为暗的“阴影”。用于图像融合的数学算法不受限制，并且算法包括图像加权贝叶斯融合(iwbf)、偏最小二乘判别分析(pls-da)、线性回归、逻辑回归、支持向量机(svm)、相对向量机(rvm)、朴素贝叶斯、线性判别分析(lda)、以及神经网络。
55.当数学算法是iwbf时，加权常数调制来自相应传感器的概率图像进行调制，并且总体目标概率利用图像交叉项的不同组合而被估计。当利用iwbf算法检测多种目标类型时，每种传感器模态针对每种目标类型具有单个权重常数。可以通过各种技术来达成针对每种传感器模态选择每个加权常数。这样的技术包括蒙特卡罗方法、接收器操作特性(roc)曲线、线性回归、神经网络、模糊逻辑、朴素贝叶斯、dempster-shafer理论以及上述的组合。
56.针对单个目标(target)类型的每种传感器模态的权重由以下公式表示：
57.公式1
[0058][0059]
针对多种目标类型的每种传感器模态的权重由以下公式表示：
[0060]
公式2
[0061][0062]
公式3
[0063][0064]
公式4
[0065][0066]
公式5
[0067]
p
target
＝((1-j)
×
w jp
t1
)
×
((1-k)
×
w kp
t2
)
×
((1-l)
×
w lp
t3
)
[0068]
在上述公式1-5中，目标类型由t表示，传感器类型由s表示，传感器数目由n表示，白色图像(灰度仅由1组成)由w表示，每个目标的检测概率是p
t1
、p
t2
和p
t3
，并且用于组合图像的权重是变量a、b、c、d、e、f、g、h、i、j、k和l。
[0069]
所得的融合得分图像或概率图像示出了针对目标的增强对比度，其中较高的像素强度与像素属于目标的较高可能性对应。类似地，低像素强度与像素属于目标的低可能性对应。利用各种计算机视觉和机器学习方法(诸如自适应阈值和主动轮廓)的检测算法被应用于融合得分图像，以检测目标并且找到目标的边界。
[0070]
在一些实施例中，不使用以上等式生成得分图像。相反，检测或分割算法与所有n个图像一起被利用。这样的技术需要多光谱方法，其中多个图像被组装成超立方体。超立方体具有n个图像，并且可以包括以下一项或多项的任何组合：uv、rgb、vis-nir、swir、拉曼、nir-eswir、或eswir。在这样的实施例中，不生成得分图像。而是，分割算法使用所有n个图像，并且由此标识目标。多光谱方法没有特别限制。在一些实施例中，多光谱方法是包括k-均值和均值移位方法中的一个或多个的光谱聚类方法。在其他一些实施例中，多光谱检测或分割方法是基于纹理的方法，其基于使用haralick纹理特征跨光谱带测量的相似纹理将像素分组在一起。
[0071]
在一些实施例中，从来自两个相机的图像生成图像融合。在其他一些实施例中，从三个相机生成图像融合。在使用三个相机生成图像融合的实施例中，第一相机生成形成第一分子化学图像的第一调谐状态，第二相机生成形成第二分子图像的第二调谐状态，并且第三相机生成rgb图像。
[0072]
在包括两个或更多个相机芯片的一些实施例中，基于来自两个或更多个相机芯片中的每个相机芯片的图像生成立体图像。立体图像是有用的，因为它们允许察看者感知图像中的深度，这增加了感知的准确性和真实性。例如，在利用内窥镜执行的手术或其他类似活动期间，立体图像可以有用于操纵器械和执行任务，比利用单镜内窥镜具有更高的安全性和准确性。这是因为只有一个相机芯片位置的单镜内窥镜无法提供深度感知。在一些实施例中，立体图像由至少两个相机芯片形成，并且其中相机芯片相同。在一些实施例中，立体图像由至少两个相机芯片形成，其中相机芯片不同。在上述任一实施例中，相机芯片可以具有相同的色彩滤波器阵列，或者它们可以具有不同的色彩滤波器阵列。在一些实施例中，立体图像由两个不同的相机芯片形成，其中仅一个相机芯片被提供色彩滤波器阵列，并且另一个相机芯片被提供单色滤波器或根本没有滤波器阵列。任何时候，只要提供了多于一个的相机芯片，就可以通过使用每个相机芯片的输出并且将每个相机芯片的输出组合或融合来生成立体图像。
[0073]
在某些实施例中，图像中的一个图像中的照射是不均匀的。这在rgb图像中经常出现，并且在该图像与其他图像融合时可能引起问题。为了避免这些问题，将该图像从rgb颜色空间转换到hsv(色相、饱和度、值)颜色空间。从hsv图像，仅考虑h(hue)和s(saturation)通道，并且不包括v(value)。因此，根据本公开，rgb图像可以被表示为hs图像，备选地被称为hs通道。
[0074]
作为上述vis-nir图像与rgb组合的备选，vis-nir图像可以备选地与hs通道融合。通过该融合，避免了关于不均匀照射的问题，并且由第一样品图像和第二样品图像形成的融合图像示出了针对目标的对比度。对第一样品图像和第二样品图像进行加权通过以下一项或多项被执行：图像加权贝叶斯融合(iwbf)、偏最小二乘判别分析(pls-da)、线性回归、逻辑回归、支持向量机(svm)、相对向量机(rvm)、朴素贝叶斯、神经网络、或者线性判别分析(lda)。
[0075]
在一个实施例中，第一样品图像和第二样品图像的加权通过pls-da被执行，以用于与rgb融合的vis-nir图像或vis-nir图像的二元分类或多类分类。
[0076]
在由图1所示的一个有用的实施例中，描述了用于生成具有检测叠加17的rgb图像的有用方法10。首先，在框11中，样品由双偏振mci设备成像，该设备能够收集uv、rgb、vis-nir、swir、拉曼、nir-eswir、或eswir光，并且在框12中，样品也由可以对rgb光进行成像的相机芯片成像。在框13中，形成得分图像，得分图像和rgb图像的组合被组合以用于后续图像配准。在框14中，将检测算法应用于得分图像，并且在框16中将这些检测算法的输出与叠加检测框15中的rgb和mci配准进行组合，从而在框17中生成包括检测叠加的rgb图像。
[0077]
在由图2所示的另一个有用的实施例中，描述了用于生成具有检测叠加28的rgb图像的有用方法20。首先，在框21中，样品由双偏振mci设备成像，该设备能够收集uv、rgb、vis-nir、swir、拉曼、nir-eswir、或eswir光，并且在框22中，样品也由可以对rgb光进行成像的相机芯片成像。在框23中，形成得分图像，并且将得分图像与rgb图像一起输入，使得在框24中，得分图像上的点可以与场景中的点配准。在框25中，rgb图像也与mci得分图像融合。在完成配准和得分图像的情况下，在框26中，将包括来自mci得分图像和rgb图像的信息的融合图像输入到检测算法。在检测完成的情况下，将具有检测的融合图像输入到框27，在框27中，该融合图像与来自框24的配准图像组合，从而在框28中形成具有检测叠加的rbg图像。
[0078]
示例
[0079]
示例1
[0080]
执行测试以生成融合图像。为了获取融合图像，收集了分子化学图像，并且同时还收集了rgb图像。分子化学图像和rgb图像两者的收集在相同的体内外科手术中被执行。使用内部开发的mci内窥镜收集分子化学图像，并且从收集rgb内窥镜的karl storz内窥镜可得的telescope0
°
nir/icgφ10mm收集rgb图像。
[0081]
利用mci内窥镜收集两个波长图像。为了融合所收集的mci图像和rgb图像，将这两个波长图像数学地组合，以产生针对体内外科手术中的感兴趣目标的比率得分图像。接下来，将mci图像和rgb图像相互配准，以使得mci图像的每个像素与rgb图像中的相同物理位置对应。配准是使用混合方法达成的，该混合方法将基于特征的方法和基于强度的方法组合。基于特征的方法最初被应用于估计mci图像与rgb图像之间的几何变换。这通过匹配kaze特征来达成。kaze是多尺度二维特征检测器和描述符。基于相似度指标和优化器的基于强度的方法用于精化基于特征的方法的结果。通过使用估计的几何变换将mci图像与rgb图像对准，来完成配准。
[0082]
接下来，执行预处理。首先，通过检测mci图像和rgb图像中的每个图像中的眩光来生成眩光掩模。被标识为眩光的像素不被分类。其次，将mci图像和rgb图像归一化，以使得来自两个图像的像素的强度在相等的范围内，并且强度不会影响每个图像模态对融合图像的贡献。
[0083]
在执行预处理之后，执行融合。使用由先前训练步骤生成的经标记的数据，分类器检测属于感兴趣目标的像素。为了执行融合，将rgb图像和mci比率得分图像的三(3)个帧输入到分类器中。在示例中，iwbf是用于找到图像的最优权重的方法，该最优权重将训练集上的预测误差最小化。由iwbf在训练集上确定的权重被应用于图像，并且加权图像由此被数
学地组合以创建融合得分图像。最终的融合得分图像然后被显示，并且示出针对目标与背景相比的增加的对比度。该增加的对比度允许改进从背景检测目标的性能。在一些实施例中，将使用计算机视觉和机器学习方法的检测算法应用于融合得分图像，以定位或确定目标的最终检测。最终检测被叠加到rgb图像上。当用户期望定位以其他方式难以标识的特征时，叠加到rgb图像上的最终检测特别有用。在一个实施例中，用户是期望具有改进的器官可视化的外科医生。
[0084]
示例2
[0085]
采用pls-da来进行二元分类或多类分类，附加测试被执行以生成融合图像。首先，从样品生成rgb图像和vis-nir图像。具体地，生成了8个图像，并且将rgb图像配准到来自神经复杂场景的数据。rgb图像被转换为hsv，其中图像的值(亮度)部分被省略，以避免图像中的不均匀照射。接下来，生成三维超立方体。超立方体的第一维是色调数据，超立方体的第二维是饱和度数据，并且超立方体的第三维是光谱波长。在该示例中，光谱波长是500nm和580nm，该波长对应于神经处方。
[0086]
针对包括肠、脂肪、肌肉和神经的组织类型的场景收集超立方体，并且应用pls-da来判别与彼此不同的组织。表1示出了当pls-da被应用于肠、脂肪、肌肉和神经时的结果。pls-da断定组织不是场景中的组织的任何事件都被标示为误分类。例如，在总共六个场景的表1的第一行中，五个场景在肠样品中正确标识出肠组织，而一个场景在肠样品中标识出脂肪组织，导致16.7％的误分类率。如表1中所示，即使在必须区分出多个类别时，误分类率平均为7.1％。
[0087]
表格1
[0088][0089]
与前面的实验类似，针对包括肠、脂肪、肌肉、神经和输尿管的组织类型的场景收集了附加的超立方体，并且应用pls-da来判别与彼此不同的组织。表2示出了当pls-da被应用于肠、脂肪、肌肉、神经和输尿管时的结果。如表2中所示，包括输尿管没有使2个类别性能降级，维持了100％的准确性。
[0090]
表格2
[0091][0092]
在上面的具体实施方式中，参考了形成本文的一部分的附图。在附图中，类似的符号通常标识类似的部件，除非上下文以其他方式指明。在具体实施方式、附图及权利要求中描述的说明性实施例不意味是限制性的。在不脱离本文呈现的主题的精神或范围下，其他实施例可以被使用，并且可以进行其他改变。将容易理解，如本文一般描述的及附图中图示的，本公开的各种特征可以在各种不同的配置中被布置、代替、组合、分开和设计，所有这些在本文中被明确预期。
[0093]
本公开不受本技术中描述的特定实施例的限制，这些特定实施例旨在作为各种特征的说明。如对本领域技术人员将明显的，可以在不脱离其精神和范围的情况下做出许多修改和变型。除了本文所列举的方法和装置外，根据前面的描述，本公开的范围内的功能等同方法和装置对于本领域技术人员将是明显的。这种修改和变型旨在在所附权利要求的范围内。本公开仅受所附权利要求的条款及这些权利要求所赋予的等同物的全部范围的限制。应当理解，本公开不限于特定的方法、试剂、化合物、组合物或生物系统，它们当然可以变化。还应当理解，本文中使用的术语仅是出于描述特定实施例的目的，而不旨在限制。
[0094]
关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用将复数转换为单数和/或将单数转换为复数。为了清楚起见，本文可以明确地阐述各种单数/复数排列。
[0095]
本领域技术人员应当理解，通常，本文中使用的术语，尤其是所附权利要求中使用的术语(例如，所附权利要求的主体)，通常旨在作为“开放式”术语(例如，术语“包括(including)”应当被解释为“包括但不限于”，术语“具有”应当被解释为“至少具有”，术语“包括(include)”应当被解释为“包括但不限于”等)。虽然用“包括”各种组分或步骤(解释为指“包括但不限于”)描述了各种组合物、方法和设备，但这些组合物、方法和设备也可以“基本上由所述各种组分和步骤组成”或“由所述各种组分和步骤组成”，并且这种术语应当被解释为限定基本上封闭的成员组。本领域技术人员还应当理解，如果意图引入特定数目的权利要求记载，则这种意图将在权利要求书中明确记载，在没有这种记载的情况下，则不存在这种意图。
[0096]
例如，为了帮助理解，下面的所附权利要求可以包含引入性表述“至少一个”和“一个或多个”的使用以引入权利要求记载。然而，这种表述的使用不应当被解释为暗示由不定
冠词“一”或“一个”引入的权利要求记载将任何包含如此引入的权利要求记载的特定权利要求限制为仅包含一个这种记载的实施例，即使当相同权利要求包含引入性表述“一个或多个”或“至少一个”时，并且诸如“一”或“一个”的不定冠词(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或多个”)；对于用来引入权利要求记载的定冠词的使用也是如此。
[0097]
另外，即使明确记载了特定数目的引入的权利要求记载，本领域技术人员也应当认识到，这种记载应当被解释为意指至少所记载的数目(例如，仅表述为“两个记载”，在没有其他修饰语的情况下，意指至少两个记载，或两个或更多个记载)。此外，在其中使用类似于“a、b和c等中的至少一个”的惯例的那些情况下，通常这种结构意图是本领域技术人员理解该惯例的意义(例如，“具有a、b和c中的至少一个的系统”将包括但不限于具有单独a、单独b、单独c、a和b一起、a和c一起、b和c一起，和/或a、b和c一起等的系统)。在其中使用类似于“a、b或c等中的至少一个”的惯例的那些情况下，通常这种结构意图是本领域技术人员理解该惯例的意义(例如，“具有a、b或c中的至少一个的系统”将包括但不限于具有单独a、单独b、单独c、a和b一起、a和c一起、b和c一起，和/或a、b和c一起等的系统)。本领域技术人员还应当理解，提出两个或更多个备选项的实际上任何连接词和/或短语，无论是在说明书、权利要求中还是在附图中，都应当被理解为涵盖包括所述项中的一个、所述项中的任一个，或全部两个项的可能性。例如，表述“a或b”应当被理解为包括“a”或“b”或“a和b”的可能性。
[0098]
另外，在用马库什组描述本公开的特征或方面的情况下，本领域技术人员应当认识到，本公开由此也用马库什组的任何个体成员或成员的亚组来描述。
[0099]
如本领域技术人员应当理解的，出于任何和所有目的，如就提供书面描述而言，本文公开的所有范围还涵盖任何和所有可能的子范围及其子范围的组合。任何列出的范围均可以容易地被视为充分描述并且允许将相同范围分解为至少相等的两个部分、三个部分、四个部分、五个部分、十个部分等。作为非限制性示例，本文讨论的每个范围可以容易地被分解为下三分之一、中间三分之一和上三分之一等。如本领域技术人员还应当理解的，诸如“至多”、“至少”等的所有语言都包括所记载的数目并且指代可以随后如上所述分解为子范围的范围。最后，如本领域技术人员应当理解的，范围包括每个单独的成员。因此，例如，具有1-3个单元的组是指具有1、2或3个单元的组。类似地，具有1-5个单元的组是指具有1、2、3、4或5个单元的组，等等。
[0100]
上文公开的各种以及其他特征和功能或其备选物可以被组合到许多其他不同的系统或应用中。本领域技术人员可以随后做出各种目前无法预见或无法预料的备选、修改、变型或改进，这些备选、修改、变型或改进也旨在由所公开的实施例涵盖。