用于创伤和组织标本的三维成像、测量和显示的系统、方法和设备与流程

用于创伤和组织标本的三维成像、测量和显示的系统、方法和设备
1.相关申请的交叉引证
2.本技术要求于2019年1月17日提交的美国临时专利申请号62/793,837的优先权，其全部内容通过引用并入本文。
技术领域
3.本公开涉及用于共配准多模式图像数据以创建三维表示的系统和方法。
4.引言
5.创伤在广泛的患者人群中较为常见。虽然造成创伤的原因可以是各式各样的(从突发的外伤到更渐进的原因，诸如长期卧床和新陈代谢状况)，但是它们的主要共性和问题之一可以是准确的表征。传统上，创伤的特征仅在于视觉上的，其提供了关于填入创伤基底的细胞的数量和类型的相对较少的信息。即使采用成像设备，所获得的图像也通常是二维的。在评估创伤愈合时，二维图像可以是相当限制性的，因为创伤可以维持相对恒定的平面面积，同时经历深度的显著变化。创伤的经改善的特征将帮助临床医师更好地理解给定治疗是否起作用并且更好地鉴定哪些治疗将对特定创伤具有最大功效。
6.准确地识别肿块切除术或全乳切除(乳房)手术样本上的肿瘤切缘以及相应的手术床仍然是保乳手术中的主要问题。当在手术样品上发现阳性切缘时，确定残留肿瘤组织在手术床中的准确位置也是一项挑战。传统的方法是次优的，并且不在手术室中实时执行。例如，通常，如果手术样品具有阳性切缘，则外科医生通过刮除大体上厚实且横向延伸的组织层来移除手术床中的相应肿瘤以获得阴性切缘。这种不精确的过程降低了保存足够健康的乳腺组织的机会，使得保存工作变得困难。对于其他癌症和手术，例如黑素瘤的去除，存在类似的问题。组织损伤和病理(例如创伤)的表征以及组织的去除通常需要改进的工具和技术以获得更高的精度和准确度。


技术实现要素：

7.本公开可以解决上述问题中的一个或多个和/或可以展示上述期望特征中的一个或多个。其他特征和/或优点可从以下描述中变得清楚明白。
8.根据本公开，提供了一种使用二维图像生成靶标的三维图像的方法。该方法可以包括例如以下步骤。可以生成与一个或多个基准标记相关联的靶区域的三维映射。可以捕获靶区域和基准标记的二维白光图像。可以从二维白光图像和三维映射创建三维白光图像。可以捕获靶区域和基准标记的二维荧光图像。可以从二维荧光图像和三维映射创建三维荧光图像。可以使用基准标记对准三维白光图像和三维荧光图像以形成三维覆盖图像。
9.根据本公开的一个方面，提供了一种成像设备。该成像设备可以包括以下部件中的一个或多个。激发光源可以被配置为发射能够激发荧光团的第一辐射。滤光器可以被配置为防止所反射的激发光通过并允许由荧光团发射的荧光通过。成像透镜可以被配置为聚焦辐射。可见光源可以被配置为发射第二辐射。红外光源可以被配置为发射第三辐射。至少
一个图像传感器可以被配置为检测辐射。处理器可以被配置为接收所检测到的辐射并且输出与所检测到的辐射相关联的数据。该成像设备可以被配置为手持式的。该成像设备可以用于执行在本文描述的任何方法。
10.根据本公开的一个方面，提供了一种成像设备。该成像设备可以包括以下部件中的一个或多个。激发光源可以被配置为发射能够激发荧光团的第一辐射。可以配置滤光器以防止所反射的激发光通过并允许由荧光团发射的荧光通过。成像透镜可以被配置为聚焦辐射。可见光源可以被配置为发射第二辐射。红外光源可以被配置为发射第三辐射。至少一个图像传感器可以被配置为检测辐射。处理器可以被配置为接收所检测到的辐射并且输出与所检测到的辐射相关联的数据。该成像设备可以被配置为手持式。
11.根据本公开的一个方面，提供了一种用于对靶标进行三维基于荧光的成像的系统。该系统可以包括以下部件中的一个或多个、针对成像设备描述的部件中的一个或多个、或两者。至少一个激发光源可以被配置为在荧光成像期间用激发光的均匀场均匀地照射靶标表面。至少一个白光源可被配置为在白光成像期间照射靶标表面。至少一个红外辐射源可以被配置为向靶标表面发射红外辐射。图像传感器可以检测荧光、反射辐射或两者。滤光器可以被配置为允许一光学信号通过滤光器到达图像传感器，该光学信号响应于用激发光照射靶标表面而得并且具有与细菌自发荧光、组织自发荧光和外源诱导荧光中的一者或多者相对应的波长。处理器可被配置为(例如)执行以下各项中的一项或多项。该处理器可以接收响应于用该红外光照射该靶标而得的光学信号，并且基于接收到的响应于用该红外光对照射靶标而得的信号。处理器可生成靶标表面的三维映射。该处理器可以接收响应于用激发光照射该靶标表面而检测到的光学信号并且生成该靶标表面的二维荧光图像。处理器可接收响应于靶标表面的用白光照明的光信号并生成靶标表面的二维白光图像，且处理器可组合三维映射、荧光图像和白光图像以生成靶标表面的三维图像。
12.根据本公开的一个方面，提供了一种与成像设备一起使用的计算机程序产品。该计算机程序产品可以包括非瞬时计算机可读介质。该非瞬时计算机可读介质可以存储用于图像处理的计算机程序代码。该计算机程序代码可由成像设备中的处理器执行以执行本文中所描述的方法中的一个或多个。
13.本公开的另外的目的和优点部分地在下面的描述中阐述，并且部分地将从描述中清楚明白，或者可以通过实践本公开而了解。本公开的目的和优点可以通过在所附权利要求中特别指出的要素和组合来实现。
14.前面的一般描述和下面的详细描述都仅仅是示例性和说明性的，并不限制所要求保护的本公开。
15.并入本说明书并构成本说明书的一部分的附图示出了本公开的一个(多个)实施例，并且与说明书一起用于解释本公开的原理。
附图说明
16.图1是在表面上用荧光素基准标记和在表面正下方注入荧光ppix标记的组织模型的白光照片。该组织模型是用于模拟乳房肿块切除组织样本的一块猪组织。
17.图2a是从第一视角观察的组织模型的三维白光表面图像。
18.图2b是从第二视角观察的组织模型的三维白光表面图像。
19.图3a是从第一视角观察的组织模型加上网格的三维白光表面图像。
20.图3b是从第二视角观察的组织模型加上网格的三维白光表面图像。
21.图4a是从第一视角观察的组织模型的三维网格加白光覆盖图像。
22.图4b是从第二视角观察的组织模型的三维网格加白光覆盖图像。
23.图5a是从第一视角观察的组织模型的原始网格/表面图像。
24.图5b是从第二视角观察的组织模型的原始网格/表面图像。
25.图6a是从第一视角观察的组织模型的三维荧光表面图像。
26.图6b是从第二视角观察的组织模型的三维荧光表面图像。
27.图7a是从第一视角观察的组织模型加上网格的三维荧光表面图像。
28.图7b是从第二视角观察的组织模型加上网格的三维荧光表面图像。
29.图8a是从第一视角观察的组织模型的三维网格加荧光覆盖图像。
30.图8b是从第二视角观察的组织模型的三维网格加荧光覆盖图像。
31.图9a是从第一视角观察的组织模型的原始网格/表面图像。
32.图9b是从第二视角观察的组织模型的原始网格/表面图像。
33.图10a是具有覆盖在荧光基准上的ct基准的组织模型的第一视图。
34.图10b是具有覆盖在荧光基准上的ct基准的组织模型的第二视图。
35.图11a是从第一视角观察的组织模型的锥形束ct三维体积重建。
36.图11b是从第一视角观察的组织模型的荧光三维呈现。
37.图11c是从第一视角观察的组织模型的共配准的ct加荧光图像。
38.图12a是从第二视角观察的组织模型的锥形束ct三维体积重建。
39.图12b是从第二视角观察的组织模型的荧光三维图像。
40.图12c是从第二视角观察的组织模型的共配准的ct加荧光图像。
41.图13a是从第三视角观察的组织模型的锥形束ct三维体积重建。
42.图13b是从第一视角观察的组织模型的荧光三维呈现。
43.图13c是从第三视角观察的组织模型的共配准的ct加荧光图像。
44.图14a是从第四视角观察的组织模型的锥形束ct三维体积重建。
45.图14b是从第四视角观察的组织模型的荧光三维呈现。
46.图14c是从第四视角观察的组织模型的共配准的ct加荧光图像。
47.图15a是在从具有与人皮肤类似的皮肤的猪肩部准备期间肿瘤模型的第二组织模型的第一图像。
48.图15b是准备期间肿瘤模型的第二组织模型的第二图像。
49.图16是示出模型ppix肿瘤的第二组织模型的图像，并且荧光素基准标记也可见。
50.图17a是暴露于紫光以激发荧光的第二组织模型的透视图的图像。
51.图17b是暴露于紫光以激发荧光的第二组织模型的发射图像的平面图的图像。
52.图18a是从第一视角观察的第二组织模型的三维白光表面图像。
53.图18b是从第二视角观察的第二组织模型的三维白光表面图像。
54.图19a是从第一视角观察的第二组织模型加上网格的三维白光表面图像。
55.图19b是从第二视角观察的第二组织模型加上网格的三维白光表面图像。
56.图20a是从第一视角观察的第二组织模型的三维网格加白光覆盖图像。
57.图20b是从第二视角观察的第二组织模型的三维网格加白光覆盖图像。
58.图21a是从第一视角观察的第二组织模型的原始网格/表面图像。
59.图21b是从第二视角观察的第二组织模型的原始网格/表面图像。
60.图22a是从第一视角观察的第二组织模型的三维荧光表面图像。
61.图22b是从第二视角观察的第二组织模型的三维荧光表面图像。
62.图23a是从第一视角观察的第二组织模型加上网格的三维荧光表面图像。
63.图23b是从第二视角观察的第二组织模型加上网格的三维荧光表面图像。
64.图24a是从第一视角观察的第二组织模型的三维网格加荧光覆盖图像。
65.图24b是从第二视角观察的第二组织模型的三维网格加荧光覆盖图像。
66.图25a是从第一视角观察的第二组织模型的原始网格/表面图像。
67.图25b是从第二视角观察的第二组织模型的原始网格/表面图像。
68.图26a是在准备期间用于创伤模型的第三组织模型的第一图像。
69.图26b是在准备期间用于创伤模型的第三组织模型的第二图像。
70.图26c是在准备期间用于创伤模型的第三组织模型的第三图像，该第三图像描绘了涂有ppix以模拟创伤中细菌的存在的深创伤。
71.图26d是在准备期间用于创伤模型的第三组织模型的第四图像，该第四图像描绘了深创伤和浅创伤以及荧光素基准标记。
72.图27a是从第一视角观察的第三组织模型的三维白光表面图像。
73.图27b是从第二视角观察的第三组织模型的三维白光表面图像。
74.图28a是从第一视角观察的第三组织模型加上网格的三维白光表面图像。
75.图28b是从第二视角观察的第三组织模型加上网格的三维白光表面图像。
76.图29a是从第一视角观察的第三组织模型的三维网格加白光覆盖图像。
77.图29b是从第二视角观察的第三组织模型的三维网格加白光覆盖图像。
78.图30a是从第一视角观察的第三组织模型的原始网格/表面图像。
79.图30b是从第二视角观察的第三组织模型的原始网格/表面图像。
80.图31a是从第一视角观察的第三组织模型的三维荧光表面图像。
81.图31b是从第二视角观察的第三组织模型的三维荧光表面图像。
82.图32a是从第一视角观察的第三组织模型加上网格的三维荧光表面图像。
83.图32b是从第二视角观察的第三组织模型加上网格的三维荧光表面图像。
84.图33a是从第一视角观察的第三组织模型的三维网格加荧光覆盖图像。
85.图33b是从第二视角观察的第三组织模型的三维网格加荧光覆盖图像。
86.图34a是从第一视角观察的第三组织模型的原始网格/表面图像。
87.图34b是从第二视角观察的第三组织模型的原始网格/表面图像。
88.图35a是用锥形束ct扫描的ct基准标记准备第三组织模型的图像。
89.图35b是第三组织模型的锥形束ct扫描图像。
90.图35c是为锥形束ct扫描准备的第三组织模型的图像。
91.图35d是经历锥形束ct扫描的第三组织模型的图像。
92.图36a是用与用于ct扫描的荧光素基准在空间上共配准的ct基准准备的第三组织模型的图像。
93.图36b是经受ct扫描的第三组织模型的图像。
94.图37是根据本公开测量的创伤拓扑的照片。
95.图38是描绘本公开的方法的流程图。
96.图39是描绘本公开的方法的流程图。
97.图40是描绘本公开的方法的流程图。
98.图41是描绘本公开的方法的流程图。
具体实施方式
99.本公开能够创建物体的三维图像，该三维图像有助于用户更好地表征和理解该物体以实现先前不可能实现的目标或者比先前更有效地实现这些目标。可以以帮助用户可视化问题从而更容易地找到解决方案的方式来组合携带唯一信息的图像类型。当被放置在白光图像的直接环境中时，携带关于感染的或癌变的组织的位置的信息的荧光图像可以通过在更熟悉的环境中向外科医生显示由荧光携带的信息来帮助外科医生更准确地移除受影响的组织并且最小化再次操作的需要。此外，这些图像可以从二维图像转换为三维图像用于叠加以在模型环境中引导用户更好地逼近实际对象。通过将二维图像缠绕在对象的三维映射周围，可以将二维图像转换为三维图像。该三维映射可以采取许多形式(例如，网格)，并且可以使用多种不同的技术，例如，使用红外辐射及其与该物体的相互作用来生成。
100.虽然待成像的对象可以是生物靶标的靶区域，但是被可视化的对象绝不限于医学环境。相反，本公开的方法、设备、系统和程序在广泛的技术领域中具有适用性，在这些技术领域，例如，在食品安全、卫生处理、安全、化妆品、农业、园艺、医学领域、农业、兽医领域、边境习俗、质量控制和法医领域中，由荧光提供的信息是相关的。图像可以包含单个图像、连续图像集、不连续图像集、来自共同视角(角度)的图像集、来自不同视角(角度)的图像集、使用相同成像技术的图像集、使用不同成像技术的图像集、时间推移图像集和视频中的一个或多个。视频可以包括一组或多组图像。
101.根据本公开，提供了一种使用二维图像生成靶标的三维图像的方法。该方法可以包括例如以下内容。可以生成与一个或多个基准标记相关联的靶区域的三维映射。可以捕获靶区域和基准标记的二维白光图像。该白光图像可以用构成可见光波长的子集的单个波长或多个波长的组合来替代。可以从二维白光图像和三维映射创建三维白光图像。可以捕获靶区域和基准标记的二维荧光图像。可以从二维荧光图像和三维映射创建三维荧光图像。可以使用基准标记对准三维白光图像和三维荧光图像以形成三维叠加图像。在图38中示出了表示为510、520、530、540、550和560的这些步骤的示例。步骤的顺序可以变化。可以叠加二维图像，然后使用三维映射将二维图像一起变成三维叠加图像。该三维映射可以是网格的形式。
102.可以使用任何适用的技术来执行捕获靶区域和基准标记的二维荧光图像。例如，捕获可以包括用激发光照射靶区域和基准标记，以及接收响应于用激发光照射靶区域而得的至少一个荧光发射。在图39中示出了表示为542和544的这些步骤的示例。激发光可以包括一个或多个波长。例如，激发光可以在约400nm和约450nm之间。约为405nm的波长是这样的示例。捕获靶区域和基准标记的二维荧光图像可以包括捕获至少一种荧光分子的发射。该至少一种荧光分子可以包括能够发荧光的内源分子。至少一种荧光分子可以包括能够由
外源分子诱导发荧光的内源分子。可以例如通过内源分子的积累或修饰或这两者来实现诱导。至少一种荧光分子可以包括能够发荧光的外源分子、包括能够发荧光的外源添加部分的分子，或两者。例如，至少一种荧光分子可以包括氨基乙酰丙酸(ala)诱导的卟啉。
103.可以使用任何适当的技术或技术的组合来生成三维映射。例如，可以使用红外光生成三维映射。可以使用近红外光生成三维映射。例如，生成三维映射可以包括将红外辐射投射到靶区域处、接收由靶区域反射的红外辐射、以及基于所反射的红外辐射来测量靶区域的深度以生成三维映射。在图40中描绘了被指定为512、514和516的这些步骤的示例。红外辐射可以被投射为分成光图案的光束。所反射的红外辐射可以包括光图案的失真，并且可以基于光图案的失真来测量深度。光图案可由衍射光栅形成。光图案可以包括任何尺寸、形状或强度或其组合的多个点。可以使用测量深度的替代方法。例如，可以通过基于投射的红外辐射与所反射的红外辐射之间的相移的飞行时间来测量深度。
104.根据本公开，可以执行以下步骤。可以将一个或多个基准标记放置在生物靶标的表面上的靶区域的周边的内部、沿着周边和/或外部。通过将红外辐射投射在靶区域处、接收靶区域所反射的红外辐射，并基于所反射的红外辐射来测量靶区域的深度以生成三维映射，可以生成靶区域的三维映射。可以捕获附有一个或多个基准标记的靶区域的二维白光图像。可用单个波长的光或构成可见光波长的子集的光波长的组合来替代或生成白光图像。可以从二维白光图像和三维映射创建三维白光图像。可以捕获靶区域和一个或多个基准标记的二维荧光图像。荧光二维图像捕获可以包括将靶区域和一个或多个基准标记物暴露于能够激发靶区域中的至少一种荧光分子的至少一种波长、以及通过滤光器接收来自靶区域中的至少一种荧光分子的至少一种荧光发射。可以从二维荧光图像和三维映射创建三维荧光图像。可以使用一个或多个基准标记来对准三维白光图像和三维荧光图像以形成三维叠加图像。步骤的顺序可以变化。可以叠加二维图像，然后使用三维映射将二维图像一起变成三维叠加图像。该三维映射可以是网格的形式。
105.可使用任何合适的相机、成像设备或图像传感器来捕获二维白光图像、二维荧光图像或本文所描述的任何其他图像类型。例如，可从加拿大安大略省多伦多的摩勒莱特公司(moleculight inc.)获得的包含5百万像素相机的moleculight i:x成像设备以405nm发射，并且分别包括500nm至545nm和600nm至665nm的荧光发射滤光器。可以使用在美国专利号9,042,967中描述的成像设备和相关方法，该专利通过引用整体并入本文。或者，在以下中公开的设备中的一者可以用于捕获白光图像和/或荧光图像：在2018年2月2日提交的标题为“用于肿瘤可视化和去除肿瘤的设备、系统和方法”的美国临时专利申请号62/625,967、在2018年2月3日提交的标题为“用于肿瘤可视化的设备、系统和方法”的美国临时专利申请号62/625,983、和/或于2019年2月1日提交的标题为“用于肿瘤可视化和移除的设备、系统和方法”并于2019年8月8日公布为wo 2019/148,268的pct/ca 2019/000015，其各自内容通过引用整体并入本文。
106.电荷耦合显示器(ccd)、互补金属氧化物半导体(cmos)、n型金属氧化物半导体(nmos)、量子图像传感器(qiq)或其他图像传感器或其组合可用于捕获二维白光图像、二维荧光图像或本文所述的任何其他类型的图像。可以使用人工和/或天然环境光、一个或多个专用光源或其组合来捕获图像。例如，可以使用闪光摄影来捕获图像。
107.白光源可以是全谱或部分谱可见光。例如，白光谱可以为约380nm至约740nm、约
400nm至约700nm、约425nm至约690nm、约450nm至约680nm，或其任何中间范围。白光光源可以直接生成或最初作为白光生成、由不同波长的光源形成、限定波长或波长范围的光源(例如，使用量子点(qdots))移动到多个波长或更宽的波长谱或其任意组合形成。白色图像可以用不同类型的图像代替或补充，例如，单色图像、红外图像或紫外图像或其任何组合。
108.可以使用任何适当的技术、设备或其组合来生成、投射和接收红外辐射。可以将红外辐射作为分束投影成光图案，所反射的红外辐射可以包括光图案的失真，并且可以基于光图案的失真来测量深度。因此，红外辐射可以包括结构光。光图案可由衍射光栅形成，该光图案可包括多个点。该深度测量可以使用三角测量来确定。上述红外深度成像可用于微软体感i(microsoft kinect i)系统(华盛顿州雷蒙德微软公司)。可以附加地或替代地使用非结构化红外辐射来结构化红外辐射。例如基于投射的红外辐射与所反射的红外辐射之间的相移，可以另外地或可替代地由一个或多个飞行时间(tof)传感器来测量该深度。这种类型的红外深度成像可用于微软体感ii(microsoft kinect ii)系统。可以使用任何合适的红外相机、传感器或成像设备或其组合。
109.该投射的和/或所反射的红外辐射可以是约700nm至约1.0mm、约750nm至约1.0μm、约1.0μm至约1.25μm、约1.25μm至约1.5μm、约1.5μm至约5.0μm、约5.0μm至约15.0μm、约15.0μm至约50μm、约50μm至约150μm、约150μm至约250μm、约250μm至约500μm、约500μm至约750μm、或约750μm至约1.0mm、或其中间范围、或其组合。红外成像可以在近红外(例如，大约0.75μm到大约1.4μm、短波长红外(例如，大约1.4μm到大约3.0μm)、中等波长红外(例如，大约3.0μm到大约8.0μm)、长波长红外线(例如，大约8.0μm到大约15μm、远(非常长波长)红外线(例如，大约8.0μm到大约1.0mm)、或其任何组合。
110.用于本公开的白光源、荧光激发光源、红外光源或任何其他相关光源可以是任何适当的设计或设计的组合。该光源可以是相干的或非相干的、准直的或非准直的、聚焦的或非聚焦的、偏振的或非偏振的、或它们的任何组合。可以使用小于约1度、约1度至约5度、约5度至约15度、约15度至约25度、约25度至约35度、约35度至约50度、约50度至约75度、约75度至约90度、约90度至约120度、约120度至约150度，以及约150度至约180度的光束角度作为白光或其他光源。可以使用一个或多个激光器和/或发光二极管(led)。烛光、热、电弧、白炽、荧光、基于半导体、钠蒸气或汞蒸气或其任何组合或数量可用作光源。可以使用单个或多个光源。可以使用光源阵列。
111.光源到待成像和/或测量的目标的距离例如可以是从靶区域起约1.0mm至约10m、约0.5cm至约5.0m、约1.0cm至约2.5m、约2.5cm至约1.0m、约5.0cm至约0.5m、约10.0cm至约0.25m、或约25cm至约100cm、或其任何中间距离、或其任何组合。可以使用任何数量或类型的光源。光源可以是固定的也可以是移动的。光源可以集成到容纳相机、检测器或其他成像设备的同一设备中，和/或可以在这种设备的外部。光源可位于靶区域或靶标体积的内部或外部。该一个或多个光源可以被铰接(例如，手动地)以例如通过使用内置枢轴来改变成像表面上的照明角度和光斑尺寸，并且可以例如通过到墙壁插座和/或单独的便携式可再充电电池组的电连接来供电。
112.荧光激发波长可与成像所针对的一种或多种荧光团的发射波长匹配。例如，激发波长可以为约300nm至约325nm、约325nm至约350nm、约350nm至约375nm、约375nm至约400nm、约400nm至约425nm、约425nm至约450nm、约450nm至约475nm、约475nm至约500nm、约
500nm至约525nm、约525nm至约550nm、约550nm至约575nm、575nm至约600nm、约600nm至约625nm、约625nm至约650nm、约675nm至约700nm、约750nm至约775nm、约775nm至约800nm、约800nm约至825nm、约825nm至约850nm、约850nm至约875nm、约875nm至约900nm、或约900nm至约1.0mm、或其任何中间或重叠范围、或其任何组合。
113.该至少一种荧光激发波长例如可以包括405nm的波长，具有约0.0nm、约0.01nm至约0.05nm、约0.5nm至约1.0nm、约1.0nm至约2.5nm、约2.5nm至约7.5nm、约10nm至约25nm、或约15nm至约30nm的扩展范围、或中间扩展范围、或它们的组合。成像设备可以使用例如两个紫/蓝光(例如405nm /
‑
10nm发射，窄发射光谱)led阵列(加尼福利亚的纽贝利公园的光电二极管公司(opto diode corporation))，每个位于成像检测器组件的任一侧上作为激发光源或照明光源。这些阵列例如各自具有从2.5
×
2.5cm2光源以70度照明光束角发出的具有约1瓦的输出功率。led阵列可用于约10cm的距离照射组织表面，这意味着皮肤表面上的总光功率密度可为约0.08w/cm2。
114.由这些光源生成的光信号可以通过该成像设备使用一个或多个滤光器来检测，这些滤光器拒绝该激发光但允许检测来自该组织的选定波长的发射光，由此在该显示器上形成图像。可在数字相机镜头或其他图像检测器或传感器之前选择并对准带通滤光器，以基于所需光波长选择性地检测来自靶标的特定光信号。检测到的光学信号的光谱滤波(例如，吸收、荧光，和/或反射)也可以使用液晶可调谐滤光器(lctf)，或者可以是固态电子可调谐光谱带通滤光器的声光可调谐滤光器(aotf)。光谱滤波还可涉及使用连续可变滤光器和/或手动带通滤光器。这些设备可以放置在成像检测器的前方以生成靶区域的多光谱、高光谱和/或波长选择性成像。
115.可以将光学或可变取向的偏振滤光器(例如，与光波片的使用相结合的线性或圆形偏振滤光器)附接到一个或多个光源和/或成像设备、传感器或相机。这些滤光器可以允许用偏振光照射和非偏振光检测成像，或反之亦然，或偏振光照射和偏振光检测，用白光反射和/或荧光成像。
116.primesense相机(可从加利福尼亚库比蒂诺的苹果(apple)公司获得的技术)、其部件或能够三维成像的其他传感器可用于本发明的技术中。primesense包含carmine 1.08传感器、carmine 1.09(短程)传感器和capri1.25(嵌入式)传感器。深度获取采用光编码技术。可以使用近红外光来扫描场景。可以向外朝靶区域发射红外点图案。当光与靶区域接触时，可以使光失真，并且可以通过相机或其他传感器(包含例如cmos图像传感器)来测量这种失真。红外相机传感器对靶标上的点图案成像，同时白光rgb相机(与红外相机相邻)捕获靶标的规则白光图像。cmos图像传感器与可视视频传感器一起工作，以生成由primesense系统芯片(soc)的carmine(ps1080)和capri(ps1200)传感器提供的深度图，该深度图可以与彩色图像合并。
117.作为示例，primesense设备向外朝靶标发射(肉眼不可见的)红外点图案。红外相机传感器对靶标上的点图案成像，同时白光rgb相机(与红外相机相邻)捕获靶标的规则白光图像。嵌入式软件从靶标拓扑的红外点图案创建“网格”。然后使用图像(变换函数)变形软件代码将白光图像包装到该网格拓扑。结果是可以从二维转换到三维的白光图像。用于运行此处理的软件可以是被称为openni的开源软件开发工具包(sdk)。可以使用任何适当的软件，例如openkinect或microsoft kinect software development kit。也可以使用
meshlab创建和操纵网格或点云。
118.根据本公开，彩色图像可以替代地或附加地为荧光图像。可以执行共配准处理以对准彩色图像(rgb)和深度(d)信息。可以解密光编码红外图案以生成靶区域的vga尺寸的深度图像。primesense相机包含嵌入式图像处理软件。可以使用附加的或可选的软件。例如，可以使用被称为openni的开源sdk。嵌入式软件从靶标拓扑的红外点图案创建“网格”。然后使用图像(变换函数)变形软件代码将白光图像包装到该网格拓扑。结果是可以从二维转换到三维的白光图像。primesense相机可以通过usb2.0接口同步传送可视视频、深度和音频信息。可以使用可从asus computer international(加利福尼亚弗里蒙特)获得的xition pro live相机(包含红外点投影仪、rgb相机和红外相机)来代替primesense相机或作为其补充。可以使用在美国专利申请号2017/0054966中描述的相机/传感器/投影仪系统，其全部内容通过引用并入本文。作为深度测量的基于结构光的红外成像的替代或补充，可以使用飞行时间红外成像来获得靶区域的三维坐标信息。
119.在成像之前，可信赖的标记(例如，使用不可消除的荧光墨笔)可以靠近生物靶标切缘或周界地放置在皮肤的表面上、或其他相关表面上。例如，四个斑点(每个斑点具有来自单独的不可消除的荧光墨水笔的不同荧光墨水颜色)可以作为试剂盒提供给临床操作者，可以放置在正常皮肤表面上的靶区域切缘或边界附近。可以通过设备使用激发光和匹配四个墨点的发射波长的多光谱波段滤光器来对这些颜色成像。然后可以通过共配准用于图像间对准的基准标记来执行图像分析。该技术可以促进靶区域的纵向、时间序列成像，并且临床操作者因此可以随着时间对靶区域进行成像，而不需要在每次图像采集期间对准成像设备。
120.为了帮助荧光图像的强度校准，在靶区域成像期间可以(例如，通过使用将条带临时粘附到皮肤的温和粘合剂)将一次性简单的荧光标准
‘
条带’放置到视场中。该条带可以用一种或几种不同浓度的不同荧光染料浸渍，该条带在由激发光源照射时可以生成预定的和校准的荧光强度，其可以具有用于图像强度校准的单个(例如405nm)或多个荧光发射波长或波长带。一次性条带还可以具有来自单独的不可擦除荧光墨水笔的如上所述的四个斑点(例如，每个具有不同的直径或尺寸，并且每个具有不同的荧光墨水颜色，其中独特的黑点放置在其旁边)。当条带放置在正常皮肤表面上的靶区域切缘或边界附近时，设备可用于拍摄白光和荧光图像。该条带可以提供一种方便的方式来随时间采集给定靶区域的多个图像并且然后使用图像分析来对齐这些图像。荧光“强度校准”条带还可以包括附加的线性测量设备(诸如固定长度的尺子)，以帮助靶区域的空间距离测量。这样的条带可以是校准靶标的示例，校准靶标可以与该设备一起使用以辅助图像参数(例如，靶区域尺寸、荧光强度等)的校准或测量。可以额外地或可替代地使用其他类似的或功能上等效的校准靶标。
121.一个或多个基准标记可包括荧光基准标记。例如，荧光基准标记可以包括荧光素。该至少一种荧光分子可包括能够发荧光的内源分子、能够发荧光的外源性分子或两者。至少一种荧光分子可以包括能够由外源分子诱导发荧光的内源分子。可以例如通过内源分子的积累或修饰或这两者来实现诱导。至少一种荧光分子可包括能够发荧光的外源分子或包含能够发荧光的外源添加部分的分子。在一个示例中，吲哚菁绿(icg)可在约760nm、约780nm或两者下被激发。包括约657nm到约825nm的陷波的滤光器可用于760nm激发。包括约690nm和约840nm的陷波的滤光器可用于780nm激发。
122.本文所述的技术可检测部分、大部分或基本上全部组织自体荧光(af)。例如，使用多光谱带通滤光器，可以测量从各种组织生物分子发出的组织自发荧光、以及血液相关的光学吸收，例如在405nm激发下：胶原蛋白(i、ii、iii、iv、v型和其他类型)，呈现绿色；弹性蛋白，呈现黄绿色；还原的烟酰胺腺嘌呤二核苷酸(nadh)、黄素腺嘌呤二核苷酸(fad)，发射蓝绿色自发荧光信号；以及细菌/微生物，大部分可以宽泛呈现(例如，绿色和红色)自发荧光发射。图像分析可以包含计算图像中红色对绿色af的比率。可以从靶区域图像内的关注区域获得强度计算。可以将伪彩色图像映射到靶区域的白光图像上。
123.本公开的技术可与外源性“前体药物”剂(包含但不限于ala)结合使用，以增加细菌/微生物中卟啉的内源性生成，并由此增加从这些细菌发出的独特“卟啉”荧光信号的强度，从而改善设备的检测灵敏度和特异性。因此，该技术可用于方便地对细菌中、培养物中或患者创伤中生长的光敏剂诱导的荧光(例如ppix)成像，以用于随后的图像引导的靶向擦拭/活组织检查或治疗(例如使用光动力学疗法(pdt)或高压氧疗法(hot))。当与例如可消耗的市售荧光造影剂一起使用时，该技术可增加用于在靶区域中和靶区域周围灵敏检测细菌的信号
‑
背景。
124.该至少一种荧光分子可包括诱导的内源性荧光分子，例如氨基乙酰丙酸(ala)诱导的卟啉。可以将ala局部施用于靶区域，并且可以在1至3小时后进行成像以增强靶区域细菌的红色荧光。前药氨基乙酰丙酸(ala)在几乎所有活细胞中诱导卟啉形成。许多暴露于ala的细菌物种能够诱导原卟啉ix(ppix)荧光。使用超低剂量的ala可以诱导细菌中的ppix形成并且因此可以增加红色荧光发射，这可以增强用设备成像的细菌的红色至绿色荧光对比度。ala本身是无荧光的，但ppix在约630nm、680和710nm处是荧光的，在630nm处发射最强。然后，成像设备可用于对来自靶区域和周围组织的绿色和红色荧光进行成像。
125.临床操作者可以将ala(通常以冻干形式商购)与生理盐水或其他类型的商购乳膏/软膏/水凝胶/敷料等以给定剂量预混合，并通过喷雾、灌注或在成像前小心将药物施用于靶区以局部施用药物。大约10分钟至30分钟后，尽管该时间可以变化，但是可以在暗淡照明或暗室中进行荧光成像。在白光下的细菌自荧光可能弱，可以在靶区域中和周围表现为亮红色荧光区域。荧光图像可以用于基于独特的细菌荧光信号来引导用于细菌培养的靶区域的靶向擦拭、活检和/或细针抽吸。对于浅层和深层创伤，可以在不同的深度进行该处理。
126.合适的外源光学分子靶向探针可以使用可商购的荧光标记试剂盒制备，例如alexa fluor活性酯和用于标记蛋白质、单克隆抗体、核酸和寡核苷酸(invitrogen)的试剂盒(例如zenon抗体标记试剂盒和/或enzchek蛋白酶测定试剂盒，invitrogen)。例如，这些荧光染料生物缀合物涵盖以下波长范围：alexa fluor 350、alexa fluor 405、alexa fluor 430、alexa fluor 488、alexa fluor 500、alexa fluor 514、alexa fluor 532、alexa fluor 546、alexa fluor 555、alexa fluor 568、alexa fluor 594、alexa fluor 610、alexa fluor 633、alexa fluor 635、alexa fluor 647、alexa fluor 660、alexa fluor 680、alexa fluor 700and alexa fluor 750染料，其中，这些数字是指染料的激发波长。这些试剂盒可以提供良好区分的荧光发射光谱，基于用成像设备适当选择荧光发射滤光器，提供多色荧光检测和荧光共振能量转移的许多选择。荧光染料在常用激发源最大输出波长处具有较高的吸光度。它们可以是明亮且异常光稳定的，以帮助获得它们的生物缀合物的荧光。染料可提供良好的水溶性以便于临床检查室内的缀合，并提供所得缀合物
对沉淀和聚集的抗性。因为创伤ph可以变化，染料的荧光光谱可以在宽范围内对ph不敏感，这使得它们对于创伤成像特别有用。此外，存在其他商业或非商业荧光剂，其可适于创伤的生物成像，并可与所述装置组合，包括例如来自visen medical(美国马萨诸塞州波士顿)的荧光血液汇集剂和各种创伤酶或蛋白酶激活探针。
127.这些靶向荧光生物缀合物可以在使用成像设备以荧光模式临床检查靶区域之前使用这样的标记试剂盒进行准备。它们可以储存在不透光的容器中以避免光漂白。这样的荧光生物缀合物可以在使用设备对靶区域进行荧光成像之前以已知且合适的浓度在溶液中进行准备，然后通过一种或多种方式直接施用/施用至靶区域，例如局部(例如经由气雾剂或喷雾剂)、口服(例如经由饮剂或灌洗)或全身(例如经由静脉内注射)。这些染料可根据靶向部分针对特定生物组分，并且可包括例如细菌、真菌、酵母、孢子、病毒、微生物、寄生虫、渗出物、ph、血管、还原型烟酰胺腺嘌呤二核苷酸(nadh)、黄素腺嘌呤二核苷酸(fad)、微生物、特定类型的结缔组织(例如胶原、弹性蛋白)、组织组分、血管内皮生长因子(vegf)、内皮生长因子(egf)、上皮生长因子、上皮细胞膜抗原(ecma)、缺氧诱导因子(hif
‑
1)、碳酸酐酶ix(caix)、层粘连蛋白、纤维蛋白、纤连蛋白细胞、成纤维细胞生长因子、转化生长因子(tgf)、成纤维细胞激活蛋白(fap)、酶(例如胱天蛋白酶、基质金属蛋白酶(mmp)等)、kg蛋白酶的组织抑制剂(例如timp)、一氧化氮合酶(nos)、诱导型和内皮nos、细胞溶酶体、巨噬细胞、淋巴细胞、肝细胞生长因子(hgf)、抗神经肽酶、中性内肽酶(nep)、粒细胞集落刺激因子(gm
‑
巨噬细胞、角质细胞、巨噬细胞、角质细胞、炎症因子(csf)、角质细胞(2)的一种或多种，巨噬细胞炎性蛋白
‑
2(mip
‑
2)、巨噬细胞化学引诱蛋白
‑
1(mcp
‑
1)、多形核嗜中性粒细胞(pmn)和巨噬细胞、肌成纤维细胞、白介素
‑
1(il
‑
1)和肿瘤坏死因子(tnf)、一氧化氮(no)(calbiochem的试剂盒，daf
‑
2da型)、c
‑
myc、β
‑
连环蛋白和来自骨髓的循环内皮祖细胞(epc)。外源光学剂可以包含例如一种或多种激活的分子信标(例如，靶向分子信标)、具有荧光剂(例如，在表面上标记的和/或含有或携带荧光剂)的纳米颗粒、以及散射或吸收纳米颗粒(例如，金、银等)。
128.可商购获得的有机荧光团的性质取决于氢离子浓度，因此可用作测量ph的探针，并且它们通常具有ph敏感性uv/可见光吸收性质。用于细胞内研究的市售ph敏感性荧光染料可在酸性介质中提供降低的荧光信号，或者染料的pka可在5至8个ph单位的细胞内ph窗口之外。然而，其他ph敏感性荧光剂通过增加它们的荧光强度来响应。例如，英杰分子探针(invitrogen molecular probes)(赛默飞世尔科技(thermo fisher scientific))提供了多种荧光ph指示剂、它们的缀合物和其他试剂用于生物系统中的ph测量。其中有几种具有独特光学响应和特定定位特征的探针：例如，可见光
‑
激发的snarf ph指示剂使研究人员能够使用双发射或双激发比率计量技术来确定生理范围内的细胞内ph，从而为共焦激光扫描显微术和流式细胞术提供有用的工具。溶酶传感器探针以及基于食欲素绿荧光团(oregon green fluorophere)的指示剂可用于估计细胞的酸性细胞器中的ph。还可以使用与葡聚糖偶联的荧光ph指示剂。在装入细胞后，指示剂右旋糖酐可被很好地保留。在使用设备对靶区域进行荧光成像之前，可以预先以已知和适当的浓度在溶液中制备这样的荧光剂，然后通过一种或多种方式直接施用/施加至靶区域和周围正常组织，例如，局部(例如，通过气溶胶或喷雾)、口服(例如，通过饮料或灌洗)或全身(例如，通过静脉内注射)。
129.靶区域可以包括至少一种创伤。创伤可以是任何类型的创伤。例如，创伤可以包括
擦伤、撕裂伤、刺伤、撕脱、碰伤、挫伤、咬伤、烧伤、皮疹、冻伤、疖、痣、丘疹、囊肿、溃疡(例如糖尿病性溃疡)、褥疮或其任何组合。创伤可以是深的或浅的。创伤可以在皮肤上或皮肤内、或者在内膜上或内膜内。创伤可以包括表皮、真皮或皮下组织或其任何组合。创伤可感染或未感染。受感染的创伤可以被任何种类、数量或组合的生物体感染。感染可以包括一种或多种细菌、一种或多种真菌、一种或多种原生动物、或一种或多种病毒、或其任何组合。该生物体可以是单细胞、多细胞或非细胞的。
130.方法可以还包括确定该创伤的表面积和体积中的一者或两者。该确定可以执行任何适当的次数。例如，该方法可以执行至少两次，两次执行包括由选定时段分隔的第一次执行和第二次执行，该选定时段例如至少一个小时、至少三个小时、至少一天、至少一周、至少一个月等。执行之间的间隔例如可以是1分钟至约10分钟、约5分钟至约30分钟、约30分钟至约3小时、约一小时至约六小时、约六小时至约12小时、约12小时至约一天、约一天至约两天、约两天至约一周、约一周至约两周、约两周至约一个月、约一个月至约六周、约六周至约三个月、约三个月至约六个月、或约六个月至约一年、或任何中间或重叠的时间段、或它们的组合。可以执行非常短(小于一秒)的间隔图像捕获，并将其组合以创建视频。还可以创建时间间隔更长的图像捕获的延时视频。第一次执行的三维覆盖图像可以是第一三维覆盖图像，而第二次执行的三维覆盖图像可以是第二三维覆盖图像。该方法可以还包括比较该第一三维覆盖图像与第二三维覆盖图像以确定创伤愈合状态。创伤进展状态可包括创伤恶化，并且该方法可还包括施用至少一种创伤改善助剂。比较还可以包括随时间跟踪创伤的拓扑图。例如，三维荧光成像可用于辅助创伤清创以去除细菌负担。成像还可以用于在拓扑图层面上随着时间的过去在三维中跟踪清创的结果。临床医生可以使用这种方法在一次访问中清创创伤，并且随着时间的推移在三维以及二维中跟踪手术或刮除清创的效果。
131.可以通过直到创伤愈合的对在多个时间点(例如，在临床就诊时)处进行的创伤面积的平面测量来评估创伤愈合。创伤愈合的时间进程可以与预期的愈合时间比较，预期的愈合时间是使用公式r＝√a/π(r，半径；a，平面创伤面积；π，常数3.14)通过创伤半径减少的多个时间点测量计算的。关于创伤的这种定量信息可以用于跟踪和监测创伤外观随时间的变化，以便评估和确定由自然方式或任何治疗干预引起的创伤愈合的程度。数据可以电子地存储在患者的健康记录中以供将来参考。创伤成像可以捕获、计算和/或组合组织/细菌荧光、测量的创伤面积、创伤的热图和血流的红外成像中的一个或多个。
132.通过相应地改变激发和发射波长，成像设备可以探询在表面和在组织内的特定深度(例如，创伤)的组织成分(例如，结缔组织和创伤中的细菌)。例如，通过将紫色/蓝色(约400nm至约500nm)波长光改变为绿色(约500nm至约540nm)波长光，可以实现更深的组织/细菌荧光源的激发。这例如可以在创伤中实现。类似地，通过检测较长的波长，可以在组织表面检测来自组织和/或组织中较深的细菌源的荧光发射。对于创伤评估，探询表面和/或亚表面荧光的能力可以是有用的，例如在细菌污染、定殖、关键定殖和/或感染的检测和潜在鉴定中，该细菌污染、定殖、关键定殖和/或感染可以发生在表面处并且通常发生在创伤内的深处(例如，在慢性不愈合创伤中)。通过成像检测的至少一种荧光分子可以包括与至少一种细菌相关联的荧光分子。
133.生物靶标可以包括从受试者生物切除的组织。例如，该组织可以包括癌前组织或癌组织。该癌组织可以包括肿瘤。例如，肿瘤可以是乳腺肿瘤，并且切除组织可以包括肿块
切除术。乳腺癌可以包括任何类型的乳腺癌或任何类型的乳腺癌的组合。例如，乳腺癌可以是表达细胞角蛋白8和18以及高水平雌激素受体表达的腔a乳腺癌。该乳腺癌可以是腔b乳腺癌。乳腺癌在基因表达方面可以是正常的乳腺样。乳腺癌可由her2扩增(her2基因在染色体17q上的扩增)。乳腺癌类型可以是基底型，其对于某些受体(雌激素、孕酮和her2)可以是阴性的并且具有基底/肌上皮细胞的特征性标志物。乳腺癌可通过brca1基因、brca2基因或两者中的一者或多者突变来表征。
134.癌组织可以是癌变前生长、恶性生长或由异常和不受控制的细胞分裂引起的肿瘤，该细胞分裂可以是转移性或非转移性的。所述癌症可以是，例如，乳腺癌、前列腺癌、肺癌、结肠癌、直肠癌、膀胱癌、非霍奇金淋巴瘤、黑素瘤、肾癌、胰腺癌、口腔癌、咽癌、卵巢癌、甲状腺癌、胃癌、脑癌、多发性骨髓瘤、食道癌、肝癌、子宫颈癌、喉癌、肝内胆管癌、急性髓性白血病、软组织癌、小肠癌、睾丸癌、慢性淋巴细胞性白血病白血病、霍奇金淋巴瘤、慢性髓样癌、急性淋巴细胞癌、肛门癌、肛管癌或肛门直肠癌、外阴癌或头颈癌、胆囊癌或胸膜癌、恶性间皮瘤、骨癌、关节癌、下咽癌、眼癌、鼻癌、鼻腔癌、头颈癌或中耳癌、鼻咽癌、输尿管癌、腹膜癌、网膜、或肠系膜癌症、或胃肠类癌肿瘤，或其任何组合。切除的组织可以包括与靶向肿瘤受体的探针相关联的荧光分子、酶激活的荧光分子，或基因修饰的溶瘤病毒诱导的荧光、或其任何组合。例如，肿瘤受体可以包括her2、叶酸受体、cxcr4、激素受体、egfr或vegf，或其组合。激素受体的示例包含雌激素受体和孕酮受体。酶例如可以包括蛋白酶、糖酶、脂肪酶、转移酶、氧化还原酶、基质金属蛋白酶(mmp)、半胱天冬酶、组织蛋白酶、激肽释放酶、丝氨酸蛋白酶、异柠檬酸脱氢酶，或由肿瘤细胞过表达的酶、或其组合。生物靶标可以包括已经从其切除组织的手术床。手术床和切除的组织可以包括癌组织。癌组织可以是良性的、恶性的、或两者。所移除的组织不必是癌性的，并且本公开的技术可用于其他情况，例如，整形手术、重建手术、器官移植手术、皮肤移植和整容手术。
135.该方法可以执行任何适当的次数。例如，该方法可以以任何顺序执行至少两次，这两次执行包括第一次执行和第二次执行。可对生物靶标进行第一次执行。例如，生物靶标是包括被切除的组织的第一生物靶标。第二次执行可以对包括手术床的第二生物靶标执行，组织从该手术床上被切除。第一次执行的三维覆盖图像可以是第一三维覆盖图像，而第二次执行的三维覆盖图像可以是第二三维覆盖图像。该方法可以还包括比较该第一三维覆盖图像和第二三维覆盖图像以基于该切除组织相对于该手术床的取向来确定该切除组织与该手术床之间的荧光连续性。该荧光连续性可以包括例如细菌感染组织、病毒感染组织、烧伤、癌组织、结缔组织、肌肉组织、血泡和皮肤特征中的一者或多者。荧光连续性可以对应于受损组织并且该方法可以还包括从该手术床上切除受损组织的至少一部分。
136.该方法例如可以包括使用成像技术来捕获靶区域和一个或多个基准标记的伴随三维图像，该成像技术包括计算机化断层摄影(ct)、磁共振成像(mri)、光声成像、超声和光学相干断层摄影中的一者或多者。三维覆盖图像可以与伴随三维图像叠加以形成第二三维覆盖图像。在图41中示出了表示为570和580的这些步骤的示例。伴随三维图像的捕获可以包括第一组基准标记和第二组基准标记。可以使用计算机断层扫描来捕获伴随三维图像，并且一个或多个基准标记可以包括至少一种荧光分子和至少一种ct造影剂。可以使用光声成像来捕获伴随三维图像，该靶区域可以包括乳腺肿瘤，并且该至少一种荧光分子可以包括抗
‑
her2双荧光
‑
光声探针。
137.可以使用任何合适数量或类型的基准标记。可以使用任何合适数量的基准标记组。所采用的多个基准标记可包括例如1、2、3、4、5、6、7、8、9、10、12、15、20或25个或更多个基准标记。所使用的基准标记生成器的组数可以是1、2、3、4或5组或更多组。这些组可以关于基准标记的位置、尺寸、荧光光谱、荧光强度和成像技术特异性中的一个或多个而变化。可以共同校准不同类型的基准标记。
138.本公开能够实现例如来自组织学样本的病理数据的数字集成，该组织学样本例如是在多个成像模式的三维数据立方体中使用苏木精和伊红染色的那些组织学样本。该数据立方体允许在时间上对来自离体手术样品或给定患者的手术床的组织表面的位置特异性组织病理学或其他数据进行空间定位的数字存档和归档。活检部位可按时间顺序以数字形式与相应病理结果或其他相关信息诸如缝合部位、吻合部位、植入部位等进行分类。分类允许临床团队跟踪组织已经被取样的地方、那些部位处的病理，并且这些可以在治疗之前和之后进行比较。如果在离体手术样品中发生组织变形，则可以应用图像变形校正模型来考虑变形并且与手术床的拓扑图表面对准。
139.本公开提供了一种生物组织的时空共配准多模式成像二维和三维数据集的方法。还提供了荧光和光声成像技术，其与外源应用的肿瘤造影剂协同作用以增加在手术切缘处检测肿瘤细胞的准确性。本公开提供了用于混合表面和体积成像技术以改善手术计划、术中指导和切缘评估的临床有用的方法。否则可以鉴定亚临床肿瘤切缘。癌症诊断可以通过将例如来自光声、荧光、光学相干断层扫描(oct)和拉曼成像(包含与传统磁共振成像(mri)、计算机断层扫描(ct)、正电子发射断层扫描(pet)和/以及超声(us)扫描中的一种或多种的光学成像数据集组合以用于肿瘤诊断和响应评估来改进。超声和其他成像技术可以是二维或三维的。多普勒成像(例如血流的多普勒成像)和/或热成像也可以与这样的其他成像技术组合。所公开的方法、设备和系统还允许内窥镜成像和一般研究。
140.根据本公开，提供了一种成像设备。该成像设备可以包括以下部件中的一个或多个。激发光源可以被配置为发射能够激发荧光团的第一辐射。滤光器可以被配置为防止反射的激发光通过、并且允许由荧光团发射的荧光通过。成像透镜可以被配置为聚焦辐射。可见光源可以被配置为发射第二辐射。红外光源可以被配置为发射第三辐射。至少一个图像传感器可以被配置为检测辐射。处理器可以被配置为接收所检测到的辐射并且输出与所检测到的辐射相关联的数据。该成像设备可被配置为执行本文中所描述的方法或其部分中的一个或多个。该成像设备可以被配置为手持式。例如，成像设备可以被配置为握在一只手中。
141.成像设备可以被配置为使生物靶标、其他种类的靶标或其组合的任何适当的靶区域可视化。该成像设备可以被配置为使创伤可视化。成像设备可以被配置为使手术切缘中的癌前细胞、癌变细胞以及附属病变中的一者或多者可视化。该激发光源可以还被配置为激发该组织细胞的自体荧光发射以及手术切缘的组织细胞中的诱导的卟啉的荧光发射。该滤光器可以还被配置为防止所反射的激发光通过、并且允许具有与组织细胞的自体荧光发射和组织细胞中诱导的卟啉的荧光发射相对应的波长的发射通过。图像传感器可以还被配置为检测经过滤的组织细胞的自体荧光发射以及手术切缘的组织细胞中的诱导的卟啉的荧光发射。该处理器可以还被配置为接收检测到的发射并且输出与组织细胞的检测到的经过滤的自体荧光发射以及这些切缘的组织细胞中的诱导的卟啉的荧光发射有关的数据。
142.所检测的辐射可以包括荧光、所反射的可见光和所反射的红外光中的一者或多者。检测到的辐射可以包括荧光、所反射的可见光、所反射的红外光。第一辐射可以包括荧光。第二辐射例如可以包括白光。第二辐射可以包括单色可见光。第三辐射可以包括红外辐射，例如，近红外辐射。至少一个图像传感器可以被配置为检测包括荧光、反射白光和所反射的红外光中的一者或多者的辐射。至少一个传感器可以包括任何数目和/或类型的传感器，例如至少两个传感器。至少两个传感器可以包括被配置为检测荧光的第一传感器和被配置为检测所反射的可见光的第二检测器。至少一个传感器可以包括至少三个传感器，这些传感器包括被配置为检测荧光的第一传感器、被配置为检测所反射的可见光的第二检测器、以及被配置为检测所反射的红外光的第三传感器。
143.至少一个传感器可以包括热传感器。设备可将本文所描述的用于三维成像的一个或多个其他传感器与热传感器组合。热传感器可用于提供热图以显示在查看创伤时可与细菌位置相关的高温区域。例如，成像可以与创伤的三维超声图像(包括血流的多普勒成像)结合。热绘图可以单独进行或与三维绘图结合进行。例如，通过将热成像传感器耦接到三维成像设备，可以与三维成像同时进行热成像。然后可以使用一个或多个基准将所捕获的热图像或视频在地形上叠加在可见光/荧光图像上。用于三维成像的相机例如可以捕获组织/细菌荧光、测量创伤面积、捕获创伤的热图和/或血流的图像红外。
144.成像设备可以还包括共同辐射源，该共同辐射源被配置为与这些光源中的至少一个一起运行或作为这些光源中的至少一个运行。至少一个光源可以包括转换器，该转换器用于将从该共同辐射源发射的源辐射转换为第一辐射、第二辐射、或第三辐射、或其组合。转换器可以包括例如滤光器、透镜、棱镜、衍射器、或量子点、或它们的组合。激发光源可包括第一转换器、可见光源可包括第二转换器、红外光源可包括第三转换器。
145.成像设备可以还包括显示单元。可以使用任何显示单元，例如，液晶显示器(lcd)、发光显示器(led显示器)、有机发光显示器(oled显示器)、等离子体或阴极射线、或其任何组合。显示单元可以被配置为显示由该处理器输出的数据。例如，数据可以包括三维图像。显示单元可以包括触摸屏和/或任何其他类型的图形用户界面。显示单元可以可替换地或附加地位于不同于成像设备的设备中。
146.成像设备可以被配置为使生物靶标的靶区域可视化。处理器可以被配置为生成该靶区域的三维映射。可以根据从靶区域反射的红外光来生成三维映射。处理器可以被配置为基于所检测到的辐射来捕获靶区域的二维可见光图像。该处理器可以被配置为基于三维映射和二维可见光图像来创建靶区域的三维可见光图像。处理器可以被配置为基于所检测到的辐射来捕获靶区域的二维荧光图像。处理器可以被配置为基于三维映射和二维荧光图像来创建靶区域的三维荧光图像。处理器可以被配置为将靶区域的三维可见光图像与靶区域的三维荧光图像对准，以形成靶区域的三维叠加图像。可以基于与靶区域相关联的基准标记的共配准来执行对准。
147.根据一个或多个实施例，成像设备可以配置如下。成像设备可以被配置为手持式。激发光源可以被配置为在暴露于一种成像剂或造影剂之后激发组织细胞的自体荧光发射以及在手术切缘的癌前细胞、癌变细胞、以及附属病变中的具有在约600nm与约660nm之间的波长的荧光发射。滤光器可以被配置为允许具有与组织细胞的自体荧光发射相对应的波长的发射以及在手术切缘的组织细胞中的在约600nm与约660nm之间的荧光发射通过。至少
一个图像传感器可以被配置为检测经过滤的组织细胞的自体荧光发射以及手术切缘的组织细胞中的在约600nm与约660nm之间的荧光发射。处理器可以被配置为接收检测到的发射并且输出与检测到的经过滤的组织细胞的自体荧光发射以及手术切缘的组织细胞中的在约600nm与约660nm之间的荧光发射有关的数据，并且生成手术切缘中的癌前细胞、癌变细胞以及这些附属病变中的一个或多个的三维图像。
148.根据本公开的一个方面，提供了一种用于靶标的基于三维荧光的成像的系统。该系统可以包括以下部件中的一个或多个、针对成像设备描述的部件中的一个或多个、或两者。至少一个激发光源可以配置为在荧光成像期间用激发光场照射靶标表面。照明和/或场可以是均匀的、部分均匀的或非均匀的。至少一个白光源可被配置为在白光成像期间照射靶标表面。至少一个红外辐射源可以被配置为向靶标表面发射红外辐射。图像传感器可以检测荧光、反射辐射或两者。滤光器可以被配置为允许一光信号通过滤光器到达图像传感器，该光信号响应于用激发光照射靶标表面并且具有与细菌自体荧光和组织自体荧光中的一个或多个相对应的波长。处理器可被配置为(例如)执行以下各项中的一项或多项。处理器可以接收响应于用红外光照射靶标而得的光学信号。基于接收到的响应于用红外光照射靶标而得的信号，处理器可以生成靶标表面的三维映射。处理器可以接收响应于用激发光照射靶标表面而检测到的光学信号并且生成靶标表面的二维荧光图像。处理器可接收响应于靶标表面的用白光照射的光信号并且生成靶标表面的二维白光图像，并且处理器可组合三维映射、荧光图像和白光图像以生成靶标表面的三维图像。
149.根据本公开的一个方面，提供了一种与成像设备一起使用的计算机程序产品。该计算机程序产品可以包括非瞬时计算机可读介质。该非瞬时计算机可读介质可以存储用于图像处理的计算机程序代码。该计算机程序代码可由成像设备中的处理器执行以执行本文中所描述的方法中的一个或多个。
150.示例
151.示例1：组织模型用于证明本公开的成像技术。为了对肿块切除样品的整个表面成像，使用primesense相机在白光下对其进行扫描，然后在将primesense设备上的ccd传感器转换为荧光相机之后对其进行重新扫描。通过在样本表面上使用外部放置的基准标记，可以共配准两个成像扫描。使用在组织表面照射光的405nm led阵列激发荧光。primesense系统配有滤光器以生成实时荧光图像，作为切除组织(肿瘤)标本，特别是乳腺肿块切除术的三维表面绘制。primesense从切除组织的自身荧光和外源造影剂(ala诱导卟啉)诱导的荧光中检测到特异性荧光信号，尽管可以对任何数量或类型的造影剂修改荧光成像。
152.图1是实验模型100的白光照片，实验模型100包含在组织模型的表面112上用荧光素基准标记130标记的组织模型110。荧光素基准标记可以在白光下呈现黄色/橙色，在紫外线辐射下呈现绿色/黄色。通过恰好在表面下注射荧光ppix生成模拟肿瘤120。荧光ppix通常在紫外辐射下呈现红色。组织模型110是用于模拟乳房肿块切除组织样本的一块猪组织。
153.图2a是从第一视角观察的组织模型110的三维白光表面图像。图2b是从第二视角观察的组织模型110的三维白光表面图像。图3a是从第一视角观察的组织模型110加上网格的三维白光表面图像。图3b是从第二视角观察的组织模型110加上网格的三维白光表面图像。图4a是从第一视角观察的组织模型110的三维网格加白光覆盖图像。图4b是从第二视角观察的组织模型110的三维网格加白光覆盖图像。图5a是从第一视角观察的组织模型110的
原始网格/表面图像。图5b是从第二视角观察的组织模型110的原始网格/表面图像。
154.下图中的红色荧光通常表示使用添加的ppix模拟的“肿瘤”。模拟的肿瘤用图形表示乳腺肿块切除术看起来具有阳性(红色荧光)切缘。图6a是从第一视角观察的组织模型110的三维荧光表面图像。图6b是从第二视角观察的组织模型110的三维荧光表面图像。图7a是从第一视角观察的组织模型110加上网格的三维荧光表面图像。图7b是从第二视角观察的组织模型110加上网格的三维荧光表面图像。图8a是从第一视角观察的组织模型110的三维网格加荧光覆盖图像。图8b是从第二视角观察的组织模型110的三维网格加荧光覆盖图像。图9a是从第一视角观察的组织模型110的原始网格/表面图像。图9b是从第二视角观察的组织模型110的原始网格/表面图像。
155.使用多模式(光学，ct)基准标记，其使用混合的荧光和ct染料，用于三维表面绘制的白光反射和荧光图像与模型的三维表面绘制的计算机断层扫描的共配准。激发光为405nm。发射滤光器为500nm至550nm和600nm至650nm的双波段发射滤光器。滤光器被放置在能够滑入和滑出rgb相机的图像传感器前方的位置的长塑料滤光器支架内，以将rgb相机从白光成像相机修改为荧光成像相机。相机连接到运行primesense数据收集软件的笔记本电脑。使用外部光源以来自两个led的405nm光照射生物靶标(具有皮肤创伤的猪腿)的靶区域。锥形束ct扫描图像处理采用invesalius 3软件。
156.图10a是具有覆盖在荧光基准130上的ct基准140的组织模型110的第一视图。图10b是具有覆盖在荧光基准上的ct基准的组织模型的第二视图。下图中的红色荧光通常表示使用添加的ppix模拟的“肿瘤”。模拟的肿瘤用图形表示乳腺肿块切除术看起来具有阳性(红色荧光)切缘。图11a是从第一视角观察的组织模型110的锥形束ct三维体积重建。图11b是从第一视角观察的组织模型110的荧光三维呈现。图11c是从第一视角观察的组织模型110的共配准的ct加荧光图像。图12a是从第二视角观察的组织模型110的锥形束ct三维体积重建。图12b是从第二视角观察的组织模型110的荧光三维图像。图12c是从第二视角观察的组织模型110的共配准的ct加荧光图像。图13a是从第三视角观察的组织模型110的锥形束ct三维体积重建。图13b是从第一视角观察的组织模型110的荧光三维呈现。图13c是从第三视角观察的组织模型110的共配准的ct加荧光图像。图14a是从第四视角观察的组织模型110的锥形束ct三维体积重建。图14b是从第四视角观察的组织模型110的荧光三维透视图。图14c是从第四视角观察的组织模型110的共配准的ct加荧光图像。
157.这些图示出了本公开的技术生成组织和其他物体的三维图像的能力，这些三维图像充当用于更好地表征和理解组织和其他物体的有价值的工具。例如，外科医生可以更好地看到患者中癌组织的程度，并制定切除以有效地去除癌组织，同时保留邻近的健康组织。因此，示例1证明了所公开的技术的有效性。
158.示例2
159.在该示例中，进行与示例1基本相同的程序，但使用包含模拟仿真肿瘤的第二组织模型的第二实验模型200。图15a是在从具有类似于人皮肤的皮肤(表面)212的猪肩部制备期间，模拟肿瘤220的第二组织模型210的第一图像。图15b是准备期间肿瘤模型的第二组织模型的第二图像。图16是示出模拟(模型ppix)肿瘤220的第二组织模型210的图像，并且荧光素基准标记230也是可见的。标尺250可用于建立刻度。图17a是通过手持成像设备暴露于紫光以激发荧光的第二组织模型210的透视图的图像。图17b是来自暴露于紫光以激发荧光
的第二组织模型210的荧光发射的图像的平面图的图像。图18a是从第一视角观察的第二组织模型210的三维白光表面图像。图18b是从第二视角观察的第二组织模型210的三维白光表面图像。图19a是从第一视角观察的第二组织模型210加上网格的三维白光表面图像。图19b是从第二视角观察第二组织模型210加上网格的三维白光表面图像。图20a是从第一视角观察的第二组织模型210的三维网格加白光覆盖图像。图20b是从第二视角观察的第二组织模型210的三维网格加白光覆盖图像。图21a是从第一视角观察的第二组织模型210的原始网格/表面图像。图21b是从第二视角观察的第二组织模型210的原始网格/表面图像。
160.图中的红色荧光通常表示使用添加的ppix模拟的“创伤”周围的“细菌”。模拟创伤以图形表示细菌感染的凹形创伤看起来具有阳性(红色荧光)切缘。图22a是从第一视角观察的第二组织模型210的三维荧光表面图像。图22b是从第二视角观察的第二组织模型210的三维荧光表面图像。图23a是从第一视角观察的第二组织模型210加上网格的三维荧光表面图像。图23b是从第二视角观察的第二组织模型210加上网格的三维荧光表面图像。图24a是从第一视角观察的第二组织模型210的三维网格加荧光覆盖图像。图24b是从第二视角观察的第二组织模型210的三维网格加荧光覆盖图像。图25a是从第一视角观察的第二组织模型210的原始网格/表面图像。图25b是从第二视角观察的第二组织模型210的原始网格/表面图像。
161.这些图示出了本公开的技术生成组织和其他物体的三维图像的能力，这些三维图像充当用于更好地表征和理解组织和其他物体的有价值的工具。例如，外科医生可以更好地看到患者中癌组织的程度，并制定切除以有效地去除癌组织，同时保留邻近的健康组织。因此，示例2证明了所公开的技术的有效性。
162.示例3
163.在该示例中，基本上与示例1中相同地进行操作，但是使用模拟深创伤和浅创伤的第三组织模型。使用invesalius 3软件进行锥形束ct和ct扫描图像处理。图26a是在皮肤312上准备包括深创伤360和浅创伤370期间，创伤模型300的第三组织模型310的第一图像。可以包括用于刻度的标尺350。图26b是准备期间第三组织模型310的第二图像。图26c是第三组织模型310在准备期间的第三图像，该第三图像描绘了包括用ppix绘制的创伤周边362的深创伤360，以模拟创伤中细菌的存在。图26d是在准备期间描绘深度创伤360和表面创伤370以及荧光素基准标记330的第三组织模型310的第四图像。图27a是从第一视角观察的第三组织模型310的三维白光表面图像。图27b是从第二视角观察的第三组织模型310的三维白光表面图像。图28a是从第一视角观察的第三组织模型310加上网格的三维白光表面图像。图28b是从第二视角观察的第三组织模型310加上网格的三维白光表面图像。图29a是从第一视角观察的第三组织模型310的三维网格加白光覆盖图像。图29b是从第二视角观察的第三组织模型310的三维网格加白光覆盖图像。图30a是从第一视角观察的第三组织模型310的原始网格/表面图像。图30b是从第二视角观察的第三组织模型310的原始网格/表面图像。图31a是从第一视角观察的第三组织模型310的三维荧光表面图像。图31b是从第二视角观察的第三组织模型310的三维荧光表面图像。图32a是从第一视角观察的第三组织模型310加上网格的三维荧光表面图像。图32b是从第二视角观察的第三组织模型310加上网格的三维荧光表面图像。图33a是从第一视角观察的第三组织模型310的三维网格加荧光覆盖图像。图33b是从第二视角观察的第三组织模型310的三维网格加荧光覆盖图像。图34a是从
第一视角观察的第三组织模型310的原始网格/表面图像。图34b是从第二视角观察的第三组织模型310的原始网格/表面图像。
164.图35a是用锥形束ct扫描的ct基准标记准备的第三组织模型310的图像。图35b是第三组织模型310的锥形束ct扫描图像。图35c是为ct机380中的锥形束ct扫描准备的第三组织模型310的图像。图35d是经历锥形束ct扫描的第三组织模型310的图像。图36a是用ct基准340制备的第三组织模型310的图像，该ct基准与荧光素基准330空间共配准用于ct扫描。图36b是经历ct扫描的第三组织模型310的图像。图37是叠加有根据本公开测量的皮肤410上的创伤460的创伤拓扑网格490的照片。测量确定了约4cm的长度、约9cm的宽度、约3cm的深度，以及约99.5cm3的体积。
165.这些图示出了本公开的技术生成组织和其他物体的三维图像的能力，这些三维图像充当用于更好地表征和理解组织和其他物体的有价值的工具。例如，医师可更好地观察患者创伤的性质及其随时间的进展，以帮助确定治疗方案是否有效或需要被修改以促进创伤愈合。此外，医师可以更好地观察创伤中感染的位置或大小(或存在的细菌的位置/数量)并相应地调整治疗方案。因此，示例3证明了所公开的技术的有效性。
166.本公开以任何顺序和/或以任何组合包含以下方面/实施例/特征：
167.一种使用二维图像生成靶标的三维图像的方法，包括：生成与一个或多个基准标记相关联的靶区域的三维映射；捕获靶区域和一个或多个基准标记的二维白光图像；从二维白光图像和三维映射创建三维白光图像；捕获靶区域和一个或多个基准标记的二维荧光图像；从二维荧光图像和三维映射创建三维荧光图像；并且使用一个或多个基准标记对准三维白光图像与三维荧光图像，以形成三维叠加图像。
168.2.根据任一前述或以下实施例/特征/方面的方法，其中，捕获靶区域和一个或多个基准标记的二维荧光图像包括：用激发光照射靶区域和一个或多个基准标记，并且接收响应于用激发光照射靶区域而得的至少一个荧光发射。
169.3.根据任一前述或以下实施例/特征/方面的方法，其中，激发光在约400nm与约450nm之间。
170.4.根据任一前述或以下实施例/特征/方面的方法，其中，激发光具有约405nm的波长。
171.5.根据任一前述或以下实施例/特征/方面的方法，其中，捕获靶区域和一个或多个基准标记的二维荧光图像包括捕获至少一种荧光分子的发射。
172.6.根据任一前述或以下实施例/特征/方面的方法，其中，至少一种荧光分子包括能够发荧光的内源分子。
173.7.根据任一前述或以下实施例/特征/方面的方法，其中，至少一种荧光分子包括能够发荧光的外源分子或包括能够发荧光的外源添加部分的分子。
174.8.根据任一前述或以下实施例/特征/方面的方法，其中，至少一种荧光分子包括氨基乙酰丙酸(ala)诱导的卟啉。
175.9.根据任一前述或以下实施例/特征/方面的方法，其中，使用红外光生成三维映射。
176.10.根据任一前述或以下实施例/特征/方面的方法，其中，使用近红外光生成三维映射。
177.11.根据任一前述或以下实施例/特征/方面的方法，其中，生成三维映射包括：将红外辐射投射到靶区域处；接收由靶区域反射的红外辐射；基于所反射的红外辐射来测量靶区域的深度，以生成三维映射。
178.12.根据任一前述或以下实施例/特征/方面的方法，其中，红外辐射被投影为分成光图案的光束，所反射的红外辐射包括光图案的失真，并且基于光图案的失真来测量深度。
179.13.根据任一前述或以下实施例/特征/方面的方法，其中，光图案由衍射光栅形成，并且该光图案包括多个点。
180.14.根据任一前述或以下实施例/特征/方面的方法，其中，通过基于投射的红外辐射与所反射的红外辐射之间的相移的飞行时间来测量深度。
181.15.根据任一前述或以下实施例/特征/方面的方法，其中，靶区域包括至少一个创伤。
182.16.根据任一前述或以下实施例/特征/方面的方法，其中，创伤包括至少一种细菌，该细菌包括至少一种荧光分子。
183.17.根据任一前述或以下实施例/特征/方面的方法，其中，该方法还包括确定创伤的表面积和体积中的一者或两者。
184.18.根据任一前述或以下实施例/特征/方面的方法，其中，该方法被执行至少两次，两次执行包括由至少为三个小时的时间段分隔的第一次执行和第二次执行，该第一次执行的三维叠加图像是第一三维叠加图像，并且该第二次执行的三维叠加图像是第二三维叠加图像，该方法还包括比较第一三维叠加图像与第二三维叠加图像以确定创伤愈合状态。
185.19.根据任一前述或以下实施例/特征/方面的方法，其中，时间段为至少一天。
186.20.根据任一前述或以下实施例/特征/方面的方法，其中，创伤愈合状态包括创伤恶化，并且该方法还包括施用至少一种创伤改善助剂。
187.21.根据任一前述或以下实施例/特征/方面的方法，其中，比较还包括跟踪创伤的拓扑图。
188.22.根据任一前述或以下实施例/特征/方面的方法，其中，靶区域包括从受试者生物体切除的组织。
189.23.根据任一前述或以下实施例/特征/方面的方法，其中，组织包括癌组织。
190.24.根据任一前述或以下实施例/特征/方面的方法，其中，癌组织包括肿瘤。
191.25.前述或以下实施例/特征/方面中任一项方法，其中，肿瘤是乳腺肿瘤，并且切除组织包括肿块切除术。
192.26.根据任一前述或以下实施例/特征/方面的方法，其中，切除的组织包括与靶向肿瘤受体的探针相关联的荧光分子、酶激活的荧光分子、或基因修饰的溶瘤病毒诱导的荧光、或其任何组合。
193.27.根据任一前述或下述实施例/特征/方面的方法，其中，肿瘤受体包括her2、叶酸受体、cxcr4、激素受体、egfr或vegf或其组合；并且酶包括蛋白酶、糖酶、脂肪酶、转移酶、氧化还原酶、基质金属蛋白酶(mmp)、半胱天冬酶、组织蛋白酶、激肽释放酶、丝氨酸蛋白酶、异柠檬酸脱氢酶、或由肿瘤细胞过表达的酶、或其组合。
194.28.根据任一前述或以下实施例/特征/方面的方法，其中，靶区域包括手术床，组
织已经从该手术床切除。
195.29.根据任一前述或以下实施例/特征/方面的方法，其中，手术床和所切除的组织包括癌组织。
196.30.根据任一前述或以下实施例/特征/方面的方法，其中，该方法以任一顺序执行至少两次，该两次执行包括第一次执行和第二次执行，该第一次执行对靶区域执行，靶区域是包括被切除的组织的第一靶区域，该第二次执行对包括手术床的第二靶区域执行，组织从手术床切除，第一次执行的三维覆盖图像是第一三维覆盖图像，第二次执行的三维覆盖图像是第二三维覆盖图像，该方法还包括比较第一三维覆盖图像与第二三维覆盖图像以基于切除组织相对于手术床的取向来确定切除组织与手术床之间的荧光连续性。
197.31.根据任一前述或以下实施例/特征/方面的方法，其中，荧光连续性包括细菌感染组织、病毒感染组织、烧伤、癌组织、结缔组织、肌肉组织、血泡和皮肤特征中的一种或多种。
198.32.根据任一前述或以下实施例/特征/方面的方法，其中，荧光连续性与受损组织相对应，并且该方法还包括从手术床上切除受损组织的至少一部分。
199.33.任何前述或以下实施例/特征/方面的方法，还包括：使用成像技术捕获靶区域和一个或多个基准标记的伴随三维图像，成像技术包括计算机断层扫描(ct)、磁共振成像(mri)、光声成像、超声和光学相干断层摄影中的一种或多种；并且将三维叠加图像与伴随三维图像叠加，以形成第二三维叠加图像，该叠加图像为第一三维叠加图像。
200.34.根据任一前述或以下实施例/特征/方面的方法，其中，一个或多个基准标记包括第一组基准标记和第二组基准标记。
201.35.根据任一前述或以下实施例/特征/方面的方法，其中，使用计算机断层扫描来捕获伴随三维图像，并且一个或多个基准标记包括至少一种荧光分子和至少一种ct造影剂。
202.36.根据任一前述或以下实施例/特征/方面的方法，其中，使用光声成像来捕获伴随三维图像，并且靶区域包括乳腺肿瘤和抗her2双荧光光声探针。
203.37.一种成像设备，包括：被配置为发射能够激发荧光团的第一辐射的激发光源；被配置为防止反射的激发光通过、并且允许由荧光团发射的荧光通过的滤光器；成像透镜；可见光源，被配置为发射第二辐射；红外光源，被配置为发射第三辐射；至少一个图像传感器，被配置为检测辐射；以及处理器，被配置为接收所检测到的辐射并且输出与所检测到的辐射相关联的数据。
204.38.根据任一前述或以下实施例/特征/方面的成像设备，其中，该成像设备被配置为手持式。
205.39.根据任一前述或以下实施例/特征/方面的成像设备，其中，该成像设备被配置为使创伤可视化。
206.40.根据任一前述或以下实施例/特征/方面的成像设备，其中，该成像设备被配置为使手术切缘中的癌前细胞、癌变细胞和附属病变中的一者或多者可视化。
207.41.根据任一前述或以下实施例/特征/方面的成像设备，其中，该激发光源还被配置为激发组织细胞的自体荧光发射和手术切缘的组织细胞中的诱导的卟啉的荧光发射。
208.42.根据任一前述或以下实施例/特征/方面的成像设备，其中，该滤光器还被配置
为防止所反射的激发光通过、并且允许具有与组织细胞的自体荧光发射和组织细胞中的诱导的卟啉的荧光发射相对应的波长的发射通过。
209.43.根据任一前述或以下实施例/特征/方面的成像设备，其中，该图像传感器还被配置为检测经过滤的组织细胞的自体荧光发射和手术切缘的组织细胞中的诱导的卟啉的荧光发射。
210.44.根据任一前述或以下实施例/特征/方面的成像设备，其中，该处理器还被配置为接收所检测到的发射并且输出关于检测到的经过滤的组织细胞的自体荧光发射和手术切缘的组织细胞中的诱导的卟啉的荧光发射的数据。
211.45.根据任一前述或以下实施例/特征/方面的成像设备，其中，该第二辐射包括白光。
212.46.根据任一前述或以下实施例/特征/方面的成像设备，其中，该第二辐射包括单色可见光。
213.47.根据任一前述或以下实施例/特征/方面的成像设备，其中，该第三辐射包括红外辐射。
214.48.根据任一前述或以下实施例/特征/方面的成像设备，其中，该红外辐射包括近红外辐射。
215.49.根据任一前述或以下实施例/特征/方面的成像设备，其中，该至少一个图像传感器被配置为检测包括荧光、所反射的白光和所反射的红外光的辐射
216.50.根据任一前述或以下实施例/特征/方面的成像设备，其中，该至少一个传感器包括至少两个传感器。
217.51.根据任一前述或以下实施例/特征/方面的成像设备，其中，该至少两个传感器包括被配置为检测荧光的第一传感器和被配置为检测所反射的可见光的第二检测器。
218.52.根据任一前述或以下实施例/特征/方面的成像设备，其中，该至少一个传感器包括至少三个传感器，至少三个传感器包括被配置为检测荧光的第一传感器、被配置为检测所反射的可见光的第二检测器和被配置为检测所反射的红外光的第三传感器。
219.53.根据任一前述或以下实施例/特征/方面的成像设备，还包括被配置为与至少一个光源一起运行的共同辐射源。
220.54.根据任一前述或以下实施例/特征/方面的成像设备，其中，该至少一个光源包括转换器，以将从共同辐射源发射的源辐射转换为第一辐射、第二辐射或第三辐射或它们的组合。
221.55.根据任一前述或以下实施例/特征/方面的成像设备，其中，该转换器包括滤光器、透镜、棱镜、衍射器，或量子点、或其组合。
222.56.根据任一前述或以下实施例/特征/方面的成像设备，其中，该激发光源包括第一转换器，可见光源包括第二转换器，并且红外光源包括第三转换器。
223.57.根据任一前述或以下实施例/特征/方面的成像设备，还包括显示单元。
224.58.根据任一前述或以下实施例/特征/方面的成像设备，其中，该显示单元被配置为显示由处理器输出的数据。
225.59.根据任一前述或以下实施例/特征/方面的成像设备，其中，该数据包括三维图像。
226.60.根据任一前述或以下实施例/特征/方面的成像设备，其中，该显示单元包括触摸屏。
227.61.根据任一前述或以下实施例/特征/方面的成像设备，其中，该所检测到的辐射包括荧光、所反射的可见光和所反射的红外光中的一者或多者。
228.62.根据任一前述或以下实施例/特征/方面的成像设备，其中，该所检测到的辐射包括荧光、所反射的可见光和所反射的红外光。
229.63.根据任一前述或以下实施例/特征/方面的成像设备，其中，该成像设备被配置为使生物靶标的靶区域可视化。
230.64.根据任一前述或以下实施例/特征/方面的成像设备，其中，该处理器还被配置为生成靶区域的三维映射。
231.65.根据任一前述或以下实施例/特征/方面的成像设备，其中，该三维映射由从靶区域反射的红外光生成。
232.66.根据任一前述或以下实施例/特征/方面的成像设备，其中，该处理器还被配置为基于所检测到的辐射来捕获靶区域的二维可见光图像。
233.67.根据任一前述或以下实施例/特征/方面的成像设备，其中，该处理器还被配置为基于三维映射和二维可见光图像来创建靶区域的三维可见光图像。
234.68.根据任一前述或以下实施例/特征/方面的成像设备，其中，该处理器还被配置为基于所检测到的辐射来捕获靶区域的二维荧光图像。
235.69.根据任一前述或以下实施例/特征/方面的成像设备，其中，该处理器还被配置为基于三维映射和二维荧光图像来创建靶区域的三维荧光图像。
236.70.根据任一前述或以下实施例/特征/方面的成像设备，其中，该处理器还被配置为将靶区域的三维可见光图像与靶区域的三维荧光图像对准，以形成靶区域的三维叠加图像。
237.71.根据任一前述或以下实施例/特征/方面的成像设备，其中，基于与靶区域相关联的基准标记的共配准来执行对准。
238.72.根据任一前述或以下实施例/特征/方面的成像设备，其中，该成像设备被配置为执行根据任一前述或以下实施例/特征/方面的方法。
239.73.根据任一前述或以下实施例/特征/方面的成像设备，其中：成像设备被进一步配置为手持式；激发光源还被配置为在暴露于成像剂或造影剂之后激发组织细胞的自体荧光发射和手术切缘的癌前细胞、癌变细胞和附属病变中的具有在约600nm与约660nm之间的波长的荧光发射；滤光器还被配置为允许具有与组织细胞的手术切缘的自体荧光发射以及在组织细胞中的在约600nm与约660nm之间的荧光发射相对应的波长的发射通过；至少一个图像传感器还被配置为检测经过滤的组织细胞的自体荧光发射以及手术切缘的组织细胞中的在约600nm与约660nm之间的荧光发射；并且处理器还被配置为接收所检测到的发射并输出与所检测到的经过滤的组织细胞的自体荧光发射和手术切缘的组织细胞中的在约600nm与约660nm之间的荧光发射有关的数据，并且生成手术切缘中的癌前细胞、癌变细胞和附属病变中的一者或多者的三维图像。
240.74.一种用于靶标的三维基于荧光的成像的系统，包括：至少一个激发光源，被配置为在荧光成像期间用激发光的均匀场均匀地照射靶标表面；至少一个白光源，被配置为
在白光成像期间照射靶标表面；至少一个红外辐射源，被配置为向靶标表面发射红外辐射；图像传感器；滤光器，被配置为允许响应于一光信号通过滤光器到达图像传感器，该光信号相应于用激发光照射靶标表面而得并且具有与细菌自发荧光和组织自发荧光中的一者或多者相对应的波长；以及处理器，被配置为：接收响应于用红外光照射靶标而得的光信号，并且基于接收到的响应于用红外光照射靶标而得的信号，生成靶标表面的三维映射，接收检测到的响应于用红外光照射靶标表面而得的光信号激发光，并生成靶标表面的二维荧光图像，接收响应于靶标表面的白光照射的光信号，并生成靶标表面的二维白光图像，并且组合三维映射、荧光图像和白光图像以生成靶标表面的三维图像。
241.75.与根据任一前述或以下实施例/特征/方面的成像设备一起使用的计算机程序产品，计算机程序产品包括非暂时性计算机可读介质，其中，该非暂时性计算机可读介质存储用于图像处理的计算机程序代码，其中，该计算机程序代码可由成像设备中的处理器执行以执行根据任一前述或以下实施例/特征/方面的方法。
242.考虑到本文公开的本公开的说明书和实践，其他实施例对于本领域技术人员将是清楚明白的。本说明书和实施例仅是示例性的。本公开的各个方面在所附权利要求中阐述。