无载玻片组织学成像方法和系统

无载玻片组织学成像方法和系统
1.相关申请
2.本技术要求于2019年9月19日提交的美国临时专利申请第62/973,101号的优先权，其内容通过引用整体并入本文。
技术领域
3.本发明涉及无载玻片组织学成像方法和系统。


背景技术：

4.组织学检查仍然是恶性肿瘤手术切缘评估的黄金标准。然而，常规组织学分析涉及漫长且代价高的样本制备过程，会产生有毒试剂废物，耗尽小样本，并将组织病理学报告的生成时间延长数小时至数天。这个漫长且代价高的过程包括福尔马林固定和石蜡包埋(ffpe)，然后是高质量的切片、染色、并且然后将样本安装在载玻片上。这些不可避免的步骤需要数天才能完成，导致生成准确诊断报告的延迟从数小时到数天。尽管术中冰冻切片通过在物理切片之前冰冻新鲜组织而提供了比ffpe组织学更快的替代方法，但术中冰冻切片仍需要20到30分钟的准备和周转时间。此外，冷冻切片的样本具有固有的冰冻伪影的问题，尤其是在处理富含脂质的组织时，这会导致术中误解和诊断陷阱。
5.组织病理学的巨大需求激发了许多努力以实现对未染色新鲜组织的快速和非侵入性诊断。某些用于对非切片的组织成像的显微术技术，包括紫外(uv)表面激发显微术、共聚焦激光扫描显微术和光片显微术，减少了在常规ffpe组织学中制备大量载玻片所涉及的繁重任务和处理成本。然而，这些方法都需要特定的荧光标记来提高分子特异性。荧光成像尽管无疑会对于提供有关细胞中不同生物分子的形态和动力学信息的很高效，但会导致使用外源标记或基因转染，这会干扰细胞代谢并对随后的临床实施产生不利影响。此外，用荧光标记长期监测细胞会导致对细胞的光毒性和荧光团本身的光漂白。
6.图像结构通过特定化学键的固有分子振动来表征的受激拉曼散射(srs)和相干反斯托克斯拉曼散射(cars)为检查富含脂质的结构中的c-h拉伸提供了无标记的替代方案。此外，非线性过程起源于非中心对称界面，包括二次谐波产生(shg)、三次谐波产生(thg)及其组合模态，其已显示出对胶原和微管结构的内在表征的巨大潜力。然而，这些方法都需要高功率超快激光来保持检测灵敏度和分子对比度，这在大多数情况下可能并不容易获得。光谱共聚焦反射显微术允许对有髓轴突进行无标记的高分辨率体内成像，但是由于分子特异性低，仍然需要具有可调波长功能的共聚焦显微术。定量相位成像技术也通过测量未染色样本的相位变化为快速折射率映射提供了巨大的可能性。然而，它们大多集成到传输系统中，并受到样品厚度的严格限制。此外，基于反射的成像技术，例如光学相干断层扫描，已被转化为用于对人体乳腺组织进行无标记成像的术中诊断工具，然而，它的设计目的不是实现亚细胞分辨率，也不适合探测标准护理临床病理学期望的分子标靶。


技术实现要素：

7.本发明的目的是解决上面或本文描述的一个或多个缺点，或者至少提供有用的替代方案。
8.在第一方面，提供了一种生成伪苏木精和伊红(h&e)染色图像的计算机实现的方法，其中，该方法包括：接收输入图像，该输入图像是未标记样本的基于紫外的自发荧光显微术(uv-autom)图像或基于紫外的光声显微术(uv-pam)图像，其中，该输入图像是灰度图像；使用生成式对抗网络将输入图像变换为输入图像的伪h&e染色图像；和输出伪h&e染色图像。
9.在某些实施方式中，生成式对抗网络是具有循环一致性的生成式对抗网络。
10.在某些实施方式中，该方法包括使用未配对的输入和h&e染色图像来训练生成式对抗网络。
11.在某些实施方式中，生成式对抗网络包括四个深度卷积神经网络，包括：第一生成器深度卷积神经网络，其被配置为将输入图像变换为生成的h&e图像；第二生成器深度卷积神经网络，其被配置为将h&e图像变换为生成的uv-autom或uv-pam图像；第一鉴别器深度卷积神经网络，其被配置为区分训练集的h&e图像和由第一生成器深度卷积神经网络生成的生成的h&e图像；和第二鉴别器深度卷积神经网络，其被配置为区分训练集的uv-autom或uv-pam图像和由第二生成器深度卷积神经网络生成的生成的uv-autom或uv-pam图像。
12.在某些实施方式中，第一和第二生成器深度卷积神经网络是基于resnet或基于u-net的生成器网络。
13.在某些实施方式中，第一和第二鉴别器深度卷积神经网络是patchgan鉴别器网络。
14.在某些实施方式中，以uv-pam图像的形式接收的输入图像通过以下方式生成：控制聚焦组件的振镜扫描仪以根据扫描轨迹将紫外光聚焦在样本上；通过至少一个换能器接收样本响应于紫外光而发射的光声波；和基于光声波生成uv-pam图像。
15.在某些实施方式中，以uv-autom图像的形式接收的输入图像是从根据扫描轨迹捕获的散斑照射的图像的序列生成的估计的uv-autom图像，其中，与序列中的每个散斑照射的图像相比，估计的uv-autom图像具有更高的分辨率。
16.在某些实施方式中，通过以下方式生成估计的uv-autom图像：a)基于对散斑照射的图像的序列的平均值进行插值来初始化高分辨率图像对象；b)对于序列中的每个散斑照射的图像：i)通过在计算上将高分辨率图像对象移位到扫描轨迹中的特定位置来生成估计的散斑照射的图像；ii)基于频域中的估计的散斑照射的图像和光学传递函数，确定频域中的经滤波的对象-图案复合；iii)基于频域中的估计的散斑照射的图像、频域中的相应的捕获的散斑照射的图像、频域中的经滤波的对象-图案复合和光学传递函数确定频域中的更新的估计的散斑照射的图像；iv)基于更新的估计的散斑照射的图像、空间域中的估计的散斑照射的图像和散斑图案更新高分辨率对象；v)基于更新的估计的散斑照射的图像、估计的散斑照射的图像和高分辨率图像对象更新散斑图案；vi)将nesterov动量加速度应用于高分辨率图像对象和散斑图案；和c)迭代地执行步骤b)直到检测到重构高分辨率图像对象的收敛，该高分辨率图像对象是估计的uv-autom图像，在厘米尺度成像区域具有增强的亚细胞分辨率。
17.在第二方面，提供了一种被配置为生成伪苏木精和伊红(h&e)染色图像的计算机系统，其中，该计算机系统包括其中存储有可执行指令的一个或多个存储器，以及一个或多个处理器，其中，处理器执行可执行指令使处理器：接收输入图像，该输入图像是未标记样本的基于紫外的自发荧光显微术(uv-autom)图像或基于紫外的光声显微术(uv-pam)图像，其中，该输入图像是灰度图像；使用生成式对抗网络将输入图像变换为输入图像的伪h&e染色图像；和输出伪h&e染色图像。
18.在某些实施方式中，生成式对抗网络是具有循环一致性的生成式对抗网络。
19.在某些实施方式中，一个或多个处理器被配置为使用未配对的输入灰度图像和h&e染色图像来训练生成式对抗网络。
20.在某些实施方式中，生成式对抗网络包括四个深度卷积神经网络，包括：第一生成器深度卷积神经网络，其被配置为将输入图像变换为生成的h&e图像；第二生成器深度卷积神经网络，其被配置为将h&e图像变换为生成的uv-autom或uv-pam图像；第一鉴别器深度卷积神经网络，其被配置为区分训练集的h&e图像和由第一生成器深度卷积神经网络生成的生成的h&e图像；和第二鉴别器深度卷积神经网络，其被配置为区分训练集的uv-autom或uv-pam图像和由第二生成器深度卷积神经网络生成的生成的uv-autom或uv-pam图像。
21.在某些实施方式中，第一和第二生成器深度卷积神经网络是基于resnet或基于u-net的生成器网络。
22.在某些实施方式中，第一和第二鉴别器深度卷积神经网络是patchgan鉴别器网络。
23.在某些实施方式中，以uv-pam图像的形式接收的输入图像通过以下方式生成：控制聚焦组件的振镜扫描仪以根据扫描轨迹将紫外光聚焦在样本上；通过至少一个换能器接收样本响应于紫外光而发射的光声波；和基于光声波生成uv-pam图像。
24.在某些实施方式中，以估计的uv-autom图像的形式接收的输入图像从根据扫描轨迹捕获的散斑照射的图像的序列生成，其中，与序列中的每个散斑照射的图像相比，估计的uv-autom具有更高的分辨率。
25.在某些实施方式中，通过以下方式生成估计的uv-autom图像：a)基于对散斑照射的图像的序列的平均值进行插值来初始化高分辨率图像对象；b)对于序列中的每个散斑照射的图像：i)通过在计算上将高分辨率图像移位到扫描轨迹中的特定位置来生成估计的散斑照射的图像；ii)基于频域中的估计的散斑照射的图像和光学传递函数，确定频域中的经滤波的对象-图案复合；iii)基于频域中的估计的散斑照射的图像、频域中的相应的捕获的散斑照射的图像、频域中的经滤波的对象-图案复合和光学传递函数确定频域中的更新的估计的散斑照射的图像；iv)基于更新的估计的散斑照射的图像、空间域中的估计的散斑照射的图像和散斑图案更新高分辨率对象；v)基于更新的估计的散斑照射的图像、估计的散斑照射的图像和高分辨率图像对象更新散斑图案；vi)将nesterov动量加速度应用于高分辨率图像对象和散斑图案；和c)迭代地执行步骤b)直到检测到重构高分辨率图像对象的收敛，该高分辨率图像对象是估计的uv-autom图像，在厘米尺度成像区域上具有增强的亚细胞分辨率。
26.在第三方面，提供了一种或多种非暂时性计算机可读介质，其包括配置计算机系统以生成伪苏木精和伊红(h&e)染色图像的可执行指令，其中，该计算机系统具有一个或多
个处理器，其中，一个或多个处理器执行可执行指令将计算机系统配置为：接收输入图像，该输入图像是未标记样本的基于紫外的自发荧光显微术(uv-autom)图像或基于紫外的光声显微术(uv-pam)图像，其中，该输入图像是灰度图像；使用生成式对抗网络将输入图像变换为输入图像的伪h&e染色图像；和输出伪h&e染色图像。
27.在某些实施方式中，生成式对抗网络是具有循环一致性的生成式对抗网络。
28.在某些实施方式中，一个或多个处理器执行可执行指令将计算机系统配置为使用未配对的输入灰度图像和h&e染色图像来训练生成式对抗网络。
29.在某些实施方式中，生成式对抗网络包括四个深度卷积神经网络，包括：第一生成器深度卷积神经网络，其被配置为将输入图像变换为生成的h&e图像；第二生成器深度卷积神经网络，其被配置为将h&e图像变换为生成的uv-autom或uv-pam图像；第一鉴别器深度卷积神经网络，其被配置为区分训练集的h&e图像和由第一生成器深度卷积神经网络生成的生成的h&e图像；和第二鉴别器深度卷积神经网络，其被配置为区分训练集的uv-autom或uv-pam图像和由第二生成器深度卷积神经网络生成的生成的uv-autom或uv-pam图像。
30.在某些实施方式中，第一和第二生成器深度卷积神经网络是基于resnet或基于u-net的生成器网络。
31.在某些实施方式中，第一和第二鉴别器深度卷积神经网络是patchgan鉴别器网络。
32.在某些实施方式中，以uv-pam图像的形式接收的输入图像通过以下方式生成：控制聚焦组件的振镜扫描仪以根据扫描轨迹将紫外光聚焦在样本上；通过至少一个换能器接收样本响应于紫外光而发射的光声波；和基于光声波生成uv-pam图像。
33.在某些实施方式中，以估计的uv-autom图像的形式接收的输入图像从根据扫描轨迹捕获的散斑照射的图像的序列生成，其中，与序列中的每个散斑照射的图像相比，估计的uv-autom具有更高的分辨率。
34.在某些实施方式中，通过以下方式生成估计的uv-autom图像：a)基于对散斑照射的图像的序列的平均值进行插值来初始化高分辨率图像对象；b)对于序列中的每个散斑照射的图像：i)通过在计算上将高分辨率图像移位到扫描轨迹中的特定位置来生成估计的散斑照射的图像；ii)基于频域中的估计的散斑照射的图像和光学传递函数，确定频域中的经滤波的对象-图案复合；iii)基于频域中的估计的散斑照射的图像、频域中的相应的捕获的散斑照射的图像、频域中的经滤波的对象-图案复合和光学传递函数确定频域中的更新的估计的散斑照射的图像；iv)基于更新的估计的散斑照射的图像、空间域中的估计的散斑照射的图像和散斑图案更新高分辨率对象；v)基于更新的估计的散斑照射的图像、估计的散斑照射的图像和高分辨率图像对象更新散斑图案；vi)将nesterov动量加速度应用于高分辨率图像对象和散斑图案；和c)迭代地执行步骤b)直到检测到重构高分辨率图像对象的收敛，该高分辨率图像对象是估计的uv-autom图像，在厘米尺度成像区域上具有增强的亚细胞分辨率。
35.通过对实施例的描述将理解其他方面和实施例。
附图说明
36.现在将参考附图仅通过示例来描述本发明的优选实施例。
37.图1a和1b是通用计算机系统的示例的示意图，在该通用计算机系统上实现本文描述的各种布置。
38.图2a和2b是嵌入式系统的示例的示意图，在该嵌入式系统上实现本文描述的各种布置。
39.图3是示例uv-pam系统的示意图。
40.图4a是具有200nm直径的金纳米颗粒的uv-pam图像的示例，其中，提取沿着白色虚线的轮廓进行平均。
41.图4b是四个金纳米颗粒的平均的线轮廓的示例，其中，高斯拟合(实线)的fwhm(半峰全宽)约为613nm，表示图3的uv-pam系统的横向分辨率。
42.图4c是图4a中金纳米颗粒的中心位置的a线信号的示例，其中a线信号的包络的fwhm为38ns，其对应于58μm，表示图3的uv-pam系统的轴向分辨率。
43.图5a是示例uv-autom系统的示意图。
44.图5b和5c是表示通过散斑照射的低分辨率图像的序列重构uv-autom图像的示例计算机实现的方法的流程图。
45.图5d是表示通过散斑照射的低分辨率图像的序列重构uv-autom图像的计算机实现的方法的伪代码的示例。
46.图6示出了用于重构uv-autom图像的si重构方法和系统的示例的图形表示。
47.图7a是由4x/0.1na物镜捕获的低分辨率uv-autom图像的示例。
48.图7b是通过图5b和5c的方法重构的高分辨率uv-autom图像的示例。
49.图7c是分别在图7a和7b中标记的线700和710的线轮廓。
50.图8a和8b示出了由4x/0.1na物镜捕获的具有粗糙表面的两个叶子样品的uv-autom图像的示例。
51.图8c和8d示出了使用图5b和5c的方法从多个散斑照射的低分辨率图像重构的高分辨率uv-autom图像的示例。
52.图8e和8f示出了使用10x/0.3na物镜在图8a和8b中捕获的两个叶片样品的高分辨率参考图像。
53.图9a是整个小鼠脑的uv-autom图像(脱蜡之后的ffpe切片，厚度为4μm)，比例尺为500μm。
54.图9b和9c是图9a中的框910和920的放大图，每个都具有50μm的比例尺。
55.图9d和9e是对应于图9b和9c的明场h&e染色图像，每个都具有50μm的比例尺。
56.图10a是小鼠脑的俯视图的示例图像。
57.图10b和10c是重构的uv-autom图像的示例，每个图像描绘了切过图10a的小鼠脑的线a-a和b-b的横截面。
58.图10d到10h示出了图10c的重构的uv-autom图像中所描绘的小鼠脑的五个功能区域的高通量子视图。
59.图11a是表示用于生成伪染色组织学图像(即虚拟染色组织学图像)的示例计算机实现的系统的功能框图。
60.图11b是表示用于生成伪苏木精和伊红(h&e)染色图像的示例计算机实现的方法1150的流程图。
61.图12是表示cycle-gan的前向循环和后向循环的详细工作流程的功能框图。
62.图13是表示图11的cycle-gan的示例生成器的功能框图。
63.图14a是使用图3的系统生成的小鼠脑切片的灰度uv-pam图像的示例，其作为输入提供给根据图11到13配置的经训练cycle-gan。
64.图14b是由cycle-gan使用灰度uv-pam图像作为输入图像生成的作为输出图像的虚拟染色的组织学图像的示例。
65.图14c是在h&e染色之后使用明场显微术获得的在图14a中成像的相同样本的组织学图像的示例。
66.图15a是厚度为7μm的脱蜡ffpe小鼠脑切片的uv-autom图像的示例。
67.图15b是利用基于gan的网络的图15a的uv-autom图像的虚拟染色版本。
68.图15c是相对于图15a成像的小鼠脑切片的明场h&e图像。
69.图16a和16b是si重构的高分辨率uv-autom图像，其用图5b和5c的方法生成，分别示出了厚度为100μm和200μm的小鼠脑样品。
70.图16c和16d是使用图11到13的计算机实现的方法和系统生成的虚拟染色的h&e图像的示例。
71.图17a示出了来自具有7μm厚度的脱蜡ffpe小鼠脑样品的海马区的无标记uv-pam图像的示例，其中，uv-pam图像是使用图3的系统生成的。
72.图17b示出了在图17a中成像的海马区的uv-autom图像的示例。
73.图17c示出了对应于图17a和17b中成像的小鼠脑样品的明场h&e染色图像的示例。
具体实施方式
74.在任何一幅或多幅附图中参考具有相同附图标记的步骤和/或特征的情况下，这些步骤和/或特征出于本说明的目的具有相同的功能或操作，除非出现相反的意图。
75.应当注意，包含在“背景技术”部分中的讨论以及以上与现有技术布置相关的讨论涉及通过它们各自的公开和/或使用形成公共知识的文档或设备的讨论。这不应被解释为本发明人或专利申请人的此类文档或设备以任何方式构成本领域公知常识的一部分的表示。
76.参考图1a和1b，示出了通用计算机系统100的示例的示意图，在该通用计算机系统上实现本文描述的各种布置。
77.如图1a所示，计算机系统100包括：计算机模块101；输入设备，例如键盘102、鼠标指针设备103、扫描仪126、相机127和麦克风180；和输出设备，包括打印机115、显示设备114和扬声器117。计算机模块101可以使用外部调制器-解调器(调制解调器)收发器设备116来通过连接121与通信网络120进行通信。通信网络120可以是广域网(wan)，例如因特网，蜂窝电信网络或专用wan。在连接121是电话线的情况下，调制解调器116可以是传统的“拨号”调制解调器。替代地，在连接121是高容量(例如，电缆)连接的情况下，调制解调器116可以是宽带调制解调器。无线调制解调器也可用于无线连接到通信网络120。
78.计算机模块101通常包括至少一个处理器单元105和存储器单元106。例如，存储器单元106可以具有半导体随机存取存储器(ram)和半导体只读存储器(rom)。计算机模块101还包括多个输入/输出(i/o)接口，包括：联接到视频显示器114、扬声器117和麦克风180的
音频-视频接口107；联接到键盘102、鼠标103、扫描仪126、相机127和可选的操纵杆或其他人机接口设备(未示出)或投影仪的i/o接口113；以及用于外部调制解调器116和打印机115的接口108。在一些实施方式中，调制解调器116可以被并入计算机模块101内，例如在接口108内。计算机模块101还具有局域网络接口111，其允许计算机系统100通过连接123而联接到被称为局域网(lan)的局域通信网络122。如图1a所示，局域通信网络122还可以通过连接124而联接到广域网120，该连接124将通常包括所谓的“防火墙”设备或具有类似功能的设备。局域网络接口111可以包括以太网电路卡、无线装置或ieee 802.11无线装置；然而，可以对接口111实践许多其他类型的接口。
79.i/o接口108和113可以提供串行和并行连接中的任一个或两者，前者通常根据通用串行总线(usb)标准实现并且具有对应的usb连接器(未示出)。提供存储设备109并且其通常包括硬盘驱动器(hdd)110。也可以使用其他存储设备，例如软盘驱动器和磁带驱动器(未示出)。通常提供光盘驱动器112以充当非易失性数据源。便携式存储器设备，例如光盘(例如，cd-rom、dvd、蓝光盘
tm
)、usb-ram、便携式外部硬盘驱动器和软盘，例如可以用作系统100的适当数据源。
80.计算机模块101的部件105到113通常通过互连总线104并且以导致相关领域技术人员已知的计算机系统100的常规操作模式的方式进行通信。例如，处理器105使用连接118而联接到系统总线104。同样地，存储器106和光盘驱动器112通过连接119而联接到系统总线104。可以在其上实施所描述的布置的计算机的示例包括ibm-pc和兼容机、sun sparcstation、apple mac
tm
或类似的计算机系统。
81.本文描述的方法可以使用计算机系统100来实现，其中，本文描述的过程可以实现为在计算机系统100内可执行的一个或多个软件应用程序133。特别地，本文描述的方法的步骤由在计算机系统100内执行的软件133中的指令131(参见图1b)实现。软件指令131可以形成为一个或多个代码模块，每个代码模块用于执行一个或多个特定任务。
82.软件可以存储在计算机可读介质中，例如包括以下描述的存储设备。软件从计算机可读介质加载到计算机系统100中，然后由计算机系统100执行。在计算机可读介质上记录有这样的软件或计算机程序的计算机可读介质是计算机程序产品。在计算机系统100中使用计算机程序产品优选地实现了用于检测和/或共享写入动作的有利装置。
83.软件133通常存储在hdd 110或存储器106中。软件从计算机可读介质加载到计算机系统100中，并由计算机系统100执行。因此，例如，软件133可以被存储在由光盘驱动器112读取的光学可读盘存储介质(例如，cd-rom)125上。其上记录有这样的软件或计算机程序的计算机可读介质是计算机程序产品。
84.在一些情况下，应用程序133可以被提供给用户，该应用程序编码在一个或多个cd-rom 125上并通过对应的驱动器112读取，或者替代地可以由用户从网络120或122读取。进一步地，该软件也可以从其他计算机可读介质加载到计算机系统100中。计算机可读存储介质是指向计算机系统100提供记录的指令和/或数据以供执行和/或处理的任何非暂时性有形存储介质。这样的存储介质的示例包括软盘、磁带、cd-rom、dvd、blu-ray
tm
盘、硬盘驱动器、rom或集成电路、usb存储器、磁光盘或计算机可读卡，例如pcmcia卡等，无论这样的设备是在计算机模块101的内部还是外部。也可以参与向计算机模块101提供软件、应用程序、指令和/或数据的暂时性或无形计算机可读传输介质的示例包括无线电或红外传输信道以及
到另一计算机或联网设备的网络连接，以及互联网或内联网，包括电子邮件传输和记录在网站上的信息等。
85.可以执行应用程序133的第二部分和上述对应的代码模块实现一个或多个图形用户界面(gui)以在显示器114上呈现或以其他方式表示。通常通过操纵键盘102以及鼠标103，计算机系统100和应用的用户可以以功能上可适应的方式操纵界面以向与gui关联的应用提供控制命令和/或输入。也可以实现其他形式的在功能上可适应的用户界面，例如利用通过扬声器117输出的语音提示和通过麦克风180输入的用户语音命令的音频接口。
86.图1b是处理器105和“存储器”134的详细示意框图。存储器134表示可由图1a中的计算机模块101访问的所有存储器模块(包括hdd 109和半导体存储器106)的逻辑聚合。
87.当计算机模块101初始通电时，通电自检(post)程序150执行。post程序150通常存储在图1a的半导体存储器106的rom 149中。诸如存储软件的rom 149的硬件设备有时被称为固件。post程序150检查计算机模块101内的硬件以确保正常运行并且通常检查处理器105、存储器134(109、106)和基本输入-输出系统软件(bios)模块151，其通常也存储在rom 149中，以进行正确操作。一旦post程序150成功运行，bios 151就激活图1a的硬盘驱动器110。硬盘驱动器110的激活导致驻留在硬盘驱动器110上的引导加载程序152通过处理器105执行。这将操作系统153加载到ram存储器106中，操作系统153在该ram存储器上开始操作。操作系统153是系统级应用，可由处理器105执行，以实现各种高级功能，包括处理器管理、存储器管理、设备管理、存储管理、软件应用界面和通用用户界面。
88.操作系统153管理存储器134(109、106)以确保在计算机模块101上运行的每个进程或应用具有足够的存储器来在其中执行，而不会与分配给另一进程的存储器发生冲突。此外，必须正确使用图1a的系统100中可用的不同类型的存储器，以便每个进程能够有效地运行。因此，聚合的存储器134并非旨在说明如何分配特定的存储器段(除非另有说明)，而是提供计算机系统100可访问的存储器以及如何使用存储器的一般视图。
89.如图1b所示，处理器105包括多个功能模块，包括控制单元139、算术逻辑单元(alu)140和本地或内部存储器148，有时称为高速缓冲存储器。高速缓冲存储器148通常在寄存器部分中包括多个存储寄存器144-146。一个或多个内部总线141在功能上将这些功能模块互连。处理器105通常还具有一个或多个接口142，用于使用连接118通过系统总线104与外部设备通信。存储器134使用连接119而联接到总线104。
90.应用程序133包括指令序列131，其可以包括条件分支和循环指令。程序133还可包括在程序133执行时使用的数据132。指令131和数据132分别存储在存储器位置128、129、130和135、136、137中。取决于指令131和存储位置128-130的相对大小，特定指令可以存储在单个存储位置中，如存储位置130中所示的指令所描绘的那样。替代地，可以将指令分段为多个部分，其中的每个部分存储在单独的存储位置中，如存储位置128和129中所示的指令段所描绘的那样。
91.通常，处理器105被给予一组在其中执行的指令。处理器105等待后续输入，处理器105通过执行另一组指令对后续输入作出反应。每个输入可以从多个源中的一个或多个提供，包括由一个或多个输入设备102、103生成的数据、在网络120、102之一上从外部源接收的数据、从存储设备106、109之一检索的数据或从插入对应读取器112的存储介质125检索的数据，全部在图1a中示出。在某些情况下，一组指令的执行可以导致数据的输出。执行还
可以涉及将数据或变量存储到存储器134。
92.所公开的写入检测和共享布置使用输入变量154，其存储在存储器134中的对应存储器位置155、156、157中。写入检测和共享布置产生输出变量161，其存储在存储器134中的对应存储位置162、163、164中。中间变量158可以存储在存储位置159、160、166和167中。
93.参考图1b的处理器105，寄存器144、145、146、算术逻辑单元(alu)140和控制单元139一起工作以执行对于构成程序133的指令组中的每个指令执行“取指、解码和执行”循环所需的微操作序列。每个取指、解码和执行循环包括：取指操作，其从存储器位置128、129、130提取或读取指令131；解码操作，其中，控制单元139确定已提取哪个指令；以及执行操作，其中，控制单元139和/或alu 140执行该指令。
94.此后，可以执行下一指令的进一步的取指、解码和执行循环。类似地，可以执行存储循环，通过该存储循环，控制单元139将值存储或写入存储位置162。
95.本文描述的过程中的每个步骤或子过程与程序133的一个或多个段关联并且由处理器105中的寄存器部分144、145、147、alu 140和控制单元139执行，它们一起工作以对于程序133的所述段的指令组中的每个指令执行取指、解码和执行循环。
96.本文描述的方法可以替代地在专用硬件中实现，例如执行写入检测和共享方法的功能或子功能的一个或多个集成电路。这样的专用硬件可以包括图形处理器、数字信号处理器或一个或多个微处理器和关联的存储器。
97.图2a和2b共同形成了包括嵌入式部件的通用电子设备201的示意框图，在其上合意地实践要描述的写入检测和/或共享方法。电子设备201可以是例如移动电话、便携式媒体播放器、虚拟现实眼镜或数码相机，其中处理资源是有限的。然而，要描述的方法也可以在更高级别的设备上执行，例如台式计算机、服务器计算机和具有显著更多的处理资源的其他此类设备。
98.如图2a所示，电子设备201包括嵌入式控制器202。因此，电子设备201可被称为“嵌入式设备”。在本示例中，控制器202具有双向联接到内部存储模块209的处理单元(或处理器)205。存储模块209可以由非易失性半导体只读存储器(rom)260和半导体随机存取存储器(ram)270形成，如图2b所示。ram 270可以是易失性的、非易失性的或易失性和非易失性存储器的组合。
99.电子设备201包括显示控制器207，其连接到显示器214，例如液晶显示(lcd)面板等。显示控制器207被配置为根据从显示控制器207连接到的嵌入式控制器202接收的指令在显示器214上显示图形图像。
100.电子设备201还包括用户输入设备213，其通常由键、小键盘或类似控件形成。在一些实施方式中，用户输入设备213可以包括与显示器214物理地关联的触敏面板以共同形成触摸屏。这样的触摸屏因此可以作为图形用户界面(gui)的一种形式操作，而不是通常与小键盘-显示器组合一起使用的提示或菜单驱动的gui。也可以使用其他形式的用户输入设备，例如用于语音命令的麦克风(未示出)或用于易于关于菜单的导航的操纵杆/拇指轮(未示出)。
101.如图2a所示，电子设备201还包括便携式存储器接口206，其通过连接219而联接到处理器205。便携式存储器接口206允许互补的便携式存储器设备225联接到电子设备201，以充当数据的源或目的地或补充内部存储模块209。这样的接口的示例允许与便携式存储
设备联接，例如通用串行总线(usb)存储器设备、安全数字(sd)卡、个人计算机存储卡国际协会(pcmia)卡、光盘和磁盘。
102.电子设备201还具有通信接口208以允许设备201通过连接221联接到计算机或通信网络220。连接221可以是有线的或无线的。例如，连接221可以是射频或光学的。有线连接的示例包括以太网。此外，无线连接的示例包括蓝牙
tm
型本地互连、wi-fi(包括基于ieee 802.11族标准的协议)、红外数据协会(irda)等。
103.通常，电子设备201被配置为执行一些特殊功能。嵌入式控制器202，可能与另外的特殊功能部件210结合，被提供来执行该特殊功能。例如，在设备201是数码相机的情况下，部件210可以表示相机的镜头、对焦控制和图像传感器。特殊功能部件210连接到嵌入式控制器202。作为另一示例，设备201可以是移动电话手机。在这种情况下，部件210可以表示蜂窝电话环境中的通信所需的那些部件。在设备201是便携式设备的情况下，特殊功能部件210可以表示包括联合图像专家组(jpeg)、(运动图像专家组)mpeg、mpeg-1音频层3(mp3)等在内类型的多个编码器和解码器。
104.下文描述的方法可以使用嵌入式控制器202来实现，其中，本文描述的过程可实现为可在嵌入式控制器202内执行的一个或多个软件应用程序233。图2a的电子设备201实现所描述的方法。特别地，参考图2b，所描述的方法的步骤由在控制器202内执行的软件233中的指令实现。软件指令可以形成为一个或多个代码模块，每个代码模块用于执行一个或多个特定任务。软件也可以被分成两个单独的部分，其中，第一部分和对应的代码模块执行所描述的方法，并且第二部分和对应的代码模块管理第一部分和用户之间的用户界面。
105.嵌入式控制器202的软件233通常存储在内部存储模块209的非易失性rom 260中。存储在rom 260中的软件233可以在需要时从计算机可读介质进行更新。软件233可以被加载到处理器205中并且由处理器205执行。在一些情况下，处理器205可以执行位于ram 270中的软件指令。可以通过处理器205将一个或多个代码模块的副本从rom 260加入到ram 270中来将软件指令加载到ram 270中。替代地，一个或多个代码模块的软件指令可以由制造商预先安装在ram 270的非易失性区域中。在一个或多个代码模块已位于ram 270中之后，处理器205可执行该一个或多个代码模块的软件指令。
106.在分发电子设备201之前，应用程序233通常由制造商预先安装并存储在rom 260中。然而，在一些情况下，应用程序233可以被提供给用户，其编码在一个或多个cd-rom(未示出)上并在存储在内部存储模块209或便携式存储器225中之前通过图2a的便携式存储器接口206读取。在另一替代方案中，软件应用程序233可以由处理器205从网络220读取，或从其他计算机可读介质加载到控制器202或便携式存储介质225中。计算机可读存储介质是指参与向控制器202提供指令和/或数据以供执行和/或处理的任何非暂时性有形存储介质。这样的存储介质的示例包括软盘、磁带、cd-rom、硬盘驱动器、rom或集成电路、usb存储器、磁光盘、闪存或计算机可读卡，例如pcmcia卡等，无论这样的设备是在设备201的内部还是外部。也可以参与向设备201提供软件、应用程序、指令和/或数据的暂时性或无形计算机可读传输介质的示例包括无线电或红外传输信道以及到另一计算机或联网设备的网络连接，以及互联网或内联网，包括电子邮件传输和记录在网站上的信息等。其上记录有这样的软件或计算机程序的计算机可读介质是计算机程序产品。
107.可以执行应用程序233的第二部分和上述对应的代码模块实现一个或多个图形用
户界面(gui)以在图2a的显示器214上呈现或以其他方式表示。通过操纵用户输入设备213(例如小键盘)，设备201和应用程序233的用户可以以功能上可适应的方式操纵界面以向与gui关联的应用提供控制命令和/或输入。也可以实现其他形式的在功能上可适应的用户界面，例如利用通过扬声器(未示出)输出的语音提示和通过麦克风(未示出)输入的用户语音命令的音频接口。
108.图2b详细示出了具有用于执行应用程序233的处理器205和内部存储装置209的嵌入式控制器202。内部存储装置209包括只读存储器(rom)260和随机存取存储器(ram)270。处理器205能够执行存储在连接的存储器260和270之一或两者中的应用程序233。当电子设备201初始通电时，驻留在rom 260中的系统程序被执行。永久存储在rom 260中的应用程序233有时被称为“固件”。处理器205执行固件可以实现各种功能，包括处理器管理、存储器管理、设备管理、存储管理和用户界面。
109.处理器205通常包括多个功能模块，包括控制单元(cu)251、算术逻辑单元(alu)252、数字信号处理器(dsp)253和包括通常包含原子数据元素256、257的一组寄存器的本地或内部存储器254，以及内部缓冲器或高速缓冲存储器255。一个或多个内部总线259将这些功能模块互连。处理器205通常还具有一个或多个接口258，用于使用连接261通过系统总线281与外部设备通信。
110.应用程序233包括指令262到263的序列，其可以包括条件分支和循环指令。程序233还可以包括在程序233执行时使用的数据。该数据可以作为指令的一部分存储或存储在rom 260或ram 270内的单独位置264中。
111.通常，处理器205被给予一组指令，该组指令在处理器中执行。这组指令可以被组织成块，其执行特定任务或处理在电子设备201中发生的特定事件。一般地，应用程序233等待事件并且随后执行与该事件关联的代码块。事件可以响应于通过图2a的用户输入设备213来自用户的输入而被触发，该输入由处理器205检测。事件也可以响应于电子设备201中的其他传感器和接口而被触发。
112.一组指令的执行可能需要读取和修改数值变量。这样的数值变量存储在ram 270中。所公开的方法使用存储在存储器270中已知位置272、273中的输入变量271。处理输入变量271以产生存储在存储器270中已知位置278中的输出变量277，279。中间变量274可以存储在存储器270的位置275、276中的附加存储器位置中。替代地，一些中间变量可以仅存在于处理器205的寄存器254中。
113.指令序列的执行在处理器205中通过取指-执行循环的重复应用来实现。处理器205的控制单元251维护称为程序计数器的寄存器，该寄存器包含要执行的下一个指令在rom 260或ram 270中的地址。在取指执行循环开始时，由程序计数器索引的存储器地址的内容被加载到控制单元251中。这样加载的指令控制处理器205的后续操作，使得例如数据从rom存储器260被加载到处理器寄存器254中、寄存器的内容与另一寄存器的内容进行算术组合、寄存器的内容要被写入存储在另一寄存器中的位置等。在取指执行循环结束时，程序计数器被更新以指向系统程序代码中的下一个指令。取决于刚执行的指令，这可能涉及递增包含在程序计数器中的地址或用新地址加载程序计数器以实现分支操作。
114.下面描述的方法的过程中的每个步骤或子过程与应用程序233的一个或多个段关联，并且通过在处理器205中重复执行取指-执行循环或电子设备201中的其他独立处理器
块的类似程序操作来执行。
115.各方面提供了基于紫外光照射下的固有光吸收对比度的高通量、无标记和无载玻片的成像方法和系统，以直接探测组织学染色的生物分子。公开了两种方法，即基于紫外的(i)光声显微术(uv-pam)和(ii)自发荧光显微术(uv-autom)。为了实现uv-pam的高通量，可以使用高速光学扫描配置。与uv-autom相关，利用散斑照射(si)，其允许使用低倍率物镜估计高分辨率图像，提供在厘米尺度成像区域上的亚细胞分辨率图像，同时允许对组织表面形态、载玻片放置误差和厚度引起的图像模糊的高容忍度。
116.对于uv-pam和uv-autom这两种类型的图像，公开了基于深度学习的虚拟染色方法和系统，其可用于以亚细胞分辨率生成大的未处理的新鲜/固定组织的组织学样图像。虚拟染色方法和系统利用生成式对抗网络(gan)，该生成式对抗网络被配置为能够通过配对/未配对的训练示例将未标记组织的uv-pam或uv-autom图像变换为组织学染色图像。所公开的方法和系统可以将标准护理组织病理学的工作流程从几天简化到不到十分钟，能够进行术中手术切缘评估，从而减少或消除由于切缘阳性而导致的第二次手术的需要。
117.基于紫外的光声显微术(uv-pam)
118.与常规的光学显微术不同，pam利用了高度特异性的光学吸收对比度的优势。通过使用uv脉冲激光(波长范围为～240
–
280nm)作为激发光束，可以突出显示细胞核，从而提供无标记的组织学样图像。
119.参考图3，示出了uv-pam系统300的示例。特别地，纳秒脉冲uv激光器302(例如，wedge-hf 266nm，可从bright solution有限责任公司获得)通过聚焦组件303而聚焦。特别地，由uv激光器302发射的光被一对透镜304、308(例如，la4647-uv和la4663-uv，可从thorlabs公司获得)扩展。uv光束的质量可以通过位于该对透镜304、308之间的针孔306来提高。针孔306的尺寸的直径可以是10μm到100μm(例如，p25c，可从thorlabs公司获得)。光束随后被1d振镜扫描仪310反射，然后被物镜310(例如，thorlabs公司的microspot
tm
聚焦物镜(lmu-20x-uvb))聚焦在样本312的底部。样本312被放置在水箱314的底部，水箱314由附接到xyz平移台318的样品架315保持。水箱314充满水以允许光声波向上传播并被浸水超声换能器316(例如，v324-su，可从olympus ndt公司获得)检测。
120.接收的声压被转换为电信号，然后由放大器320(例如，两个zfl-500ln-bnc ，可从mini-circuits公司获得)放大，最后通过数据采集系统322(例如，ats9350，可从alazar technologies公司获得)由计算机系统100或201接收。为了生成二维图像，首先要识别每个a线信号的最大幅度投影(map)。然后根据扫描过程中的顺序重新排列最大幅度投影以生成灰度图像。
121.在操作中，可以控制聚焦组件的振镜扫描仪310以根据扫描轨迹将紫外光聚焦在样本312上。对振镜扫描仪310的控制可以由计算机系统100或计算机化嵌入式设备201的一部分来执行。换能器316被配置为接收样本312响应于紫外光而发射的光声波。计算机系统100或嵌入式设备201基于光声波生成uv-pam图像。
122.为了测量uv-pam系统的横向和轴向分辨率，在x轴和y轴上以0.15μm的步长对金纳米颗粒(直径200nm)进行成像(图4(a))。选择四个金纳米颗粒的数据点并进行平均以通过高斯曲线拟合测量横向分辨率，如图4(b)所示。高斯拟合曲线的半峰全宽(fwhm)为～0.6μm。为了评估轴向分辨率，可以提取中心位置的a线信号的包络。图4(c)示出了(a)中金纳米
颗粒的中心位置的a线信号。a线信号的包络的fwhm为38ns，其对应于58μm，表示uv-pam系统的轴向分辨率。
123.基于紫外的自发荧光显微术(uv-autom)
124.在组织病理学检查中，通常需要具有20x-40x放大因数的物镜来实现亚细胞分辨率以观察细胞形态和代谢活动。然而，这样的放大因数将视场(fov)限制在1mm2以内。此外，高放大倍率物镜更容易受到空间变化像差的影响，并且具有浅景深(dof)，这导致对显微镜载玻片的放置误差和样本粗糙度的容忍度较低。出于这些原因，通过使用高放大倍率物镜进行图像拼接来捕获大组织表面是次优的。
125.公开了一种散斑照射(si)方法，以缓解数字显微镜中大fov和高分辨率(hr)之间的固有折中，从而实现具有亚细胞分辨率的对不同感兴趣区域的高通量可视化。
126.如图5a所示，示出了示例uv-autom系统500，未染色的新鲜组织312被放置在连接到xyz电动载物台318(例如，三个l-509，可从pi micos公司获得)的顶部打开的样品架上。uv激光器302(例如，wedge-hf266nm，可从bright solution有限责任公司获得)被准直并投射到熔融石英漫射器(例如，dguv10-600，可从thorlabs公司获得)上以产生散斑图案。所产生的波通过作为聚焦组件303的一部分的数值孔径(na)为0.69的非球面uv聚光透镜512(例如，#33-957，可从edmund optics公司获得)聚焦。通过uv透明窗514(例如，从200nm到1500nm的透射率大于90％)倾斜地照射样品312。激发的自发荧光信号(主要来自nadh和fad，峰值发射在450nm)然后通过配备有4x物镜518(例如na＝0.1，平面消色差物镜，可从olympus ndt公司获得)和无限远校正管透镜520(ttl180-a，可从thorlabs公司获得)的倒置显微镜517收集，最后由单色科学互补金属氧化物半导体(scmos)相机522(例如，pco edge 4.2，6.5μm像素间距，可从pco公司获得)成像。
127.低放大倍率物镜在大fov上受空间变化的像差影响较小，并且具有更大的dof和更长的工作距离，这允许对载玻片放置误差的高容忍度并能够实现在样品台上的灵活操作。然而，其空间分辨率在很大程度上受到低na值的限制，na值是根据瑞利准则(即成像系统可以解析的最小距离为0.61λ/na，其中，λ是荧光发射波长，且na是物镜的数值孔径)对于成像系统的可实现分辨率的确定因素。为此，si重构被用来绕过这种配置中由低na物镜设置的这样的分辨率限制。
128.公开了基于散斑照射实现自发荧光显微术的计算成像方法。在优选实施例中，该方法实现了高通量显微术。特别地，“高通量显微术”涉及使用自动化显微术和图像分析来在大尺度可视化和定量捕获细胞特征。更具体地说，由于散斑照射的应用，高通量输出的空间带宽积(即视场/分辨率2)约或等于常规荧光显微术的10倍，后者通常限于百万像素级别。低放大倍率物镜更有利于对大组织表面进行成像，因为它受空间变化的像差影响较小。此外，由于低放大倍率透镜具有大景深，因此可以通过实现低放大倍率透镜最大限度地减少由表面不规则、组织厚度或载玻片放置误差引起的离焦图像模糊。然而，这样的透镜的低数值孔径(na)值在很大程度上限制了可实现的分辨率，从而阻碍了它们在亚细胞水平成像目标上的应用。所提出的方法通过散斑照射的低分辨率自发荧光图像的序列执行迭代重构，以绕过由na物镜设置的分辨率限制，从而促进具有任意表面形态的大成像区域上的快速高分辨率成像。
129.参考图5b和5c，示出了表示从散斑照射的图像的序列重构uv激发的自发荧光图像
(uv-autom)的示例计算机实现的方法530的流程图。计算机实现的方法530可以由关于图1a和1b所描述的计算机系统100或由关于图2a和2b所描述的嵌入式设备201来执行。图5d提供了进一步表示从散斑照射的图像的序列重构高通量uv激发的自发荧光图像(uv-autom)的更具体的实施方式的伪代码。这里将参考图5d的伪代码来描述图5b和5c的流程图。
130.特别地，在步骤530-1，方法530包括记录被平移到平面中沿着扫描轨迹的相应位置序列的样本的散斑照射的图像的序列ij(j＝1，2，...，n)。在方法530的输出是高分辨率图像的意义上，散斑照射的图像的序列i是低分辨率图像，与低分辨率散斑照射的图像中的每一个ij相比，具有更高的分辨率。在一个示例中，可以使用4x/0.1na物镜捕获散斑照射的图像的序列。
131.在步骤530-2，方法530包括初始化图像对象o(x，y)和散斑图案，图像对象o(x，y)在这里称为高分辨率图像对象。如伪代码第3行所示，对散斑照射的图像的序列进行平均并对平均的散斑照射的图像进行插值，其中，高分辨率图像对象o(x，y)被设置为平均的散斑照射的图像的插值结果。散斑图案被初始化为1的矩阵。
132.在步骤530-3，当前位置被设置为位置序列中的第一位置。图5d伪代码中的当前位置由(xj，yj)表示。
133.以图5b和5c所示的流程图的内循环的形式，对捕获的序列中的每个散斑照射的图像执行步骤530-4到530-11。参考图5d的伪代码，内循环表示第6到14行，而外循环由第5到17行表示。对于内循环，有效地将当前位置变量递增到位置序列中的下一个位置并且在相应当前位置处的对应散斑照射的图像用于图像处理步骤以修改高分辨率图像对象和散斑图案。
134.更具体地，在步骤530-4，方法530包括通过在计算上将高分辨率对象移位到当前位置o(x-xj，y-yj)，然后乘以散斑图案p(x，y)来生成估计的散斑照射的图像这在图5d的伪代码的第7行中示出。
135.在步骤530-5，方法530包括基于频域中的估计的散斑照射的图像其乘以光学传递函数otf(k
x
，ky)，确定频域中的经滤波的对象-图案复合ψj(k
x
，ky)，其中，k
x
和ky是频域中的空间坐标。光学传递函数是用于捕获样本的散斑照射的图像的序列的装置的已知光学传递函数。
136.需要说明的是，步骤530-4和530-5中的移位操作统称为角频谱的应用。
137.下面描述的步骤530-6到530-8是基于称为叠层迭代引擎(ptychographic iterative engine，pie)的相位检索算法的重构过程。
138.在步骤530-6，方法530包括基于频域中的估计的散斑照射的图像、频域中在当前位置的捕获的散斑照射的图像、频域中的经滤波的对象-图案复合、光学传递函数和自适应学习率参数α，确定频域中的更新的估计的散斑照射的图像更具体地，图5d伪代码的第9行示出了在频域中的更新的估计的散斑照射的图像的具体计算，其如下面的等式1所示：
[0139][0140]
特别地，计算频域中的更新的估计的散斑照射的图像等于：频域中的估计的散斑
14确定。
[0153]
由方法530表示的这种计算成像方法合成散斑照射的低分辨率图像的序列以重构高分辨率自发荧光图像(uv-autom)。该方法是通过空间域和频域的一系列更新过程实现的。该方法从对高分辨率对象的初始猜测开始。对象首先与散斑图案相乘，进行傅里叶变换到频域并通过光学传递函数进行低通滤波。然后将经滤波的光谱逆变换到空间域，其强度由对应的散斑照射的低分辨率图像替换。最后，该更新的自发荧光图像被变换到频域并进一步更新。完成一次迭代，直到涉及所有捕获的低分辨率图像，并实施nesterov动量加速以实现更快的梯度下降。在多次迭代之后输出高分辨率uv-autom图像，其在厘米尺度图像区域上具有增强的亚细胞分辨率。不需要散斑图案的先验知识，只需知道每个低分辨率图像之间的相对移位即可。
[0154]
在数次迭代之后将输出高分辨率uv-autom图像，其在厘米尺度图像区域上具有增强的亚细胞分辨率。不需要散斑图案的先验知识，只需要知道每个捕获的图像之间的相对移位(xj,yj)。这表明足够的扫描范围(大于～2低na衍射极限光斑尺寸)和更精细的扫描步骤(小于目标分辨率)可以减少重构中的失真，并且最终可实现的na是物镜na和散斑na之和。
[0155]
图6示出了先前关于图5a到5c描述的si重构方法和系统的示例的图形表示。图6在610示出了在傅立叶空间中由4x/0.1na物镜设置的物理约束以及小鼠脑样品(100μm厚度)的对应低分辨率原始图像。si数据集620是使用4x/0.1na物镜采集的，如图6所示，在本示例中，该数据集包括49个散斑照射的低分辨率测量，通过以500nm的扫描步长将样品平移到x-y平面中的49个不同位置来捕获。然后可以使用si数据集重构高通量uv-autom图像630，其扩展通带高达na＝0.3，与使用4x/0.1na物镜采集的图像相比，这对应于3倍的分辨率增强。
[0156]
直径为500nm(激发/发射：365nm/445nm，b500，可从thermo fisher获得)的荧光纳米颗粒可用于量化上述si重构方法和系统的分辨率性能。参考图7a，示出了在均匀照射下使用4x/0.1na物镜捕获的低分辨率荧光图像的示例，而图7b是通过以500nm步长光栅扫描的49个散斑照射的低分辨率图像重构的高分辨率荧光图像。图7a和7b均使用266nm紫外激光捕获。图7c是沿着图7a和7b中指示的实线700、710的强度图，从中我们可以量化通过所公开的si重构方法和系统的分辨率增强。
[0157]
有利地，si重构方法和系统可以高度容忍粗糙表面。为了证明我们的系统对粗糙表面的高度容忍度，图8a-8c示出了两个未处理的叶子样品的uv-autom图像。图8a和8b示出了使用4x/0.1na物镜捕获的低分辨率自发荧光图像，而图8c和8d示出了高分辨率si重构的uv-autom图像，其通过以500nm的步长扫描的49个散斑照射的低分辨率图像进行重构。图8e和8f示出了使用10x/0.3na物镜捕获的对应高分辨率参考图像，与图8c和8d相比，由于高na物镜的浅dof，呈现出明显的离焦区域，证明经由低na物镜通过si方法重构的高分辨率uv-autom图像可以远远优于高na物镜，尤其是在应对粗糙表面时。
[0158]
参考图9a到9f，示出了uv-autom和明场h&e染色图像之间的结构匹配。图9a是整个小鼠脑切片(脱蜡之后的ffpe切片，厚度为4μm)的uv-autom图像，图9b和9c分别是图9a中的框910和920的放大图像，而图9d和9e分别是通过数字切片扫描仪(nanozoomers q，hamamatsu)捕获的对应明场h&e组织学图像。可以看出，集中在切缘(框910)和海马体(框920)区域的细胞在具有负对比度的uv-autom图像中被清晰解析，即在图像上显示为黑色，
并表现出与h&e染色的图像的基本完美的结构匹配(细胞形态和分布)。
[0159]
参考图10a到10g，示出了厚小鼠脑(100μm厚，由leica振动切片机切割)的高通量无标记可视化。由于uv光的穿透深度较浅，激发的自发荧光表面位于在表面以下几微米内，因此允许对厚样本进行无标记和无载玻片成像。此外，应用上述si重构方法和系统通过4x物镜实现整个小鼠脑的快速高分辨率可视化，与10x物镜相比，成像像差更少，并允许对粗糙组织表面容忍度更高。图10a示出了小鼠脑顶视图的示例图像。图10b和10c是重构的uv-autom图像的示例，每个图像描绘了切过图10a的小鼠脑的相应位置(线aa和bb)的横截面，其中，每个重构的uv-autom图像是使用包括441个散斑照射的低分辨率图像的si数据集生成的。每个低分辨率原始图像的曝光时间为200ms，可实现快速成像，总采集时间在3分钟内。图10d到10h示出了图10c中五个功能区域的高通量子视图，包括(a)胼胝体1010、(b)海马体1020、(c)苍白球1030、(d)尾壳核1040和(e)顶叶皮层1050。
[0160]
伪染色组织学图像的生成
[0161]
病理学家通常接受过检查组织学染色的组织样本以做出诊断决定的训练。但是，uv-pam和uv-autom图像都是灰度图像。为了解决或缓解这个问题，公开了一种利用生成式对抗网络(gan)的基于深度学习的虚拟染色方法，用于将未标记组织的uv-pam或uv-autom图像变换为伪苏木精和伊红(h&e)染色图像。
[0162]
gan允许对未配对的uv-pam/uv-autom和h&e图像进行虚拟染色，从而大大简化了图像预处理过程，图像预处理过程是困难的，因为在染色过程中可能要使组织旋转或变形。配对训练方法也可以用于uv-pam/uv-autom图像及对应的h&e染色图像，以执行伪着色。
[0163]
在某些实施例中，可以提供使用关于图3描述的方法和系统生成的uv-pam图像和使用图5a、5b和5c的系统和方法生成的si重构uv-autom图像作为经训练的cycle-gan的输入，以生成伪染色的组织学图像。附加地或替代地，使用美国专利申请no.2014/0356897(通过引用将该专利申请的内容整体并入本文)中公开的系统和方法生成的uv-pam图像可以用作gan的输入以生成伪染色的组织学图像。
[0164]
参考图11a，示出了表示用于生成伪染色组织学图像(即，虚拟染色组织学图像)的示例计算机实现的系统的框图。该计算机实现的系统可以使用计算机系统100或嵌入式系统201来实现。
[0165]
计算机实现的系统利用生成式对抗网络1100(gan)，其可以以循环一致的生成式对抗网络(cycle-gan)的形式提供。cycle-gan 1100包括四个深度卷积神经网络，即第一生成器模块g、第二生成器模块f、第一鉴别器模块x和第二鉴别器模块y。
[0166]
如图11a所示，生成器g被配置为学习将uv-autom/uv-pam输入图像1110(例示为uv-pam图像)变换为明场h&e图像1120(例示为br-he图像)，而生成器f被配置为学习将明场h&e图像1120变换为uv-autom/uv-pam图像1110。鉴别器x被配置为区分真的uv-pam图像和生成器f生成的假uv-pam图像，如输出1130所示，同时，鉴别器y被配置为区分真的明场h&e图像和由生成器g产生的假明场h&e图像，如输出1140所示。一旦生成器g可以产生鉴别器y无法与输入的真h&e图像区分的h&e图像，生成器g就已经学会这种从uv-autom/uv-pam图像到h&e图像的变换。类似地，一旦生成器f可以产生鉴别器x无法与真实h&e图像区分的uv-autom/uv-pam图像，生成器f就已经学会从h&e图像到uv-autom/uv-pam图像的这种变换。
[0167]
参考图11b，示出了表示用于生成伪苏木精和伊红(h&e)染色图像的示例计算机实
现方法1150的流程图。计算机实现的方法可以由计算机系统100或嵌入式系统201执行。
[0168]
在步骤1160，方法1150包括接收输入图像。该输入图像是未标记样本的基于紫外的自发荧光显微术(uv-autom)图像或基于紫外的光声显微术(uv-pam)图像。该输入图像是灰度图像。
[0169]
在步骤1170，方法1150包括使用生成式对抗网络将输入图像变换为输入图像的伪h&e染色图像。
[0170]
在步骤1180，方法1150包括输出伪h&e染色图像。
[0171]
优选地，该生成式对抗网络是具有循环一致性的生成式对抗网络。
[0172]
在某些实施方式中，方法1150包括使用未配对的输入和h&e染色图像来训练生成式对抗网络。
[0173]
参考图12，示出了表示图11的cycle-gan 1100的前向循环1202和后向循环1204的详细工作流程1200的功能框图。该循环生成式对抗网络包括四个深度卷积神经网络，包括：第一生成器g，其被配置为将输入图像变换为生成的h&e图像；第二生成器f，其被配置为将h&e图像变换为生成的uv-autom或uv-pam图像；第一鉴别器y，其被配置为区分训练集的h&e图像和由第一生成器深度卷积神经网络生成的生成的h&e图像；第二鉴别器x，其被配置为区分训练集的uv-autom或uv-pam图像和由第二生成器深度卷积神经网络生成的生成的uv-autom或uv-pam图像。
[0174]
更具体地，在将一个uv-autom/uv-pam图像1210(这里称为输入图像)输入到生成器g之后，如图12所示示意图的顶行所示的前向循环1202，其中，生成器g输出生成的h&e图像1220。鉴别器y被配置为确定生成的h&e图像1220是真的还是假的(即鉴别器y被配置为识别从生成器g接收的h&e图像是否源自输入的真h&e图像还是来自生成器g)。反过来，生成器g的生成的h&e图像1220作为输入提供给生成器f，以将其变换回uv-autom/uv-pam图像1230，其被称为循环图像1230。输入图像1210和循环图像1230之间的损失被称为cycle-gan中的循环一致性损失。如图12的示意图的底行1204所示，后向循环与前向循环对称。后向循环从输入h&e图像1240开始，其中，后向循环学习将br-h&e图像1240变换为uv-autom/uv-pam图像1250。类似地，鉴别器x被配置为通过将生成的uv-autom/uv-pam图像与输入图像进行比较来确定生成的uv-autom/uv-pam图像是真还是假。
[0175]
参考图13，其示出了表示图11a的cycle-gan的示例生成器1300的功能框图。在一种形式中，第一和第二生成器、生成器g和f，可以配置为基于resnet的生成器网络。在替代实施例中，生成器g和f可以被配置为基于u-net的生成器网络。每个基于resnet的生成器可以由以下组成：几个下采样层1320a、1330a、1330b、13330c、残差块1310a-1310i和上采样层1330d、1330e和1320b。在图13所示的示例中，9个残差块1310a-1310i用于训练uv-pam和he图像，每个图像的像素数为256x256。在神经网络的开头添加空间反射填充(3x3)，以确保相应生成器神经网络的输入和输出具有相同的大小。填充层1320a之后，每个基于resnet的生成器1300包括下采样路径，该下采样路径包括三个convolution-instancenorm-relu层1330a、1330b和1330c。特别地，第一convolution-instancenorm-relu下采样层1330a具有较大的感受野，内核大小为7x7，而其他两个层1330b、1330c具有较小的感受野，内核大小为3x3。图像大小恢复到原始图像大小，并且通道在第一层1330a之后增加到64。当图像通过另外两个层1330b、1330c时，图像大小降低2倍而通道数增加2倍。接着是下采样层1320a、
1330a、1330b、1330c，它是长残差神经网络，包括9个残差块1310a-1310i。当图像通过每个残差块时，图像大小和通道数保持不变(256x64x64)。在9个残差块1310a-1310i之后，生成器1300包括上采样路径，该上采样路径包括两个convolution-instancenorm-relu层1330d、1330e，内核大小为3x3，以及与convolution-instancenorm-relu层1340联接的反射填充层1320b(3x3)，内核大小为7x7。在每个上采样层之后，图像大小增加2倍，而通道数减少一半。在两个上采样层之后，图像大小恢复到原始图像大小，且通道数减少到64。最后联接的层1340被配置为保持图像大小不变，同时将通道数减少到3。
[0176]
在特定配置中，鉴别器网络dx和dy可以由70x70 patchgan鉴别器提供，其包括四个4x4 convolution-instancenorm-leakyrelu层。patchgan将在最后一层之后产生一维输出(真或假)。
[0177]
所描述的gan是使用python版本3.7.3版，借助pytorch版本1.0.1实现的。软件是在具有3.7ghz的core i7-8700k cpu和32gb ram、运行ubuntu 18.04.2lts操作系统的台式计算机上实现的。cycle-gan神经网络的训练和测试是使用具有11gb ram的geforce gtx 1080ti gpu执行的。然而，应当理解，可以利用其他计算机系统或嵌入式系统201。
[0178]
本文将讨论使用上述cycle-gan生成的虚拟染色组织学图像的示例。
[0179]
参考图14a到14c，使用上述uv-pam方法和系统生成小鼠脑切片的uv-pam图像的虚拟染色图像，并使用上述cycle-gan 1100进行变换。将uv-pam图像和uv-pam图像的虚拟染色图像与h&e染色之后的相同样品的组织学图像进行比较。特别地，对从ffpe小鼠脑切下的7μm厚的样本切片进行成像，其中，所公开的uv-pam方法和系统使用步长为0.63μm的光栅扫描进行操作。由于uv-pam方法和系统被配置为生成灰度图像，然后使用关于图11到13描述的cycle-gan 1100将灰度uv-pam图像(如图14a所示)变换为虚拟染色图像，如图14b所示。为了评估生成的虚拟染色图像是否可以提供与常规组织学图像类似的信息，在h&e染色之后使用明场显微术获得相同样本的组织学图像，如图14c所示。在检查uv-pam系统生成的虚拟染色图像上的细胞核和其他结缔组织的颜色时，确定uv-pam系统生成的虚拟染色图像与常规组织学图像基本相似。总体而言，uv-pam系统与以公开的cycle-gan 1100形式提供的深度学习系统相结合，可生成基本准确的虚拟染色组织学图像，而无需常规染色技术。
[0180]
图15a到15c示出了利用配对训练方法对uv-autom图像进行虚拟染色的示例。图15a是厚度为7μm的脱蜡ffpe小鼠脑切片的uv-autom图像，并且图15b是uv-autom图像的虚拟染色版本，该图像使用基于配对pix2pix的网络形式的gan模型，而图15c是用于比较目的的对应明场h&e图像。通过配对数据集进行颜色变换能够准确可靠地生成组织学样图像。然而，任何配对训练方法都需要对图像对齐和配准进行严格的数据预处理程序，并且难以应用于厚样品的虚拟染色。发现基于cycle-gan的网络允许无需配对训练示例即可进行颜色映射，并在任何厚度的生物组织上展示了巨大的潜力。可以向cycle-gan网络1100供给来自脱蜡ffpe小鼠脑切片的未配对uv-autom和h&e图像。经良好训练的cycle-gan1100网络能够将未标记组织的uv-autom图像变换为未标记组织的虚拟h&e染色版本，从而允许病理学家轻松解释uv-autom图像。
[0181]
图16a和16b涉及经训练的cycle-gan网络1100对具有不同厚度的小鼠脑样品的测试结果。图16a和16b分别是厚度为100μm和200μm的小鼠脑样品的si重构高分辨率uv-autom图像，而图16c和16d是对应的虚拟染色h&e图像。从uv-autom对比到h&e染色版本的成功颜
色映射极大地促进了uv-autom成像模态被开发为可供手术室的医生和病理学家使用的实用的术中诊断工具。
[0182]
应当理解，在uv-pam和uv-autom图像之间存在互补对比度，从而实现生成uv-pam和uv-autom图像的方法和系统。光子(或荧光)通过辐射弛豫生成，而热量通过非辐射弛豫生成，其中，pa波通过样品的热致压力/温度升高而被释放。因此，pa和自发荧光图像预期根据能量守恒表现出互补的对比度。这种对比度在图17a和17b中得到了实验展示。使用uv激光(266nm)激发，图17a示出了无标记pa对比度(uv-pam)，而图17b示出了来自7μm厚的脱蜡ffpe小鼠脑样品的海马区的无标记自发荧光对比度(uv-autom)。图17c是对应的明场h&e染色图像，其示出了与uv-pam和uv-autom图像的结构相似性。由于细胞核在紫外范围内的强吸收，集中在海马体的细胞核在uv-pam图像中显得明亮，而在uv-autom图像中则显得暗黑。这样的互补成像对比机制使双模态无标记成像设施能够提供未加工新鲜组织的更多结构和功能信息。
[0183]
在整个描述中，从瑞士韦伯斯特小鼠中提取脑样品，随后在室温下在10％中性缓冲福尔马林中固定24小时。对于薄切片(2-8μm)，样品通过ffpe工作流程处理并通过切片机切片。ffpe组织切片使用二甲苯脱蜡，并安装在石英载玻片上，以通过所描述的uv-pam和uv-autom系统成像，然后进行h&e染色过程。对于厚切片(20-200μm)，样品以不同目标厚度由振动切片机直接切割。
[0184]
虽然已经参考优选实施例描述了本发明，但是本领域技术人员将理解，本发明可以以其他形式实施。
[0185]
上述公开的有利实施例和/或进一步的发展——除了例如在明确的相关性或不一致的替代方案的情况下——可以单独地或也以彼此的任意组合应用。