基于深度学习的彩色全息显微镜的系统和方法与流程

技术特征：
1.一种用于执行样本的单个超分辨的全息图像的彩色图像重建的方法，包括：通过在多个颜色通道同时照明，使用图像传感器获得所述样本的多个子像素移位的较低分辨率全息图像；基于所述多个子像素移位的较低分辨率全息图像，数字生成所述多个颜色通道中的每一个的超分辨的全息强度图像；利用图像处理软件将所述多个颜色通道中的每一个的所述超分辨的全息强度图像反向传播到物平面，以生成所述多个颜色通道中的每一个的所述样本的振幅输入图像和相位输入图像；并且提供经训练的深度神经网络，所述经训练的深度神经网络由图像处理软件使用计算装置的一个或多个处理器来执行，并被配置为接收所述多个颜色通道中的每一个的所述样本的所述振幅输入图像和所述相位输入图像，并输出所述样本的彩色输出图像。2.根据权利要求1所述的方法，其中，所述多个颜色通道包括三个颜色通道。3.根据权利要求2所述的方法，其中，所述三个颜色通道包括红色通道、绿色通道和蓝色通道。4.根据权利要求1所述的方法，其中，同时照明所述样本包括用三种不同波长的照明同时照明所述样本。5.根据权利要求4所述的方法，其中，所述三种不同的波长包括450nm、540nm和590nm。6.根据权利要求1所述的方法，其中，通过在耦合到可移动台的x、y平面中移动所述图像传感器，获得所述多个子像素移位的较低分辨率全息强度图像。7.根据权利要求1所述的方法，其中，通过在x、y平面中移动保持所述样本的样本保持器，获得所述多个子像素移位的较低分辨率全息强度图像。8.根据权利要求1所述的方法，其中，通过对来自光源阵列的光源进行选择性照明，获得所述多个子像素移位的较低分辨率全息强度图像。9.根据权利要求1所述的方法，其中，通过在平面中移动照明源或者通过使用来自多个照明源的照明，获得所述多个子像素移位的较低分辨率全息强度图像。10.根据权利要求1至7中任一项所述的方法，其中，所述样本包括染色或标记的组织。11.根据权利要求1至7中任一项所述的方法，其中，所述样本包括染色的细胞学载玻片。12.根据权利要求1所述的方法，还包括利用图像处理软件将多个彩色输出图像数字拼接成较大的输出图像。13.根据权利要求12所述的方法，其中，所述较大的输出图像包括包含至少10mm2的视场，并且其中，所述较大的输出图像在不到10分钟内生成。14.根据权利要求12所述的方法，其中，所述经训练的深度神经网络在接收所述样本的所述振幅输入图像和所述相位输入图像的几分钟内输出所述样本的所述彩色输出图像。15.根据权利要求1所述的方法，其中，使用生成对抗网络(gan)模型来训练所述经训练的深度神经网络。16.一种用于执行样本的超分辨的全息图像的彩色图像重建的系统，包括：计算装置，在所述计算装置上执行图像处理软件，所述图像处理软件包括使用所述计算装置的一个或多个处理器执行的经训练的深度神经网络，其中，利用来自所述样本的图像的超分辨的全
息图的多个训练图像或图像块以及相应的基本事实或目标彩色图像或图像块来训练所述经训练的深度神经网络，所述经训练的深度神经网络被配置为从通过以多个照明波长同时照明所述样本而获得的所述样本的多个低分辨率图像，接收由所述图像处理软件生成的所述样本的一个或多个超分辨的全息图像，并且输出所述样本的重建彩色图像。17.根据权利要求16所述的系统，其中，所述相应的基本事实图像或目标彩色图像被数值计算。18.根据权利要求16所述的系统，其中，从相同样本的明场彩色图像获得所述相应的基本事实或目标彩色图像。19.根据权利要求16所述的系统，还包括获得所述样本的多个低分辨率图像的显微镜装置，所述显微镜装置包括用于保持所述样本的样本保持器、彩色图像传感器以及发射所述多个波长的光的一个或多个光源。20.根据权利要求17所述的系统，其中，所述显微镜装置包括可移动台，所述可移动台被配置为在x、y平面中移动所述彩色图像传感器和/或样本保持器中的一个或两个，以获得所述样本的所述多个低分辨率图像。21.根据权利要求17所述的系统，其中，所述多个光源包括光源阵列。22.根据权利要求16所述的系统，其中，使用生成对抗网络(gan)模型来训练所述经训练的深度神经网络。23.一种用于对样本的一个或多个超分辨的全息图像执行彩色图像重建的系统，包括：无透镜显微镜装置，包括用于保持所述样本的样本保持器、彩色图像传感器、以及耦合到相应不同颜色光源的一根或多根光纤或电缆，所述不同颜色光源被配置为同时发射多个波长的光；可移动台和光源阵列中的至少一个，被配置为获得所述样本的子像素移位的较低分辨率全息强度图像；以及计算装置，在所述计算装置上执行图像处理软件，所述图像处理软件包括使用所述计算装置的一个或多个处理器执行的经训练的深度神经网络，其中，利用来自所述样本的图像的超分辨的全息图的多个训练图像或图像块以及从超光谱成像或明场显微术生成的相应的基本事实或目标彩色图像或图像块来训练所述经训练的深度神经网络，所述经训练的深度神经网络被配置为从通过同时照明所述样本而获得的所述样本的所述子像素移位的较低分辨率全息强度图像，接收由所述图像处理软件生成的所述样本的一个或多个超分辨的全息图像，并且输出所述样本的重建彩色图像。24.根据权利要求23所述的系统，其中，使用生成对抗网络(gan)模型来训练所述经训练的深度神经网络。

技术总结
一种用于执行单个超分辨的全息样本图像的彩色图像重建的方法，包括通过在多个颜色通道同时照明，使用图像传感器获得样本的多个子像素移位的较低分辨率全息图像。基于较低分辨率全息图像，数字生成每个颜色通道的超分辨的全息强度图像。利用图像处理软件将每个颜色通道的超分辨的全息强度图像反向传播到物平面，以生成每个颜色通道的样本的真实和虚拟输入图像。提供经训练的深度神经网络，并由图像处理软件使用计算装置的一个或多个处理器来执行，并且被配置为接收每个颜色通道的样本的真实输入图像和虚拟输入图像，并生成样本的彩色输出图像。输出图像。输出图像。


技术研发人员：阿伊多根
受保护的技术使用者：加利福尼亚大学董事会
技术研发日：2020.04.21
技术公布日：2021/11/28